XMLHTTP批量抓取遠程資料
2024-07-09 22:40:53
供稿：網友
可以在此基礎上結合正則表達式做成更好的效果，希望大家能分享一下Xmlhttp的session共享技術
<html>
<head>
<title>AUTOGET</title>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
</head>
<body bgcolor="#FFFFFF" >
<%
'=================================================
'FileName: Getit.Asp
'Intro : Auto Get Data From Remote WebSite
'Author: Babyt(阿泰)
'URL: http://blog.csdn.net/babyt
'createAt: 2002-02 Lastupdate:2004-09
'DB Table : data
'Table Field:
' UID -> Long -> Keep ID Of the pages
' UContent -> Text -> Keep Content Of the Pages(HTML)
'=================================================
Server.ScriptTimeout=5000
'on error resume next
Set conn = Server.createObject("ADODB.Connection")
conn.open "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & Server.MapPath("getit.mdb")
Set rs = Server.createObject("ADODB.Recordset")
sql="select * from data"
rs.open sql,conn,1,3
Dim comeFrom,myErr,myCount
'========================================================
comeFrom="http://www.xxx.com/U.asp?ID="
myErr1="該資料不存在"
myErr2="該資料已隱藏"
'========================================================
'***************************************************************
' 只需要更改這里 i 的始點intMin和終點intMax,設定步長intStep
' 每次區間設置成5萬左右。估計要兩個多小時。期間不需要人工干預
'****************************************************************
intMin=0
intMax=10000
'設定步長
intStep=100
'==========================================================
'以下代碼不要更改
'==========================================================
Call GetPart (intMin)
Response.write "已經轉換完成" & intMin & "~~" & intMax & "之間的數據"
rs.close
Set rs=Nothing
conn.Close
set conn=nothing
%>
</body>
</html>
<%
'使用XMLHTTP抓取地址并進次內容處理
Function GetBody(Url)
Dim objXML
On Error Resume Next
Set objXML = createObject("Microsoft.XMLHTTP")
With objXML
.Open "Get", Url, False, "", ""
.Send
GetBody = .ResponseBody
