亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > PHP > 正文

PHP采集類snoopy實例介紹

2020-03-22 19:01:42
字體:
來源:轉載
供稿:網友
snoopy是一個php類,用來模仿web瀏覽器的功能,它能完成獲取網頁內容和發送表單的任務。官方網站 http://snoopy.sourceforge.net/

Snoopy的一些功能特點:

  • 抓取網頁的內容 fetch()

  • 抓取網頁的文本內容 (去除HTML標簽) fetchtext()

  • 抓取網頁的鏈接,表單 fetchlinks() fetchform()

  • 支持代理主機

  • 支持基本的用戶名/密碼驗證

  • 支持設置 user_agent, referer(來路), cookies 和 header content(頭文件)

  • 支持瀏覽器重定向,并能控制重定向深度

  • 能把網頁中的鏈接擴展成高質量的url(默認)

  • 提交數據并且獲取返回值

  • 支持跟蹤HTML框架

  • 支持重定向的時候傳遞cookies

要求php4以上就可以。由于本身是php一個類,無需擴支持,服務器不支持curl時候的最好選擇。

類方法

1. fetch($uri)

這是為了抓取網頁的內容而使用的方法。$URI參數是被抓取網頁的URL地址。抓取的結果被存儲在 $this->results 中。

如果你正在抓取的是一個框架,Snoopy將會將每個框架追蹤后存入數組中,然后存入 $this->results。

  1. <?php  $url = "http://www.nowamagic.net/librarys/veda/";  include("./Snoopy.html' target='_blank'>class.php");  $snoopy = new Snoopy;  $snoopy->fetch($url);        //獲取所有內容echo $snoopy->results;       //顯示結果?>

2. fetchtext($URI)

本方法類似于fetch(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中的文字內容。

  1. <?php  $url = "http://www.nowamagic.net/librarys/veda/";  include("./Snoopy.class.php");  $snoopy = new Snoopy;  $snoopy->fetchtext($url);        //獲取文本內容echo $snoopy->results;       //顯示結果?>

3. fetchform($URI)

本方法類似于fetch(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中表單內容(form)。

4. fetchlinks($URI)

本方法類似于fetch(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中鏈接(link)。默認情況下,相對鏈接將自動補全,轉換成完整的URL。

5. submit($URI,$formvars)

本方法向$URL指定的鏈接地址發送確認表單。$formvars是一個存儲表單參數的數組。

6. submittext($URI,$formvars)

本方法類似于submit(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回登陸后網頁中的文字內容。

7. submitlinks($URI)

本方法類似于submit(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中鏈接(link)。默認情況下,相對鏈接將自動補全,轉換成完整的URL。

類屬性 (缺省值在括號里)

  • $host 連接的主機

  • $port 連接的端口

  • $proxy_host 使用的代理主機,如果有的話

  • $proxy_port 使用的代理主機端口,如果有的話

  • $agent 用戶代理偽裝 (Snoopy v0.1)

  • $referer 來路信息,如果有的話

  • $cookies cookies, 如果有的話

  • $rawheaders 其他的頭信息, 如果有的話

  • $maxredirs 最大重定向次數, 0=不允許 (5)

  • $offsiteok whether or not to allow redirects off-site. (true)

  • $expandlinks 是否將鏈接都補全為完整地址 (true)

  • $user 認證用戶名, 如果有的話

  • $pass 認證用戶名, 如果有的話

  • $accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)

  • $error 哪里報錯, 如果有的話

  • $response_code 從服務器返回的響應代碼

  • $headers 從服務器返回的頭信息

  • $maxlength 最長返回數據長度

  • $read_timeout 讀取操作超時 (requires PHP 4 Beta 4+),設置為0為沒有超時

  • $timed_out 如果一次讀取操作超時了,本屬性返回 true (requires PHP 4 Beta 4+)

  • $maxframes 允許追蹤的框架最大數量

  • $status 抓取的http的狀態

  • $temp_dir 網頁服務器能夠寫入的臨時文件目錄 (/tmp)

  • $curl_path cURL binary 的目錄, 如果沒有cURL binary就設置為 false

Demo

    鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
国产精品黄色影片导航在线观看| 亚洲国产精品美女| 青青久久av北条麻妃海外网| 97视频在线观看播放| 国内揄拍国内精品少妇国语| 亚洲精品www| 欧美激情一区二区三区久久久| 欧美激情乱人伦| 国产国语刺激对白av不卡| 日本国产精品视频| 狠狠色噜噜狠狠狠狠97| 国产aⅴ夜夜欢一区二区三区| 国产精品一区二区三区成人| 国产综合视频在线观看| 95av在线视频| 国产精品xxxxx| 欧美激情女人20p| 亚洲高清免费观看高清完整版| 亚洲电影免费观看高清完整版在线观看| 亚洲乱码国产乱码精品精| 91沈先生在线观看| 日韩在线中文字| 亚洲成色777777女色窝| 日产精品99久久久久久| 国产精品久久二区| 亚洲精品97久久| 亚洲男人av电影| 在线精品国产欧美| 欧美人与性动交| zzjj国产精品一区二区| 国产精品成人av在线| 精品国产一区二区三区四区在线观看| 日韩电影大全免费观看2023年上| 欧美洲成人男女午夜视频| 欧美午夜女人视频在线| 中文字幕免费精品一区高清| 超碰91人人草人人干| 成人午夜激情网| 久久91亚洲人成电影网站| 久久91亚洲人成电影网站| 精品日本高清在线播放| 亚洲国产97在线精品一区| 欧美性受xxxx黑人猛交| 国产v综合v亚洲欧美久久| 欧美激情视频一区二区| 久久久久久亚洲精品中文字幕| 亚洲电影免费观看| 亚洲精品电影网在线观看| 日韩在线资源网| 国产噜噜噜噜噜久久久久久久久| 日韩一区二区久久久| 日韩有码在线视频| 亚洲天堂av网| 国自产精品手机在线观看视频| 国产午夜精品免费一区二区三区| 蜜月aⅴ免费一区二区三区| 日韩成人在线播放| 精品成人乱色一区二区| 亚洲成成品网站| 国产成人久久久精品一区| 国产美女搞久久| 欧美黑人xxxⅹ高潮交| 亚洲欧美综合区自拍另类| 综合欧美国产视频二区| 国产专区精品视频| 国内精品久久久久久影视8| 色久欧美在线视频观看| 久久99热精品这里久久精品| 亚洲视频免费一区| 国产精品女人久久久久久| 成人在线免费观看视视频| 91久久精品国产91久久| 精品国内亚洲在观看18黄| 日韩在线观看你懂的| 亚洲精品自拍第一页| 97在线精品视频| 国产亚洲在线播放| 日韩电影在线观看中文字幕| 91精品国产高清久久久久久91| 91精品国产高清久久久久久91| 亚洲桃花岛网站| 久久国产精品影片| 日本19禁啪啪免费观看www| 国产精品成人在线| 国模极品一区二区三区| 在线日韩精品视频| 福利一区福利二区微拍刺激| 日韩在线视频网站| 国产91色在线|| 亚洲网站在线看| 久久久国产一区| 欧美成人免费视频| 国产精品美女久久久免费| 日本免费久久高清视频| 国产成人免费av| 亚洲人成网站在线播| 亚洲第一综合天堂另类专| 国产精品美女av| 精品久久久久久中文字幕| 久久久亚洲成人| 亚洲的天堂在线中文字幕| 欧美极度另类性三渗透| 久久久午夜视频| 亚洲黄色av女优在线观看| 亚洲一区二区久久久| 精品无人区乱码1区2区3区在线| 亚洲欧美日韩综合| 国产精品av在线| 日韩成人网免费视频| 久久久免费高清电视剧观看| 亚洲国产成人精品电影| 热草久综合在线| 91久久久久久国产精品| 亚洲国产欧美久久| 亚洲精品成人久久| 亚洲欧美日韩在线一区| 日本久久久久久| 中文字幕亚洲精品| 丰满岳妇乱一区二区三区| 日韩av理论片| 国产亚洲欧美日韩精品| 亚洲人成伊人成综合网久久久| 亚洲色图校园春色| 欧美激情亚洲自拍| 亚洲天堂2020| 日韩久久精品成人| 国内免费久久久久久久久久久| 中文字幕精品久久| 秋霞午夜一区二区| 亚洲自拍另类欧美丝袜| 中文字幕日韩av电影| 欧美日韩成人在线视频| 欧美在线日韩在线| 欧美日韩黄色大片| 欧美激情亚洲国产| 久久精品国产69国产精品亚洲| 日韩免费视频在线观看| 在线视频日韩精品| 欧美激情亚洲国产| 91精品久久久久久久久| 欧美在线播放视频| 亚洲在线一区二区| 爽爽爽爽爽爽爽成人免费观看| 一区二区三区 在线观看视| 亚洲va欧美va国产综合剧情| 91精品久久久久久久| 中文在线资源观看视频网站免费不卡| 狠狠久久五月精品中文字幕| 国产aⅴ夜夜欢一区二区三区| 久久成年人免费电影| 欧美日韩中文在线观看| 日韩美女激情视频| 色香阁99久久精品久久久| 亚洲欧洲日本专区| 久久婷婷国产麻豆91天堂| 国模精品系列视频| 久久久精品美女| 久久99精品久久久久久青青91| 91精品国产91久久久久久最新| 国产精品91视频| 欧美性受xxxx白人性爽| 美女国内精品自产拍在线播放| 中文字幕欧美亚洲| 亚洲尤物视频网|