亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 語言 > PHP > 正文

PHP 爬取網頁的主要方法

2024-05-05 00:04:36
字體:
來源:轉載
供稿:網友

主要流程就是獲取整個網頁,然后正則匹配(關鍵的)。

PHP抓取頁面的主要方法,有幾種方法是網上前輩的經驗,現在還沒有用到的,先存下來以后試試。

1.file()函數

2.file_get_contents()函數

3.fopen()->fread()->fclose()模式

4.curl方式 (本人主要用這個)

5.fsockopen()函數 socket模式

6.插件(如:http://sourceforge.net/projects/snoopy/)

7.file()函數

<?php//定義url$url='[http://t.qq.com](http://t.qq.com/)';//fiel函數讀取內容數組$lines_array=file($url);//拆分數組為字符串$lines_string=implode('',$lines_array);//輸出內容echo $lines_string; 

2.使用file_get_contents方法實現,比較簡單。

使用file_get_contents和fopen必須空間開啟allow_url_fopen。方法:編輯php.ini,設置 allow_url_fopen = On,allow_url_fopen關閉時fopen和file_get_contents都不能打開遠程文件。

$url="[http://news.sina.com.cn/c/nd/2016-10-23/doc-ifxwztru6951143.shtml](http://news.sina.com.cn/c/nd/2016-10-23/doc-ifxwztru6951143.shtml)";$html=file_get_contents($url);//如果出現中文亂碼使用下面代碼`//$getcontent = iconv("gb2312", "utf-8",$html);echo"<textarea style='width:800px;height:600px;'>".$html."</textarea>";

3.fopen()->fread()->fclose()模式 ,目前還沒用過,看到了就先記下了

<?php//定義url$url='[http://t.qq.com](http://t.qq.com/)';//fopen以二進制方式打開 $handle=fopen($url,"rb");//變量初始化$lines_string="";//循環讀取數據do{$data=fread($handle,1024);  if(strlen($data)==0) {`break; } $lines_string.=$data;}while(true);//關閉fopen句柄,釋放資源fclose($handle);//輸出內容echo $lines_string;

4.使用curl實現(本人一般使用這個)。

使用curl必須空間開啟curl。方法:windows下修改php.ini,將extension=php_curl.dll前面的分號去掉,而且需 要拷貝ssleay32.dll和libeay32.dll到C:/WINDOWS/system32下;Linux下要安裝curl擴展。

<?phpheader("Content-Type: text/html;charset=utf-8");date_default_timezone_set('PRC');$url = "https://***********ycare";//要爬取的網址$res = curl_get_contents($url);//curl封裝方法preg_match_all('/<script>(.*?)<//script>/',$res,$arr_all);//這個網頁中數據通過js包過來,所以直接抓js就可以preg_match_all('/"id"/:"(.*?)",/',$arr_all[1][1],$arr1);//從js塊中匹配要的數據$list = array_unique($arr1[1]);//(可省)保證不重復//以下則是同理,循環則可for($i=0;$i<=6;$i=$i+2){  $detail_url = 'ht*****em/'.$list[$i];  $detail_res = curl_get_contents($detail_url);  preg_match_all('/<script>(.*?)<//script>/',$detail_res,$arr_detail);  preg_match('/"desc"/:"(.*?)",/',$arr_detail[1][1],$arr_content);  ***    ***    ***  $ret=curl_post('http://**********cms.php',$result);//此腳本未放在服務器上,原因大家懂就好哈。}function curl_get_contents($url,$cookie='',$referer='',$timeout=300,$ishead=0) {  $curl = curl_init();  curl_setopt($curl, CURLOPT_RETURNTRANSFER,1);  curl_setopt($curl, CURLOPT_FOLLOWLOCATION,1);  curl_setopt($curl, CURLOPT_URL,$url);  curl_setopt($curl, CURLOPT_TIMEOUT,$timeout);  curl_setopt($curl, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36');  if($cookie)  {    curl_setopt( $curl, CURLOPT_COOKIE,$cookie);  }  if($referer)  {    curl_setopt ($curl,CURLOPT_REFERER,$referer);  }  $ssl = substr($url, 0, 8) == "https://" ? TRUE : FALSE;  if ($ssl)  {    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);  }  $res = curl_exec($curl);  return $res;  curl_close($curl);}//curl post數據到服務器function curl_post($url,$data){  $ch = curl_init();  curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);  //curl_setopt($ch,CURLOPT_FOLLOWLOCATION, 1);  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);  curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36');  curl_setopt($ch,CURLOPT_URL,$url);  curl_setopt($ch,CURLOPT_POST,true);  curl_setopt($ch,CURLOPT_POSTFIELDS,$data);  $output = curl_exec($ch);  curl_close($ch);  return $output; }?>

5.fsockopen()函數 socket模式(沒用過,以后可以試試)

socket模式能否正確執行,也跟服務器的設置有關系,具體可以通過phpinfo查看服務器開啟了哪些通信協議

<?php$fp = fsockopen("t.qq.com", 80, $errno, $errstr, 30);if (!$fp) {  echo "$errstr ($errno)<br />/n";} else {  $out = "GET / HTTP/1.1/r/n";  $out .= "Host: t.qq.com/r/n";  $out .= "Connection: Close/r/n/r/n";  fwrite($fp, $out);  while (!feof($fp)) {    echo fgets($fp, 128);  }  fclose($fp);}

6.snoopy插件,最新版本是Snoopy-1.2.4.zip Last Update: 2013-05-30,推薦大家使用

使用網上非常流行的snoopy來進行采集,這是一個非常強大的采集插件,并且它的使用非常方便,你也可以在里面設置agent來模擬瀏覽器信息。

說明:設置agent是在 Snoopy.class.php 文件的第45行,請在該文件中搜索 “var 公式輸入有誤_SERVER['HTTP_USER_AGENT']; 可以得到瀏覽器信息,將echo出來的內容復制到agent里面就可以了。

<?php//引入snoopy的類文件require('Snoopy.class.php');//初始化snoopy類$snoopy=new Snoopy;$url="[http://t.qq.com](http://t.qq.com/)";//開始采集內容`$snoopy->fetch($url);//保存采集內容到$lines_string$lines_string=$snoopy->results;//輸出內容,嘿嘿,大家也可以保存在自己的服務器上echo $lines_string;

總結

以上所述是小編給大家介紹的PHP 爬取網頁的主要方法,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對VeVb武林網網站的支持!


注:相關教程知識閱讀請移步到PHP教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表

圖片精選

亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
91亚洲精华国产精华| 欧美激情精品久久久久久黑人| 亚洲高清一区二| 色偷偷亚洲男人天堂| 日本一区二区在线免费播放| 精品国产一区二区三区久久久| 国产精品视频精品| 欧美日韩精品中文字幕| 黑人巨大精品欧美一区二区| 国产精品久久久久不卡| 欧美精品制服第一页| 日韩女优人人人人射在线视频| 国产精品无码专区在线观看| 亚洲色图15p| 一二美女精品欧洲| 亚洲人成在线播放| 欧美视频免费在线观看| 日韩精品免费观看| 欧美一区二区三区图| 亚洲午夜未满十八勿入免费观看全集| 欧美在线视频一二三| 日韩在线视频中文字幕| 亚洲国产精品福利| 中文字幕欧美在线| 欧美激情第一页xxx| 成人久久久久久久| 欧美日韩一区免费| 97av在线视频免费播放| 国产精品视频精品| 岛国视频午夜一区免费在线观看| 欧美日韩中文在线观看| 日韩免费观看av| 久久午夜a级毛片| 国产亚洲视频在线| 国产一区二区视频在线观看| 久久精品国产电影| 91免费国产视频| 亚洲成年人在线| 久久91亚洲精品中文字幕| 日韩av黄色在线观看| 国产日韩欧美日韩大片| 国产精品大片wwwwww| 国产亚洲一区精品| 精品久久久久久中文字幕大豆网| 91福利视频在线观看| 亚洲精品视频在线播放| 欧美激情久久久久久| 欧美精品激情blacked18| 91精品视频播放| 欧美黄色www| 亚洲精品资源在线| 亚洲精品电影在线| 伊人久久免费视频| 国产主播在线一区| 中文字幕日韩av综合精品| 国模视频一区二区| 久久亚洲国产成人| 丝袜情趣国产精品| 国产精品美女免费| 欧美性69xxxx肥| 欧美又大粗又爽又黄大片视频| 亚洲欧美国产一本综合首页| 精品视频偷偷看在线观看| 久久91超碰青草是什么| 伊是香蕉大人久久| 欧美俄罗斯乱妇| 亚洲美女av在线| 亚洲无亚洲人成网站77777| 午夜欧美大片免费观看| 精品国产电影一区| 在线成人激情视频| 北条麻妃一区二区在线观看| 中文国产成人精品久久一| 欧美午夜精品久久久久久浪潮| 日韩视频―中文字幕| 国产精品www色诱视频| 亚洲精品久久久久久久久久久久久| 欧美激情精品久久久久| 国产精品一香蕉国产线看观看| 亚洲一区二区国产| 国产成人精品一区二区| 亚洲激情在线视频| 国产午夜精品全部视频播放| 555www成人网| 国产成人精品午夜| 亚洲激情视频在线观看| 国产日韩欧美电影在线观看| 91久久嫩草影院一区二区| 性色av香蕉一区二区| 中文字幕9999| 一区二区欧美亚洲| 国产欧美婷婷中文| 成人黄色激情网| 日韩免费在线免费观看| 亚洲男人天堂网站| 中文字幕亚洲自拍| 永久免费看mv网站入口亚洲| 亚洲视频在线免费观看| 国产精品久久久久久一区二区| 色综合亚洲精品激情狠狠| 欧美成人精品不卡视频在线观看| 国产精品一区二区久久精品| 日韩电影在线观看永久视频免费网站| 精品国产区一区二区三区在线观看| 91高清视频在线免费观看| 亚洲黄色免费三级| 久久精品国产欧美激情| 另类美女黄大片| 国产精品综合不卡av| 欧美色视频日本版| 亚洲国产美女精品久久久久∴| 亚洲成色777777女色窝| 亚洲激情视频在线| 一区二区成人av| 美日韩精品免费视频| 亚洲日本成人女熟在线观看| 色噜噜狠狠狠综合曰曰曰88av| 欧美激情喷水视频| 亚洲国模精品一区| 欧美日韩精品在线| 日韩美女在线看| 一本色道久久综合亚洲精品小说| 中文字幕在线看视频国产欧美在线看完整| 亚洲国产女人aaa毛片在线| 国产精品极品在线| 亚洲成人av在线播放| 亚洲美女免费精品视频在线观看| 国产精品91在线观看| 国产欧美日韩高清| 成人免费在线网址| 97久久精品人人澡人人爽缅北| 亚洲性线免费观看视频成熟| 成人两性免费视频| 国产精品久久久久久久久久尿| 久久香蕉国产线看观看网| 欧美成年人视频网站| 久久久999国产精品| 国产在线拍偷自揄拍精品| 亚洲专区在线视频| 国产丝袜精品第一页| 欧美人在线观看| 久久91亚洲精品中文字幕奶水| 日韩精品中文在线观看| 欧美黑人又粗大| 欧美精品在线免费| 日韩美女毛茸茸| 亚洲国产日韩欧美综合久久| 一区二区欧美在线| 久久久精品视频在线观看| 国产视频久久久久久久| 久久久久中文字幕2018| 亚洲精品98久久久久久中文字幕| 国产精品久久9| 国产日韩中文字幕| 91极品视频在线| 日韩亚洲第一页| 97视频在线观看视频免费视频| 欧美另类极品videosbest最新版本| 欧美性猛交99久久久久99按摩| 全亚洲最色的网站在线观看| 一区二区国产精品视频| 欧美精品在线免费| 国产精品永久免费| 欧美交受高潮1|