php爬蟲抓取信息及反爬蟲相關

2020-03-22 19:34:41

字體：大中小

來源：轉載

供稿：網友

58爬蟲了百姓，趕集和58互爬，最后各種信息相同，都是爬蟲后的數據庫調用，潛規則啊，幾家獨大還暗中各種攻擊，趕驢網的幽默事例我不想多評價。這個時代是砸.錢*養.錢的時代，各種姚晨楊冪葛優，各種地鐵公車廣告，各種衛視廣告，鋪天蓋地~~~
來談php爬蟲抓取信息~~ php爬蟲首推Curl函數了，先來認識下它。
0x01.curl擴展的安裝：
1.確保php子文件夾ext里面有php_curl.dll（一般都有的，一般配置時候會設置html' target='_blank'>環境變量的）
2.將php.ini里面的;extension=php_curl.dll反注釋為extension=php_curl.dll
3.重啟apache完了。
4.如果還不行，把php5/libeay32.dll，ssleay32.dll復制到系統目錄windows/下，這2個dll的描述是OpenSSL Shared Library。

否則會出現
Fatal error: Call to undefined function curl_init() in XX:XXXXXX.php on line 3?
這樣未定義，找不到庫的錯誤，大家懂的。

0x02.先來熟悉下curl再去采集抓取，信息時代，大爆炸，爬蟲個信息不是難事。順便測試登陸，COOKIE。

PHP中的CURL函數庫（Client URL Library Function）是個強大的庫。

curl_close — 關閉一個curl會話
curl_copy_handle — 拷貝一個curl連接資源的所有內容和參數
curl_errno — 返回一個包含當前會話錯誤信息的數字編號
curl_error — 返回一個包含當前會話錯誤信息的字符串
curl_exec — 執行一個curl會話
curl_getinfo — 獲取一個curl連接資源句柄的信息
curl_init — 初始化一個curl會話
curl_multi_add_handle — 向curl批處理會話中添加單獨的curl句柄資源
curl_multi_close — 關閉一個批處理句柄資源
curl_multi_exec — 解析一個curl批處理句柄
curl_multi_getcontent — 返回獲取的輸出的文本流
curl_multi_info_read — 獲取當前解析的curl的相關傳輸信息
curl_multi_init — 初始化一個curl批處理句柄資源
curl_multi_remove_handle — 移除curl批處理句柄資源中的某個句柄資源
curl_multi_select — Get all the sockets associated with the cURL extension, which can then be "selected"
curl_setopt_array — 以數組的形式為一個curl設置會話參數
curl_setopt — 為一個curl設置會話參數
curl_version — 獲取curl相關的版本信息

curl_init()函數的作用初始化一個curl會話，curl_init()函數唯一的一個參數是可選的，表示一個url地址。
curl_exec()函數的作用是執行一個curl會話，唯一的參數是curl_init()函數返回的句柄。
curl_close()函數的作用是關閉一個curl會話，唯一的參數是curl_init()函數返回的句柄。

簡單實例：
<?php
$url = "http://yxmhero1989.blog.163.com/";//不建議爬大型網站，一般都有反爬蟲機制，被封了IP別怪我~~
$ch = curl_init($url);//初始curl會話
$fp = fopen("homepage.txt", "w");//這里是把抓取的網頁內容寫入一個txt文件，下面會告訴你操作數據庫。
curl_setopt($ch, CURLOPT_FILE, $fp);//為一個curl設置會話參數
curl_setopt($ch, CURLOPT_HEADER, 0);//設置header
curl_exec($ch);//執行curl會話
curl_close($ch);//關閉curl會話
fclose($fp);
?>

0x03.關于CURL_SETOPT()函數的設置

bool curl_setopt (int ch, string option, mixed value)

curl_setopt()函數將為一個CURL會話設置選項。option參數是你想要的設置，value是這個選項給定的值。

下列選項的值將被作為長整形使用(在option參數中指定)：

* CURLOPT_INFILESIZE: 當你上傳一個文件到遠程站點，這個選項告訴PHP你上傳文件的大小。
* CURLOPT_VERBOSE: 如果你想CURL報告每一件意外的事情，設置這個選項為一個非零值。
* CURLOPT_HEADER: 如果你想把一個頭包含在輸出中，設置這個選項為一個非零值。
* CURLOPT_NOPROGRESS: 如果你不會PHP為CURL傳輸顯示一個進程條，設置這個選項為一個非零值。注意：PHP自動設置這個選項為非零值，你應該僅僅為了調試的目的來改變這個選項。
* CURLOPT_NOBODY: 如果你不想在輸出中包含body部分，設置這個選項為一個非零值。
* CURLOPT_FAILONERROR: 如果你想讓PHP在發生錯誤(HTTP代碼返回大于等于300)時，不顯示，設置這個選項為一人非零值。默認行為是返回一個正常頁，忽略代碼。
* CURLOPT_UPLOAD: 如果你想讓PHP為上傳做準備，設置這個選項為一個非零值。
* CURLOPT_POST: 如果你想PHP去做一個正規的HTTP POST，設置這個選項為一個非零值。這個POST是普通的 application/x-www-from-urlencoded 類型，多數被HTML表單使用。
* CURLOPT_FTPLISTONLY: 設置這個選項為非零值，PHP將列出FTP的目錄名列表。
* CURLOPT_FTPAPPEND: 設置這個選項為一個非零值，PHP將應用遠程文件代替覆蓋它。
* CURLOPT_NETRC: 設置這個選項為一個非零值，PHP將在你的 ~./netrc 文件中查找你要建立連接的遠程站點的用戶名及密碼。
* CURLOPT_FOLLOWLOCATION: 設置這個選項為一個非零值(象 “Location: “)的頭，服務器會把它當做HTTP頭的一部分發送(注意這是遞歸的，PHP將發送形如 “Location: “的頭)。
* CURLOPT_PUT: 設置這個選項為一個非零值去用HTTP上傳一個文件。要上傳這個文件必須設置CURLOPT_INFILE和CURLOPT_INFILESIZE選項.
* CURLOPT_MUTE: 設置這個選項為一個非零值，PHP對于CURL函數將完全沉默。
* CURLOPT_TIMEOUT: 設置一個長整形數，作為最大延續多少秒。
* CURLOPT_LOW_SPEED_LIMIT: 設置一個長整形數，控制傳送多少字節。
* CURLOPT_LOW_SPEED_TIME: 設置一個長整形數，控制多少秒傳送CURLOPT_LOW_SPEED_LIMIT規定的字節數。
* CURLOPT_RESUME_FROM: 傳遞一個包含字節偏移地址的長整形參數，(你想轉移到的開始表單)。
* CURLOPT_SSLVERSION: 傳遞一個包含SSL版本的長參數。默認PHP將被它自己努力的確定，在更多的安全中你必須手工設置。
* CURLOPT_TIMECONDITION: 傳遞一個長參數，指定怎么處理CURLOPT_TIMEVALUE參數。你可以設置這個參數為TIMECOND_IFMODSINCE 或 TIMECOND_ISUNMODSINCE。這僅用于HTTP。
* CURLOPT_TIMEVALUE: 傳遞一個從1970-1-1開始到現在的秒數。這個時間將被CURLOPT_TIMEVALUE選項作為指定值使用，或被默認TIMECOND_IFMODSINCE使用。

下列選項的值將被作為字符串：

* CURLOPT_URL: 這是你想用PHP取回的URL地址。你也可以在用curl_init()函數初始化時設置這個選項。
* CURLOPT_USERPWD: 傳遞一個形如[username]:[password]風格的字符串,作用PHP去連接。
* CURLOPT_PROXYUSERPWD: 傳遞一個形如[username]:[password] 格式的字符串去連接HTTP代理。
* CURLOPT_RANGE: 傳遞一個你想指定的范圍。它應該是”X-Y”格式，X或Y是被除外的。HTTP傳送同樣支持幾個間隔，用逗句來分隔(X-Y,N-M)。
* CURLOPT_POSTFIELDS: 傳遞一個作為HTTP “POST”操作的所有數據的字符串。
* CURLOPT_REFERER: 在HTTP請求中包含一個”referer”頭的字符串。
* CURLOPT_USERAGENT: 在HTTP請求中包含一個”user-agent”頭的字符串。
* CURLOPT_FTPPORT: 傳遞一個包含被ftp “POST”指令使用的IP地址。這個POST指令告訴遠程服務器去連接我們指定的IP地址。這個字符串可以是一個IP地址，一個主機名，一個網絡界面名 (在UNIX下)，或是‘-’(使用系統默認IP地址)。
* CURLOPT_COOKIE: 傳遞一個包含HTTP cookie的頭連接。
* CURLOPT_SSLCERT: 傳遞一個包含PEM格式證書的字符串。
* CURLOPT_SSLCERTPASSWD: 傳遞一個包含使用CURLOPT_SSLCERT證書必需的密碼。
* CURLOPT_COOKIEFILE: 傳遞一個包含cookie數據的文件的名字的字符串。這個cookie文件可以是Netscape格式，或是堆存在文件中的HTTP風格的頭。
* CURLOPT_CUSTOMREQUEST: 當進行HTTP請求時，傳遞一個字符被GET或HEAD使用。為進行DELETE或其它操作是有益的，更Pass a string to be used instead of GET or HEAD when doing an HTTP request. This is useful for doing or another, more obscure, HTTP request. 注意: 在確認你的服務器支持命令先不要去這樣做。下列的選項要求一個文件描述(通過使用fopen()函數獲得)：
* CURLOPT_FILE: 這個文件將是你放置傳送的輸出文件，默認是STDOUT.
* CURLOPT_INFILE: 這個文件是你傳送過來的輸入文件。
* CURLOPT_WRITEHEADER: 這個文件寫有你輸出的頭部分。
* CURLOPT_STDERR: 這個文件寫有錯誤而不是stderr。用來獲取需要登錄的頁面的例子,當前做法是每次或許都登錄一次,有需要的人再做改進了.

PHP實現最簡單爬蟲原型（話說原作者的正則注釋反了，出現錯誤哈哈）
代碼如下 <?php

function _getUrlContent($url){
$handle = fopen($url, "r");
if($handle){
$content = stream_get_contents($handle,1024*1024);
return $content;
}else{
return false;
}
}

function _filterUrl($web_content){
$reg_tag_a = "/<[a|A].*?href=['"]{0,1}([^>'" ]*).*?>/";
//$result = preg_match_all($reg_tag_a,$web_content,$match_result);
$result = preg_match_all("/<meta[^>]*?name=['"]?description['"]?[^>]*?>/is",$web_content,$match_result);
if($result){
return $match_result[1];
}
}

function _reviseUrl($base_url,$url_list){
$url_info = parse_url($base_url);
$base_url = $url_info["scheme"].'://';
if($url_info["user"]&&$url_info["pass"]){
$base_url .= $url_info["user"].":".$url_info["pass"]."@";
}
$base_url .= $url_info["host"];
if($url_info["port"]){
$base_url .= ":".$url_info["port"];
}
$base_url .= $url_info["path"];
print_r($base_url);
if(is_array($url_list)){
foreach ($url_list as $url_item) {
if(preg_match('/^http/',$url_item)){
//已經是完整的url
$result[] = $url_item;
}else {
//不完整的url
$real_url = $base_url.'/'.$url_item;
$result[] = $real_url;
}
}
return $result;
}else {
return;
}
}

function crawler($url){
$content = _getUrlContent($url);
if($content){
$url_list = _reviseUrl($url,_filterUrl($content));
if($url_list){
return $url_list;
}else {
return ;
}
}else{
return ;
}
}

function main(){
$current_url = "http://hao123.com/";//初始url
$fp_puts = fopen("url.txt","ab");//記錄url列表
$fp_gets = fopen("url.txt","r");//保存url列表
do{
$result_url_arr = crawler($current_url);
if($result_url_arr){
foreach ($result_url_arr as $url) {
fputs($fp_puts,$url."/r/n");
}
}
}while ($current_url = fgets($fp_gets,1024));//不斷獲得url

}
main();
?>
<input type="text" value="關鍵字" />
<input type="submit" value="搜索"/>

代碼如下

class

//論壇地址

//登錄頁地址

//我的帖子

//以下兩項不需要修改

//用戶名和密碼，必須填寫

//安全提問

//@todo驗證碼

//獲取表單FORMHASH

//POST數據，獲取COOKIE

//$cookie_file = tempnam('/tmp');

//帶著上面得到的COOKIE獲取需要登錄后才能查看的頁面內容