一個PHP實現的輕量級簡單爬蟲

2020-03-22 18:27:19

字體：大中小

來源：轉載

供稿：網友

最近需要收集資料，在瀏覽器上用另存為的方式實在是很麻煩，而且不利于存儲和檢索。所以自己寫了一個小爬蟲，在網上爬東西，迄今為止，已經爬了近百萬張網頁。現在正在想辦法著手處理這些數據。爬蟲的結構：
爬蟲的原理其實很簡單，就是分析下載的頁面，找出其中的連接，然后再下載這些鏈接，再分析再下載，周而復始。在數據存儲方面，數據庫是首選，便于檢索，而開發語言，只要支持html' target='_blank'>正則表達式就可以了，數據庫我選擇了mysql，所以，開發腳本我選擇了php。它支持perl兼容正則表達式，連接mysql很方便，支持http下載，而且windows系統和linux系統都可以部署。正則表達式:
正則表達式是處理文字的基本工具，要取出html中的鏈接和圖片，使用的正則表達式如下。http://xiazai.phpstudy.net/201506/other/net_spider.rar
使用的時候，先在mysql中創建net_spider數據庫，然后用db.sql創建相關表。再在config.php中設置mysql 的用戶名口令。
最后
http://news.sina.com.cn
現在感覺下來，其實做個爬蟲沒那么復雜，難的是數據的存儲和檢索。我現在的數據庫，最大一個數據表已經15G，正在想辦處理這些數據，mysql進行查詢已經感覺有點力不從心了。這點上還真佩服google#加載頁面function curl_get($url){ $ch=curl_init(); curl_setopt($ch,CURLOPT_URL,$url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch,CURLOPT_HEADER,1); $result=curl_exec($ch); $code=curl_getinfo($ch,CURLINFO_HTTP_CODE); if($code!='404' && $result){ return $result; curl_close($ch);#獲取頁面url鏈接function get_page_urls($spider_page_result,$base_url){ $get_url_result=preg_match_all("/ [a|A].* href=[/'/"]{0,1}([^ /'/"/]*).* /",$spider_page_result,$out); if($get_url_result){ return $out[1]; }else{ return;#相對路徑轉絕對路徑function xdtojd($base_url,$url_list){ if(is_array($url_list)){ foreach($url_list as $url_item){ if(preg_match("/^(http:////|http:////|javascript:)/",$url_item)){ $result_url_list[]=$url_item; }else { if(preg_match("/^///",$url_item)){ $real_url = $base_url.$url_item; }else{ $real_url = $base_url."/".$url_item; #$real_url = 'http://www.sumpay.cn/'.$url_item; $result_url_list[] = $real_url; return $result_url_list; }else{ return;#刪除其他站點urlfunction other_site_url_del($jd_url_list,$url_base){ if(is_array($jd_url_list)){ foreach($jd_url_list as $all_url){ echo $all_url; if(strpos($all_url,$url_base)===0){ $all_url_list[]=$all_url; return $all_url_list; }else{ return;#刪除相同URLfunction url_same_del($array_url){ if(is_array($array_url)){ $insert_url=array(); $pizza=file_get_contents("/tmp/url.txt"); if($pizza){ $pizza=explode("/r/n",$pizza); foreach($array_url as $array_value_url){ if(!in_array($array_value_url,$pizza)){ $insert_url[]=$array_value_url; if($insert_url){ foreach($insert_url as $key = $insert_url_value){ #這里只做了參數相同去重處理 $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); foreach($pizza as $pizza_value){ $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value); if($update_insert_url==$update_pizza_value){ unset($insert_url[$key]); continue; }else{ $insert_url=array(); $insert_new_url=array(); $insert_url=$array_url; foreach($insert_url as $insert_url_value){ $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); $insert_new_url[]=$update_insert_url; $insert_new_url=array_unique($insert_new_url); foreach($insert_new_url as $key = $insert_new_url_val){ $insert_url_bf[]=$insert_url[$key]; $insert_url=$insert_url_bf; return $insert_url; }else{ return; $current_url=$argv[1];$fp_puts = fopen("/tmp/url.txt","ab");//記錄url列表 $fp_gets = fopen("/tmp/url.txt","r");//保存url列表 $url_base_url=parse_url($current_url);if($url_base_url['scheme']==""){ $url_base="http://".$url_base_url['host'];}else{ $url_base=$url_base_url['scheme']."://".$url_base_url['host']; $spider_page_result=curl_get($current_url); #var_dump($spider_page_result); $url_list=get_page_urls($spider_page_result,$url_base); #var_dump($url_list); if(!$url_list){ continue; $jd_url_list=xdtojd($url_base,$url_list); #var_dump($jd_url_list); $result_url_arr=other_site_url_del($jd_url_list,$url_base); var_dump($result_url_arr); $result_url_arr=url_same_del($result_url_arr); #var_dump($result_url_arr); if(is_array($result_url_arr)){ $result_url_arr=array_unique($result_url_arr); foreach($result_url_arr as $new_url) { fputs($fp_puts,$new_url."/r/n"); }while ($current_url = fgets($fp_gets,1024));//不斷獲得url preg_match_all("/ a[^ ]+href=[/"']([^/"']+)[/"'][^ ]+ /",$spider_page_result,$out);# echo a href#var_dump($out[1]);PHP教程

鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播更多信息之目的，如作者信息標記有誤，請第一時間聯系我們修改或刪除，多謝。

上一篇：php怎么根據生日輸出年齡

下一篇：php實現的數字驗證碼及數字運算驗證碼