今天來做一個PHP電影小爬蟲。
我們來利用simple_html_dom的采集數據實例,這是一個PHP的庫,上手很容易。
simple_html_dom 可以很好的幫助我們利用php解析html文檔。通過這個php封裝類可以很方便的解析html文檔,對其中的html元素進行操作 (PHP5+以上版本)
下載地址:https://github.com/samacs/simple_html_dom
下面我們以 http://www.paopaotv.com 上的列表頁 http://paopaotv.com/tv-type-id-5-pg-1.html 字母模式展現的列表為例,抓取頁面上的列表數據,以及內容里面信息
1 <?php 2 include_once 'simple_html_dom.php'; 3 //獲取html數據轉化為對象 4 $html = file_get_html('http://paopaotv.com/tv-type-id-5-pg-1.html'); 5 //A-Z的字母列表每條數據是在id=letter-focus 的div內class= letter-focus-item的dl標簽內,用find方法查找即為 6 $listData=$html->find("#letter-focus .letter-focus-item");//$listData為數組對象 7 foreach($listData as$key=>$eachRowData){ 8 $filmName=$eachRowData->find("dd span",0)->plaintext;//獲取影視名稱 9 $filmUrl=$eachRowData->find("dd a",0)->href;//獲取dd標簽下影視對應的地址10 //獲取影視的詳細信息11 $filmInfo=file_get_html("http://paopaotv.com".$filmUrl);12 $filmDetail=$filmInfo->find(".info dl");13 foreach($filmDetail as $film){14 $info=$film->find("dd");15 $row=null;16 foreach($info as $childInfo){17 $row[]=$childInfo->plaintext;18 }19 $cate[$key][]=join(",",$row);//將影視的信息存放到數組中20 }21 }
這樣通過simple_html_dom,就可以將paopaotv.com影視列表中信息,以及影視的具體信息就抓取到了,之后你可以繼續抓取影視詳細頁面上的視頻地址信息,然后將該影視的所有信息都存放到數據庫中。
下面是simple_html_dom常用的屬性以及方法:
1 $html = file_get_html('http://paopaotv.com/tv-type-id-5-pg-1.html'); 2 $e = $html->find("div", 0); 3 //標簽 4 $e->tag; 5 //外文本 6 $e->outertext; 7 //內文本 8 $e->innertext; 9 //純文本10 $e->plaintext;11 //子元素12 $e->children ( [int $index] );13 //父元素14 $e->parent ();15 //第一個子元素16 $e->first_child ();17 //最后一個子元素18 $e->last_child ();19 //后一個兄弟元素20 $e->next_sibling ();21 //前一個兄弟元素22 $e->prev_sibling ();23 //標簽數組24 $ret = $html->find('a');25 //第一個a標簽26 $ret = $html->find('a', 0);
更多用法可以參考官方手冊。
是不是很簡單呢?有問題歡迎提出來交流
鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。
新聞熱點
疑難解答