亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 語言 > PHP > 正文

PHPCrawl爬蟲庫實現抓取酷狗歌單的方法示例

2024-05-05 00:01:32
字體:
來源:轉載
供稿:網友

本文實例講述了PHPCrawl爬蟲庫實現抓取酷狗歌單的方法。分享給大家供大家參考,具體如下:

本人看了網絡爬蟲相關的視頻后,手癢癢,想爬點什么。最近Facebook上表情包大戰很激烈,就想著把所有表情包都爬下來,卻一時沒有找到合適的VPN,因此把酷狗最近一月精選歌曲和簡單介紹抓取到本地。代碼寫得有點亂,自己不是很滿意,并不想放上來丟人現眼。不過轉念一想,這好歹是自己第一次爬蟲,于是...就有了如下不堪入目的代碼~~~(由于抓取的數據量較小,所以沒有考慮多進程什么的,不過我看了一下PHPCrawl的文檔,發現PHPCrawl庫已經把我能想到的功能都封裝好了,實現起來很方便)

<?phpheader("Content-type:text/html;charset=utf-8");// It may take a whils to crawl a site ...set_time_limit(10000);include("libs/PHPCrawler.class.php");class MyCrawler extends PHPCrawler {  function handleDocumentInfo($DocInfo) {    // Just detect linebreak for output ("/n" in CLI-mode, otherwise "<br>").    if (PHP_SAPI == "cli") $lb = "/n";    else $lb = "<br />";    $url = $DocInfo->url;    $pat = "/http:////www/.kugou/.com//yy//special//single///d+/.html/";    if(preg_match($pat,$url) > 0){    $this->parseSonglist($DocInfo);    }    flush();  }  public function parseSonglist($DocInfo){    $content = $DocInfo->content;    $songlistArr = array();    $songlistArr['raw_url'] = $DocInfo->url;    //解析歌曲介紹    $matches = array();    $pat = "/<span>名稱:<//span>([^(<br)]+)<br/";    $ret = preg_match($pat,$content,$matches);    if($ret>0){      $songlistArr['title'] = $matches[1];    }else{      $songlistArr['title'] = '';    }    //解析歌曲    $pat = "/<a    $matches = array();    preg_match_all($pat,$content,$matches);    $songlistArr['songs'] = array();    for($i = 0;$i < count($matches[0]);$i++){      $song_title = $matches[1][$i];      array_push($songlistArr['songs'],array('title'=>$song_title));    }    echo "<pre>";    print_r($songlistArr);    echo "</pre>";    }  }$crawler = new MyCrawler();// URL to crawl$start_url="http://www.kugou.com/yy/special/index/1-0-2.html";$crawler->setURL($start_url);// Only receive content of files with content-type "text/html"$crawler->addContentTypeReceiveRule("#text/html#");//鏈接擴展$crawler->addURLFollowRule("#http://www/.kugou/.com/yy/special/single//d+/.html$# i");$crawler->addURLFollowRule("#http://www.kugou/.com/yy/special/index//d+-/d+-2/.html$# i");// Store and send cookie-data like a browser does$crawler->enableCookieHandling(true);// Set the traffic-limit to 1 MB(1000 * 1024) (in bytes,// for testing we dont want to "suck" the whole site)//爬取大小無限制$crawler->setTrafficLimit(0);// Thats enough, now here we go$crawler->go();// At the end, after the process is finished, we print a short// report (see method getProcessReport() for more information)$report = $crawler->getProcessReport();if (PHP_SAPI == "cli") $lb = "/n";else $lb = "<br />";echo "Summary:".$lb;echo "Links followed: ".$report->links_followed.$lb;echo "Documents received: ".$report->files_received.$lb;echo "Bytes received: ".$report->bytes_received." bytes".$lb;echo "Process runtime: ".$report->process_runtime." sec".$lb; ?>

 

希望本文所述對大家PHP程序設計有所幫助。


注:相關教程知識閱讀請移步到PHP教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表

圖片精選

亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
国产成人鲁鲁免费视频a| 91精品国产91久久久久久吃药| 国产精品欧美一区二区| 久久久国产精品视频| 日本三级韩国三级久久| 亚洲国产精品va在线看黑人动漫| 亚洲欧美国产日韩中文字幕| 一区二区三区国产在线观看| 日韩欧美第一页| 欧美国产精品va在线观看| 亚洲欧美视频在线| 日本韩国在线不卡| 国产日韩中文字幕| 日韩欧亚中文在线| 91网站免费观看| 国产福利视频一区二区| 欧美最猛性xxxxx免费| 国产亚洲精品美女| 在线视频欧美日韩精品| 欧美国产激情18| 日韩专区在线观看| 丝袜一区二区三区| 久久久久久中文字幕| 精品女厕一区二区三区| 成人女保姆的销魂服务| 久久久精品欧美| 91精品国产免费久久久久久| 欧美高跟鞋交xxxxhd| 日韩欧美国产一区二区| 国产精品久久久久久久一区探花| 亚洲激情电影中文字幕| 国产一区二区三区三区在线观看| 精品亚洲一区二区| 上原亚衣av一区二区三区| 国产精品久久久亚洲| 亚洲区免费影片| 91国内揄拍国内精品对白| 精品一区二区三区电影| 久久国产精品久久久久久| 亚洲日韩中文字幕在线播放| 26uuu亚洲国产精品| 国产视频精品在线| 中文字幕av一区| 亚洲欧洲国产一区| 亚洲无线码在线一区观看| 久久99国产精品自在自在app| 欧日韩在线观看| 91久久精品美女高潮| 91网站免费看| 午夜伦理精品一区| 欧美国产日韩免费| 久久国产精品视频| 成人午夜高潮视频| 尤物九九久久国产精品的特点| 亚洲黄色免费三级| 狠狠躁夜夜躁久久躁别揉| 亚洲欧美日韩精品久久| 中文字幕亚洲图片| 欧美日韩激情小视频| 国产一区欧美二区三区| 国产丝袜一区二区| 国产成人jvid在线播放| 久久久亚洲欧洲日产国码aⅴ| 91社区国产高清| 国外视频精品毛片| 日韩高清欧美高清| 色樱桃影院亚洲精品影院| 欧美在线视频在线播放完整版免费观看| 红桃av永久久久| 91精品国产91久久久久久久久| 欧美黑人xxxⅹ高潮交| 精品国产一区二区三区久久狼5月| www国产亚洲精品久久网站| 日韩欧美成人精品| 中文字幕视频在线免费欧美日韩综合在线看| 亚洲视频在线看| 久久久精品国产网站| 国产三级精品网站| 国产精品麻豆va在线播放| 成人中文字幕在线观看| 久久99久久亚洲国产| 国产精品精品视频一区二区三区| 亚洲国产欧美一区二区三区同亚洲| 日韩在线观看免费高清完整版| 欧美国产第二页| 国产成人精品免费视频| 亚洲国产另类 国产精品国产免费| www.日韩av.com| 久久精品91久久久久久再现| 91色中文字幕| 欧美另类在线观看| 国产91精品网站| 国产男人精品视频| 久久久www成人免费精品张筱雨| 国产成人亚洲综合青青| 韩国精品久久久999| 欧美亚洲视频在线看网址| 欧美激情视频在线| 欧美在线视频播放| 久99九色视频在线观看| 国产日韩精品在线| 日韩av网站在线| 欧美性videos高清精品| 国产精品电影在线观看| 91av国产在线| 日韩电影大全免费观看2023年上| 亚洲伊人一本大道中文字幕| 欧美精品久久久久久久免费观看| 欧美亚洲国产精品| 91国偷自产一区二区三区的观看方式| 亚洲第一免费播放区| 粉嫩老牛aⅴ一区二区三区| 红桃视频成人在线观看| 国产精品久久久久av| 成人免费视频在线观看超级碰| 青青久久av北条麻妃海外网| 久久久噜噜噜久噜久久| 欧美日韩国产一区中文午夜| 国产精品三级久久久久久电影| 国产91精品久久久| 国产精品视频最多的网站| 久久五月情影视| 超在线视频97| 国产婷婷色综合av蜜臀av| 亚洲日本欧美日韩高观看| 欧美最猛性xxxxx免费| 一本色道久久88综合日韩精品| 91夜夜未满十八勿入爽爽影院| 日本三级久久久| 久久成人亚洲精品| 日本不卡高字幕在线2019| 国产精品专区第二| 色综合久久中文字幕综合网小说| 久久久午夜视频| 欧美激情手机在线视频| 国产精品一久久香蕉国产线看观看| 国产精品免费电影| 国产精品久久久久高潮| 欧美限制级电影在线观看| 国产精品一区二区三区成人| 美日韩丰满少妇在线观看| 日韩免费电影在线观看| 久久精品亚洲94久久精品| 成人免费观看49www在线观看| 一区二区三区四区视频| 亚洲色图在线观看| 成人免费网视频| 国产日韩欧美在线播放| 日韩在线精品一区| 色哟哟入口国产精品| 91亚洲精华国产精华| 久久久人成影片一区二区三区观看| 青青久久aⅴ北条麻妃| 欧美一级淫片播放口| 69影院欧美专区视频| 日产日韩在线亚洲欧美| 日本a级片电影一区二区| 国产精品xxxxx| 国产成人综合一区二区三区| 成人精品一区二区三区电影免费| 日韩欧美一区二区三区久久| 国产成人综合一区二区三区| 精品日本美女福利在线观看| 欧美夫妻性视频|