PHP擴(kuò)展curl和正則表達(dá)式輕松采集新聞

2020-03-24 17:10:41

字體：大中小

供稿：網(wǎng)友

采集已經(jīng)不是什么新名詞了，很多站長(zhǎng)為了省事，也局限于人力的缺乏，使用程序來給自己的網(wǎng)站添磚加瓦，比如本人的個(gè)人網(wǎng)站www.xxfsw.com也采集了大量的新聞，那么如果實(shí)現(xiàn)呢？今天我們運(yùn)用php來實(shí)現(xiàn)這個(gè)功能。談到采集，我們不得不說兩個(gè)東西，第一個(gè)是如何獲取遠(yuǎn)程網(wǎng)站的源代碼，這個(gè)可以通過php的一個(gè)擴(kuò)展curl來獲取，另一個(gè)是如果去匹配你需要的信息，這個(gè)的解決辦法是html' target='_blank'>正則表達(dá)式。Windows下開啟curl的方法如下：1、拷貝PHP目錄中的libeay32.dll， ssleay32.dll， php5ts.dll， php_curl.dll文件到 system32 目錄。2、修改php.ini：配置好 extension_dir ，去掉 extension = php_curl.dll 前面的分號(hào)。3、重起apache。Linux下開啟curl的方法如下：進(jìn)入安裝原php 的源碼目錄，cd ext
cd curl
phpize
./configure --with-curl =DIR
make就會(huì)在PHPDIR/ext/curl /moudles/下生成curl .so的文件。復(fù)制curl .so文件到extensions的配置目錄，修改php .ini就好了。然后你就可以利用curl來獲取到指定url的網(wǎng)頁源碼了，這里給大家一個(gè)封裝好的函數(shù)：
以下為引用的內(nèi)容：
function getwebcontent($url){
$ch = curl_init();
$timeout = 10;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);
$contents = trim(curl_exec($ch));
curl_close($ch);
return $contents;
}
以下為引用的內(nèi)容：
p+匹配至少一個(gè)含p的字符串
p*陪陪任何包含0個(gè)或多個(gè)p的字符串
p?匹配任何包含0個(gè)或一個(gè)p的字符串
p{2}匹配包含2個(gè)p的序列的字符串
p{2,3}匹配任何包含2個(gè)或3個(gè)的字符串
p$匹配任何以p結(jié)尾的字符串
^p匹配任何以p開頭的字符串
[^a-zA-Z]匹配任何不包含a-zA-Z的字符串
p.p匹配任何包含p、接下來是任何字符、再接下來有又是p的字符串
^.{2}$匹配任何值包含2個(gè)字符的字符串
b (.*)b 匹配任何被 b 包圍的字符串
p(hp)*匹配任何一個(gè)包含p,后面是多個(gè)或0個(gè)hp的字符串
以下為引用的內(nèi)容：
[:alpha:]同[a-zA-Z]
[:alnum:]同[a-zA-Z0-9]
[:cntrl:]匹配控制字符，比如制表符，反斜杠，退格符
[:digit:]同[0-9]
[:graph:]所有ASCII33~166范圍內(nèi)可以打印的字符
[:lower:]同[a-z]
[:punct:]標(biāo)點(diǎn)符號(hào)
[:upper:]同[A-Z]
[:space:]空白字符，可以是空格、水平制表符、換行、換頁、回車
[:xdigit:]十六進(jìn)制符同[a-fA-F0-9]
以下為引用的內(nèi)容：
?php
header( Content-type: text/html; charset=utf-8
getinfo( http://rss.sina.com.cn/rollnews/news/gn_total.js ,1);
getinfo( http://rss.sina.com.cn/rollnews/news/gj_total.js ,2);
getinfo( http://rss.sina.com.cn/rollnews/news/sh_total.js ,3);
getinfo( http://rss.sina.com.cn/rollnews/sports/sports_total.js ,4);
getinfo( http://rss.sina.com.cn/rollnews/tech/tech1_total.js ,5);
getinfo( http://rss.sina.com.cn/rollnews/finance/finance1_news_total.js ,6);
getinfo( http://rss.sina.com.cn/rollnews/ent/ent_total.js ,7);
getinfo( http://rss.sina.com.cn/rollnews/jczs/jczs_total.js ,8);
function getinfo($infourl,$catid)
{
$pagecontent=getwebcontent($infourl);
preg_match_all( /title:/ (.*?)/ / , $pagecontent, $match);
$titlearr=$match[1];
preg_match_all( /link:/ (.*?)/ / , $pagecontent, $match);
$urlarr=$match[1];
for ($i=1;$i count($urlarr);$i++){
echo go {$titlearr[$i-1]}/n
$title=iconv( gbk , utf-8 ,$titlearr[$i-1]);
$content=iconv( gbk , utf-8 ,getnewscontent($urlarr[$i]));
$content=mysql_escape_string($content);
if(!insertdb($title,$content,$catid)) break;
}
}
function insertdb($title,$content,$catid){
將數(shù)據(jù)寫入你的庫
}
function getnewscontent($newsurl){
$newscontent=getwebcontent($newsurl);
preg_match_all( / div > $content=preg_replace( / a.*? //a /si , ,$match[1][0]);
$content=preg_replace( / div > $content=preg_replace( / div > $content=str_replace( div > return $content;
}
function getwebcontent($url){
$ch = curl_init();
$timeout = 10;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);
$contents = trim(curl_exec($ch));
curl_close($ch);
return $contents;
}
?
然后如何實(shí)現(xiàn)比較實(shí)時(shí)的同步呢，這可以利用windows下的任務(wù)計(jì)劃或linux下的crontab 了，定時(shí)（比如十分鐘）執(zhí)行這個(gè)程序，這樣，你就不再愁網(wǎng)站沒有內(nèi)容了，哈哈，另外本人開了個(gè)工作室www.beijingjianzhan.com（北京建站），我們開發(fā)了一個(gè)系統(tǒng)，不僅能夠采集信息，而且能自動(dòng)地進(jìn)行再加工，進(jìn)行偽原創(chuàng)，這樣就更符合搜索引擎的品味了，讓你的網(wǎng)站瘋狂地被收錄吧，另外可以加我的Q376504340討論技術(shù)性話題。html教程

鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。

上一篇：phpwind推進(jìn)中小網(wǎng)站生態(tài)鏈啟動(dòng)全國巡回會(huì)議

下一篇：php教程：php設(shè)計(jì)模式介紹之規(guī)范模式