一個基于phpQuery的php通用采集類分享

2020-03-22 16:48:45

字體：大中小

來源：轉載

供稿：網友

一、采集類源碼
復制代碼代碼如下:
?php
/**
*通用列表采集類
*版本V1.3
*作者:JAE
*/
require_once '../phpQuery/phpQuery/phpQuery.php';
html' target='_blank'>class QueryList{

private $pageURL;
private $regArr = array();
public $jsonArr = array();
private $regRange;
private $html;
/************************************************
* 參數: 頁面地址選擇器數組塊選擇器
* 【選擇器數組】說明：格式array("名稱"= array("選擇器","類型"),.......)
* 【類型】說明：值 "text" ,"html" ,"屬性"
*【塊選擇器】：指先按照規則選出幾個大塊，然后再分別再在塊里面進行相關的選擇
*************************************************/
function QueryList($pageURL,$regArr=array(),$regRange='')
{
$this- pageURL = $pageURL;

//為了能獲取http://
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$this- pageURL);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$this- html = curl_exec($ch);
curl_close($ch);

if(!empty($regArr))
{

$this- regArr = $regArr;
$this- regRange = $regRange;
$this- getList();
}

}
function setQuery($regArr,$regRange='')
{
$this- jsonArr=array();
$this- regArr = $regArr;
$this- regRange = $regRange;
$this- getList();
}
private function getList()
{

$hobj = phpQuery::newDocumentHTML($this- html);
if(!empty($this- regRange))
{
$robj = pq($hobj)- find($this- regRange);

$i=0;
foreach($robj as $item)
{

while(list($key,$reg_value)=each($this- regArr))
{
$iobj = pq($item)- find($reg_value[0]);

switch($reg_value[1])
{
case 'text':
$this- jsonArr[$i][$key] = trim(pq($iobj)- text());
break;
case 'html':
$this- jsonArr[$i][$key] = trim(pq($iobj)- html());
break;
default:
$this- jsonArr[$i][$key] = pq($iobj)- attr($reg_value[1]);
break;

}
}
//重置數組指針
reset($this- regArr);
$i++;
}
}
else
{
while(list($key,$reg_value)=each($this- regArr))
{
$lobj = pq($hobj)- find($reg_value[0]);

$i=0;
foreach($lobj as $item)
{
switch($reg_value[1])
{
case 'text':
$this- jsonArr[$i++][$key] = trim(pq($item)- text());
break;
case 'html':
$this- jsonArr[$i++][$key] = trim(pq($item)- html());
break;
default:
$this- jsonArr[$i++][$key] = pq($item)- attr($reg_value[1]);
break;

}

}

}
}
}
function getJSON()
{
return json_encode($this- jsonArr);
}

}
二、使用例子復制代碼代碼如下:
?php
require 'Query/QueryList.class.php';
//采集OSC的代碼分享列表，標題鏈接作者
$url = "http://www.oschina.net/code/list";
$reg = array("title"= array(".code_title a:eq(0)","text"),"url"= array(".code_title a:eq(0)","href"),"author"= array("img","title"));
$rang = ".code_list li";
$hj = new QueryList($url,$reg,$rang);
$arr = $hj- jsonArr;
print_r($arr);
//如果還想采當前頁面右邊的 TOP40活躍貢獻者圖像，得到JSON數據,可以這樣寫
$reg = array("portrait"= array(".hot_top img","src"));
$hj- setQuery($reg);
$json = $hj- getJSON();
echo $json . " hr/ //采OSC內容頁內容
$url = "http://www.oschina.net/code/snippet_186288_23816";
$reg = array("title"= array(".QTitle h1","text"),"con"= array(".Content","html"));
$hj = new QueryList($url,$reg);
$arr = $hj- jsonArr;
print_r($arr);//就舉這么多例子吧，是不是用來做采集很方便
PHP教程

鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播更多信息之目的，如作者信息標記有誤，請第一時間聯系我們修改或刪除，多謝。

上一篇：什么是php？有哪些優點？

下一篇：使用Laravel實現定時任務的方法