batchcollect pagecollect來自官方杰奇jieqi定時采集配置方法參

2019-11-02 17:03:54

字體：大中小

來源：轉(zhuǎn)載

供稿：網(wǎng)友

前言

要實現(xiàn)采集，默認方式是根據(jù)配置好的采集規(guī)則，在瀏覽器提交相應(yīng)的參數(shù)即可完成后面的采集入庫全部動作。

而實現(xiàn)定時采集，與人工在瀏覽器提交有些區(qū)別，主要分兩大步驟：

一、編寫采集的url和相關(guān)參數(shù)，訪問這個url即可實現(xiàn)想要的采集模式。（這個url直接在瀏覽器提交同樣可以實現(xiàn)采集）

二、把定時訪問這個url的功能加到系統(tǒng)的定時任務(wù)里面，實現(xiàn)無人值守的定時采集。

具體實現(xiàn)方法請參考下面內(nèi)容：

1、對采集配置文件的解釋

任何一個采集都會用到兩個采集配置文件（跟后臺采集規(guī)則配置對應(yīng)），都可以用文本編輯器打開查看。

其中 /configs/article/collectsite.php 是對總的采集站點配置，記錄了一共允許采集哪幾個站點。

里面包含類似這樣的內(nèi)容：

$jieqiCollectsite['1']['name'] = '采集站點一';

$jieqiCollectsite['1']['config'] = 'abc_com';

$jieqiCollectsite['1']['url'] = 'http://www.abc.com';

$jieqiCollectsite['1']['subarticleid'] = 'floor($articleid/1000)';

$jieqiCollectsite['1']['enable'] = '1';

$jieqiCollectsite['2']['name'] = '采集站點二';

$jieqiCollectsite['2']['config'] = 'def_net';

$jieqiCollectsite['2']['url'] = 'http://www.def.net';

$jieqiCollectsite['2']['subarticleid'] = '';

$jieqiCollectsite['2']['enable'] = '1';

參數(shù)含義解釋如下：

['1'] - 這里的 1 表示采集網(wǎng)站的數(shù)字序號，不同的采集站序號不能重復。

['name'] - 采集網(wǎng)站名稱。

['config'] - 網(wǎng)站英文標識，這個網(wǎng)站采集規(guī)則配置文件有關(guān)，比如這個值是 abc_com ，那么采集規(guī)則配置文件就是 /configs/article/site_abc_com.php。

['url'] - 采集網(wǎng)站網(wǎng)址。

['subarticleid'] - 采集網(wǎng)站，文章子序號運算方式，本項目主要為了兼容以前程序，新版本里面文章子序號可以通過采集獲得。

['enable'] - 是否允許采集，1 表示允許，0 表示禁止，默認為 1。

如前面所說，每個采集網(wǎng)站有個專門的采集規(guī)則配置文件，/configs/article/ 目錄下以 site_ 開頭的php文件，如 /configs/article/site_abc_com.php。

里面內(nèi)容都與后臺采集規(guī)則設(shè)置相對應(yīng)，具體細節(jié)不一一解釋。需要了解的是本文件里面內(nèi)容分兩大部分，前面內(nèi)容都是對網(wǎng)站內(nèi)容采集規(guī)則的配置，而最后面 $jieqiCollect['listcollect']['0']，$jieqiCollect['listcollect']['1'] 這樣的設(shè)置是對網(wǎng)站"批量采集規(guī)則"的配置，比如按最近更新采集、按排行榜采集，可以設(shè)置多個。['0'] 這里的數(shù)字 0 表示批量采集類別的數(shù)字序號，同一個網(wǎng)站也不能重復。

2、編寫采集內(nèi)容的url及參數(shù)

這里的采集是針對多篇文章批量采集，分兩種模式：

一、按頁面批量采集，比如采集最新更新列表或者排行榜列表，每個鏈接采集一頁。

鏈接格式如下：

http://www.jb51.net/modules/article/admin/pagecollect.php?action=collect&siteid=1&collectname=0&startpageid=1&maxpagenum=1¬addnew=0&jieqi_username=admin&jieqi_userpassword=1234

參數(shù)含義解釋如下：

www.jb51.net - 是指您的網(wǎng)址。

action - 字符串，程序執(zhí)行的動作命令，固定值為 collect。

siteid - 數(shù)字類型，要采集的網(wǎng)站序號，具體哪個網(wǎng)站對應(yīng)什么序號見配置文件collectsite.php。

上一篇：dedecms v5 跳轉(zhuǎn)網(wǎng)址直接鏈接而非跳轉(zhuǎn)的實現(xiàn)方法修正版[原創(chuàng)]

下一篇：DEDECMS 重置管理員admin的密碼的php文件