火車頭采集器教程有哪些，如何了解火車頭采集器教程？

感謝您選擇火車頭數據采集平臺。火車頭數據采集平臺為用戶提供了火車采集器等多款數據采集工具，使用它，您可以快速方便的得到自己需要的數據。

火車頭數據采集平臺簡介

功能特性

火車頭數據采集平臺是一款通用型數據采集程序框架。它包含了數據采集最常用的計劃任務，數據發布，正文識別、OCR圖形圖像識別，采集入庫等模塊，可以支持其它采集軟件快速穩定在平臺上使用。火車頭采集平臺定義了統一的接口規范并提供了大量的api,用戶可以很方便的開發自己的應用并在該平臺上運行，可以減少開發上時間和成本。目前平臺上有官方自帶火車采集器。

安裝升級及卸載

1.系統需求

操作系統:Win7,WinXP,Win2008,Win2003,Windows 2000等windows內核的操作系統上

硬件配置:CPU主頻1.6G以上，內存1G以上，分辨率至少為1024*768，網絡帶寬1Mbps以上。

必要組件:軟件需要安裝.NET FrameWork 2.0框架，如程序不能打開，請下載微軟的.NET FrameWork 2.0框架并安裝。.net framework 2.0下載地址:

32位操作系統：http://download.microsoft.com/download/5/6/7/567758a3-759e-473e-bf8f-52154438565a/dotnetfx.exe

64位操作系統：http://download.microsoft.com/download/a/3/f/a3f1bf98-18f3-4036-9b68-8e6de530ce0a/NetFx64.exe2

2.程序的安裝

將下載后的壓縮包直接解壓縮到您電腦的任何地方即可完成采集器的安裝--安裝過程不操作注冊表和系統文件，不產生任圾文件！

3.程序的升級

運行程序目錄下AutoUpdate.exe按提示進行升級。

4程序的卸載

直接刪除采集器整個安裝文件夾即可以完成程序的卸載。在卸載前強烈建議您備份Configuration,Extensions,Data和Module文件夾（即用戶配置，擴展目錄，采集數據和模塊）以便下次使用!采集相關術語

火車采集器  幫助文檔

1.采集規則

簡稱規則，V7以前版本采集規則分為站點規則和任務規則，通常是指任務規則。V7版及以后采用無限級分組管理任務規則，所以不再有站點規則的概念。所謂采集規則就是要采集一個網站或某一網站欄目網頁需要在軟件里進行的設置。這個設置可以從軟件里導出保存成一個文件并可以再導入到軟件里。V7版的任務規則文件后綴名為.ljobx,以前的站點規則文件的后綴名為：.lsite；任務規則文件的后綴名為：.ljob。

2.采集任務

采集任務又簡稱為任務。它是采集規則和發布規則的總和。也是采集規則和發布規則的載體。采集規則和發布規則的設置通過在任務編輯框里進行設置。從采集器里導出的采集規則文件（.ljobx后綴的）也可稱為任務規則。導入導出任務規則就是指導入導出.ljobx文件。

3.發布模塊

發布模塊又稱模塊、發布規則，分為WEB發布模塊和數據庫發布模塊。所謂發布模塊就是在需要將已經采集的數據發布到目的地(比如：網站/后臺中或指定數據庫中）時在軟件里進行的設置。這個設置可以保存成一個文件并可以導入到采集器里使用。數據庫發布模塊文件的后綴名為：.dpm；WEB在線發布模塊文件的后綴名為：.wpm。（采集規則和發布模塊都可以從采集器里導出，也都可以導入到采集器中使用。采集規則負責將網頁上的數據采集下來，發布模塊負責將采集的數據發布到網站中?？梢?，采集規則的編寫和修改和被采集的網站有關系，而發布模塊的編寫和修改和要發布數據的網站有關系。如從不同的網站欄目采集數據往同一個網站的某個板塊（頻道）里發布，需要多個采集規則和一個發布模塊。從一個網站欄目采集數據往不同的網站系統里發布，需要一個采集規則和多個發布模塊。注意這里的說的采集規則是指采集網站和抓取內容的設置。）

4.標簽

標簽是指用來提取某項內容信息的一個字段名字，由用戶在編輯規則的時候指定。比如標題，手機號，郵件，作者，內容標簽，采集到的信息則在發布模塊中就可以通過該標簽名對應獲取到，格式為[標簽：標簽名]如[標簽：標題]，標簽在火車采集器里面有分為兩種：分別為列表頁標簽和內容頁標簽，顧名思義，列表頁標簽就是在獲取列表頁時（即采網址時）就獲取到內容信息，內容頁標簽是在獲取內容頁或多頁內容時（采內容）才獲取內容信息。

注：通常還有一種說法為 html標簽，這里的標簽是指一些html代碼里面的屬性標識符，如：<a href里面的a標簽，里面的font標簽為html標簽，該術語在內容處理的html標簽排除項出現。

5.起始網址

用來獲取下級鏈接地址的入口網址，可以為一條或多條，可以通過添加起始網址向導添加同格式多條網址或導入文本網址。這里的起始網址相當于2010版以前的0級網址的概念。如果沒有定義多級網址的獲取方法，這些地址即作為內容頁網址進行內容采集。

6.多級網址

依次根據列表里面的多級網址順序采集分析地址，多級網址相當于2010版以前的1級，2級，3級到N級的概念。通過依次采集分析到最后一級得到內容頁地址。多級網址的獲取可以使用自動分析，手工分析及Xpath可視化提取方法采集下級網址，在采集的過程中，可以同時采集列表分頁及提取列表頁附加參數。

7.Cookie

簡單地說，就是在Http請求訪問中記錄您的用戶信息即登錄信息的一段用于與服務器進行交互的字符串。在瀏覽器中使用時通常還會以文本形式記錄到您的IE緩存目錄中以便下次在有效期內不用輸入用戶信息即可繼續訪問驗證權限的網頁。

8.User-Agent

這是用來向服務器通知您使用的客戶端是IE6,IE7,FireFox或是某某抓取蜘蛛，在某些需要登錄的網頁可能同時驗證Cookie和User-Agent所以可能需要您將其設置為與本機瀏覽器同樣的格式。

9.分頁

比如這篇文章頁面：http://ent.qq.com/music/a/20050516/000026.htm它的內容比較長，分成了7頁顯示出來，而真正的內容需要將7頁的內容組合起來。這樣的7個子頁面就是分頁。

10.多頁

比如綠盟的這篇頁面：http://www.xdowns.com/soft/1/30/2008/Soft_45507.html，我們要獲取其下載地址，而下載地址是需要打開一個新頁面才能看到，在http://www.xdowns.com/soft/softdown.asp?softid=45507這個頁面中，我們稱后面這種頁面為多頁。

同理要獲取http://product.it168.com/detail/doc/395075/index.shtml這樣一個產品頁里面的所有對應的信息，用一條規則搞定，則需要定義比如報價多頁：http://product.it168.com/detail/doc/395075/price.shtml，參數多頁：http://product.it168.com/detail/doc/395075/detail.shtml，圖片多頁：http://product.it168.com/detail/doc/395075/pic.shtml等等。V7的無限級多頁規則可以在多頁里面繼續設置多頁或橋頁采集下級內容，比如該例中的圖片多頁：http://product.it168.com/detail/doc/395075/pic.shtml里面還分為：外觀圖片，細節圖片，配件圖片，要獲取到配件圖片的所有內容則需要繼續定義一個基于圖片多頁的二級深度的配件圖片多頁：http://product.it168.com/detail/doc/395075/25/1/pic.shtml。在該多頁中定義標簽采集到您所需要的信息。

11.正則

是指一個用來描述或者匹配一系列符合某個句法規則的字符串的單個字符串。 詳見百度百科： http://baike.baidu.com/view/94238.htm，比如d+可以匹配到一個或多個數字。在這里收錄了一篇正則表達式的30分鐘經典教程： http://help.locoy.com/Document/Learn_Regex_For_30_Minutes.htm

火車采集器里面有純正則，還有一種基于參數匹配的偽正則，在匹配時使用[參數]標簽代替您想提取的字符串，在組合時使用對應序號的[參數1]，[參數2]，[參數N]來組合出需要的字符串。詳見下面的[參數]術語項。

[參數]

用來匹配某項準備提取信息的標記標簽，如想要在以下代碼中提取組合出某種格式。以從代碼"mClk(this,'108484','134217', '168475','1');"中提取組合出新的地址格式為例。

"mClk(this,'[參數]','[參數]', '[參數]','1'); ",按照次序，108484參數就是參數1，依次類推。實際需要的地址為以下的地址格式：bbs/read.php?id=[參數1]&sort=[參數3]&action=[參數2]，上面代碼中的3個參數和下面地址中的id，soft和action參數要對應相應的值，次序不要顛倒。這樣就組合成了新的地址格式。

(*)

(*)為通配符，在火車采集器可以在起始地址中代表頁碼數，在標簽規則，模塊或其他設置中可匹配代表任意字符串，如(*)可以匹配到xxx字符串也可以匹配到yy字符串。

12.Cron表達式

它是一個由6或7個子表達式組成的字符串。每一個表達式代表一個域，每個域描述了一個單獨的日程細節且每個域之間使用空格分隔，它由兩種格式組成。

Seconds Minutes Hours DayofMonth Month DayofWeek Year或

Seconds Minutes Hours DayofMonth Month DayofWeek

一個Cron表達式至少有6或7個有空格分隔的時間元素，每個時間元素都使用數字，但還可以出現如下特殊字符，他們的含義分別表示：

1.Seconds 秒 (允許值為0-59，允許的特殊符號，- * /)

2.Minutes 分鐘 (允許值為0-59，允許的特殊符號，- * /)

3.Hours 小時 (允許值為0-23，允許的特殊符號，- * /)

4.Day-of-Month 月中的天 (允許值為1-31，允許的特殊符號，- * / ? L W C)

5.Month 月 (允許值為1-12或者JAN-DEC，允許的特殊符號，- * /)

6.Day-of-Week 周中的天 (允許值為1-7或者SUN-SAT，允許的特殊符號，- * / ? L C #)

7.Year (optional field) 年（可選的域，允許值為留空或者1970-2099，允許的特殊符號，- * /）

特殊字符含義：

(1) * 表示該域的任意值。如在Minutes域使用*，即表示每分鐘都會觸發事件。

(2) ? 只能用在DayofMonth和DayofWeek兩個域。實際上不會匹配域的任意值，因為DayofMonth和DayofWeek會相互影響。如想在每月的20日觸發調度，不管20日是周幾，則只能使用如下寫法：13 13 15 20 * ?，其中最后一位只能用?，而不能用*，如果使用*表示每月的20號15時13分13秒不管是周幾都會觸發，實際上不是的。

(3) – 表示范圍，如在Minutes域中使用5-20，表示5到20分鐘每分鐘觸發一次

(4) / 表示起始時間開始觸發，然后每隔固定時間觸發一次。如在Minutes域中使用5/20，表示從分鐘數5開始每隔20分鐘觸發一次，結果25,45,05等分別觸發一次。

(5) ， 表示列出枚舉值。如在Minutes域中使用5,20，則表示5分鐘和20分鐘每分鐘觸發一次。

(6) L 表示最后，只能出現在DayofMonth和DayofWeek域。

(7) W 表示有效工作日（周一到周五），只能出現在DayofMonth域中，系統將在離指定日期最近的有效工作日觸發事件。另外，W的最近尋找不會跨過月份。

(8) # 用于確定每個月第幾個星期幾，只能出現在DayofMonth域中。如4#2表示某月的第二個星期四。

而在新版火車采集器計劃任務管理器計劃任務設置中，可以設置完整的cron表達式。如0 15 08 ? * MON-FRI 表示每周一到周五的早上8點15分開始定時更新數據。

13.Http請求

瀏覽器打開網頁時實際就是發送一個又一個Http請求，火車采集器也一樣，從指定的地址獲取內容的過程起始頁就是一個發送一個Http請求然后對得到的內容進行處理。

當瀏覽器向web服務器發送請求時，它向服務器傳遞了一個數據塊，也就是請求信息。Http請求信息由3部分組成：請求方法URI協議/版本，請求頭（Request Header）和請求正文。如GET/sample.jspHTTP/1.1 //請求行

Accept:image/gif.image/jpeg,*/* //請求頭

Accept-Language:zh-cn

Connection:Keep-Alive

Host:localhost

User-Agent:Mozila/4.0(compatible;MSIE5.01;Window NT5.0)

Accept-Encoding:gzip,deflate

username=jinqiao&password=1234 //請求正文而客戶就可以從請求的信息中得到有用的數據。

14.網頁編碼

是在網頁中指定其特定的字符編碼格式的庫,一般在網頁中會有如下一句：

，這樣的字句指示此網頁的字符集編碼是GB2312.火車采集器對一般的網頁可以做到自動識別，也羅列出了大部分的網頁編碼格式，直接在采集器中手工選擇指定相應的編碼格式。

15.代理

是指網絡中的代理服務器，可以代理網絡用戶去取得所需要的網絡信息。代理的功能有可以突破自身ip的訪問限制訪問國外站點，訪問一些單位或團體內部資源，突破電信的ip封鎖和隱藏真實的ip等。在新版采集器中增加了Http二級代理服務器并支持Http代理，socket4代理和socket5代理分類。用戶可以設置一個或多個二級代理服務器，或者在代理服務器中可以設置更多的一級代理，從而達到單個任務使用多個代理的效果。

16.任務網址庫

采集器在文件夾DataLocoySpiderPageUrl下，該站點下的每一個任務都會生成一個獨立或公用的網址庫用來對比網址重復之用。

17.Xpath

是一門在XML文檔中查找信息的語言，可以通過路徑表達式在XML文檔中進行導航。在新版采集器中增加了使用Xpath方式采集內容和獲取內容頁網址的功能。在標簽編輯中，選擇Xpath方式就可以得到這種所見即所得的網頁數據，更方便于對html不熟悉的用戶使用。

正文提取

對網頁源代碼進行分析，設置遇到某種格式時數據進行輸出的過程。在采集器的標簽編輯中，選擇數據提取方式為正文提取，則可以用程序對文章的標題，內容，時間進行自動提取。該功能適用于準確識別大多數文章類的網頁。也特別適合對采集器不是很熟悉的用戶操作。

18.OCR

OCR （Optical Character Recognition，光學字符識別）是指對文本資料進行掃描，然后對圖像文件進行分析處理，獲取文字及版面信息的過程。新版采集器中集成了OCR自動識別模塊的功能，用戶在標簽編輯數據處理中，使最終數據為圖片地址，然后添加OCR程序將自動調用OCR圖片進行下載識別并識別顯示為最終的文字結果。

19.發布接口

發布接口就是一個小的頁面程序通常和WEB發布模塊配合使用。WEB在線發布（使用WEB發布模塊）是將采集的數據以POST方式發送到網站頁面程序中由網站程序處理數據。而發布接口就是為了滿足特定需求而寫的一個網站的頁面程序（如：PHP頁面，ASP頁面等）。然后采集器通過WEB在線發布將數據發送到這個接口文件由這個接口文件處理數據。接口文件通常放在服務器網站某個目錄下。簡單的說就是采集器將采集的數據發送到接口文件中，接口文件得到數據后去處理數據。使用發布接口用戶可以更加靈活自由的處理采集器發送的數據。

20.插件

火車采集器里的插件分為PHP插件和.NET插件兩種。標準版以上支持PHP插件和.NET插件。插件可以讓用戶通過自己寫PHP程序或者.NET程序放到采集器中對采集的數據進行處理。采集數據時可以使用及處理的插件接口詳見：todo。

21.發布數據

發布數據就是將采集到的數據發布到指定的目的地，火車采集器支持四種發布方式。

方式一：Web在線發布到網站

方式二：保存為本地文件

方式三：導入到自定義數據庫

采集器學習建議

火車采集器  幫助文檔

火車頭數據采集平臺中最重要的擴展程序是火車采集器，我們所說的采集器學習即火車采集器的使用?；疖嚥杉魇且粋€非常專業的數據抓取和數據處理軟件,對軟件使用者有較高的技術要求，使用者要有基本的HTML基礎,能看得懂網頁源碼,網頁結構。 同時如果用到web發布或數據庫發布,則對自己文章系統及數據存儲結構要非常了解。如果您相關基礎薄弱,則需要花時間學習相關知識并多看使用手冊,才可以 掌握程序的使用.

當然對HTML和數據庫不是很了解，是不是就不可以使用火車采集器了呢？也不完全是，我們程序在做了許多工作以幫助使用者更快的上手，程序做了許多 演示教材，您可以研究一下，參照并仿照制作自己的規則，再加以練習，基本也可以使用。如果您對HTML和數據庫有更深層次的需求，可以來火車采集器技術支 持論壇 (http://bbs.locoy.com)尋求技術支持，論壇里有很多朋友都是很樂于幫助你的.同時,我們也提供相關的服務,您可以從我們這里得到你 網站或系統的完美的采集方案。

學習采集器時，如有以下相關知識，將會對程序的使用起到促進作用

1.  html基礎 了解網頁的基本知識，幫助分析網頁結構 http://www.w3school.com.cn/html/index.asp

2.  正則表達式的使用  http://www.regexlab.com/zh/regref.htm

3.  Http協議的相關知識 Http請求抓包的方法 http://www.fiddler2.com/fiddler2/

4.  Access,Mysql,Sqlserver,Sqlite,Oracle,Mongo數據庫的使用

5.  代理服務器，FTP服務器相關知識

6.  常見的SQL語句

7.  插件需要PHP或C#編程功底的支持

8.  Apache或IIS服務器架設，網站的安裝

火車采集器采集原理，流程介紹

火車采集器  幫助文檔

什么是數據采集？我們可以這樣理解，我們打開一個網站，看到有一篇文章很不錯，于是我們就將文章的標題和內容復制了一下，將這篇文章轉到我們的網站上。我們的這個過程，就可以稱作一個采集，將別人網站上對自己有用的信息轉到自己網站上。

采集器正是這樣做這樣的工作，不過整個過程是由軟件完成的。我們可以這樣理解，我們復制文章的標題和內容，是我們可以知道什么地方是內容，什么地方是標題，但是軟件是不知道的，所以我們要告訴軟件，要怎么采，這就是寫規則的過程。我們復制完了，打開我們網站，比如論壇發帖的地方，然后粘帖發表，對軟件來說，就是模仿我們發表帖子的過程，去發表文章，怎么發布，這就是數據發布了。

火車采集器就是一款用來采集數據的軟件，它是目前網絡上最強大的采集器。它幾乎可以采到你所見到的任何網頁內容。

火車采集器數據抓取原理：

火車采集器如何去抓取數據，取決于您的規則。您要獲取一個欄目的網頁里的所有內容，需要先將這個網頁的網址采下來，這就是采網址。程序按您的規則抓取列表頁面，從中分析出網址，然后再去抓取獲得網址的網頁里的內容。再根據您的采集規則，對下載到的網頁分析，將標題內容等信息分離開來并保存下來。如果您選擇了下載圖片等網絡資源，程序會對采集到的數據進行分析，找出圖片，資源等的下載地址并下載到本地。

火車采集器數據發布原理：

在我們將數據采集下來后數據默認是保存在本地的，我們可以使用以下幾種方式對數據進行處理。

1、不做任何處理。因為數據本身是保存在數據庫的（access、db3、mysql、sqlserver），您如果只是查看數據，直接用相關軟件打開查看即可。

2、Web發布到網站。程序會模仿瀏覽器向您的網站發送數據，可以實現您手工發布的效果。

3、直接入數據庫。您只需寫幾個SQL語句，程序會將數據按您的SQL語句導入到數據庫中。

4、保存為本地文件。程序會讀取數據庫里的數據，按一定格式保存為本地sql或是文本文件。

火車采集器工作流程：

火車采集器采集數據是分成兩個步驟的，一是采集數據，二是發布數據。這兩個過程是可以分開的。

1、采集數據，這個包括采集網址，采集內容。這個過程是獲得數據的過程。我們做規則，在采的過程中也算是對內容做了處理。

2、發布內容就是將數據發布到自己的論壇，CMS的過程，也是實現數據為已有的過程?？梢杂肳EB在線發布，數據庫入庫或存為本地文件。

具體的使用其實是很靈活的，可以根據實際來決定。比如我可以采集時先采集不發布，有時間了再發布，或是同時采集發布，或是先做發布配置，也可以在采集完了再添加發布配置?？傊唧w過程由您而定，火車采集器的強大功能之一也就是體現在靈活中。