火車采集器的相關術語介紹

          1.采集任務

　　采集任務是火車采集器中對于數據采集和數據發布任務的完整配置，包含采集規則和發布模塊。

　　2.采集規則

　　即我們對如何采集和采集什么的問題給出一些設置讓采集器按照設置的規則來執行，

　　這個設置可以從火車采集器里面導出保存為.ljobx文件，也可以再次導入火車采集器。

　　3.發布模塊

　　在火車采集器中，發布模塊是對“將已經采集到的數據發布到哪里”進行的設置。

　　包括WEB在線發布模塊和數據庫發布模塊，其設置分別可以導出保存為.wpm文件和.dbm文件，

　　并可以再次導入火車采集器，多次使用。

　　4.發布接口

　　發布接口是一個小型的頁面程序，通常和WEB在線發布模塊配合使用來滿足用戶的特定需求。

　　即采集器將采集的數據發送到發布接口文件中，接口文件得到數據，并按照用戶特定需求靈活地處理數據。

　　5.標簽

　　是指用來提取某項內容信息的一個字段名字，由用戶在編輯規則的時候指定，

　　比如標題、手機號、郵件、作者，內容標簽采集到的信息在發布模塊中就可以通過該標簽名對應獲取到，

　　格式為[標簽：標簽名]如[標簽：標題]。

　　標簽在火車采集器里面有分為兩種：分別為列表頁標簽和內容頁標簽，

　　顧名思義列表頁標簽就是在獲取列表頁時(即采網址時)就獲取到內容信息，

　　內容頁標簽是在獲取內容頁或多頁內容時(采內容)才獲取內容信息。

　　注：通常還有一種說法為 html標簽，這里的標簽是指一些html代碼里面的屬性標識符，如：

　　6.(*)

　　在使用火車采集器時經常會遇到這個符號，它是變量的通用符號，

　　如果我們只需要知道這個變量的變化規律，而不需要關心這個變量到底是什么，這時就可使用這個符號代替。

　　7.[參數]

　　用來匹配某項準備提取信息的標記標簽，如想要在代碼中提取組合出某種格式。

　　以從代碼"mClk(this,'108484','134217', '168475','1');"中提取組合出新的地址格式為例。

　　"mClk(this,'[參數]','[參數]', '[參數]','1'); ",按照次序，108484參數就是參數1，依次類推。

　　實際需要的地址為以下的地址格式：bbs/read.php?id=[參數1]& sort=[參數3]&action=[參數2]，

　　上面代碼中的3個參數和下面地址中的id，soft和action參數要對應相應的值，

　　次序不要顛倒。這樣就組合成了新的地址格式。

　　8.起始網址

　　用來獲取下級鏈接地址的入口網址，可以為一條或多條，

　　可以通過添加起始網址向導添加同格式多條網址或導入文本網址。

　　如果沒有定義多級網址的獲取方法，這些地址即作為內容頁網址進行內容采集。

　　9.多級網址

　　依次根據列表里面的多級網址順序采集分析地址，通過依次采集分析到最后一級得到內容頁地址。

　　多級網址的獲取可以使用頁面自動分析和手動獲取的方法采集下級網址，

　　在采集的過程中，可以同時采集列表分頁及提取列表頁附加參數。

　　10.Cookie

　　是在Http請求訪問中記錄您的用戶信息即登錄信息的一段用于與服務器進行交互的字符串。

　　在瀏覽器中使用時通常還會以文本形式記錄到您的IE緩存目錄中,

　　以便下次在有效期內不用輸入用戶信息即可繼續訪問驗證權限的網頁。

　　11.User-Agent

　　瀏覽器標識，是用來向服務器通知您使用的客戶端類型，

　　在某些需要登錄的網頁可能需要同時驗證Cookie和User-Agent，

　　所以需要您將其設置為與本機瀏覽器同樣的格式。

　　12.分頁

　　列表或內容頁面較長，分成多個頁面顯示，采集時需要將所有子頁的內容組合起來，

　　這樣的子頁面就是分頁(列表分頁或內容分頁)。

　　13.多頁

　　有些情況下，需要采集一個頁面對應的網址，圖片等內容時，

　　需要另外打開一個新的頁面才能采集到這些信息，這些另外打開的頁面則稱為多頁。

　　14.網頁編碼

　　是在網頁中指定其特定字符編碼格式的庫，例如一般在網頁中都要有如下一句：

　　，

　　這樣的字句指示此網頁的字符集編碼是GB2312。

　　火車采集器對一般的網頁可以做到自動識別，

　　也羅列出了大部分的網頁編碼格式,可以直接在采集器中手動選擇指定相應的編碼格式。

　　15.代理

　　是指網絡中的代理服務器，可以代理網絡用戶去取得所需要的網絡信息。

　　代理的功能有可以突破自身ip的訪問限制訪問國外站點，

　　訪問一些單位或團體內部資源，突破電信的ip封鎖和隱藏真實的ip等。

　　16.插件

　　在火車采集器，插件是指可以對采集到的數據進行特定處理的一個外部程序，

　　編寫好插件后，采集器可以把數據傳遞給插件，然后對數據進行處理，再把數據傳給采集器。

　　(可自行開發，也可聯系客服定制。)

　　17.Cron表達式

　　在火車采集器計劃任務管理器的設置中，可以設置完整的cron表達式來表示對任務的計劃執行。

　　它是一個由6或7個子表達式組成的字符串。每一個表達式代表一個域，

　　每個域描述了一個單獨的日程細節且每個域之間使用空格分隔，它由兩種格式組成。

　　Seconds Minutes Hours DayofMonth Month DayofWeek Year

　　Seconds Minutes Hours DayofMonth Month DayofWeek

　　一個Cron表達式至少有6或7個有空格分隔的時間元素，每個時間元素都使用數字，但還可以出現如下特殊字符，他們的含義分別表示：

　　1.Seconds 秒 (允許值為0-59，允許的特殊符號，- * /)

　　2.Minutes 分鐘 (允許值為0-59，允許的特殊符號，- * /)

　　3.Hours 小時 (允許值為0-23，允許的特殊符號，- * /)

　　4.Day-of-Month 月中的天 (允許值為1-31，允許的特殊符號，- * / ? L W C)

　　5.Month 月 (允許值為1-12或者JAN-DEC，允許的特殊符號，- * /)

　　6.Day-of-Week 周中的天 (允許值為1-7或者SUN-SAT，允許的特殊符號，- * / ? L C #)

　　7.Year (optional field) 年(可選的域，允許值為留空或者1970-2099，允許的特殊符號，- * /)

　　特殊字符含義：

　　(1) * 表示該域的任意值。如在Minutes域使用，即表示每分鐘都會觸發事件。

　　(2) ? 只能用在DayofMonth和DayofWeek兩個域。實際上不會匹配域的任意值，因為DayofMonth和DayofWeek會相互影響。如想在 每月的20日觸發調度，不管20日是周幾，則只能使用如下寫法：13 13 15 20 * ?，其中最后一位只能用?，而不能用，如果使用*表示每月的20號15時13分13秒不管是周幾都會觸發，實際上不是的。

　　(3) – 表示范圍，如在Minutes域中使用5-20，表示5到20分鐘每分鐘觸發一次

　　(4) / 表示起始時間開始觸發，然后每隔固定時間觸發一次。如在Minutes域中使用5/20，表示從分鐘數5開始每隔20分鐘觸發一次，結果25,45,05等分別觸發一次。

　　(5) ， 表示列出枚舉值。如在Minutes域中使用5,20，則表示5分鐘和20分鐘每分鐘觸發一次。

　　(6) L 表示最后，只能出現在DayofMonth和DayofWeek域。

　　(7) W 表示有效工作日(周一到周五)，只能出現在DayofMonth域中，系統將在離指定日期最近的有效工作日觸發事件。另外，W的最近尋找不會跨過月份。

　　(8) # 用于確定每個月第幾個星期幾，只能出現在DayofMonth域中。如4#2表示某月的第二個星期四。

　　完整的corn表達式如0 15 08 ? * MON-FRI 表示每周一到周五的早上8點15分開始定時更新數據。

　　18.任務網址庫

　　采集器在文件夾DataLocoySpiderPageUrl下，

　　該站點下的每一個任務都會生成一個獨立或公用的網址庫用來對比網址重復之用。

　　19.HTTP請求

　　瀏覽器打開網頁時實際就是發送一個又一個Http請求，

　　火車采集器也一樣，從指定的地址獲取內容的過程就是發送Http請求，然后對根據請求得到的內容進行處理。

　　當瀏覽器向web服務器發送請求時，它向服務器傳遞了一個數據塊，也就是請求信息。

　　Http請求信息由3部分組成：請求方法URI協議/版本，請求頭(Request Header)和請求正文。

　　如下圖：