接上回對DHT網絡的研究，我用erlang克隆了一個磁力搜索引擎。我這個實現包含了完整的功能，DHT網絡的加入、infohash的接收、種子的獲取、資源信息的索引、搜索。

如下圖：

在我的筆記本上，我開啟了100個DHT節點，大致均勻地分布在DHT網絡里，資源索引速度大概在1小時一萬個左右(包含重復資源)。

這個程序包含三大部分：

DHT實現，kdht，https://github.com/kevinlynx/kdht

基于該DHT實現的搜索引擎，dhtcrawler，https://github.com/kevinlynx/dhtcrawler，該項目包含爬蟲部分和一個簡單的WEB端

這兩個項目總共包含大概2500行的erlang代碼。其中，DHT實現部分將DHT網絡的加入包裝成一個庫，爬蟲部分在搜索種子時，暫時沒有使用P2P里的種子下載方式，而是使用現成的磁力鏈轉種子的網站服務，這樣我只需要使用erlang自帶的HTTP客戶端就可以獲取種子信息。爬蟲在獲取到種子信息后，將數據存儲到mongodb里。WEB端我為了盡量少用第三方庫，我只好使用erlang自帶的HTTP服務器，因此網頁內容的創建沒有模板系統可用，只好通過字符串構建，編寫起來不太方便。

使用

整個程序依賴了兩個庫：bson-erlang和mongodb-erlang，但下載依賴庫的事都可以通過rebar解決，項目文件里我已經包含了rebar的執行程序。我僅在Windows7上測試過，但理論上在所有erlang支持的系統上都可以。

下載安裝mongodb

進入mongodb bin目錄啟動mongodb，數據庫目錄保存在db下，需手動建立該目錄

mongod --dbpath db --setParameter textSearchEnabled=true

下載erlang，我使用的是R16B版本

下載dhtcrawler，不需要單獨下載kdht，待會下載依賴項的時候會自動下載

git clone git@github.com:kevinlynx/dhtcrawler.git

cmd進入dhtcrawler目錄，下載依賴項前需保證環境變量里有git，例如D:/Program Files (x86)/Git/cmd，需注意不要將bash的目錄加入進來，使用以下命令下載依賴項

rebar get-deps

編譯

rebar compile

在dhtcrawler目錄下，啟動erlang

erl -pa ebin

erlang語句以點號(.)作為結束

在erlang shell里運行爬蟲，

crawler_app:start().

erlang shell里運行HTTP服務器

crawler_http:start().

瀏覽器里輸入localhost:8000/index.html，這個時候還沒有索引到資源，建議監視網絡流量以觀察爬蟲程序是否正確工作

爬蟲程序啟動時會讀取priv/dhtcrawler.config配置文件，該文件里配置了DHT節點的UDP監聽端口、節點數量、數據庫地址等，可自行配置。

接下來我會談談各部分的實現方法。

原文地址：http://codemacro.com/2013/06/20/magnet-search/