Skynet是一個很響亮的名字，因為它是阿諾施瓦辛格主演的經典系列電影《終結者》里面的統治人類的超級計算機網絡。不過本文的Skynet沒這么恐怖，它是一個ruby版本的Google Map/Reduce框架的名字而已。

Google的Map/Reduce框架實在太有名氣了，他可以把一個任務切分為很多份，交給n臺計算機并行執行，返回的結果再并行的歸并，最后得到運算的結果。據說Google一個搜索結果會Map到7000臺服務器并行執行，這么多么可怕的分布式運算能力阿！有了Map/Reduce，程序員就可以在無需關注分布式框架的情況下，用簡單的代碼寫出來健壯、并行的分布式應用程序，并且可以充分發揮計算機群集運算的能力。

如今能夠實現Map/Reduce算法的框架已經有好幾個了，其中最有名氣的可能就是Yahoo發起的開源項目Hadoop，不過Hadoop并不是用ruby編寫的，但在ruby的世界，Adam Pisoni已經開發出來了ruby版本的Map/Reduce框架，這就是Skynet。

Adam Pisoni開發Skynet的初衷是因為Adam Pisoni的公司Geni.com是一家定位于家族SNS的互聯網網站。網站提供的新聞推送功能要求能夠從大量的用戶產生的信息當中提取特定用戶感興趣的內容，推送給用戶。這實際上是一個分布式運算模型，要能夠把任務分布到多臺服務器上面執行，最后把任務歸并回來。Adam Pisoni沒有找到合適的框架，最終自己開發了Skynet，運用Map/Reduce算法來提供這個分布式運算平臺。

用Skynet開發Map/Reduce的分布式應用程序非常簡單，讓我們舉一個簡單的例子看看吧：假設有一個1GB的文本文件，我們的任務是要統計該文件當中每個單詞出現的次數統計。傳統的做法當然很簡單，順序讀入文件內容，進行單詞統計就行了，但是毫無疑問，執行速度會很慢。如果我們有一個1000臺服務器的運算群集，我們可以如何利用Skeynet來并發執行這個程序，從而縮短統計時間呢？

Map/Reduce算法的過程是：

1、Partition(劃分數據)
把數據劃分為1000份，這個過程由Skynet自動完成

2、Map
除了劃分數據，還需要把運算該數據的代碼也Map到每個運算節點上面去并發執行。這1000個節點各自執行自己的任務，執行完畢以后把執行結果返回

3、Partition
這1000分執行結果需要歸并，于是我們再次劃分數據，比方說劃分為10份，這個過程也是Skynet自動完成的

4、Reduce
把Reduce代碼和Reduce數據分發到10個節點執行，每個節點執行完畢返回數據。如果需要再次Reduce可以再次執行。最終Reduce為一個總共的結果。

其實Map/Reduce算法的原理是很簡單的，好了，看看Skynet下面，我們怎么實現呢？其實我們需要編寫的代碼只有兩個方法：一個map方法，告訴skynet如何執行每份數據，一個reduce方法，告訴skynet如何歸并每份數據，所以這個并行算法最終用Skynet來寫的話，也非常簡單：

這個就是一個最簡單、但是完整ruby版本的Map/Reduce代碼了。我們需要編寫一個map方法，告訴skynet去統計每個單詞的出現次數，我們還需要編寫一個reduce方法告訴skynet去歸并每個map的統計結果。好了，剩下所有的工作都歸Skeynet接管了，是不是很簡單！

當然要讓這個Map/Reduce跑起來我們還需要做一些工作，比方說安裝skynet，配置skynet的并行節點等等，這些瑣碎的工作可以看看skynet自己的文檔：http://skynet.rubyforge.org/doc/index.html，就不詳述了。

值得一提的是Skynet可以和Rails框架良好的整合起來工作，你可以把Rails當中一些非常耗時、可以Map/Reduce的工作丟給Skynet去異步后臺執行，比方說：

把最近3天以來所有的model查詢處理以后要執行的耗時操作some_method交給Skynet，讓Skynet動用他強大的運算網絡去執行。

還可以異步執行：

把耗時的任務交給Skynet去異步執行。

對于擁有強大運算網絡、并且需要進行大量耗時運算的web2.0網站來說，Skynet真是一個很棒的工具，他可以讓程序員很簡單的編寫處理健壯而高效的分布式應用程序！