大數據是一個含義廣泛的術語，是指數據集，如此龐大而復雜的，他們需要專門設計的硬件和軟件工具進行處理。該數據集通常是萬億或 EB 的大小。這些數據集收集自各種各樣的來源：傳感器、氣候信息、公開的信息、如雜志、報紙、文章。大數據產生的其他例子包括購買交易記錄、網絡日志、病歷、 事監控、視頻和圖像檔案、及大型電子商務。大數據分析是在研究大量的數據的過程中尋找模式，相關性和其他有用的信息，可以幫助企業更好地適應變化，并做出 更明智的決策。

Hadoop

Hadoop 是一個能夠對大量數據進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴于社區服務器，因此它的成本比較低，任何人都可以使用。

Hadoop 是一個能夠讓用戶輕松架構和使用的分布式計算平臺。用戶可以輕松地在 Hadoop 上開發和運行處理海量數據的應用程序。它主要有以下幾個優點：

1. 高可靠性。Hadoop 按位存儲和處理數據的能力值得人們信賴。
2. 高擴展性。Hadoop 是在可用的計算機集簇間分配數據并完成計算任務的，這些集簇可以方便地擴展到數以千計的節點中。
3. 高效性。Hadoop 能夠在節點之間動態地移動數據，并保證各個節點的動態平衡，因此處理速度非?？?。
4. 高容錯性。Hadoop 能夠自動保存數據的多個副本，并且能夠自動將失敗的任務重新分配。

Hadoop 帶有用 java 語言編寫的框架，因此運行在 linux 生產平臺上是非常理想的。Hadoop 上的應用程序也可以使用其他語言編寫，比如 C++。

HPCC

HPCC，High Performance Computing and Communications (高性能計算與通信)的縮寫。1993 年，由美國科學、工程、技術聯邦協調理事會向國會提交了“重大挑戰項目：高性能計算與通信”的報告，也就是被稱為 HPCC 計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC 是美國實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟件，以支持太位級網絡傳輸性能，開 發千兆比特網絡技術，擴展研究和教育機構及網絡連接能力。

該項目主要由五部分組成：

1. 高性能計算機系統(HPCS)，內容包括今后幾代計算機系統的研究、系統設計工具、先進的典型系統及原有系統的評價等;
2. 先進軟件技術與算法(ASTA)，內容有巨大挑戰問題的軟件支撐、新算法設計、軟件分支與工具、計算計算及高性能計算研究中心等;
3. 國家科研與教育網格(NREN)，內容有中接站及 10 億位級傳輸的研究與開發;
4. 基本研究與人類資源(BRHR)，內容有基礎研究、培訓、教育及課程教材，被設計通過獎勵調查者-開始的，長期的調查在可升級的高性能計算中來增 加創新意識流，通過提高教育和高性能的計算訓練和通信來加大熟練的和訓練有素的人員的聯營，和來提供必需的基礎架構來支持這些調查和研究活動;
5. 信息基礎結構技術和應用(IITA )，目的在于保證美國在先進信息技術開發方面的領先地位。

Storm

Storm 是自由的開源軟件，一個分布式的、容錯的實時計算系統。Storm 可以非常可靠的處理龐大的數據流，用于處理 Hadoop 的批量數據。Storm 很簡單，支持許多種編程語言，使用起來非常有趣。Storm 由 Twitter 開源而來，其它知名的應用企業包括 Groupon、淘寶、支付寶、阿里巴巴、樂元素、 Admaster 等等。

Storm 有許多應用領域：實時分析、在線機器學習、不停頓的計算、分布式 RPC (遠過程調用協議，一種通過網絡從遠程計算機程序上請求服務)、 ETL (Extraction-Transformation-Loading 的縮寫，即數據抽取、轉換和加載)等等。Storm 的處理速度驚人：經測試，每個節點每秒鐘可以處理 100 萬個數據元組。Storm 是可擴展、容錯，很容易設置和操作。

Apache Drill

為了幫助企業用戶尋找更為有效、加快 Hadoop 數據查詢的方法，Apache 軟件基金會近日發起了一項名為“Drill”的開源項目。Apache Drill 實現了 Google's Dremel.

據 Hadoop 廠商 MaPR Technologies 公司產品經理 Tomer Shiran 介紹，“Drill”已經作為 Apache 孵化器項目來運作，將面向全球軟件工程師持續推廣。

該項目將會創建出開源版本的谷歌 Dremel Hadoop 工具(谷歌使用該工具來為 Hadoop 數據分析工具的互聯網應用提速)。而“Drill”將有助于 Hadoop 用戶實現更快查詢海量數據集的目的。

“Drill”項目其實也是從谷歌的 Dremel 項目中獲得靈感：該項目幫助谷歌實現海量數據集的分析處理，包括分析抓取 Web 文檔、跟蹤安裝在 Android Market 上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等等。

通過開發“Drill”Apache 開源項目，組織機構將有望建立 Drill 所屬的 API 接口和靈活強大的體系架構，從而幫助支持廣泛的數據源、數據格式和查詢語言。

RapidMiner

RapidMiner 是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

功能和特點：

• 免費提供數據挖掘技術和庫
• 100% 用 Java 代碼(可運行在操作系統)
• 數據挖掘過程簡單，強大和直觀
• 內部 xml 保證了標準化的格式來表示交換數據挖掘過程
• 可以用簡單腳本語言自動進行大規模進程
• 多層次的數據視圖，確保有效和透明的數據
• 圖形用戶界面的互動原型
• 命令行（批處理模式）自動大規模應用
• Java API（應用編程接口）
• 簡單的插件和推廣機制
• 強大的可視化引擎，許多尖端的高維數據的可視化建模
• 400 多個數據挖掘運營商支持

耶魯大學已成功地應用在許多不同的應用領域，包括文本挖掘，多媒體挖掘，功能設計，數據流挖掘，集成開發的方法和分布式數據挖掘。

Pentaho BI

Pentaho BI 平臺不同于傳統的 BI 產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在于將一系列企業級 BI 產品、開源軟件、API 等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如 Jfree、Quartz 等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。

Pentaho BI 平臺，Pentaho Open BI 套件的核心架構和基礎，是以流程為中心的，因為其中樞控制器是一個工作流引擎。工作流引擎使用流程定義來定義在 BI 平臺上執行的商業智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平臺包含組件和報表，用以分析這些流程的性能。目前，Pentaho 的主要組成元素包括報表生成、分析、數據挖掘和工作流管理等等。這些組件通過 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals 等技術集成到 Pentaho 平臺中來。 Pentaho 的發行，主要以 Pentaho SDK 的形式進行。

Pentaho SDK 共包含五個部分：Pentaho 平臺、Pentaho 示例數據庫、可獨立運行的 Pentaho 平臺、Pentaho 解決方案示例和一個預先配制好的 Pentaho 網絡服務器。其中 Pentaho 平臺是 Pentaho 平臺最主要的部分，囊括了 Pentaho 平臺源代碼的主體;Pentaho 數據庫為 Pentaho 平臺的正常運行提供的數據服務，包括配置信息、Solution 相關的信息等等，對于 Pentaho 平臺來說它不是必須的，通過配置是可以用其它數據庫服務取代的;可獨立運行的 Pentaho 平臺是 Pentaho 平臺的獨立運行模式的示例，它演示了如何使 Pentaho 平臺在沒有應用服務器支持的情況下獨立運行;Pentaho 解決方案示例是一個 Eclipse 工程，用來演示如何為 Pentaho 平臺開發相關的商業智能解決方案。

Pentaho BI 平臺構建于服務器，引擎和組件的基礎之上。這些提供了系統的 J2EE 服務器，安全，portal，工作流，規則引擎，圖表，協作，內容管理，數據集成，分析和建模功能。這些組件的大部分是基于標準的，可使用其他產品替換之。