Google 發布了開源機器學習系統DistBelief

　Google于 2011 年推出了人工深度學習系統——DistBelief。通過 DistBelief，Google 能夠掃描數據中心數以千計的核心，并建立更大的神經網絡。Google 的這個系統將 Google 應用中的語音識別率提高了 25%，以及在 Google Photos 中建立了圖片搜索，并驅動了 Google 的圖片字幕匹配實驗。

　　就第一代產品而言，DisBelief 應該說是十分成功的產品，但同時也因為是第一代產品，DisBelief 還存在不少不足和限制。它很難被設置，也和過于 Google 內部的基礎設施聯系過于緊密，這導致這幾乎不可能分享研究代碼。

　　針對以上問題，今天，Google 在 Google Research Blog 宣布推出新一代人工智能學習系統 TensorFlow。根據 Google 的說法，TensorFlow 是綜合的、靈活的、可移植的、易用的更為關鍵的是，它是開源的。與此同時，TensorFlow 的速度相比前代的 DistBelief 有了不小提升，在一些跑分測試中，TensorFlow 的表現是之前第一代系統的兩倍。

　　TensorFlow 內建有廣泛的深度學習支持，但卻更有普遍性，幾乎任何你可以用計算流程圖表表示的計算都能使用 TensorFlow 計算。

Google于 2011 年推出了人工深度學習系統——DistBelief

　　對于搜索來說，TensorFlow 自然是極好的，但它現在已經準備好運用在真實的產品中了。你可以將你的創意從你的桌面 GPU 無縫運行到你的手機上。你也能迅速啟動有力的機器學習技術。

　　不過以上都不重要，最為關鍵的是，TensorFlow 是你的。這是一個開源軟件，就像一個獨立圖書館，工具、或者輔導課。你可以在任何你工作的地方使用 TensorFlow。

　　Google 的工程師們將以這些源于深度神經網絡的信號用于 Google 搜索，并將 TensorFlow 服務于 Google 更多的產品。

==========================================================

http://blog.csdn.net/itplus/article/details/31831661

DistBelief 框架下的并行隨機梯度下降法 - Downpour SGD

機器學習（36） 

并行計算（2） 

深度學習（19） 

版權聲明：本文為博主原創文章，未經博主允許不得轉載。

      
     本文是讀完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一則讀書筆記，重點介紹在 Google 的軟件框架 DistBelief 下設計的一種用來訓練大規模深度神經網絡的隨機梯度下降法 — Downpour SGD，該方法通過分布式地部署多個模型副本和一個“參數服務器”，同時實現了模型并行和數據并行，且對機器失效問題具有很好的容錯性。結合 Adagrad 自適應學習率使用，對非凸優化問題有很好的效果。
作者: peghoty 
出處: http://blog.csdn.net/itplus/article/details/31831661
歡迎轉載/分享, 但請務必聲明文章出處.