Google 發(fā)布了開源機(jī)器學(xué)習(xí)系統(tǒng)DistBelief

　Google于 2011 年推出了人工深度學(xué)習(xí)系統(tǒng)——DistBelief。通過 DistBelief，Google 能夠掃描數(shù)據(jù)中心數(shù)以千計(jì)的核心，并建立更大的神經(jīng)網(wǎng)絡(luò)。Google 的這個(gè)系統(tǒng)將 Google 應(yīng)用中的語(yǔ)音識(shí)別率提高了 25%，以及在 Google Photos 中建立了圖片搜索，并驅(qū)動(dòng)了 Google 的圖片字幕匹配實(shí)驗(yàn)。

　　就第一代產(chǎn)品而言，DisBelief 應(yīng)該說(shuō)是十分成功的產(chǎn)品，但同時(shí)也因?yàn)槭堑谝淮a(chǎn)品，DisBelief 還存在不少不足和限制。它很難被設(shè)置，也和過于 Google 內(nèi)部的基礎(chǔ)設(shè)施聯(lián)系過于緊密，這導(dǎo)致這幾乎不可能分享研究代碼。

　　針對(duì)以上問題，今天，Google 在 Google Research Blog 宣布推出新一代人工智能學(xué)習(xí)系統(tǒng) TensorFlow。根據(jù) Google 的說(shuō)法，TensorFlow 是綜合的、靈活的、可移植的、易用的更為關(guān)鍵的是，它是開源的。與此同時(shí)，TensorFlow 的速度相比前代的 DistBelief 有了不小提升，在一些跑分測(cè)試中，TensorFlow 的表現(xiàn)是之前第一代系統(tǒng)的兩倍。

　　TensorFlow 內(nèi)建有廣泛的深度學(xué)習(xí)支持，但卻更有普遍性，幾乎任何你可以用計(jì)算流程圖表表示的計(jì)算都能使用 TensorFlow 計(jì)算。

Google于 2011 年推出了人工深度學(xué)習(xí)系統(tǒng)——DistBelief

　　對(duì)于搜索來(lái)說(shuō)，TensorFlow 自然是極好的，但它現(xiàn)在已經(jīng)準(zhǔn)備好運(yùn)用在真實(shí)的產(chǎn)品中了。你可以將你的創(chuàng)意從你的桌面 GPU 無(wú)縫運(yùn)行到你的手機(jī)上。你也能迅速啟動(dòng)有力的機(jī)器學(xué)習(xí)技術(shù)。

　　不過以上都不重要，最為關(guān)鍵的是，TensorFlow 是你的。這是一個(gè)開源軟件，就像一個(gè)獨(dú)立圖書館，工具、或者輔導(dǎo)課。你可以在任何你工作的地方使用 TensorFlow。

　　Google 的工程師們將以這些源于深度神經(jīng)網(wǎng)絡(luò)的信號(hào)用于 Google 搜索，并將 TensorFlow 服務(wù)于 Google 更多的產(chǎn)品。

==========================================================

http://blog.csdn.net/itplus/article/details/31831661

DistBelief 框架下的并行隨機(jī)梯度下降法 - Downpour SGD

機(jī)器學(xué)習(xí)（36） 

并行計(jì)算（2） 

深度學(xué)習(xí)（19） 

版權(quán)聲明：本文為博主原創(chuàng)文章，未經(jīng)博主允許不得轉(zhuǎn)載。

      
     本文是讀完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一則讀書筆記，重點(diǎn)介紹在 Google 的軟件框架 DistBelief 下設(shè)計(jì)的一種用來(lái)訓(xùn)練大規(guī)模深度神經(jīng)網(wǎng)絡(luò)的隨機(jī)梯度下降法 — Downpour SGD，該方法通過分布式地部署多個(gè)模型副本和一個(gè)“參數(shù)服務(wù)器”，同時(shí)實(shí)現(xiàn)了模型并行和數(shù)據(jù)并行，且對(duì)機(jī)器失效問題具有很好的容錯(cuò)性。結(jié)合 Adagrad 自適應(yīng)學(xué)習(xí)率使用，對(duì)非凸優(yōu)化問題有很好的效果。
作者: peghoty 
出處: http://blog.csdn.net/itplus/article/details/31831661
歡迎轉(zhuǎn)載/分享, 但請(qǐng)務(wù)必聲明文章出處.