原標題：《開發一款像Hololens這樣的產品需要學習哪些技術？》

HoloLens是屬于VR還是AR領域的產品，這個就不多做評述了。不妨先把問題簡化，先把這個需求當作一款普通的類Oculus VR的虛擬現實眼鏡來實現。

那么首先，您需要有能力獲得用作畫面呈現的顯示屏：在這個萬眾爭新的時代，采用OLED的顯示屏幕簡直是不二之選，TFT液晶屏首先從屏幕本身的延時性就足以讓您直接輸在起跑線上；

然后是分辨率。所謂的“2K”屏（2560 x 1440）將會是今年底到明年初的主力產品，因為大家已經受夠了現在所有VR內容畫面的模糊感和鋸齒感；

接著還有不小于75Hz的高刷新率，足夠保證沉浸感的FOV角度，低余暉，等等——當然了，兌現上述參數的前提是您能夠拿到穩定的OLED貨源：如果三星拉長一張驢臉看也不看您低垂的頭顱，那么也許只能暫時搞些散片過過日子。

然后您需要放置在顯示屏之前的兩個鏡片，球面或者非球面形體，不同的焦距適應，PMMA材質，高透過率，極低的色散，必要的話還可能重新注塑改善抗沖擊能力。什么，千葉眼鏡店買的？要不咱換方向做個SM眼罩試試？

然后是IMU，即加速度/陀螺儀/地磁組成的九軸傳感器來確定頭盔的空間姿態。選擇盡量高的輸出頻率，這意味著更低的傳感器延時；而必要的濾波和插值手段則讓輸出結果可以排除干擾，平滑如絲。哦？用一個手柄來控制啊？那別做HoloLens了，做個智能挖掘機啥的吧。

哦，對了，還有穩定的散熱性能，至少加裝兩個呼呼呼的風扇，以免死宅們油膩膩的皮膚泛起一層不合時宜的白霧。以及完善的電源管理機制，不要以為Oculus在這里就做得很好了，最新版的DK2在Switchable Video Card上完全擺爛的血淋淋的事實正擺在我們面前，詳情見：0.7 Setup Guide and GPU Compatibility。

以上，不考慮結構設計，工裝，制版，開模，批量生產，裝配，材料，用戶舒適度，數據協議，鏡頭畸變，SDK接口，Demo示例，地推，專利，以及可能控告你輻射超標的學生家長……這一系列其它看似不重要，然而到了必要的時段就分分鐘要你難看的已知需求的話，我們也許已經能夠制作一款差不多也許似乎就快能用的VR眼鏡了。然而這才哪兒到哪兒??！

假設現在我們或者我們的投資人篤信“人有多大膽，地有多大產”的原則，要在上述基礎上實現一款類HoloLens的增強現實眼鏡產品。

這個簡單——不就是多加倆攝像頭么，芝麻大的事兒。

好的，現在需要的是一款雙目攝像頭模組，為了讓增強現實的混合效果能夠最大化地真實可信，它的分辨率和刷新率至少不應低于VR內容顯示屏；而為了避免高速運動過程中產生的模糊與撕裂（別忘了您的牛逼IMU），它還應當具備全局快門的特性，讓每一幀畫面都清晰可辨；哦，還有鏡頭參數應該也能夠嚴格對應。那么，隨便搜一款約為2K分辨率，>75FPS，>120度FOV的全局快門攝像頭模組（還不是雙目哦）的價位大概是——

嗯，假設投資人咬咬牙能接納這么一個還算不太離譜的價格，下面您就得掰開三頭六臂能夠扛下重新制版、FPGA處理、硬時鐘同步以及單路或者多路信號輸出的職責，以及不得不面臨的另一個經典的計算機視覺問題：標定——因為如果不做畫面標定，不對齊和糾正VR內容與攝像頭畫面的匹配關系話，您這款產品也許只能用來在拍攝畫面上疊加一個CCTV的標識而已。

真麻煩啊，其實我有個好主意誒，用透明屏來表達眼前的內容唄？然后把VR場景疊加上去？聽起來確實不錯，然而——

現有的液晶透明顯示技術，最大的問題是失去了帶有發光燈管的背板，因此需要柔和的日光燈箱來進行彌補。那么這種補光是補在您的眉毛上？還是腦瓜頂？還是……總之在材料科學家告訴您這個世界又革命了而且新技術已經低成本普及了之前，還是安安靜靜地用現有的成熟方案比較好。

好的，好的，攻關完畢，沒人知道您的模組是如何安裝到眼鏡之上并且確保這種剛性連接是不會在勻速運動時產生共振的。下面我們要再放一個PC進去……

……

這沒什么錯啊，仿制HoloLens嘛，人家也是內置了CPU和GPU來做必要的運算的，并且諸如Intel Atom或者MK802或者樹莓派這樣的設備也足夠成熟到塞入您的不大不小的眼鏡中去。不過舊的敵人也因此又死灰復燃了：散熱與電源管理。

也許時時刻刻在進行滿負荷運算的CPU，以及也許為了擺脫線纜而不得不加入的電池組和穩壓模塊，為了滿足這些搞不定就分分鐘要用戶難看的設備和板卡，不知道您是不是已經耗盡了身體里的最后一點精血呢？

但是這可沒玩完，大頭還沒有出場呢：SLAM與即時定位。

也許您還記得當年的Kinect Fusion，以及那種只靠一個RGBD攝像頭就能夠實現空間點云生成和三維重建的快感吧。并且還有開源的Kinfu以及它們所蘊含的高效率的SLAM算法可以參考，在一個未知環境里，快速根據顏色和深度信息識別與生成地圖，并且判斷自身在地圖中的位置。盡管這種無外部輸入反饋的算法依然存在著誤差的累積和偏移，但是通過科學家與您的不斷努力，相信已經有能力把它集成到一個U盤大小的ARM系統當中，并且在小而美而不發熱的高性能GPU的通用計算能力籠罩下，能夠接受2K的雙目攝像頭輸入、重建和進行空間定位了，這是多么偉大的成就啊————

等等，我們漏掉了什么？

你說RGBD攝像頭？你說深度？

那剛才那個雙目攝像頭模組能干這事么？當然不能。那么從技術上要怎么做？TOF。那么什么是TOF？哦……

靠，白忙活了。也許不然，因為重新尋找一個專有的雙目高速全局快門的2K RGBD攝像頭似乎并不是那么容易的事情，而且深度和三維場景重建與實時定位或許也承受不起那種程度的高分辨率，或者現在就問問您的CPU和風扇還好嗎？所以要不我們把深度信息單獨拿出來識別吧，就像HoloLens也許做的那樣。

太棒了，雖然不知道您是如何披荊斬棘來到這里的，但是假設您通過各種專業知識的學習與實踐，以及連續21天不斷的努力確實做到了?，F在就是我們推出這款最新成果的時候了——

等等，用戶怎么用啊？人家微軟視頻里那么牛逼的效果，你讓咱也搞一個出來爽爽嘛。

有Unity的封裝嗎？有Unreal的封裝嗎？有底層圖形接口嘛？為啥你只有DX11不提供DX9?。繛樯赌愕腛penGL接口不提供MSAA?。繛樯赌愕氖痉豆こ讨挥蠽isualStudio 2012?。繛樯恫恢С諭ntel高性能核芯卡?。繛樯恫恢С忠苿影姘?？為啥不支持其他系統啊？為啥……

還有還有，為啥看著這么笨重啊？原型機是嗎？重新設計吧，制版吧，開模吧，小型化吧，論證吧，測試除錯吧，反饋吧，設計吧，制版吧，開模吧……

至于普及什么是VR，什么是AR，什么是混在一起的MR；怎么在空間放置三維模型，怎么做根據深度的平滑和遮擋，怎么做實時光影渲染以及與真實場景的匹配……那又足以放到另外一個話題了。況且以上所有的論題，都完全沒有鋪開來講述；而因為小弟我的能力和知識層面所限，因此遺漏和錯漏和謬誤的知識點，同樣數不勝數。

所以這不是單槍匹馬，或者一句話的問題就可以承受的重量......