“你就是控制器。”（You are the controller.）如果你有在關(guān)注Kinect，相信已經(jīng)聽(tīng)過(guò)這句給力的廣告詞了。從《Kinect Adventures!》中手腳并用堵漏水窟窿，到Zune播放界面中揮手換歌，Kinect開(kāi)創(chuàng)了一種更加自然的娛樂(lè)交互方式。在這篇文章中，我將揭秘這款體感系統(tǒng)背后的秘密以及它如何讓開(kāi)發(fā)者創(chuàng)造Kinect體驗(yàn)。而Kinect團(tuán)隊(duì)的項(xiàng)目經(jīng)理Arjun Dayal則將展示如何實(shí)現(xiàn)通過(guò)基于手勢(shì)的方式來(lái)控制Xbox Dashboard和Kinect Hub。首先，讓我們從指導(dǎo)Kinect研發(fā)的概念原理開(kāi)始。

我們生活在一個(gè)模擬的世界

微軟 Microsoft Kinect for Xbox 360

傳統(tǒng)編程基于一系列的規(guī)則：原因和結(jié)果，非黑即白，非真即假。在為輸入輸出數(shù)目有限的簡(jiǎn)單系統(tǒng)建模時(shí)，這種方式工作得挺好。拿游戲《Halo》來(lái)說(shuō)吧：按A鍵是讓士官長(zhǎng)跳，前撥左搖桿讓他向前走，前撥右搖桿讓他向上看。不是A，就是B?？上У氖牵覀兩畹恼鎸?shí)世界并不是如此數(shù)字化，而是模擬的。

在模擬世界中，并不是只有簡(jiǎn)單的“是”和“否”，還有“也許是/否”；不僅有“對(duì)”和“錯(cuò)”，還有“對(duì)/錯(cuò)的可能性”。讓我們想象一下?lián)]手這一簡(jiǎn)單動(dòng)作的所有可能性：身體運(yùn)動(dòng)的幅度，環(huán)境差異，衣服質(zhì)地的不同，文化差異造成的動(dòng)作差異等等。你可能需要研究10的23次方這么多的可能性，顯然用傳統(tǒng)編程方式來(lái)解決這類問(wèn)題是不現(xiàn)實(shí)的。

我們從一開(kāi)始就知道必須采用一種全新的，接近于人腦工作的方式來(lái)解決這一問(wèn)題。當(dāng)你遇到一個(gè)人的時(shí)候，你的大腦立即將注意力集中在他身上，并根據(jù)經(jīng)驗(yàn)辨識(shí)出他的身份。這一過(guò)程并不是通過(guò)數(shù)百層的決策樹(shù)來(lái)實(shí)現(xiàn)，人腦就是知道。嬰兒很難區(qū)分出兩個(gè)人的不同，但我們通過(guò)多年的學(xué)習(xí)和訓(xùn)練可以在幾分之一秒內(nèi)做到。事實(shí)上，你也許還能蠻準(zhǔn)確地估摸出他們的年齡、性別、心情甚至個(gè)性。這也是讓我們成就為人類的原因之一。

Kinect以類似的方法被創(chuàng)造出來(lái)。它觀察身邊的世界，它注意觀察你的動(dòng)作。即使Kinect從來(lái)沒(méi)見(jiàn)過(guò)你揮過(guò)手，也能很快地從它學(xué)習(xí)過(guò)的TB級(jí)數(shù)據(jù)中猜測(cè)出你所做動(dòng)作的含義。

Kinect傳感器

微軟 Xbox 360 Kinect 手勢(shì)操作說(shuō)明3D模型

Kinect骨架追蹤處理流程的核心是一個(gè)無(wú)論周圍環(huán)境的光照條件如何，都可以讓Kinect感知世界的CMOS紅外傳感器。該傳感器通過(guò)黑白光譜的方式來(lái)感知環(huán)境：純黑代表無(wú)窮遠(yuǎn)，純白代表無(wú)窮近。黑白間的灰色地帶對(duì)應(yīng)物體到傳感器的物理距離。它收集視野范圍內(nèi)的每一點(diǎn)，并形成一幅代表周圍環(huán)境的景深圖像。傳感器以每秒30幀的速度生成景深圖像流，實(shí)時(shí)3D地再現(xiàn)周圍環(huán)境。如果你玩過(guò)pin point impression 3D針模玩具可能更容易理解這一技術(shù)――將你的手（或者臉，如果你愿意的話）按壓在這種玩具上，就可以產(chǎn)生你身體某一部位的簡(jiǎn)單3D模型。

尋找移動(dòng)部位

Kinect需要做的下一件事是尋找圖像中較可能是人體的移動(dòng)物體，就像人眼下意識(shí)地聚焦在移動(dòng)物體上那樣。接下來(lái)，Kinect會(huì)對(duì)景深圖像進(jìn)行像素級(jí)評(píng)估，來(lái)辨別人體的不同部位。同時(shí)，這一過(guò)程必須以優(yōu)化的預(yù)處理來(lái)縮短響應(yīng)時(shí)間。

微軟 Xbox 360 Kinect 從背景中提取人體運(yùn)動(dòng)信息