Oculus先后收購(gòu)了Nimble VR、Surreal Vision、Pebbles Interfaces。手勢(shì)與VR控制、AR互動(dòng)整合的重要性不言而喻。作者王元介紹了目前主流的光學(xué)手勢(shì)識(shí)別方案，包括二維手型識(shí)別、二維手勢(shì)識(shí)別、三維手勢(shì)識(shí)別。

　　Oculus于今年五月剛收購(gòu)了Surreal Vision，一家專(zhuān)門(mén)從事虛擬世界與現(xiàn)實(shí)環(huán)境實(shí)時(shí)互動(dòng)研究的公司。兩個(gè)月還不到，Oculus又宣布收購(gòu)了以色列創(chuàng)業(yè)公司Pebbles Interfaces，一家專(zhuān)門(mén)從事動(dòng)作檢測(cè)的公司，與LeapMotion重建手指骨骼不同，Pebbles Interfaces重建的是整個(gè)手的外形?？梢韵胍?jiàn)，Pebbles Interfaces和去年的Nimble VR一道，將繼續(xù)增強(qiáng)Oculus在手勢(shì)控制方面的優(yōu)勢(shì)，在未來(lái)將手勢(shì)VR控制、AR互動(dòng)整合在產(chǎn)品中，其重要性不言而喻。這里翻出原來(lái)寫(xiě)的光學(xué)手勢(shì)識(shí)別技術(shù)文章，再給大家介紹一下主流技術(shù)。

　　談起手勢(shì)識(shí)別技術(shù)，由簡(jiǎn)單粗略的到復(fù)雜精細(xì)的，大致可以分為三個(gè)等級(jí)：二維手型識(shí)別、二維手勢(shì)識(shí)別、三維手勢(shì)識(shí)別。

　　在具體討論手勢(shì)識(shí)別之前，我們有必要先知道二維和三維的差別。二維只是一個(gè)平面空間，我們可以用（X坐標(biāo)，Y坐標(biāo)）組成的坐標(biāo)信息來(lái)表示一個(gè)物體在二維空間中的坐標(biāo)位置，就像是一幅畫(huà)出現(xiàn)在一面墻上的位置。三維則在此基礎(chǔ)上增加了“深度”（Z坐標(biāo)）的信息，這是二維所不包含的。這里的“深度”并不是咱們現(xiàn)實(shí)生活中所說(shuō)的那個(gè)深度，這個(gè)“深度”表達(dá)的是“縱深”，理解為相對(duì)于眼睛的“遠(yuǎn)度”也許更加貼切。就像是魚(yú)缸中的金魚(yú)，它可以在你面前上下左右的游動(dòng)，也可能離你更遠(yuǎn)或者更近。

　　前兩種手勢(shì)識(shí)別技術(shù)，完全是基于二維層面的，它們只需要不含深度信息的二維信息作為輸入即可。就像平時(shí)拍照所得的相片就包含了二維信息一樣，我們只需要使用單個(gè)攝像頭捕捉到的二維圖像作為輸入，然后通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)對(duì)輸入的二維圖像進(jìn)行分析，獲取信息，從而實(shí)現(xiàn)手勢(shì)識(shí)別。

　　而第三種手勢(shì)識(shí)別技術(shù)，是基于三維層面的。三維手勢(shì)識(shí)別與二維手勢(shì)識(shí)別的最根本區(qū)別就在于，三維手勢(shì)識(shí)別需要的輸入是包含有深度的信息，這就使得三維手勢(shì)識(shí)別在硬件和軟件兩方面都比二維手勢(shì)識(shí)別要復(fù)雜得多。對(duì)于一般的簡(jiǎn)單操作，比如只是想在播放視頻的時(shí)候暫停或者繼續(xù)播放，二維手勢(shì)也就足夠了。但是對(duì)于一些復(fù)雜的人機(jī)交互，與3D場(chǎng)景互動(dòng)，就必須含有深度信息才行。

　　二維手型識(shí)別

　　二維手型識(shí)別，也可稱(chēng)為靜態(tài)二維手勢(shì)識(shí)別，識(shí)別的是手勢(shì)中最簡(jiǎn)單的一類(lèi)。這種技術(shù)在獲取二維信息輸入之后，可以識(shí)別幾個(gè)靜態(tài)的手勢(shì)，比如握拳或者五指張開(kāi)。其代表公司是一年前被Google收購(gòu)的Flutter。在使用了他家的軟件之后，用戶(hù)可以用幾個(gè)手型來(lái)控制播放器。用戶(hù)將手掌舉起來(lái)放到攝像頭前，視頻就開(kāi)始播放了；再把手掌放到攝像頭前，視頻又暫停了。

　　“靜態(tài)”是這種二維手勢(shì)識(shí)別技術(shù)的重要特征，這種技術(shù)只能識(shí)別手勢(shì)的“狀態(tài)”，而不能感知手勢(shì)的“持續(xù)變化”。舉個(gè)例子來(lái)說(shuō)，如果將這種技術(shù)用在猜拳上的話(huà)，它可以識(shí)別出石頭、剪刀和布的手勢(shì)狀態(tài)。但是對(duì)除此之外的手勢(shì)，它就一無(wú)所知了。所以這種技術(shù)說(shuō)到底是一種模式匹配技術(shù)，通過(guò)計(jì)算機(jī)視覺(jué)算法分析圖像，和預(yù)設(shè)的圖像模式進(jìn)行比對(duì)，從而理解這種手勢(shì)的含義。

　　這種技術(shù)的不足之處顯而易見(jiàn)：只可以識(shí)別預(yù)設(shè)好的狀態(tài)，拓展性差，控制感很弱，用戶(hù)只能實(shí)現(xiàn)最基礎(chǔ)的人機(jī)交互功能。但是它是識(shí)別復(fù)雜手勢(shì)的第一步，而且我們的確可以通過(guò)手勢(shì)和計(jì)算機(jī)互動(dòng)了，還是很酷的不是么？想象一下你忙著吃飯，只要憑空做個(gè)手勢(shì)，計(jì)算機(jī)就可以切換到下一個(gè)視頻，比使用鼠標(biāo)來(lái)控制可是方便多了！

　　二維手勢(shì)識(shí)別

　　二維手勢(shì)識(shí)別，比起二維手型識(shí)別來(lái)說(shuō)稍難一些，但仍然基本不含深度信息，停留在二維的層面上。這種技術(shù)不僅可以識(shí)別手型，還可以識(shí)別一些簡(jiǎn)單的二維手勢(shì)動(dòng)作，比如對(duì)著攝像頭揮揮手。其代表公司是來(lái)自以色列的PointGrab，EyeSight和ExtremeReality。

　　二維手勢(shì)識(shí)別擁有了動(dòng)態(tài)的特征，可以追蹤手勢(shì)的運(yùn)動(dòng)，進(jìn)而識(shí)別將手勢(shì)和手部運(yùn)動(dòng)結(jié)合在一起的復(fù)雜動(dòng)作。這樣一來(lái)，我們就把手勢(shì)識(shí)別的范圍真正拓展到二維平面了。我們不僅可以通過(guò)手勢(shì)來(lái)控制計(jì)算機(jī)播放/暫停，我們還可以實(shí)現(xiàn)前進(jìn)/后退/向上翻頁(yè)/向下滾動(dòng)這些需求二維坐標(biāo)變更信息的復(fù)雜操作了。

　　這種技術(shù)雖然在硬件要求上和二維手型識(shí)別并無(wú)區(qū)別，但是得益于更加先進(jìn)的計(jì)算機(jī)視覺(jué)算法，可以獲得更加豐富的人機(jī)交互內(nèi)容。在使用體驗(yàn)上也提高了一個(gè)檔次，從純粹的狀態(tài)控制，變成了比較豐富的平面控制。這種技術(shù)已經(jīng)被集成到了電視里，但是還沒(méi)有成為常用控制方式。

　　三維手勢(shì)識(shí)別

　　接下來(lái)我們要談的就是當(dāng)今手勢(shì)識(shí)別領(lǐng)域的重頭戲——三維手勢(shì)識(shí)別。三維手勢(shì)識(shí)別需要的輸入是包含有深度的信息，可以識(shí)別各種手型、手勢(shì)和動(dòng)作。相比于前兩種二維手勢(shì)識(shí)別技術(shù)，三維手勢(shì)識(shí)別不能再只使用單個(gè)普通攝像頭，因?yàn)閱蝹€(gè)普通攝像頭無(wú)法提供深度信息。要得到深度信息需要特別的硬件，目前世界上主要有3種硬件實(shí)現(xiàn)方式。加上新的先進(jìn)的計(jì)算機(jī)視覺(jué)軟件算法就可以實(shí)現(xiàn)三維手勢(shì)識(shí)別了。下面就讓小編為大家一一道來(lái)三維手勢(shì)識(shí)別的三維成像硬件原理。

　　1. 結(jié)構(gòu)光（Structure Light）

　　結(jié)構(gòu)光的代表應(yīng)用產(chǎn)品就是PrimeSense的Kinect一代了。

　　這種技術(shù)的基本原理是，加載一個(gè)激光投射器，在激光投射器外面放一個(gè)刻有特定圖樣的光柵，激光通過(guò)光柵進(jìn)行投射成像時(shí)會(huì)

　　發(fā)生折射，從而使得激光最終在物體表面上的落點(diǎn)產(chǎn)生位移。當(dāng)物體距離激光投射器比較近的時(shí)候，折射而產(chǎn)生的位移就較?。划?dāng)物體距離較遠(yuǎn)時(shí)，折射而產(chǎn)生的位移也就會(huì)相應(yīng)的變大。這時(shí)使用一個(gè)攝像頭來(lái)檢測(cè)采集投射到物體表面上的圖樣，通過(guò)圖樣的位移變化，就能用算法計(jì)算出物體的位置和深度信息，進(jìn)而復(fù)原整個(gè)三維空間。

　　以Kinect一代的結(jié)構(gòu)光技術(shù)來(lái)說(shuō)，因?yàn)橐蕾?lài)于激光折射后產(chǎn)生的落點(diǎn)位移，所以在太近的距離上，折射導(dǎo)致的位移尚不明顯，使用該技術(shù)就不能太精確的計(jì)算出深度信息，所以1米到4米是其最佳應(yīng)用范圍。

　　2. 光飛時(shí)間（Time of Flight）

　　光飛時(shí)間是SoftKinetic公司所采用的技術(shù)，該公司為Intel提供帶手勢(shì)識(shí)別功能的三維攝像頭。同時(shí)，這一硬件技術(shù)也是微軟新一代Kinect所使用的。

　　這種技術(shù)的基本原理是加載一個(gè)發(fā)光元件，發(fā)光元件發(fā)出的光子在碰到物體表面后會(huì)反射回來(lái)。使用一個(gè)特別的CMOS傳感器來(lái)捕捉這些由發(fā)光元件發(fā)出、又從物體表面反射回來(lái)的光子，就能得到光子的飛行時(shí)間。根據(jù)光子飛行時(shí)間進(jìn)而可以推算出光子飛行的距離，也就得到了物體的深度信息。

　　就計(jì)算上而言，光飛時(shí)間是三維手勢(shì)識(shí)別中最簡(jiǎn)單的，不需要任何計(jì)算機(jī)視覺(jué)方面的計(jì)算。

　　3. 多角成像（Multi-camera）

　　多角成像這一技術(shù)的代表產(chǎn)品是Leap Motion公司的同名產(chǎn)品和Usens公司的Fingo。

　　這種技術(shù)的基本原理是使用兩個(gè)或者兩個(gè)以上的攝像頭同時(shí)攝取圖像，就好像是人類(lèi)用雙眼、昆蟲(chóng)用多目復(fù)眼來(lái)觀察世界，通過(guò)比對(duì)這些不同攝像頭在同一時(shí)刻獲得的圖像的差別，使用算法來(lái)計(jì)算深度信息，從而多角三維成像。

　　在這里我們以?xún)蓚€(gè)攝像頭成像來(lái)簡(jiǎn)單解釋一下：

　　雙攝像頭測(cè)距是根據(jù)幾何原理來(lái)計(jì)算深度信息的。使用兩臺(tái)攝像機(jī)對(duì)當(dāng)前環(huán)境進(jìn)行拍攝，得到兩幅針對(duì)同一環(huán)境的不同視角照片，實(shí)際上就是模擬了人眼工作的原理。因?yàn)閮膳_(tái)攝像機(jī)的各項(xiàng)參數(shù)以及它們之間相對(duì)位置的關(guān)系是已知的，只要找出相同物體（楓葉）在不同畫(huà)面中的位置，我們就能通過(guò)算法計(jì)算出這個(gè)物體（楓葉）距離攝像頭的深度了。

　　多角成像是三維手勢(shì)識(shí)別技術(shù)中硬件要求最低，但同時(shí)是最難實(shí)現(xiàn)的。多角成像不需要任何額外的特殊設(shè)備，完全依賴(lài)于計(jì)算機(jī)視覺(jué)算法來(lái)匹配兩張圖片里的相同目標(biāo)。相比于結(jié)構(gòu)光或者光飛時(shí)間這兩種技術(shù)成本高、功耗大的缺點(diǎn)，多角成像能提供“價(jià)廉物美”的三維手勢(shì)識(shí)別效果。

　　手勢(shì)控制之于VR/AR

　　今年E3展上各大廠商推出的VR游戲都需要控制器，對(duì)于Hardcore游戲，游戲控制器是目前最優(yōu)解決方案。游戲控制器的優(yōu)勢(shì)在于，控制反饋及時(shí)，組合狀態(tài)多。缺點(diǎn)是與虛擬環(huán)境互動(dòng)少，用戶(hù)只能控制而不能參與。目前各大廠商的沉浸式VR體驗(yàn)只有量上的差距，但是加入手勢(shì)控制與VR環(huán)境實(shí)現(xiàn)互動(dòng)，將會(huì)把VR體驗(yàn)真實(shí)性再推到另一個(gè)高度。

　　特別的在VR游戲和AR領(lǐng)域，尤其是互動(dòng)性更強(qiáng)的AR應(yīng)用方面，游戲手柄和其它類(lèi)型的控制器只能改變“狀態(tài)”的特點(diǎn)，就成為了硬傷。舉個(gè)例子來(lái)說(shuō)，設(shè)計(jì)給iOS和Android這種觸控設(shè)備的游戲（憤怒的小鳥(niǎo)，水果忍者等等），就不適合用手柄來(lái)玩，應(yīng)為這些游戲就是為手控操作而設(shè)計(jì)的，我想你絕對(duì)不會(huì)想用手柄去切水果的。

　　當(dāng)前市場(chǎng)上的3D游戲，之所以稱(chēng)為3D主要是因?yàn)槠渲心Ｐ褪?D的，但是對(duì)比VR游戲的3D場(chǎng)景來(lái)說(shuō)，深度場(chǎng)景開(kāi)發(fā)的還不夠。所以O(shè)culus很有遠(yuǎn)見(jiàn)的看到了手勢(shì)控制在VR／AR的重要性，不僅是可以將目前的手控操作游戲無(wú)縫移植到VR平臺(tái)上來(lái)，更可以發(fā)揮三維手勢(shì)的深度信息的優(yōu)勢(shì)，開(kāi)發(fā)出新類(lèi)型游戲（挖掘深度信息，體會(huì)子彈時(shí)間，空手奪白刃等）。手勢(shì)識(shí)別增強(qiáng)了實(shí)現(xiàn)運(yùn)動(dòng)控制游戲，例如，通過(guò)執(zhí)行方向盤(pán)的姿勢(shì)開(kāi)車(chē)，使用彈弓的姿態(tài)玩“憤怒的小鳥(niǎo)”，用手勢(shì)來(lái)玩第一人稱(chēng)射擊游戲等等。

　　如果說(shuō)游戲手柄在VR游戲領(lǐng)域還有一席之地，那么在AR應(yīng)用方面，手柄就完全不能勝任人機(jī)交互的任務(wù)了。在AR應(yīng)用領(lǐng)域有豐富的人機(jī)互動(dòng)內(nèi)容，而這種互動(dòng)是非常復(fù)雜的，只有手勢(shì)操作才可以完成。以教育AR為例，我們希望使用AR來(lái)與用戶(hù)互動(dòng)，需要有選中、拖拽、拉伸等操作，使用手勢(shì)完成這些動(dòng)作是最自然的，而手柄完全無(wú)法應(yīng)用。

　　Oculus此舉表明了手勢(shì)識(shí)別對(duì)VR和AR不言而喻的重要意義，但是手勢(shì)識(shí)別和手勢(shì)控制算法復(fù)雜，計(jì)算資源要求高，Pebbles Interfaces和LeapMotion目前都運(yùn)行在PC平臺(tái)。但是目前移動(dòng)VR市場(chǎng)占有很大比例，人們?nèi)粘Ｒ哺Ｍ梢栽谝苿?dòng)端享受VR體驗(yàn)，所以手勢(shì)識(shí)別如何流暢地運(yùn)行在移動(dòng)VR設(shè)備上，將是未來(lái)的關(guān)注點(diǎn)。