去年7月28日HYPEREAL Pano發(fā)布會上，HYPEREAL發(fā)布了自主研發(fā)的產(chǎn)品、游戲內(nèi)容。在此前，HYPEREAL一直是一家默默無聞的技術(shù)公司，而CJ前兩天過后，經(jīng)過一些媒體的報道，HYPEREAL儼然被視為“VR界的黑馬”，在受到大量贊賞的同時，關(guān)于產(chǎn)品的外觀和技術(shù)HYPEREAL也面對了一些質(zhì)疑，甚至有人專門來體驗區(qū)拍攝HYPEREAL頭顯和手柄的sensor點布局。

很多人說HYPEREAL的定位像Vive，但事實上HYPEREAL與Vive有很多不同：Vive采用的是光同步，HYPEREAL采用的是無線同步，其次sensor點的布局完全不同，結(jié)構(gòu)和算法也完全不同。HYPEREAL的技術(shù)總監(jiān)陳祿在去年7月28日的CGDC上發(fā)表了主題演講《虛擬現(xiàn)實交互的圣杯——燈塔跟蹤技術(shù)》，分享了HYPEREAL空間定位——HyTrack的技術(shù)細節(jié)。

陳祿，HYPEREAL圖形技術(shù)總監(jiān)，圖形學博士

畢業(yè)于浙江大學竺可楨學院和CAD&CG國家重點實驗室；

博士期間研究方向為虛擬現(xiàn)實和幾何建模，發(fā)表過多篇頂級期刊和會議論文；

曾就職于寶馬中國技術(shù)中心，擔任虛擬現(xiàn)實和人工智能兩個方向的研發(fā)團隊負責人；

根本目標：用跟蹤技術(shù)為用戶帶來沉浸感

陳：VR的終極目的是為了完全接管人體所有的感知器官，然后通過計算機模擬的方式去提供反饋，讓用戶形成一種很強烈的沉浸和臨場感。除了視覺顯示，還要用到跟蹤技術(shù)。跟蹤技術(shù)的意義是能夠把真實世界的東西帶到虛擬世界當中去。畢竟人的身體，包括一些周圍的環(huán)境都還是在真實世界當中，所以必須要用跟蹤技術(shù)來使得真實世界的東西在虛擬場景中有一個對應(yīng)，以及和虛擬場景發(fā)生交互。

跟蹤技術(shù)

跟蹤技術(shù)是分階段的。最初級階段，便是實現(xiàn)頭盔旋轉(zhuǎn)的跟蹤?，F(xiàn)在移動端大部分產(chǎn)品，基本上都能實現(xiàn)這一點，通過追蹤頭部旋轉(zhuǎn)，已經(jīng)可以達到一定的沉浸感。但問題是，當用戶看到VR場景之后，接下來的需求就是希望與這個虛擬場景進行交互。這其中，交互的方式有很多種，包括用手，或者用身體，這就是為什么現(xiàn)在所有的PC的方案基本上都會有頭部的平移以及手柄的跟蹤，這會給用戶提供更好的沉浸感，因為他可以感到他身體的一部分——頭部和兩只手，可以和虛擬當中的物體發(fā)生交互。

誠然，為了達到完美的沉浸感和逼真的效果，還有很多東西需要做，比如說手指、全身、眼球的跟蹤，以及對周圍環(huán)境的感知。這些也都是大家能看得到的VR的發(fā)展方向，我們也在同時研究和關(guān)注這些技術(shù)。

我們今天介紹的HyTrack跟蹤系統(tǒng)主要是側(cè)重于解決PC方案中頭盔和手柄的運動跟蹤問題。

HyTrack——最精確的毫米級定位系統(tǒng)

在講解了跟蹤技術(shù)之后，陳祿介紹了HYPEREAL自主研發(fā)的燈塔技術(shù)原理。

燈塔跟蹤技術(shù)的前世今生

燈塔定位技術(shù)的最早原型是在1989年被提出的Minnesota Scanner，其原理就是利用掃描激光面對于空間進行編碼進而對物體做跟蹤。而后有很多人基于相似原理做了改進用于不同領(lǐng)域的應(yīng)用中。Valve之前首先把它成功的帶到了VR消費電子領(lǐng)域。

陳：這是我們公司自己研發(fā)的比較早期的原型，做得比較裸。左邊是燈塔，有兩個電機，電機上面有透鏡，這里有一個小動畫演示燈塔的結(jié)構(gòu)，可以看到通過透鏡把一束激光變?yōu)橐粋€扇面，再利用電機使得激光面勻速掃描。中間的部分是我們頭顯的早期原型，上面有很多小的線路板就是我們自己制作的傳感器模塊，每一個中心有一個光電二極管。傳感器把光信號轉(zhuǎn)成電信號再到數(shù)字信號，然后傳到計算機里?；驹砣缟蠄D，左邊這一塊是激光掃描扇面的頂視圖，激光會從一個基準位置開始向下掃。在掃過基準位置時刻，我們會發(fā)射一個無線同步信號。藍線是掃到每個光電二極管的激光面。右邊的圖是傳感器上面的時序圖，從收到無線同步信號的時候開始計時，當被光掃過的時候，會留下一個很小的間距的光脈沖，測量脈沖中點時刻，結(jié)合電機轉(zhuǎn)速，我們可以計算得到該掃描面相對基準平面的夾角。這樣我們就知道這個點處在空間當中哪一個平面上。通過兩個方向的掃描，被照到的傳感器點我們可以確定其在空間當中的某條直線上。在這里我們和VIVE采用了不同的技術(shù)方案，他們使用的光同步，燈塔會有LED燈。無線同步的好處是，燈塔之間不用同步線連接了，或者燈塔不用互相對著擺放。兩種方案在工程實現(xiàn)上的區(qū)別很大，測量手段也會不一樣，但是本質(zhì)上都是為了獲得同步信號時間。

HyTrack早期原型、基本原理

而后是算法邏輯，這主要基于一個數(shù)學模型。

數(shù)學模型

我們通過光學系統(tǒng)所得到的其實是兩個角度，這樣就可以知道，這個物體的某些點在投影平面上的坐標。這里等同于一個小孔成像的相機模型，也可以很好地表達成一個線性的約束。在靜止狀態(tài)下我們已知傳感器點的相對位置，當物體運動過之后，可以得到某些點的掃描觀測值，因為它被照到，它會處在這個空間當中某兩個面的交線上，這個可以很好的寫成一個線性約束表達式，可以把它們聯(lián)立起來，相當于做一個最優(yōu)化的問題，我需要求解在滿足這些約束情況下最優(yōu)的旋轉(zhuǎn)和平移。這個問題其實是一個比較標準的問題，求解的方法也非常多，其實在視覺領(lǐng)域，對這類問題有很多人做過不同的方法，比如說你怎么樣參數(shù)化你的旋轉(zhuǎn)，就會有不同的方法，基本上這個應(yīng)該算是一個比較成熟的問題。

HyTrack算法流程圖

這就是我們的算法流程圖。以上我們提到的是激光系統(tǒng)的原理，但不要忘了，在頭盔和手柄上還可以利用IMU。其實在有陀螺儀、加速器和磁力器的情況下，IMU本身也可以做定位工作，但是它有個很大的問題——會漂移。其實我們對這個物體姿態(tài)有兩個數(shù)據(jù)來源，一個是IMU，一個是激光系統(tǒng)，這兩套系統(tǒng)理論上都可以獨立對這個姿態(tài)進行估計，IMU的好處是采樣頻率高在短時間內(nèi)相對來說比較精確，壞處是稍微長一點時間就會有較大漂移。而激光系統(tǒng)則是在大尺度下相對比較精確，但是它可能被遮擋和有誤差。我們要做的工作之一就是怎么把這兩個信號融合在一起。

這就是我們HyTrack定位系統(tǒng)的基本原理。

如果你對于燈塔技術(shù)比較關(guān)注的話，會知道有這樣一個人，他叫艾倫，是Valve的燈塔技術(shù)負責人。他說過一句話——“其實任何人都可以在非常短的時間內(nèi)構(gòu)建一套自己的激光定位或者燈塔追蹤系統(tǒng)。但是當你搭出你的第一個原形，并且對它的性能做過實際測試之后，你就會知道你面前的路有多長?！币驗槲覀僅YPEREAL實際走過這一條路，我對他的這句話非常認同。定位系統(tǒng)的原理就像我剛剛說的，并非難于登天的壁壘，而且基本理論和方法在學術(shù)界已經(jīng)被研究了很久，但是，我們所面臨的是很多很多工程的問題，包括機械系統(tǒng)、光學系統(tǒng)、模擬電路、數(shù)值精度的問題，每一塊都可能會引入相當誤差，怎么樣去減少誤差的存在，對誤差進行建模，減少各個系統(tǒng)之間的耦合性，其實需要做非常多的工作。

舉個例子，傳感器的分布。什么樣的傳感器的分布是好的？比如說我們在設(shè)計頭盔時，在規(guī)劃頭盔上面?zhèn)鞲衅鞣植嫉臅r候，需要考慮在每個角度上可照射的傳感器點的數(shù)量，因為從理論上來講，一個燈塔要至少照射到4個點以上才能比較穩(wěn)定的求解姿態(tài)。還有可見張角問題，一般從設(shè)計來講，上面要覆蓋一個膜，或者透光的介質(zhì)，相對的傳感器點比表面要凹下去，這樣可見張角可能就不是180度，或者是120-140，考慮的時候每個點覆蓋范圍沒有那么大。還有數(shù)值穩(wěn)定性，比如說我可能看到4個點，或者5個點，這4個點或者5個點如果是共面，就可能對數(shù)值穩(wěn)定性造成很大問題。這張圖片是我們開發(fā)的一個內(nèi)部工具的截圖，這個工具可根據(jù)設(shè)計師提供的幾何模型，對傳感器點的分布進行自動評估和調(diào)整，借助于這樣的工具我們可以更加有效的設(shè)計傳感器點的位置和支持更加自由的設(shè)計。

關(guān)于燈塔技術(shù)的拓展

陳：原理上來說，一個燈塔已經(jīng)足以定位頭盔和手柄，兩個燈塔的作用主要是解決遮擋。當你在360度任意旋轉(zhuǎn)你的身體時，如果燈塔只放在一邊，你轉(zhuǎn)過身，你的身體就會對光造成自遮擋?，F(xiàn)在一個燈塔覆蓋范圍是5米，能不能更大呢？由于激光的特性，單燈塔的輻射范圍是有限的。如果你想支持大空間，我們可以通過鋪設(shè)多個燈塔來銜接。

第二點是可以處理非剛性物體。根據(jù)我之前介紹的原理每個sensor點被一個燈塔照到之后，可以確定空間當中的一條線，它如果被兩個燈塔同時照到，就能夠確定在空間當中的一個點，基于這一點，這個跟蹤技術(shù)其實也可以用于非剛性物體，比如說手指，或者人的身體上，每個關(guān)節(jié)上放一個傳感器點，只要這個點同時保證被兩個燈塔照到，就可以對它的位置進行解算。后面還有多傳感器融合方面的拓展。比如說無人駕駛車或者機器人這個領(lǐng)域它會同時用多個傳感器，激光，攝像頭，雷達，GPS等等因為每個傳感器可能在不同的環(huán)境下，有它獨特的優(yōu)勢，如果你想使整個系統(tǒng)做得非常穩(wěn)定，其實利用多個傳感器是一個比較好的策略，也可能實現(xiàn)一些新的功能和效果。

從內(nèi)容層面談交互

陳：我們公司的愿景，是希望能夠給所有人提供一個在VR中創(chuàng)造夢想中的世界和表達自己的途徑。為此，我們不僅提供硬件，而且基于這套硬件的特性提供了一整套的工具和軟件，來使大家可以很容易地在VR空間當中進行創(chuàng)造。這些創(chuàng)造的工具都是基于我們對于這套定位系統(tǒng)，或者說對VR交互的理解。

《Zombies Never Die》武器交互設(shè)計

就拿這款《Zombies Never Die》來說好了，這是我們自己的團隊做的游戲。玩家可以在場景內(nèi)選擇不同的武器，其實這些武器的選擇都考慮了很多，你可以拿槍、劍、弓，這些都適合于在站立情況下大尺度的VR交互的，其中弓箭的交互效果比較突出，因為你需要兩手同時使用，而且我們添加了手柄上的對應(yīng)振動和聲音，給用戶造成反饋，交互的效果非常好。在選擇菜單的時候，我們也采用了比較直觀的方案，讓用戶自己去拿手去抓相應(yīng)的武器來完成交互。至于槍，我們實現(xiàn)了三點一線的瞄準射擊方法，一些玩慣了FPS的人不太習慣因為沒有準星，但是他們忘記了，槍在現(xiàn)實世界中原本就應(yīng)該這樣去用。根據(jù)我們測試的經(jīng)驗和體驗區(qū)的反響，這個游戲，大部分人都可以很快上手，各種武器都非常符合大家的使用預(yù)期，這才是VR真正有力量所在，它與傳統(tǒng)的游戲不同，不需要把操作映射到手柄上，VR中應(yīng)當基于用戶對該武器原有的一些知識和經(jīng)驗來完成交互的過程。

下面一個是我們叫HyBuilder，展現(xiàn)的是用戶在虛擬空間中創(chuàng)造一個世界的過程。目前的內(nèi)容是創(chuàng)造一個街區(qū)，可以看到在這個過程當中，用戶充分使用最自然的方式進行和虛擬世界進行交互。比如說如果你想在空間當中創(chuàng)造一個立方體你會怎么做，如果你想改變這個立方體的大小，你應(yīng)該會做什么樣的操作，我們的設(shè)計采用最直接的動作方式，完全符合用戶的經(jīng)驗和想象。實際體驗中我們發(fā)現(xiàn)即使是兒童也可以順利的熟悉并完成我們的交互，用戶可以充分地享受造物主的樂趣。

《HyBuilder》交互過程

以上是HYPEREAL技術(shù)總監(jiān)陳祿在VR交互方面所做的一些工作的分享。

公司從最初的十多人，迅速發(fā)展壯大，現(xiàn)在已經(jīng)是一個110多人的大團隊，在這半年里完成了整套設(shè)備的研發(fā)，雖然時間并不算多長，但這依然耗費了HYPEREAL大量的人力物力，陳祿所分享的HyTrack，在研發(fā)過程中，除了研究算法，硬件配置上也有不小的消耗。

至于部分媒體報道的“5人1個月”、“10人3個月”的開發(fā)過程，這著實太夸張了，硬件、軟件底層、Track、游戲，任何一個開發(fā)部門的人數(shù)都不止這個數(shù)字。我們的研發(fā)效率確實非常高，但是媒體報道的數(shù)字偏差還是太大了。

陳：我們是一家年輕但是有理想的公司。VR還處在相對早期的階段，我們希望和在座的各位同行一起來努力，推動這個產(chǎn)業(yè)的發(fā)展，實現(xiàn)我們的愿景。這也是我們?yōu)槭裁丛敢庠谶@里和大家分享很多我們的工作和技術(shù)細節(jié)的原因。我們之后也會在自己的網(wǎng)站或者其他方分享更多的技術(shù)內(nèi)容，供大家一起交流學習。謝謝大家！