下一個十年，看VR眼鏡如何開啟元宇宙時代（下）

    上一期，我們聊了聊Facebook Connect 2021大會以及Meta將于2022年推出的代號為“Project Cambria”的短焦VR一體機。那么這一期，我們來解析一下Cambria擁有哪些核心技術(shù)與算法，以及影創(chuàng)這些年的積累成果又有哪些？

    01 佩戴方式

（左為Cambria渲染模型；右為“騏驥”）

    產(chǎn)品的舒適度，是影響消費者選擇的重要因素。VR設(shè)備作為頭戴式產(chǎn)品，即便許多消費者更習(xí)慣追求超高清畫面或是良好的沉浸感，但長時間佩戴后，臉部受壓迫，肩頸也會受到來自頭部的壓力，不適感與疲憊感隨之而來，從而導(dǎo)致體驗感變差，使用率大大減少。從Cambria的預(yù)告視頻中，我們了解到通過環(huán)形佩戴這種方式，將電池至于腦后位置的科學(xué)配重，有效分散了佩戴VR設(shè)備佩戴時的臉部壓力，更符合人體工程學(xué)，進而減少VR設(shè)備因沉重?zé)o法長時間佩戴的問題。而這，與我們今年1月展示的6DoF VR公版樣機“騏驥”的佩戴設(shè)計理念不謀而合，不得不感嘆一句“英雄所見略同”。

    02  Pancake光學(xué)方案

（Cambria  Pancake光路示意圖 / 圖源來自網(wǎng)絡(luò) 侵刪）

    上一期，我們提到Pancake光學(xué)方案會使VR設(shè)備的體積縮小（前殼厚度從7cm左右變成2.5cm左右）、重量更輕（前殼重量從400g左右變成150g左右）。這是由于Pancake方案采用多鏡片折疊光路，可以使VR設(shè)備內(nèi)部結(jié)構(gòu)更加緊湊。但是光路的復(fù)雜程度直接導(dǎo)致了光學(xué)模組加工工藝難度的攀升，控制良率的難度相比傳統(tǒng)光學(xué)的單片菲涅爾透鏡更高。輕薄的光學(xué)模組加上環(huán)形佩戴方式，消費者在佩戴VR設(shè)備時舒適度會明顯提升。

    Pancake光學(xué)方案可以實現(xiàn)大視野、出色的圖像性能以及超緊湊的尺寸，毋庸置疑這三點與未來VR設(shè)備的需求完美契合。因此，VR設(shè)備在體積和重量上都有新的跨越后，可供長時間佩戴，并且移動性增強，其應(yīng)用場景的選擇性將更為廣泛。未來的VR設(shè)備將不僅僅只是娛樂工具那么單一，而是變成了生產(chǎn)力工具。

    影創(chuàng)在Pancake上也具備了設(shè)計和制造工藝方面的積累，下圖就是影創(chuàng)設(shè)計的Pancake光路，是不是很贊？

（影創(chuàng)Pancake光路示意圖）

    03  彩色See through

（Cambria 彩色See-through / 圖源來自網(wǎng)絡(luò) 侵刪）

    目前，VR設(shè)備使用空間范圍有限，這也是行業(yè)一直在攻克的難關(guān)之一。VR設(shè)備作為沉浸式體驗設(shè)備，佩戴后看不見真實世界，用戶在使用時頻繁地脫摘非常令人頭疼。在本屆大會上，See-through功能的重大改進也是亮點之一，從原先Quest 2的低分辨率單色See-through系統(tǒng)提升至高清晰度彩色See-through功能，用戶能夠在佩戴VR設(shè)備時，通過開啟對外的彩色攝像頭看見高清、彩色、無扭曲低延遲的真實世界，如此看來，VR與AR相融合的時代正在悄悄來臨。

    若要實現(xiàn)高清晰度彩色See-through功能，則需要在VR頭顯上最少裝置2個RGB攝像頭。上期我們也提到過，攝像頭存在著天然物理延遲的問題，因處理的信息量增長，高分辨率RGB攝像頭的延遲會比原先的灰度攝像頭更高。為了降低高分辨率RGB攝像頭的物理延遲，我們通過空間扭曲等一系列的技術(shù)對畫面進行預(yù)測及三維重構(gòu)，將真實世界通過渲染的方式呈現(xiàn)在用戶眼前，以此填補掉幀帶來的畫面缺失，從而降低物理延遲帶給用戶的不適感。另外，雖然RGB攝像頭比灰度攝像頭的物理延遲更高，但它能識別更多色彩，因此魯棒性更好，可以在更復(fù)雜的光照環(huán)境下使用，更精準地識別手勢追蹤，SLAM空間定位功能也會隨之提升。

    當(dāng)VR設(shè)備最重要的一個缺點被克服，便意味著其移動性大大增強。用戶不再拘泥于一個劃定的空曠環(huán)境，也不再需要頻繁地摘脫，而是能夠一鍵輕松切換虛擬世界與真實世界，VR與AR相結(jié)合的設(shè)備，確實非常令人向往。

    04  手柄自追蹤

（Cambria 手柄 / 圖源來自網(wǎng)絡(luò) 侵刪）

    上述我們說到，Cambria將使用RGB攝像頭實現(xiàn)高清晰度彩色See-through功能，能夠讓用戶在佩戴VR設(shè)備的情況下依然可以看見高清彩色真實世界。但RGB攝像頭沒有灰度攝像頭的濾光片，無法很好地識別紅外光，從而導(dǎo)致現(xiàn)在大部分VR設(shè)備所使用的紅外LED式圓環(huán)追蹤方式無法實現(xiàn)。那么，問題就來了，當(dāng)VR頭顯無法追蹤手柄，手柄該何去何從？答案很簡單，手柄實現(xiàn)自追蹤。

    我們猜測，Cambria新手柄采用自追蹤模式，手柄上安裝有3個不同方向的相機，用于視覺VIO跟蹤定位。工作原理大概是手柄端實時進行視覺VIO算法，獨立解算位姿，并與頭顯進行視覺標定。使用RGB攝像頭后，手柄能夠360度追蹤，不再受限于設(shè)備傳感器的FOV（視場角）大小，能夠獲得更大自由度的交互體驗。手柄自帶算力實現(xiàn)獨立SLAM空間定位后，原先集中于VR頭顯的算力負擔(dān)會分散，減少了負載和功耗，頭顯可以設(shè)計得更加輕便。另外，由于取消了紅外LED燈環(huán)，頭顯上得攝像頭采用可見光跟蹤，可以適應(yīng)更復(fù)雜的光照環(huán)境，改善在室外場景的使用體驗。

    而實現(xiàn)手柄自追蹤，有一定的難度。首先，它需要在手柄上搭載更復(fù)雜的算法和更高算力的芯片。我們長期以來致力于研究高性能、低消耗的SLAM算法，因此能很輕松地在手柄上實現(xiàn)定位追蹤。其次，當(dāng)頭手沒有實時聯(lián)系時，頭部和手柄的坐標系要做到三點統(tǒng)一需要一系列地圖和物體識別的技術(shù)，而我們同樣也有著這方面的雄厚積累。

    手柄獨立意味著，將來它不再是VR產(chǎn)品的固定配件，而是成為一個選配件。那么，當(dāng)VR設(shè)備可以脫離手柄后，我們該以其他何種方式交互呢？讓我們一起往下看。

    05  自然手勢識別

（Cambria 自然手勢 / 圖源來自網(wǎng)絡(luò) 侵刪）

    當(dāng)VR設(shè)備搭載RGB攝像頭后，可以識別更多色彩，魯棒性更好，可以更精準對手部動作進行識別。因此，自然手勢識別成為VR設(shè)備交互的最佳選擇。在日常使用場景中，用戶可以隨時隨地戴上VR設(shè)備，通過自然手勢進行一系列的操作，不需要再攜帶手柄，實現(xiàn)真正意義上的移動式便攜。

    影創(chuàng)科技一直致力于自然手勢識別技術(shù)的研發(fā)，魯棒性好、低功耗、低時延、視場角大，在行業(yè)中屬于世界領(lǐng)先水平。影創(chuàng)科技的全自由度自然手勢基于30個自由度以及用戶個性化的手掌參數(shù)，為用戶創(chuàng)造更“本能”更“真實”的交互體驗，可以不受固定姿態(tài)的限制，以任意手姿勢與虛擬對象進行交互，學(xué)習(xí)成本低。而手勢識別功能的增加，在VR與AR相融合的時代，將提升用戶的交互體驗，VR設(shè)備的移動性及實用性都將逐步提升。

（影創(chuàng)全自由度自然手勢）

    06  虛擬鍵盤

（ Horizon Workrooms 虛擬鍵盤 / 圖源來自網(wǎng)絡(luò) 侵刪）

    隨著VR設(shè)備功能的增加，其將從原先的娛樂產(chǎn)品蛻變成一個集娛樂、辦公、生活于一體的新一代通用計算平臺。當(dāng)我們想足不出戶玩一個沉浸式大型VR游戲的時候，便可以拿出手柄；當(dāng)我們想辦公、社交時，自然手勢則是最佳交互方式，當(dāng)代替鼠標的自然手勢實現(xiàn)之后，它的好搭檔——鍵盤，自然也是不可或缺的一項。

    通過深度學(xué)習(xí)算法，未來VR可以把重建好的虛擬鍵盤模型和實際物體貼合疊加，然后進行跟蹤，并且對其姿態(tài)進行準確估計，從而實現(xiàn)虛擬鍵盤的應(yīng)用。虛擬鍵盤、自然手勢，甚至更多虛擬配件的出現(xiàn)，將幫助用戶實現(xiàn)無空間無時間限制的辦公方式，社交自然更是不言而喻。

    影創(chuàng)物體錨點系統(tǒng)具備從物體建模到物體跟蹤的全流程系統(tǒng)。物體建模操作簡單，成功率高，還支持自建的模型和其他平臺建立的模型。物體跟蹤高精度高魯棒性，可以實現(xiàn)精準虛實疊加，精度達到了毫米級，疊加鍵盤自然也不在話下。

（影創(chuàng)虛擬鍵盤）

    另外，未來通過攝像頭，我們還可以對整個房間拍攝的圖像進行深度估計，并且對計算出來的深度點云信息進行融合，最終對房間建立一個完整的幾何描述。最終建立整個房間的具體位置的虛擬空間的對應(yīng)關(guān)系，從而將數(shù)字信息永久的放置在現(xiàn)實世界中。

    07  多任務(wù)3D屏幕

（Cambira 多任務(wù)3D屏幕 / 圖源來自網(wǎng)絡(luò) 侵刪）

    由于各種原因，許多人都需要多顯示器設(shè)置。但由于物理空間的限制以及多顯示器需考慮成本等多種因素，無法實現(xiàn)多屏辦公。然而，在虛擬現(xiàn)實的加持下，我們可以坐擁多屏3D交互，辦公、社交、觀影、游戲、音樂等等，你想要的都可以同時進行。最重要的是，它既沒有物理空間的限制，也沒有成本預(yù)算這種現(xiàn)實問題的考量。伴隨著自然手勢與虛擬鍵盤功能的推出，多任務(wù)3D屏幕將成為未來用戶的辦公首選。無論用戶身處何處，只要有一個VR設(shè)備，便可以擴展自己的工作空間，實現(xiàn)辦公、社交、娛樂無縫切換。21世紀的我們，生活的主力依靠著手機與電腦、平板等電子產(chǎn)品。暢想一下未來，以上這些產(chǎn)品都被壓縮成一個便攜式設(shè)備，是何等便捷？

    就在今年夏天，我們對外預(yù)告了新系統(tǒng)Tesseract OS，并推出了體驗版，邀請眾多開發(fā)者與用戶體驗。Tesseract OS采用了多任務(wù)窗口，采用全新Dock欄，弧形大屏等新風(fēng)格，與Meta所公布的多任務(wù)3D屏幕再一次不謀而合。另外我們還加入ASW、PTW等眾多渲染技術(shù)上的升級，降低延遲和眩暈，提升用戶體驗。

（ Tesseract OS多任務(wù)3D屏幕 ）

    08  體積視頻

（Cambira 體積視頻 / 圖源來自網(wǎng)絡(luò) 侵刪）

    體積視頻簡單來說就是將一連串的三維模型連接在一起，并讓他們動起來，能夠自由視角觀看。體積視頻給視頻賦予了體積的概念，讓二維視頻內(nèi)容成為三維立體。它利用攝像機采集到的深度色彩等數(shù)據(jù)通過算法將現(xiàn)實世界通過三維模型展現(xiàn)出來，可以在任何平臺上（手機、電腦、平板、VR設(shè)備等）播放，用戶可以在任意時間任意角度進行觀看，即賦予用戶使用 6DoF觀看視頻的權(quán)利。

    簡單來說，就是實現(xiàn)全息影像功能。我們可以通過VR設(shè)備，看到一個身處不同空間的三維真人影像。在疫情肆虐地球的當(dāng)下，全息影像的功能顯得尤為重要。在Meta公布的視頻中，我們也看到了未來新健身的模式，在任何場合，都會有全息教練在用戶眼前指導(dǎo)用戶如何健身。不僅如此，體積視頻還能用于遠程會議場景。會議是辦公里最無法克服空間問題的一項內(nèi)容，而虛擬會議能夠徹底解決解決空間所帶來的無法跨越的鴻溝。

    想必大家對影創(chuàng)全息會議系統(tǒng)一定不陌生。它是一種全新的會議模式，能夠?qū)崿F(xiàn)遠程合作及跨平臺信息分享，達到多人、多地的實時沉浸式會議。影創(chuàng)全息會議能夠?qū)崟r傳輸亞厘米精度的全息真人形象，且支持自然手勢、手柄及語音等多種交互方式，更支持多種類的虛擬數(shù)字形象，可謂是科技賦能新辦公模式。如此一來，VR設(shè)備成為生產(chǎn)力工具指日可待。

    綜合來講，Tesseract OS集成上述所有自研算法與技術(shù)，從而實現(xiàn)高性能、低延遲、豐富功能，也是目前全球唯一能夠提供一站式解決方案的操作系統(tǒng)。相信就像Windows之于PC，Android之于手機，Tesseract OS將賦能VR成為新生產(chǎn)力工具，為你打開元宇宙世界的大門。