從當前來看,更多的公司選擇從VR領(lǐng)域進行切入,各大研究公司、投行針對VR領(lǐng)域的研究報告也層出不窮,相比之下,AR領(lǐng)域卻稍顯平淡。
繼智能手機、平板電腦之后,虛擬現(xiàn)實(VR)與增強現(xiàn)實(AR)有潛力成為下一個重大通用計算平臺。
從當前來看,更多的公司選擇從VR領(lǐng)域進行切入,各大研究公司、投行針對VR領(lǐng)域的研究報告也層出不窮,相比之下,AR領(lǐng)域卻稍顯平淡。
騰訊科技旗下VR次元發(fā)布全球首份AR行業(yè)報告,在這份報告中,我們將對AR的發(fā)展趨勢、未來的挑戰(zhàn)、潛在應(yīng)用領(lǐng)域、可能創(chuàng)造和顛覆的市場進行分析和預測。
最后,感謝亮風臺研發(fā)總監(jiān)吳侖博士撰寫了AR工作原理、關(guān)鍵技術(shù)的相關(guān)章節(jié)。
第一章:AR與VR
第二章:AR的工作原理
第三章:布局
第四章:AR市場潛力
第五章:AR面臨的挑戰(zhàn)
第六章:順應(yīng)AR潮流
第七章:AR的應(yīng)用案例
以下為VR次元整理的報告精華版:
AR與VR有哪些區(qū)別?
從技術(shù)角度來看,AR是將計算機生成的虛擬世界套在現(xiàn)實世界上,即把數(shù)字想象世界加在真實世界之上。最典型的AR設(shè)備就是谷歌眼鏡。這種智能眼鏡將觸控板、攝像頭以及LED顯示器結(jié)合起來,通過顯示器,用戶可以聯(lián)網(wǎng),并在視野內(nèi)使用地圖、電子郵件等服務(wù)。其他知名的AR產(chǎn)品還有微軟的HoloLens,創(chuàng)業(yè)公司則以Magic Leap為典型代表。
VR是讓用戶置身于一個想象出來或者重新復制的世界,或是模擬真實的世界。VR領(lǐng)域主要的產(chǎn)品包括Oculus、索尼PlayStation VR、HTC Vive和三星Gear VR。(有關(guān)VR更多的情況,可關(guān)注VR次元微信公眾號,回復“高盛”和“德銀”,分別獲得高盛VR中文版報告和德銀VR中文版報告)
區(qū)分VR和AR的一個簡單的方法是:VR需要用一個不透明的頭戴設(shè)備完成虛擬世界里的沉浸體驗,而AR需要清晰的頭戴設(shè)備看清真實世界和重疊在上面的信息和圖像。
從目前來看,AR比較適合服務(wù)企業(yè)級用戶,而VR同時適用于消費者和企業(yè)用戶。有些情況下,兩者還會出現(xiàn)重疊市場。例如,目前大多數(shù)游戲基于VR研發(fā),但微軟也用HoloLens重新創(chuàng)作了《我的世界》這樣的游戲。
AR的市場潛力有多大?
最新預測指出,到2017年,AR市場將增長至52億美元,年增長率竟逼近100%。隨著大量資金注入AR項目及AR創(chuàng)業(yè)公司,尤其是隨著谷歌、佳能、高通、微軟等大公司的入場,我們已經(jīng)看到第一批消費級AR產(chǎn)品的涌現(xiàn)。隨著實際商業(yè)利益的出現(xiàn), AR將成為消費、醫(yī)療、移動、汽車以及制造市場中的“下一件大事”。
市場調(diào)研公司Digi-Capital給出的一組數(shù)據(jù)很值得研究:到2020年,AR的市場規(guī)模將達到1200億美元,遠高于VR的300億美元。
VR對于游戲與3D電影來說是一項非常棒的技術(shù),甚至可以說這項技術(shù)可謂是專門為此而設(shè)計的。但這項技術(shù)的體驗主要是在客廳、辦公室或者座位上展開的,因為如果你戴著一個完全封閉的頭戴式顯示器走在路上,隨時都可能撞到路邊的東西。
雖然AR技術(shù)應(yīng)用在游戲也非常有趣,但在需要真正沉浸式體驗的時候,其所帶來的樂趣或許不如VR技術(shù)那么多,這就像是移動游戲與主機游戲之間的差距。但是,AR技術(shù)在游戲玩家眼中的這個缺點,恰恰是讓它可以同智能手機一樣,在數(shù)以億計用戶的現(xiàn)實生活中發(fā)揮重要作用的優(yōu)勢。人們可以戴著它四處活動,做任何事情。
AR的軟件與服務(wù)擁有可與如今的移動市場相媲美的經(jīng)濟效應(yīng),它們都可以利用現(xiàn)有的其他產(chǎn)品的市場,并不斷擴張它們。AR龐大的用戶基礎(chǔ)將會成為電視電影、廣告以及Facebook的用戶應(yīng)用程序甚至《部落沖突》等游戲的主要收入來源。
換句話說,AR技術(shù)有可能觸及到更多的人,因為它是對人們?nèi)粘I畹臒o縫補充,而不是像VR那樣在現(xiàn)實世界之外營造出一個完全虛擬的世界。
AR面臨哪些挑戰(zhàn)?
對于AR而言,解決注冊任務(wù)是最核心的問題。注冊對精度的要求極為嚴格:由于AR應(yīng)以實時、六個自由度的形式將虛擬信息和現(xiàn)實信息相融合,即便是輕微的注冊失準都會造成組合視圖難以容忍的失真。因此,移動AR存在兩大難點:注冊必須極為精準,注冊對計算能力和內(nèi)存的利用必須極為高效。
這個問題是AR面向大眾部署所面臨的終極挑戰(zhàn)。我們斷言,目前大部分已知的注冊任務(wù)解決方案其實并不適用于智能手機——盡管看上去能用。因此,所有的AR研究人員都應(yīng)該為智能手機AR的大空間應(yīng)用問題開發(fā)專門的解決方案。
智能手機是AR大眾市場最具前景的平臺。智能手機生態(tài)系統(tǒng)為面向大眾部署AR的純軟件解決方案提供了一切要素。然而不應(yīng)忽視的是,盡管技術(shù)和邏輯取得了種種進步,但是AR應(yīng)用在智能手機上的大規(guī)模部署仍然存在著下列重大障礙:
1、相機質(zhì)量與成像處理。智能手機通常配備的相機傳感器在弱光條件下表現(xiàn)糟糕:圖像模糊,開始出現(xiàn)明顯色差。相機傳感器硬件通常禁止低層級訪問。API只提供了相機傳感器的高層級訪問,無法控制曝光、光圈及焦距。小型CCD傳感器導致相機采樣噪點增加,進而嚴重影響后續(xù)CV算法的發(fā)揮。圖像獲取過程中的質(zhì)量損失很難通過后期處理步驟補償。
2、電量消耗。電池電量近年來并沒有顯著提升。相機傳感器在以高幀率持續(xù)運行時耗電量很大,其主要原因是目前手機的設(shè)計用途仍然是拍照,而不是攝影。另外,傳感器和網(wǎng)絡(luò)接口也是耗電大戶。運行功能強大的AR應(yīng)用會讓電池迅速耗干。因此,AR應(yīng)用必須只能設(shè)計成供短時間使用,而不是一種“常開”功能。
3、網(wǎng)絡(luò)依賴性。遠程訪問大量數(shù)據(jù)受到幾個因素的影響。首先,網(wǎng)絡(luò)延遲會導致令人不爽的延遲,拖累AR應(yīng)用的瞬時表現(xiàn)。其次,訪問遠程數(shù)據(jù)僅在開了流量套餐時才有可能做到,而流量套餐可能過于昂貴或者無法開通。最后,某些地區(qū)的網(wǎng)絡(luò)覆蓋可能不滿足條件。于是完全獨立的AR應(yīng)用成為了唯一的可行選擇,這就意味著需要在設(shè)備上占用大量的存儲空間。
4、可視化與交互的可能性。智能手機的外形因素在購買決策中發(fā)揮著重要作用。實際上,可接受最大設(shè)備的尺寸嚴格制約了顯示屏的大小。交互技術(shù)同樣存在著類似的限制。多點觸控界面或許是最為先進的交互機制,但它在某些特定任務(wù)——如像素級的選取上表現(xiàn)糟糕。
理論上講,針對AR改進未來智能手機需從哪些方面入手已是眾所周知。在實踐中,AR應(yīng)用的開發(fā)者卻要看硬件廠商和服務(wù)供應(yīng)商的臉色,后者做出硬件發(fā)展決策的依據(jù)是市場預測,而其中可能不含對AR的需求。不過,硬件總體是朝著正確的方向發(fā)展的,尤其在移動游戲或移動導航系統(tǒng)的驅(qū)動下——而這兩者與AR在技術(shù)需求方面存在許多共通之處。此外,研究人員意識到目前相機控制方面存在限制,更好的相機API也會因此誕生,比如Frankencamera項目。
盡管平板電腦作為一種流行移動平臺也在不斷壯大,但它屬于放大版的智能手機平臺。由于尺寸放大,可視化與交互的限制有了些許放松,但這些設(shè)備的尺寸和重量同時也制約著它們在AR領(lǐng)域的應(yīng)用,原因是拿起來更加累人(比如說,把設(shè)備舉起來較長時間可能需要兩只手,反過來制約了交互的可能性)。除此之外,目前的平板電腦存在著與智能手機相同的問題。對于不同的AR應(yīng)用而言,智能手機和平板電腦可能前者更適合,也可能后者更適合。
全球首份AR報告第一章:AR與VR
以下為AR報告第一章:AR與VR
VR和AR有著不同的應(yīng)用領(lǐng)域、技術(shù)和市場機會,因此區(qū)分兩者之間的不同至關(guān)重要。
從技術(shù)角度來看,AR是將計算機生成的虛擬世界套在現(xiàn)實世界上,即把數(shù)字想象世界加在真實世界之上。最典型的AR設(shè)備就是谷歌眼鏡。這種智能眼鏡將觸控板、攝像頭以及LED顯示器結(jié)合起來,通過顯示器,用戶可以聯(lián)網(wǎng),并在視野內(nèi)使用地圖、電子郵件等服務(wù)。其他知名的AR產(chǎn)品還有微軟的HoloLens,創(chuàng)業(yè)公司則以Magic Leap為典型代表。
AR具備三個主要特征:
1、融合虛擬和現(xiàn)實:與VR技術(shù)不同的是,增強現(xiàn)實技術(shù)不會把使用者與真實世界隔開,而是將計算機生成的虛擬物體和信息疊加到真實世界的場景中來,以實現(xiàn)對現(xiàn)實場景更直觀深入的了解和解讀,在有限的時間和有限的場景中實現(xiàn)與現(xiàn)實相關(guān)知識領(lǐng)域的理解。增強的信息可以是與真實物體相關(guān)的非幾何信息,如視頻、文字,也可以是幾何信息,如虛擬的三維物體和場景。
2、實時交互:通過增強現(xiàn)實系統(tǒng)中的交互接口設(shè)備,人們以自然方式與增強現(xiàn)實環(huán)境進行交互操作,這種交互要滿足實時性。
3、三維注冊:“注冊”(這里也可以解釋為跟蹤和定位)指的是將計算機產(chǎn)生的虛擬物體與真實環(huán)境進行一一對應(yīng),且用戶在真實環(huán)境中運動時,也將繼續(xù)維持正確的對準關(guān)系。
VR是讓用戶置身于一個想象出來或者重新復制的世界,或是模擬真實的世界。VR領(lǐng)域主要的產(chǎn)品包括Oculus、索尼PlayStation VR、HTC Vive和三星Gear VR。(有關(guān)VR更多的情況,可關(guān)注VR次元微信公眾號,回復“高盛”和“德銀”,分別獲得高盛VR中文版報告和德銀VR中文版報告)
區(qū)分VR和AR的一個簡單的方法是:VR需要用一個不透明的頭戴設(shè)備完成虛擬世界里的沉浸體驗,而AR需要清晰的頭戴設(shè)備看清真實世界和重疊在上面的信息和圖像。
從目前來看,AR比較適合服務(wù)企業(yè)級用戶,而VR同時適用于消費者和企業(yè)用戶。有些情況下,兩者還會出現(xiàn)重疊市場。例如,目前大多數(shù)游戲基于VR研發(fā),但微軟也用HoloLens重新創(chuàng)作了《我的世界》這樣的游戲。
AR發(fā)展簡史
AR技術(shù)的起源可追溯到“VR之父”Morton Heilig在上個世紀五、六十年代所發(fā)明的Sensorama Stimulator。
Heilig是一名哲學家、電影制作人和發(fā)明家。他利用他在電影拍攝上經(jīng)驗設(shè)計出了Sensorama Stimulator,并在1962年獲得了專利。
Sensorama Stimulator使用圖像、聲音、風扇、香味和震動,讓用戶感受在紐約布魯克林街道上騎著摩托車風馳電掣的場景。盡管這臺機器大且笨重,但在當時卻非常超前。令人遺憾的是,Heilig沒有能夠獲得所需的資金支持讓這個發(fā)明商業(yè)化。
AR歷史上的下一個重大里程碑是第一臺頭戴式AR設(shè)備的發(fā)明。1968年,哈佛副教授Ivan Sutherland跟他的學生Bob Sproull合作發(fā)明了Sutherland稱之為“終極顯示器”的AR設(shè)備。使用這個設(shè)備的用戶可以通過一個雙目鏡看到一個簡單三維房間模型,用戶還可以使用視覺和頭部運動跟蹤改變視角。盡管用戶交互界面是頭戴的,然而系統(tǒng)主體部分卻又大又重,不能戴在用戶頭上,只能懸掛在用戶頭頂?shù)奶旎ò迳稀_@套系統(tǒng)也因此被命名為“達摩克利斯之劍”。
盡管這些早期的發(fā)明屬于AR的范疇,但實際上,直到1990年,波音公司研究員Tom Caudell才創(chuàng)造了“AR”這個術(shù)語。Caudell和他的同事設(shè)計了一個輔助飛機布線系統(tǒng),用于代替笨重的示例圖版。這個頭戴設(shè)備將布線圖或者裝配指南投射到特殊的可再用方板上。這些AR投影可以通過計算機快速輕松地更改,機械師再也不需要手工重新改造或者制作示例圖版。
大約在1998年,AR第一次出現(xiàn)在大眾平臺上。當時有電視臺在橄欖球賽電視轉(zhuǎn)播上使用AR技術(shù)將得分線疊加到屏幕中的球場上。此后,AR技術(shù)開始被用于天氣預報——天氣預報制作者將計算機圖像疊加到現(xiàn)實圖像和地圖上面。從那時起,AR真正地開始了其爆炸式的發(fā)展。
2000年,Bruce H. Thomas 在澳大利亞南澳大學可穿戴計算機實驗室開發(fā)了第一款手機室外AR游戲——ARQuake。2008年左右,AR開始被用于地圖等手機應(yīng)用上。2013年,谷歌發(fā)布了谷歌眼鏡,2015年,微軟發(fā)布HoloLens,這是一款能將計算機生成圖像(全息圖)疊加到用戶周圍世界中的頭戴式AR設(shè)備,也正是隨著這兩款產(chǎn)品的出現(xiàn),更多的人開始了解AR。
AR硬件概覽
AR硬件發(fā)展的驅(qū)動力源于計算機處理器、顯示技術(shù)、傳感器、移動網(wǎng)絡(luò)速率、電池續(xù)航等多個領(lǐng)域的技術(shù)進步。
目前能夠確定的AR硬件類型有以下幾種:
手持設(shè)備(Handheld Devices)
固定式AR系統(tǒng)(Stationary AR Systems)
空間增強現(xiàn)實(SAR)系統(tǒng)(Spatial Augmented Reality Systems)
頭戴式顯示器(Head-mounted Displays ,即HMD)
智能眼鏡(Smart Glasses)
智能透鏡(Smart Lenses)
手持設(shè)備
智能手機正是手持設(shè)備的代表。我們正經(jīng)歷著智能手機、平板電腦等手持設(shè)備的大爆炸時代,這將會促進AR的普及。這些設(shè)備正在變得越來越好——顯示器分辨率越來越高,處理器越來越強,相機成像質(zhì)量越來越好,傳感器越來越多,提供著加速計、GPS、羅盤等等功能……這些成為了天然的AR平臺。盡管手持設(shè)備是消費者接觸AR應(yīng)用最為方便的形式,但由于大部分手持設(shè)備不具備可穿戴功能,因此用戶無法獲得雙手解放的AR體驗。
固定式AR系統(tǒng)
固定式AR系統(tǒng)適用于固定場所中需要更大顯示屏或更高分辨率的場景。與移動AR設(shè)備不同的是,這些極少移動的系統(tǒng)可以搭載更加先進的相機系統(tǒng),因此能夠更加精確地識別人物和場景。此外,顯示單元往往能呈現(xiàn)出更加真實的畫面,而且受陽光或照明等環(huán)境因素影響較小。
空間增強現(xiàn)實(SAR)系統(tǒng)
與其它所有系統(tǒng)不同的是,空間增強現(xiàn)實(SAR)系統(tǒng)的虛擬內(nèi)容直接投影在現(xiàn)實世界中。SAR系統(tǒng)往往固定在自然中。任何物理表面,如墻、桌、泡沫、木塊甚至是人體都可以成為可交互的顯示屏。隨著投影設(shè)備尺寸、成本、功耗的降低以及3D投影的不斷進步,各種全新的交互及顯示形式正在不斷涌現(xiàn)。SAR系統(tǒng)最大的優(yōu)點在于,現(xiàn)實世界的反射在這里更加精確,即虛擬信息能夠以實際的比例和大小呈現(xiàn)在眼前。此外在觀看人數(shù)較多時,內(nèi)容也能看清,這個案例可以用來實現(xiàn)同步辦公。
頭戴式顯示器(HMD)
佳能的混合現(xiàn)實頭戴設(shè)備
HMD代表著另一種快速發(fā)展的AR硬件類型。HMD由一個頭戴裝置(如頭盔),以及與之搭配的一塊或多塊(微型)顯示屏組成。HMD將現(xiàn)實世界和虛擬物體的畫面重疊顯示在用戶視野中。換而言之,用戶不會直接看到現(xiàn)實,看到的是現(xiàn)實的增強視頻畫面。如果顯示屏只覆蓋用戶的一只眼睛,這樣的HMD稱為單眼HMD,另一種是兩只眼睛都看顯示屏的雙眼HMD。先進的HMD通常能夠搭載具有很高自由度的傳感器,用戶可以在前后、上下、左右、俯仰、偏轉(zhuǎn)和滾動六個方向自由移動頭部。該系統(tǒng)因此能夠?qū)崿F(xiàn)虛擬信息與現(xiàn)實世界的貼合,并根據(jù)用戶頭部移動作做相應(yīng)的畫面調(diào)整。
智能眼鏡
Vuzix M100智能眼鏡
消費電子行業(yè)的許多公司認為,智能眼鏡將會成為智能手機后下一大全球熱賣消費產(chǎn)品。這些AR設(shè)備實際上是帶有屏幕、相機和話筒的眼鏡。根據(jù)這一概念,用戶的現(xiàn)實世界視角被AR設(shè)備截取,增強后的畫面重新顯示在用戶視野中。AR畫面透過眼鏡鏡片,或者通過眼鏡鏡片反射,從而進入眼球。智能眼鏡技術(shù)最為突出的例子是谷歌眼鏡和Vuzix M100。不過,目前開發(fā)中的最令人激動的智能眼鏡要數(shù)Atheer One——該智能眼鏡配有3D景深傳感器,用戶可以實際控制眼前顯示的虛擬內(nèi)容。
智能透鏡
華盛頓大學開發(fā)的透鏡中含有金屬電路結(jié)構(gòu)
智能眼鏡絕不是故事的結(jié)局。越來越多的研究投入到能顯示AR畫面的智能透鏡上;微軟、谷歌等公司也正忙于宣布自己的智能透鏡項目。
智能透鏡的理念是在傳統(tǒng)透鏡中集成控制電路、通信電路、微型天線、LED及其它光電組件,從而形成一套功能系統(tǒng)。未來或許可以用成千上萬顆LED直接在眼前形成畫面,從而讓透鏡變成顯示屏。然而,還必須克服一系列難題,比如說如何給透鏡供電,如何保證人眼不受傷害等等。
在這一章的最后,我們簡單看下AR技術(shù)會應(yīng)用到哪些領(lǐng)域:
考古:在古代遺跡上顯示遺跡原本的樣子。
藝術(shù):跟蹤眼球移動并將這些移動顯示在屏幕上,幫助殘疾人進行藝術(shù)創(chuàng)作。
商業(yè):顯示產(chǎn)品的多種定制選項或者補充信息。
教育:將文本、圖像、視頻和音頻疊加到學生周圍的實時環(huán)境中。
時尚:顯示不同的妝容和發(fā)型用在一個人身上的效果。
游戲:運用真實世界環(huán)境讓用戶在游戲中進行互動,獲得不同的體驗。
醫(yī)藥:通過虛擬X光將病人的內(nèi)臟器官投射到他們的皮膚上。
軍事:使用AR眼鏡向士兵展示戰(zhàn)場中出現(xiàn)的人和物體,并附上相關(guān)信息,以幫助士兵避開潛在的危險。
導航:將道路和街道的名字跟其他相關(guān)信息一起標記到現(xiàn)實地圖中,或者在擋風玻璃上顯示目的地方向、天氣、地形、路況、交通信息,提示潛在危險。
體育:顯示橄欖球場的得分線、高爾夫球的飛行路線和冰球移動的軌跡。
電視:在天氣預報中顯示天氣視覺效果和圖像。
全球首份AR報告第二章:AR的工作原理
以下為AR報告第二章:AR的工作原理
AR介于VR和真實世界之間,VR創(chuàng)造逼真的虛擬世界,AR則將圖形、聲音、觸感和氣味添加到真實的世界中。
在介紹AR的工作原理之前,我們先通過一個例子,讓大家有一個簡單的認識。
在2009年2月的TED大會上,帕蒂•梅斯(Pattie Maes)和普拉納夫•米斯特萊(Pranav Mistry)展示了他們研發(fā)的AR系統(tǒng)。該系統(tǒng)屬于麻省理工學院媒體實驗室流體界面小組的研究成果之,他們稱之為SixthSense(第六感)。它依靠眾多AR系統(tǒng)中常見的一些基本元件來工作:攝像頭、小型投影儀、智能手機和鏡子。
這些元件通過一根類似繩索的儀器串連起來,然后戴在佩戴者的脖子上。用戶還會在手指上戴上四個不同顏色的特殊指套,這些指套可以用來操縱投影儀投射的圖像。
SixthSense設(shè)備利用簡單的、現(xiàn)成的元件來組成AR系統(tǒng),它的投影儀可以將任何平面變成一個互動的顯示屏。SixthSense設(shè)備利用攝像頭和鏡子來捕捉周圍的環(huán)境,然后將這種圖片傳給手機(手機處理這種圖片,獲得GPS坐標以及從互聯(lián)網(wǎng)上搜索相關(guān)信息),然后將這些信息從投影儀投射到用戶面前的任何平面上,不管這種平面是一個手腕,一面墻,還是一個人。由于用戶將攝像頭佩戴在胸前,因此SixthSense設(shè)備能夠增強他所看到的一切。例如,如果他在一個雜貨店里挑選了一罐湯,SixthSense設(shè)備將能夠搜索這罐湯的相關(guān)信息,例如成分、價格和營養(yǎng)價值甚或用戶評論,然后將它們投射到平面上。
利用手指上的指套,用戶可以在投射的信息上執(zhí)行各種操作,這些操作將會被攝像頭捕捉到,然后通過手機來處理。如果他希望了解這罐湯的更多信息,例如與之競爭的同類產(chǎn)品,那么他可以用手指與投射畫面進行互動,從而獲取更多的信息。SixthSense設(shè)備還能夠識別一些復雜的手勢,例如你在手腕上畫一個圓圈,SixthSense設(shè)備就能夠投射一款手表來顯示當前的時間。
AR的系統(tǒng)結(jié)構(gòu)
一個典型的AR系統(tǒng)結(jié)構(gòu)
一個典型的AR系統(tǒng)結(jié)構(gòu)由虛擬場景生成單元、透射式頭盔顯示器、頭部跟蹤設(shè)備和交互設(shè)備構(gòu)成。其中虛擬場景生成單元負責虛擬場景的建模、管理、繪制和其它外設(shè)的管理;透射式頭盔顯示器負責顯示虛擬和現(xiàn)實融合后的信號;頭部跟蹤設(shè)備跟蹤用戶視線變化;交互設(shè)備用于實現(xiàn)感官信號及環(huán)境控制操作信號的輸入輸出。
首先透射式頭盔顯示器采集真實場景的視頻或者圖像,傳入后臺的處理單元對其進行分析和重構(gòu),并結(jié)合頭部跟蹤設(shè)備的數(shù)據(jù)來分析虛擬場景和真實場景的相對位置,實現(xiàn)坐標系的對齊并進行虛擬場景的融合計算;交互設(shè)備采集外部控制信號,實現(xiàn)對虛實結(jié)合場景的交互操作。系統(tǒng)融合后的信息會實時地顯示在頭盔顯示器中,展現(xiàn)在人的視野中。
AR的關(guān)鍵技術(shù)
目前AR技術(shù)的技術(shù)難點在于:精確場景的理解、重構(gòu)和高清晰度、大視場的顯示技術(shù)。
1、對現(xiàn)實場景的理解和重構(gòu)
在增強現(xiàn)實系統(tǒng)中,首先要解決“是什么”的問題,也就是要理解、知道場景中存在什么樣的對象和目標。第二要解決“在哪里”的問題,也就是要對場景結(jié)構(gòu)進行分析,實現(xiàn)跟蹤定位和場景重構(gòu)。
物體的檢測和識別技術(shù)
物體檢測和識別的目的是發(fā)現(xiàn)并找到場景中的目標,這是場景理解中的關(guān)鍵一環(huán)。廣義的物體檢測和識別技術(shù)是基于圖像的基本信息(各類型特征)和先驗知識模型(物體信息表示),通過相關(guān)的算法實現(xiàn)對場景內(nèi)容分析的過程。在增強現(xiàn)實領(lǐng)域,常見的檢測和識別任務(wù)有,人臉檢測、行人檢測、車輛檢測、手勢識別、生物識別、情感識別、自然場景識別等。
目前,通用的物體檢測和識別技術(shù),根據(jù)不同的思路可以分為兩種:一種是從分類和檢測的角度出發(fā),通過機器學習算法訓練得到某一類對象的一般性特征,從而生成數(shù)據(jù)模型。這種方法檢測或者識別出的目標不是某一個具體的個體,而是一類對象,如汽車、人臉、植物等。這種識別由于是語義上的檢測和識別,所以并不存在精確的幾何關(guān)系,也更適用于強調(diào)增強輔助信息,不強調(diào)位置的應(yīng)用場景中。如檢測人臉后顯示年齡、性別等。另外一種識別是從圖像匹配的角度出發(fā),數(shù)據(jù)庫中保存了圖像的特征以及對應(yīng)的標注信息,在實際使用過程中,通過圖像匹配的方法找到最相關(guān)的圖像,從而定位環(huán)境中的目標,進一步得到識別圖像和目標圖像的精確位置,這種識別適用于需要對環(huán)境進行精確跟蹤的應(yīng)用場景。
就現(xiàn)階段而言,識別檢測技術(shù)的難點之一是技術(shù)的碎片化。這一方面是由于每一類對象都會有其獨有的特征,而不同特征的提取和處理都需要實現(xiàn)一一對應(yīng),這對識別檢測是一個巨大的挑戰(zhàn)。另一方面,圖像本身還受到噪聲、尺度、旋轉(zhuǎn)、光照、姿態(tài)等因素的影響。近幾年來,隨著深度學習技術(shù)的不斷成熟,檢測和識別方法也越來越統(tǒng)一,而性能也在不斷提高中。
跟蹤定位技術(shù)
跟蹤技術(shù)的方法可以分為基于硬件和基于視覺兩大類;谟布O(shè)備的三維跟蹤定位方法在實現(xiàn)跟蹤定位的過程中使用了一些特殊的測量儀器或設(shè)備。常用的設(shè)備包括機械式跟蹤器、電磁式跟蹤器、超聲波跟蹤器、慣性跟蹤器以及光學跟蹤等。光學跟蹤和慣性跟蹤是比較常用的兩種硬件跟蹤方式,HTC Vive就是采用了光學跟蹤和慣性跟蹤兩種硬件來定位頭部的位置。使用硬件設(shè)備構(gòu)成的跟蹤系統(tǒng)大多是開環(huán)系統(tǒng),跟蹤精確取決于硬件設(shè)備自身的性能,其算法的擴展性要差一些,且成本相對較高。
視覺跟蹤方法具備更強的擴展性,其系統(tǒng)多為閉環(huán)系統(tǒng),更依賴于優(yōu)化算法來解決跟蹤精度問題。相比于上述基于硬件設(shè)備的跟蹤方法,計算機視覺跟蹤方法提供了一種非接觸式的、精確的、低成本的解決方法,但是基于視覺的方法受限于圖像本身,噪聲、尺度、旋轉(zhuǎn)、光照、姿態(tài)變化等因素都會對跟蹤精度造成較大的影響,因此更好地處理這些影響因素,研發(fā)魯棒性強的算法就成為下一步AR技術(shù)的研究重點。
根據(jù)數(shù)據(jù)的生成方式,視覺跟蹤技術(shù)的算法可以分為兩種,一種是基于模板匹配的方式,預先對需要跟蹤的target進行訓練,在跟蹤階段通過不斷的跟預存訓練數(shù)據(jù)進行比對解算當前的位姿。這類方法的好處是速度較快、數(shù)據(jù)量小、系統(tǒng)簡單,適用于一些特定的場景,但不適用于大范圍的場景。
另外一種是SLAM方法,也就是即時定位和地圖構(gòu)建技術(shù)。這類技術(shù)不需要預存場景信息,而是在運行階段完成對于場景的構(gòu)建以及跟蹤。其優(yōu)點是不需要預存場景,可以跟蹤較大范圍,適用面廣,在跟蹤的同時也可以完成對于場景結(jié)構(gòu)的重建。但目前這類技術(shù)計算速度慢、數(shù)據(jù)量大、算法復雜度高,對于系統(tǒng)的要求也較高。Hololens和Magic Leap的宣傳視頻中都展現(xiàn)了這方面技術(shù),而亮風臺對相應(yīng)的技術(shù)也在研發(fā)當中。
SLAM跟蹤技術(shù)
為了彌補不同跟蹤技術(shù)的缺點,許多研究者采用硬件和視覺混合跟蹤的方法來取長補短,以滿足增強現(xiàn)實系統(tǒng)高精度跟蹤定位的要求。
2、增強現(xiàn)實的顯示技術(shù)
透射式頭盔顯示器
透射式頭盔顯示器 Hololens
目前大多數(shù)的AR系統(tǒng)采用透視式頭盔顯示器實現(xiàn)虛擬環(huán)境與真實環(huán)境的融合。根據(jù)真實環(huán)境的表現(xiàn)形式劃分,主要有視頻透視式頭盔顯示器和光學透視式頭盔顯示器兩種形式。
視頻透視式頭盔顯示器通過安裝在頭盔上的微型攝像頭獲取外部真實環(huán)境的圖像,也就是通過攝像頭來采集真實場景的圖像進行傳遞。計算機通過場景理解和分析將所要添加的信息和圖像信號疊加在攝像機的視頻信號上,將計算機生成的虛擬場景與真實場景進行融合,最后通過類似于浸沒式頭盔顯示器的顯示系統(tǒng)呈現(xiàn)給用戶。
雖然視頻透射式頭盔在顯示上不受強光的干擾,具有比較大的視場,但由于真實環(huán)境的數(shù)據(jù)來自于攝像頭,因此會造成顯示分辨率較低的不利因素。另一方面,一旦攝像機與用戶視點不能保持完全重合,用戶看到的視頻景象與真實景象將會存在偏差,因此會造成在某些領(lǐng)域(特別是工業(yè)、軍事等領(lǐng)域)出現(xiàn)一些安全隱患。
光學原理的透視式頭盔顯示器的基本原理則是通過安裝在眼前的一對半反半透鏡融合呈現(xiàn)出真實場景和虛擬場景。與視頻透射式不同的是,光學透視式的“實”來自于真實的光源,經(jīng)過透視光學系統(tǒng)直接進入眼睛,計算機生成的“虛”則經(jīng)過光學系統(tǒng)放大后反射進入眼睛,最后兩部分信息匯聚到視網(wǎng)膜上從而形成虛實融合的成像效果。
光學透視式頭盔相對來說結(jié)構(gòu)簡單,分辨率更高,因其能夠直接看到外部,真實感和安全性也更強。其缺點是,在室外強光條件下顯示效果會受影響。目前Hololens以及亮風臺的HiAR Glasses都采用了光學透射式的成像方案。
不難看出,兩種方案各有優(yōu)缺點,如何選擇最優(yōu)方案,目前來看,還應(yīng)基于實際應(yīng)用場景來進行判斷。
由于光學透射式頭盔跟實際場景結(jié)合更緊密,真實感更強,大多數(shù)廠家會選擇這種方案。對于透射式頭盔顯示器來說,單純的強調(diào)厚薄或者視場大小并沒有任何實際意義。這是由于厚度和視場是矛盾的,要做得較薄,方便用戶使用佩戴,視場就必然變小;想要擁有大視場,則其厚度就必然增大,設(shè)備就目前來說也會顯得比較笨重,不易佩戴。因此在目前技術(shù)依舊存在障礙的情況下,大家都會采取一些折中的方案。
數(shù)字光場顯示
隨著Magic Leap的宣傳視頻,數(shù)字光場這個概念也變得廣為人知。這種不采用屏幕來做載體的顯示方式,通過記錄并復現(xiàn)光場來完成虛擬物體的顯示。通過呈現(xiàn)不同深度的圖像,使用戶在觀察近景或遠景時,可以實現(xiàn)主動的對焦,這也是光場顯示的一大優(yōu)點。
同樣,光場顯示也有不同的顯示方案,一種方案是采用多層的顯示器,如光場立體鏡。如Magic Leap采用的是光導纖維投影儀。這套方案的優(yōu)勢是可以做到很大的視場角,顯示更加符合人的真實感受。但這一方案同時也具有比較大的挑戰(zhàn)性,光場的顯示需要比較大的計算量,并且需要有相應(yīng)的手段記錄或者生成想要疊加的虛擬對象相應(yīng)位置的光源信息,同時還要精細地控制投影的內(nèi)容和位置,目前這些技術(shù)還都處于研究階段。
盡管存在比較多的挑戰(zhàn),光場顯示技術(shù)仍舊是非常值得期待的一種成像方式。
全球首份AR報告第三章:布局
以下為AR報告第三章:布局
從目前來看,絕大多數(shù)巨頭和創(chuàng)業(yè)公司更愿意選擇在VR領(lǐng)域開疆拓土,但這并不意味著AR無人問津。
蘋果
種種跡象顯示,蘋果可能和微軟一樣瞄準了AR領(lǐng)域,并非時下最熱的VR。
蘋果已經(jīng)在AR領(lǐng)域進行過一些并購交易。2015年5月,蘋果收購了一家名為Metaio的德國AR公司。該公司主要開發(fā)基于智能手機的AR應(yīng)用軟件,比如其曾經(jīng)開發(fā)一款讓家具視覺化呈現(xiàn)的工具。該公司被收購之后,實體被注銷,人員融入了蘋果的開發(fā)團隊。
2014年年底,蘋果收購了一家從事臉部視覺識別的公司——FaceShift,該公司的技術(shù)能夠利用攝像頭對用戶臉部圖像進行實時捕捉,甚至可以生成虛擬的頭像。
據(jù)悉,電影《星球大戰(zhàn):原力覺醒》的特效團隊曾經(jīng)使用了上述公司的技術(shù),讓外星人的臉部形象更加栩栩如生。
此外,蘋果還曾經(jīng)收購了以色列的硬件公司PrimeSense,該公司主要為微軟的Xbox游戲機制造Kinect動感捕捉攝像頭。
該公司具備了先進的手勢動作識別技術(shù)。在AR領(lǐng)域,用戶一般不會使用手持控制器,因此識別手部動作十分重要,這一技術(shù)也能夠用于AR頭盔中。
除了各種并購之外,蘋果也儲備了一些和AR有關(guān)的技術(shù)專利。這些專利并不意味著蘋果一定會開發(fā)某種技術(shù)或者硬件,但是可能披露了蘋果未來產(chǎn)品開發(fā)的某些思路。
2015年2月,蘋果獲得一個技術(shù)專利,主要用于讓智能手機連接AR和VR頭盔。專利描述文字和谷歌、微軟、三星電子和Facebook近些年推出過的產(chǎn)品十分相似。
不過迄今為止,蘋果從未對外宣布過開發(fā)AR硬件、軟件等產(chǎn)品的計劃。蘋果向來并不喜歡做新技術(shù)的第一批嘗鮮者,而是善于在市面已有的產(chǎn)品門類中拿出用戶體驗十分優(yōu)秀的產(chǎn)品,依靠蘋果的品牌力大規(guī)模占領(lǐng)市場。因此在AR領(lǐng)域,蘋果也會選擇一個相對成熟的時機再進入市場。
微軟
微軟應(yīng)該算是布局AR比較超前的巨頭公司,其在2015年就推出了AR頭盔HoloLens,開發(fā)者版已經(jīng)開啟預訂,售價為3000美元。
我們之所以能夠看到物體,是因為光線被這些物體反彈,最后射入我們的眼中。而我們的大腦需要對這些光進行復雜運算,最后重現(xiàn)你眼睛所看到物體的圖像。HoloLens實際上就是欺騙大腦,將光線以全息圖的方式發(fā)射到你眼睛中,就好像物體真的存在于現(xiàn)實世界中一樣。
就像下面這幅圖,HoloLens可以將屏幕投射到墻上。當用戶四處走動時,屏幕依然會留在原地,就好像那是一面真實存在的鏡子。HoloLens可在正確角度向你的眼中發(fā)射光線,讓你覺得屏幕真的出現(xiàn)在墻上。
HoloLens本身就是一臺獨立電腦,擁有自己的CPU和GPU,以及微軟所謂的全息處理單元,負責支持創(chuàng)造全息圖必須的全部必要計算。
在消費者方面,HoloLens擁有巨大潛力,你可能再無需購買60英寸電視,HoloLens允許用戶將電視屏幕發(fā)射到墻上,屏幕大小可隨意調(diào)節(jié)。如果未來版的HoloLens足夠緊湊,你可以想象到有人邊開車邊接受導航,但司機的實現(xiàn)不再局限于屏幕上,而是可看到前方道路的全息圖。當然,游戲可能是HoloLens的重要賣點。
在企業(yè)方面,HoloLens最明顯的應(yīng)用就是實現(xiàn)3D模型或設(shè)計的可視化。HoloLens也可被用于視頻會議等場合。此外,它的另一個用途可能是支持在線零售店,允許HoloLens用戶看到其產(chǎn)品全息圖。在你購買家具前,你就可以看到家具被擺放在室內(nèi)的虛擬圖。
由于HoloLens運行Windows 10操作系統(tǒng),通用應(yīng)用將可在其上順利運行。這些應(yīng)用將被投射到用戶面前,可被便捷操作。對于微軟來說,吸引開發(fā)者非常重要,因為這款設(shè)備最吸引人的應(yīng)用可能還未出現(xiàn)。盡管HoloLens的硬件設(shè)施令人印象深刻,但其依然需要好的應(yīng)用為消費者和企業(yè)提供最好的服務(wù)。
微軟手中可能正握著一款革命性產(chǎn)品。在錯失了移動大潮之后,微軟將復興的希望押在HoloLens身上,盡管在HoloLens成為大眾設(shè)備前,它可能需要數(shù)次迭代,但對于微軟來說,這將是改變游戲規(guī)則的良機。
谷歌
谷歌當前在VR領(lǐng)域比較活躍,如推出硬件產(chǎn)品 Cardboard頭盔,YouTube上線360度全景視頻功能,還提供Tilt Brush、Jump和Assembler等VR小應(yīng)用,方便幫助開發(fā)者創(chuàng)新新的VR體驗,但這并不意味著谷歌放棄了AR市場。
谷歌和聯(lián)想合作,推出Project Tango項目。該項目旨在賦予智能手機3D繪圖和創(chuàng)造AR體驗的能力。Tango智能手機將于今年年終發(fā)貨,相當于是一個完整功能的AR設(shè)備。
除了自身開發(fā)AR項目,谷歌還投資了AR創(chuàng)業(yè)公司Magic Leap。Magic Leap專注于AR技術(shù)的研發(fā),其最終產(chǎn)品很可能是一款頭盔,可將電腦生成的圖像投射到人眼上,最終在現(xiàn)實圖像上疊加一個虛擬圖像。有關(guān)Magic Leap的情況,將在下文進行詳細說明。
Magic Leap
Magic Leap算是知名度很高的AR創(chuàng)業(yè)公司。今年2月,Magic Leap在新一輪融資中獲得7.935億美元的投資,阿里、谷歌都參與了本輪融資。據(jù)估測, Magic Leap的估值至少達到45億美元,這比兩年前Facebook收購Oculus的價格高出了兩倍。
Magic Leap研發(fā)的技術(shù)依然處于半透明狀態(tài),沒有任何產(chǎn)品出現(xiàn),我們目前只知道它主要研發(fā)方向就是將三維圖像投射到人的視野中。
Magic Leap CEO魯尼• 阿伯維茲曾公開表達過自己公司的定位:“你可以將我們看作是科技生物學(Techno-biology),我們認為它是計算機的未來!
具體來說,Magic Leap制作圖像的方法與人眼的工作方式相同。Magic Leap利用彎曲的光場制作圖像,而不像其他平臺那樣利用立體圖像欺騙眼球。利用其他3D圖像投影方式,如果用戶閉上一只眼睛,3D圖像就會消失。在現(xiàn)實生活中,用戶即使閉上一只眼睛,依然能夠看到3D圖像。Magic Leap便采用這種更為實用的圖像制作方式。
全球首份AR報告第四章:AR市場潛力
以下為AR報告第四章:AR市場潛力
盡管過去一年里媒體開始大肆報道AR技術(shù),我們目前了解到的大部分AR解決方案仍處于開發(fā)之中。只有少數(shù)硬件解決方案得到了大規(guī)模生產(chǎn)并能夠買到。
2011年,全球AR營收僅為1.81億美元,而且當時AR往往被人們視作一種營銷噱頭:一種還在摸索實用應(yīng)用的技術(shù)。很少有人認識到AR的潛力,開發(fā)相關(guān)應(yīng)用大多也是用來快速打響名聲,或者這些應(yīng)用的價值僅限于添加視頻效果這樣的博眼球之舉而已。
然而最新預測指出,到2017年,AR市場將增長至52億美元,年增長率竟逼近100%。隨著大量資金注入AR項目及AR創(chuàng)業(yè)公司,尤其是隨著谷歌、佳能、高通、微軟等大公司的入場,我們已經(jīng)看到第一批消費級AR產(chǎn)品的涌現(xiàn)。隨著實際商業(yè)利益的出現(xiàn), AR將成為消費、醫(yī)療、移動、汽車以及制造市場中的“下一件大事”。
AR比VR更具增長潛力
市場調(diào)研公司Digi-Capital給出的一組數(shù)據(jù)很值得研究:到2020年,AR的市場規(guī)模將達到1200億美元,遠高于VR的300億美元。
VR對于游戲與3D電影來說是一項非常棒的技術(shù),甚至可以說這項技術(shù)可謂是專門為此而設(shè)計的。但這項技術(shù)的體驗主要是在客廳、辦公室或者座位上展開的,因為如果你戴著一個完全封閉的頭戴式顯示器走在路上,隨時都可能撞到路邊的東西。
雖然AR技術(shù)應(yīng)用在游戲也非常有趣,但在需要真正沉浸式體驗的時候,其所帶來的樂趣或許不如VR技術(shù)那么多,這就像是移動游戲與主機游戲之間的差距。但是,AR技術(shù)在游戲玩家眼中的這個缺點,恰恰是讓它可以同智能手機一樣,在數(shù)以億計用戶的現(xiàn)實生活中發(fā)揮重要作用的優(yōu)勢。人們可以戴著它四處活動,做任何事情。
AR的軟件與服務(wù)擁有可與如今的移動市場相媲美的經(jīng)濟效應(yīng),它們都可以利用現(xiàn)有的其他產(chǎn)品的市場,并不斷擴張它們。AR龐大的用戶基礎(chǔ)將會成為電視電影、廣告以及Facebook的用戶應(yīng)用程序甚至《部落沖突》等游戲的主要收入來源。
換句話說,AR技術(shù)有可能觸及到更多的人,因為它是對人們?nèi)粘I畹臒o縫補充,而不是像VR那樣在現(xiàn)實世界之外營造出一個完全虛擬的世界。
《增強現(xiàn)實:指向增強現(xiàn)實的一種新技術(shù)》一書的作者格里格·基佩爾(Greg Kipper)在書中寫到:“增強現(xiàn)實將具備更多的實際應(yīng)用價值,因為在現(xiàn)實中,與真實世界中的事物互動的人更多一些!
在增強現(xiàn)實技術(shù)的幫助下,人們通過專用頭盔看見的三維全息圖像可以為真實世界提供一種有益的補充。當你走過一個雜貨店的走道,你也許會在眼前的虛擬屏幕上看到制作意大利飯所需的食材和配料清單。又或者,當你在閱讀一本有關(guān)天文學的書籍時,你周圍可能會出現(xiàn)一幅太陽系的圖像。
但是戴上虛擬現(xiàn)實頭盔之后,你與周遭世界的聯(lián)系就被人為隔斷了。你被投影到一個不同的世界中,就像恐龍沖過一片叢林,或者像站在一幢100層的摩天大樓的樓頂上俯瞰著腳下的大街一樣。這跟主題樂園的游歷過程有些相似,就連虛擬現(xiàn)實頭盔戴久了會讓你感到惡心或者頭暈也跟你在主題樂園中呆久了的感覺很相似。
Meta是硅谷的一家小公司,員工人數(shù)大約為100人。按計劃它將在今年夏天交付第二代AR頭盔,它的頭盔是作為開發(fā)者工具套裝的一部分出售的,整個套裝售價949美元,主要用來幫助開發(fā)商為新頭盔設(shè)計出更多的三維、互動應(yīng)用。
Meta CEO梅隆·格里貝茨預計,有朝一日,人們再也不用一邊在笨拙的鍵盤上敲敲打打,一邊緊盯著顯示屏的屏幕,人們可以在漂浮在眼前的全息圖像之間隨意切換和瀏覽,只需用手碰一碰就可以完成各種操作。當然還有虛擬鍵盤,人們可以利用它輸入數(shù)據(jù)。
人們可以進入他們的全息影像屏幕,提取出人的解剖圖,然后剔除骨骼進行研究。人們也可以通過透視去檢查自己打算購買的鞋子的內(nèi)部做工。到那個時候,打電話將會變成一種很奇怪的行為,因為所有人都可以在全息影像中進行對話。
格里貝茨說:“VR很酷,但它只是通向增強現(xiàn)實的一塊墊腳石。我們將開發(fā)出比Mac電腦好用一百倍且強大一百倍的產(chǎn)品!
全球首份AR報告第五章:AR面臨的挑戰(zhàn)
以下為AR報告第五章:AR面臨的挑戰(zhàn)
對于AR而言,解決注冊任務(wù)是最核心的問題。注冊對精度的要求極為嚴格:由于AR應(yīng)以實時、六個自由度的形式將虛擬信息和現(xiàn)實信息相融合,即便是輕微的注冊失準都會造成組合視圖難以容忍的失真。因此,移動AR存在兩大難點:注冊必須極為精準,注冊對計算能力和內(nèi)存的利用必須極為高效。
這個問題是AR面向大眾部署所面臨的終極挑戰(zhàn)。我們斷言,目前大部分已知的注冊任務(wù)解決方案其實并不適用于智能手機——盡管看上去能用。因此,所有的AR研究人員都應(yīng)該為智能手機AR的大空間應(yīng)用問題開發(fā)專門的解決方案。
智能手機是AR大眾市場最具前景的平臺。智能手機生態(tài)系統(tǒng)為面向大眾部署AR的純軟件解決方案提供了一切要素。然而不應(yīng)忽視的是,盡管技術(shù)和邏輯取得了種種進步,但是AR應(yīng)用在智能手機上的大規(guī)模部署仍然存在著下列重大障礙:
1、相機質(zhì)量與成像處理。智能手機通常配備的相機傳感器在弱光條件下表現(xiàn)糟糕:圖像模糊,開始出現(xiàn)明顯色差。相機傳感器硬件通常禁止低層級訪問。API只提供了相機傳感器的高層級訪問,無法控制曝光、光圈及焦距。小型CCD傳感器導致相機采樣噪點增加,進而嚴重影響后續(xù)CV算法的發(fā)揮。圖像獲取過程中的質(zhì)量損失很難通過后期處理步驟補償。
2、電量消耗。電池電量近年來并沒有顯著提升。相機傳感器在以高幀率持續(xù)運行時耗電量很大,其主要原因是目前手機的設(shè)計用途仍然是拍照,而不是攝影。另外,傳感器和網(wǎng)絡(luò)接口也是耗電大戶。運行功能強大的AR應(yīng)用會讓電池迅速耗干。因此,AR應(yīng)用必須只能設(shè)計成供短時間使用,而不是一種“常開”功能。
3、網(wǎng)絡(luò)依賴性。遠程訪問大量數(shù)據(jù)受到幾個因素的影響。首先,網(wǎng)絡(luò)延遲會導致令人不爽的延遲,拖累AR應(yīng)用的瞬時表現(xiàn)。其次,訪問遠程數(shù)據(jù)僅在開了流量套餐時才有可能做到,而流量套餐可能過于昂貴或者無法開通。最后,某些地區(qū)的網(wǎng)絡(luò)覆蓋可能不滿足條件。于是完全獨立的AR應(yīng)用成為了唯一的可行選擇,這就意味著需要在設(shè)備上占用大量的存儲空間。
4、可視化與交互的可能性。智能手機的外形因素在購買決策中發(fā)揮著重要作用。實際上,可接受最大設(shè)備的尺寸嚴格制約了顯示屏的大小。交互技術(shù)同樣存在著類似的限制。多點觸控界面或許是最為先進的交互機制,但它在某些特定任務(wù)——如像素級的選取上表現(xiàn)糟糕。
理論上講,針對AR改進未來智能手機需從哪些方面入手已是眾所周知。在實踐中,AR應(yīng)用的開發(fā)者卻要看硬件廠商和服務(wù)供應(yīng)商的臉色,后者做出硬件發(fā)展決策的依據(jù)是市場預測,而其中可能不含對AR的需求。不過,硬件總體是朝著正確的方向發(fā)展的,尤其在移動游戲或移動導航系統(tǒng)的驅(qū)動下——而這兩者與AR在技術(shù)需求方面存在許多共通之處。此外,研究人員意識到目前相機控制方面存在限制,更好的相機API也會因此誕生,比如Frankencamera項目。
盡管平板電腦作為一種流行移動平臺也在不斷壯大,但它屬于放大版的智能手機平臺。由于尺寸放大,可視化與交互的限制有了些許放松,但這些設(shè)備的尺寸和重量同時也制約著它們在AR領(lǐng)域的應(yīng)用,原因是拿起來更加累人(比如說,把設(shè)備舉起來較長時間可能需要兩只手,反過來制約了交互的可能性)。除此之外,目前的平板電腦存在著與智能手機相同的問題。對于不同的AR應(yīng)用而言,智能手機和平板電腦可能前者更適合,也可能后者更適合。
計算機視覺面臨的挑戰(zhàn)
智能手機的一大優(yōu)勢在于,定位不必單單依賴于相機傳感器,也可以利用其它任意可用的傳感器,如GPS,指南針,加速度計和陀螺儀。盡管其它傳感器的使用在核心CV社區(qū)中往往被視為“作弊”,但這些傳感器能夠?qū)﹂_發(fā)實驗室外快速、健壯的定位功能做出重大貢獻。即便在結(jié)合了多種傳感器的幫助下,基于CV的定位仍然非常困難,一系列原因列舉如下:
紋理結(jié)構(gòu)。大多數(shù)方法依賴于興趣點外形上的自然特征,要求環(huán)境中各區(qū)域紋理足夠清晰。興趣點的主要問題在于,紋理的呈現(xiàn)形式至關(guān)重要。尤其在室內(nèi)場景中,常常會有白墻出現(xiàn),使得基于自然特征的定位方法很難發(fā)揮作用。
光照和天氣條件。盡管自然特征描述器通常被設(shè)計為不受光照影響,但這一假設(shè)只有在描述實際物理特征的觀測研究中成立。不幸的是,室外環(huán)境中大量以自然畫面呈現(xiàn)的特征與實際物理特征并不相關(guān)。場景中物體投射的陰影會造成斑點、邊角、線條的出現(xiàn),還會隨著光照或天氣條件變化而動態(tài)移動。因此,存在著大量的會對定位質(zhì)量產(chǎn)生嚴重影響的異常因素和不匹配因素,這與匹配算法的選擇并無關(guān)系。
數(shù)據(jù)庫規(guī)模大、易變化。對于室外環(huán)境而言,在定位之前必須采集大量數(shù)據(jù)并處理生成初始模型。利用昂貴設(shè)備的實時方法能夠處理這一問題:然而,無法訪問的區(qū)域仍然會造成最終模型中的孔洞(即未能構(gòu)建地圖的區(qū)域)。此外,得到的模型僅代表某個時間點的靜態(tài)快照。環(huán)境中的任何變動,如商店櫥窗的翻新,咖啡店遮陽傘的開閉,停車場汽車的去留,都會讓數(shù)據(jù)采集生成的模型瞬間過時。另一個重要方面是通信通道(可能是移動網(wǎng)絡(luò))中最終模型的分發(fā)方式。由于這些模型通常體積頗大,整體還是拆分傳輸都會帶來技術(shù)難題。
失準及丟失的傳感信息。在室外定位中,GPS和指南針提供了關(guān)于設(shè)備大致位置和方向的極具價值的絕對信息。不幸的是,傳感器并不健壯:在不同的地點,傳感信息的準確度可能會有天壤之別。尤其是在狹窄的城市峽谷里,GPS信息可能會偏差100米,甚至會不可用。類似的是,磁干擾會嚴重影響電子指南針的讀數(shù),而磁干擾在人造環(huán)境中是不可避免的。
精準定位是AR亟待解決的最為重要的任務(wù)。但正如上面所述,仍然存在著一些重大挑戰(zhàn),仍需針對這些挑戰(zhàn)尋找真正切實有效的解決方案。近來平板電腦AR的SLAM實施證明,如果上述條件(即紋理結(jié)構(gòu)清晰)達到,就能充分實現(xiàn)小規(guī)模環(huán)境的定位注3。然而,大規(guī)模環(huán)境的定位僅存在于概念證明研究中。相關(guān)問題似乎難以攻克,因此只能等待技術(shù)的緩慢進步了。
其他挑戰(zhàn)
除了實現(xiàn)算法研究成果的精度和可擴展性這樣的學術(shù)目標外,還存在著一系列嚴重影響AR體驗實用性的實際問題。這些因素僅與AR的實際應(yīng)用相關(guān),因此在科學文獻中討論較少。這或許會造成“這些問題不難解決或者與AR的成功不相關(guān)”的錯誤認識。下面列舉了一些與智能手機有關(guān)、同時也與AR一般用途有關(guān)的問題:
實際的硬件發(fā)展與“AR心愿清單”的矛盾:目前智能手機中相機及其它傳感器的質(zhì)量不足以滿足AR的高要求。硬件進步——如立體相機,CPU/GPU的統(tǒng)一隨機尋址,WiFi三角定位——能夠讓AR應(yīng)用的開發(fā)者極大受益。不幸的是,在AR尚未氣候成熟時,期待手機會針對AR優(yōu)化純屬幻想。硬件配置的任何變動會增加數(shù)百萬美元的開發(fā)成本,倘若之后無法滿足市場預期,搭上的錢還會更多。目前,消費者購買手機主要是為了語音通訊,游戲和網(wǎng)頁瀏覽。這些市場將會驅(qū)動近期到中期的手機功能革新。我們必須說服設(shè)備廠家AR是手機應(yīng)用的新興市場,這樣才能為AR爭取到更先進的硬件。幸運的是,如今AR的關(guān)注度已成規(guī)模,因此不久的將來,手機針對AR的優(yōu)化或?qū)⒊蔀楝F(xiàn)實。
動態(tài)場景與AR真實感的矛盾。目前的AR應(yīng)用假設(shè)場景中的一切事物都是靜態(tài)的。然而,現(xiàn)實恰好與之相反。尤其在室外場景中,幾乎所有物體都在變化:行人,光照和天氣條件,甚至是建筑物每隔幾年也會刷上新的顏色。定位會因此受到嚴重影響。在動態(tài)場景中,大多數(shù)算法的基本假設(shè)從一開始就是錯誤的。比如說你正在對一個建筑立面進行增強,行人路過擋住了部分視野。由于算法缺少阻擋推理,就算增強內(nèi)容的視覺效果再好,未來硬件平臺的性能再強大,也會出現(xiàn)礙眼的錯誤。動態(tài)物體與虛擬內(nèi)容之間交互的缺失絕對會損害AR應(yīng)用的真實感。因此,目前CV研究成果中物體動態(tài)檢測與跟蹤技術(shù)的加入是未來實現(xiàn)高質(zhì)量AR的關(guān)鍵。
內(nèi)容創(chuàng)作與注冊的矛盾:AR之所以讓人興奮,很大程度上源于終端用戶參與內(nèi)容創(chuàng)作的發(fā)展前景。個人內(nèi)容創(chuàng)作是促使用戶積極參與而非被動觀察的關(guān)鍵所在。然而,目前仍然沒有實現(xiàn)這一概念的基本機制。盡管手機的交互方法得到了極大改進,但在沒有精準全局環(huán)境模型的條件下,如何使用2D界面方便、精準地注冊6自由度內(nèi)容,這個問題仍未得到解答。就拿增強建筑物里面的一扇窗戶舉例,目前的方法甚至都無法搞定簡單的標記任務(wù)。尚沒有在開放空間內(nèi)輸入任意3D位置的機制,更別說明確指出方向了。目前決定標簽的做法通常利用的是用戶(不精準的)GPS位置,而不是興趣物體本身。對于終端用戶創(chuàng)作真實、理想的內(nèi)容而言,在用戶附近對任意位置進行精準注冊一定要簡單而健壯——然而,這又是一個超出CV基本范疇的研究難題。
全球首份AR報告第六章:順應(yīng)AR潮流
以下為AR報告第六章:順應(yīng)AR潮流
近些年,AR引起了市場營銷人員的注意,因為它可能改變消費者的購物體驗,例如尋找新產(chǎn)品以及決定購買哪個產(chǎn)品。AR技術(shù)可以通過HoloLens 或谷歌眼鏡或通過智能手機上的攝像頭來將虛擬的元素(例如信息和圖片)疊加在真實的物理環(huán)境之上。
但是,要發(fā)揮AR的潛力,公司應(yīng)該克制草率開發(fā)AR應(yīng)用程序的沖動,而把注意力放到深入理解消費者與AR技術(shù)互動的方式上來。設(shè)計和執(zhí)行有價值的AR應(yīng)用程序必須遵守以下幾點:
深入理解消費者如何使用AR技術(shù);
加強電腦專家、設(shè)計師和市場營銷人員之間的合作;
在消費者現(xiàn)有購物體驗中整合AR應(yīng)用程序。
AR技術(shù)的獨特性
首先,任何公司必須理解AR技術(shù)與其他數(shù)字技術(shù)的區(qū)別。雖然它們在某些方面很相似(例如,它們的應(yīng)用程序都可以在智能手機上使用,內(nèi)容由文字或圖片組成以及應(yīng)用程序通常具有很強的互動性),但是AR技術(shù)也有自己內(nèi)在的獨特性:它能夠?qū)⑻摂M內(nèi)容疊加在真實的物理環(huán)境中,并讓這兩者實現(xiàn)實時互動。
曾有一項實驗來調(diào)查AR如何影響消費者的反應(yīng)。這個實驗總共有60個受試者參加,在這個實驗中,受試者需要尋找他們喜愛的太陽鏡或家具,他們要么通過(宜家家居或雷朋眼鏡)AR應(yīng)用程序來查找,要么通過那些可以搜索產(chǎn)品但無AR功能的應(yīng)用程序來查找。實驗結(jié)果發(fā)現(xiàn),當受試者發(fā)現(xiàn)現(xiàn)實環(huán)境被實時增強時(例如,看到太陽鏡模擬戴在他們臉上的樣子,或看到一把椅子擺在虛擬辦公室中的情景),他們就會產(chǎn)生一種身臨其境的感覺。這種感覺比只看到網(wǎng)絡(luò)上的太陽鏡照片或家居照片要強烈得多。
這種增強現(xiàn)實體驗會讓消費者對AR應(yīng)用程序產(chǎn)生好感,并愿意再次使用這種應(yīng)用程序以及與別人談?wù)撨@種應(yīng)用程序。但是,這種好感似乎并不能延伸到產(chǎn)品或品牌上。
應(yīng)用AR的目的是讓消費者對產(chǎn)品產(chǎn)生好感
但是,另一項研究表明這種情況是可以改變的,只要巧妙地將AR應(yīng)用程序整合到消費者的實際購物體驗中,實驗使用的應(yīng)用程序可以讓消費者涂抹虛擬口紅或畫虛擬眼影。
在店里使用這種AR技術(shù)可以幫助消費者決定購買什么產(chǎn)品。大多數(shù)消費者覺得它很好玩,可以讓他們嘗試實際化妝難以達到的妝容效果。更為重要的是,當AR應(yīng)用程序整合進類似的虛擬零售店環(huán)境的時候,消費者不僅對這種AR技術(shù)產(chǎn)生了好感,而且對于產(chǎn)品也產(chǎn)生了好感,F(xiàn)在,他們更可能購買這些產(chǎn)品,并將AR應(yīng)用程序看做是購物的便利工具,而不僅僅是用來娛樂的工具。
另一項研究表明,當受試者頻繁在其手機上使用AR化妝應(yīng)用程序的時候,他們也會對AR技術(shù)和產(chǎn)品同時產(chǎn)生好感。他們認為,AR應(yīng)用程序不僅好玩,而且很方便用來購買化妝品。這種好感往往會促使他們購買他們試用過的化妝品。
總的說來,如果AR體驗是一次性的,那么它可能只會把消費者的注意力引向這種技術(shù)本身。但是,如果它能夠很好地整合到消費者的購物環(huán)境或購物過程中,那么它就能夠積極地影響消費者的購買行為。
值得指出的是,由于在實驗中售貨員邀請了消費者來使用AR設(shè)備,并教了他們?nèi)绾问褂盟,因此現(xiàn)在我們尚不清楚如果沒有售貨員的幫助消費者是否就會得到不一樣的體驗。
應(yīng)用AR的關(guān)鍵在于給消費者創(chuàng)造價值
市場營銷人員應(yīng)該記住,AR并沒有創(chuàng)造全新的虛擬現(xiàn)實;它只是在現(xiàn)實情境中添加了一些虛擬的元素。當這些虛擬的元素與實際環(huán)境完全契合和互動的時候,AR的神奇效果就出現(xiàn)了。與虛擬現(xiàn)實(例如Oculus Rift)讓你完全沉浸在不一樣的世界中不同,AR只會在特定情境的現(xiàn)實環(huán)境中添加必要的虛擬元素(最新的例子就是HoloLens的全息傳送功能)。這就是人們喜愛閱后即焚照片應(yīng)用Snapchat新推的AR功能的原因之一。它的AR功能可讓用戶利用不同視覺效果將普通的視頻轉(zhuǎn)變成可以分享的信息。
AR體驗的關(guān)鍵在于這種技術(shù)是否能夠給消費者創(chuàng)造價值。簡單地將虛擬的信息疊加在手機屏幕上并不能給它加分,而且這使得它看起來就像一個花哨無用的噱頭。掃描某品牌的商標,然后你的智能手機屏幕上就會彈出相關(guān)的廣告信息。這樣體驗在一開始可能會讓消費者覺得好玩,但很快會讓他們感到厭煩。同樣的,當你把手機攝像頭對準街道上的不同店面或商店里的不同產(chǎn)品時,AR應(yīng)用程序就會把相關(guān)信息和促銷活動呈現(xiàn)在你的手機屏幕上。這聽起來似乎很有用,但是市場營銷人員需要問問自己:消費者真的會高舉著平板電腦或智能手機逛街嗎?他們真的想通過掃描的方式來購買任何產(chǎn)品嗎?
現(xiàn)在,這個問題的答案是否定的。人們只有覺得在早已飽和的數(shù)字空間里疊加虛擬信息是值得的,他們才會愿意這樣做。因此,多想想他們愿意這樣做的情境吧:例如,參加某個文化活動,參觀某個城市景點或歷史遺址;或深入了解他們真正喜歡的某個奢侈品或品牌。
AR技術(shù)商業(yè)化的真正使命是整合AR技術(shù)提高消費者體驗,讓他們的購物過程更輕松、更有趣以及更便利。我們并不想生活在一個完全用虛擬環(huán)境取代了真實環(huán)境的世界中。谷歌眼鏡Google Glass失敗的真正原因就在于我們不想走在大街上看到一切現(xiàn)實環(huán)境都被增強了。(微軟的全息眼鏡HoloLens則是另一碼事,因為它設(shè)計的目的是為了用到特殊的場合,例如會議室或工作間)。因此,我們不是要想方設(shè)法地給盡可能多的地方提供虛擬內(nèi)容,而是要弄明白哪些情境下的虛擬疊加信息可以給消費者創(chuàng)造價值。
全球首份AR報告第七章:AR的應(yīng)用案例
以下為AR報告第七章:AR應(yīng)用案例
在這一章中,我們將探索AR這一新興技術(shù)目前在不同領(lǐng)域的運用情況,并預測有可能成為未來主流的最佳實踐。我們選取了一定數(shù)量的AR創(chuàng)新案例,歸納成四種功能類別;每一種都會在個人或公司使用AR應(yīng)用時為其帶來顯著益處。
情境敏感式信息——在恰當?shù)氖录攸c出現(xiàn)的信息
第一類是情境敏感式信息,涵蓋能夠根據(jù)特定情境輕松獲取互聯(lián)網(wǎng)已有靜態(tài)數(shù)據(jù)的各種應(yīng)用。
Wikitude和Metaio公司的Junaio(魔眼)是AR瀏覽器兩個最有名的例子,它們提供的情境敏感式信息軟件能夠識別場所或物體,并將數(shù)字信息與現(xiàn)實世界的場景連接起來。智能手機都可以運行這一軟件,用戶可以通過手機攝像頭的視角看到周圍的數(shù)字信息。
這些數(shù)字信息可以是附近感興趣的地方,比如博物館、商店、餐館或者前往下一個公交站的步行路線。該軟件通過GPS、WiFi和3D建模實現(xiàn)圖像識別和用戶定位功能。
語言翻譯是AR應(yīng)用中最具發(fā)展前景的領(lǐng)域之一,F(xiàn)有的一款應(yīng)用Word Lens兼容于幾乎所有智能手機,能夠?qū)⑽谋就椒g成另一種語言。打開應(yīng)用后,用戶只要將設(shè)備對準外國文字即可。設(shè)備就會將此信息翻譯成用戶母語并顯示出來。而且翻譯后的文本是同樣的字體,印在同一面墻上——就跟原始文本一樣。
面部檢測和AR的結(jié)合則是在現(xiàn)實生活特定情境中輕松獲取互聯(lián)網(wǎng)信息的另一個例子。Infi(微博)nity是一款AR應(yīng)用,它可以分析一張面孔,將其與社交網(wǎng)絡(luò)(如Facebook)上的頭像進行比對匹配,匹配目標在社交網(wǎng)絡(luò)中發(fā)布的信息就會顯示在用戶視野中。
這項功能在消費應(yīng)用領(lǐng)域非常實用的技術(shù)也會受到執(zhí)法部門的歡迎(如掃描人群,尋找通緝犯)。但不難理解,這款應(yīng)用已經(jīng)引發(fā)了許多人對隱私的擔憂。
大眾公司開發(fā)的MARTA系統(tǒng)是汽車領(lǐng)域中在恰當?shù)攸c提供恰當信息的極具可行性的最佳實踐解決方案。
該系統(tǒng)在汽車運轉(zhuǎn)失常時派上用場,幫助用戶進行汽車維修及維護。它能通過物體識別技術(shù)識別出汽車零部件,實時詳細地將所有必需的維修、維護步驟描述并圖示出來,并配有需要用到哪些設(shè)備的信息。這款應(yīng)用可以在多種移動設(shè)備上運行。目前,該系統(tǒng)為大眾服務(wù)獨家使用,不過可以想象,未來消費者都會用上類似的系統(tǒng),不太了解汽車機械的人都能修好自己的汽車。
增強感知——成為人類2.0
即便是今天,AR應(yīng)用所能提供的也遠不止是隨時檢索互聯(lián)網(wǎng)信息這么簡單。下面講述的幾個AR用例通過主要由設(shè)備傳感器收集的數(shù)據(jù)生成新的信息,實現(xiàn)增強現(xiàn)實。這一系列設(shè)備能夠增強我們的感知,延伸人類能力,超越目前我們所能取得的成就。
已經(jīng)問世的Recon Jet是一套用于休閑活動的AR系統(tǒng)。該設(shè)備便于運動的平視顯示器(HUD)可以與藍牙、WiFi等第三方傳感器連接,提供導航和天氣信息,訪問社交網(wǎng)絡(luò),顯示實時的狀態(tài)信息。例如,跑步者可以看到自己的速度,到終點線的距離,目前的海拔提升高度以及心率。目前已有上述功能的Recon Jet計劃未來針對在危險環(huán)境中工作或從事體力勞動人群開發(fā)可穿戴AR設(shè)備,監(jiān)測他們的生命體征和周圍環(huán)境。
再舉一個平視顯示器的例子,某些型號的寶馬汽車能夠在擋風玻璃上投影行駛速度等傳感信息。這種增強感知功能自從2004年以來被汽車公司所采用,寶馬正在不斷增加新功能,持續(xù)改進其HUD系統(tǒng)。
寶馬目前的ConnectedDrive HUD系統(tǒng)的增強方式是在外部環(huán)境真實物體上疊加虛擬標記。這樣導航信息或者駕駛助手系統(tǒng)的信息可以顯示在司機前方道路視野的精確位置上。導航指示可以層疊在道路上,其它汽車或安全相關(guān)的物體可以根據(jù)情況高亮顯示或標記出來。寶馬夜視系統(tǒng)提供的可視化信息正是HUD應(yīng)用的絕佳例證。
屢獲殊榮的iOnRoad應(yīng)用是一個類似于寶馬HUD的增強駕駛助手系統(tǒng),只不過面向平民大眾市場,也沒那么先進。該應(yīng)用僅使用智能手機相機和一些視覺算法,提供了諸如碰撞預警、出口監(jiān)測、道路出界預警以及事故后能派上用場的黑匣子錄像功能。
Liver Explorer是AR應(yīng)用在另一個截然不同的領(lǐng)域中的例證。外科醫(yī)生可以通過Fraunhofer MEVIS公司開發(fā)的Liver Explorer應(yīng)用增強感知。該應(yīng)用能夠為執(zhí)業(yè)醫(yī)生提供實時的AR向?qū)Ш洼o助。設(shè)備通過攝像頭捕捉肝臟影像,利用AR技術(shù)將手術(shù)計劃的數(shù)據(jù)疊加到器官上。
另外,該軟件還能實時響應(yīng)(如根據(jù)系統(tǒng)持續(xù)追蹤的血管運動狀態(tài)及時更新手術(shù)計劃)。這些功能超越了MARTA系統(tǒng)對于情境敏感式信息的定義。如果該應(yīng)用能得到積極評價的話,未來很可能會改造推廣到更多的手術(shù)領(lǐng)域中。
在危險情況下,隨時掌握關(guān)鍵信息尤為重要。正因為如此,軍方成為了AR應(yīng)用最大的投資者之一。Q-Warrior Helmet是一款軍事應(yīng)用。該AR項目希望能為士兵們提供“保持警惕,視野開闊,手搭扳機”的場景意識,以及敵我識別、夜視影像和遠程協(xié)調(diào)小分隊的增強功能。該頭盔會將每個佩戴者的具體位置信息提供給其他人,軍事組織可以通過它在戰(zhàn)斗或偵查行動中集結(jié)、行軍、分享信息與位置。不難想象,未來類似的系統(tǒng)會出現(xiàn)在其他工作環(huán)境危險的職業(yè)中(如消防員、執(zhí)法人員)。
混合現(xiàn)實模擬——在現(xiàn)實中探索虛擬
上述案例以提供靜態(tài)數(shù)字信息的方式為我們展示了增強現(xiàn)實的應(yīng)用,然而接下來這一類的AR實踐相比之下更進了一步。通過這些所謂的混合現(xiàn)實模擬,用戶可以在現(xiàn)實環(huán)境中動態(tài)地更換或調(diào)整虛擬物體。
最新的宜家應(yīng)用Ikea Catalog就是其中最為突出的一個例子。借助于這個由Metaio公司開發(fā)的AR應(yīng)用,消費者可以使用移動設(shè)備把所選的數(shù)字版宜家家具“放置”在自己家客廳里,從而更方便地測試家具的尺寸、風格、顏色擺在某個位置是否合適。該應(yīng)用還允許用戶調(diào)整每一個部件的尺寸和顏色。
優(yōu)衣庫的試衣魔鏡(Magic Mirror)提供了一種更加個人化的AR試衣體驗。2012年舊金山的一家優(yōu)衣庫門店安裝了這臺大型增強試衣鏡,它能夠識別顧客的身材和所選衣物,因此免去了再試其它顏色的必要。顧客只需換上某件衣物站到鏡子前;根據(jù)觸摸屏的提示選擇其它顏色,鏡子中就會投射出顧客身著另一種顏色的影像。
佳能推出的MRERL系統(tǒng)能夠?qū)崿F(xiàn)3D電腦渲染模型在現(xiàn)實環(huán)境中與現(xiàn)實世界物體無縫融合的設(shè)計過程。舉例來說,汽車領(lǐng)域可以借助于這套系統(tǒng)設(shè)計出新汽車的模型。MREAL系統(tǒng)支持多用戶協(xié)同工作,同步進行完整規(guī)模的產(chǎn)品設(shè)計。
這套系統(tǒng)可以用來分析新規(guī)劃設(shè)計中現(xiàn)實部件如何組合的問題。其實現(xiàn)方式是,渲染出包括現(xiàn)有部件和新設(shè)計概念的3D模型,再將兩者組合起來。
例如,可以將現(xiàn)有的汽車座椅整合到新車虛擬設(shè)計的投影中。MREAL系統(tǒng)提供的是混合現(xiàn)實,因此用戶可以真的坐到(真實的)座椅上,看到汽車外面的真實環(huán)境以及汽車內(nèi)部的數(shù)字虛擬模型——包括全新設(shè)計的儀表盤和方向盤。
另一個已投入使用的工業(yè)級AR應(yīng)用來自空中客車公司(Airbus)。為了能夠完全依靠數(shù)字工具完成新飛機的生產(chǎn)流程,空中客車公司于2009年聯(lián)合打造了MiRA(混合現(xiàn)實應(yīng)用)。該應(yīng)用利用AR掃描部件、檢測錯誤,從而提高了生產(chǎn)線的效率。
以A380客機為例,由平板PC、特制傳感套件和軟件組成的MiRA應(yīng)用現(xiàn)在已將組裝機身中成千上萬個支架的時間由300小時降低至驚人的60小時。更為震撼的是,之后發(fā)現(xiàn),損壞、安裝錯位或者遺失支架的數(shù)量卻降低了40%。
我們可以展望一下若干年后AR應(yīng)用的樣子。日本的一位黑客利用現(xiàn)有的3D模型和廉價的動作傳感器實現(xiàn)了與日本超人氣虛擬歌手初音未來的AR“約會”。在演示視頻中,初音陪著他漫步(微博)公園,初音能夠識別現(xiàn)實世界的物體并做出反應(yīng)(比如坐在真實的長椅上)。該軟件甚至還能與這位虛擬歌手互動(比如摸摸她的頭或領(lǐng)帶)。盡管這個應(yīng)用有著明顯的煽動性,但它絕非只是噱頭。由此我們可以想到,不久之后人們或許會有虛擬伴侶的陪伴,在需要時提供幫助(比如,輔助搞定醫(yī)療或工程問題,或者以人形界面的形式處理個人日歷、備忘錄、通訊錄等日常數(shù)字事務(wù))。
虛擬界面——在虛擬中控制現(xiàn)實
接入互聯(lián)網(wǎng)“智能”玩意兒越來越多,獲取數(shù)字信息的方式越來越多,于是打算利用AR設(shè)備及數(shù)據(jù)來工作的人也越來越多。因此,我們討論的第四類——虛擬界面,關(guān)注的是提供以數(shù)字形式控制現(xiàn)實世界物體的新方式的AR技術(shù)。本質(zhì)上說,這類技術(shù)讓調(diào)整、控制真實物體的混合現(xiàn)實成為可能。
手勢是一種隨時與數(shù)字世界進行交互的高級方式。上文所說的麻省理工學院開發(fā)的SixthSense正是這么一種手勢界面系統(tǒng)。盡管該系統(tǒng)目前采用的是空間AR技術(shù),它也可以應(yīng)用于其它各種技術(shù)中。借助于該系統(tǒng),用戶可以使用自然手勢與信息進行交互。為了捕捉用戶的輸出意圖,該系統(tǒng)的相機采用計算機視覺技術(shù)對用戶手勢進行識別和追蹤。
基于AR的界面不局限于計算機設(shè)備。還能用來控制汽車,娛樂設(shè)備,以及加熱系統(tǒng)這樣的家居配套設(shè)施。仍在開發(fā)之中的家庭自動化系統(tǒng)Revolv正是這樣的例子。結(jié)合Google Glass后,用戶可以通過該系統(tǒng)控制家中的所有數(shù)字設(shè)備(如照明系統(tǒng)和門鎖系統(tǒng))。于是就形成了可以用語音或指尖控制的增強“智能”家居環(huán)境。
中國電商1號店的例子告訴我們,虛擬界面也不局限于家中。該公司曾宣布,將成立全球第一個AR連鎖超市。
每一家超市將會有一塊約1.2平方米的貨架,設(shè)置在“空白”的公共區(qū)域(比如火車車站或地鐵車站,公園或大學校園)。裸眼看去只是空蕩蕩的貨架和墻壁,通過AR設(shè)備看到的則是完整的一個超市,貨架上堆滿了數(shù)字形式的真實商品。用戶只需通過移動設(shè)備掃描商品,添加到網(wǎng)絡(luò)購物車中,即可完成購買。AR購物完成后,用戶會在家中收到配送的商品。這個概念類似于韓國地鐵站里基于二維碼的樂天超市,但得到了AR技術(shù)的增強。
應(yīng)用詳解:物流中的AR
上面我們將各種各樣的最佳實踐分為四類,接下來我們將以物流產(chǎn)業(yè)為例,具體說明一下AR技術(shù)獎發(fā)揮怎樣的影響。
雖然AR在物流業(yè)中的采用仍處于相對早期階段,但AR也能提供巨大的益處,例如AR可以讓物流供應(yīng)商隨時隨地快速獲預期信息。這對于配送及優(yōu)化配載等任務(wù)的精確規(guī)劃和細致運作來說至關(guān)重要,同時也能為提供更高質(zhì)量的客戶服務(wù)打下堅實基礎(chǔ)。
報告將其它行業(yè)里我們所認為的最佳實踐移植到物流中,由此為AR在物流業(yè)中的應(yīng)用設(shè)想了一些用例。在這里拿出來闡述的用意更多的是借此展開討論、眺望未來,而不是對未來AR在物流業(yè)中的發(fā)展做出精確預測。
這些用例分為以下四類:
倉庫運作
運輸優(yōu)化
最后一公里配送
強化增值服務(wù)
倉庫運作
倉庫運作是AR在物流中最具應(yīng)用前景的領(lǐng)域。這些運作大約占到物流總成本的20%,而揀貨任務(wù)占到倉庫運作總成本的55%到65%。AR可以由改進揀貨流程入手,大幅降低運作成本。AR還有助于培訓倉庫新員工及臨時員工,并為倉庫規(guī)劃提供參考。
視覺揀貨(Pick-by-vison):優(yōu)化揀貨流程
在物流中,最切實際的AR解決方案要數(shù)能夠優(yōu)化揀貨流程的系統(tǒng)。發(fā)達國家里,絕大部分倉庫仍采用紙質(zhì)揀貨(pick-by-paper)的做法。但任何基于紙質(zhì)的做法都是低效、易錯的。另外,揀貨工作往往由臨時工完成,這些人通常需要耗費成本進行培訓,以確保他們能夠高效揀貨,不犯錯誤。
Knapp、SAP和Ubimax共同研發(fā)的視覺揀貨系統(tǒng)目前處于最后的現(xiàn)場測試階段,該系統(tǒng)包括頭戴式顯示器(HMD)之類的移動AR裝置,相機,可穿戴PC,以及續(xù)航至少為一班次時長的電池模塊。其視覺揀貨軟件功能包括實時物體識別,條形碼讀取,室內(nèi)導航,以及與倉庫管理系統(tǒng)(Warehouse Management System,簡稱WMS)的無縫信息整合。視覺揀貨帶來的最大好處是,倉庫工在人工揀貨時無需騰出手來即可獲得直觀的數(shù)字信息支持。
借助于這樣的一套系統(tǒng),每位倉庫工都能在視野中看到數(shù)字揀貨清單,還能受益于室內(nèi)導航功能,看到最佳路徑,通過有效路徑規(guī)劃減少移動耗時。該系統(tǒng)的圖像識別軟件能自動讀取條形碼以確認倉庫工是否到達正確位置,并指引他在貨架上快速定位待揀物品。
接著,倉庫工可以掃描該物品,將此流程同步登記到倉庫管理系統(tǒng)中,實現(xiàn)實時的庫存更新。另外,諸如此類的系統(tǒng)能夠降低新員工的培訓耗時,還能為文化水平有限的倉庫工解決可能遇到的語言障礙問題。
這些AR系統(tǒng)的現(xiàn)場測試已經(jīng)證明,它們?yōu)閭}庫運作的效率提升做出了巨大貢獻。舉例而言,持續(xù)的揀貨驗證功能可以減少40%的錯誤。盡管如今的揀貨錯誤率非常低,即使用的還是紙質(zhì)揀貨方法——專家估計錯誤率約為0.35%——但每一個錯誤都必須避免,因為每一個錯誤都會帶來高昂的連鎖代價。
揀貨人員佩戴專為揀貨流程開發(fā)的可穿戴AR設(shè)備
該解決方案提供數(shù)字導航,有助于更加高效地找到正確路徑和正確物品,同時降低培訓時間
主要目的:減少揀貨錯誤,降低查找時間
倉庫規(guī)劃
AR很可能還會對倉庫規(guī)劃流程產(chǎn)生積極作用。如今的倉庫不再只是存放和集散的節(jié)點;它們逐漸地肩負起越來越多的增值服務(wù),從產(chǎn)品的組裝到貼標簽、重新打包,乃至產(chǎn)品維修。
這意味著倉庫必須重新設(shè)計以適應(yīng)上述這些新服務(wù)的需求?梢杂肁R從全局角度直觀地看到任何重新規(guī)劃的效果,實現(xiàn)在現(xiàn)有的真實倉庫環(huán)境中放置將來準備改動的可交互數(shù)字模型。管理者可以檢查所規(guī)劃的改動尺寸是否合適,并為新的工作流程建立模型。受益于此,未來的倉庫實地可以用作倉庫運作規(guī)劃的試驗場所。
實現(xiàn)倉庫運作流程的混合現(xiàn)實模擬
改動可以疊加在真實環(huán)境中,從而做到“現(xiàn)場測試”,并因地適宜,調(diào)整所規(guī)劃的尺寸。
主要目的:支持倉庫的重新設(shè)計與規(guī)劃,并降低成本
運輸優(yōu)化
過去十年中,物流供應(yīng)商對高新信息技術(shù)的運用極大地提高了貨物運輸?shù)臅r效性、可靠性和安全性。在完整性檢查、國際貿(mào)易、司機導航和貨物配載等領(lǐng)域,AR有著進一步優(yōu)化貨物運輸?shù)臐摿Α?
完整性檢查
AR可以實現(xiàn)更加高效的分揀。佩戴AR設(shè)備的揀貨員快速掃視一下配載,就能知道是否完整。目前,這項工作需要人工統(tǒng)計,或是用手持設(shè)備花大量時間逐個掃描條形碼。未來,可穿戴AR設(shè)備利用掃描儀和3D景深傳感器的組合,就能確定貨盤或包裹的數(shù)量(通過掃描每個包裹上的特殊標識),或者確定包裹的體積(通過測量設(shè)備)。測量值與預定義值相比較,結(jié)果呈現(xiàn)在揀貨員眼前——最好兩者一致。此類AR系統(tǒng)還可以掃描物品,檢測是否有損壞或錯誤。
AR設(shè)備能夠登記一批貨物是否完整、可供分揀。
通過標識或先進的物體識別技術(shù),捕捉貨盤和包裹的數(shù)量、體積。
識別到無損包裹數(shù)量正確后,AR自動確認、交付分揀。
主要目的:節(jié)省時間,完整性檢查,損壞檢測
國際貿(mào)易
隨著全球越來越多的地區(qū)經(jīng)濟開始騰飛,往來于新興市場的運輸量正在顯著增長。這是物流供應(yīng)商的巨大商機,但同時也增加了物流的復雜程度,原因在于世界各地的貿(mào)易條例及要求之間存在著巨大差異。
AR也許能在這方面為全球貿(mào)易服務(wù)供應(yīng)商們提供價值。在發(fā)貨前,AR系統(tǒng)可以幫助檢查貨物是否符合相關(guān)的進出口條例,或者幫助檢查貿(mào)易文件填寫是否正確、完整。AR設(shè)備可以掃描文件或貨物搜尋關(guān)鍵詞,自動給出修改建議或自動糾正商品編碼分類。
在發(fā)貨后,AR技術(shù)可以實時翻譯貿(mào)易術(shù)語等貿(mào)易文件文本,從而大幅減少耽誤在港口和儲存上的時間。
為全球的貿(mào)易服務(wù)供應(yīng)商提供AR支持
AR設(shè)備可以檢查(打印版)貿(mào)易文件并識別商品編碼分類。
實時翻譯包裹標簽或外國貿(mào)易術(shù)語
主要目的:加快貿(mào)易文件和國際貨物的處理速度
動態(tài)交通支持
很多嚴重依賴于實物商品暢通流轉(zhuǎn)的經(jīng)濟流程往往受制于交通擁堵。據(jù)估計,交通擁堵每年讓歐洲損失了約1%的國內(nèi)生產(chǎn)總值(GDP),而且隨著擁堵的愈發(fā)嚴重,人們愈發(fā)需要能提高正點率的解決方案。
未來我們將看到,提供實時交通數(shù)據(jù)從而優(yōu)化路線(或在貨物運輸過程中重新規(guī)劃路線)的動態(tài)交通支持會越來越普遍地應(yīng)用于物流業(yè)中。AR駕駛助手應(yīng)用(無論是顯示在眼鏡上還是擋風玻璃上)能夠?qū)崟r地在司機視野中呈現(xiàn)信息。實際上,AR系統(tǒng)將會成為目前導航系統(tǒng)的繼承者,其關(guān)鍵優(yōu)勢在于司機的視線不用離開道路。AR系統(tǒng)還能為司機顯示車輛和貨物的關(guān)鍵信息(如貨物溫度)。
在運輸車輛中使用AR設(shè)備(眼鏡或擋風玻璃投影)代替?zhèn)鹘y(tǒng)導航系統(tǒng)
分析實時交通數(shù)據(jù),在司機視野中顯示相關(guān)信息(如擁堵情況以及代替路線)
疊加顯示周圍、車輛及貨箱的關(guān)鍵信息(如冷箱的溫度)
主要目的:行駛過程中優(yōu)化路線,改善駕駛安全,把讓司機分心的因素降至最低
貨運配載
如今,空運、水運及陸運這些貨運方式高度依賴于數(shù)字數(shù)據(jù)和規(guī)劃軟件,以達到優(yōu)化配載規(guī)劃和提高車輛利用率的目的。每件貨物的內(nèi)容,重量,大小,目的地及后續(xù)處理都屬于系統(tǒng)的考慮因素。即便系統(tǒng)或許還存在進一步改進的空間,貨運配載的瓶頸往往是配載流程本身。
AR設(shè)備可助其一臂之力,它能夠取代打印版的貨物清單和配載說明。比如說在中轉(zhuǎn)站里,配載員可以在AR設(shè)備上實時得知接下來該取哪個包裹,這個包裹應(yīng)該放在車上的哪個位置。AR設(shè)備能夠以箭頭或在貨車內(nèi)部高亮顯示適當目標區(qū)域的方式,為配載員提供配載指引。這一信息要么由規(guī)劃軟件事先生成,要么依賴于特定物體識別技術(shù)的實時計算。后一種方法可以用風靡全球的電腦游戲《俄羅斯方塊》來解釋,在這個游戲中,玩家必須根據(jù)下一個隨機物體的形狀,將它放置在恰當位置,從而盡可能填充空間、避免間隙。與目前紙質(zhì)清單不同的是,基于AR的貨物清單還能支持各種實時操作——這在配載過程中時有發(fā)生。
使用AR設(shè)備優(yōu)化貨運配載
配載員直接從AR設(shè)備顯示屏商直接接收規(guī)劃及指示(接下來拿哪件包裹、將它放在哪里)
讓打印版的配載清單變得無關(guān)緊要
主要目的:加快貨運配載流程
最后一公里配送
最后一公里是AR技術(shù)的另一個重要應(yīng)用領(lǐng)域。人們對電子商務(wù)不斷增長的依賴使得最后一公里配送服務(wù)呈爆炸式增長,這是供應(yīng)鏈的最后一個環(huán)節(jié),往往也是成本最高的一個環(huán)節(jié)。因此,在優(yōu)化最后一公里配送以降低成本、提高利潤這一領(lǐng)域中,AR設(shè)備的應(yīng)用前景一片光明。
包裹配載及送達
據(jù)估計,司機離開配送中心后有40%到60%的時間不在開車。這段時間,他們都在貨箱里尋找接下來要配送的包裹。目前的物流行業(yè)中,司機想要找到包裹,只能靠自己對配載過程的深刻記憶。
未來在配送中心,每個司機通過AR設(shè)備看一下包裹,就會接收到該包裹的關(guān)鍵信息。該信息可包括運輸商品的種類,每個包裹的重量、配送地址,是否易碎,是否需要正確擺放以避免損壞。接著,AR設(shè)備會實時計算每個包裹的空間需求,掃描車輛貨箱尋找合適的空位,然后提示司機應(yīng)該將包裹擺放在哪個位置,并記入規(guī)劃路線中。
在高效智能的包裹配載以及AR設(shè)備為司機高亮顯示正確包裹的幫助下,查找流程將會方便快捷得多,極大地節(jié)省了每一次配送的時間。
另外,AR還有助于減少包裝損壞事件。目前包裹損壞的一個關(guān)鍵原因是,司機需要騰出手來關(guān)車門,只能將包裹放在地上或夾在胳膊里。有了AR設(shè)備,無需用手就能關(guān)上車門——司機可以通過語音或者眼球/頭部的動作發(fā)送命令。
員工借助于可穿戴AR設(shè)備完成包裹處理、配載及配送的流程
透過AR設(shè)備看,所有包裹上都疊加了關(guān)鍵信息(如內(nèi)容,重量,目的地)及處理指示,而且包裹經(jīng)過智能配載,裝在車廂里。
主要目的:改進處理流程,避免不當處理,確保配載優(yōu)化
最后一米導航
司機關(guān)上車門,手里拿著正確包裹,往往接下來會面臨如何找到對應(yīng)建筑的難題。第一次配送到某個地址時尤其如此,因為會存在許多的復雜因素,比如門牌號或街道名牌被遮擋或遺失,入口隱藏在后院里,或者像很多發(fā)展中國家那樣,街道和建筑沒有根據(jù)規(guī)則命名。
在這樣的情況下,AR可以起到極大的幫助;司機將AR設(shè)備指向某個建筑或建筑群,它會顯示出谷歌街景之類的信息,或源自其它數(shù)據(jù)庫的相關(guān)詳情。如果在公共數(shù)據(jù)庫中找不到可用信息,還可以使用AR設(shè)備根據(jù)入口位置或其它當?shù)靥卣鱽矸胖脴擞洠瑥亩饾u建立起一個獨立的數(shù)據(jù)庫。下一次再配送到這個地址時,AR設(shè)備會訪問之前收集的數(shù)據(jù);同時渲染相應(yīng)的虛擬信息圖層。
有些時候,最后一米配送需要用到室內(nèi)導航。盡管GPS導航在戶外非常好用,但建筑物往往會對GPS信號造成嚴重干擾。學習型AR設(shè)備在建筑物內(nèi)部多個點位放置LLA(經(jīng)度、緯度、海拔)標記是一種可行的解決方案。
AR設(shè)備識別建筑物及入口,并提供室內(nèi)導航,從而實現(xiàn)更快送達
學習型AR系統(tǒng)能夠添加用戶生成內(nèi)容(UGC),尤其是在公共數(shù)據(jù)庫不可用時
主要目的:高效的室內(nèi)導航,減少尋找地址和送達包裹的時間,尤其是在首次配送至某地址時
經(jīng)AR驗證安全的包裹交付
讓員工佩戴AR設(shè)備還能夠改善安全性,提高客戶接觸的質(zhì)量。在面部識別技術(shù)的幫助下,簽收包裹的人無需出示任何身份證件即可被精確識別。AR設(shè)備會拍照并自動與社保數(shù)據(jù)庫進行比對。考慮到數(shù)據(jù)隱私問題,需要在得到簽收人許可的前提下才能使用這種AR面部確認技術(shù)。普通的日常配送或許用不上這種服務(wù),但在包裹價值不菲的時候,用戶就會感受到更高安全級別的好處,因為它與易于偽造的身份證或收件人簽名相比要可靠得多。
AR利用面部識別技術(shù)對包裹簽收人進行精確識別
取代身份證或簽名,完成可視化的批準/拒絕簽收
主要目的:提高掛號信的安全性,加快配送流程
服務(wù)需要事前得到批準并完成注冊
強化增值服務(wù)
除了幫助物流供應(yīng)商改進流程以外,AR還能使其開展新的客戶服務(wù)(如組裝、維修),并為其提供新型的客戶支持工具。
組裝與維修
越來越多的物流供應(yīng)商開始為客戶提供組裝、維修這樣的增值服務(wù)。舉例而言,物流方不僅從奧迪的零件供應(yīng)商收取材料,還將這些零件組裝成汽車門內(nèi)板,然后配送至位于德國的奧迪生產(chǎn)車間。
目前,這樣的任務(wù)需要技術(shù)工人來完成,而且每一種任務(wù)都需要進行單獨培訓。不過,將來的AR可以培訓并幫助倉庫員工組裝各種產(chǎn)品,并確保組裝服務(wù)的高標準,進而為客戶降低成本。
AR系統(tǒng)能夠監(jiān)視每個工作步驟(借助于增強圖像識別技術(shù))并檢測組裝流程中的錯誤,從而保證質(zhì)量控制。對于維修人員而言,AR系統(tǒng)可以提供一種直觀的視覺方式,幫助他們識別并修復問題——考慮到終端消費技術(shù)和終端消費電子產(chǎn)品數(shù)量的不斷增長,這一點顯得尤為重要。此類交互式維修指南的投入使用可以顯著降低培訓成本以及技術(shù)員工的平均修復時間。
組裝與維修團隊配備有支持特定任務(wù)的無需用手的AR設(shè)備(眼鏡)及軟件
其軟件為組裝或維修工作提供了可視化的逐步工作指導,同時解放每位工人的雙手,以便他們按照指導執(zhí)行步驟
主要目的:質(zhì)量控制,顯著降低培訓成本
客戶服務(wù)
不久的將來,加入AR功能的包裹服務(wù)應(yīng)用可以讓客戶使用支持AR的設(shè)備掃描待寄物品,測量體積,估算重量,從而確定選用物流供應(yīng)商尺寸最合適、價格最低廉的包裹盒。另外,該應(yīng)用還能顯示不同的寄件方式和保價選項。
盡管類似這樣的復雜應(yīng)用尚未出現(xiàn),不過目前有一個可用的簡易版。DHL Paketassistent注釋11應(yīng)用讓用戶打印一張紙,上面有一個類似于二維碼的圖標。相機掃描該圖標后,DHL可選包裹盒的全息模型就會投影在用戶面前,以便用戶比對物品、選擇合適尺寸的包裹盒。
針對終端消費設(shè)備(如智能手機、平板電腦)的AR應(yīng)用可以帶來便利的寄件體驗
主要目的:掃描待寄物品,將包裹盒的虛擬呈現(xiàn)與掃描圖像相層疊,幫助客戶選擇合適的寄件方式并下單;提升包裹處理環(huán)節(jié)
總而言之,AR在物流業(yè)中有著遠大的前程。從倉庫里的視覺揀貨,到幫助客戶進行售后服務(wù),顯然AR能夠在物流價值鏈的幾乎所有環(huán)節(jié)中發(fā)揮作用。盡管上述用例目前只有少數(shù)得到了開發(fā),但物流業(yè)中的AR應(yīng)用正在出現(xiàn)鼓舞人心的“星星之火”跡象。這一趨勢將會持續(xù)增長,我們希望更多的物流供應(yīng)商能夠加入進來,共同推動AR革命。