多投影面沉浸式虛擬環(huán)境及其應用

簡介

    多投影面沉浸式虛擬環(huán)境是一種支持多用戶的虛擬環(huán)境,不同于一般的虛擬環(huán)境它能夠提供給用戶大范圍視野的高分辨率、高質量立體影像.系統(tǒng)在各種用戶交互設備的支持下擁有極佳的交互性并能提供給用戶一種前所未有的沉浸感.多投影面沉浸式虛擬環(huán)境以多臺高分辨率高帶寬的投影機為基礎,提供高質量立體影像投影,投影面之間可以根據不同應用的需要以多種不同類型的方式進行組合,構成各種不同類型的虛擬環(huán)境.

    沉浸感是指使用者的感知系統(tǒng)受到虛擬環(huán)境中的虛擬刺激程度,系統(tǒng)越能迷惑使用者的感官,則系統(tǒng)就越是沉浸式的.沉浸式虛擬現實系統(tǒng)的歷史可以追述到1965 年,由計算機圖形學界的先驅I.Sutherland 博士在他的Ultimate Display論文所發(fā)表的頭盔式顯示器(Head Mounted Display,HMD).論文中Sutherland 博士指出計算機屏幕像是一扇通往虛擬世界的窗戶,通過它我們可以觀察一個虛擬的世界[1]; 但我們是否可以讓使用者直接沉浸在計算機生成的虛擬環(huán)境中:當使用者自然地轉動頭部,他所看到的計算機生成的虛擬場景也能夠實時地發(fā)生相應的改變; 使用者還能夠以自然的方式與虛擬世界交互.HMD 就是一種能夠實現上述功能的系統(tǒng),兩個顯示屏幕處于用戶佩戴的頭盔中將分別覆蓋用戶雙眼的視野,使得用戶只能夠感知來自計算機所生成的圖像,當用戶視點移動時計算機所生成的圖像也將發(fā)生相應的變化,從而提供給用戶一種沉浸于計算機生成的虛擬世界的沉浸感.

    但由于HMD 系統(tǒng)存在若干缺點,例如: 單用戶的局限性、顯示屏幕分辨率不高、因頭盔過于沉重帶給用戶的負擔以及屏幕過近帶給眼睛的不適感.于是在1991 年,Universityof Illinois 的DeFanti 和Sandin 針對HMD的缺點提出了一種改進的沉浸式虛擬顯示環(huán)境: 吊桿式虛擬環(huán)境(BOOM,Binocular Omni-Orientation Monitor),它的顯示器由吊桿支撐,能提供用戶高分辨率、高質量的影像而且對用戶無重量方面的負擔.但是該系統(tǒng)還是一種單用戶虛擬環(huán)境而且并不能解決屏幕過近對用戶眼睛所造成的不適感[2].

    在1992 年DeFanti、Sandin 以及Cruz-Neira 提出了CAVE系統(tǒng),一種四面的沉浸式虛擬現實環(huán)境.系統(tǒng)在支持多用戶的同時解決了上述系統(tǒng)造成用戶眼睛不適感的問題.CAVE 是由4 面環(huán)繞投影屏幕所組成的沉浸式虛擬現實系統(tǒng).對于處在系統(tǒng)內的用戶來說,投影屏幕將分別覆蓋用戶的正面、左右以及底面視野,構成一個邊長為10 英尺的立方體.由于投影面幾乎能夠覆蓋用戶的所有視野,再配合聲效和用戶交互設備,CAVE 就能提供給使用者一種前所未有的帶有震撼性的沉浸感[3].

    從CAVE 的提出開始,各種類型的基于投影的沉浸式虛擬現實環(huán)境相繼出現: 例如1993 年德國GMD的ResponsiveWorkbench[4]是一種單投影面的系統(tǒng),立體影像將通過鏡子的折射投影到一個水平的投影平面,用戶可以在此工作平面上與虛擬物件進行交互.由University of Illinois 于1994 年提出的ImmersaDesk[5] 系統(tǒng)也是一種類似ResponsiveWorkbench 的單投影面沉浸式虛擬現實環(huán)境,整個系統(tǒng)類似于設計桌,它的投影平面與水平面成一個角度,這樣方便于用戶與虛擬物件進行交互.

    相對于單投影面系統(tǒng)來說,多投影面系統(tǒng)能夠涵蓋用戶更多的視野范圍提供更好的沉浸感,所以多投影面系統(tǒng)也成為沉浸式虛擬環(huán)境的主要發(fā)展方向. 德國GMD 對其Responsive Workbench 提出了雙投影面的改進,在水平投影面的基礎上增加了額外的垂直投影面,從而增加了用戶的虛擬視野范圍.University of Minnesota 在1994 年提出的PowerWall[6]系統(tǒng)是由多個投影面層疊或并排形成單個面積較大的投影平面,它能夠提供高解析度大面積范圍的影像,主要被應用于科學數據的可視化.University of Illinois 在1995 年提出的InfinityWall[7]也是一種類似于PowallWall 的多投影面沉浸式虛擬環(huán)境,以多個投影面構成一個較大的投影平面,主要應用于面向多用戶的展示工作.

    在CAVE 系統(tǒng)的改進方面,5 面甚至6 面的CAVE 系統(tǒng)陸續(xù)被提出.例如: Iowa State University 的C6 以及日本岐阜VR Techno Plaza 的COSMOS 等系統(tǒng).6 個投影面的CAVE 系統(tǒng)已經能夠完全覆蓋用戶的所有視野范圍,使用戶能夠完全沉浸于所生成的虛擬環(huán)境.另外也有投影到圓柱狀或環(huán)繞投影面的系統(tǒng),主要應用于虛擬劇場,提供對大用戶的支持.例如韓國理工學院的Kyongju VR Theater[8]以及德國GMD 的iCone.

    由于多投影面沉浸式虛擬環(huán)境需要實時的生成高分辨率的立體影像,所以傳統(tǒng)的系統(tǒng)是由專業(yè)圖形工作站來驅動的,這造成了該類系統(tǒng)的造價過于昂貴.而PC 的性能正以前所未有的速度發(fā)展,目前高性能PC 在計算能力以及圖形處理能力已經能夠逐漸接近甚至超越專業(yè)圖形工作站.所以近期的一個研究方向是以聯網PC 驅動的多投影面沉浸式虛擬環(huán)境.以PC 代替較為昂貴的圖形工作站能使系統(tǒng)的造價大幅度的降低.這類相關研究工作有: 喬治亞理工學院的NAVE 系統(tǒng)[9]、德國Fraunhofer IAO 的HyPI-6 系統(tǒng)[10]以及浙江大學CAD&CG國家重點實驗室的PCCAVE系統(tǒng)[11].

多投影沉浸式VE結構

多投影沉浸式VE 結構

    多投影沉浸式虛擬環(huán)境按系統(tǒng)結構來劃分主要可以分成三大部分: 投影系統(tǒng)、用戶交互系統(tǒng)以及圖形與計算系統(tǒng).

1.1 投影系統(tǒng)

    投影系統(tǒng)主要包括多臺支持高分辨率影像的投影機以及投影屏幕.虛擬環(huán)境的立體影像將通過投影機投影到投影屏幕上,投影屏幕可根據應用的需要組合成各種不同最終投影,例如CAVE 的各投影屏幕相互垂直構成一個立方體,PowerWall 的各投影平面相互并排層疊形成一個較大的投影平面.

    為了滿足虛擬環(huán)境對實時性的要求,投影機必須有較快的響應時間,否則可能會造成運動重影.投影機的選擇與系統(tǒng)所使用的立體影像生成技術也有關.立體影像生成技術主要有兩種: 主動式立體模式與被動式立體模式.在主動式模式下,用戶的左、右眼影像將依幀順序顯示,用戶使用LCD 立體眼鏡保持與立體影像的同步,這種模式可以產生高質量的立體效果.而被動式系統(tǒng)則需要使用兩套顯示設備以及投影設備分別生成左右眼影像并進行投影,不同的投影機分別使用不同角度的偏振光以區(qū)別左右眼影像,用戶使用偏振光眼鏡保持立體影像的同步.

    在主動式立體顯示模式下,由于高分辨率影像需要以120Hz 的刷新率進行刷新,因此對投影機的帶寬以及響應速度上都有比較高的要求.對于被動式立體模式來說,每個投影面需要兩臺投影機分別對左右兩眼的影像進行投影,不過對與投影機的要求就相對來說比較低,但投影屏幕則需要專門材料以保證光的偏振角度不在屏幕上發(fā)生變化.

1.2 用戶交互系統(tǒng)

    用戶交互系統(tǒng)可包括多種交互設備:例如跟蹤器、數據手套、操縱桿、力反饋設備以及立體聲音像設備等.通過這些設備用戶能夠與虛擬環(huán)境及其物件進行交互,使用戶能夠更深入地溶入到虛擬環(huán)境中.

    跟蹤設備在大部分沉浸式虛擬環(huán)境是必不可少的.跟蹤設備將跟蹤使用者及其頭部的實時運動信息,根據這些信息系統(tǒng)可以計算出用戶雙眼視點的位置,并由此為基礎生成正確的立體影像.

1.3 圖形與計算系統(tǒng)

    圖形與計算系統(tǒng)負責生成虛擬環(huán)境并對用戶的交互信息進行處理,它是驅動整個系統(tǒng)的核心.為了讓虛擬環(huán)境能夠達到一定的沉浸感并維持其實時性,圖形與計算系統(tǒng)必須根據用戶的視點實時地生成各個投影面相對于用戶視點位置的立體影像,并且需要實時地對用戶的交互信息以及數據進行處理和計算,盡可能地降低系統(tǒng)地相應延遲,所以系統(tǒng)在圖形能力以及計算能力方面來說有比較高的要求.圖形與計算系統(tǒng)可根據實際應用需要進行配置.

    傳統(tǒng)的多投影沉浸式虛擬環(huán)境一般采用專業(yè)圖形工作站例如SGI Onyx2 驅動,這一類工作站可支持多處理器并行計算、高帶寬的內部數據傳輸率以及高性能圖形處理能力,可實時地生成處理大量的數據并實時的生成高質量的立體影像,同時可通過其多通道輸出的配置同時驅動多臺投影機對多個投影面進行投影[12].

圖 1 以專業(yè)圖形工作站驅動的多投影面沉浸式虛擬環(huán)境

    傳統(tǒng)系統(tǒng)專業(yè)圖形工作站的昂貴價已成為近一步推廣該類系統(tǒng)的最大阻礙.一直以來,PC 無論是在圖形或是計算能力上都有飛速的發(fā)展,近年來,以PC 驅動的多投影沉浸式系統(tǒng)已成為一個熱門的研究方向.與圖形工作站不同,目前一般的PC 只能提供一個圖形通道輸出,所以由PC 架構的系統(tǒng)將由多臺連網的高性能PC 驅動.每一臺PC 或是每兩臺PC負責一個投影面的投影,這取決于立體影像生成模式.各PC將并行地生成虛擬環(huán)境中的不同投影面,所以在PC 之間需要有多層次的同步機制來進行協調,以確保由各個投影面所構成的虛擬環(huán)境最終的正確性.

    軟件系統(tǒng)的設計是基于聯網PC 驅動的多投影面沉浸式虛擬環(huán)境非常重要而具有挑戰(zhàn)性的工作。目前比較成熟的開發(fā)工具有：Stanford University 的WireGL[13]及其后續(xù)計劃Chromium[14]、Princeton University 的DGL[15]、Universityof Illinois 的Syzygy[16]、Iowa State University 的VR Juggler及其VR Juggler 的兩個擴展工具Net Juggler[17]和ClusterJuggler[18]以及浙江大學CAD&CG 國家重點實驗室的PCCAVELib[11]。

圖 2 以聯網PC 驅動的多投影面沉浸式虛擬環(huán)境

典型系統(tǒng)介紹

    下面我們將介紹幾種典型的多投影面沉浸式系統(tǒng):

    2.1 大連海事大學的大型船舶操縱模擬系統(tǒng)[19][20]

    大連海事大學航海技術研究研究所的大型船舶操縱模擬系統(tǒng)有教練員站、主本船及若干個副本船構成，采用分布式交互仿真的設計思想，通過高速以太網，將系統(tǒng)的各個計算機相互連接，本船之間通過三維視景和雷達圖像互見。主本船視景系統(tǒng)采用環(huán)形大屏幕投影，能提供7 個通道2700大視場角視景。副本船視景系統(tǒng)能提供3 個通道1200 水平視場角視景。視景系統(tǒng)中的每個通道的視景由一臺高性能的PC 生成，中間通道向視景的各邊通道計算機發(fā)送幀同步信息，包括本船的縱搖、橫搖角度、本船的航向和位置及太陽的高度和方位等。該系統(tǒng)能提供駕駛臺資源管理和團隊工作、不同海況、天氣能見度條件下的船舶操縱、雷達標繪/ARPA 訓練、碼頭、航道設計模擬、事故調查、通航安全模擬。

    2.2 浙江大學CAD&CG國家重點實驗室的PCCAVE系統(tǒng)[11]

    浙江大學CAD&CG 國家重點實驗室的PCCAVE 系統(tǒng)的研究動機是以高性能聯網PC 替代傳統(tǒng)CAVE 系統(tǒng)中昂貴的圖形工作站,使得系統(tǒng)的造價能夠大幅度的降低.在我們的設計方案中,以4 架高性能連網PC 作為一個并行計算系統(tǒng),替代傳統(tǒng)CAVE 配置中昂貴的SGI Onyx2 圖形工作站.在圖形顯示方面采用高質量的主動式立體顯示模式,每架PC 分別負責CAVE 系統(tǒng)中一個投影面的立體影像繪制工作.如下圖所示整個系統(tǒng)是建立在100Mbps 以太網上,各PC 節(jié)點間由通信系統(tǒng)負責網絡數據交換,圖形系統(tǒng)負責投影面立體影像的生成; SwapLock( 幀緩存同步) 與GenLock(垂直刷新同步)部分協調各節(jié)點的運作,保證系統(tǒng)的整體同步性.其中一臺PC 作為主節(jié)點,負責系統(tǒng)的激活以及用戶交互數據的處理工作. 在硬件方面,采用雙INTELXeon 1.7G、1G PC800 RDRAM 以及3DLab Wildcat 5110 顯卡作為高性能PC 的配置,具有強大的運算及圖形處理能力,Wildcat 顯卡支持以4 幀緩存區(qū)產生真實立體影像及硬件GenLock 同步(垂直刷新同步).網絡連接建立在100Mbps 高性能以太網絡及交換機的基礎上.

應用實例

    多投影沉浸式虛擬環(huán)境支持多用戶同時進入虛擬環(huán)境,它具有高度的沉浸感及良好的交互性,其在娛樂、教育、培訓、展覽、工業(yè)、設計制造、科學可視化等領域均具有廣泛的應用潛力.

    目前浙江大學 CAD&CG 國家重點實驗室的已在PCCAVE系統(tǒng)上開發(fā)了虛擬展覽館以及虛擬校園漫游的應用(見圖3.). 通過逼真的大視野立體影像,虛擬展覽館可提供給用戶一種前所未有的臨場感.用戶可以以任意角度觀察展覽館內的立體物件.通過事先設計展覽內容模型,用戶便可參觀各類虛擬展覽.與傳統(tǒng)的基于顯示屏的虛擬博物館相比較,以多投影面沉浸式環(huán)境的虛擬展覽能夠提供一種身臨其境的體驗.虛擬校園漫游中的建筑模型采自于浙江大學正在興建中的新校區(qū),它能夠讓使用者可事先在尚未完工的虛擬新校區(qū)內進行漫游,體驗完工后校園內的景觀.實際上對于任何完工前的工程或者是景觀規(guī)劃來說,系統(tǒng)可通過虛擬立體場景事先讓參觀者、建筑師和設計師體驗完成后的整體感覺.

圖 3 PCCAVE 實際運行情況: 虛擬展覽館與新校區(qū)漫游

    西南交通大學仿真中心針對鐵路應用和城市軌道交通開發(fā)了基于PC 集群的分布式列車仿真系統(tǒng)( 見圖4)[21][22]。該系統(tǒng)是計算機仿真技術和列車動力學相結合的產物，主要用來培訓司機和優(yōu)化列車駕駛操作規(guī)范。通過圖形工作站或聯網PC 集群的視景系統(tǒng)生成的多通道場景，運動系統(tǒng)對虛擬駕駛環(huán)境中列車六自由度姿態(tài)的仿真，立體聲音仿真系統(tǒng)對列車運行中各種聲響的模擬，能給參與者提供極強的視覺、觸覺和聽覺上的沉浸感。

圖4 列車仿真系統(tǒng)運行情況

    韓國理工學院為 2000 年慶州世界文化博覽會所設計的VR Theater 主要的目的是為面向大眾介紹有關慶州當地的歷史文化以及自然文物遺產的維護和保持. VR Theater 能領導著參觀者對古慶州城進行虛擬漫游,通過逼真的立體模型以及互動式的介紹,參觀者可近一步了解該城的歷史以及文物古績保護狀況.基于多投影的VR Theater 虛擬環(huán)境能夠容納651 用戶同時使用,其27x8 米的巨型環(huán)形屏幕由12 架投影機所驅動,以帶有六通道圖形輸出14 CPU 的SGI Onyx2工作站作為圖形與計算核心,采用被動式立體顯示模式并能夠提供立體聲輸出和地板震動感,用戶可通過帶有6 鍵的鍵盤參與虛擬環(huán)境的互動.在博覽會期間有將近一百萬人次參觀了VR Theater,這顯示了該類系統(tǒng)在教育、虛擬文物展示以及古績保護方面所擁有的應用潛力.

結論與展望

    多投影面沉浸式虛擬環(huán)境是一種支持多用戶的虛擬環(huán)境,它能夠提供高質量高解析度的立體影像,通過覆蓋用戶絕大部分視野范圍以及其他與虛擬環(huán)境的交互手段,系統(tǒng)能夠帶給用戶一種前所未有的沉浸感.由于該類系統(tǒng)所擁有的沉浸感以及良好交互性,它在工業(yè)、設計制造、模擬培訓、娛樂、教育展覽方面均有廣泛的應用潛力.

    近年來，雖然隨著以PC 驅動的多投影面沉浸式虛擬環(huán)境的出現，大大地降低了系統(tǒng)的整體造價，這使得系統(tǒng)的應用可以由研究機構或大型企業(yè)進一步地推廣到一般的用戶，擴大了該類系統(tǒng)的應用范圍，但是隨著計算節(jié)點和投影儀數量的增加，其繁瑣的配置與調試工作對普通用戶來說還是一個棘手的問題。目前的一個研究方向是如何快速地建立、管理和配置PC 驅動的多投影面沉浸式系統(tǒng)，這方面的研究工作有：Princeton University 的DwallGUI[23]、University ofKentucky 的Metaverse[24]、浙江大學CAD&CG 國家重點實驗室的PCCAVELib 也將為用戶提供更方便和快捷的開發(fā)和管理環(huán)境。還有一部分研究工作者致力于多用戶參與協作的多投影面沉浸式虛擬環(huán)境， 如Stanford University 的Two-User Responsive Workbench[25]，美國能源部支持的Access Grid[26]。

參考文獻

[1] 石教英等. 虛擬現實技術和實用算法[M]. 科學出版社，2002
[2] Margaret Watson. Immersive Projection Technology: The Development of the CAVE, the ImmersaDesk and Related Technology.
http://www.daimi.au.dk/~watson/CLASS/VRart/technology/visual4.html
[3] C.Cruz-Neira,D.Sandin and T.DeFanti. Surround-Screen Projection-Based Virtual Reality: The Design and Implementation of the CAVE[A]. In
Computer Graphics.SIGGRAPH,1993.
[4] Kruger, Wolfgang, et. al. The Responsive Workbench: A Virtual Work Environment[J]. IEEE Computer Society, IEEE Computer, 28(7): 42-48, 1995
[5] EVL, University of Illinois at Chicago. The ImmersaDesk, http://www.evl.uic.edu/research/template_res_project.php3?indi=163.
[6] University of Minnesota. The Power Wall. http://www.lcse.umn.edu/research/powerwall/powerwall.html.
[7] Czernuszenko, Pape, et al. The ImmersaDesk and Infinity Wall Projection-Based Virtual Reality Displays[J]. Computer Graphics, 1997
[8] Park, Kim, et al. The Design and Implementation of Kyongju VR Theater[A]. VRAI2002, Hanghzou, China.
[9] L.F.Hodges.The NAVE Virtual Environment.http://www.gvu.gatech.edu/virtual/nave/index.html.
[10] HyPI-6:6 Sided CAVE. http://vr.iao.fhg.de/6-Side-Cave/index.en.html.
[11] 林柏緯,潘志庚,楊健,石教英.基于PC 架構的高性能CAVE 系統(tǒng)[J].計算機輔助設計與圖形學學報(已錄用).
[12] SGI Onyx2 Tech.Spec.SGI.http://www.sgi.com/onyx2/tech_specs.html.
[13] G. Humphreys, M. Eldridge, I. Buck, G. Stoll, M. Everett, and P. Hanrahan. WireGL: A Scalable Graphics System for Clusters[A]. Computer Graphics,
ACM SIGGRAPH2001. 2002,129-140
[14] G. Humphreys, M. Houston, R. Ng, R. Frank, S. Ahern, P. D. Kirchner, and J. T. Klosowski. Chromium: A streamprocessing framework for interactive
rendering on clusters[A]. In Proceedings of SIGGRAPH 2002. 2002,129–140
[15] K. Li, H. Chen, Y. Chen, D.W. Clark, P. Cook, S. Damianakis, G. Essl, A. Finkelstein, T. Funkhouser, A. Klein, Z. Liu, E. Praun, R. Samanta, B. Shedd,
J.P. Singh, G. Tzanetakis, and J. Zheng. Early Experiences and Challenges in Building and Using a Scalable Display Wall System[J]. IEEE Computer
Graphics and Applications. 2000, 20(4): 671-680.
[16] B. Raffin and J. Allard. Net Juggler. http://sourceforge.net/projects/netjuggler
[17] E. Olson. Cluster Juggler – PC Cluster Virtual Reality. M.Sc. thesis, Iowa State University, 2002.
[18] Benjamin Schaeffer, Camille Goudeseune. Syzygy: Native PC Cluster VR. http://www.isl.uiuc.edu/ClusteredVR/ClusteredVR.htm
[19] 尹勇, 金一丞, 李志華. 分布式航海仿真系統(tǒng)中的網絡通訊. 系統(tǒng)仿真學報[J]. 2000,12 (6): 621-624
[20] 尹勇, 任鴻翔, 金一丞, 孫騰達. V.Dragon 2000 分布式航海仿真系統(tǒng)中的圖形技術[J]. 系統(tǒng)仿真學報. 2002, 14(5): 617-619
[21] 蘇虎．分布式列車仿真系統(tǒng)中視景實時生成算法的研究[D]．西南交通大學，博士學位論文．2002：1-23
[22] 唐冰, 周美玉. Linux 環(huán)境下基于微機的鐵路視景仿真圖形系統(tǒng)的研究[A]．中國科協2002 年學術年會，成都，2002．中國科學技術出版社，2002：
868
[23] Grant Wallace. Display Wall Cluster Management. http://vis.computer.org/vis2002
[24] Christopher Jaynes. Self-Configuring Multiprojector Dislay Environments. http://www.vr2003.org
[25] Maneesh Agrawala, Andrew C. Beers, Bernd Fr ohlich, Pat Hanrahan, Ian McDowall, Mark Bolas. TheTwo-User Responsive Workbench:Support for
Collaboration Through Individual Views of a Shared Space http://graphics.stanford.edu/papers/ twoviewer/paper-nopics.pdf
[26] L. Childers, T. Disz, R. Olson, M. E. Papka, R. Stevens, and T. Udeshi. Access Grid: Immersive Group-to-Group Collaborative Visualization.
http://www-unix.mcs.anl.gov/fl/publications/childers00.pdf
基金項目：教育部高等學校優(yōu)秀青年教師資助計劃項目；浙江省自然科學專項人才基金（RC00048）

作者簡介：

    潘志庚(1965－),男,江蘇人,研究員,博士生導師,主要研究領域為虛擬現實和多媒體; 
    林柏偉(1979－),男,臺灣臺北縣人,碩士,主要研究領域為虛擬現實; 
    唐冰(1977－),男,湖南江華人,博士研究生,主要研究領域為虛擬現實和圖形并行計算; 
    譚家萬(1974－),重慶人,博士,主要研究領域為分布式交互仿真、虛擬現實; 
    石教英(1938－),男,浙江寧波人,教授,博士生導師,主要研究領域為分布式圖形計算,科學計算可視化,虛擬現實與多媒體.