微美全息科學(xué)院：虛擬現(xiàn)實(shí)環(huán)境下人機(jī)交互與設(shè)備遠(yuǎn)程操控關(guān)鍵技術(shù)應(yīng)用

    在智能制造系統(tǒng)的研究開(kāi)發(fā)實(shí)踐中，會(huì)遇到大量的人機(jī)交互（Human-Machine Interaction）和需要對(duì)機(jī)器設(shè)備進(jìn)行遠(yuǎn)程操控（Teleoperation)的情況。很多數(shù)字化智能化的工廠都具備了先進(jìn)的人機(jī)交互系統(tǒng)和對(duì)設(shè)備進(jìn)行遠(yuǎn)程狀態(tài)檢測(cè)、調(diào)試和維護(hù)的能力。尤其是在高溫、有毒、高電離輻射等惡劣工況條件下，工程技術(shù)人員可以通過(guò)先進(jìn)的人機(jī)交互和遙控技術(shù)對(duì)現(xiàn)場(chǎng)設(shè)備進(jìn)行操作，從而保護(hù)工作人員的身體免于損傷。人機(jī)交互和遠(yuǎn)程操控技術(shù)具有大量的市場(chǎng)需求和廣闊的應(yīng)用前景，相關(guān)的研究非常熱門(mén)。

    隨著虛擬現(xiàn)實(shí)和 5G 技術(shù)的發(fā)展，為人機(jī)交互和遠(yuǎn)程操控技術(shù)注入了新的技術(shù)元素。基于傳統(tǒng)技術(shù)的人機(jī)交互和遠(yuǎn)程操控已經(jīng)不能滿(mǎn)足人們的需求。作為納斯達(dá)克上市企業(yè)“微美全息US.WIMI”旗下研究機(jī)構(gòu)“微美全息科學(xué)院”的科學(xué)家們認(rèn)為，人們需要構(gòu)建一個(gè)具有逼真可視化效果，能夠與虛擬場(chǎng)景進(jìn)行自然交互，在虛擬現(xiàn)實(shí)環(huán)境中對(duì)設(shè)備進(jìn)行遠(yuǎn)程操控的系統(tǒng)。

    以下是微美全息科學(xué)院的科學(xué)與技術(shù)的融合性觀點(diǎn)，對(duì)“虛擬現(xiàn)實(shí)環(huán)境下人機(jī)交互與設(shè)備遠(yuǎn)程操控關(guān)鍵技術(shù)”具有前沿性指導(dǎo)意義。

    背景介紹

    隨著“智能制造”“工業(yè) 4.0”“工業(yè)互聯(lián)網(wǎng)”等概念的提出，相關(guān)的研究開(kāi)始變得熱門(mén)。在制造業(yè)，工廠數(shù)字化、智能化的改造升級(jí)也在如火如荼地進(jìn)行。很多數(shù)字化工廠都具備了先進(jìn)的人機(jī)交互手段和對(duì)設(shè)備進(jìn)行遠(yuǎn)程狀態(tài)監(jiān)測(cè)、運(yùn)行、維護(hù)的功能。通過(guò)先進(jìn)的人機(jī)交互和設(shè)備遠(yuǎn)程操控系統(tǒng)，工程技術(shù)人員、工作人員可以在舒適的辦公室甚至在千里之外的地方即可實(shí)現(xiàn)對(duì)設(shè)備的運(yùn)行狀態(tài)監(jiān)測(cè)、調(diào)試和維護(hù)，極大地提高了工作效率。尤其在高溫、有毒、高電離輻射等惡劣工況條件下，工程技術(shù)人員可以通過(guò)先進(jìn)的人機(jī)交互和遠(yuǎn)程操控技術(shù)對(duì)現(xiàn)場(chǎng)設(shè)備進(jìn)行遙控操作，從而保護(hù)工作人員的身體免于損傷。除了工業(yè)方面的應(yīng)用，在外科手術(shù)中，醫(yī)生運(yùn)用先進(jìn)的人機(jī)交互和遠(yuǎn)程操控技術(shù)可以實(shí)現(xiàn)遠(yuǎn)程的手術(shù)操作，不但能讓遠(yuǎn)在千里之外的患者享受到最優(yōu)質(zhì)的醫(yī)療服務(wù)，而且能大大減輕醫(yī)療人員的體力負(fù)擔(dān)。在太空探索中，借助于人機(jī)交互和遠(yuǎn)程操控技術(shù)，科學(xué)家不必冒著生命危險(xiǎn)親自前往外太空，只需要在地面控制中心遙控操作遠(yuǎn)在萬(wàn)里之外的機(jī)器人。

    虛擬現(xiàn)實(shí)技術(shù)提供了一種全新的查看和操作三維數(shù)據(jù)的方式，為人機(jī)交互和設(shè)備遠(yuǎn)程操控系統(tǒng)注入了新的技術(shù)元素。虛擬現(xiàn)實(shí)技術(shù)使用戶(hù)能夠進(jìn)入到計(jì)算機(jī)圖形系統(tǒng)搭建的場(chǎng)景中，并與其中的虛擬物體進(jìn)行互動(dòng)。隨著 HTC，F(xiàn)acebook 等科技公司的推動(dòng)，虛擬現(xiàn)實(shí)硬件平臺(tái)和軟件開(kāi)發(fā)平臺(tái)開(kāi)始進(jìn)入市場(chǎng)。其中，HTC 研發(fā)推出的HTCVIVE頭盔顯示系統(tǒng)具備大視場(chǎng)、高度沉浸感、高刷新頻率、良好的交互性等優(yōu)異性能。當(dāng)下，VR已成為繼互聯(lián)網(wǎng)、智能手機(jī)之后的下一個(gè)風(fēng)口，世界各科技廠商都開(kāi)始爭(zhēng)相進(jìn)入 VR 市場(chǎng)，VR 相關(guān)的研究和應(yīng)用正如火如荼地開(kāi)展。

    互聯(lián)網(wǎng)技術(shù)的不斷升級(jí)換代，網(wǎng)速和通信可靠性不斷提高，為遙控操作系統(tǒng)提供了通信技術(shù)條件。通常遙操作系統(tǒng)需要建立專(zhuān)門(mén)的通信鏈路，隨著互聯(lián)網(wǎng)的性能提升，建立基于互聯(lián)網(wǎng)的遙操作系統(tǒng)成為了可能。尤其是隨著 5G 的全面鋪開(kāi)，互聯(lián)網(wǎng)通信的網(wǎng)速將達(dá)到 1Gbit/s，通信的延遲將縮短為 20 毫秒以?xún)?nèi)。在 5G 支持下，人們可以在遙操作系統(tǒng)終端上，遠(yuǎn)程駕駛自己的汽車(chē)，遠(yuǎn)程操作家中的電器，遠(yuǎn)程使用部署在遠(yuǎn)端服務(wù)器上的大型軟件，遠(yuǎn)程操作大型的實(shí)驗(yàn)器材。在工業(yè)生產(chǎn)中，的大部分設(shè)備都可以接入互聯(lián)網(wǎng)，傳輸大量實(shí)時(shí)數(shù)據(jù)。工程技術(shù)人員在遠(yuǎn)程操控現(xiàn)場(chǎng)設(shè)備的操作體驗(yàn)將顯著提升。

    虛擬現(xiàn)實(shí)技術(shù)國(guó)內(nèi)外研究現(xiàn)狀

    虛擬現(xiàn)實(shí)技術(shù)（Virtual Reality,簡(jiǎn)稱(chēng) VR），又稱(chēng)靈境技術(shù)，是利用電腦模擬產(chǎn)生一個(gè)三維空間的虛擬世界，讓使用者能夠沉浸在虛擬空間中，如同身處實(shí)際場(chǎng)景中一樣。虛擬現(xiàn)實(shí)融合了多種技術(shù)包括模型構(gòu)建和3D顯示技術(shù)，人體動(dòng)作捕捉和傳感器等技術(shù)。人機(jī)交互（Human–Machine  Interaction），主要研究的是人機(jī)界面人對(duì)機(jī)器的操作方式和交互方式。人機(jī)界面是人與機(jī)器接觸的部分，包括手機(jī)電腦的軟件界面，各種設(shè)備的控制面板都屬于人機(jī)界面部分。遠(yuǎn)程操控（Teleoperation），是指通過(guò)有線(xiàn)或無(wú)線(xiàn)通信手段，將控制指令傳遞到操作終端，在操控過(guò)程中包括對(duì)設(shè)備信息的實(shí)時(shí)采集和呈現(xiàn)，指令的編碼和傳輸?shù)确矫�。將虛擬現(xiàn)實(shí)技術(shù)、人機(jī)交互技術(shù)和遠(yuǎn)程操控技術(shù)相結(jié)合，實(shí)現(xiàn)在虛擬現(xiàn)實(shí)環(huán)境下的人機(jī)交互和遠(yuǎn)程操控，國(guó)內(nèi)外有很多相關(guān)的研究和實(shí)踐。

    IBM、麻省理工學(xué)院和Heartport公司聯(lián)手開(kāi)發(fā)的達(dá)芬奇手術(shù)機(jī)器人系統(tǒng)運(yùn)用了多種人機(jī)交互和遠(yuǎn)程操控技術(shù)。該系統(tǒng)采集人的操縱信息、觸覺(jué)信息，經(jīng)過(guò)系統(tǒng)處理傳輸?shù)綑C(jī)械手執(zhí)行手術(shù)動(dòng)作，機(jī)械臂的成像系統(tǒng)采集并放大視覺(jué)信號(hào)傳輸至虛擬現(xiàn)實(shí)成像系統(tǒng)，將手術(shù)場(chǎng)景立體呈現(xiàn)給操作人員。該系統(tǒng)運(yùn)用了系統(tǒng)界面、VR 立體成像、人體動(dòng)作傳感、觸覺(jué)傳感等多種交互手段實(shí)現(xiàn)人機(jī)信息傳遞。采用信息實(shí)時(shí)傳輸和高速處理技術(shù)消除信息傳輸和處理過(guò)程的延遲。采用精密伺服反饋控制系統(tǒng)和多種先進(jìn)控制算法程序?qū)崿F(xiàn)對(duì)機(jī)械臂的精確控制。

    日本豐田公司最新發(fā)布的 T-HR3 機(jī)器人系統(tǒng)，采用遠(yuǎn)程操控的方式完全模仿人的動(dòng)作。操作系統(tǒng)采集到人員的動(dòng)作信息，通過(guò)無(wú)線(xiàn)數(shù)據(jù)鏈路將人的動(dòng)作信息傳輸?shù)綑C(jī)器人執(zhí)行同樣的動(dòng)作。機(jī)器人的視覺(jué)系統(tǒng)將采集到的視覺(jué)信息回傳給操作人員，通過(guò) VR 成像系統(tǒng)立體呈現(xiàn)給操作人員。

    美國(guó)諾斯羅普•格魯曼公司研制的全球鷹無(wú)人機(jī)系統(tǒng)通過(guò)地面控制站實(shí)現(xiàn)人機(jī)信息傳遞，信息通過(guò)高速數(shù)據(jù)鏈傳輸至無(wú)人機(jī)執(zhí)行，無(wú)人機(jī)的視覺(jué)傳感器將采集到的信息回傳至地面控制站，控制站將無(wú)人機(jī)的各項(xiàng)參數(shù)通過(guò)顯示面板呈現(xiàn)給操作人員。北京航空航天大學(xué)開(kāi)發(fā)的用于飛行員訓(xùn)練的虛擬現(xiàn)實(shí)系統(tǒng)，能夠使飛行員沉浸于虛擬機(jī)艙環(huán)境，虛擬機(jī)艙根據(jù)飛行員的操作實(shí)時(shí)繪制出虛擬場(chǎng)景，使飛行員具有和真實(shí)駕駛環(huán)境類(lèi)似的人機(jī)交互環(huán)境，大大降低了飛行員的訓(xùn)練成本。

    從上述研究，可以提煉出虛擬現(xiàn)實(shí)環(huán)境下的人機(jī)交互和遠(yuǎn)程操控的若干共性技術(shù)。這些技術(shù)可以歸納為對(duì)人信息的采集，對(duì)機(jī)器信息的采集，信息的三維呈現(xiàn)和遠(yuǎn)程控制等。機(jī)器視覺(jué)是信息采集獲取的重要途徑。無(wú)論對(duì)人還是機(jī)器，通過(guò)視覺(jué)進(jìn)行信息采集都是信息獲取的重要途徑。對(duì)機(jī)器視覺(jué)的研究最早是對(duì)二維圖像的模式識(shí)別和分析。20世紀(jì) 70 年代隨著計(jì)算機(jī)的發(fā)展機(jī)器視覺(jué)的理論體系得以創(chuàng)建。Marr 建立了一套完整的機(jī)器視覺(jué)理論體系。Marr 的視覺(jué)理論將視覺(jué)處理分為二維數(shù)據(jù)采集、提取關(guān)鍵要素和三維重建。根據(jù)圖像的點(diǎn)、線(xiàn)、曲率等要素及其各種要素間的關(guān)系，通過(guò)一系列的后期處理，恢復(fù)出場(chǎng)景的三維信息。在 Marr 視覺(jué)理論的基礎(chǔ)上又發(fā)展出了帶有特征拾取，信息反饋，帶有目的的特征識(shí)別等一系列的改進(jìn)模式。

    機(jī)器視覺(jué)系統(tǒng)的組成包括燈光系統(tǒng)、光電轉(zhuǎn)換系統(tǒng)、成像系統(tǒng)、圖像加工模塊。通過(guò)光電轉(zhuǎn)換將目標(biāo)轉(zhuǎn)換為數(shù)字信號(hào)，系統(tǒng)對(duì)數(shù)字信號(hào)進(jìn)行處理，形成像素的灰度和彩色數(shù)字。根據(jù)數(shù)字信號(hào)的特征，獲得有用知識(shí)。在光源方面，通常針對(duì)不同的特征提取需求采用不同的照明方案。在視覺(jué)系統(tǒng)中，有多種光照方式，包括反向照明、正向照明、結(jié)構(gòu)光源和閃光等。反向照明指光源透過(guò)被照物體，光源的方向朝向攝像機(jī)。正向照明是指光源直接照射物體，物體的反射光被攝像機(jī)捕捉到形成圖像。結(jié)構(gòu)光源是具有一定形狀特征的光源，例如線(xiàn)裝或點(diǎn)狀陣列光源，這些形狀照射在物體上會(huì)產(chǎn)生變形，系統(tǒng)根據(jù)變形信息反推出物體的深度信息。閃光是非連續(xù)光照，僅在攝像機(jī)拍攝時(shí)有短暫光照。CCD(Charge Coupled Device)和圖像采集卡技術(shù)的進(jìn)步，促進(jìn)了機(jī)器視覺(jué)的應(yīng)用。

    隨著光電轉(zhuǎn)換器件的性能提升，元件越來(lái)越小，信號(hào)的傳輸能力越來(lái)越強(qiáng)。以 PC(Personal Computer)機(jī)為中心的視覺(jué)系統(tǒng)中，需要借助于顯卡來(lái)對(duì)拍攝的圖像進(jìn)行處理，顯卡能夠?qū)�圖像數(shù)字化為像素和灰度值信息。提取復(fù)雜信號(hào)的特征需要借助于多個(gè)步驟分步實(shí)現(xiàn)。首先要將關(guān)注的目標(biāo)同背景區(qū)分開(kāi)來(lái)。目標(biāo)與背景差別比較小并且難以區(qū)分時(shí)，通常要對(duì)目標(biāo)進(jìn)行特征放大和增強(qiáng)。特征被放大增強(qiáng)以后就能夠同背景進(jìn)行區(qū)分。把目標(biāo)從背景分離出的方法包括：偽目標(biāo)刪除方法、自適應(yīng)閾值方法、逐步驟類(lèi)方法、多信息融合方法等。

    目前，三維動(dòng)作捕捉技術(shù)是研究的熱點(diǎn)。三維運(yùn)動(dòng)捕捉技術(shù)能夠可以測(cè)量、跟蹤和記錄物體在三維空間中的運(yùn)動(dòng)軌跡，不僅人體動(dòng)作信息采集，在很多研究領(lǐng)域都有著廣泛應(yīng)用。三維運(yùn)動(dòng)捕捉技術(shù)的產(chǎn)生可以追溯到 20 世紀(jì) 70 年代，最初是由心理學(xué)家 Johansson在對(duì)人體運(yùn)動(dòng)的視覺(jué)感知研究中提出來(lái)的。20 世紀(jì) 80 年代以來(lái)，以 Calvert、Carol、Robertson 以及Walters 和 Tardif 為代表的教授和學(xué)者，先后對(duì)于三維運(yùn)動(dòng)捕捉技術(shù)進(jìn)行了深入研究，推動(dòng)了該技術(shù)的發(fā)展，使得該技術(shù)日趨成熟。

    隨著虛擬現(xiàn)實(shí)技術(shù)研究的深入和相關(guān)技術(shù)的成熟，在虛擬環(huán)境中與虛擬模型進(jìn)行交互控制成為了現(xiàn)實(shí)。虛擬現(xiàn)實(shí)涉及的技術(shù)領(lǐng)域很多，是一個(gè)多種技術(shù)共同發(fā)展的結(jié)果。虛擬現(xiàn)實(shí)技術(shù)涉及模型構(gòu)建和 3D 顯示、人機(jī)互動(dòng)、穿戴式傳感器、機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域技術(shù)。利用虛擬現(xiàn)實(shí)技術(shù)，可以給用戶(hù)提供包括視覺(jué)觸覺(jué)聽(tīng)覺(jué)甚至嗅覺(jué)的感官體驗(yàn)，使參與者具有很強(qiáng)的身臨其境感。虛擬現(xiàn)實(shí)系統(tǒng)需要實(shí)時(shí)采集捕捉使用者的運(yùn)動(dòng)狀態(tài)信息，從而生成相應(yīng)的圖像畫(huà)面投影到使用者的雙眼。該技術(shù)集成了 3D 顯示、仿真、機(jī)器視覺(jué)、機(jī)器學(xué)習(xí)、并行處理等技術(shù)的最新發(fā)展成果，是一種由計(jì)算機(jī)技術(shù)輔助生成的高技術(shù)模擬系統(tǒng)。

    虛擬現(xiàn)實(shí)的概念最早提出與 20 世紀(jì)中期。美國(guó)宇航局對(duì)虛擬現(xiàn)實(shí)的顯示屏和傳感器等關(guān)鍵技術(shù)進(jìn)行了研究，推出了 LCD(Liquid Crystal Display)顯示屏等先進(jìn)技術(shù)，使虛擬現(xiàn)實(shí)技術(shù)得以發(fā)展。1968 年，哈佛大學(xué)開(kāi)發(fā)了一種頭戴式顯示器，配合頭部動(dòng)作捕捉系統(tǒng)，可以給使用者提供初步的立體視覺(jué)，這是虛擬現(xiàn)實(shí)技術(shù)研究的一項(xiàng)重要突破。之后的虛擬現(xiàn)實(shí)系統(tǒng)開(kāi)發(fā)多基于這種架構(gòu)。2015 年，HTC VIVE 公司研制的虛擬現(xiàn)實(shí)頭盔系統(tǒng)投入市場(chǎng)，代表著虛擬現(xiàn)實(shí)技術(shù)的研究已經(jīng)從實(shí)驗(yàn)室走向了市場(chǎng)。虛擬現(xiàn)實(shí)技術(shù)的研究也從理論研究轉(zhuǎn)為應(yīng)用中具體問(wèn)題的研究。

    綜上所述，機(jī)器視覺(jué)、動(dòng)作捕捉、VR 和遠(yuǎn)程控制等技術(shù)不斷進(jìn)步，達(dá)芬奇手術(shù)機(jī)器人和豐田 T-HR3 機(jī)器人等通過(guò)對(duì)上述技術(shù)的整合和系統(tǒng)集成實(shí)現(xiàn)了在虛擬現(xiàn)實(shí)環(huán)境下的沉浸式人機(jī)交互和對(duì)機(jī)器的遠(yuǎn)程操作。在虛擬現(xiàn)實(shí)環(huán)境下的沉浸式人機(jī)交互將取代現(xiàn)有的鼠標(biāo)、鍵盤(pán)、顯示屏的人機(jī)交互方式。隨著相關(guān)研究和開(kāi)發(fā)的進(jìn)行和關(guān)鍵技術(shù)的突破，電影阿凡達(dá)中出現(xiàn)的那種遙控外星軀體的科幻場(chǎng)景將成為現(xiàn)實(shí)。

    虛擬現(xiàn)實(shí)環(huán)境下人機(jī)交互與設(shè)備遠(yuǎn)程控制框架體系的結(jié)合

    為了解決虛擬現(xiàn)實(shí)環(huán)境下人機(jī)交互與設(shè)備遠(yuǎn)程控制系統(tǒng)所需解決的數(shù)據(jù)采集、模型構(gòu)建和顯示、人機(jī)交互、安全控制等難題，一種基于虛擬現(xiàn)實(shí)環(huán)境下人機(jī)交互與設(shè)備遠(yuǎn)程控制框架模型，如圖1所示。從邏輯上分析，該框架模型包括五個(gè)層次：硬件執(zhí)行層、工業(yè)網(wǎng)絡(luò)層、系統(tǒng)層、邏輯控制層、用戶(hù)操作層。這些層次之間有一定的邏輯或業(yè)務(wù)交互關(guān)系，每個(gè)層中又包含若干安全控制機(jī)制與方法，形成一套完整的虛擬現(xiàn)實(shí)環(huán)境下人機(jī)交互與設(shè)備遠(yuǎn)程控制邏輯架構(gòu)體。

    （1）硬件執(zhí)行層

    硬件執(zhí)行層為系統(tǒng)的硬件構(gòu)成，主要執(zhí)行來(lái)自虛擬現(xiàn)實(shí)系統(tǒng)中的 UI 界面模塊發(fā)來(lái)的各種生產(chǎn)指令。在智能制造車(chē)間，工業(yè)機(jī)器人、數(shù)控機(jī)床、加工中心、3D 打印機(jī)、智能 AGV(Automated Guided Vehicle)小車(chē)和工人等形成智能人機(jī)集群。這些設(shè)備的運(yùn)行狀態(tài)信息由數(shù)據(jù)采集設(shè)備負(fù)責(zé)采集，經(jīng)過(guò)數(shù)據(jù)處理將數(shù)據(jù)提供給虛擬模型的加載和顯示模塊。

    （2）工業(yè)網(wǎng)絡(luò)層

    工業(yè)網(wǎng)絡(luò)層是將虛擬現(xiàn)實(shí)系統(tǒng)底層的現(xiàn)場(chǎng)控制單元和智能生產(chǎn)設(shè)備互連的實(shí)時(shí)工業(yè)通信網(wǎng)絡(luò)，常見(jiàn)的有基于現(xiàn)場(chǎng)總線(xiàn)、工業(yè)以太網(wǎng)等技術(shù)手段進(jìn)行工業(yè)設(shè)備網(wǎng)絡(luò)通訊，它包括有線(xiàn)傳輸方式與無(wú)線(xiàn)傳輸方式。有線(xiàn)傳輸方式一般基于現(xiàn)場(chǎng)總線(xiàn)、工業(yè)以太網(wǎng)等，采用 Profibus、Profinet、TCP／IP 協(xié)議等多類(lèi)型的標(biāo)準(zhǔn)，高速度、高頻寬及高可靠度的網(wǎng)絡(luò)傳輸通道。無(wú)線(xiàn)網(wǎng)絡(luò)傳輸方式如工業(yè)無(wú)線(xiàn)傳感器網(wǎng)絡(luò)，進(jìn)行數(shù)據(jù)傳輸及傳感器連接，不需要現(xiàn)場(chǎng)布線(xiàn)，方便快捷，但是網(wǎng)絡(luò)帶寬及傳輸可靠性較差。

    （3）系統(tǒng)層

    系統(tǒng)層是指運(yùn)行與硬件層之上的系統(tǒng)軟件。它是虛擬現(xiàn)實(shí)環(huán)境下人機(jī)交互和設(shè)備遠(yuǎn)程控制系統(tǒng)框架模型的中間核心層，通過(guò)系統(tǒng)層可實(shí)現(xiàn)在虛擬現(xiàn)實(shí)環(huán)境下對(duì)智能設(shè)備的安全可靠的遠(yuǎn)程監(jiān)視與控制。主要功能有數(shù)據(jù)采集、設(shè)備控制、通訊管理、模型驅(qū)動(dòng)、3D 顯示、系統(tǒng)安全管理等。在本模型中，系統(tǒng)安全管理的典型功能有數(shù)字簽名、對(duì)稱(chēng)加密、非對(duì)稱(chēng)加密、安全機(jī)制等。

    （4）邏輯控制層

    邏輯控制層是系統(tǒng)的業(yè)務(wù)邏輯關(guān)系。主要處理來(lái)自用戶(hù)操作層對(duì)系統(tǒng)層的操作指令，對(duì)相關(guān)數(shù)據(jù)進(jìn)行處理。該層主要包括業(yè)務(wù)過(guò)程的邏輯控制、數(shù)據(jù)處理與算法優(yōu)化等。主要模塊有指令執(zhí)行、數(shù)據(jù)處理、業(yè)務(wù)交互等。

    （5）用戶(hù)操作層

    用戶(hù)操作層是實(shí)現(xiàn)用戶(hù)與軟件系統(tǒng)交互、對(duì)硬件執(zhí)行層發(fā)布各種指令的界面，它由各種應(yīng)用系統(tǒng)界面接口、多類(lèi)型用戶(hù)終端設(shè)備（例如數(shù)據(jù)手套、攝像頭、VR 眼鏡等）、多種工業(yè) API 接口等。

圖1 虛擬現(xiàn)實(shí)環(huán)境下人機(jī)交互和設(shè)備遠(yuǎn)程控制系統(tǒng)框架模型

    虛擬現(xiàn)實(shí)環(huán)境下設(shè)備遠(yuǎn)程控制系統(tǒng)分為多個(gè)層級(jí)，包括客戶(hù)端層、智能設(shè)備層、Server 層等。如圖2所示，控制系統(tǒng)主體為基于 OPC(OLE for Process Control)的客戶(hù)端/服務(wù)器結(jié)構(gòu)。系統(tǒng)每一個(gè)層級(jí)都可以包含信息交互、指令執(zhí)行和安全控制等模塊。例如在智能設(shè)備層，信息交互模塊實(shí)現(xiàn)了智能設(shè)備的人與機(jī)器的會(huì)話(huà)，機(jī)器與機(jī)器的會(huì)話(huà)，機(jī)器與網(wǎng)絡(luò)的會(huì)話(huà)以及對(duì)復(fù)雜信息的處理等功能；指令執(zhí)行模塊可實(shí)現(xiàn)Server發(fā)來(lái)的各種指令的執(zhí)行，如刀具更換、各運(yùn)動(dòng)軸變速、開(kāi)關(guān)門(mén)、設(shè)備開(kāi)關(guān)機(jī)等操作指令；安全控制模塊具有對(duì)設(shè)備控制指令進(jìn)行數(shù)字簽名、對(duì)稱(chēng)加密和非對(duì)稱(chēng)加密等功能。

    圖2設(shè)備遠(yuǎn)程控制系統(tǒng)結(jié)構(gòu)模型

    為實(shí)現(xiàn)在虛擬現(xiàn)實(shí)環(huán)境下遠(yuǎn)程操控工業(yè)設(shè)備，建立了一套完整的系統(tǒng)。機(jī)器視覺(jué)、虛擬現(xiàn)實(shí)和遠(yuǎn)程控制等多項(xiàng)技術(shù)的發(fā)展，為這樣的系統(tǒng)構(gòu)建提供了很好的技術(shù)支撐。為使各項(xiàng)技術(shù)能夠協(xié)調(diào)配合更好地適用于所要建立的系統(tǒng)環(huán)境，還需要對(duì)各項(xiàng)技術(shù)進(jìn)行綜合運(yùn)用和優(yōu)化改進(jìn)，系統(tǒng)構(gòu)建步驟如圖3所示。

圖3虛擬現(xiàn)實(shí)環(huán)境下人機(jī)交互與設(shè)備遠(yuǎn)程控制系統(tǒng)構(gòu)建步驟

    如圖3所示，在步驟 1 構(gòu)建系統(tǒng)的數(shù)據(jù)采集系統(tǒng)。數(shù)據(jù)采集系統(tǒng)為系統(tǒng)提供數(shù)據(jù)饋送支持�，F(xiàn)場(chǎng)多種設(shè)備的狀態(tài)信息，通過(guò)數(shù)據(jù)采集系統(tǒng)獲取，根據(jù)這些數(shù)據(jù)來(lái)驅(qū)動(dòng)虛擬模型。然后借助于視覺(jué)標(biāo)記間接獲取設(shè)備運(yùn)動(dòng)信息的數(shù)據(jù)采集方法。

    在步驟 1 進(jìn)行視覺(jué)標(biāo)記設(shè)計(jì)、識(shí)別和定位相關(guān)技術(shù)的研究。

    步驟 2，完成場(chǎng)景實(shí)時(shí)構(gòu)建和 3D 顯示。在步驟 1 中獲取到的現(xiàn)場(chǎng)設(shè)備數(shù)據(jù)，通過(guò)步驟 2 以三維可視化的形式呈現(xiàn)。步驟 2 主要研究場(chǎng)景的實(shí)時(shí)構(gòu)建、快速加載、動(dòng)態(tài)運(yùn)動(dòng)，虛實(shí)同步等問(wèn)題的解決。最后研究 3D 顯示的實(shí)現(xiàn)方案和在虛擬現(xiàn)實(shí)環(huán)境下的交互方案。

    步驟 3，搭建一個(gè)低延時(shí)、安全遠(yuǎn)程控制系統(tǒng)，并實(shí)現(xiàn)系統(tǒng)與被控設(shè)備的軟硬件連接。在虛擬現(xiàn)實(shí)系統(tǒng)中，UI 界面產(chǎn)生的操作指令通過(guò)遠(yuǎn)程控制系統(tǒng)發(fā)送至終端設(shè)備并被執(zhí)行。在該步驟中研究解決通信延遲、通信安全和基于 PLC 的終端控制系統(tǒng)搭建問(wèn)題。

    步驟 4，將步驟 1 至 3 中所研究和提出的解決方案，以及建立的系統(tǒng)模塊進(jìn)行系統(tǒng)集成與測(cè)試。該部分采用數(shù)據(jù)緩存文件的方式實(shí)現(xiàn)系統(tǒng)模塊間的連接。最后對(duì)系統(tǒng)及其各模塊進(jìn)行運(yùn)行測(cè)試，完成系統(tǒng)的構(gòu)建。

    研究展望

    諸多的技術(shù)發(fā)展，已經(jīng)為構(gòu)建一個(gè)虛擬現(xiàn)實(shí)環(huán)境下的人機(jī)交互與設(shè)備遠(yuǎn)程操控系統(tǒng)創(chuàng)造了很好的條件。人們希望將虛擬現(xiàn)實(shí)和互聯(lián)網(wǎng) 5G 等新技術(shù)應(yīng)用于數(shù)字化生產(chǎn)制造領(lǐng)域。然而集成這樣的融合了軟件、電子、機(jī)械諸多學(xué)科的復(fù)雜系統(tǒng)，還需要對(duì)各項(xiàng)技術(shù)進(jìn)行優(yōu)化改進(jìn)。研究人機(jī)數(shù)據(jù)采集、場(chǎng)景實(shí)時(shí)建模和 3D 顯示、低延時(shí)安全遠(yuǎn)程控制等關(guān)鍵技術(shù)，并集成關(guān)鍵技術(shù)，開(kāi)發(fā)的虛擬現(xiàn)實(shí)環(huán)境下的人機(jī)交互和設(shè)備遠(yuǎn)程操控系統(tǒng)能夠進(jìn)一步提升了人機(jī)交互體驗(yàn)和遠(yuǎn)程操控效率，同時(shí)改進(jìn)的關(guān)鍵技術(shù)問(wèn)題具有普遍的適用性，對(duì)進(jìn)一步提高智能工廠的自動(dòng)化、智能化水平具有很好的參考價(jià)值，具有大量的市場(chǎng)需求。