長崎大學用Hololens2構建遠程醫(yī)療系統(tǒng)，改善偏遠地區(qū)醫(yī)療保健

    在日本偏遠的島嶼和農(nóng)村地區(qū)，沒有大型醫(yī)院提供專門護理。為了縮小醫(yī)療保健方面的差距，長崎大學把目光投向了擁有巨大潛力的混合現(xiàn)實和3D技術。

    2021年，研究團隊開發(fā)了長崎大學類風濕關節(jié)炎遠程醫(yī)療系統(tǒng)（Nagasaki University Rheumatoid Arthritis Remote Medical System；NURAS），而這是日本第一個用于治療類風濕關節(jié)炎的遠程醫(yī)療系統(tǒng)。同年3月，長崎大學和位于長崎縣離島的五島中央病院開始了示范實驗，并以Microsoft Azure Kinect DK和Hololens2作為基礎。未來，遠程醫(yī)療將在日本各個地區(qū)的偏遠島嶼和偏遠地區(qū)實現(xiàn)。

    1. 消除醫(yī)療保健方面的差距

    長崎縣擁有大量的離島。出生率下降和人口老齡化導致醫(yī)療人員長期短缺。特別是，在急需專家的地區(qū)，與市中心的醫(yī)療差距已成為一個重大問題。

    由于風濕性關節(jié)炎治療需要高水平的專業(yè)知識，島上居民一般會前往本島醫(yī)院咨詢專家。但是，長途旅行是患者的主要生理和心理負擔，而且自新冠疫情爆發(fā)以來，長途旅行變得更加困難。

    長崎大學大學院醫(yī)齒藥學綜合研究科的離島醫(yī)療研究所助教野中文陽表示：“很多患者都希望在五島中央病院完成治療�！�

    類風濕性關節(jié)炎是一種難以治療的疾病。不過，生物制劑和其他治療劑已使早期診斷和適當治療成為可能。為了幫助偏遠島嶼居民以及主島居民能夠接觸到相關專家，長崎大學選擇了微軟的混合現(xiàn)實和3D技術。

    野中文陽指出：“我們曾嘗試通過可穿戴的攝像設備向遠程專家發(fā)送圖像和聲音。但是，專家很難看到受影響的區(qū)域，而且患者無法直接與專家溝通�！�

    2. 使用HoloLens 2來實現(xiàn)遠程診療

    2019年春天，微軟日本的首席技術官榊原彰在日本風濕病學會主辦的演講會中介紹了使用HoloLens和Azure Kinect DK的診療技術。長崎大學大學院醫(yī)齒藥學綜合研究科的講師川?真也有參加所述活動，并確信3D影像的巨大信息量可以用于離島偏僻地區(qū)的關節(jié)風濕診療。后來，HoloLens 2的技術演示給川?真也帶來了靈感。

    川?真也回憶道：“真實世界和全息圖能夠融合在一起，你仿佛就是在科幻小說的世界里。在臨床實踐中使用混合現(xiàn)實設備將在不久的將來實現(xiàn)�！�

    在2020年的春天，作為一個行業(yè)-學術聯(lián)合項目，研究團隊開始將HoloLens 2和Azure Kinect DK用于開發(fā)遠程醫(yī)療系統(tǒng)NURAS。

    系統(tǒng)開發(fā)由Rocket Studio和微軟日本提供支持。2020年夏天，由于疫情影響，團隊選擇通過Microsoft Teams舉行了在線會議，討論了一系列的重要事項。2020年10月，原型測試在長崎大學和五島中央病院遠程進行，并于12月完成。2021年3月，這所大學開啟了實驗演示。

    川?真也指出：“項目開發(fā)的重點是，偏遠地區(qū)的專家是否能夠像面對面護理那樣提供醫(yī)療護理。我們已經(jīng)構建出一系列的原型，而每次我們都要求他們進行改進，例如調(diào)整手指圖像，并使其能夠盡可能精確地表達皮膚皺紋和不規(guī)則表面。我們能夠快速做出反應，并獲得比預期更好的結果�！�

3. 重新發(fā)現(xiàn)成功的概念驗證，Microsoft Teams帶來了有效溝通

    在遠程醫(yī)療中，偏遠地區(qū)的患者和當?shù)蒯t(yī)師，以及遠程專家之間的成功合作非常重要。

    團隊在位于離島的五島中央病院安裝了一臺攝影儀器，然后三臺Azure Kinect DK設備設置在患者周圍，從而在三個方向同時成像病理情況。成像設備本身約為半平方厘米，而患者與當?shù)蒯t(yī)師之間的距離非常接近，這能夠減少患者的不適感。

    圖像實時傳輸?shù)介L崎大學，并允許專家使用HoloLens 2查看圖像。病理區(qū)域的全息3D圖像可以從不同角度查看，并且可以使用手指操縱移動。在檢查周圍區(qū)域的同時能夠在辦公室內(nèi)移動是混合現(xiàn)實設備的一個重要優(yōu)勢。

    另外，團隊使用Microsoft Teams來幫助患者、當?shù)蒯t(yī)師和遠程專家進行實時溝通。

    野中文陽解釋道：“通過Teams，病人可與他們的當?shù)蒯t(yī)師及遠程�？漆t(yī)生溝通，從而實現(xiàn)安全感和滿意感。當?shù)蒯t(yī)師可以在專家的適當建議下診查病人。三方通信是這個系統(tǒng)的吸引人之處之一�！�

    4. 使用人工智能支持遠程專家

    2018年，日本風濕病學會成立了人工智能醫(yī)學促進委員會，而委員會的第一任主席是長崎大學的風濕病和自身免疫/炎癥疾病領域教授川上純。

    川上純解釋道：“AI在診斷成像和癌癥基因組學研究方面已經(jīng)取得了顯著的成果。我們相信AI可以用于類風濕性關節(jié)炎領域的標準化數(shù)據(jù)，并通過超聲波、患者檔案和血液檢測對關節(jié)進行圖像分析�！�

    類風濕性關節(jié)炎的診查必不可少，患者報告的結果（PROs）同樣重要。目前的衡量標準包括評估身體功能的健康評估問卷和與健康相關的生活質(zhì)量量表。然而，人工智能對PROs信息的分析將有助于醫(yī)生發(fā)現(xiàn)細微變化，并為患者提供更為合理的醫(yī)療護理。

    野中文陽希望“人工智能能夠檢測出醫(yī)生難以判斷的細微面部變化”，他進一步指出：“（人工智能）有助于在測量患者滿意度或總結重新考慮治療的必要性等方面提供支持�！�

    作為下一步，川上純將大力推廣實施Microsoft Azure AI技術。

    第一，Azure Cognitive Services（AI）可用于Azure Kinect DK評估患者的面部表情，并自動衡量患者的情緒。

    第二，Azure Custom Vision用于從病理圖像中檢測腫脹的關節(jié)，從而提高混合現(xiàn)實診查的準確性。

    第三，Teams中的語言識別功能用于會診期間的文本對話，然后保存在醫(yī)療圖表中。理想情況下，從對話中收集信息的能力將提高系統(tǒng)層面的醫(yī)療質(zhì)量，并減少醫(yī)療咨詢所需的時間。

5. 將遠程醫(yī)療業(yè)務擴展到日本各地

    川上純指出：“風濕性關節(jié)炎遠程診療在日本是第一次，而在世界范圍內(nèi)同樣是一次非常先進的實驗。我們希望我們在這項實驗測試中的經(jīng)驗能夠幫助所述系統(tǒng)推廣到更廣泛的地區(qū)。同時，我們希望將這個系統(tǒng)應用于其他醫(yī)療領域，如神經(jīng)系統(tǒng)、運動神經(jīng)系統(tǒng)、或者皮膚病。”

    野中文陽則表示：“通過推廣遠程醫(yī)療，我們可以提高偏遠島嶼和偏遠地區(qū)患者的生活質(zhì)量�！�

    川上純進一步補充道：“到目前為止，與不同部門的合作尚不充分。為了提升研究成果，我們必須與不同領域的人合作開發(fā)這一項目�！彼�觀察到，沒有不同部門之間的合作，創(chuàng)新就不會發(fā)生。

    在日本進行的首次實驗演示反映了相關人員的熱情以及不同行業(yè)之間的合作。如今，人們普遍認為生活質(zhì)量的提升是由各種技術的發(fā)展所支撐，而這顯然包括醫(yī)療領域。但當然，長崎大學這群先驅者將繼續(xù)致力于解決前方的挑戰(zhàn)，從而為患者帶來真正的福音。