混合現實技術常見應用場景*

羅 偉 王燕一 侯 霞 龐戀蘇 劉洪臣

20世紀后半葉以來，數字化浪潮逐漸席卷全球，各行各業逐步從真實活動進入到虛擬世界。在此過程中，人機交互設備也從傳統鼠標鍵盤的真實交互向虛擬設備發展，逐步出現虛擬現實、增強現實、混合現實等技術。

1.AR/MR簡介

上世紀80年代末，Jaron Lanier正式使用Virtual Reality一詞并獲得廣泛認可[1]。維基百科對虛擬現實技術(Virtual Reality，簡稱VR)的定義是：一個由計算機生成的模擬三維仿真環境，混合了視覺、聽覺甚至觸覺，人可以在其中探索、交互，是一種沉浸式模擬環境。從根本上說VR會將人帶入另一個世界。2000年以來，計算設施和智能手機越來越強大，高清晰度顯示和3D圖像能力劇增，VR獲得迅速發展。各種頭戴式顯示設備相繼問世，有力促進了VR的快速發展。比較有名的設備有Google Cardboard，Samsung galaxy Gear，Oculus Rift，HTC vive等。得益于云計算的發展，近幾年基于云端的VR應用不斷出現[2]。

增強現實技術(Augmented Reality，簡稱AR)是在現實世界上實時疊加計算機生成的信息，通過視覺、聽覺、觸覺、體感甚至嗅覺等傳感器提供一個混合的交互式體驗，從而實現虛擬信息對真實環境的“強化”。這種技術的目標是在屏幕上把虛擬世界套在現實世界并進行互動。早期有名的AR設備是谷歌眼鏡，允許用戶在視野內使用地圖、電子郵件等服務?，F在移動端也有很多支持AR等應用，最典型的如地圖類應用。下圖是采用AR技術的某地圖應用，在屏幕上實時顯示步行路線指示。

圖1 AR地圖應用

混合現實技術(Mixed Reality，簡稱MR)是繼虛擬現實、增強現實之后，出現的全新數字全息影像技術(見圖2，圖3)?；旌犀F實有時也稱hybrid reality，它打破真實世界和數字世界的界限，借助于沉浸技術將兩者融合生成一個新的環境，包容了虛擬現實和增強現實。MR比AR更進一步，對環境進行識別，不只是簡單的在相機的圖像上疊加了虛擬圖像，而是將計算機生成的圖像錨定在真實世界的某一個點上?？梢哉fMR是高保真的AR，也有人將AR和MR歸為一類。微軟將自己的Hololens定位為MR產品，并宣稱將只關注MR。其他知名產品有創業公司Magic Leap，在2018年8月剛剛開始開放訂購。虛擬現實技術發展到現在，AR和MR成了主流[3],為了保持術語使用的一慣性，在后面的文章里，AR指代低保真度的AR，而MR指高保真度的AR。

圖2 虛擬現實、增強現實與混合現實

隨著計算機產業技術發展，虛擬現實核心技術升級進步，計算機及各類移動設備性能的提升，在虛擬現實技術基礎上發展出增強現實/混合現實技術。

與虛擬現實完全沉浸在虛擬的環境中不同，增強現實/混合現實是一種將虛擬信息與真實世界巧妙融合的技術，技術強調將虛擬的物體疊加或合成到真實世界中，在工業制造、軍事、文化傳播等領域已得到廣泛應用。

圖3 一個典型混合現實技術結構圖

與VR相比，AR/MR最大的優勢在于其靈活性。在使用VR時你完全沉浸于另一個世界，難以再與真實世界互動。而使用AR和MR時，更強調現實世界的信息。增強現實的顯示目前有HMD(Head Mounted Display，即頭戴式顯示器，俗稱頭盔)、投影和桌面顯示三種主要方式，最受青睞的是HMD。

以目前比較成熟的MR設備——微軟的Hololens為例介紹一下AR/MR系統的組成，包括：透射式HMD、環境感知模塊、交互設備和虛擬場景生成單元。透射式HMD負責輸出虛擬和現實融合后的信號；環境感知模塊負責混合現實捕獲，追蹤用戶感官信號；交互設備負責環境控制及視線跟蹤、手勢及語音控制；虛擬場景生成單元負責虛擬場景的三維建模、繪制和管理。Hololens擁有3個處理器——除了常規的CPU、GPU，還有專門為了混合現實定制的HPU(Holographic Processing Unit);追蹤頭盔位置的慣性測量單元IMU(Inertial Measurement Unit)；4個環境感知攝像頭，1個深度攝像頭，1個2MP照片/HD視頻攝像頭；4個麥克風；1個環境光傳感器等等。

2.常見應用場景

隨著大筆資金進入AR項目和AR創業公司，一些IT巨頭如谷歌、蘋果、微軟、高通和佳能等開始競相大力布局AR和MR，構建自己的AR/MR生態系統，第一批消費級的AR產品已經如雨后春筍般涌現。

2.1 工業制造 計算機在產品開發中早已廣泛使用，常用的系統有：計算機輔助設計(CAD)、計算機輔助制造(CAM)、計算機輔助裝配規劃(CAAP)等。AR技術的應用大大提高CAD/CAM處理能力[4]。

2.2 軍事模擬 虛擬現實很早就被應用于軍事上。20世紀60年代Ivan Sutherland提出虛擬世界的概念，隨后美國國防部(DARPA)支持下構建了頭戴式顯示設備“Sword of Damocles”(達摩克利斯劍)。到1983年，DARPA實現了一個實時仿真系統SIM-NET(Simulation NETworking)，開發多用戶交互仿真。1990年NASAAmes Research Centre開發了一個虛擬風洞(VWT)，使用VR設備BOOM和數據手套Data Glove分析流場[3]。

運用計算機仿真模擬進行軍事模擬訓練方面，美軍走在世界前列[5]。在阿富汗、伊拉克戰爭準備階段美軍就在歐文堡訓練基地、山姆休斯頓軍事醫學教育訓練中心開辟模擬實景訓練和仿真模擬訓練，實景還原伊拉克、阿富汗等作戰場景，并要求士兵必須接受該基地3周的適應性訓練后才能趕赴前線作戰。通過VR、AR技術，醫療隊員攜帶多種形式的傳感設備，對各種極端戰場環境下的救治(極地、深海、高空，包括核化生武器致傷)會有切身感受，如同親身參加實戰，對參訓人員的戰傷救治水平、心理承受和應變能力都有顯著提高。

2.3 游戲領域 游戲軟件巨頭任天堂公司2015年發布的的Pokemon Go將AR技術應用于游戲領域，通過手機在現實世界中尋找并捕捉虛擬的精靈，憑借出色的創新性獲得巨大成功。

2.4 旅游/數字場館 將旅游景點進行數字化，以AR形式展現景點的魅力。如2006年北京理工大學的王涌天等人提出運用增強現實技術數字化圓明園，實現圓明園的重建，通過原址、移動設備AR及頭盔式AR等多種形式重現圓明園的往昔風采[6]。場館方面，AR技術能成為讀者的隨身助理，也能成為館員提升工作效率的得力助手，場館信息展示的新舞臺。應用實例：讀者利用AR設備觀察書籍、名勝、歷史遺跡等被強化物時，相關信息如館藏書目、影音資料、景點故事等作為強化物疊加其上。還可協助讀者/管理員定位圖書，結合用戶位置進行導航。

2.5 汽車領域 GTC2016開發者大會上，德國馬牌展示了其正在開發的AR增強現實技術在汽車領域的新應用。在汽車前擋風玻璃上顯示人機交互界面，計算機會根據真實世界場景，實時動態地投射消息至前擋風玻璃上，駕駛者看到的車速、路線、交通狀況等信息與路面、建筑等自然環境融為一體，通過AR交互大幅度提升了汽車駕駛體驗。

2.6 AR購物 2017年萬事達聯合高通等公司推出了一個新的購物系統，并集成了增強現實與生物識別技術來提升其購物體驗和安全性。

2.7 智能家居 2014年谷歌斥資32億收購家居設備公司Nset，蘋果發布智能家居平臺Homekit，大量家電企業、互聯網企業涌入其中。目前交互展示屏、視頻墻已較為普及，數字交互的媒體技術已經非常成熟，可以實現在家中與窗戶等玻璃制品進行交互，AR條件下進行家居的擺放布置。下一步就是3D投影與AR技術的結合，投入到智能家居場景中。

3.醫學應用展望

學者們已開始在醫療領域進行各種嘗試，摸索合適的應用場景。如解剖教學[7]、模擬手術訓練[8]、術中導航[9]、康復訓練[10]等多種場合均有望在AR/MR的支持下，獲得更直觀、更理想的效果。

口腔醫學方面，AR/MR應用范圍也較廣。AR/MR的虛擬投影可用在頜面外科、種植科等手術科室的醫患術前溝通，直觀呈現手術規劃設計；也可進行術中實時導航，提高手術精準度和安全性；觀察髁突和關節窩位置關系，輔助顳下頜關節病的診斷和治療；正畸科的方案設計、最終效果顯示等。

隨著技術不斷進步，AR/MR已經成功應用于游戲、工業制造、醫療、軍事、家裝、購物、語言翻譯等多種行業中，應用前景十分廣闊。同時我們還要看到，有關AR/MR的研發還處在初級階段，對于專業性、精準度要求較高的醫療領域來說，還有很大發展空間，需要更多的醫學專業人員和軟件開發人員開展緊密合作，熟悉AR/MR技術的優勢和局限，才能開發出適宜的產品。但不可否認，幾十年來，虛擬現實在游戲娛樂、影視制作、專業技能訓練、旅游、軍事、工業制造等各個方面對人類活動已產生深遠影響，未來也必將給醫學領域診治過程帶來深刻變革。