增強現實技術在醫療領域的應用

杜云霄 王殊軼 于德旺

摘 要：增強現實技術將計算機生成的虛擬圖形等信息融合疊加到現實世界場景中，使用戶看到虛實結合的三維世界，提高用戶對現實世界的感知與理解。從手術培訓、手術規劃與手術導航3個方面介紹增強現實技術在醫療領域的應用，指出在應用中存在手術導航三維注冊等挑戰，并展望了未來發展方向。

關鍵詞：增強現實技術;醫學教育;手術規劃;手術導航

DOI：10. 11907/rjdk. 182813 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP319文獻標識碼：A 文章編號：1672-7800（2019）009-0139-04

The Application of Augmented Reality Technology in Medical Field

DU Yun-xiao， WANG Shu-yi， YU De-wang， CHEN Jun

（School of Medical Instrument and Food Engineering， University of Shanghai for Science and Technology，Shanghai 200093，China）

Abstract： Augmented reality is a technology that integrates computer-generated virtual graphics and other information into the real world scene， enabling users to see the three-dimensional world where the virtual and the real are combined to improve their perception and understanding of the real world. This paper introduces the application of augmented reality technology in medical field from three aspects： surgical training， surgical planning and surgical navigation. It points out the challenges such as three-dimensional registration in surgical navigation and looks forward to the future development direction.

Key Words： augmented reality technology; medical education; surgical planning; surgical navigation

0 引言

增強現實（Augmented Reality，AR）技術將計算機生成的虛擬圖形等信息融合疊加到現實世界場景中，提高用戶對現實世界的感知與理解。Milgram & Kishino[1]最早提出AR的定義——如圖1所示的虛擬現實連續體概念：虛擬環境與現實環境在相反的兩極，其中現實環境僅由真實對象組成，包括例如通過傳統視頻顯示器看到的現實世界場景內容及不依賴任何電子產品看到的現實場景;虛擬環境僅由虛擬對象組成，比如由計算機模擬生成的虛擬物體;處在兩者中間的為混合現實，AR則為虛擬對現實增強的一種狀態。

AR技術有三大特征[2-3]：①虛實結合。AR依賴于現實環境，通過對現實環境的跟蹤定位，從而將計算機生成的虛擬物體疊加到現實場景中，使虛擬物體與現實環境融為一體;② 三維注冊。AR需對現實環境進行實時跟蹤定位，確定虛擬物體與現實場景之間的轉換關系，通過三維注冊的方式，實現虛實結合;③實時交互。用戶可以與虛擬模型實時交互，并獲取反饋。

國內外已有不少機構開展了增強現實技術在醫療領域的應用研究。AR技術主要運用于醫療領域的醫學教育與培訓、手術規劃及手術導航燈方面。AR醫學教育與手術培訓使醫學生對醫學知識及手術過程有更好的學習與理解，AR手術規劃使手術規劃更加直觀且具有較好的交互性，而AR手術導航使外科手術創傷減少，手術時間縮短，手術質量提高。

在國內，侯亦康等[4]對AR導航下頜骨截骨術進行研究，將下頜骨和術前設計的截骨平面虛擬模型輸出到術者穿戴的AR頭顯（Head-mounted Display，HMD）中，然后利用牙模配準方法及模式識別技術，使用ARToolKit軟件將虛擬模型疊加到手術視野中，為驗證其效果進行了相關動物實驗，結果表明AR導航下的下頜骨截骨手術具有極好的指導作用;Qu等[5]將AR手術導航下的牽張成骨術用于治療半面短小癥，使用牙模配準方法并借助ARToolKit等軟件將術前規劃的下頜角截骨線和下頜骨3D模型注冊疊加到手術視野中，并且設置實驗組與對照組，驗證基于AR手術導航是否能更好地輔助牽張成骨術。實驗結果表明，AR導航下的牽張成骨術比傳統導航方法的手術結果更加精確;Chen等[6]研究了基于光學透視式HMD的AR手術導航系統，該系統使用基于表面注冊的ICP算法與基于基準點注冊配準算法，可實現手術器械校準、注冊及將顯示在HMD中的三維虛擬解剖結構與現實場景嚴格對齊。實驗結果表明，該系統注冊精度達0.8mm，可滿足臨床要求;賀長宇等[7]針對AR手術導航中的光學跟蹤易受遮擋影響的問題，提出將光學與慣性跟蹤信息進行融合的方法，以保證AR系統注冊精度。實驗結果表明，該AR導航系統在局部被遮擋時，仍能將虛實融合的手術導航圖像反饋給用戶;Jiang等[8]將AR技術運用在穿支皮瓣手術導航中，使用ARToolKit軟件將術前CT血管造影和重建的虛擬三維血管模型注冊疊加到真實患者場景中，此外還為用于注冊的識別圖設計了螺絲固定支架，以保證術前、術中識別圖與患者相對位置一致，進而做到精準注冊。隨后在3D打印出的血管模型上進行系統誤差測試，使用Micron Tracker追蹤系統進行相同誤差測試，結果顯示系統誤差為3.47mm。該AR導航系統還被用于動物血管解剖，其結果表明基于AR的NS系統可以在手術視野中實時顯示三維個體解剖虛擬模型，從而提供精確的導航信息。

在國外，Strickland等[9]將AR應用于腹腔鏡訓練中，通過AR技術，學員可以在不透明的腹壁模型中“看到”深部臟器，輔助腹腔鏡訓練操作。實際操作表明，采用AR/技術使腹腔鏡下肝臟切除術的培訓時間明顯縮短;Abhari等[10]則將AR技術運用于腦部腫瘤切除規劃，把腫瘤三維虛擬模型疊加在頭部模型中進行手術規劃，在AR手術規劃環境中，醫生不需要在腦海中構建病人大腦腫瘤信息即可直觀地看到手術入口及手術路徑，并設計相關實驗對比傳統2D、3D及AR手術規劃環境之間的區別。實踐結果表明，相比傳統2D、3D手術規劃環境，AR手術規劃環境更直觀，尤其對新手醫生指導作用更明顯;Besharati等[11]對術中患者頭部腫瘤的增強顯示進行研究，使用視頻投影的方式，將帶有5個基準點的虛擬腫瘤二維影像數據以人工方式注冊到同樣帶有5個基準點的頭部模型中，并測得虛實注冊誤差為0.8mm，結果表明該AR系統對于頭部、頭骨和腦表面圖像的術中投影準確、可靠，其技術優勢在于外科醫生能直接看到引導手術的影像;Ntourakis等[12]研究了AR輔助結直腸癌肝轉移的定位與切除手術，術前進行計算機斷層掃描（Computed Tomography，CT）獲取虛擬三維影像數據，并通過人工操作視頻混合器，根據自然解剖點將虛擬影像注冊到現實場景中，醫生通過床邊屏幕觀看增強現實信息，且將該AR手術導航技術運用到4例臨床手術中，成功地切除了腫瘤;Okamoto等[13]研究了AR技術在肝膽手術中的應用，使用視頻透視式顯示設備獲取現實場景信息，再通過光學定位指示器及基于標識點的配準方法，將用以指導手術的虛擬模型疊加到視頻透視式顯示設備場景中，以患者術中出血量等評估AR導航下的手術效果。實踐結果表明，虛擬器官解剖結構能較好地疊加在真實器官上;Mahmoud等[14]將裝有攝像頭的便攜式平板電腦作為顯示器，使用視覺即時定位與地圖構建技術進行跟蹤注冊。為評估該系統注冊精度，使用帶有肝臟的人體塑料腹部模型進行實驗，測得肝臟處目標注冊誤差平均值為6.61mm，底部注冊誤差平均值為11.8mm，表明距離注冊用標識點越遠的點注冊誤差越大;Watanabe等[15]研究了用于神經外科手術的視頻透視式AR系統，將臉部自然解剖點作為注冊基準點，使用三維動作捕捉系統對病人頭部、手術器械、用于顯示導航信息的平板進行跟蹤定位注冊，并設計用于測試精度的十字交叉模型，測得其AR系統精度為1mm，相比傳統點對點手術導航，AR手術導航實現了體積導航，使手術導航更加直觀;Okamoto等[16]將AR手術導航系統應用于胰腺手術，將器官、血管的自然解剖點作為注冊基準點，并通過紅外跟蹤系統跟蹤基準點位置變化，進而實時地將虛擬模型注冊到現實場景中，經相關程序計算得出基準注冊誤差為 5mm，表明該視頻透視式AR手術導航系統可提供有用的導航信息;Wild等[17]研究了在腹腔鏡外科手術中使用熒光標識物的AR手術導航魯棒性問題，使用可代謝的熒光標識物，將腹腔鏡獲取的真實場景和用于導航的3D虛擬模型融合顯示在屏幕上，并模擬手術過程可能出現的干擾注冊過程。檢測結果表明，在各種干擾的情況下該AR手術導航精度均表現較好，可滿足臨床要求。

AR技術在醫療領域應用廣泛，本文從AR醫療教育與手術培訓、AR手術規劃、AR手術導航3個方面加以介紹，總結AR技術在醫療領域應用中存在的挑戰，并介紹未來發展方向，為相關研究者提供參考。

1 增強現實系統實現過程

在醫療領域，AR系統實現過程如圖2所示。首先需獲取虛擬模型，虛擬模型可以是人體解剖結構或術前規劃數據，虛擬模型可由CT、MRI等影像數據進行三維重建得到，此外還需由跟蹤定位系統獲取現實場景信息;然后將虛擬模型注冊到現實場景中，實現虛實融合;最后將虛實融合后的場景在頭戴式顯示設備或手持式顯示設備中顯示。其中虛實注冊誤差在AR手術導航中尤為重要，較大的虛實注冊誤差會誤導醫生，而AR手術導航中三維注冊技術也是一大難點。此外，虛實信息呈現方式對用戶體驗影響較大，使用二維屏幕顯示AR信息缺少深度信息，相應的頭戴式三維顯示器可更好地展示深度信息。

2 增強現實技術在醫療上的應用

2.1 教育與培訓

將增強現實技術運用到學習系統中具有若干潛在益處。Santos等[18]對AR學習環境是否與傳統教育環境的輔助工具一樣有效進行研究;Radu等[19]的研究旨在評估AR學習應用的教育潛力，其研究結果表明，增強現實提供了一個更好的學習環境，AR學習工具使學生注意力持續時間更長，并可帶來更頻繁的師生、生生互動。

AR技術在醫學知識與培訓手術技巧教學中的應用愈加廣泛。Albrech等[20]以AR作為教學補充工具，研究對于醫科學生來說，移動AR學習效果是否與教科書學習效果相當。研究結果表明，通過增強現實系統學習比使用教科書學習獲得的醫學知識更多;Jan等[21]提出在增強現實的醫學環境下學習可使學習者沉浸在醫學場景中，能調動學習者學習興趣;Lempp[22]、Winkelmann等[23]的研究表明，使用AR學習工具能夠緩解被用作解剖學訓練工具的尸體倫理道德問題。

2.2 手術規劃

傳統手術規劃需醫生根據患者二維影像數據判定病灶區及需要避開的重要解剖結構等，然后確定手術入口及手術路徑，在該過程中需醫生構建患者信息，然后在腦海中將二維坐標信息轉換為三維坐標信息，從而確定手術入口及手術路徑。傳統手術規劃環境不夠直觀，且不利于醫生之間的交流。使用AR技術將患者的關鍵信息注冊到現實人體模型中，醫生無需在腦海中構建患者信息并進行坐標轉換即可很直觀地確定手術入口及手術路徑。在AR環境下進行手術規劃誤差更小，用時更少且能夠減少醫生思維負擔。

2.3 手術導航

目前已有大量研究者將AR技術應用于手術導航系統中，以探究更加精確、便捷的AR輔助手術導航系統。 精確地將術前準備的虛擬影像注冊疊加到目標手術視野范圍內是AR輔助手術導航的重要前提。 將術前影像數據注冊到現實手術場景中有基于標識進行注冊疊加與無標識注冊疊加兩種方式。其中，基于標識的注冊方式標識選取有兩種方法：①術前在手術區域附近放置標識或者選取手術區域附近的自然解剖點;②使用追蹤系統指示器工具獲取現實場景標識點信息，從而獲取現實場景坐標信息，以達到虛實融合的效果。

借助AR技術，將術前拍攝的患者3D模型數據注冊疊加到患者病灶區，可更加直觀地觀察病灶區組織結構等信息，避免醫生在導航屏幕與病灶區之間的視野轉換，從而解決在基于導航系統的手術中手眼不協調問題， 且將術前人體3D模型直接疊加到人體病灶區，可更加直觀地展示深度信息。

AR手術導航的關鍵在于保證術前人體3D模型能夠精確地疊加到患者病灶區，給醫生提供準確的指導，但人體軟組織易變形、光學系統畸變、攝像機標定誤差等因素均會引起較大的注冊誤差;另外深度感知的不完整及較大的系統延時也會對導航效果產生影響，較大的注冊誤差和不完整的深度感知可能提供錯誤的導航信息，降低對醫生的指導作用。因此，目前AR手術導航的虛實三維注冊是一個挑戰。

3 評價方法

AR技術在醫療領域的應用廣泛，其效果評價也至關重要。在醫療領域主要從兩個方面對增強現實技術進行評價：客觀定量評價與主觀問卷定性評價。客觀評價的常用指標有：①EEG信號，用于監測使用者的大腦活動，通過對腦電信號的分析判斷AR技術培訓效果;②手術或者培訓過程中手術入口點與路徑，用于判斷增強實現技術是否更加有利于手術及培訓過程;③虛實注冊誤差，可分為靜態注冊誤差及動態注冊誤差，是對虛實目標坐標誤差的一種衡量，注冊誤差值越小越好。常用主觀問卷主要有：①任務負擔指數量表（Task Load Index，TLX），如表1所示;②主觀可穿戴性人因評價標準，包括：舒適等級 （Comfort Rating Scales，CRS）、視覺模擬量表（visual analogue scale，VES）、Borg疲勞量表Borg PRE、Brog-CR10，以評估局部疼痛與不適程度。

4 結語

近年來AR技術在醫療領域的應用愈加廣泛，涵蓋醫療教育與手術培訓、手術規劃及手術導航等多方面。尤其在手術導航中，AR技術能夠給醫生提供更加直觀的導航，更精準的AR手術導航能夠讓手術更加安全、快速地完成，但手術導航的三維注冊是一個難點，也是AR手術導航的研究熱點，只有實現虛實完全重疊，才能給予醫生更好的手術指導。

參考文獻：

[1] MILGRAM P， KISHINO F. A taxonomy of mixed reality visual displays[J]. IEICE Transactions on Information and Systems， 1994，77（12）：1321-1329.

[2] AZUMA R T. A survey of augmented reality[J]. Presence： Teleoperators & Virtual Environments， 1997， 6（4）： 355-385.

[3] AZUMA R，BAILLOT Y， BEHRINGER R，et al. Recent advances in augmented reality[J]. IEEE Computer Graphics & Applications， 2001，21（6）：34-47.

[4] 侯亦康，朱明，柴崗，等. 增強現實導航下頜骨截骨術的實驗研究[J]. 組織工程與重建外科雜志，2013， 9（02）：98-101.

[5] QU M，HOU Y K，XUA Y R，et al. Precise positioning of an intraoral distractor using augmented reality in patients with hemifacial microsomia[J]. Journal of Cranio-Maxillo-Facial Surgery， 2015， 43（1）：106-112.

[6] CHEN X， XU L，WANG Y， et al. Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display[J]. Journal of biomedical informatics， 2015， 55： 124-131.

[7] 賀長宇， 劉越， 王涌天. 用于增強現實手術導航系統的光學-慣性混合跟蹤方法[J]. 計算機輔助設計與圖形學學報， 2016 （3）： 513-519.

[8] JIANG T， ZHU M， ZAN T， et al. A Novel augmented reality-based navigation system in perforator flap transplantation - a feasibility study[J]. ？Annals of Plastic Surgery？，2017（79）：192-196.

[9] STRICKLAND A， FAIRHURST K， LAUDER C， et al. Development of an ex Vivo simulated training model for laparoscopic liver resection[J]. Surgical endoscopy， 2011， 25（5）： 1677-1682.

[10] ABHARI K， BAXTER J S H， CHEN E C S， et al. Training for planning tumour resection： augmented reality and human factors[J]. IEEE Transactions on Biomedical Engineering，2015，62（6）： 1466-1477.

[11] TABRIZI L B， MAHVASH M. Augmented reality-guided neurosurgery： accuracy and intraoperative application of an image projection technique[J]. Journal of neurosurgery， 2015， 123（1）： 206-211.

[12] NTOURAKIS D，MEMEO R，SOLER L，et al. Augmented reality guidance for the resection of missing colorectal liver metastases： an initial experience[J]. World Journal of Surgery，2015，40（2）：419-426.

[13] OKAMOTO T， ONDA S， MATSUMOTO M， et al. Utility of augmented reality system in hepatobiliary surgery[J]. Journal of Hepato-biliary-pancreatic Sciences， 2013， 20（2）：249-253.

[14] MAHMOUD N，GRASA ó G，NICOLAU S A，et al. On-patient see-through augmented reality based on visual SLAM[J]. International Journal of Computer Assisted Radiology & Surgery， 2016， 12（1）：1-11.

[15] WATANABE E， SATOH M， KONNO T， et al. The trans-visible navigator： a see-through neuronavigation system using augmented reality[J]. World Neurosurgery， 2016， 87：399-405.

[16] OKAMOTO T， ONDA S， YANAGA K， et al. Clinical application of navigation surgery using augmented reality in the abdominal field[J]. Surgery today， 2015， 45（4）： 397-406.

[17] WILD E， TEBER D， SCHMID D， et al. Robust augmented reality guidance with fluorescent markers in laparoscopic surgery[J]. International Journal of Computer Assisted Radiology & Surgery， 2016， 11（6）：899-907.

[18] SANTOS M E C， CHEN A， TAKETOMI T， et al. Augmented reality learning experiences：survey of prototype design and evaluation[J]. IEEE Transactions on learning technologies，2014，7（1）： 38-56.

[19] RADU I. Augmented reality in education： a meta-review and cross-media analysis[J]. Personal and Ubiquitous Computing， 2014，18（6）：1533-1543.

[20] ALBRECHT U V，FOLTA-SCHOOFS K，BEHRENDS M， et al. Effects of mobile augmented reality learning compared to textbook learning on medical students： randomized controlled pilot study[J]. Journal of medical Internet research， 2013， 15（8）：182.

[22] VON JAN U，NOLL C， BEHRENDS M， et al. mARble–augmented reality in medical education[J]. Biomedical Engineering/Biomedizinische Technik， 2012， 57（SI-1 Track-A）：67-70.

[23] LEMPP H K. Perceptions of dissection by students in one medical school： beyond learning about anatomy. A qualitative study[J]. Medical Education， 2005， 39（3）： 318-325.

[24] WINKELMANN A. Anatomical dissection as a teaching method in medical school： a review of the evidence[J]. Medical education， 2007， 41（1）：15-22.

（責任編輯：江 艷）