增強現實在醫學領域中的應用現狀研究

李春迎，陸正大，謝凱，孫鴻飛，林濤，高留剛，眭建鋒，倪昕曄

1. 南京醫科大學附屬常州第二人民醫院 放療科，江蘇 常州 213003；2. 南京醫科大學 醫學物理研究中心，江蘇 常州 213003；3. 常州市醫學物理重點實驗室，江蘇 常州 213003

引言

在傳統的診療過程中，通常是醫生根據已有的二維斷層圖像，憑借經驗估計病灶形態結構以及和周圍正常組織的關系來分析患者病灶部位的特點。但二維圖像無法提供人體組織器官的立體感知效果，缺乏直觀性，因此精確度也較低[1]。隨著電子信息技術的發展，可視化技術越來越多地應用于醫療領域當中。三維可視化技術是從計算機斷層技術（Computer Technology，CT）、磁共振成像（Magnetic Resonance Imaging，MRI）、超聲成像（Ultrasound，US）、正電子發射掃描（Positron Emission Tomography，PET）等成像系統中獲取數據，將圖像生成技術和圖像理解技術結合起來，從獲取的復雜數據中生成人類視覺可以感知的三維圖像，更加直觀地進行操作和分析[1-2]。三維可視化技術包括3D 打印、三維重建、虛擬現實（Virtual Reality，VR）、增強現實（Augmented Reality，AR）等技術，其中AR 以其較好的虛實結合[3]、實時交互能力[4]、三維尺度中添加定位虛擬物體等優點成為醫療領域的新興技術。AR 可視為VR 的變體，是用計算機生成的數據來對真實的世界進行補充并實時呈現的技術。AR 同時關注真實世界和虛擬世界，并進行實時交互，其側重于將虛擬影像疊加在真實世界中的方式來觀察現實世界以此來增強用戶的現實體驗，AR 補充真實世界而不是取代它。本研究將討論AR 在醫療領域的應用現狀和發展方向，主要包括AR 技術特征及關鍵技術、AR 在醫學教育中的應用、AR 手術導航、AR 在腫瘤放射治療領域的應用。

1 AR技術特征及關鍵技術

AR 技術與其他可視化技術相比，具有多圖像融合、3D 交互、具備手眼協調能力等特征，能增強用戶對周圍真實世界的感知，而不需要在現實世界和屏幕之間來回切換。

AR 系統的基本流程主要如下：采集數據進行建模形成模擬圖像、將模擬圖像與真實環境進行匹配、最終增強圖像的顯示[5]。AR 系統所需要的三個必要的組件為：頭戴式顯示器、實時注冊跟蹤定位技術、移動計算能力，其中關鍵部分是注冊定位跟蹤技術與虛實場景融合技術。注冊定位跟蹤技術的精確度直接決定虛實融合的魯棒性和實時性，此技術的關鍵是實現對真實場景中的目標物體位置的準確跟蹤，而AR 跟蹤器又分為基于視覺的無標記跟蹤器和基于三維模型的跟蹤器等，其中基于無標記三維模型跟蹤器優點是能夠預測目標場景的隱藏運動，減少跟蹤過程中引入的異常數據的影響，從而提高魯棒性和各方面的性能[6]，使用三維模型的跟蹤器的前提是需要被跟蹤對象有3D 模型以供使用。虛實融合技術將直接影響用戶的真實感，Battiato 等[7]對虛擬或真實場景信息做了簡化處理以減小計算機生成的虛擬像和真實場景之間的差異，同時有研究表明利用基于OpenSceneGraph（OSG）的模型渲染技術以及GL 著色語言（GL Shading Language，GLSL）實現的多元化融合效果較傳統的虛實融合方法而言更加靈活、直觀地展現出融合場景的真實感和立體感[8]。

2 AR在醫學教育中的應用

人體解剖學是醫學生最基本的課程之一，其主要是說明性的，需要通過圖形、圖標和真實模型進行教學才能有助于學生的理解。但傳統的結合教科書和解剖來教授人體解剖學受到了很多的限制，而AR 技術的出現可以很好地呈現骨骼、肌肉、神經和其他的人體器官，使醫學專業的學生在一個真實世界的“操作”游戲中練習解剖人體模型的程序，AR 成為傳統解剖教學模式很好的補充[9]。Kandikonda 等[10]使用Maya 3D 軟件成功創建了人體脊柱模型，他選取了精確的人體脊柱圖片，并將在Maya 中創建的3D 脊椎模型導入Google Sketchup 軟件當中，再使用AR-media 插件配置3D 脊柱模型以生成增強現實，生成增強的3D 脊柱以供學生進行交互學習。Blum 等[11]提出mirracle 系統，該系統利用AR 技術實現原位可視化，直觀地在用戶身上顯示解剖結構，有助于在學生掌握重要器官組織結構的同時提高學習的積極性。

神經外科手術復雜、危險系數高，因此需要神經外科醫生的大量學習來提高自己的經驗水平，但大多數知識的來源還停留在解剖圖譜、頭部模型和動物解剖模型上，限制了神經外科醫生的進一步學習。有研究報道稱，Immersive Touch（IR）作為一種AR 系統，可以用來模擬訓練腦室造口術、顱骨鉆孔手術、經皮三叉神經根切除術，還可用于模擬脊柱模塊，如椎弓根螺釘置入、椎體成形術和腰椎穿刺等其他操作，學習者通過三維立體模型可以更好地理解復雜的神經外科解剖模型，明顯提高了學習的效率[12-13]。

口腔醫學對于醫生的手眼協調能力要求較高，各種模擬訓練技術也已投入使用。隨著計算機技術的不斷發展，多種可視化技術也逐漸與口腔醫學相結合來提高學生的動手操作能力，節約成本和時間[14]。目前市場上已經出現了與VR 系統結合的牙科模擬器，Virteasy Dental 公司將觸覺系統和牙科手柄結合模擬牙科鉆孔以提高學生的技能，相信AR 技術與口腔醫學的結合會有更加廣闊的天地。

有研究表明AR 技術在護理學中的可用性，文章提出AR 技術可以吸引學生積極投入實訓環境，具有避免在訓練當中對真實患者造成傷害的同時在不同場景和患者之間進行訓練等優點[15]。

由此可見，AR 技術已經給傳統醫學教學模式帶來一定的改變，將AR 技術與醫學教育相結合，不僅解決了醫學模型（如尸體模型、動物模型、人體模型等）的倫理問題和實時獲取問題，而且還可以以逼真的三維模型方式來實現學習者與模型之間的實時互動，提供更加直觀、便捷的學習形式。

3 AR進行手術導航

以前，超聲、CT、MRI 等成像設備產生的醫學圖像主要用于疾病的診斷。近年來，隨著成像技術的不斷發展，將醫學圖像直接應用于手術成為趨勢，這就是圖像引導手術或手術導航技術。手術導航技術較傳統的手術技術相比，可以確保到達正確的病變部位進行手術，但當手術過程中查看導航信息時，需要在手術部位轉動來實現查看導航屏幕，這不可避免地會在手術過程中產生偏差。將AR 技術應用于手術過程具有始終觀察手術部位的優點，器官和神經等以三維圖形顯示在頭戴顯示鏡中，醫生可以以相同的方式進行手術而不需要在手術過程中移開視線來查看位置信息[16]。

2013 年，Suenaga 等[17]用AR 技術模擬了口腔頜面部手術。他利用CT 數據來建立上頜骨的三維模型并生成視頻圖像，再使用三維增強現實系統生成覆蓋層，并通過半鍍銀鏡子投射到手術部位進行手術導航。結果證明實體模型和AR 系統中的模型各點之間的差異在1 mm 以內，具有很高的精確度，并且手術者裸眼看到的三維重建圖像不會隨著觀察角度的改變而發生變化。2015 年，Liu 等[18]利用AR 技術在錐形束CT（Cone Beam CT，CBCT）的引導下進行舌癌切除手術，除了立體增強視圖外還創建了一個虛擬場景的正交視圖來增強深度的感知。實驗結果表明，視頻增強較透視引導和無引導技術而言，獲得了更高的切除率。他提出的內窺鏡視頻增強引導方法增強了關鍵的血管結構、腫瘤結構和所需的邊緣信息，同時融合了定位工具，為外科醫生增強了深度感知信息，進行精確手術。2016 年，Li 等[19]利用AR 技術進行導航完成鼻內窺鏡顱底手術。他以術前的CT 或MRI 圖像為數據進行三維建模，對畸變校正后的真實內窺鏡圖像進行半透明融合。實驗結果證明，基于AR 的導航系統能夠重建手術部位的立體形態，并將內窺鏡圖像融合到三維重建圖像當中去，為醫生提供更直觀、更詳細的影像信息，減少進行鼻竇或顱底手術的判斷時間。2018 年，蔣帥等[20]利用AR 技術對顱骨CT 數據進行三維重建并指導開顱手術。在術前進行顱骨CT 的三維重建模擬關鍵點，術中使用AR 技術協助定位關鍵點，可準確定位相應的鉆孔位置，避免乙狀竇前入路開顱手術靜脈竇的損傷。謝國強等[21]探討了基于智能手機簡易增強現實技術定位幕上高血壓性腦內血腫的可靠性和準確性，他將入院時高血壓性腦出血的頭顱CT 數據導入3D Slicer 軟件后進行頭面部皮膚和腦內血腫的三維重建，調整皮膚透明度使皮膚和血腫同時顯影時截圖導入智能手機，實現簡易的增強現實技術，實驗結果表明，定位準確性能得到保證，誤差在3 mm 左右，是在完全可以接受的范圍內。

腹腔鏡手術與其他手術相比，具有創傷小、恢復快、感染率高等特點[22]，手術效果過于依賴醫生的經驗，將AR 技術與腹腔鏡手術相結合能在一定程度上減輕這種依賴性。目前來說，AR 已經運用于腎、胰十二指腸、肝等切除手術中[23-24]。腹腔鏡增強現實導航技術的數據主要來自于術前CT、MRI、PET、SPECT、US 等，其主要是通過視頻疊加的方式進行顯示，完成手術過程中的導航，而目前來說，這種導航技術主要分為腹腔鏡視頻增強現實導航和腹腔鏡超聲增強現實導航，其中，腹腔鏡視頻應用多于腹腔鏡超聲的應用[22]。

由此可見，AR 技術與醫學手術相結合是目前研究的熱點，同時較傳統手術相比，AR 手術導航具有很好的實時交互功能，醫生能更加直觀地進行手術。但目前來說，盡管將AR 技術用于手術導航取得了令人鼓舞的成果，但魯棒性和準確性的問題仍然存在，這是以后需要進一步研究和解決的問題[25]。

4 AR技術用于康復治療

康復治療是康復醫學的重要部分，是幫助病、傷、殘患者恢復健康的重要手段，康復治療學在我國起步較晚，目前來說主要的治療方法有運動療法和物理治療、作業療法、心理治療、假肢及矯形器具等，但AR 技術也逐漸與康復治療學相結合。

腦機接口（Brain Computer Interface，BCI）即大腦-計算機交互接口的簡稱，主要用于重建特殊感覺以及癱瘓病人的運動神經，近年來在康復領域取得很大的進展，同時也有研究表明其可以增強正常人的功能。但盡管腦機接口的性能在不斷上升，卻主要還是集中在輔助、增強和修復人體認知和運動感覺神經等方面[26]，很難應用于日常生活當中。張力新等[27]提出將AR 技術與BCI 結合起來以擺脫屏幕限制，隨時隨地向用戶呈現視覺刺激，實現便攜式腦機控制系統。實驗結果表明，AR-BCI 一定程度上解決了設備的便攜性問題，同時能夠實現較高的正確率和速率，有望在將來真正投入到實際應用當中。

腦卒中是導致人類死亡或殘疾的主要原因之一，因腦卒中而導致偏癱的患者上肢恢復較下肢恢復要更加困難[28]，而AR 技術已經越來越多地應用于上肢恢復當中。視觸覺增強技術可以通過刺激多個感官來幫助大腦高級中樞進行整合，建立新的信息接收和處理通道，有助于上肢的康復[29-30]。

5 AR應用于腫瘤放射治療

放射治療是腫瘤臨床治療的三大主要手段之一，大部分惡性腫瘤患者在接受治療的過程中或多或少都需要接受放療[31]。放療的目的是最大限度的殺滅腫瘤細胞，而使周圍正常組織和器官免受或少受射線照射。隨著計算機技術的迅猛發展，放療的精度得到了大幅度的提高，而可視化技術是精準放療的重要組成部分。

有研究表明，進行放射治療時病人擺位不準確會使得病人的復發率大大提高。但放療次數多、周期長、影響因素多，在擺位時精度無法保證，因此尋找方法來減小擺位誤差是很有必要的。2009 年，Talbot 等[32-33]提出利用AR技術開發一種外照射放射治療病人設置系統。他提出根據CT 數據來獲得患者外輪廓的三維模型，并利用AR 跟蹤軟件將輪廓疊加到正確治療位置的視頻圖像上，用戶觀察監視器將實際患者身體外輪廓與虛擬輪廓對其來進一步實現對患者的精確定位。實驗結果證明，AR 技術作為體外放射治療病人位置引導的工具，其概念是完全可行的，并且能夠以該領域所需的準確度進行操作，但目前來說這只是一個可行性研究，真正應用于臨床擺位治療還需要很長的一段路要走。

6 總結

綜上所述，將AR 技術與醫療相結合在未來具有巨大的發展潛力，目前主要用于醫學教育和手術導航方面，在康復治療和放射治療等領域還處于起步階段。但由于醫療領域的精確度要求較高，還有很多亟待解決的問題。醫學成像數據（CT、MRI、PET 等）的誤差將直接影響三維模型的精度，人體組織的形變程度、攝像機標定誤差等將直接影響三維注冊的誤差，AR 系統的延遲、人眼的不適程度、是否能形成正確的深度感知都會影響到AR 的導航效果。但是在科學技術不斷進步的今天，我們相信這些難題在不久的將來都會得到很好的解決，AR 技術將與醫學更好地結合來造福人類。