增強/混合現實技術在頭頸外科的應用及展望

陳剛　綜述　湯煒　審校

近年來，數字醫學的飛速發展使得頭頸外科的診療呈現精確、微創和個性化的特點，也在醫學教育等方面展現了巨大的優勢。隨著計算機技術的進步，數字醫學的內容也在不斷充實，一些新的技術正逐步在頭頸外科獲得應用轉化，其中的增強/混合現實技術因具有強化辨識內在結構、實時動態可視化等優點而備受關注。

1　增強/混合現實技術

增強現實（Augmented Reality，AR）是涉及了計算機圖形技術、多媒體技術等的一項新技術，以此實現虛擬與真實信息的疊加，達到虛擬和真實的同步結合。混合現實（Mixed Reality，MR）則是在此基礎上發展，將虛擬信息和真實信息融合，利用全息影像、實時交互等技術對現實世界進行重塑，實現虛擬信息在物理現實中的真實投影。雖然增強現實與混合現實的概念存在差異，但二者所要實現的都是虛實相合，是對現實世界有限信息的增加和強化，兩者的技術路線也有很大的相似性，在現階段大部分的開發和應用介于兩者之間，尚無法對其進行明確區分，出現了兩者概念和應用上的混淆。本文僅闡述和討論這一類虛實融合技術在頭頸外科的應用情況，故以“增強/混合現實”（AR/MR）對其進行綜述。與之相應的虛擬現實（Virtual reality，VR）技術則是將虛擬構建的世界與真實的物理環境分離開，使我們完全沉浸在虛擬空間內去體驗數字世界。與VR不同的是，AR/MR不僅是在虛擬的空間內進行模擬仿真，而是依靠超強算法提高環境識別和空間感知能力，全息實時再現虛擬與現實圖像和數據，將我們所能感受到的真實物理環境變得更加立體、生動。

2　AR/MR研究的歷史及現狀

1990年，Tom Caudell的團隊在為波音公司設計的布線系統中開始使用 “增強現實”這個概念。哈佛大學的Ivan Sutherland研發的頭戴式顯示設備“達摩克利斯之劍”是該技術的起源，1994年之后出現與之相關的技術研究報道。1995年，Ploder的研究團隊首次將AR嘗試用于牙種植[1]，是目前能夠追溯到的最早將該技術用于頭頸外科的研究。2000年始出現了第一波研究高潮，相應的文獻呈現平穩增長的態勢，2012年后AR/MR的智能可穿戴設備相繼出現，帶來了近五年來第二階段的研究高潮。諸多的研究將其應用在機器維修、古跡復原、娛樂、教育等各個行業。

3　AR/MR在頭頸外科的應用

AR/MR靠信息采集設備（環境攝像頭、深度傳感球、多陣列麥克風等）實時捕捉真實環境圖像繼而同計算機產生的虛擬景象匹配，并輸出顯示給用戶來實現。主要的實現方式有基于顯示器、基于光學原理透視式、基于視頻融合透視式三種類型。隨著AR/MR的基礎研究不斷開展，在醫療領域，神經外科、醫學美容、消化外科等學科率先對其開展了研究和應用[2-4]。在頭頸外科中，AR/MR的應用目前主要集中在醫學教育、術中導航兩個方面。

3.1　AR/MR在醫學教育中的應用

醫學教育是一個高成本、長時間的積累過程，對于醫學解剖的教育更是如此，需要足夠的解剖標本和不斷的模擬鍛煉，才能夠訓練出一個基本合格的醫生，特別是對于頭頸外科來說，解剖結構復雜，孔隙多，重要的解剖結構之間關系密切，要熟練掌握實非易事。

AR/MR在現階段的技術基礎之上為我們提供一個從視覺上強化的三維立體解剖模型，與虛擬現實不同的是，它能夠在多人之間實現交互。AR/MR更多的是提供給多個學習者對同一模型的共同學習、指導的空間。其根據大量實驗數據而仿真構建的數字模型，重建出空間層次、色澤、大小相仿的數字人體，利用注冊技術將模型放置在相對固定的位置上，多個AR/MR設備互相鏈接，以此實現學習虛擬人體的同時可接受同伴、老師的指導。現階段，數字模型僅充當學習的輔助工具，還不具有對解剖變異的預測和解剖多樣性的展示，所以依然需要有經驗的老師予以指導。AR/MR用于教學，彌補了解剖標本不足，場地限制等傳統的教學短板。張家墅等[5]將AR/MR用于指導培訓顱內病變定位穿刺，在仿真的實體模型上應用該技術將經過數據處理的病變和真實的模型融合來引導穿刺，指導學生的學習。將虛擬的信息和現實場景融為一體，可緩解學習的枯燥，有利于提高學生的學習效率。

3.2　AR/MR在手術導航中的應用

對頭頸外科來說，病變精確的定位及對暴露過程的引導是至關重要的。不少研究將AR/MR用于頭頸部的手術導航，均收獲了良好的效果。Lin等[6]將正頜外科的數字手術規劃和AR/MR聯系起來，將虛擬的截骨線和真實的頜骨疊加融合，利用AR/MR設備可以在暴露完成的上下頜骨表面看到虛擬設計的截骨線、骨斷端移動的目標位置，術中只需將真實的骨塊移動到和虛擬對象吻合，即可完成同虛擬手術規劃一致的效果。AR/MR增加了手術的精確度和可預知性。Besharati等[7]將顱內病變的數據虛擬仿真，以此完成對開顱的定位和病變區域的引導，以最小的創傷取得最佳的手術入路。AR/MR還可應用于腫瘤切除，通過整合患者數據標定病變的邊界，術中指導切除范圍。在整形外科，為防止下牙槽神經的損傷，可根據影像數據三維重建雙側下頜神經管，將此與面部真實的情況融合，術中在直視下頜神經管走形和毗鄰關系的情況下安全手術[8]。Shen等[9]在三維重建并且復位后的骨折模型上虛擬預彎鈦板，將虛擬預彎的鈦板和真實的鈦板所在的環境融合，在直視下根據虛擬的鈦板形態來彎制真實鈦板，達到兩者形態上的擬合。

4　展望

在醫學教育方面，AR/MR能夠讓學生直觀了解頭頸部解剖結構，讓醫學教育能擺脫場地的限制、提高學習效率。但目前輔助裝備價格不菲，且不適宜長時間佩戴，展示的模型缺乏人體標本測量數據支持，特別是軟組織的模擬還很欠缺。可精確模擬人體標本且可預測解剖變異的AR/MR數字可交互“課本”值得深入挖掘。

在術中導航方面，其圖像導航更加直觀，但目前的導航依然是被動的，繁雜的裝備容易遮擋術野，數據傳輸延遲，光照對導航影響大是當前存在的問題。目前的研究主要關注其精確性的問題，原始數據的獲取、數據的預處理、AR/MR的算法、注冊跟蹤技術、不同的顯示技術都可影響其精確性。目前，算法在不斷優化，大部分的研究集中在處理注冊跟蹤技術上，主要的注冊跟蹤技術有電磁跟蹤、超聲波跟蹤、視覺跟蹤注冊等等。人工標志點（M arker）的視覺注冊跟蹤和非人工標志點（M arkerless）的視覺注冊追蹤[10]是目前研究的重點。人工標志點的注冊跟蹤相對簡單易行，就目前的技術水平而言精確度也相較其他更高，這種注冊方法在臨床應用中取得了良好的效果。人工標志的形態、大小、數量、反光度、放置的位置、與感興趣區域的空間位置關系等，都會影響系統對它的識別[8]。由于人工標志位置的固定一致性可直接影響精確度，因此有研究在顱骨處利用螺釘固定[11]，但對于頜面外科來說其感興趣區域和標志之間的空間位置跨度大，影響引導的效果；也有研究將人工標志放置在截骨導板上用于提示臨近重要結構，但這無疑加入了導板固位等另外的影響因素；近來有頜面外科的研究將人工標志放在基于單頜咬合板上進行固定，但缺乏成形的設計和相應參數的制定，人工標志所在的位置對手術操作產生阻擋，具體細節還需進一步優化。Wang等[12]利用體層掃描相機來捕捉牙列外形進行注冊跟蹤，是非人工標志注冊的研究典型，相對于人工標志的注冊方式，該方法更加方便，更有利于手術的操作，但精確性成了一個值得關注的問題。結合力學反饋、語音提示的主動圖像導航可能是今后很好的研究方向。

在圖像顯示方面，早期的研究大多采用了PC顯示器，隨著近年來智能手機和平板電腦的普及，也有研究用集成了攝像頭和顯示器于一體的智能手機和平板電腦作為顯示的終端，亦有研究利用支架式的半透半反膜進行圖像的處理。隨著近年來谷歌的googleglass和微軟Hololens的推出，不少研究開始使用頭戴式設備，且不乏有團隊自主研發適用于頭頸部手術的專用頭戴設備。無論是傳統的PC顯示器還是平板電腦、支架式的顯示屏和頭戴式一體設備都各有所長，目前的主要趨勢是向頭戴一體設備發展，輕量化、長續航、深度感知、全息顯示、臨場感外科（T elepresence surgery）將是今后發展的方向[13]。

另外，基于AR/MR的多人交互，由于現今數據傳輸能力的限制和相應設備技術的不完善，尚無將其用于遠程醫療的報道。倘如將遠程的患者數據信息予以增強顯示，在一個地方就可以完成異地多專家的直觀會診，對疑難重癥的攻克可提供很大的便利。現階段AR/MR仍處于不成熟的階段，單一的應用場景可能是其在頭頸部應用的最佳方式，隨著技術的發展，比如微軟的Hololens等設備的不斷優化或許會為該技術在頭頸外科的應用帶來新的突破。

盡管這些研究為后續的工作提供了一定的參考依據，但仍然存在諸多問題。比如，技術本身還有很大的優化空間，對于頭頸外科的應用場景目前仍較單一，注冊跟蹤技術、顯示技術還需不斷完善。目前的增強還只限于視覺增強，對于觸覺等其他感覺的強化還沒有相關報道，主動的圖像導航依然是空白，增強現實中的人機交互也缺乏相應的研究支持。在實驗方法上，大部分研究采用了論證強度略差的方法，缺乏前瞻性的對照試驗。從結果評價來看，缺乏合適的三維誤差評價方法[14]。

綜上所述，AR/MR有利于頭頸外科的教學和外科手術的實施，具有動態可視化、真實、可交互的優點，同時還有諸多待解決的問題，是一項極具潛力、值得深入研究并不斷完善的數字醫學技術。

[1]Ploder O,Wagner A,Enislidis G,et al.Computer-assisted intraoperative visualization of dental implants.Augmented reality in medicine[J].Radiologe,1995,35(9)：569-572.

[2]Guha D,Alotaibi NM,Nguyen N,et al.Augmented reality in neurosurgery：a review of current concepts and emerging applications[J].Can JNeurol Sci,2017,44(3)：235-245.

[3]Okamoto T,Onda S,Yanaga K,et al.Clinical application of navigation surgery using augmented reality in the abdominal field[J].Surg Today,2015,45(4)：397-406.

[4]Kim Y,Kim H,Kim YO.Virtual reality and augmented reality in plastic surgery：a review[J].Arch Plast Surg,2017,44(3)：179-187.

[5]張家墅,陳曉雷,王群,等.虛擬和增強現實技術在顱內病變穿刺手術教學中的應用[J].中國醫學教育技術,2017,31(5)：578-582.

[6]Lin L,Shi Y,Tan A,et al.Mandibular angle split osteotomy based on a novel augmented reality navigation using specialized robot-assisted arms-A feasibility study[J].J Craniomaxillofac Surg,2015,44(2)：215-223.

[7]Besharati Tabrizi L,Mahvash M.Augmented reality-guided neurosurgery：accuracy and intraoperative application of an image projection technique[J].JNeurosurg,2015,123(1)：206-211.

[8]Zhu M,Liu F,Chai G,et al.A novel augmented reality system for displaying inferior alveolar nerve bundles in maxillofacial surgery[J].Sci Rep,2017,7：42365.

[9]Shen F,Chen B,Guo Q,et al.Augmented reality patient-specific reconstruction plate design for pelvic and acetabular fracture surgery[J].Int JComput Assist Radiol Surg,2013,8(2)：169-179.

[10]Suenaga H,Tran HH,Liao H,et al.Vision-based markerless registration using stereo vision and an augmented reality surgical navigation system：apilot study[J].BMCMed Imaging,2015,15：51.

[11]Zinser MJ,Mischkowski RA,Dreiseidler T,et al.Computerassisted orthognathic surgery：waferless maxillary positioning,versatility,and accuracy of an image-guided visualisation display[J].Br JOral Maxillofac Surg,2013,51(8)：827-833.

[12]Wang J,Suenaga H,Yang L,et al.Video see-through augmented reality for oral and maxillofacial surgery[J].Int J Med Robot,2017,13(2).

[13]Anvari M.Remote telepresence surgery：the Canadian experience[J].Surg Endosc,2007,21(4)：537-541.

[14]Widmann G,Stoffner R,Bale R.Errors and error management in image-guided craniomaxillofacial surgery[J].Oral Surg Oral Med Oral Pathol Oral Radiol Endod,2009,107(5)：701-715.