增強現(xiàn)實與混合現(xiàn)實技術(shù)在骨科教學(xué)的研究進展

羅文浩 陽天睿 李曄

（中國醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)學(xué)院北京協(xié)和醫(yī)院1.基本外科，2.臨床醫(yī)學(xué)，3.骨科，北京 100730）

由于學(xué)生在骨科學(xué)習(xí)過程中，實踐操作的機會較少，很多一線臨床教學(xué)工作者將研究方向延伸到模擬教學(xué)方面，欲研制出可供學(xué)生進行多次可重復(fù)臨床模擬的技術(shù)，將主觀的書本知識進行客觀轉(zhuǎn)化，給予學(xué)生臨床實踐的可行操作平臺。

增強現(xiàn)實（augmented reality,AR）技術(shù)是虛擬現(xiàn)實（virtual reality,VR）技術(shù)的一種新興分支，AR 技術(shù)可以將計算機產(chǎn)生的虛擬場景疊加在真實的場景之中，構(gòu)建一個真實與虛擬世界之間的交互場景，因其對現(xiàn)實環(huán)境進行增強，故稱為增強現(xiàn)實[1]。AR具有真實性、實時交互性和實用性的典型特征[2]，增強和擴展了人類的視覺系統(tǒng)，比VR擁有更廣闊的應(yīng)用空間和研發(fā)潛力。

為了提升應(yīng)用性能，混合現(xiàn)實（mixed reality,MR）技術(shù)日趨成熟。MR 技術(shù)是對VR 和AR 技術(shù)的進一步發(fā)展，它通過特殊眼鏡將真實視野與虛擬視野疊加，是一種建立在人類自然感知基礎(chǔ)上的新型數(shù)字技術(shù)。MR首先在計算機中建立圖形影像，生成虛擬模型，再通過特殊眼鏡將其疊加至現(xiàn)實環(huán)境中，形成現(xiàn)實與虛擬圖像混合的場景。這種混合場景本質(zhì)上是在現(xiàn)實、虛擬和用戶間構(gòu)建信息交互反饋的回路[3]。與VR和AR技術(shù)相比，MR技術(shù)更加直觀，并提供了前兩者并不具備的代入感。使用者僅需佩戴眼鏡，不影響正常視野，也無需占用雙手，便捷靈活，提高了學(xué)生在虛擬的環(huán)境中的互動性和沉浸感。

近年來，骨科手術(shù)技術(shù)飛速發(fā)展，但由于骨與軟組織結(jié)構(gòu)和功能的復(fù)雜性，以及骨科病種的多樣性，手術(shù)相關(guān)風(fēng)險和并發(fā)癥發(fā)生率仍然較高。特別是在疑難復(fù)雜的脊柱、關(guān)節(jié)、骨腫瘤和創(chuàng)傷復(fù)位等手術(shù)中，由于解剖結(jié)構(gòu)難以準(zhǔn)確清晰地識別，較易引起相關(guān)副損傷發(fā)生，加之教學(xué)環(huán)境不容樂觀、教學(xué)資源短缺、教學(xué)成本居高不下等，成效頗受影響[4]。面對我國醫(yī)療資源緊缺、青年骨干醫(yī)師成長周期長的問題，AR、MR 技術(shù)的發(fā)展有望提供解決途徑。本文將對AR技術(shù)、MR技術(shù)在骨科手術(shù)規(guī)劃、教學(xué)與培訓(xùn)中的應(yīng)用現(xiàn)狀進行綜述。

1 AR和MR技術(shù)在骨科領(lǐng)域的應(yīng)用概述

AR 技術(shù)可以更好地顯示重要解剖部位，有助于提高手術(shù)安全性，縮短完成手術(shù)所需的時間，在多種骨科手術(shù)中具有豐富潛力[5]。骨科手術(shù)中，AR已試用于微創(chuàng)的經(jīng)皮脊柱內(nèi)鏡手術(shù)、創(chuàng)傷重建、截骨術(shù)、關(guān)節(jié)鏡手術(shù)、關(guān)節(jié)置換術(shù)及腫瘤切除等手術(shù)中，研究內(nèi)容涉及脊柱外科、關(guān)節(jié)外科、創(chuàng)傷骨科、骨腫瘤外科和骨科康復(fù)等骨科亞專業(yè)[6]。

骨科手術(shù)中，醫(yī)師主要依靠視覺與觸覺反饋信息進行手術(shù)操作。MR 技術(shù)將CT 掃描的平面圖像轉(zhuǎn)化為立體模型，降低空間構(gòu)思的難度，同時將患者實體結(jié)構(gòu)與本人的影像解剖模型對應(yīng)，提供個體化的、逼真的三維視覺、聽覺、觸覺感知。由此，骨科醫(yī)師與計算機交互，可以以更自然的方式進行實踐操作。青年醫(yī)師利用MR技術(shù)，可以對同一操作進行反復(fù)練習(xí)，積攢經(jīng)驗，可以有效縮短學(xué)習(xí)年限。對一些高風(fēng)險骨科手術(shù)，如高位脊柱節(jié)段手術(shù)，術(shù)前可以采用MR技術(shù)進行多次個體化模擬操作，發(fā)現(xiàn)術(shù)中操作難點，提高手術(shù)的精度，避免術(shù)中發(fā)生不可挽救的傷害。因此，越來越多的醫(yī)療機構(gòu)、醫(yī)務(wù)人員選擇將MR 技術(shù)應(yīng)用于骨科手術(shù)、技能培訓(xùn)等領(lǐng)域，以提高手術(shù)精度、擴展醫(yī)學(xué)教學(xué)的時間和空間[7]。

2 AR和MR在骨科教學(xué)應(yīng)用中的優(yōu)勢

2.1 節(jié)省資源，方便可行

優(yōu)勢醫(yī)療資源的稀缺與分布不均是我國醫(yī)療衛(wèi)生領(lǐng)域目前的現(xiàn)狀，也是亟待解決的問題[8]。開展遠程醫(yī)療是解決問題的途徑。解剖學(xué)作為骨科基礎(chǔ)教育中重要環(huán)節(jié)，由于標(biāo)本短缺、成本較高等限制，教學(xué)資源無法滿足教學(xué)需求。AR和MR技術(shù)主要面對低年資醫(yī)師和醫(yī)學(xué)生，這類人群的特點是具備理論知識，但缺乏實踐經(jīng)驗。AR 及MR 技術(shù)的應(yīng)用彌補了傳統(tǒng)教學(xué)的不足，使授課老師和學(xué)生穿梭在虛擬和現(xiàn)實環(huán)境，提供了一種高效、立體的全新教學(xué)模式。青年醫(yī)師借助于AR和MR技術(shù)可以在任何適當(dāng)?shù)膱鏊M行理論學(xué)習(xí)、手術(shù)方案設(shè)計、手術(shù)預(yù)演，以及實踐操作模擬；還可多人參與同一模型的協(xié)作學(xué)習(xí)與集中討論。這種學(xué)習(xí)方式形象生動，便于記憶，亦更好地解決了培養(yǎng)單位醫(yī)療資源和培訓(xùn)資源有限的難題。

2.2 真實仿真，安全可行

AR 與MR 技術(shù)讓現(xiàn)實世界與虛擬世界結(jié)合，營造出一種身臨其境的感覺，具有仿真性[9]。AR、MR技術(shù)可以快速、準(zhǔn)確、實時地建立包括解剖部位、解剖層次和解剖功能在內(nèi)的四維模型，協(xié)助臨床醫(yī)師或培訓(xùn)者分析病變特征、病變性質(zhì)和解剖結(jié)構(gòu)位置關(guān)系，施行交互式手術(shù)模擬，獲得更好的體驗。此外，在術(shù)中講解展示時還可以實時匹配患者的實際體位，更加真實。操作者在操作過程中無需接觸計算機或投影眼鏡等設(shè)備，不會造成術(shù)中污染，無疑增強了術(shù)中應(yīng)用的便利性和安全性。此外，在骨科手術(shù)或操作中涉及的重要解剖結(jié)構(gòu)在手術(shù)前可由計算機系統(tǒng)進行不同顏色或不同符號的標(biāo)記，以便更直觀地制定手術(shù)方案，模擬手術(shù)路徑，提高手術(shù)操作的準(zhǔn)確性和安全性。在教學(xué)方面，AR、MR 技術(shù)使學(xué)生對復(fù)雜人體標(biāo)本的學(xué)習(xí)變得更加直觀、立體并且簡單有效；骨科帶教老師也可對虛擬的人體標(biāo)本進行反復(fù)多次的解剖和演示，使培訓(xùn)更加高效。AR、MR 技術(shù)在解剖教學(xué)中的應(yīng)用，有利于學(xué)生理解復(fù)雜的骨科結(jié)構(gòu)，從而更加有效地培養(yǎng)醫(yī)學(xué)生的各項臨床技能[10]。對于有創(chuàng)和費用昂貴的操作，醫(yī)學(xué)生可先在虛擬空間接受培訓(xùn)，直觀地模擬各項臨床操作，重復(fù)訓(xùn)練，待操作或培訓(xùn)技術(shù)成熟后，再在人體上進行實際操作。例如，在經(jīng)皮椎間孔入路腰椎間盤切除術(shù)的教學(xué)中，MR技術(shù)提高了學(xué)生及醫(yī)師學(xué)習(xí)的主動性、學(xué)習(xí)興趣和三維想象能力[11]。在AR、MR 技術(shù)的幫助下，骨科醫(yī)師利用圖形處理技術(shù)、可視化技術(shù)和傳感技術(shù)，在現(xiàn)實世界中呈現(xiàn)骨折創(chuàng)傷的虛擬模型。在不改變對客觀事物感知的情況下，醫(yī)師還可以通過手勢對模型進行配準(zhǔn)觀察，實現(xiàn)對骨折部位解剖結(jié)構(gòu)的清晰了解，增加手術(shù)的可控程度。

2.3 深度學(xué)習(xí)，實時可行

目前，臨床解剖基礎(chǔ)知識對許多年輕骨科醫(yī)師、甚至中年醫(yī)師來說都是難點，一位成熟骨科醫(yī)師的成長周期至少為10 年，而具有豐富解剖知識和手術(shù)經(jīng)驗的專家成長周期往往更長。當(dāng)前廣泛使用的解剖圖譜都是平面圖像，視覺效果不佳，影響到教學(xué)效果。在骨科手術(shù)的教學(xué)過程中，運用AR及MR技術(shù)，可以真實模擬人體解剖，還原手術(shù)過程，將抽象枯燥的醫(yī)學(xué)知識生動地呈現(xiàn)出來。因此，骨科AR 及MR教學(xué)具有巨大的潛力及廣闊的前景，具有現(xiàn)實意義。

有關(guān)研究發(fā)現(xiàn)，住院醫(yī)師利用AR技術(shù)模擬動力髖螺釘植入治療髖關(guān)節(jié)囊外骨折，從中可以獲得導(dǎo)絲插入和螺釘植入的近似真實體驗，經(jīng)濟且效果佳[12]。國外學(xué)者將AR技術(shù)應(yīng)用于髖臼杯置換手術(shù)的訓(xùn)練，發(fā)現(xiàn)無論由專業(yè)骨科醫(yī)師進行傳統(tǒng)帶教，還是使用AR 技術(shù)，兩組受訓(xùn)者的實踐準(zhǔn)確率是相似的[13]。這提示AR技術(shù)今后可以應(yīng)用于更多骨科手術(shù)項目的訓(xùn)練。MR技術(shù)可以在術(shù)前對骨折、軟組織缺損等形態(tài)學(xué)損傷進行建模，模擬復(fù)位、轉(zhuǎn)移組織等操作，有助于學(xué)習(xí)者更好地理解手術(shù)的設(shè)計理念和手術(shù)原則，加深學(xué)科認識；也更利于學(xué)習(xí)者理解手術(shù)入路，降低在實際操作過程中給患者帶來副損傷的概率。MR 技術(shù)具備實時互動性，學(xué)生使用MR 技術(shù)可以自由的在展示空間中活動，從任意角度觀看研究模型，并可對模型進行實時模擬操作[14]。

2.4 精準(zhǔn)高效，切實可行

在傳統(tǒng)骨科手術(shù)中，病損部位與鄰近血管神經(jīng)的結(jié)構(gòu)關(guān)系往往難以完整精確呈現(xiàn)。手術(shù)中如果完全依賴主刀醫(yī)師對解剖結(jié)構(gòu)和各種變異的熟知，以及術(shù)中臨場應(yīng)變和應(yīng)急處理的能力，那么手術(shù)精確性則較不可控，存在一定的安全風(fēng)險。AR、MR 技術(shù)將真實物理空間與虛擬空間精準(zhǔn)匹配，對病變精準(zhǔn)定位，協(xié)助引導(dǎo)手術(shù)操作。已有不少研究將MR技術(shù)運用于骨科手術(shù)導(dǎo)航，均收獲了良好的效果[15]。MR技術(shù)可將患者的3D 影像放大、旋轉(zhuǎn)、移動，完整精確地疊加在患者真實體位上。此外，在患者康復(fù)治療中，AR、MR將虛擬與現(xiàn)實融合，將傳統(tǒng)的運動康復(fù)理論與運動捕捉感知技術(shù)結(jié)合，將治療練習(xí)中的動作轉(zhuǎn)化為更豐富的虛擬反饋，增加使用者的代入感，及時糾正錯誤動作，達到最佳康復(fù)效果[16]。

3 AR與MR發(fā)展的困境與挑戰(zhàn)

近年來AR、MR 技術(shù)飛速發(fā)展，但在醫(yī)學(xué)教學(xué)領(lǐng)域仍處在起步階段，需要進一步加以完善，尤其是在骨科專業(yè)方面的技術(shù)支持。

首先，臨床中不僅要關(guān)注解剖結(jié)構(gòu)，還注重其功能。而AR 目前更多是集中在對人體各結(jié)構(gòu)的識別和引導(dǎo)，而往往忽略了對其功能性的認知。其次，既往基于AR 技術(shù)的研究中所包含的樣本或案例數(shù)量較少，有必要進行更大規(guī)模的試驗，以明確新技術(shù)較傳統(tǒng)技術(shù)的優(yōu)越性和可靠性。現(xiàn)階段AR 技術(shù)在遠程會診等應(yīng)用中仍存在傳輸速率問題，常出現(xiàn)滯后和延遲。相信隨著5G技術(shù)的不斷研發(fā)、應(yīng)用，這一問題將會得以解決。

MR 技術(shù)的局限性：①價格較昂貴，并沒有完全普及，因此不太可能讓每個學(xué)生都去具體操作演練，學(xué)生本質(zhì)上獲得的動手機會并沒有增加；②缺乏觸覺感知，目前MR 尚只限于視覺模擬，對于觸覺等其他感覺的強化還沒有相關(guān)報道；③MR對軟組織的模擬較為欠缺。此外，MR技術(shù)的展示操作需要一定的學(xué)習(xí)周期，使用者需要時間熟悉這項技術(shù)。對于骨科而言，大體標(biāo)本經(jīng)過福爾馬林浸泡和三維重建后，畫面有一定程度的失真和扭曲，精確性亟待提高。目前，MR 虛擬手術(shù)與物理解剖的體驗有著較大差別，還不能取代物理解剖操作。如何合理安排虛擬實驗和實體操作的比重，是教學(xué)中需要解決的問題。

4 總結(jié)與展望

AR、MR 技術(shù)結(jié)合新型骨科診療技術(shù)，將在骨科疾病的診斷、治療、教學(xué)、培訓(xùn)中發(fā)揮越來越重要的作用。有必要盡快建立完善的AR、MR 培訓(xùn)模式和培訓(xùn)效果評估體系，通過新技術(shù)增強骨科醫(yī)師、醫(yī)學(xué)生對骨科專業(yè)的興趣，提高其對基本理論知識的學(xué)習(xí)，對基本操作技術(shù)的掌握，并不斷提高實踐能力和手術(shù)技術(shù)，進行更加細致完善的術(shù)前規(guī)劃，制定更加合理優(yōu)化的手術(shù)方案，提高手術(shù)操作成功率，從而最大限度地惠及患者。研究者需要加強對新技術(shù)人才的培養(yǎng)，豐富該領(lǐng)域的研究團隊；醫(yī)師應(yīng)該推動新技術(shù)在醫(yī)學(xué)教學(xué)中的應(yīng)用，不斷提高臨床醫(yī)師的知識儲備和診療能力，優(yōu)化臨床治療方案，提高患者獲益[17,18]。

總之，AR 與MR 技術(shù)不僅可以有效彌補傳統(tǒng)教學(xué)模式的弊端，使醫(yī)學(xué)教育更加高效、精準(zhǔn)、直觀，還能逐步推動醫(yī)學(xué)教育模式的革新，同時，AR、MR技術(shù)可促進醫(yī)療教學(xué)資源的合理配置，加快青年骨科醫(yī)師的培養(yǎng)，改變骨科醫(yī)師培養(yǎng)曲線過長的現(xiàn)狀，為骨科的規(guī)范化教學(xué)培訓(xùn)提供強有力的技術(shù)支持。AR與MR技術(shù)作為一種創(chuàng)新型教學(xué)方法，在骨科教學(xué)培訓(xùn)中的應(yīng)用值得進一步探索和推廣。