混合現實技術在醫學教育中的應用

馬雙

摘? 要 圍繞近幾年混合現實技術（MR）在國內外醫學領域的發展動態，分別從院校教育、畢業后教育、繼續教育三個階段，闡述其在醫學教育中的應用現狀和發展前景。

關鍵詞 混合現實技術;醫學教育;數字全息影像技術;混合現實設備;可視化遠程教學模式;教育信息化

中圖分類號：G642? ? 文獻標識碼：B

文章編號：1671-489X（2020）09-0101-03

1 引言

混合現實（Mixed Reality，以下簡稱MR）技術是基于虛擬現實（Virtual Reality，VR）技術和增強現實（Augmented Reality，AR）技術進一步發展而來的一種全新數字全息影像技術，是目前最前沿的跨界技術之一，與人工智能、量子計算、機器人科學一起，被稱為改變人類未來的科技。MR通過對現實世界進行3D建模，將虛擬的物體或信息疊加其中，從而在真實的物理空間中創造出具有空間屬性的全息影像，并可使這個影像錨定在固定位置，實現虛擬世界與現實世界的融合[1]。

MR在國內外工業制造、軍事和文化傳播領域已經得到廣泛應用，但在醫學上的應用才剛起步，因為醫學是一門要求嚴謹、精準的學科，應用門檻較高，這在一定程度上限制了MR在醫學領域的發展。近年來，隨著科學技術的不斷發展，MR在臨床醫療、醫患溝通等領域嶄露頭角，尤其在臨床治療中的應用，給可視化醫療帶來突破性革新的可能。基于MR在醫療領域的應用，結合其自身的優勢和特點，將MR應用于醫學教育，可以改善傳統醫學教育中存在的缺陷，為醫學教育開辟新的路徑。

2混合現實技術在醫療領域的應用

醫學混合現實（Medical Mixed Reality，MMR）是MR在醫學領域的拓展和延伸，其應用首先依賴于醫學三維模型的建立。目前，醫學模型的原始數據多來自CT和核磁共振的Dicom格式數據，依據原始數據通過三維可視化精準渲染技術構建三維模型，再將三維模型載入混合現實設備，最終形成源于MR的醫學模型;然后借助混合現實設備，如微軟的HoloLens全息眼鏡，將全息數字化立體影像真實、立體地呈現出來，并通過手勢、語音、外設等方式與全息影像進行交互。

醫療手術中的應用? 隨著虛擬仿真技術的蓬勃發展，醫學手術可視化系統從二維過渡到三維，實現了從數字化到智能化的跨越。目前，基于MR的可視化系統已經應用到醫療手術的各個階段，如病例討論、手術計劃制訂、術中輔助與引導、術后評估、術后康復等，促進了醫療手術向高智能、高精度發展，從而進一步優化治療效果，提高醫療服務質量[2]。近年來，我國相繼在骨科、泌尿外科、腫瘤外科、口腔科、耳鼻喉、眼視光等醫療領域利用MR輔助完成手術治療，創造了多個世界首例MR引導下的手術，通過全息可視化設備和強大手勢跟蹤功能，實現在術中無菌環境下與臨床數據的無接觸交互，從而促進了醫生快速作出決策，有效增強了手術效果。

遠程會診方面的應用? 基于MR的可視化系統，醫學專家可以在混合現實環境下提供遠程指導，完成疾病的輔助診斷和治療。在手術過程中，指導專家可以利用遠程設備，通過手勢、鉛筆繪制草圖等方式，在目標區域實時注釋指導信息，快捷地將自己的建議傳遞給手術現場人員，有利于手術的快速高效完成。2018年，在中國首套基于HoloLens

的MR手術導航系統支持下，武漢協和醫院葉哲偉、吳星火教授團隊成功完成全球首例基于MR的遠程三地會診手術[3]。

醫患溝通方面的應用? 依據患者的真實數據，利用三維可視化精準渲染技術進行三維立體成像，然后通過混合現實設備，患者可以立體、直觀、逼真地看到自己身體器官的位置、形態、結構和病變狀況;醫生能夠更直觀、高效地解釋病情，有效彌補醫患雙方專業知識的鴻溝，使醫患溝通更簡單、準確和順暢。

3 混合現實技術在醫學教育中的應用

2017年，黨的十九大報告提出：“要完善職業教育和培訓體系，深化產教融合、校企合作。”為新時代職業教育改革的發展指明了前進方向，開啟了加快教育現代化、建設教育強國的新征程。2018年4月，以十九大精神為指引的《教育信息化2.0行動計劃》出臺，標志著教育信息化2.0時代的來臨。2018年10月，為加快推動教育信息化轉段升級，教育部印發《關于實施卓越教師培養計劃2.0的意見》，明確指出：“要推動人工智能、智慧學習環境等新技術與教師教育課程全方位融合，充分利用虛擬現實、增強現實和混合現實等，建設開發一批交互性、情境化的教師教育課程資源?！痹诙喾N政策的利好推動下，MR與醫學教育的融合得到前所未有的發展契機。

MR在醫療領域的發展，為醫學教育開辟了一種高效、立體的全新教學模式。通過影像數據和斷層掃描構建的全息數字化立體三維影像，借助混合現實眼鏡，使人體復雜的解剖結構得以真實、立體地呈現，讓師生能夠在同一空間內實時互動，反復多次地進行實踐演示，既解決了教學資源緊張的問題，又提高了學生的參與度和體驗感，使教學更加高效、清晰。醫學教育是一個終生連續的過程，可以分為院校教育、畢業后教育和繼續教育三個階段，以下就MR在這三個階段的應用進行論述。

MR在院校教育中的應用? 醫學院校教育是高等教育的重要組成部分，是醫學教育的基礎階段。醫學基礎理論、案例教學、基本實踐技能是醫學院校教育的重要內容，本科生教學以基礎理論教學為主，研究生教學以基本操作和一般手術教學為主。利用MR可以將模擬醫學應用在院校教育的各個階段，MR支持下的院校教育，將是繼立體化教材、微課、在線課程等信息化教學方式之后，又一個創新的教學模式。

1）在基礎理論方面。對人體大體形態結構和微觀結構，利用全息影像技術構建的三維模型，借助混合現實設備，學生可以直接透視人體的解剖結構，進行全方位、立體化的觀察，不僅解決了教學資源緊張的問題，也提高了教學質量和效率。

2）在案例教學方面。由于醫學生接觸真實案例的機會極少，僅通過文字和視頻學習，而沒有臨床情景的診療實踐，使教學缺乏帶入感和真實感。而通過模擬人和MR三維影像的結合，可以讓學生在聽覺、視覺、觸覺上深度感知臨床病例，指導學生開展多種臨床情景的診療實踐，從而有效解決這一難題。

3）在基本實踐技能方面。以往的教學多在模擬人教具上完成，學生在操作時對人體內部結構缺乏立體感知，與真實病例操作存在不小差距。MR可以將人體內部結構通過三維影像直觀地展示出來，并與模擬人結合，利用全息眼鏡真實地呈現，使技能操作更加直觀。

MR在畢業后教育中的應用? 目前醫生培養的主要模式是“5+3”，即五年醫學類專業本科教育后，進行三年住院醫師規范化培訓（規培），住院醫師規范化培訓是畢業后醫學教育的重要組成部分，是非臨床專業如護理、檢驗技術、影像技術等專業的畢業后教育，是院校教育與臨床銜接的重要環節。與院校教育的以基礎理論、基本操作技能為教學重點不同，畢業后教育著重臨床操作技能的培養，利用MR進行各種規范化臨床操作技能的訓練和臨床思維能力的培養，可有效提高醫學生的各項臨床操作技能、醫學綜合診斷技能等。

很多教學醫院已經開始利用MR聯合3D打印技術、模擬人等進行復合教學，如胸腔穿刺術、側腦室穿刺技術、經皮椎間孔入路腰椎間盤切除術等臨床操作技能，提高了教學效率，收到較好的效果[4]。在外科手術尤其是眼外科、整形外科等顯微外科手術教學中，術前根據CT、MRI檢查結果，利用基于MR的可視化系統進行全息影像呈現，能夠更直觀、多角度地觀察目的血管走行及毗鄰，教師可以結合全息模型進行手術的設計和優化，還可以將手術方案與實際病例結合進行講解，從而實現教學統一[5]。

MR在繼續教育（終身教育）中的應用? 醫學是一門需要終身學習的學科，利用MR建立醫學繼續教育（終身教育）的可視化遠程教學模式，符合教育部提出的堅持信息技術與教育教學深度融合的核心理念，符合構建網絡化、數字化、智能化、個性化、終身化的教育體系的要求?？梢暬h程教學模式與基于MR的遠程會診系統相似，在混合現實全息影像技術支持下，創設一個在線虛擬課堂，頭戴空間站的醫生使用全息模型進行講解時，可以使用第三視角錄制軟件把醫生及在他視角中的全息模型采集到屏幕，利用網絡進行全息直播，將處于不同地域學習者的虛擬化個體耦合連接到同一個在線虛擬課堂之中，實時交互，實現遠程共享。這種可視化遠程教學模式也適用于真實案例診療教學。

4 混合現實技術的優勢和發展前景

與VR和AR技術相比，MR在醫學教育中更具優勢。VR是一個在三維空間內完全虛擬的世界，可以通過視覺、聽覺、觸覺等感官的模擬，給使用者以身臨其境之感，可以即時、沒有限制地觀察三維空間內的事物，并與之交互，是一種全封閉的沉浸式體驗，其優勢是體驗感較強，但脫離了真實世界，缺乏真實感。AR是把虛擬的物體疊加到真實世界，優勢是增強了與真實世界的融合交互，但需要通過手機、平板電腦的攝像頭進行識別，在這些設備的顯示屏幕上實現虛擬與真實的疊加，空間局限性削弱了使用者的體驗感。MR則是把真實的物體疊加到虛擬世界里，在這個新的可視化環境里實現物理和數字對象的實時互動，集合了VR和AR的優勢，使其同時具備空間感和立體感。

MR可以充分調用豐富的教育素材和場景資源，通過虛擬與現實環境的融合和交互，在教學情境、教學實驗、技能訓練等場景化學習中，創造不再受限于地理空間的教育形式，將人的感覺延伸到新創建的學習場景中，充分調動視覺、聽覺、觸覺甚至嗅覺等多種感官，更具沉浸感、代入感，能夠很好地激發學生的學習興趣，促使學生主動探索。MR將在基礎理論教學、案例教學、實踐技能教學等方面，以嶄新的教育思維，推動院校教育的發展;在畢業后教育階段，與3D打印技術、模擬人等結合進行的復合教學更具發展前景;在可視化遠程教學中更具發展空間。

MR將顛覆傳統的教學模式，在醫學教育的各個階段開辟新的教學路徑，加快推動醫學教育信息化改革和創新步伐，有效縮短醫學人才培養周期。隨著國家創新驅動發展戰略的實施，MR必將以其強大的教學功能優勢和廣泛的應用范圍在推動醫學教育發展、加快教育信息化進程、建設教育強國中發揮重要作用。

參考文獻

[1]Forrest W P， Mackey M A， Shah V M， et al. Mixed reality meets pharmaceutical development[J].Journal of Pharmaceutical Sciences， 2017，106（12）：3438-3441.

[2]GAO Y， TAN K， SUN J， et al. Application of Mixed?Reality Technology in Visualization of Medical Opera-tions[J].Chinese Medical Sciences Journal，2019，34（2）：103-109.

[3]張加堯，吳星火，馮曉波，等.混合現實技術在醫學領域的應用[J].中華實驗外科雜志，2019，36（1）：179-181.

[4]杜昌旺，史羅寧，王玫，等.3D打印聯合混合現實技術在側腦室穿刺教學中的運用研究[J].中國醫學教育技術，2019，33（5）：603-606.

[5]燕榮帥，李翔，肖晶晶，等.混合現實技術在整形外科教學中的應用探索[J].中國美容醫學，2018，27（2）：140-142.