混合現實技術在護理教學中的應用及展望

李加，張欣

隨著計算機、空間定位、圖像處理和人機交互等科學技術的快速發展，混合現實(Mixed Reality，MR)技術在各領域的應用受到越來越多人的關注[1-2]。MR技術是通過融合現實和虛擬產生新的可視化環境，使學習者能夠與其進行實時交互的一種技術[3]。現有護理模擬教學多采用人體模型或標準化病人(Standardized patients，SP)等方式，近年虛擬現實(Virtual Reality，VR)技術和增強現實(Augmented Reality，AR)技術亦有一定的應用。這些方法都存在各自的局限性，尤其是與實際臨床情景存在一定的差距,而MR技術因其虛實融合、精確匹配、實時交互等特點，具有解決這些問題的巨大潛力。目前，MR技術在護理教學中的應用仍處于初步探索階段。隨著數字化技術在醫學領域的普及和MR技術的發展，MR技術的應用前景不可估量[4]，其在護理教學中的應用將會越來越廣泛。筆者基于MR技術在護理教學中的應用現狀、現存問題進行綜述，以期為其后續發展提供參考。

1 MR技術概述及特點

MR技術基于VR技術和AR技術發展而來[5]。VR技術是通過構建數字化虛擬世界，并借助相關設備實現視、聽、觸覺等的感官模擬，從而達到身臨其境效果的一種技術[6]。此時，學習者與真實世界完全隔離，僅與虛擬世界進行交互。AR技術是指將虛擬對象疊加到現實世界里，從而增強學習者對現實的體驗的一種技術[7]。此時，現實信息和虛擬信息僅進行簡單的疊加，無更深層次的關聯。相比VR技術，MR技術保留了學習者實際感知現實世界和與其互動的功能；相比AR技術， MR技術在融合了虛擬與現實的基礎上，實現與虛擬現實混合體的交互。1994年，Milgram等[8]對MR技術的內涵進行探討，并首次提出虛擬連續體(Virtuality Continuum)的概念，見圖1。如圖1示，在虛擬連續體中，兩極分別代表了全部由現實對象組成的現實環境和全部由虛擬對象組成的虛擬環境，而在兩極之間的連續區域即為混合現實，在該區域內，虛擬與現實互相交融，學習者難以區分現實與虛擬之間的界限。此概念強調了MR技術能夠實現現實與虛擬無縫融合的觀點。MR技術的特征主要有三方面[9]：①虛擬與現實的融合。既可以將虛擬對象添加到現實世界中，也可以將真實物體添加到虛擬世界中。②虛擬模型與現實世界精確匹配性。在混合環境中，虛擬空間與現實空間之間形成映射關系，從而感知用戶位置、姿勢、手勢等的變化并實時呈現相應的觀察畫面，為用戶提供沉浸式體驗。③實時交互性。用戶通過感覺通道與混合現實環境發生聯系，形成視覺、觸覺、嗅覺等的感知，并獲得智能的交互和反饋。

圖1 虛擬連續體

2 MR技術在護理教學中的應用現狀

MR技術的應用范圍包括教育、醫學、藝術等領域。醫學方面，MR技術在醫學教育、精準手術、醫患溝通等方面有一定的應用[10]。在醫學教育領域，目前的應用研究主要集中在將MR技術應用于手術培訓，尤其是考慮到實體標本緊缺、成本高等現實阻礙和MR技術的虛實融合、交互性、可反復使用等優勢，其在骨科[11-13]、整形外科[14]、口腔科[15-16]等對解剖要求較高的精細專業應用更多。目前，MR技術在國外護理教育應用尚屬起步，國內研究更是處于空白狀態。

2.1MR技術在醫學基礎課程中的應用 現階段，基礎課程如人體解剖學、生理學、病理生理學等的講授主要以圖片、模型等輔助教學。這些方式雖有一定的作用，但學生理解起來仍有一定的困難。Maniam等[17]通過多學科合作開發了一款與微軟HoloLens配合使用的MR解剖學教學應用程序，此應用程序實現了在現實世界中使用虛擬模型進行交互式學習解剖的目的。該程序目前開發出了顳骨解剖教學所需的部分功能。程序分為3個模塊：①基礎HoloLens教程。佩戴HoloLens后，學習者可進行該程序各功能的學習，如點擊、拖拽、利用頭部動作操作等。②顳骨外科解剖學探索。學習者可以對虛擬顳骨進行的操作包括，從不同角度和平面觀察解剖結構，點擊被標注的重要解剖結構并聆聽講解等。③顳骨的自由鉆孔。學習者可以利用虛擬顳骨模擬實際的鉆孔過程，從而理解不同結構之間的解剖關系，操作過程中，程序能夠給予及時的反饋，從而糾正錯誤。與之類似的有凱斯西儲大學的一個研究團隊開發的一套基于MR技術的解剖系統[18]，操作者可以通過手勢、眼神等對MR解剖圖像進行操作，還可以通過遠程的方式與之互動。功能方面，這些系統為MR解剖學教學資源的開發提供了雛形，可以進一步開發，比如增加觸覺感知功能[19]，從而提高模擬過程的真實感。教學層面，目前仍缺乏相關研究證明MR技術應用于現實醫學基礎課程的有效性，日后的研究可以從效果評價等方面著手探索，從循證的角度為MR技術在醫學基礎課程中的應用提供有力的客觀依據。

2.2MR技術在護理情景教學中的應用 情景教學因其可及性在護理教學中應用廣泛，但仍存在一定的局限性。Hauze等[20]嘗試將MR技術應用到有關過敏性休克患者護理的教學中。研究中學生被隨機分為三組，三組分別獲得的學習資料為書面案例(含二維靜態過敏反應圖像)，二維過敏反應模擬視頻和書面案例，以及基于MR技術的過敏反應模擬和書面案例。第3組學生在佩戴微軟HoloLens后，可以通過MR技術觀察患者在過敏反應不同階段的癥狀，虛擬患者躺在現實中真實存在的病床上，學生可以在床周圍走動，從各個角度觀察虛擬患者。研究者計劃通過題目(包括知識題和技能題)的形式了解各組學生在過敏反應患者處于不同階段時的評估和干預的水平，從而定量探究MR技術在處理低頻率、高風險護理臨床問題時的有效性。由于這項研究仍在進行中，尚無法得知MR技術的應用效果。不過與之類似的研究證實了MR技術的作用，它使學習過程可視化、更真實，印象更加深刻，有利于反思、從同伴中學習，且有助于臨床思維的培養。

SP在護理教學中的應用日益廣泛[21]，它能有效鍛煉學生的臨床思維以及將護理理論知識、操作應用于解決臨床實際問題的能力，但與臨床實際仍存在一定的差距。實際操作過程中，學生需要獲取的信息通常只能通過SP的表演、口述獲得，未來可以將MR技術應用到SP教學中，這樣有利于模擬病情觀察，提高SP教學的真實性。此外，MR技術的應用還能實現SP中較難接觸到的人群的模擬，如兒童。Chuah等[22]開發了一套通過MR技術訓練學生臨床溝通能力的系統。學習者可在MR環境中與虛擬患兒、家屬進行模擬對話，用以練習兒童發育狀態的檢查。該系統中的虛擬患兒能準確模擬真實病理癥狀供學習者觀察。在互動過程中，學習者還可以向虛擬兒童布置一些任務用于病情評估。研究從教育效益、可用性和虛擬感知三方面進行了評價。教育效益主要指參與者信心水平的變化；可用性包括系統可使用的頻率、使用復雜性等條目；虛擬感知主要指參與者對虛擬人真實性的感受。研究結果表明，該系統對上述3個指標都有一定的作用，可用于反復練習與特殊人群進行溝通交流的技巧。

護生團隊合作的態度和認知的提高可以通過跨專業團隊合作模擬教學實現。有研究利用MR技術實現了護理、臨床醫學、職業治療和營養學4個醫學專業的學生的跨專業合作，研究中，各專業的學生都需要評估1例心肌梗死患者并確定該患者的優先臨床問題或需求，研究發現，各專業學生的結論并不完全一致，而運用MR技術有助于突出各學科的重點并更好地理解不同學科如何進行專業分析、推理，是促進各學科協作發展的有效手段。

MR技術的應用可以有效提高護理情景教學的真實性并擴充應用范圍，未來的研究可以進一步探索如何在應用MR技術的情況下進行更好的課程設計與規劃，過程中可以參考利用傳統模擬技術進行護理情景教學的相關研究。

2.3MR技術在急救護理訓練中的應用 護理教學中存在較難理解和掌握的操作技術，在實際應用中需融會貫通，如急救護理，這類學習通常依靠模擬訓練完成，但是現有模擬的效果有待加強。MR技術的應用可大幅增加模擬程度，提高訓練者的沉浸感。Girau等[23]創建了一個可用于急救培訓的MR系統，該系統由虛擬環境、真實人體模型和虛擬人體模型構成，使用時需佩戴頭戴顯示器(Head Mounted Display， HMD)。虛擬環境模擬市中心十字路口發生事故時的場景，包括行人、車流、救護車等細節的畫面和音效。真實人體模型與虛擬人體模型相關聯，使用者對真實人體模型進行的操作都能夠映射到虛擬人體模型上。該團隊已經在系統中構建了兩種急救情景，一種為發生胸部刺傷時，虛擬人體模型出現肺穿孔的癥狀，當使用者用手按壓真實人體模型上與虛擬人體模型傷口對應部位數秒鐘后，虛擬人體模型呼吸轉為正常；另一種為模擬腿部利器傷時，與第一種情景類似，壓迫數秒后達到止血效果。Stone等[24]設計并開發了一個基于MR技術的MERT(Medical Emergency Response Team)模擬基地，用于訓練護士等急救成員戰時傷員搶救，從而促進他們的知識、技能、態度/能力增長，以及在“特定任務”中的表現和團隊凝聚力。該基地中，真實的元素包括基地外殼，內部配飾和高仿真模擬人。基地外殼模擬了機艙的場景，設計為類似“隧道”的結構；內部配飾有可折疊座椅、織帶、仿制武器等，成本較低又能增加真實性；高仿真模擬人模擬了傷員創傷性截肢的狀態，允許進行氣管插管等操作。虛擬環境中，實際拍攝的飛行畫面和發動機音效用于情景化，急救團隊其他成員的虛擬模型和虛擬彈藥箱等可供訓練者進行交互。這些應用對提高模擬的真實感都有一定作用，但效果比較有限，尤其是交互性層面仍需進一步開發。

3 MR技術在護理教學中應用的現存問題及展望

技術的應用與變革是推動醫學教育的重要舉措[25]。目前，MR技術在護理教學領域的應用仍處于初步探索階段，目前面臨的挑戰主要有兩個方面。首先，MR技術在護理教學領域課程的開發十分有限，有待發展。MR課程資源的開發對技術層面的要求較高，涉及到內容設計、三維建模、場景構建等專業知識，而如何讓MR護理教學場景中虛擬與現實的組織和布局符合教學需要又涉及護理教學方面的專業知識，所以現階段護理課程的開發無法僅通過技術人員或護理教師單獨完成。未來，可以培養一批具備護理教學與MR相關技術雙重背景的人才，或者形成技術人員與護理教師的團隊，合作開發基于MR技術的護理教學資源。其次是技術成本，考慮到一套完整的MR設備及相關使用成本較高，普通護理院校可能無法購置而制約MR技術的應用。不過，可以預見MR技術將進入快速發展期[26]，鑒于VR、AR、MR三者在感知系統、顯示設備、底層技術和開發工具等方面有相似處，可借助VR、AR技術現有的產業鏈發展MR技術[27-29]。隨著MR技術的不斷成熟，其制造和應用成本會隨之下降，但短時間內成本問題依然是制約MR技術在護理教學中推廣使用的重要因素。

在線護理課程可以融入MR技術，從而彌補遠程護理教學的不足。相比線下課堂，MOOC等在線教學形式存在學習體驗感不足、缺乏學習監督力度等問題，對學生的學習興趣、在線學習滿意度、在線學習效果等方面產生了負面影響，制約了遠程教學的長足發展[30]。MR在線學習課堂可以使處于不同空間的老師、學生身臨其境地“面對面”交流，從而提高教學效果。新冠疫情期間，密歇根大學便利用HoloLens實現了質量較高的臨床接觸和床旁教學[31]，這對于護理操作類課程尤其具有意義。未來，在利用MR技術進行護理操作類課程的教學過程中，通過MR相關設備，講述者可以以自己的視角采集視野、護理操作、聲音、感知等信息，并進行視角共享，這樣學習者便可以對護理操作中的重難點、細節問題等有更直觀、深入的理解。考慮到可重復性、便于提供反饋等特點，運用MR技術還有利于規范護理操作。護生可以通過MR技術在安全無風險的環境中反復練習護理操作，老師可以通過共享的視角或者錄下的視頻查看護生護理操作過程，從而提供指導和反饋。從宏觀的角度來看，這一功能十分有意義，既彌補了在線護理教學與線下護理教學的差距，有助于遠程護理教學的發展和應用，促進了護理教學資源的共享以及教育公平性，又提高了護理信息傳輸效率，實現了護理信息二維傳輸到全息立體傳輸的變革。

雖然利用技術是推動醫學教育變革的決定性舉措，MR技術只是一種手段，重點應在于能否滿足護理教學中的學習目標。有研究發現，相比通過基本技能或沉浸式模擬，護生通過MR訓練系統習得基礎生命支持(Basic Life Support，BLS)技能的效果反而最小，這可能與MR技術會分散護生注意力甚至造成感官過載，且護生不熟悉這種方式需要適應有關；研究還表明，相比沉浸式模擬，MR訓練系統更易讓護生獲得自信，尤其是考慮到護生在使用MR技術時產生的不知所措、恐懼等情緒[32]。Barrie等[33]提出，在教學初，教學重點應放在具體護理理論知識和護理操作的學習，仿真度不高的模型和護生熟悉的環境(普通的技能教室)即可滿足此階段教學活動要求，且這樣更有利于以直接的方式傳授最基本、最重要的內容；待學生初步掌握后，需根據實際情況判定是否需要為學生提供基于MR技術的教學活動。以急救護理教學為例，可以在學生已經具備一定的相關臨床知識和技能后再開展MR教學，從而鍛煉并增強他們的信心以及應對緊急情況的能力，為搶救等臨床實踐做準備。由此可見，課程的設計至關重要，如何在護理教學中更好地融入MR技術進而滿足護理教學的目標是值得研究的課題。

4 小結

MR技術由VR、AR技術發展而來，因其虛實融合、精確匹配、實時交互等特點目前已在醫學基礎課程、護理情景教學、急救護理訓練等領域中有一定的應用。現階段，MR技術在護理教學中的應用存在課程開發不足、技術成本過高等不足。未來，研究者還可以進一步探索在線護理課程與MR技術結合，MR技術融入護理課程時課程的設計等問題。