基于VR的腹腔鏡膽囊切除術仿真協同教學平臺設計

李偉民， 李 芹， 田衛紅， 朱紅偉， 高文哲

（1.湖南人文科技學院信息學院，湖南 婁底 417000；2.中南大學湘雅三醫院肝膽胰外科，長沙 410013）

0 引 言

臨床醫學是一門經驗性很強的學科，越是經驗性的知識就越需要實踐。因此，有效增加實踐內容，提升學生實操能力是臨床醫生的高質量培養過程中的關鍵一環［1］。

傳統的臨床實操能力訓練方式主要為視頻展示、動物標本訓練、教學輔助器具和觀摩等，這種培養模式需要大量時間和人力資源，且對患者造成損害的風險較高。因此，在當前醫療資源緊缺的情況下，傳統的臨床教學方式難以適應醫學發展的需求。近年來，虛擬現實（Virtual Reality，VR）技術在臨床醫學中的應用備受關注，它可以綜合運用信息技術生成與真實環境高度相似的視覺、聽覺、觸覺等方面的數字虛擬環境，并利用顯示和交互設備讓用戶獲得身臨其境的沉浸式感受和體驗。VR技術在醫學教學、手術技能訓練、個性化手術規劃預演、康復治療有著廣闊的應用前景和獨特的優勢，將成為醫療行業不可或缺的教學和培訓手段［2］。首先，通過設計科學規范的仿真素材，能有效改善教學和培訓資源短缺和考核難以量化評估的現狀；其次，學員可以隨時進行低成本和可重復的臨床技能訓練，并縮短臨床實踐學習周期，提升學習過程中的醫療安全性；最后，VR與臨床教學融合將重塑學習資源和教學組織，深化臨床教學內容，拓展醫學教育信息化維度，有助于催生新的臨床教學方法和醫學人才培養模式［3］。

目前VR手術模擬教學是VR在醫學教育中應用最廣泛的場景［4］。腹腔鏡手術得益其創傷小、恢復快、效果佳等優點，深受患者的歡迎。但是，與傳統開腔手術相比，腹腔鏡手術要求醫生具備更強的手眼協調和空間感知能力。國內外大量文獻研究表明，基于VR的腹腔鏡訓練系統能顯著提升醫學生的臨床技能和水平［4］。然而，現階段國內外相關研究仍存在以下幾個方面的缺陷：①大多數訓練系統智能化程度不高。訓練過程中缺乏實時反饋、智能評價和智能導航機制；②缺乏協同訓練模式。腹腔鏡手術本身具有多人協同的屬性，一臺手術需要多人協作，教學環境下需要教師的協作指導，此外多名學員結伴練習實現分組手術技能競技，加速知識建構；③缺乏將VR 技術特性和教學設計理論有機融合指導腹腔鏡手術訓練的研究。

針對上述問題，本文以最成熟的腹腔鏡手術——膽囊切除術為例，基于協同虛擬現實技術，結合具身認知理論、自主探究式學習理論以及學習空間理論，并融入智能化元素，構建一種新型的智慧腹腔鏡訓練模式。采用量化和質性相結合的實驗分析方法，多方位、多層次驗證該模式訓練效果的有效性和優越性。研究結果進一步發展基于VR的腹腔鏡訓練模式的教育方法論和課程設計論，提供在智能教育時代構建VR 腹腔鏡訓練智慧學習模式的有效途徑。

1 相關研究

1.1 VR+教育

VR是以計算機技術為核心，融合相關學科技術，為用戶提供在視覺、聽覺、觸覺等方面與真實或假想場景高度相似的數字化環境，用戶可以在其中與計算機生成的世界中各種對象進行交互，進而獲得身臨其境的擬真感受和體驗［5］。隨著VR 與新興的人工智能、大數據、云計算、物聯網等信息技術的融合，VR 發展為4I特征，即沉浸感、交互性、構想性和智能化，且具有較強的學科綜合性和交叉性，因此近年來被廣泛應用至電子游戲、教育、軍事、制造、醫療等領域，形成“VR+”創新應用生態環境［6］。教育是VR 的一個極有生命力的應用領域。趙沁平院士指出，通過VR 技術可以使學習者沉浸式體驗學習對象和教學過程，拓展并深化教育信息化的維度和內容，并催生新的教學模式和方法。VR 技術通過創設沉浸式、交互式與創造式學習環境，激發學習者動機、實現情境學習、促進個性化學習等作用［7］。

（1）虛擬現實為教學提供具身場景。具身認知理論認為認知是具身的、情境的，已成為第二代認知科學的核心理念之一［8］，VR不僅可以構建逼真的情境，還能利用構想性模擬現實中不存在的虛擬場景，從而創設學習者完全沉浸式的具身學習場景，打造身體、認知和環境高度融合的具身學習系統。例如，利用VR 技術設計各類災害逃生演練系統，通過主動參與虛擬情境的演練，更好地掌握逃生技能。張雪等［9］結合實例分析了如何將真實性、開放探索性、問題空間和專家反饋等探究式學習原則應用到兒童交通安全教育虛擬現實系統中。

（2）虛擬現實擴展學習空間。學習空間是指發生學習行為的場所，包括物理空間和虛擬空間。近年來，學習空間研究焦點逐步由物化形態轉向智能形態，即以人工智能和虛擬現實為主要支撐的虛擬學習空間、混合學習空間。利用VR 技術的4I 特征，進一步擴展了學習空間，實現“認知-身體-環境”深度融合，將開創學習空間建設新方向［6］。孫志偉等［10］從課堂空間、網絡空間和VR技術整合的角度提出了虛實結合的學習空間連續體，并探索了通過VR 技術擴展學習空間的關鍵路徑。

（3）虛擬現實支撐構建學習共同體以重塑在線學習場域。長期以來，在線教學共同體面臨著團隊無協作互動和知識建構水平低的問題［8］。基于VR的教學模式根植于建構主義理論意涵，符合建構主義學習設計［11］。基于VR 的在線教學共同體融入了逼真性學習環境、交互式協作等優勢，使得在線教學演化為自主建構的過程。Salim等［12］提出了一個應用心理治療的跨學科框架，該框架使用虛擬現實來應用引導圖像場景。Halabi等［13］將VR 與工程學習相結合，采用自導向的方法，設計并實現一個工程教育三維軟件產品，提高學生溝通與解決問題的能力。

1.2 VR+醫學教育

近年來，新醫科建設加速推進，確立了“以新醫科統領醫學教育創新”的基本原則，虛擬現實、人工智能、大數據等新興技術與醫學交叉融合并創新發展已成為提高醫學人才培養規模和質量的有效途徑，基于VR的醫學教育系統已開始應用于醫學教育中，并取得了初步成效［1］。在國內，對VR醫學教育研究較少，主要涉及虛擬手術、醫療仿真和虛擬教學，如四川大學華西口腔醫學院團隊利用VR仿真手術系統進行口腔種植基礎理論和臨床操作技能培訓，并探索利用該系統進行口腔種植學教學可量化新途徑。南京大學醫學院2020 年將虛擬仿真標準化病人應用到臨床技能考試中，學生可以對虛擬仿真病人進行全面口腔檢查操作。哈爾濱醫科大學采用VR技術構建了手術模擬訓練系統，采用虛擬手術的教學方式讓學生進行臨床手術技能訓練［1，14］。

當前，關于VR 醫學教育的研究工作主要集中在國外，沈陽等［15］對VR 在醫學教育中最廣泛的應用——VR手術模擬教學的國外文獻進行元分析，大量結論表明，基于VR 的腹腔鏡手術模擬系統均能提升被訓練者的腹腔鏡技術。一種新型的VR輔助訓練體系IFOREAL為大學婦科專業的學生提供自然分娩相關技能學習服務，并從學生對IFOREAL使用體驗與學生未來為什么愿意使用IFOREAL 兩個方面進行實驗和調查，揭示其中的原理和影響因素［16］。VR 還可以在真實的外科手術中幫助外科醫生完成手術，然而最大的挑戰是利用VR技術構造復雜的器官以及器官之間的相互作用，昂貴的價格也并非每個外科領域負擔得起。Rizzetto等［17］對VR 在外科醫學教育中的應用進行了分析和展望，表明VR 在外科手術專業技能培訓領域迄今為止的相關實踐效果總體上是積極的，并且有著令人期待的潛力。但目前有關VR在外科手術中應用的文獻非常有限，研究方法不完善，樣本量小，開發的VR模擬訓練系統缺乏外部驗證，這些都是今后需要解決的問題。同時也必須跟學員強調虛擬場景和現實場景之間的差距，關注VR 醫教系統的相關副作用及其跟蹤評估。

2 協同教學平臺設計

2.1 問題與目標

當前，臨床外科學習中，傳統的腹腔鏡手術訓練方法包括觀看手術視頻、手術室內觀摩主刀手術、基于箱式模擬器訓練、使用動物尸體或麻醉的動物訓練，實際動手機會非常稀缺。而觀看視頻的方式比較單調，觀摩學習時間周期長，箱式模擬器不能很好地反映真實環境，使用動物標本則成本較高。VR 技術可以提供逼真的手術場景，包括清晰立體的手術部位及其構造、手術流程步驟、器械作用的反應，甚至是觸覺反饋等，從而擁有接近真實的手術體驗，因此可以有效改進傳統腹腔鏡手術教學方式的不足。

然而，基于VR 的臨床手術醫教系統也存在一系列問題，如用戶體驗與真實手術環境存在差距、缺乏教學理論和方法的支撐、未充分考慮手術協同合作特征、智能化程度不高等。為此，本研究基于協同虛擬現實技術，構建具身認知視角下探究式智慧腹腔鏡膽囊切除術協同虛擬學習空間及模式。具體擬定了如下目標：①構建與真實手術場景高度逼真的虛擬環境，盡可能縮小真實環境和虛擬環境的差距，創設沉浸式具身學習場景；②以學員自主探究式學習為核心進行功能性設計，構建手術訓練的翻轉課堂模式；③以“第一視角”觀看并和教師進行多人協同模擬手術的操作訓練，操刀得到實時效果反饋和教師指導反饋，從而提升訓練效率；④集成文字、圖片、視頻、語音解說及實時智能糾錯、智能評價等多媒體和智能化元素，立體化、多方位豐富學習環境和信息呈現形式，構建一種新型復合的虛擬現實學習空間。

2.2 訓練平臺設計

訓練平臺是構建腹腔鏡手續訓練模式的基礎設施，虛擬現實系統從3D 建模開始到最終產品的成功制作，將用到諸多開發工具和設備，經歷多個制作環節，且通常還具有跨學科交叉特性，需要相關應用領域的專業知識儲備或支撐。緊緊圍繞打造沉浸式具身學習場景的目標，本研究的腹腔鏡手術訓練平臺主要從以下幾個方面開展設計與功能實現工作。

（1）素材的采集與整理。為獲取腹腔鏡膽囊切除術的手術環境、器械和流程等相關素材，在湘雅三醫院肝膽胰外科的支持下，得到許可后進入手術室了解手術器械、手術室布局，觀看手術過程等。結合相關圖書、教學視頻及文字資料，開發人員和醫生一起討論并確定手術室構造、手術器械及其擺放位置、手術流程步驟等。

（2）3D建模。建模是指使用專門軟件創建三維對象，使整個手術訓練環境和過程三維可視化，是影響用戶體驗質量的關鍵因素。本訓練平臺根據真實手術環境進行一比一還原，并通過3Dmax 軟件制作手術室、手術器材和人體器官等模型，對于一些精細的模型及效果采用Blender軟件進行制作。使用漫反射和法線貼圖進行貼圖進一步提高模型的凹凸感和真實性。然后將模型轉入到unity中，進行模型的調整和整體渲染，使整個模型具備高逼真感、高沉浸感和高交互性，有力保障用戶體驗質量。部分建模示例如圖1 所示。

圖1 3D建模示例

（3）交互設計。VR 系統可以支持用戶與3D 模型動態交互，平臺的交互硬件為HTC VIVE套件，包括頭戴式頭盔、定位器和手柄。當用戶戴上頭盔后，激光定位器會捕捉到頭部的運動及方向，頭盔中顯示出對應的3D動態圖像。用戶可以在一定空間范圍內走動并環顧四周，同時在SteamVR插件的支持下通過一對手柄進行交互控制。整個手術的交互過程利用C#語言自主編寫實現，采用UGUI 進行UI 設計，支持添加圖片、文字和按鈕等。

（4）協同設計。腹腔鏡手術具有多人協作的特征，且在實際教學中，多個學員協同訓練以及教師帶領學員實操都會對學習績效會有更好的正向促進作用，而這個過程也是一個協同的過程。為此，本訓練平臺實現了在網絡環境中多人協作機制，協同技術是建立在較低級別的傳輸實時通信層之上，基于Unity 中Mutiplayer HLAPI 插件，并對其進行定制修改和優化，支持多人在不同設備上對同一臺訓練手術進行協同操作，操作實例如圖2 所示。

圖2 協同操作實例

（5）智能評判設計。學員在訓練一次后不管是手術失敗還是成功，平臺都可以根據操作情況給予智能評分、顯示出錯點、統計出錯率，同時還會顯示手術過程的改進方案，并能夠回放手術過程。評分的依據主要為操作步驟的完整度、操作步驟正確率和熟練程度，步驟是否完成和正誤判斷利用Unity 中GameManager組件實現。此外還包括操作失誤判斷及其處理評價。

2.3 訓練過程設計

訓練過程設計在沉浸式具身認知訓練平臺基礎上，以自主探究式學習設計原則為指導思想，以多用戶協同訓練為抓手，以智能可量化評價為手段，構建腹腔鏡手術訓練智慧翻轉課堂模式，使學員可多次重復練習，自主探索手術最佳訓練效果，且具有訓練開銷小、周期短等優點。按照“以學為主”的教學設計理念，訓練過程具備以下幾個要素。

（1）情境設計。從整體來看，訓練過程包括：探索模式和手術模式。探索模式提供一個自由的空間讓學員自主操作練習，過程中沒有任何提示，一次實踐操作完成后，平臺會給出相應的綜合評分，并指出相應的錯誤點和改善措施。手術模式中則會有相應的UI 界面顯示每一個操作步驟的提示，學員根據提示按步驟流程自主練習，若某個步驟出現操作錯誤、不規范或者流程錯誤，平臺會立即提示糾正，一直到順利完成該步驟才能進入到下一步驟操作。情境設計所應用到的探究式學習設計原則包括：①真實性原則，利用VR 技術呈現和真實手術環境、操作步驟、手術處理高度逼真的虛擬學習空間；②開放探索原則，利用VR 技術的交互性特征提供一個開放自由的手術探索空間。

（2）信息資源與提示設計。在訓練場景中設計了UI界面顯示提示信息，實時顯示器械的名稱，以便加強用戶對器械名稱的記憶。訓練過程中可以追蹤手術器械，并且以虛擬探針的方式，在病人的影像上實時顯示出手術器械和人體內部器官的位置，使其從中提升操刀技巧與精準度。學員在操作過程中平臺會給出操作步驟提示，如圖3 所示，進行手術導航。對手術步驟和器械的提示體現了啟發式原則，將手術教學的手術流程邏輯化，體現了關鍵決策點原則。

圖3 手術操作步驟提示

（3）自主探究訓練策略設計。腹腔鏡下膽囊切除教學的自主探究學習策略設計主要集中在探索模式中，探索模式下的學員可根據自身已有的理論知識和經驗自主地使用手術架上的器械工具對人體及膽囊模型進行手術操作，每一刀都會有實時的畫面反饋，并產生對應的效果。當用戶操作失誤或者使用器械錯誤，系統不會給出相應提示，由學員自身去發現問題、思考問題并解決問題。每次訓練完成后，平臺會給出該次訓練的效果評價，包括綜合評分、得分點、出錯步驟、不規范操作和改進措施等，以保障學員自主探究學習的實效。探索過程中可能會出現操作失誤，如流血、膽汁破裂等，因此特別設置了意外處理模式，一旦出現操作意外，立即進入該模式處理意外，并同樣會給出處理評價。自主探究學習策略設計應用到的探究式學習設計原則包括：①探索原則，表現在用戶能夠在環境中自由探索，并通過人機交互設計，為探索過程提供及時的結果反饋；②主體性原則，讓已具有理論學習基礎的學員自由探索，發揮了用戶的主觀能動性，注重用戶的自我發展和實踐啟發。

（4）協同訓練策略設計。腹腔鏡膽囊切除術本身具備多用戶協同的屬性，此外協同訓練也能有力提升學員的學習效果。本研究的協同訓練總體遵循自主探究的原則，包括兩種情況，一種是多個學員對同一個手術任務進行協同訓練，一般情況下，其中一名學員可作為主刀主導訓練過程，另一名學員輔助主刀完成訓練任務。協同訓練的學員之間可以互相討論、提示、評價和學習，不僅鍛煉了學員之間的手術團結協作能力，還能有效提升學習效果。另一種情況則是教師和學員共同進行協同訓練，如圖4 所示。在協同模式下，教師示范訓練手術操作，學員在教師的帶領下一邊學習一邊操作同一個手術任務，教師可以對學生的操作進行實時指導和反饋，還可以對手術過程執行干預和糾正，從而增強學員對虛擬學習空間的認同感，提升訓練效果。

圖4 教師和學員協同訓練

（5）反饋交流設計。在本研究的訓練模式中，學員成為真正的主動探究者，教師即指導者。第一階段，學員在剛開始使用本學習系統進行訓練時，教師可對手術過程中可能遇到的情況及處理進行講解，提醒學員的注意事項；第二階段，教師根據學員的具體操作情況對其操作給予批評和改正，并對學員的操作加以指導。反饋交流設計應用到的設計原則為專家反饋原則，通過平臺給出評分和觀察學員在手術過程中操作的水平和意外處理的情況，教師針對性地提出個性化指導，讓學員在理論知識和實際操作間靈活貫通。

3 效果評價與分析

3.1 實驗設計和方法

為檢驗基于協同虛擬現實的智慧腹腔鏡手術訓練學習效果，我們邀請了來自湘雅三醫院無腹腔鏡膽囊切除手術實操經驗的規培一年級學生使用本研究的訓練平臺，并進行了調查問卷，收集他們對平臺使用主觀評價相關的自我報告數據。

VR系統不僅僅局限于尋求沉浸感，構建具身的虛擬學習空間前提是虛擬環境的逼真性，同時，讓學習者清晰界定虛擬場景和實際場景之間的差別也是必要的。為此，隨機選擇了12 名學員使用本訓練平臺，對場景真實性進行了問卷調查，本研究中的所有問卷均采用Likert五分量表法。在VR 技術教學方法的發展中，不僅要注重提高學生的知識水平，更需要的是有助于他們獲得實踐經驗，對于嚴重缺乏實踐機會的臨床醫學生獲得實踐能力更加難能可貴。為此對學員的訓練過程和成效進行了實驗設計，在正式訓練之前，會給出適當時間讓學員熟悉本訓練平臺的操作，盡量減少操作不熟悉對訓練效果的影響。訓練過程分為3 個階段，第1 階段進入探索模式進行第一次訓練，訓練完成后記錄平臺給出的評分。第2 階段進入手術模式中訓練兩次，不記錄評分。第3 階段再進入到探索模式訓練一次，并記錄系統評分。通過對先后兩次平臺的客觀評分比較，驗證學員在本訓練平臺上的訓練成效。

協同訓練是本研究的一個重要特色和創新，為驗證協同訓練的效果，將學員分為協同訓練組和常規訓練組，協同訓練組由6 名學員和2 名有豐富臨床經驗的教師組成，首先由教師主刀操作帶領學生一起在手術模式中協同訓練一次，然后學員獨立在探索模式中訓練一次，記錄最終平臺得分。常規訓練組學員在手術模式中訓練一次后進入探索模式訓練一次，記錄平臺得分。通過對比兩組學員在探索模式中的客觀得分驗證協同訓練的作用。

訓練完成后，進一步調查了學員對本平臺使用主觀評價。為驗證本平臺能否提升學員的學習興趣，從參與使用平臺訓練的學員中隨機選取10 名進行調查，作為對照組，同時選取12 名沒有參加平臺訓練的常規訓練學員進行了調查。最后，對所有參與訓練的12 名學員在使用本平臺的意愿、提升實操能力程度、平臺易用性、享受程度等幾個方面進行問卷調查，數據均為學員主觀感受和評價。

3.2 實驗結果分析

實驗所有的量化數據轉化為IBM SPSS 26.0 統計格式的文件進行數據分析，調查問卷包含場景真實性、激發學習興趣、使用本平臺醫院、提升實操能力程度、平臺易用性和享受程度6 個問題，問卷的Cronbach’s alpha系數為0.781，表明調查問卷具有可接受的一致性。對學員使用本平臺的意愿、提升實操能力程度、平臺易用性、享受程度等問題數據統計如下圖5 所示。可以看出學員們對系統的使用有較好的積極反饋，其中平臺易用性方面有一定的負面反饋，經進一步詢問，主要原因在于使用手柄操作和實際手術有較大差別，且需要一定時間練習才能熟練使用手柄操作。

圖5 平臺使用反饋雷達圖

通過考察學員前后兩次探索模式的成績差異以分析學員的訓練成效，應用配對樣本t檢驗，先統計這兩次成績的平均值，發現第1 次探索分數平均值56.25，小于第2 次的64.75。如表1 所示，P值為0.006，小于0.05，表明兩次訓練成績有明顯差異，從t檢驗結果分析可以推出通過平臺訓練后對成績有較大的正面作用。訓練成效的效應量（Cohen’s d）值為1.15，表示通過本平臺訓練對成績確實產生了較大影響。

表1 訓練成效的t檢驗分析

為了探討協同訓練對學生的成績影響，在應用獨立樣本t檢驗之前，采用Levene 檢驗來找出兩組的差異，得出F=0.072，P值為0.794，因此假設兩組之間的方差相等。如表2 所示，常規訓練組的成績平均值為52.33，協同訓練組為62. 83，P值為0. 022，小于0.05，表明兩組學生的學習成績存在顯著差異。從結果可以推斷，與老師協同訓練對學員的成績有顯著的積極影響。協同訓練的效應量值為1.56，顯示出協同訓練對成績有很大的影響。同樣，對激發學習興趣數據應用獨立樣本t檢驗分析，如表3 所示，參與本平臺訓練的學員和未參與本平臺訓練的學員（對照組）有顯著差異，且參與平臺訓練的學習興趣要高于對照組。

表2 協同訓練的t檢驗分析

表3 學習興趣的t檢驗分析

4 結 語

醫學教育是國家衛生健康事業發展的重要基石，本研究基于“健康中國”和“新醫科”對臨床手術教學的需求，將協同虛擬現實技術與自主探究式學習理論、具身認知理論和虛擬學習空間理論有機整合，創設了一種新型的智慧腹腔鏡手術協同訓練環境和模式。該模式支持學員在沉浸式具身學習場景中通過自主探究的方式訓練臨床手術技能，擴展了學習空間，有效改善臨床教學資源匱乏和動手實踐機會短缺的現狀，創新和豐富了臨床教學方式，提升了腹腔鏡手術訓練的效果，且具有低成本、可重復、縮短臨床實踐學習周期等優點。基于VR的腹腔鏡手術訓練模式依然需要持續改進，比如受限于VR硬件設備的發展，訓練平臺的易用性還不盡人意，使用時間過長會有一定程度的不適感。與真實手術相比，在體驗方面還存在不少差距。但VR技術作為醫學教育的醫學人才培養的新手段、新路徑、新工具和新方法，必將在高質量醫學人才培養中發揮越來越重要的作用。