基于虛擬現實的醫學教育應用與設計研究

張文利 陳晨 王岳 沙琨

摘 ?要 ?虛擬現實技術的沉浸感、可交互、可重復、可逆等特性為新時代醫學人才培養帶來了新的可能，技術的進步使其在醫療教育培訓中的應用越來越廣泛。它不僅能夠調動醫學生的學習積極性與主動性，還可以提供實踐場景，彌合理論與實踐間的差距，提升醫學生臨床實踐能力。對不同類型虛擬現實系統在醫學教育中的應用進行系統分析，并以COVID-19臨床診療為例進行設計，以期為醫療教育培訓工作者提供參考。

關鍵詞 ?虛擬現實；醫學教育；醫學生

中圖分類號：E251.3 ? ?文獻標識碼：B

文章編號：1671-489X（2023）05-0036-04

0 ?引言

“健康中國”戰略、 “大健康”理念對我國新時代醫學人才培養提出新要求。確立“以新醫科統領醫學教育創新”為基本原則，深化醫教協同，推動勝任力導向型教育改革，優化醫學專業結構，促進信息技術與醫學教育深度融合，培養一流醫學人才，服務健康中國建設[1-2]。當前，醫學院校以理論知識教學為主，醫學生實操機會較少，面臨實習成本高、風險大、操作不可逆等障礙，致使超過30%的醫學生畢業生后仍無法獨立進行手術[3]。

虛擬現實技術具備多感知性、沉浸性、交互性、自主性等特點，是有效的醫學教學輔助工具，能為醫學生提供低成本、低損耗、高安全、可重復的實踐機會。隨著信息技術的快速發展，虛擬現實技術在醫療行業教學培訓中的應用越來越廣泛。如何根據教學需求設計開發適合的虛擬臨床場景程序以開展教學，是當前醫學教育工作者面臨的主要問題。

1 ?虛擬現實技術概述

虛擬現實技術是利用計算機技術、傳感技術等構建逼真生動三維虛擬環境的技術，涉及計算機圖形學、仿真技術、人機接口技術、傳感技術等多學科。用戶利用可穿戴設備實時以第一人稱視角主動在虛擬環境中探索、交互[4-5]。

根據系統沉浸和交互強弱程度，虛擬現實可以劃分為四種系統類型：桌面式虛擬現實系統、沉浸式虛擬現實系統、增強式虛擬現實系統和分布式虛擬現實系統。桌面式虛擬現實系統以計算機屏幕作為用戶觀察窗口，利用位置追蹤器、數據手套、力反饋器等設備，支持用戶與虛擬世界交互；沉浸式虛擬現實系統利用頭戴式顯示器能夠實現虛擬世界與物理世界隔離，用戶獲得高度實時性、沉浸性的體驗；增強式虛擬現實系統利用光學技術或視頻技術將真實物理環境與虛擬環境組合在一起，用戶可以在虛擬對象的幫助下加強對現實事物的認知；分布式虛擬現實系統是虛擬現實技術與網絡技術發展和結合的產物，允許不同物理位置的用戶在同一虛擬空間中協同交互。

不同類型的虛擬現實系統具有不同的優勢，醫療教育培訓工作者可以根據系統特點模擬不同病理狀態、診療環境、術前訓練、突發情況等，打破時間、空間壁壘，以智慧教育方式，激發醫學生學習熱情，提高其學習自主性，為提升醫學生臨床實踐能力奠定基礎[6]。

2 ?虛擬現實實踐教學案例

2.1 ?桌面式虛擬現實系統：以腹腔鏡手術虛擬訓練系統為例

腹腔鏡手術操作技能是醫學生必須掌握的基礎技能之一。為避免因操作不當致使患者受到不必要傷害，醫學生必須參加腹腔鏡操作培訓。相較于傳統腹腔鏡手術培訓的擬真度有限、缺乏精準評價指標、成本高，桌面式虛擬訓練系統可以為腹腔鏡手術培訓提供低成本、高安全、可循環使用的培訓

環境[7]。

腹腔鏡手術虛擬現實模擬訓練系統可以有效提升醫學生腹腔鏡手術實踐能力。該系統依據真實的人體數據構建器官和病灶模型為醫學生提供視、聽、觸、力反饋等多種交互，支持醫學生操作手術器械，開展病灶切除、縫合、結扎等訓練，并且能夠針對醫學生的操作開展精細化分析、評價與反饋。除了幫助醫學生提高操作熟練度外，還能夠提升醫學生的臨床診斷能力和最優治療方案選擇能力[8]。

2.2 ?沉浸式虛擬現實系統：以顱底腫瘤神經外科虛擬現實為例

顱底腫瘤神經外科手術操作空間小、臨近血管和神經分布復雜，傳統的教學方式存在一定問題，教師教學中應用的圖片、視頻、動畫等多媒體教學方式不利于醫學生建構神經系統三維空間結構；動物實驗常用于人體實驗替代，但是面臨負遷移的風險；尸體標本稀缺、專業的神經外科解剖儀器昂貴，致使基于尸體的解剖操作成本較高且不可重復等，均阻礙醫學生神經外科手術實踐技能的提升，以至于醫學畢業生的整體解剖能力沒有達到安全的實踐

水平[9-10]。

沉浸式虛擬現實系統為醫學生提供沉浸的知識學習環境，體驗式學習有助于其對知識的理解及深層記憶，還有助于提升醫學生的批判性思維、臨床診斷能力和手術技能。研究表明，虛擬現實技術輔助神經外科教學可以縮短學習曲線、減少神經學習恐懼、增加知識保留，是神經外科教學有效的輔助工具。虛擬現實技術支持醫學生旋轉、縮放、分割三維虛擬人體器官模型，立體化學習顱骨解剖結構；呈現真實病例，醫學生可以多角度觀察腫瘤位置、特征、與神經和血管之間的關系等，預演多種手術方案，通過手術預演幫助醫學生做出最佳手術路徑規劃、選擇的決策[9-10]。

2.3 ?增強式虛擬現實系統：以骨科手術中增強式虛擬現實導航為例

骨科手術中，經皮骶髂螺釘固定時螺釘定位錯誤率較高，放置不正確會導致嚴重的并發癥。增強式虛擬現實系統利用光學技術、圖像分析、角度精算等將虛擬世界與現實世界融合，能夠有效提高骨科醫生手術精準性，縮短手術時間、減少輻射

暴露。

當前，一些專家或研究機構采用增強式虛擬現實導航系統開展骨科手術，例如Wang Huixiang[11]使用此類系統在尸體標本中精準插入經皮骶髂螺釘。雖然大多數研究很少真正用于患者，但是仍證實了增強式虛擬現實導航系統的有效性。研究表明，基于Microsoft HoloLens 2的增強式虛擬現實系統可將放置髓內釘總時間縮短近36%[12]，利用增強式虛擬現實導航的脊柱固定手術，胸椎弓根螺釘放置準確率高達94.1%[13]。

2.4 ?分布式虛擬現實系統：以COVID-19背景下的遠程醫學教育虛擬現實為例

截至2020年8月，全球約有16億學生受到因疫情防控而關閉學校的影響[14]，為了克服這一問題，聯合國教科文組織建議使用遠程學習方式開展線上教學[15]。由于醫學知識抽象難懂、實踐能力不可或缺，普通的在線課堂無法滿足醫學教育需求，不能進入解剖室實踐是遠程醫學教育面臨的最大問題之一。虛擬現實遠程醫學教育可以有效解決這一問題，它不僅允許世界各地的醫學生隨時隨地觀看虛擬器官模型、骨骼結構、病變過程等，還支持教師利用可穿戴設備向醫學生講授查房流程。

虛擬現實允許教師遠程帶領醫學生開展實踐，AS的研究中教師穿戴HoloLens眼鏡進入病房，引導醫學生觀察患者、師生同步查看患者“全息圖”檢查報告等，允許醫學生與患者遠程交流，使用數字聽診器并共享聽診結果等[16]；基于遠程虛擬現實系統，醫學生對素材庫中的數字尸體進行虛擬解剖，學習相關解剖技能[17]。遠程醫學教育虛擬現實能夠提高醫學生的參與度、滿意度，得到教師與醫學生的一致認可[18]。

3 ?基于虛擬現實技術的COVID-19臨床診療

教學系統設計與開發

3.1 ?COVID-19臨床診療虛擬現實教學系統設計

COVID-19臨床診療虛擬現實教學系統結構包括基礎理論知識模塊、臨床實踐模塊和分析評價模塊三部分，如圖1所示。教學內容包括前期知識講授、中期臨床實踐、后期分析評價三個模塊，知識講授模塊主要講述新冠肺炎的起源、特征、預防措施、傳播途徑、臨床表現、治療方法等；臨床實踐模塊主要包括患者病情描述、體格檢查、報告分析、病情診斷、治療方案等。

醫學生登錄系統后，可以根據自己的學習需求自主選擇學習模塊，同時系統支持醫學生暫停、前進、后退，依據自己的學習節奏進行個性化學習。除了知識學習外，醫學生還可以在系統中進行實踐，根據病例病情嚴重程度制定相應的治療方案、練習手術技能；扮演醫護角色或病人角色，體驗不同的角色和流程，培養同理心，提高醫患溝通能力。同時，系統允許教師實時監測醫學生學習流程，教師也可以通過系統自動錄制的醫學生操作視頻進行指導和反饋。

3.2 ?設備與軟件選擇

虛擬現實開發要用到游戲引擎和三維建模軟件，模型制作、關卡設計、虛擬現實程序運行等均對電腦配置有較高的要求，資源開發者需要采用高顯卡、高CPU和更大內存的設備，設計、運行虛擬現實程序。虛擬現實開發需要多種軟件的配合，例如Unity 3D、UE4等游戲引擎和3dMax、Blander等三維建模軟件，以及Ps、Ai、Sai等其他美術設計軟件。不同的軟件具有不同的優勢和不足，開發者需要根據自己的需求選擇合適的開發軟件。

雖然Unity 3D上手難度較低，但渲染效果真實性較差，且引擎本身建立在虛擬機上，運行效率低。因此，開發者選擇UE4軟件開發COVID-19臨床診療虛擬現實教學系統。UE4具有源代碼開放、渲染質量高、上手容易等優點，是虛擬現實引擎最佳選擇[19]。

3.3 ?內容呈現設計策略

3.3.1 ?醫學專家、醫學教育工作者、開發人員等同時參與系統設計

醫學教育具備極高的科學性和嚴謹性。設計COVID-19臨床診療虛擬現實教學系統，教育工作者參考相關的醫學資料、數據等，醫學專家和醫學教育工作者對內容進行審核，確保教學內容的科學性和準確性。同時，教學設計者根據教學目標、醫學生學習現狀與學習進度，合理選擇虛擬現實呈現的內容，從而精準幫助醫學生理解、運用知識，提高實踐能力。

3.3.2 ?根據教學需求確定虛擬系統的逼真度

系統中用于解剖學的虛擬內容采用高保真度的器官模型；用于手術流程學習的器械模型精確度不高，但能夠清晰展示手術流程；用于培訓手術技能熟練度和精確度時，為醫學生提供精準的力反饋。系統采用了寫實和卡通兩種風格，滿足不同的學習需求。其中，寫實風格更接近真實世界，精細的模型和逼真的光影效果會為醫學生提供高沉浸感的學習環境，此類資源的設計開發時間周期較長、終端配置要求較高，渲染速度較慢。卡通風格資源保真度低，但模型相對簡潔，制作與渲染速度較快，高飽和度的色彩更突出重點內容，吸引醫學生注意。

3.3.3 ?最大限度地減少文本閱讀

系統采用模型或動畫配合解說詞等傳遞知識，幫助醫學生開展實踐；利用色彩、動畫等突出內容重點，降低因閱讀而產生的用眼負荷。

3.3.4 ?控制系統學習時長

研究表明大多數用戶期望的虛擬體驗時長平均約10分鐘[20]，因此系統會根據知識點長度允許醫學生暫時退出學習，并支持醫學生休息后繼續開展學習。由于部分知識內容模塊超過10分鐘，系統通過調整畫面色彩的飽和度與明度為醫學生提供良好的視覺體驗。

3.3.5 ?運動與現實保持一致

為避免增加醫學生的視覺壓力、視覺疲勞，產生眩暈、暈屏等副作用，系統合理把控視覺轉移速度，控制視點距離位于0.75～10米之間，保持虛擬運動與現實運動一致，幫助醫學生獲取舒適的沉浸式學習體驗。

3.3.6 ?把控視覺效果與節奏

系統采用統一的設計風格，虛擬人物和虛擬事件的呈現在貼近現實基礎上也要符合美學原則。開發者依據教學設計者的需求確定風格后，根據教學內容腳本繪制教學動畫分鏡腳本，標注攝影角度、光照效果、場景轉換、景別變化、畫面持續時間等，最優化呈現教學內容畫面。

3.3.7 ?融入倫理道德因素

虛擬現實系統應當傳遞正確的倫理觀念，給予醫學生正向積極引導。系統設置學習情境時，允許醫學生進行角色扮演，培養其同理心與溝通能力。

3.3.8 ?假設每個醫學生都是虛擬現實設備使用新手

不是所有醫學生都有虛擬現實體驗經歷。在正式上課前，系統呈現相關教學視頻，幫助醫學生掌握設備的使用方法，包括視角轉換，手柄按鍵操作，暫停、跳過、退出操作。

4 ?結束語

虛擬現實技術為醫學教育培訓帶來了新的可能，它不僅能夠提高醫學生的學習效率，還能夠幫助醫學生開展實踐，實現技能的遷移。本文系統梳理了虛擬現實醫學教育培訓應用系統，總結了不同系統的優點及有效性，并系統闡述COVID-19臨床診療虛擬現實教學系統設計過程及原則，希望能夠為一線的醫學教育培訓工作者提供一定的參考和借鑒，進而推動勝任力導向型的醫學教育變革。

5 ?參考文獻

[1] 教育部關于實施卓越教師培養計劃2.0的意見[A/OL].

（2018-09-17）[2019-10-29].http：//www.moe.gov.cn/

srcsite/A10/s7011/201810/t20181010_350998.html.

[2] 國務院辦公廳關于加快醫學教育創新發展的指導意見

[A/OL].（2020-09-17）[2020-09-23].http：//www.gov.cn/

zhengce/content/2020-09/23/content_5546373.htm.

[3] George B C， Bohnen J D， Williams R G.et al. Readi-

ness of US General Surgery Residents for Independent

Practice[J]. Annals of Surgery，2017，266（4）：582-594.

[4] 丁晶，曾超美.虛擬現實技術在臨床醫學教育中的應用

及思考[J].中國高等醫學教育，2019（7）：27-28.

[5] 趙彬雨，吳桐，馮國和，等.虛擬現實醫療護理系統設

計與應用的研究進展[J].護理研究，2021，35（15）：2702-

2705.

[6] 高陽，趙沁平，周學東，等.虛擬現實技術在新醫科人

才培養中的作用及應用現狀[J].四川大學學報（醫學

版），2021，52（2）：182-187.

[7] 胡文杰，侯洵，張昆松，等.基于模擬技術的腹腔鏡手

術培訓在腹腔鏡手術技能獲取過程中的作用評估[J].中

國畢業后醫學教育，2018，2（4）：253-257.

[8] Ohtake S， Makiyama K， Yamashita D， et al. Training

on a virtual reality laparoscopic simulator

improves performance of live laparoscopic surgery

[J]. Asian Journal of Endoscopic Surgery，2020，

15（2）：313-319.

[9] Chelsea E， Ali J， Ron N， et al. Immersive and

interactive virtual reality to improve learning

and retention of neuroanatomy in medical students：

a randomized controlled study[J].CMAJ Open，2018，

6（1）：E103-E109.

[10] Shao Xuefei， Yuan Quan， Qian Daqing， et al.

Virtual reality technology for teaching neuro-

surgery of skull base tumor[J].BMC Medical Edu-

cation，2020（20）.

[11] Wang Huixiang， Wang Fang， Leong A P， et al. Preci-

sion insertion of percutaneous sacroiliac screws

using a novel augmented reality-based navigation

system： a pilot study[J]. International Orthop

aedics，2016，40（9）：1941-1947.

[12] Tu Puxun， Gao Yao， Lungu A L， et al. Augmented

reality based navigation for distal interlocking

of intramedullary nails utilizing Microsoft

HoloLens 2[J].Computers in Biology and Medicine，

2021（133）：104402.

[13] Elmi-Terander A， Burstr?m G， Nachabe R， et al.

Pedicle Screw Placement Using Augmented Reality

Surgical Navigation With Intraoperative 3D

Imaging A First In-Human Prospective Cohort Study

[J].Spine，2019，44（7）：517-525.

[14] 政策簡報：COVID-19期間及以后的教育[EB/OL].（2020-

08-04）[2020-11-11].https：//unsdg.un.org/zh/resour

ces/zhengcejianbaocovid-19qijianjiyihoudejiaoyu.

[15] Salta K， Paschalidou K， Tsetseri ?M， et al. Shift

From a Traditional to a Distance Learning Envir，

31（1）：93-122.

[16] Sivananthan A， Gueroult A， Zijlstra G， et al. A

Feasibility Trial of HoloLens 2： Using Mixed

Reality Headsets to Deliver Remote Bedside

Teaching During COVID-19[J].JMIR Formative

Research，2022，6（5）：e35674.

[17] Kapoor K， Singh A. Veterinary anatomy teaching

from real to virtual reality： An unprecedented

shift during COVID‐19 in socially distant era

[J].Anatomia Histologia Embryologia，2022，51（2）：

163-169.

[18] Mill T， Parikh S， Allen A， et al. Live streaming

ward rounds using wearable technology to teach

medical students： A pilot study[J].BMJ Simulation

and Technology Enhanced Learning，2021，7（6）：494-

500.

[19] 何雪峰.蛋白質結構虛擬現實可視化和對接程序開發

[D].武漢：華中農業大學，2020.

[20] Horsham C， Dutton-Regester K， Antrobus J， et al.

A Virtual Reality Game to Change Sun Protection

Behavior and Prevent Cancer： User-Centered Design

Approach[J].JMIR Serious Games，2021，9（1）：e24652.