虛擬現實學習環境下力反饋交互促進技能習得的實驗研究

沈陽 王兆雪 潘俊君 禹鵬 鐘寧

[摘? ?要] 虛擬現實技術變革傳統教育，已經縱深至醫學、建筑學等學科領域。文章圍繞“知能發展”這一創新人才培養目標，以技能習得為研究主題，通過分析傳統醫學教育中手術技能習得難以實現的諸多困境，提出虛擬現實技術構建的學習場景能夠促進學習績效提升，并以此開展了實證研究。準實驗基于我國自主研發的虛擬手術系統，面向北京航天總醫院手術技能培訓實驗中心的醫學臨床高年級學生進行。在GOALS評價框架下，探究VR學習環境中，力反饋交互對手術技能習得在深度感知、組織處理能力、雙手協調性和手術效率方面的影響。研究表明：加入力反饋交互學習可正向影響手術技能習得。結合數據分析、專家和被試訪談，提出研究啟示，為VR智能醫教的應用發展提供借鑒。

[關鍵詞] 虛擬現實; 虛擬手術; 技能習得; 力反饋交互; 智能醫教

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 沈陽（1983—），女，安徽宿州人。助理研究員，博士，主要從事智慧學習環境設計與評測、虛擬現實教育應用及教育信息化戰略的研究。E-mail：shenyang@bnu.edu.cn。潘俊君為通訊作者，E-mail：panjunjun@buaa.edu.cn。

一、研究背景及問題

近年來，我國學者對VR技術在K-12階段、高等教育、職業教育等不同學段構筑3D情境、交互場景的應用研究成果已較為豐富。然而，囿于人體器官的復雜性、技術發展的瓶頸等，我國在VR智能醫教系統與醫學教育的深度融合與常態應用、醫學教育的公平高效、個性化教學與個性化診療等方面還有較大的空間。《教育現代化2035》中也指出要加大應用型、復合型、技術技能型人才培養比重。可以說，隨著現代醫學與新興科技的迅猛發展，以及人們對美好生活的向往不斷提高，精準醫療和醫學人才的需求隨之劇增，傳統的臨床技能教學模式亟待改革。通過文獻梳理和調研，我國當前的醫學教育，特別是臨床教育領域所面臨的現實困境主要集中在以下3個方面：理論與實踐的脫節;醫學實驗教學資源昂貴、不可重復;精準醫療、個性化診療與醫學人才規模化培養之間的矛盾難以破解。此外，醫療手術的精準化、微創化和個性化發展，對臨床醫生的手術技能提出了新要求，更加需要客觀、定量的手術技能訓練支撐。虛擬手術操作訓練的低成本、安全可靠、可重復性、個性化病例數據動態接入、智能化綜合評價等優勢，將使其成為破解醫學教育困境的一個新突破口。2008年起，北京航空航天大學虛擬現實系統與技術國家重點實驗室團隊展開虛擬手術技術攻關，目前已成功研發了我國自主知識產權的VR智能虛擬手術系統[1]。

力反饋交互是VR系統中的關鍵技術之一，其作用是在虛擬漫游的3D空間內，實現人機交互的力觸覺，拓展人類感知。目前國內外的學者關于VR在教育中應用的研究主要圍繞“情境化教育”“沉浸式學習”“學習環境特征分析”等，在宏觀層面展開了相關理論探討[2-4]。針對VR情境中力反饋交互對學習影響的研究較少。本研究基于北京航空航天大學研發的VR智能醫教技術裝備，以腸切除手術技能習得為教學案例，在北京航天總醫院開展準實驗研究，深入探究力反饋交互在手術技能習得方面的影響，以期為VR智能醫教突破醫學教育困境、促進醫學教育的公平高效、個性化教學與個性化診療等方面提供借鑒。

二、研究現狀及理論基礎

（一）技能習得理論

技能是在練習基礎上形成的按某種規則或操作程序順利完成某種智力任務或身體協調任務的能力[5]。隨著科技的進步和學習方式的改變，研究者逐漸發現VR作為一種吸引和激勵學生、縮短技能習得的時間、減少材料使用的方法，對于提升技能習得是有效的。近年來，隨著沉浸式虛擬現實技術的發展和虛擬現實技術與醫學的融合，使其促進醫學技能的提升成為可能[6]。VR技術允許學生在課程學習中反復回到相同的程序或任務[7]，并不斷重復手術流程，從而增強訓練，減少昂貴的動物訓練模型的需求。VR力反饋技術與學習將結合提供一種創新方法來促進學生的學習和記憶，并對技能習得有所促進。 Jung等人開發的虛擬現實力反饋技能模擬器[8]，幫助醫學學生完成靜脈注射的技能習得，研究表明基于虛擬現實和觸覺技能的模擬過程可以有效地改善教育環境，提供真實的注射體驗，并減少因消耗準備材料而產生的成本。因此，力反饋技術被引入到教育和學習活動中，用戶不僅可以通過圖形窗口觀察學習環境，還可以通過觸覺設備感受學習環境中與對象交互時產生的觸覺信息。力反饋的應用不僅提供了更真實、身臨其境的學習情境，學習與實踐的結合也有助于提高技能的掌握效率。

（二）交互式學習理論

陳麗提出的交互層次塔模型[9]闡述了遠程學習中三個層面教學交互的關系、抽象性，以及三層面教學交互發生的環境。層次塔以媒體為平臺，塔底層是操作交互;中間層是信息交互;最上層是概念交互，各層面的教學交互對學習意義不同。借鑒到VR學習環境下的交互式學習中來，學生借助力反饋技術賦予的力觸覺通道與3D構筑的教學情境產生交互，實現和真實操作對象一樣或近似的操作感，屬于交互層次塔理論中的最底層：操作交互，是其他更高層次交互的基礎所在，其對概念認知和技能習得的作用機制，存在重要的研究價值。Minogue[10]通過學生與其設計的動物細胞的VR力反饋虛擬力反饋模型的交互，發現該體驗提高了學生導航和解釋細胞環境的能力。實驗結果表明，力反饋系統的應用不僅提供了更真實、身臨其境的學習情境，也有助于提高學習與實踐的結合。

（三）觸覺反饋技術研究進展

盡管發展心理學和認知心理學領域關于觸覺知覺和認知的基本原理和過程有大量且相對可靠的文獻基礎，但關于觸覺反饋技術對教育的影響，人們知之甚少。在醫學教育領域，機器人輔助手術在手術室的引入，使手術取得了顯著的進步。因此，在過去的十年里，美國外科醫師學院住院醫師評審委員會就規定，所有項目都要建立一個技能實驗室課程。其中腹腔鏡箱訓練器和虛擬現實模擬器是最低可接受的設備[11]。Botden將傳統的有觸覺反饋的箱式模擬器與無觸覺反饋的虛擬現實腹腔鏡模擬器進行了比較[12]。研究發現，參與者在模擬實際復雜的腹腔鏡任務時明顯更喜歡觸覺反饋。在復雜的模式切割任務中，表現出了更快地完成和更少錯誤。研究得出結論，觸覺反饋在高級的手術任務中具有更高的精確度。觸覺反饋在這些模擬器中的重要性一直是人們感興趣的話題。

綜上，現有的研究成果，主要聚焦VR學習環境下的力反饋交互在促進概念認知與理解、增強學習動機、提升技能習得效率等方面的作用，在技能習得的具體影響因素方面缺少深入探究。本研究將從深度感知、雙手協調性、手術效率、組織處理方面研究力反饋交互對手術技能習得的影響。據我們所知，本文是國內首次開展基于力反饋交互的醫學教育準實驗研究，具有重要的學術意義。

三、研究設計及實施

（一）問題的提出與研究假設

本實驗研究依托我國自主研制的第一個貫通自研多維度力覺測量和反饋裝置，個性化人體器官幾何、物理、生理建模，復雜手術操作過程實時交互仿真和手術訓練效果量化評估的虛擬手術支撐平臺（UniVRLap）。該系統首次提出基于力覺測量的力反饋模擬逼真度評價技術，與實際手術交互操作過程的真實力覺測量數據相比，在國際上首次公開了力反饋誤差5%的精度值。因此提出本實驗的假設：有力反饋交互學習比沒有力反饋交互學習更能促進手術技能習得。

（二）研究對象

本次實驗從北京航天總醫院招募了43名五年級醫學生，他們均未接觸過或者操作過VR手術模擬器。我們將被試隨機分為兩組進行實驗，有效收取了37人的實驗數據，兩組學習者均可擁有3D教學情境的可視化體驗，以及手術操作中的組織形變、病灶灼燒、血流等視覺、聽覺通道體驗。實驗組在使用VR虛擬手術系統進行結腸切除手術學習和技能訓練過程中，力反饋交互是開啟狀態，學習者可以實時地體驗到來自虛擬的組織和器官對手術器械操作的力觸覺。對照組力反饋交互裝置是關閉狀態。

（三）研究工具

1. VR智能醫教系統

本文中使用的是六自由度（三維空間的平移和旋轉）的力反饋設備3D System Touch，如圖1所示，該力反饋設備被廣泛應用于全世界各種虛擬手術仿真模擬器的力覺渲染當中。用戶可以通過操作力反饋設備手柄來控制虛擬環境中手術器械。虛擬環境中物體的運動符合物理世界的物理規律。當用戶操作力反饋設備控制虛擬手術工具運動并和虛擬環境中其他虛擬物體（比如人體組織、骨骼）發生碰撞時，根據物理規律可以計算出虛擬手術工具的受力，該受力可以通過力反饋設備的電機作用于力反饋設備手柄的運動，以使得操作者感受到來自虛擬場景中碰撞產生的力。在本實驗室中，每個力反饋設備的手柄分別和兩個手術器械綁定（左手：電凝器L-hook，右手：手術抓鉗）。

圖1? ?學習者基于VR智能醫教系統進行手術技能學習和訓練

圖2? ?左側是力反饋設備，右側是Simbionix公式利用

力反饋設備進行穿刺實驗

在本實驗中，實驗組中的力反饋是由交互力產生的，在對照組中力反饋產生的力為零，但程序中的手術器械和組織的碰撞檢測是同樣的，也就是說，人機交互的視覺效果依然存在，只是沒有力感。我們要求兩組參與者在訓練過程中，盡可能平滑和快速地進行操作，如圖2所示。

2. 腹腔鏡手術訓練箱

在此次實驗中，我們的前測和后測都在腹腔鏡手術訓練箱中進行，這是目前最普遍使用的腹腔鏡手術訓練裝置。我們使用的腹腔鏡手術訓練箱大小為38×27×27厘米，如圖3所示。根據實驗需要，對訓練箱進行了簡單改造，在訓練箱中放置了一個塑料盒來盛放腸組織。腹腔鏡訓練手術箱和真實腹腔鏡手術操作臺一樣，有左右兩個孔供放置手術器械，左手是手術抓鉗，右手是手術剪刀（因為實驗條件的限制，我們使用手術剪刀替代電凝器）。腹腔鏡訓練手術箱內部上方固定有一個高清攝像頭，與顯示屏連接。被試可以通過觀看顯示屏上的實時3D可視化，引導結腸切除手術操作。本次實驗中涉及所有的人體腸均來自醫學院捐贈。

圖3? ?腹腔鏡手術訓練箱和醫學生進行腸切除術

3. GOALS標準

GOALS標準是一個有效的評估工具，一套國際通用的具有結構效度的手術技能評估方法。本實驗中用以評估醫學生結腸切除腹腔鏡手術技能習得的學習績效。GOALS標準的每個維度都使用1～5分李克特量表進行打分。表1給出了GOALS評分標準及對應的分數釋義。五位外科手術專家根據視頻錄像進行打分，取均值。（本表僅給出1分及5分的評價標準，2分、3分、4分分別根據該維度的績效表現，對應尚可、中等、接近完美）

4. 準實驗設計和實施

本實驗包含三個主要步驟，流程如圖4所示。

圖4? ?實驗流程圖

四、數據分析與討論

（一）數據分析

表2? ? ? ? ?前后測t-檢驗（雙樣本等方差假設）

本文使用SPSS19軟件包對實驗數據進行統計分析。我們將每個參與者在GOALS標準的四個維度成績相加得出總成績然后進行處理，對實驗組和對照組學生進行結腸切除手術前測成績與后測成績進行雙樣本等方差假設的t-檢測，結果見表2。

為了檢驗基于VR的腹腔鏡模擬器是否可以提高醫學生的手術技能習得，我們利用所有參與者的前后測成績進行配對樣本T檢測。我們發現經過VR腹腔鏡模擬器的訓練兩組參與者的GOALS得分都有了顯著的提高，結果見表3。

表3? ? ? ? ? ? ? t-檢驗（配對雙樣本均值分析）

但上面的結果并沒有給出力反饋對醫學生手術技能哪些具體的方面更加有提升效果。因此，為了探究力反饋交互對手術技能習得具體維度的影響，我們使用混合協方差分析（Mixed ANCOVA）方法對數據進行了處理。前測和后測的成績分別設置為協變量和因變量，組號作為自變量。統計結果見表4。

評估了醫生對三維空間的定位感知能力。精確的深度感知能力可以幫助醫生區分腹腔鏡手術空間中組織的相對位置，從而可以快速精準地定位病灶。從表4中可知，實驗組（有力反饋交互）的分數顯著高于對照組（無力反饋）（F=5.266，p<0.05，η2=1.314）。

從效率的角度來看兩組的統計數據，我們發現對照組和實驗組并沒有顯著的區別（F=2.605，p>0.1，η2=0.071）。

對照組參與者的雙手靈活性比實驗組參與者的雙手靈活性分數較高（F=3.641，p<0.1，η2=0.097）。

由表5可以看出對照組參與者能夠比實驗組參與者更熟練地處理結腸組織（F=4.895，p<0.05，η2=0.126）。

（二）數據討論

因為四個維度的總成績可以綜合地表現一個人的手術技能，具體結果見表4。從表中可知兩組在不同維度的前測技能習得成績上沒有顯著差異（p>0.1）。這表明對照組和實驗組作為研究對象較為合理。

同時，兩組在部分維度的后測數據存在顯著性統計差異（p<0.01），以力反饋為自變量進行基于VR的腹腔鏡模擬器訓練對兩組參與者的手術技能產生了不同的影響。而且，使用了力反饋的實驗組比沒有使用力反饋的對照組成績更高，這也表明力反饋確實可以提高醫學生手術技能的獲取。

1. 深度感知

在真實的腹腔鏡手術當中，醫生需要通過將微型攝像頭放置到病灶位置，然后醫生通過二維的顯示屏幕來進行手術操作。但二維的圖像相對三維空間缺少一個維度：深度，這樣會導致人們將物體的大小和深度混淆，所以感知深度是人們日常生活中最具挑戰性的感知任務之一。Ho等人也通過實驗表明，觸覺訓練可以用來修正視覺上錯誤的感知[13]。表4中數據表明，實驗組所增加的“手術操作的”交互手感，可以通過力反饋交互和3D視覺變化來更精確地感知手術空間的定位深度，可以顯著提高醫學生手術技能中的深度感知能力。

2. 手術效率

通過在結腸切割手術過程中的觀察，我們發現人體結腸的解剖結構存在具有巨大的個體差異：不同人的腸體之間在半徑、長度、厚度及脂肪等附著物等方面都有很大的差別。在實際的切割操作過程中，不同的參與者也可能會選擇結腸不同的位置進行切割。這就導致不同的參與者測試過程中所進行的工作量存在較大差異。鑒于人體器官個性化差異較大，而VR智能醫教系統中的虛擬人體器官是統一化的數字模型，加上影響手術效率的主觀因素也較為多元，導致兩組在訓練前后的手術效率差異并不顯著。

3. 雙手協調性

雙手協調，就像我們的其他認知技能一樣，可以被訓練和提高。Pernalete等人在腦卒中后患者的病后恢復中發現觸覺可以用來提高病人的雙手協調性[14]。由表4數據可知，此次實驗中兩組分數之間沒有顯著的區別。原因可能在于：實際的腹腔鏡手術中和虛擬手術訓練過程中，手術器械可視化的移動方向和參與者手部的移動方向均相反。對于新手醫生來說，短時間內（本次實驗為4周）很難熟練掌握手術器械的操作技巧。為了提高參與者操作手術器械的熟練程度，可能需要更長的訓練時間。

4. 組織處理

表4表明帶有力反饋交互能夠顯著提高參與者在實際腹腔鏡手術當中處理人體組織的能力。醫學生通過力觸覺通道（操作桿、手術鉗子等）控制虛擬空間中的手術器械與虛擬人體器官所構筑的手術場景產生交互，實現和實際手術操作一樣的推、捏、切、割、燒、縫等復雜手術操作手感。而這種“手感”往往將成為外科醫生經歷多年實操手術之后，獲得的一種寶貴的經驗性的“知能”。Hagelsteen[15]和我們得出了同樣的結論：具有力反饋的VR腹腔鏡模擬器比沒有力反饋的VR腹腔鏡模擬器更能提高被試的組織處理能力。醫生組織處理能力的提高可以減少病人的手術風險，比如減少醫生對重要部位的誤操作導致手術失敗等。

（三）訪談分析

研究者采用“無結構型訪談”和“半結構型訪談”對臨床手術醫生、手術技能培訓中心教師、醫學生三類人群（39位）進行訪談。在確定編碼類目時，使用“共識性質性研究方法”（Consensual Qualitative Research）。統計編碼類目被討論的頻次高于被訪談人數50%以上的類目，記錄最終的認可度百分比結果，見表5。總體上，初學者和有經驗的學習者對VR智能醫教的不同方面，認可度評價有所側重。

一方面，對于缺乏真實手術經驗的初學者，VR場景構建和流程演練在增進自我效能感、降低認知負荷方面、提高心流體驗方面，認可度較高。醫學生在基于VR的腹腔鏡模擬器上進行訓練不僅可以促進手術技能的習得，而且可以提高醫學生程序性知識學習的心流體驗。學習者可以在這樣的環境中從多個渠道獲取多元的信息，從而保持學習的愉悅感、專注度、控制感、沉浸感等[16]。此外，初學者希望得到更多有經驗醫生或教師的線上、線下指導。

另一方面，有經驗的學習者（臨床醫生、技能培訓中心教師），對教學場景模擬、力反饋精準度、教學內容設置方面給予了高度肯定，同時，在個性化教學資源開發、教學策略、學習活動進階設計和教學評價方面的不足，提出了寶貴的建議和意見，旨在通過技術與教學過程的深度融合，促進知識遷移、技能習得等。

五、對VR智能醫教系統應用發展的啟示

第一，帶有力反饋的手術模擬器可以通過力覺交互和3D視覺變化來更精確地感知手術空間的定位深度，從而提升醫學生的深度感知能力。醫學生通過力觸覺通道（操作桿、手術鉗子等）控制虛擬空間中的手術器械與虛擬人體器官所構筑的手術場景產生交互，感受和實際手術操作一樣的推、捏、切、割、燒、縫等復雜手術操作的手感，從而提升醫生的組織處理能力以減少病人的手術風險。因此，本實驗基于VR腹腔鏡模擬器的實驗，通過實驗組和對照組使用力反饋訓練器的對比得出力反饋交互可以顯著提高醫學生手術技能中深度感知、手術效率和組織處理方面的技能。

第二，鑒于本實驗在維度2手術效率方面的數據分析，建議加強個性化人體器官場景開發，可按照病人的體重、年齡、性別等劃分，供學習者選擇面向不同人群的手術訓練模塊，提升教學資源的適切性。鑒于本實驗維度3雙手協調性方面的數據分析，可通過游戲化學習，支持小組協作與競技，通過社群化學習，增強學習者對教學系統的粘性，從而在較好的學習體驗中，增強訓練時長，促進雙手協調性。游戲化學習對學生學習效果具有較大程度且積極的影響，不受知識類型、學段等條件變量的影響[17]。游戲競技也是小組協作學習、社群化學習的一種有效形式。鑒于本實驗維度4組織處理方面的數據分析，可通過構建不同的虛擬操作交互場景以增強學習者手術操作手感和熟練度、應對突發狀況的寶貴經驗。同時也可以通過增加觸覺通道如多種操作桿、手術鉗子等，以增強學習者的體驗感，提升其學習動機與學習興趣。

第三，基于訪談和文獻，力反饋交互營造了高度擬真的效果，使得學習者獲得一定的心流體驗。本研究所采用的VR智能醫教系統相比于傳統教學方式具有自動反饋的功能，包括力反饋、運動數據反饋、執行效果反饋等，但這些反饋僅以抽象的數字形式表達，尚不能提供人性化的操作建議。目前我國自主開發的VR智能醫教系統主要解決的是個體知識建構和技能習得。隨著個性化教學資源的不斷豐富，在VR醫教系統設計中，可置入知識和技能在同伴之間共同創造和分享，通過在教學腳本設置中增設角色扮演、提升力反饋精度增強交互、關注多通道和多模態認知載荷等，以增強學習者的“情感”（心流）、并建立人機協同的反饋機制，將抽象的數字表達轉換為形象的智能化反饋，推進知識與技能進入集體建構階段，形成在學習者社群中的貢獻和傳遞的“環流”，從而促進協同知識建構和群體技能習得等。

[參考文獻]

[1] PAN J， ZHANG L， YU P， et al. Real-time VR simulation of laparoscopic cholecystectomy based on Parallel Position-based dynamics in GPU[C]// 2020 IEEE Conference on Virtual Reality and 3D User Interfaces （VR）.? Atlanta，Mar. 22-26， 2020.

[2] 劉德建，劉曉琳，張琰，陸奧帆，黃榮懷.虛擬現實技術教育應用的潛力、進展與挑戰[J].開放教育研究，2016，22（4）：25-31.

[3] 黃奕宇. 虛擬現實（VR）教育應用研究綜述[J]. 中國教育信息化，2018（1）：11-16.

[4] 蔡蘇， 王沛文， 楊陽，等. 增強現實（AR）技術的教育應用綜述[J]. 遠程教育雜志， 2016， 34（5）：27-40.

[5] 曹蕻， 石運章. 國外技能習得理論研究述評[J]. 北京城市學院學報， 2010（6）：62-67.

[6] LOHRE R，? BOIS A J，? ATHWAL G S， et al. Improved complex skill acquisition by immersive virtual reality training： a randomized controlled trial[J]. The journal of bone and joint surgery， 2020， 102（6）：1.

[7] OTA D，? LOFTIN B，? SAITO T， et al. Virtual reality in surgical education[J]. Computers in biology & medicine，1995，25（2）：127-137.

[8] JUNG E Y，? DONG K P，? LEE Y H， et al. Evaluation of practical exercises using an intravenous simulator incorporating virtual reality and haptics device technologies[J]. Nurse educ today， 2011， 32（4）：458-463.

[9] 陳麗. 遠程學習的教學交互模型和教學交互層次塔[J]. 中國遠程教育， 2004（3）：24-28.

[10] MINOGUE J， JONES M G， BROADWELL B. The impact of haptic augmentation on middle school students' conceptions of the animal cell[J]. Virtual reality， 2006， 10（3）： 293-305.

[11] PANAIT L，? AKKARY E，? BELL R L， et al. The role of haptic feedback in laparoscopic simulation training[J]. Journal of surgical research， 2009， 156（2）：312-316.

[12] BOTDEN S，? TORAB F，? BUZINK S N， et al. The importance of haptic feedback in laparoscopic suturing training and the additive value of virtual reality simulation[J]. Surgical endoscopy， 2007， 22（5）：1214-1222.

[13]? YUN-XIAN H，? SASCHA S，? JULIA T， et al. The role of visuohaptic experience in visually perceived depth[J]. Journal of neurophysiology， 2009， 101（6）：2789-2801.

[14] PERNALETE N，? RAHEJA A，? KNAACK A. Eye-hand coordination assessment method using a haptic virtual environment with a complex valued neural networks training algorithm.[J]. ACM， 2015：1-4.

[15] HAGELSTEEN K， JOHANSSON R， EKELUND M. Performance and perception of haptic feedback in a laparoscopic 3D virtual reality simulator[J]. Minimally invasive therapy & allied technologies， 2019， 28（5）： 309-316.

[16] 李欣，沈夏林，黃曉，王勛. 沉浸式VR可視化空間線索促進程序性知識學習的實證研究[J]. 電化教育研究，2019，40（12）：64-71.

[17] 李玉斌，宋金玉，姚巧紅.游戲化學習方式對學生學習效果的影響研究——基于35項實驗和準實驗研究的元分析[J].電化教育研究，2019，40（11）：56-62.