AR醫學教學系統的交互設計研究

摘要：為了探討增強現實（AugmentedReality，AR）醫學教學系統的人機交互，文章綜述了AR技術在醫學教學中的應用現狀。以椎弓根置釘手術為例，文章介紹了教學目標、交互流程、關鍵功能與用戶需求；分析了AR醫學教學系統的交互設計原則，并探討該系統的設計策略，包括空間定位、實時視角、交互命令、實時信息、界面元素和層次結構，為AR醫學教學應用的開發與交互設計優化提供了指導。

關鍵詞：增強現實；醫學教學；人機交互；數字界面設計

中圖分類號：TP39

文獻標識碼：A

文章編號：1009-3044（2025）13-0102-04

0引言

增強現實（AugmentedReality，AR）技術在教育和醫療領域的應用日益廣泛，展現出巨大潛力。AR技術將虛擬信息與現實環境融合，能夠為用戶提供身臨其境的體驗，具有很強的直觀性和互動性。在教育方面，AR技術為學生提供可視化和互動性的培訓平臺，使他們在模擬環境中進行實踐操作，成為高風險手術教學的重要工具[1-2]。相關應用不僅能夠消除傳統教學中存在的實際操作風險，還可以重復練習、降本增效。在醫學教育方面，AR技術應用前景廣闊，但其設計仍存在諸多問題和挑戰，如何設計出更加有效且用戶友好的AR醫學教學系統，有待進一步探究。

1AR技術在醫學教學中的應用與發展

1.1概述

增強現實（AugmentedReality，AR）技術運用空間計算、傳感器等技術，通過顯示設備將虛擬物體疊加到現實中，以提供實時互動。用戶在現實場景中能看到虛擬元素，從而獲得更多信息和樂趣。隨著硬件設備和計算能力的飛速發展，AR技術取得了顯著進展，尤其在醫療行業備受矚目。在醫學教育領域，該技術應用為學生提供沉浸式的臨床學習體驗，有助于提升其操作技能和臨床判斷能力。隨著技術不斷成熟，AR醫學教育應用范圍將更加廣泛，在手術培訓、病理診斷、遠程醫療等方向衍生新的變革。

1.2傳統醫學教學的局限性

傳統醫學教育模式存在一定的局限性，尤其是在實踐操作難度、機會和成本等方面。一方面，實踐操作難度大，且實踐機會有限。學生通過課堂學習獲得理論知識，但缺乏足夠的實際操作經驗。學生很難在早期獲得足夠的實踐機會，這使得他們在進入臨床階段時，可能缺乏應變能力和臨床操作能力。實際上，醫學教育的實踐機會通常有限，在一些特殊領域如外科手術中，學生往往只能通過觀看教師操作或參與少量實習來積累經驗，缺乏更多自主練習的機會。由于手術涉及高風險和高精度要求，許多學生在進行手術模擬時可能缺乏信心，甚至有可能因緊張而影響操作結果。

另一方面，教學成本高。傳統的醫學教育模式依賴實體設備和材料，如模型、標本以及解剖圖譜等，然而這些成本相對較高，難以滿足眾多學生多次、不同層次的學習需求。因此，現有醫學教育模式亟須優化，探索與智能技術應用的結合是重要方向。

1.3AR在醫學教學中的潛力與優勢

AR在教學中相較于傳統方式，展現了趣味性、可重復性與安全性[3]。AR能以數字三維的形式呈現醫學知識和復雜的解剖學結構，讓學生在模擬的環境中主動學習探索，洞悉自己的不足并加以改進[4-5]。AR技術能夠提升學生學習的動力與興趣，從而幫助他們更好地掌握技能。

更重要的是，AR提供了低風險的培訓方式，可以讓學生在沒有實際患者的情況下進行反復練習，以此提高其操作技能和手術精度，從而實現降本增效，降低真實手術的失敗風險。

1.4AR技術在醫學教學中的應用現狀

目前，增強現實（AR）技術在醫學教學中表現出顯著優勢，已在神經外科、普外科等多個領域取得應用進展[6-7]。研究者通過虛擬腹腔鏡技術進行闌尾切除術的培訓，以減少學生在手術過程中不必要的腔內器械操作[8]。研究者采用基于增強現實技術的Virtuali-TeeT恤，幫助學生深入了解心臟解剖細節，以提高學生在心臟解剖細節和全局方面的認知[9]。在呼吸內鏡培訓中，運用AR導航支氣管鏡技術，通過三維重建患者胸部CT影像并智能規劃手術路徑，顯著提升了醫師的操作績效[10]。在中心靜脈穿刺術培訓中，AR應用被證明在增強培訓效果和節省時間方面具有靈活性和高效性[11]。這些研究表明，AR技術在臨床模擬和培訓教學中具有巨大的應用價值。

2AR應用的人機交互設計研究

2.1人機交互設計研究的重要性

盡管AR技術的優勢是通過虛實疊加豐富交互體驗，但這一體驗的成功與否往往取決于人機交互設計的質量，在醫學培訓中該問題尤為重要。良好的交互系統有助于學生順利參與手術模擬，而糟糕的交互體驗則會影響學習效率、操作準確性，還可能增加學生的認知負擔，導致參與度和興趣降低，進而妨礙系統在醫學教育中的應用和發展。因此，開展人機交互設計研究，不僅是為了提升教育教學效果，也是為了提供更好的用戶體驗。

2.2AR應用中的人機交互設計研究現狀

增強現實的人機交互研究主要集中在用戶體驗、可用性及新興技術的集成上。研究的主要領域包括交互設計、可用性評估，以及增強現實與人工智能、虛擬現實等其他技術的整合。

在AR應用交互設計研究方面，有研究者設計了AR交互輔助系統，以視覺界面彌補聽覺缺陷[12]，并運用信息加工模型，設計了旅游體驗應用的AR交互模式，探究了感知覺、注意及記憶等認知過程的內部心理機制[13]。圍繞AR數字界面，研究者對AR抬頭顯示器中顯示信息的色彩搭配展開探究，分析用戶的視覺注意特征，以此分析用戶識別和理解信息的績效[14]。在可用性與用戶體驗方面，研究者從情感體驗的角度研究用戶的本能、行為和心理[15]。此外，相關研究還關注信息可視化、受限接口和具身交互，并且將其與移動計算、云計算和物聯網技術相結合。

3AR醫學教學系統設計分析——以椎弓根置釘為例

為探究AR教學系統中的人機交互設計，本文以椎弓根置釘手術為例，對培訓概況、教學目標、交互流程、關鍵功能、用戶需求等展開具體介紹。

3.1椎弓根置釘培訓概況與教學目標

椎弓根螺釘置入是脊柱外科常用的核心技術之一，用于恢復和重建脊柱穩定性。AR置釘培訓要求學生通過AR應用鞏固理論知識，在實踐操作中理解并熟悉脊柱解剖結構及置釘路徑，掌握螺釘精準定位的技巧，包括螺釘進針角度、深度及方向。其教學目標是讓學生積累實際操作經驗，通過反復練習，提升操作信心和技能水平，鍛煉手術中的應急反應能力。

3.2手術過程中的人機交互

在模擬過程中，人機交互體現為用戶與軟、硬件之間的互動。從人因工程學的角度來看，用戶通過視覺實現信息獲取，通過手部行為實現控制與反饋。在信息獲取方面，用戶依賴視覺系統接收現實環境與虛擬界面中的信息。模擬培訓系統需要提供手術區域、器械操作指導等重要信息，學生可通過頭戴顯示設備實時查看。在本案例中，椎弓根置釘手術的一般流程為圖像獲取、模型構建、路徑規劃、導航標記、螺釘置入、術后驗證，如圖1（a）所示，涉及的視覺內容包括脊柱3D模型、CT圖像、置釘路徑，使用場景如圖1（b）所示。具體來說，國內外現有AR系統中的CT圖像通常顯示為半透明或內發光效果；脊柱3D模型通常呈現為虛擬形式，與真實脊柱的空間深度、距離保持一致；規劃路徑設計為半透明彩色線條[16]、彩色仿真模型[17]、彩色簡化模型[18]。部分系統還添加了方向延長線、工具軸線、置入深度等指引性信息[19]。

在行為控制與反饋方面，手柄是調整視角、選擇或確認的常見輸入設備。其設計需符合人體工學原理，按鈕的位置、大小和施加力度需契合用戶的手部操作習慣，以確保學生在長時間的練習中保持舒適的狀態，避免因操作不便導致培訓效果降低。

此外，AR音頻交互在聽覺維度可提供實時輔助與反饋，指導學生進行下一步操作，同時增強互動性和可操作性。具體體現為：在螺釘成功進入椎弓根時發出積極提示音，或在操作錯誤時給予警告音，以此幫助學生在無須視覺確認的情況下，快速識別操作結果，從而提高操作效率并降低錯誤率。

綜上所述，視覺、觸覺和聽覺三者的結合為模擬培訓提供了多模態交互方案，該方案不僅能夠呈現教學內容，還充分考慮了用戶的認知與行為舒適性。

3.3用戶分析

該系統的用戶為醫學在讀研究生。這一群體對醫學知識和手術技術具備基本了解，但缺乏直接參與手術的經驗。他們對新興技術持開放態度，對手術模擬體驗有強烈的興趣，期待互動性強的學習工具和新奇有趣的學習方式。

4AR醫學教學系統的交互設計策略

4.1設計原則

AR醫學培訓應提供一個直觀高效的學習環境，務。基于交互設計與數字界面的相關研究[20-21]，提出AR系統設計需要遵循的一系列原則：

1）虛實疊加：系統應融合虛擬數字信息與現實環。通過使用透明化的虛擬元素，確保虛擬信息在起到輔助作用的同時，不會干擾真實環境中的操作；

2）三維交互：醫學培訓通常涉及復雜的三維模型，如解剖結構和器械。系統可為用戶提供自由旋轉、縮放、平移等功能，使學生能夠從不同角度觀察和操作虛擬物體，從而更全面地理解三維模型，提升空間認知；

3，）以幫助學生快速理解如何使用系統導航指引：系統應包含清晰直觀的導航和操作。系統可通過路徑標記、注釋文字、指導提示等數字信息，指示正確的操作方向、位置和順序，確保學生能夠按步驟逐步完成手術操作，或通過適當的視覺信息（如動態箭頭或高亮顯示）輔助學生了解自己的操作進程和結果；

4）實時反饋：在醫學培訓中，使學生在練習過程中及時調整行，提供操作反饋能夠為或糾正錯誤。AR系統的實時反饋可以通過多種方式呈現，如視覺提示（顏色變化、圖標變化等）、聽覺反饋（提示音或語音指令）、觸覺反饋（振動或阻力變化）等；

5）用戶為中心：醫學培訓中，本原則具體體現為關注學生的需求、能力和學習節奏。例如，針對初學者，系統可提供更多的操作提示和輔助指導；對于相對有經驗的學生，系統則可以減少提示，增加其自主操作的比例；

6）適應性設計、設備配置與操作條件的差異性：在設計開發過程中，應考慮手術。系統可提供旋轉、縮放、亮度設置等自定義功能，用于調整數字模型與圖像的位置和尺寸，使用戶可依據操作習慣靈活調整界面布局和按鍵命令。

4.2交互設計策略

基于系統設計原則，進一步探討AR醫學教學系統的交互設計策略，如圖2所示，該策略涉及空間定位、實時視角、交互命令、實時信息、界面元素和界面層次。

空間定位是實現虛實交互的基礎，指的是確定物體在三維空間中的位置，并與環境中的其他元素建立關系。從人-機-環的角度來看，其體現為用戶、現實與虛擬對象、現實場景。就手術模擬系統而言，涉及醫學生、AR設備、實體模型、數字模型或圖像、現實手術場景之間的空間關系AR系統中的一項重要功能。實時視角的切換和調整是，指的是根據用戶位置或視角變化動態調整視覺內容的角度和視野，這關乎于學生在培訓中對操作部位或醫學場景的查看。

交互命令是指用戶通過輸入設備（如手柄、觸摸屏）發出的指令控制系統執行特定操作，從而進行模擬實操。實時信息是指在系統運行過程中即時獲取并展示的數據與反饋學生提供操作進度、規劃和提示，通過視覺、。觸覺與聽覺反饋界面元素是指構成，向用戶界面的各種組件，如按鈕、菜單、圖標和文本框等，它們是學生與AR培訓系統的交互媒介。界面層次指的是界面中各個元素的排列和分層結構，這關乎于信息的組織與呈現，能夠減少信息過載，提升操作的流暢性與可讀性。

總而言之，AR醫學教學應用的交互設計需要將三維與二維的內容相結合，空間定位和實時視角確保學生能夠順利地進行操作，交互命令、實時信息和界面元素的設計有助于學生與系統高效地互動，界面層次的優化可提升操作的流暢性和可讀性策略的有效結合，能夠幫助醫學生獲得更好的使用體。通過這些驗和學習收獲。

5結束語

本研究討論了AR技術在醫學教育中的應用，以椎弓根置釘手術模擬為例展開具體分析，探討了系統交互設計策略，旨在為培訓對象提供更加安全、高效且用戶友好的教學體驗。

AR技術在醫學教學領域的應用前景十分廣闊，有望成為手術培訓的重要工具。未來的研究應致力于相關技術與系統的開發，以推動醫學教育模式與培訓方式的變革。同時，建議醫學、人機交互、計算機等相關領域的研究者開展更多的合作探討。

參考文獻：

[1]劉瑩杰.AR應用于醫療健康教育的系統綜述[J].電腦知識與技術，2023，19（24）：123-126.

[2]李婧.醫學模擬教育與人才培養：談VR/AR在醫學院校的應用前景[J].內蒙古師范大學學報（哲學社會科學版），2018，47（6）：113-116.

[3]童元園.虛擬與存在：VR/AR與傳統數字平臺交互界面比較研究[J].藝術與設計（理論），2021，2（6）：99-101.

[4]張楚茜，張詩雷.增強現實技術的研究進展及臨床應用概述[J].組織工程與重建外科雜志，2018，14（1）：17-20，23.

[5]王珞，陳適，潘慧.增強現實技術在臨床醫學教育中的應用[J].基礎醫學與臨床，2020，40（2）：270-273.

[6]李文濤，貢桑明久，任春瑩，等.基于多模態功能神經導航的虛擬現實及增強現實技術在神經外科教學中的應用[J].中國醫藥導報，2017，14（33）：187-189.

[7]劉亞軍，田偉，劉波，等.CT三維導航系統輔助頸椎椎弓根螺釘內固定技術的臨床應用[J].中華創傷骨科雜志，2005，7（7）：630-633.

[8]BJERRUMF，STRANDBYGAARDJ，ROSTH?JS，etal.Evalua?tionofproceduralsimulationasatrainingandassessmenttoolingeneralsurgery-simulatingalaparoscopicappendectomy[J].JSurgEduc，2017，74（2）：243-250.

[9]賀治青，楚揚，吳宗貴，等.增強現實技術提高醫學生心臟解剖認知的作用研究[J].中西醫結合心腦血管病雜志，2017，15（16）：2030-2031.

[10]鐘長鎬，羅為展，陳愉，等.增強現實導航氣管鏡技術在呼吸內鏡醫師培訓的初步應用[J].中國繼續醫學教育，2018，10（8）：8-11.

[11]HUANGCY，THOMASJB，ALISMAILA，etal.Theuseofaug?mentedrealityglassesincentrallinesimulation“：seeone，simulatemany，doonecompetently，andteacheveryone”[J].Ad?vancesinMedicalEducationandPractice，2018，9：357-363.

[12]徐旻培，李嘉樹.基于數字建構的AR現實交互聽障輔助系統設計研究[J].包裝工程，2023，44（2）：404-410.

[13]張美，章立.面向旅游體驗的AR交互模式應用研究[J].包裝工程，2019，40（2）：191-195.

[14]劉文，桂慧.基于眼動實驗的增強現實抬頭顯示器色彩編碼研究[J/OL].包裝工程，1-19[2024-12-26].

[15]FANXL，LIX，SONGLQ，etal.UsabilityevaluationofARhuman-machineinterfacebasedonuserexperience[C]//2022InternationalConferenceonVirtualReality，Human ComputerInteractionandArtificialIntelligence（VRHCIAI）.October28-30，2022，Changsha，China.IEEE，2022：23-29.

[16]DEJESUSENCARNACIONRAMIREZM，CHMUTING，NURMUKHAMETOVRinspinesurgery：redefiningprecisionwithnewtechnologies，etal.Integratingaugmentedreality[J].BrainSciences，2024，14（7）：645.

[17]BUTLERAJ，COLMANMW，LYNCHJ，etal.Augmentedreal?ityinminimallyinvasivespinesurgery：earlyefficiencyandcomplicationsofpercutaneouspediclescrewinstrumentation[J].TheSpineJournal，2023，23（1）：27-33.

[18]GIBBYJT，SWENSONSA，CVETKOS，etal.Head-mounteddisplayaugmentedrealitytoguidepediclescrewplacementutilizingcomputedtomography[J].InternationalJournalofComputerAssistedRadiologyandSurgery，2019，14（3）：525-535.

[19]MOLINACA，THEODOREN，KARIMAHMEDA，etal.Aug?mentedreality-assistedpediclescrewinsertion：acadavericproof-of-conceptstudy[J].JournalofNeurosurgerySpine，2019，31（1）：139-146.

[20]顏克彤，邵將，劉珂.面向混合現實的人機界面設計研究[J].機電產品開發與創新，2021，34（1）：26-28.

[21]李晶，郁舒蘭，吳曉莉.人機界面形狀特征編碼對視覺認知績效的影響[J].計算機輔助設計與圖形學學報，2018，30（1）：163-172，179.

【通聯編輯：李雅琪】