VR/AR技術(shù)在手足顯微外科手術(shù)操作教學(xué)中的應(yīng)用

范琳琳，呂萍，趙正南，宋文吉，鞠尚廉，梁海東

（大連醫(yī)科大學(xué)附屬第二醫(yī)院 手足顯微外科，遼寧 大連 116023）

2004年衛(wèi)生部修訂教學(xué)大綱，將顯微外科列入外科教學(xué)的范圍內(nèi)，要求醫(yī)學(xué)院校的學(xué)生需了解顯微外科的重要性及操作條件，為在各個(gè)學(xué)科專業(yè)開展醫(yī)學(xué)工作打下基礎(chǔ)。結(jié)合21世紀(jì)新興的計(jì)算機(jī)仿真技術(shù)—虛擬現(xiàn)實(shí)技術(shù)（virtual reality,VR）/增強(qiáng)現(xiàn)實(shí)技術(shù)（augmented reality,AR），我院手足顯微外科積極響應(yīng)國(guó)家教學(xué)要求，在學(xué)生實(shí)習(xí)過程中開展顯微外科相關(guān)培訓(xùn)。

VR是通過交互式計(jì)算機(jī)系統(tǒng)生成實(shí)時(shí)動(dòng)態(tài)三維立體模擬的逼真環(huán)境，頭戴VR眼鏡可以連接到電腦或手機(jī)上，通過傳感裝置可以跟蹤用戶的頭部運(yùn)動(dòng)，使用戶與計(jì)算機(jī)直接進(jìn)行自然交互，創(chuàng)造出在虛擬空間沉浸式感覺[1-2]。目前已有將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到外科手術(shù)教學(xué)及顯微血管吻合[3]。AR技術(shù)是基于VR技術(shù)的一種現(xiàn)實(shí)與虛擬交互的新興技術(shù)，借助顯示技術(shù)、交互技術(shù)、傳感技術(shù)和計(jì)算機(jī)圖形技術(shù)，將計(jì)算機(jī)生成的增強(qiáng)信息和操作者周圍的物理環(huán)境融合為一體，使操作者從感官上信任虛擬信息是其周圍環(huán)境的一部分，其在骨科領(lǐng)域的術(shù)前規(guī)劃、手術(shù)導(dǎo)航發(fā)揮重要作用[4]，現(xiàn)具體報(bào)道如下。

1 利用虛擬現(xiàn)實(shí)技術(shù)進(jìn)行顯微外科手術(shù)訓(xùn)練

1.1 課程目的

我院顯微外科手術(shù)操作培訓(xùn)教師均為有著豐富經(jīng)驗(yàn)的臨床一線手足顯微外科醫(yī)生，基于大連醫(yī)科大學(xué)教學(xué)改革研究項(xiàng)目，我們開展VR/AR技術(shù)在手足顯微外科手術(shù)操作教學(xué)中的應(yīng)用研究。克服場(chǎng)地、設(shè)備、器械、材料等一系列限制，通過虛擬現(xiàn)實(shí)技術(shù)建立一套簡(jiǎn)單、易于操作、使學(xué)生沉浸在其中、調(diào)動(dòng)學(xué)生積極性的教學(xué)課程。

1.2 課程設(shè)備及前期準(zhǔn)備

虛擬現(xiàn)實(shí)技術(shù)應(yīng)用眼鏡，OLED顯示屏像素分辨率均為1 080×1 200，16∶9寬屏，90幀以上。電腦配置如下：GPU：NVIDIAGeForce GTX970/AMD Radeon R9290；CPU：Inteli5-4590/AMDFX8350 ；RAM：8 GB；Video 視頻輸出：HDMI1.4；操作系統(tǒng)：Windows 10。

聘請(qǐng)專業(yè)虛擬現(xiàn)實(shí)技術(shù)團(tuán)隊(duì)，按要求我方提供斷指患者、股前外側(cè)穿支皮瓣患者相應(yīng)醫(yī)學(xué)影像學(xué)資料、術(shù)區(qū)照片錄像、病史記錄、術(shù)中所用器械原樣等內(nèi)容，積極完善相關(guān)調(diào)試，由具有顯微外科操作技術(shù)高年資醫(yī)生驗(yàn)收。

1.3 課程內(nèi)容

VR技術(shù)支持下顯微外科血管縫合操作的訓(xùn)練。VR設(shè)備安置好后，需要操作者佩戴VR眼鏡，雙手操作手柄。操作者作為第一視角，該系統(tǒng)可以根據(jù)操作者的實(shí)際操作能力，給予相應(yīng)放大倍數(shù)調(diào)整，該系統(tǒng)設(shè)置下，血管吻合系統(tǒng)可以完全模擬實(shí)際操作流程進(jìn)行，如血管斷端清創(chuàng)、血流情況查看、沖洗液沖洗、血管夾應(yīng)用、顯微吻合后血流通暢情況。該系統(tǒng)便于操作，針對(duì)重點(diǎn)難點(diǎn)環(huán)節(jié)，學(xué)生可以反復(fù)練習(xí)。帶教老師及其他學(xué)生可以佩戴相匹配眼鏡，360°無死角觀摩，帶教老師及時(shí)發(fā)現(xiàn)問題給予解答和指導(dǎo)。

共有20名規(guī)培研究生體驗(yàn)了該VR技術(shù)顯微外科血管吻合課程，問卷結(jié)果顯示該教程有著良好的交互性和沉浸感，所有學(xué)員對(duì)學(xué)習(xí)效果的評(píng)價(jià)積極。操作過程中所有學(xué)員均未出現(xiàn)視覺和位置覺相關(guān)的不適。

該設(shè)備需要空間較小，可以放置于科室辦公室相應(yīng)位置，這樣有利于科室學(xué)生及年輕醫(yī)生隨時(shí)練習(xí)，充分利用碎片化時(shí)間，有目的的進(jìn)行重點(diǎn)環(huán)節(jié)練習(xí)，提高學(xué)習(xí)效率，避免長(zhǎng)時(shí)間缺乏應(yīng)用、手術(shù)訓(xùn)練而引起顯微外科技術(shù)生疏(圖1)。

圖1 a1實(shí)習(xí)同學(xué)佩戴VR眼鏡現(xiàn)場(chǎng)查看顯微外科血管吻合虛擬現(xiàn)實(shí)影像；b1帶教老師進(jìn)行現(xiàn)場(chǎng)演示

在AR技術(shù)支持下顯微外科手術(shù)可實(shí)現(xiàn)術(shù)前、術(shù)中指導(dǎo)。傳統(tǒng)手術(shù)術(shù)前手術(shù)方案制定時(shí)臨床醫(yī)生只能通過大量扁平化的醫(yī)學(xué)影像資料進(jìn)行術(shù)前評(píng)估[4]，易造成術(shù)前評(píng)估不完善出現(xiàn)偏差，增加術(shù)中相應(yīng)風(fēng)險(xiǎn)，進(jìn)而影響術(shù)后效果。AR技術(shù)術(shù)前可針對(duì)患者二維影像學(xué)資料進(jìn)行計(jì)算機(jī)處理，實(shí)現(xiàn)術(shù)前清晰三維解剖模型呈現(xiàn)。計(jì)算機(jī)疊加與現(xiàn)實(shí)環(huán)境的模擬環(huán)境，具有實(shí)時(shí)性、交互性，讓使用者更接近真實(shí)模擬體驗(yàn)[5]，供術(shù)者術(shù)前制定手術(shù)方案及術(shù)前反復(fù)模擬訓(xùn)練，從而完善手術(shù)方案、減少術(shù)中創(chuàng)傷、縮短手術(shù)時(shí)間、提高預(yù)后質(zhì)量。

我科利用VR/AR技術(shù)針對(duì)股前外側(cè)穿支皮瓣設(shè)計(jì)相應(yīng)模塊，根據(jù)創(chuàng)面缺損情況，以虛擬穿支血管為中心設(shè)計(jì)出虛擬皮瓣，術(shù)前術(shù)者可以佩戴VR眼鏡，360°全方位觀察穿支血管的形態(tài)、走行與術(shù)區(qū)組織毗鄰關(guān)系，制定最佳手術(shù)入路；術(shù)中通過手機(jī)端AR導(dǎo)航設(shè)備，基于AR的離體透視手術(shù)導(dǎo)航，在真實(shí)圖像上疊加虛擬圖像來顯示穿支血管位置，透過皮膚觀察到虛擬穿支血管與皮膚及肌肉的位置關(guān)系，在手術(shù)切取時(shí)更加準(zhǔn)確、安全性更高。本組通過5例股前外側(cè)穿支皮瓣模型建立，術(shù)中手術(shù)時(shí)間較前縮短、術(shù)后游離皮瓣均一期成活。

該AR顯像技術(shù)可以實(shí)現(xiàn)術(shù)區(qū)局部較逼真的呈現(xiàn)，可以從不同角度仔細(xì)觀察術(shù)區(qū)，同時(shí)可以根據(jù)實(shí)際需要對(duì)術(shù)區(qū)解剖組織提取觀察，在該部分測(cè)試中不僅手術(shù)醫(yī)生可以更好地制定手術(shù)方案[6]，科室的年輕醫(yī)生、實(shí)習(xí)醫(yī)生對(duì)術(shù)區(qū)解剖的理解也得到進(jìn)一步升華，避免了接觸不到尸體標(biāo)本、僅通過書本二維圖譜理解的不足（圖2）。

圖2 a2術(shù)前應(yīng)用VR技術(shù)重建旋股外側(cè)動(dòng)脈降支及穿支血管的虛擬現(xiàn)實(shí)影像，根據(jù)術(shù)前患者創(chuàng)面缺損情況設(shè)計(jì)虛擬皮瓣；b2年輕醫(yī)生術(shù)前佩戴VR眼鏡，360°全方位觀察穿支血管的形態(tài)、走行與術(shù)區(qū)組織毗鄰關(guān)系，參與制定最佳手術(shù)計(jì)劃；c2-e2術(shù)中醫(yī)生通過AR導(dǎo)航設(shè)備，在真實(shí)圖像上疊加虛擬圖像來顯示穿支血管位置，透過皮膚觀察到虛擬穿支血管與皮膚及肌肉的位置關(guān)系

2 VR/AR技術(shù)在手足顯微外科手術(shù)操作中的意義

想要成為一名合格的外科醫(yī)生，必須具備熟練的顯微外科操作技術(shù)[7]，VR/AR技術(shù)支持下的顯微外科血管吻合訓(xùn)練，可以克服常規(guī)顯微外科訓(xùn)練對(duì)設(shè)備、場(chǎng)地要求。本文VR/AR技術(shù)應(yīng)用于顯微外科血管吻合技術(shù)的教學(xué)與培訓(xùn)，根據(jù)軟件模塊設(shè)置在該系統(tǒng)具有相對(duì)的完整性和可操作性，可以較真實(shí)地還原血管吻合流程，根據(jù)訓(xùn)練難度選擇相應(yīng)的放大倍數(shù)；該操作可單人單機(jī)、可反復(fù)跳躍進(jìn)入某一操作模塊，可提高操作者的專注性及重點(diǎn)訓(xùn)練，但該操作缺乏現(xiàn)實(shí)的觸覺感/力反饋，仍需進(jìn)一步研究[3]。

在我國(guó)，越來越多的醫(yī)學(xué)院開始應(yīng)用VR/AR設(shè)備進(jìn)行醫(yī)學(xué)教學(xué)，如北京協(xié)和醫(yī)學(xué)院眼科將Eye SI手術(shù)模擬作為本科及眼科住院醫(yī)師的培訓(xùn)課程[8]。根據(jù)VR/AR術(shù)者可以更好地設(shè)計(jì)手術(shù)方案，對(duì)完全沒有經(jīng)驗(yàn)的年輕醫(yī)生/實(shí)習(xí)學(xué)生，經(jīng)過短暫的培訓(xùn)也能提高對(duì)手術(shù)過程更好的理解。目前VR/AR技術(shù)的手術(shù)導(dǎo)航技術(shù)還處于摸索階段，需要技術(shù)人員優(yōu)化開發(fā)，同時(shí)也需要臨床醫(yī)生實(shí)踐經(jīng)驗(yàn)輔助[4]。現(xiàn)階段VR/AR技術(shù)大多集中在手術(shù)操作的訓(xùn)練，在顯微外科教學(xué)方面有著廣闊的前景，對(duì)醫(yī)學(xué)教育和年輕醫(yī)生的手術(shù)培訓(xùn)方面有著全新的思路。