虛擬顯微白內障手術系統人機交互接口設計

戴 莎，司偉鑫，錢銀玲，鄭 睿，王 瓊，徐東亮，彭延軍，王平安3,

虛擬顯微白內障手術系統人機交互接口設計

戴 莎1,2，司偉鑫2,3，錢銀玲2，鄭 睿2，王 瓊2，徐東亮1，彭延軍4，王平安3,2

(1. 武漢理工大學機電工程學院，湖北 武漢 430070；2.中國科學院深圳先進技術研究院深圳市虛擬現實與人機交互技術重點實驗室，廣東 深圳 518055；3. 香港中文大學計算機科學與工程系，香港 999077；4. 山東科技大學信息科學與工程學院，山東 青島 266590)

基于虛擬現實技術的顯微白內障手術仿真訓練系統對顯微環境下眼科手術操作培訓具有重要的意義。為此，設計并搭建了一套具有高度沉浸感的虛擬顯微白內障手術訓練系統的軟硬件環境。硬件部分系統以HTC Vive，Geomagic Touch X為硬件基礎，設計手術器械轉換接口以搭建高保真手術操作環境；軟件部分采用基于位置動力學方法(position-based dynamics)模擬手術過程中眼角膜軟組織的變形、穿刺及縫合操作，并采用GPU并行計算對手術仿真過程進行加速。最后，實驗結果表明該系統可以實現自然的顯微眼科手術人機交互環境，使年輕醫師獲得高沉浸感的真實手術訓練體驗，從而達到一定的培訓效果。

顯微白內障手術；虛擬訓練系統；交互式仿真；人機交互接口

白內障是我國首要致盲眼病，約占盲人總數的一半。據統計，目前我國至少有400萬因白內障致盲的患者，而且因白內障致盲的人數還在以40萬例/年的速度逐年增長。隨著老齡化人口的不斷增加，更是促進了白內障發病率的升高。目前，通過顯微眼科手術摘除渾濁晶狀體再植入人工晶狀體是治療白內障最有效的方法[1-2]。但與白內障發病率不斷增加相對應的卻是我國眼科醫師短缺和教育培訓方法的滯后，2013年全國白內障手術160萬例只有印度的四分之一，與發達國家的白內障手術率相比更是相差甚遠[3]。造成這種狀況的原因，除了眼部結構的復雜、精細，大多處結構不可修復外，還因為手術過程需要在顯微鏡下操作，視野較小操作空間局限性大，需要醫生手眼協調才能較為精準的實施手術。所以眼科手術往往面臨操作難度大，手術培訓周期長以及培訓成本較高等問題。而且實習醫生在培訓期間手術操作機會較少，像白內障摘除術和青光眼小梁切除術等內眼手術的操作機會幾乎為零，缺乏經驗。所以如何高效、快速、精準的培訓醫生熟練掌握顯微白內障摘除術等內眼手術成為解決我國眼科醫師短缺問題的一個關鍵。

傳統的眼科手術培訓一般是在上級醫師的指導下在臨床實踐中學習，利用動物眼和人造眼球進行手術訓練[4]。該方法除了顯微環境的局限性限制了手術的指導外，更由于動物和人造眼球與人眼材質的差異性大大降低了手術培訓的有效性，還需耗費大量的成本和培訓周期。而基于虛擬現實與計算機仿真技術的虛擬手術培訓系統的不斷發展對顯微眼科手術的培訓帶來了新的機遇[5]。有學者對基于虛擬手術模擬器培訓顯微白內障手術的效果進行了研究，通過手術模擬器對醫生群體進行培訓，實驗表明了手術模擬器在醫生培訓中的有效性[6]。而且基于虛擬現實技術的手術培訓系統還可以有效的降低醫生訓練成本和節省訓練周期，實現了最大限度的醫生培訓，加上其逼真的虛擬場景和真實的手術體驗成為培訓醫生手術操作的有利訓練工具。

本文設計了一套具有高度沉浸感的顯微眼科手術訓練系統，包括軟硬件環境2個部分，硬件部分以HTC Vive，Geomagic Touch X為硬件基礎，配合相應的硬件裝置搭建了一套低成本、實用性強的人機交互接口裝置；軟件部分環境采用基于位置動力學方法(position-based dynamics)實現了統一的物理仿真框架，模擬手術過程中的軟組織變形、穿刺及縫合操作，較好的整合了3個模塊的仿真。并采用層次包圍盒(bounding volume hierarchies, BVH)來實現操作過程中的碰撞檢測，采用GPU并行計算對手術仿真過程進行快速計算。不僅提高了手術培訓系統的逼真度，還可以獲得如現實手術一般的沉浸感和自然、真實的手術體驗，對我國顯微環境下眼科手術操作培訓系統具有重要的意義。

1 相關工作

國外對虛擬現實技術研究較早，基于眼科手術訓練系統方面的研究相對成熟，目前已實現較多白內障手術訓練模塊并可以成功用于醫學培訓的主要是以下3款系統。德國VR magic公司研發的Eyesi眼科手術訓練系統，該系統可以應用于玻璃體視網膜和白內障手術的訓練，包括的模塊有：夾持、撕囊、超聲乳化和人工晶體植入等。而且研究表明可以對白內障手術過程中的關鍵步驟進行有效訓練，是目前市面上唯一通過同行評議可以用來練習玻璃體視網膜和白內障眼科手術的仿真系統[7]。國際非營利組織開發的HelpMeSee白內障手術訓練平臺是一套專門用于小切口白內障手術(manual small incision cataract surgery，MSICS)的訓練平臺，該系統模擬了上百種難易程度不同的手術場景來幫助醫生針對不同的病情診斷和手術方案的制定工作。MicroVisTouch系統是唯一一款支持觸覺感應回饋的眼科手術仿真模擬器，該系統實現了全面視覺體驗的仿真機，包括了手術設備、頭部和眼睛，相比前2個系統具有更高的逼真度。在仿真功能上與Eyesi類似，主要用于白內障手術和玻璃體視網膜手術的訓練。

國內，目前還沒有一套市面上公認可用于實際眼科手術訓練的系統，因為手術過程的復雜性和部分技術的難度較高等原因，進行此方向的研究還較少。浙江大學現代教育中心[3]研發的基于自然交互的白內障訓練平臺，利用Leap motion等算法實現了系統的人機交互功能，并模擬了手術過程中的撕囊、超聲乳化玻璃體和晶狀體植入的模擬功能。

此外部分研究人員對眼科手術仿真平臺的部分模塊進行了專項研究。LAM等[8]提出白內障手術中眼球和眼外肌的肌肉變形模型。COURTECUISSE等[9]提出一種用于白內障手術的碰撞檢測方法。史雙瑤等[10]提出了一種用于角膜模型軟組織變形仿真的支撐球彈簧模型。

總之，目前國內外關于用于顯微眼科手術訓練系統的研究還尚有不足，主要是因為：①關于顯微眼科手術訓練系統的研究技術還不夠成熟，真正可以投入市面用于實際顯微手術訓練的系統少之又少，尤其對于國內而言幾乎沒有，關于此方向的研究較少；②考慮到整套手術的復雜性，目前的研究雖然在部分模塊上已見成效，比如針對碰撞檢測、肌肉變形等，但是卻不能將這些模塊整合在一起；③針對交互方面的研究還有待提高，現有的例如通過Leap motion手勢體感控制器來追蹤虛擬手勢器械的操作等，手術體驗較差。

2 白內障手術訓練系統

本系統旨在提供高保真的白內障手術訓練系統，以虛擬現實技術為基礎，模擬真實手術環境中眼科醫生通過光學顯微器械觀察手術對象，使用多種手術器械，如開瞼器、穿刺刀、縫線結扎鑷等，完成白內障手術中的穿刺、縫合手術步驟。真實的交互方式和逼真實時的視覺反饋是保證訓練系統有效性的關鍵要素。本系統可以分為軟硬件2個模塊，軟件模塊包括角膜變形模擬、角膜穿刺模擬和角膜縫合模擬，通過基于PBD的統一仿真框架實現白內障手術中眼角膜和手術器械的交互仿真，保證了仿真過程的真實感和實時性；硬件模塊包括顯微顯示裝置、顯微控制裝置和手術器械跟蹤定位裝置，以HTC Vive，Geomagic Touch X為硬件基礎，從逼真的視覺反饋和交互方式2個方面保證了系統的體驗感和真實度，具體的系統框圖如圖1所示。

圖1 系統框圖

2.1 基于PBD的統一物理仿真

本文采用基于位置動力學方法(position based dynamics，PBD)實現了統一的物理仿真模塊。PBD提供了一種基于位置的動力學仿真框架[11]，其基于統一粒子的方法，通過約束連接的粒子作為整個系統的基本構建塊，可以實現所有模塊的數據統一。系統能夠以統一的方式處理各模塊間的接觸和碰撞，自然地實現各模塊和手術器械的交互仿真。相比其他仿真框架采用不同的方法實現各個模塊的仿真，雖然單個模塊的仿真效果較好，但是卻不能避免模塊間同步帶來的各種問題，所以基于PBD的統一模塊具有更高的穩定性和效率。

同時基于位置動力學方法可以忽略內力直接計算點的位置，通過粒子和粒子間的約束(如距離，角度等)對仿真對象的運動進行建模，在迭代求解過程中，不斷通過約束糾正粒子位置，形變過程的可控性更強。而且算法較為簡單，求解快，并行性好，適用于仿真過程交互性較強的環境[12-14]。此外為了支持高精度模型仿真過程中精確高效的碰撞檢測，系統使用模型的層次包圍盒(bounding volume hierarchies, BVH) [15-16]對碰撞檢測進行加速。

2.1.1 角膜形變模擬

本系統中眼角膜使用三角網格進行表達，因此仿真算法直接以三角網格的頂點作為PBD的粒子集，并在此基礎上設置粒子間的約束[17]。由于眼角膜自身具有一定的彈性和硬度，為模擬此屬性，算法分別添加相鄰頂點的距離約束和相鄰三角面片非公用頂點的彎曲約束。

本文基于基本的PBD表達，可以實現與鑷子的交互，例如按壓和夾取等動作。在仿真過程中，當系統檢測到碰撞事件，可以計算出鑷子與眼角膜網格的相交點，當鑷子繼續向軟體內移動時，軟體表面局部范圍內的PBD粒子會跟隨鑷子向內移動，產生按壓的效果。同樣進行夾取操作時，局部范圍內的PBD粒子會跟隨鑷子向外移動，進行夾取。圖2為軟體按壓和夾取時的變形效果，可以看到2種不同操作下，軟體的變形均能展現逼真的角膜軟體特性，網格變形穩定。

(a) 按壓 (b) 夾取

2.1.2 角膜穿刺模擬

在穿刺過程中，穿刺刀會改變角膜表面網格的結構，而系統的物理模擬是建立在表面三角網格的基礎上。因此為了實現穿刺仿真，首先需要根據穿刺操作更新表面網格，然后根據新生成的角膜表面網格更新PBD模擬的約束，以保持物理模擬的一致性。

在穿刺時系統通過碰撞檢測記錄手術刀開始穿刺時的位置。手術刀在穿刺時可以看做是一條線段，通過記錄上一幀以及這一幀的2條線段構建出一個平面，判斷模型哪些線段與此平面相交以及相交所產生的點，通過相交點重新生成三角面使平面兩端分離，產生切口[18-19]。切口處會發生碰撞檢測，通過BVH檢測到表面網格與刀面相交的三角面及其交點，如圖3(a)所示。然后對表面每一個相交的三角形進行重構，同時對交點做一次復制，以適應切面兩端的三角化，如圖3(b)所示。最后根據表面的拓撲結構，修改粒子與粒子之間的約束關系，使其與表面網格保持一致。

(a) 網格斷裂 (b) 三角形重構

為了使系統的模擬更加真實，切口形成后需要重新構建PBD的約束。通過三角網格模型的更新，PBD約束會根據三角面更新而不斷修改來維持粒子的拓撲結構，保持穿刺過程中的軟體形變。具體穿刺仿真圖如圖4所示。

圖4 穿刺過程

2.1.3 角膜縫合模擬

本文采用基于PBD框架實現統一的仿真模塊，同樣采用基于PBD表達的縫合線，并設計相應的約束模擬縫合線的運動。在縫合過程中，縫合線會影響穿孔周邊的角膜PBD粒子位置，從而導致角膜的變形。在縫合結束時，縫合線縮短會導致起切口的相互靠近，完成縫合。

縫線結扎鑷通過碰撞檢測判定夾持縫合針，縫合針是剛性模型，當縫合針開始向軟體移動進行縫合操作時，其與軟體接觸觸發碰撞檢測。針尖的第一個檢測點的位置生成一個穿刺點并儲存交點信息，附近一定范圍內的PBD點與其綁定，當縫合針繼續穿入時，綁定的PBD點會跟隨穿刺點進行移動使軟體表面產生一定幅度的變形效果。縫合針模型上均勻排列著無數檢測點，當1號檢測點的移動超出穿刺點一定范圍時，穿刺點會滑向2號檢測點。穿刺點記錄的信息不斷更新為之后檢測點的交點信息，并依次向后面的檢測點滑動直到完全穿過軟體，如圖5所示。圖6是縫合過程示意圖，縫合線由無數檢測點以一定的間隔連接構成。相鄰的粒子之間存在角度約束以及距離約束，縫合線的頭部與縫合針的尾部相連。當縫合針完全穿過軟體表面時，穿刺點開始滑向縫合線上的檢測點，并隨著拉線過程依次向后面的檢測點移動。

圖6 縫合過程

在具體的縫合過程中，通過縫線結扎鑷夾持縫合針進行操作，針尖與角膜軟體表面網格之間發生碰撞檢測時出現如圖7所示的紅色小球標記點，以此來記錄碰撞點的位置。當縫合完畢，用打夾器固定縫線一端，便于拉緊縫線如圖7(d)所示，可以看到拉緊縫線后的軟體出現重疊逐漸合攏切口，直到軟體間的碰撞檢測作用而停止運動。最后用剪線鉗剪斷縫線完成縫合，具體仿真畫面如圖7所示。在縫合過程中角膜軟組織保持高逼真的變形，為高沉浸感的手術環境提供了良好的基礎。

(a) 縫針進入端檢測點 (b) 縫合第1針