ACL重建手術增強現實導航系統的人機交互技術

郭 娜，王田苗，2，胡 磊，劉洪升，王昱涵，俞國鑫，宋雄康，耿寶多，楊 標

1.北京航空航天大學 機械工程及自動化學院，北京 100191

2.北京航空航天大學 醫工交叉創新研究院，北京 100191

3.蘇州鑄正機器人有限公司 基礎研發部，江蘇 蘇州 215000

1 引言

膝關節前交叉韌帶（Anterior Cruciate Ligament，ACL）斷裂后不能進行有效治療，會對患者的生活質量造成嚴重影響。關節鏡下的ACL重建手術最常用的手術方式。但是，由于保留ACL 殘跡會增加骨道定位的難度，傳統的關節鏡下ACL重建手術，要求必須完全清除ACL 殘跡。而保留殘跡的ACL 重建是ACL 重建手術的發展趨勢[1-3]。增強現實（Augmented Reality，AR）技術是增強微創手術環境感知的有效方法，不僅可以在保留殘跡的情況下，輔助醫生進行精準的靶點定位，提高術后的康復效果以及患者的生活質量，還可以為醫生提供豐富的解剖結構，擴大醫生的手術視野，降低手術難度。近年來，隨著計算機技術、圖像處理技術的發展，AR 技術逐步應用到腹腔鏡手術、腦外科、神經外科、耳鼻喉科手術、牙科以及骨科等臨床外科手術當中[4-11]。

增強現實導航系統具有以下三個特征[12]：（1）虛實融合；（2）精確的“對齊”；（3）實時交互。其中，人機交互是增強現實系統區別于傳統導航系統的重要特征。根據交互方法，增強現實系統中的人機交互技術可以分為[13]：基于傳統的硬件設備的交互技術（鼠標、鍵盤、手柄）、基于語音識別的交互技術、基于觸控的交互技術[14]、基于動作識別的交互技術[15-18]、基于眼動追蹤的交互技術、基于腦機接口的交互技術[19-20]。盡管外科手術導航系統的應用已有二十多年了，但是受硬件技術的制約，目前的交互技術在穩定性、感知能力和反饋能力等方面仍存在缺陷。增強現實導航系統，尤其是基于光學透視的增強現實系統與傳統的人機界面有很大的不同，其信息通道更為多樣化，因此交互方式與傳統的人機界面有很大的不同。更為重要的是，外科手術不同于其他應用場景，對無菌有極高的要求。此外，在外科手術中，醫生處于高度緊張狀態。因此，流暢、舒適的人機交互十分必要。

人機界面中的多余信息有可能會分散醫生精力，使醫生產生“失控感”[21]。文獻[22]根據傳統的人機交互通用設計原則提出了AR系統人機交互的通用設計原則：自解析性、較低的認知負荷、較低的體力需求、易學性、較高的用戶滿意度、靈活可用、實時響應以及較高的錯誤容忍度。但是其他學者認為增強現實系統不僅應該結合軟硬件設備與應用場景給出具體的指導原則[23]。因此，有必要研究增強現實手術導航系統中的人機交互的準則。

GOMS 模型是人機交互領域最常用的交互模型。但是GOMS 模型是一種脫離實際應用的模型[23-24]。AR系統的操作模式可能是模糊的、不確定的[25]。因此，有必要研究多通道信息交換的人機交互模型。

主流的人機交互的評價是以用戶為中心的設計和評估；在工業和自動化領域也有符號學和Fitts 定律法[26]。增強現實導航技術是一門新型學科，目前尚未有比較成熟的評價方法，而且增強現實導航系統的人機交互任務涉及多種設備和傳感器，交互任務復雜，因此，傳統的人機交互評價方法不適用。

本文搭建了基于HoloLens的ACL重建手術導航系統，結合圍手術期的醫生認知模型，提出了外科手術增強現實導航系統的人機交互原則。同時，針對多信息融合問題，采用eGOMS 模型對導航系統的人機交互任務進行建模。為科學客觀地評價人機交互的性能，采用綜合評價理論中最常用的層次分析法和模糊分析法，對人機交互系統進行綜合評估。

2 基于光學透視的ACL重建手術導航系統

2.1 手術導航系統

2.1.1 系統結構

如圖1 所示，本文提出了一種基于HoloLens 的增強現實導航系統。該系統包括CT 機、C 型臂、PC 機、Micron Tracker 以及 HoloLens。如圖2 所示，基于增強現實技術的ACL 導航系統的九大模塊之間的關系如下：位置跟蹤模塊為整個系統提供各個跟蹤目標的位置信息（標定器、手術目標、標定塊以及HoloLens），位置信息由Micron Tracker采集，通過UDP協議傳輸給其他模塊；C型臂空間注冊模塊可以實現X光圖像與手術空間的注冊，其注冊結果可以為2D-3D配準模塊提供參數支持；2D-3D 配準模塊可以實現術前CT 圖像與術中X 光圖像的配準；虛實配準模塊可以實現虛擬空間和真實場景之間的空間配準；可視化顯示模塊可以根據虛實配準與圖像配準的結果，將虛擬模型、路徑規劃等信息與真實場景融合顯示；三維重構模塊可以實現術前CT 圖像的三維重構，為2D-3D 配準、路徑規劃以及可視化顯示提供三維數據模型。

圖1 ACL重建系統增強現實系統結構圖

圖2 ACL重建手術導航系統模塊關系圖

圖3 基于增強現實的ACL重建手術導航流程

2.1.2 導航流程

如圖3所示，基于增強現實技術的ACL導航系統的使用流程如下。

（1）術前處理

①對HoloLens的工作空間進行離線標定。

②目標區域CT掃描。

③對術前CT數據進行分割與重構，獲取股骨和脛骨的STL模型。

④在分割出的STL模型上，進行手術路徑規劃。

（2）術中導航

①拍攝X 光，對C 型臂進行空間標定[27]，將標定結果與X光圖像傳輸給2D-3D配準模塊。

②在2D-3D配準模塊中，導入術前的CT數據與分割的STL 模型，調整STL 模型與X 光的初始位置，進行2D-3D圖像配準[28]，配準結果傳輸給可視化現實模塊。

③對HoloLens進行在線標定[29]。

④增強顯示，導航跟蹤。

2.2 空間配準技術

2.2.1 基于錐形螺旋線的C型臂標定器

如圖4 所示，為提高點對配準的空間注冊精度，本文采用一種基于錐形螺旋線的C 型臂標定器對C 型臂進行標定。在手術靶點附近，該標定器相比與傳統的雙平面標定器，標定精度更高[27]。

圖4 標定器

2.2.2 基于Splat的2D-3D圖像配準

為實現術前CT 圖像與數字X 圖像的空間統一，如圖5所示，采用基于DRR投影的2D/3D自動配準方法策略。DRR 重建、相似度準則、參數優化算法是2D/3D 配準過程的重要組成。通過、配準精度、配準時間以及配準成功率對不同的方法進行對比分析，基于Splat-SRCGD的2D/3D的配準策略的綜合表現最佳[28]。

圖5 基于DRR的2D-3D配準模型

2.2.3 基于空間補償的虛實標定

為實現快速的在線標定，通過分析HoloLens 的工作空間（如圖6所示），將標定過程分解為離線標定和在線標定[29]。離線標定過程通過對工作空間中的關鍵點的采樣，然后采用線性插補模型對非采樣點的轉換矩陣進行插值，實現對整個工作空間的標定。在線標定是通過對工作空間中心的采樣，然后通過對轉換矩陣的空間補償，實現HoloLens 的在線快速標定。該在線交互標定方法與傳統的外部跟蹤標定法的標定精度相當，但在線標定時間更少。

圖6 HoloLens的工作空間

2.3 人機交互技術

2.3.1 人機交互界面

在Unity3D進行場景開發，系統的人機交互界面如圖7所示。導航系統人機交互的主要任務包括：虛實配準、虛實融合、導航跟蹤。導航跟蹤方式的設置可以通過語音或手勢來確認，不涉及通道整合問題。標定塊的虛實對齊、虛實融合目標的可視性設置需要涉及多通道操作者的整合。

圖7 人機交互界面

2.3.2 人機交互模型

本文采用eGOMS模型[23]進行人機交互任務分析，實現多通道信息的整合。其中，G代表目標Goals、O代表操作Operations、M代表多通道信息Modals、S代表信息整合Synthesization。根據eGOMS模型，標定塊的虛實對齊、虛實融合目標的可視性設置的交互模型如圖8所示。

圖8 AR導航系統人機交互模型

3 基于認知模型的人機交互準則

3.1 圍手術期的醫生認知模型

主刀醫生是外科手術成功的關鍵，其認知行為模型、情緒和體力對手術的成果有重大影響[30]。在外科手術中，尤其是像ACL重建手術的運動醫學手術中，手術只是整個治療的一個環節。如圖9所示，本文分析了圍手術期的醫生的認知行為模型：保留前交叉韌帶的殘跡對術后康復效果有很大的提升；術后的療效評估結果對醫生的提高手術技能、提高手術的療效也有重要的促進作用；醫生對解剖結構的熟悉程度也會影響手術的效果。因此，采用增強現實的主要目的是為醫生提供豐富的解剖信息，提高其對膝關節解剖結構的認知，能實現在保留ACL殘跡的情況下，進行ACL骨道的精準定位。

圖9 圍手術期的醫生的認知行為模型

3.2 外科手術導航系統人機交互準則

本文采用Microsoft HoloLens 作為AR 顯示設備。Microsoft HoloLens不僅可以完成基于光學透視的虛實場景疊加，還可進行語音、手勢交互。但是，作為頭戴式設備，其位置并不固定。因此，基于HoloLens 的ACL重建手術導航系統滿足以下特征：（1）光學透視式AR；（2）移動式AR；（3）導航式 AR；（4）多感官AR。基于OST-AR技術的外科手術導航系統不僅要滿足傳統手術導航系統的交互準則，也要滿足AR 交互方式的準則。因此，AR手術導航系統的人機交互規則主要包括：

（1）虛實配準一致性——虛擬物體與真實場景應有效融合，盡量減小虛擬物體的扭曲變形、跟蹤誤差和用戶視角的參數錯誤[31]。

（2）用戶的安全感——基于VST-HMD 的外科手術導航系統的最大問題就是，醫生無法用眼鏡直視真實場景，因此存在一定畏懼感。盡管醫生可以通過OST-HMD觀察到手術場景，但是基于OST-HMD的導航系統仍存在虛實遮擋問題，在術中不利于醫生的觀察手術現場。因此，AR系統不應遮擋用戶的感興趣區域[32]。

（3）信息的有效性——為避免多余的信息分散用戶的精力，應對信息進行分類管理，虛擬信息要有較高的對比度、文本提示內容清晰、標注信息具有深度顯示、信息可見性可以選擇。

（4）低認知負荷——操作盡可能采用通用交互習慣，減少用戶使用系統的學習周期，不增加其認知負荷。

（5）精準的靶點定位——能精準地定位手術靶點，提高手術的效果。

（6）實時的跟蹤導航——能實時跟蹤目標的位置，并給用戶指示操作方向[33-34]。

4 人機交互的可用性評估

4.1 基于層次分析法的可用性評價指標

（1）評價指標

根據國際標準化組織提出的ISO9241-11標準，可用性是指特定用戶在特定的使用背景下，使用某個產品達到特定目標的有效性、效率和滿意度。目前，有些學者開展了針對虛擬現實系統的可用性評估[23，35]。但針對增強現實導航系統交互的可用性研究尚無。結合3.2節提出的人機交互準則，參考虛擬現實界面可用性評價方法，AR導航系統人機交互的可用性評價主要如下[36]。

①任務績效：是指系統能否滿足任務需求。本文中任務績效主要是指錯誤率。出錯率，是指不能實現預定目標的操作。出錯率的測量，是通過統計出現錯誤的情況在總任務完成的比例。

②適當性：是指增強顯示的虛擬信息應適當，盡量減小冗余信息，提高醫生的注意力，本文中適當性包括醫生最關心的虛擬信息與系統提供的虛擬信息的比率，最關心的虛擬信息的提示性是否突出。

③易用性：指系統操作應該簡單方便，在需要的情況下能夠獲得有效幫助，并且具有一定的容錯能力簡單性、幫助性。本節主要通過系統的符號復雜度、操作深度、操作總量來衡量交互操作的易用性[37]。系統的符號復雜度，包括符號的種類和符號的總體數量。不同功能下，系統的符號復雜度差別較大，為更好地給出評價等級，本文將基于HoloLens 的增強現實導航系統與成熟的導航系統產品進行對比。系統的符號復雜度修正為增強現實系統的符號復雜度與BrainLab 系統符號復雜度的比例。操作的深度，指完成一個具體的功能及操作需要在幾種不同的界面和環境中切換才能完成，本文中是指所有要實現的功能中最多操作界面切換；操作工作總量，完成一個具體的功能和操作需要點擊次數加上編輯符號的數量，從而衡量系統的交互效率。

④易學性：是指醫生可通過少量學習，就可以使用系統。本文中主要通過新知識的比率與學習時間兩方面來進行評價。

⑤交互性：是指強調自然、真實的交互體驗。本文中主要包括自然性、直接性、結果可預知性。

（2）指標權重

AR導航系統人機交互的可用性評價包含多個評價指標。為科學評價AR導航系統人機交互的可用性，采用AHP來確定各評價指標的權重。各指標的層次模型如圖10。

通過5名專家對各指標的重要性進行打分，得到判斷矩陣如下：

圖10 AR導航系統可用性評價指標層次模型

一致性檢驗指標CR以及CRi分別為：0.037 1，0，0，0.006 1，0，0.002 8。各層次一致性檢驗指標均小于0.1，故全部通過檢驗。其中，i=1,2,3,4,5

如果λ和λi分別是矩陣A和Bi對應的最大特征根，x和xi分別是矩陣A和Bi對應的特征向量。將ε和εi分別歸一化，得到向量θ和θi。如果xi表示向量θ的元素，yij表示向量θi的元素，將各分層的權重進行合并計算，可得到各二級指標的綜合權重為：xji=yij×θi。各指標權重如表1所示。

表1 可用性指標權重

4.2 基于模糊理論的綜合評價

模糊評價法是以模糊數學為基礎，應用模糊關系的合成原理，將一些邊界不清、不易定量的因素定量化，從多個因素對被評價事物隸屬等級狀況進行綜合評價的一種方法。

（1）確定評價因素集合及評價等級集

人機交互的性能劃分為5個等級，V={很好，較好，一般，差，很差}。

（2）單因素評價

在采用模糊理論進行綜合評價時，需要通過隸屬度函數進行模糊集合的量化。根據可用性評價評價指標的特點，本文采用梯形/半梯形隸屬函數。由專家根據經驗給定，各指標邊界如表2所示。

表2 可用性評價指標邊界值

新知識率、關鍵信息率、系統的符號復雜度、操作深度及操作工作總量可根據定義進行計算，計算結果分別為18%、85%、95%、3、4。出錯率、關鍵信息率、提示性、自然性、直接性、結果可預知性、學習時間采用調研法，由8名專家進行打分。根據隸屬度函數以及測評結果，可用性評價指標隸屬于評價等級的測度值如表3所示。

表3 可用性評價指標隸屬于評價等級的測度值

（3）綜合評價結果

結合表3 的數據，得到相應的模糊綜合評價矩陣。根據4.1 節的結果中各指標的權向量，采用加權平均算子作為模糊合成算子，進行模糊合成。

先對二級指標進行模糊合成：

其中，i=1,2,3,4,5。Wi表示二級指標的權重，Ri表示評價等級測度，S表示第i個一級指標中二級指標的個數。

再對一級指標進行模糊合成，模糊合成的綜合評價向量為：

模糊綜合評價向量的結果為：

依據最大隸屬度原則，AR 導航系統人機交互的可用性評價等級為較好，具有較好的任務績效、適當性、易學性、易用性和交互性。

5 總結

通過對圍手術期的醫生認知模型的分析以及虛擬現實系統人機交互準則的調研，提出了基于OST-AR技術的外科手術導航系統的人機交互的設計準則。針對AR 導航界面的多感官信息融合問題，提出了基于eGOMS 模型建立了AR 導航系統的人機交互范式。為客觀評價AR導航系統的人機交互可用性，本文采用層次分析法建立了人機交互的可用性評價指標體系，提出了任務績效、適當性、易學性、易用性和交互性5個一級評價指標，以及出錯率、關鍵信息率、提示性、符號操作復雜度、操作深度、操作總量、新知識率、學習時間、自然性、直接性、結果可預知性11個二級指標。最后采用模糊理論對AR 導航系統的人機交互可用性進行綜合評價，該系統的評價結果為較好，可以進行實際醫用。