基于增強(qiáng)現(xiàn)實(shí)的手術(shù)導(dǎo)航系統(tǒng)快速標(biāo)定算法

（上海交通大學(xué)機(jī)械與動(dòng)力工程學(xué)院，上海 200240）

0 引言

隨著計(jì)算機(jī)圖形學(xué)和醫(yī)學(xué)影像分析技術(shù)的發(fā)展，增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)已成為計(jì)算機(jī)應(yīng)用領(lǐng)域的研究熱點(diǎn)之一，在治療指導(dǎo)［1］、患者康復(fù)［2］、手術(shù)導(dǎo)航［3］等方向發(fā)展迅速。光學(xué)半透式頭戴顯示器（Optical See-Through Head-Mounted Display，OST-HMD）在增強(qiáng)現(xiàn)實(shí)中應(yīng)用廣泛，它可以為用戶提供在不同場(chǎng)景下身臨其境的體驗(yàn)。許多可穿戴顯示設(shè)備已被用于醫(yī)療用途，如谷歌眼鏡（公司為Google，CA）［4］、Optinvent（公司為Rennes，F(xiàn)rance）［5］、Vuzix M300（公司為Vuzix，Rochester，NY）［6］和HoloLens（公司為Microsoft Corporation，Redmond）［7］。

在增強(qiáng)現(xiàn)實(shí)輔助手術(shù)和介入治療領(lǐng)域中，有很多基于Microsoft HoloLens 的嘗試。在不可逆電穿孔（IRreversible Electroporation，IRE）中，利用HoloLens 在目標(biāo)區(qū)域顯示超聲二維圖像來(lái)對(duì)電極針消融進(jìn)行引導(dǎo)。文獻(xiàn)［8］中提到用手眼標(biāo)定來(lái)計(jì)算光學(xué)跟蹤系統(tǒng)和HoloLens 坐標(biāo)系之間的轉(zhuǎn)換，但并未提及系統(tǒng)的精度。在骨科手術(shù)中，Gibby 等［9］通過(guò)半透式頭盔中的三維手術(shù)路徑來(lái)引導(dǎo)椎弓根螺釘?shù)闹萌耄翘摂M路徑和脊椎模型之間的對(duì)齊是靠手動(dòng)實(shí)現(xiàn)的。石磊等［10］在肝癌切除手術(shù)中使用HoloLens 進(jìn)行手術(shù)規(guī)劃和術(shù)中引導(dǎo)，但虛擬模型與術(shù)中靶器官的匹配也是手動(dòng)實(shí)現(xiàn)的。于德旺等［11］利用Vuforia 插件對(duì)比了識(shí)別圖注冊(cè)、三點(diǎn)注冊(cè)和手動(dòng)注冊(cè)方法，通過(guò)實(shí)驗(yàn)驗(yàn)證三種方法的平均誤差值為4.16 mm。Hajek等［12］使用兩臺(tái)HoloLens 配合實(shí)現(xiàn)了閉環(huán)校準(zhǔn)，一臺(tái)由用戶佩戴，另一臺(tái)固定在C 臂機(jī)上作為定位裝置。通過(guò)手眼標(biāo)定估計(jì)了C 臂機(jī)到HoloLens 的轉(zhuǎn)換矩陣，并借助即時(shí)定位與地圖構(gòu)建算法（Simultaneous Localization And Mapping，SLAM）在同一世界坐標(biāo)系中標(biāo)記這兩臺(tái)HoloLens，最終建立錐形束計(jì)算機(jī)斷層掃描（Cone-Beam Computed Tomography，CBCT）坐標(biāo)系到虛擬坐標(biāo)系之間的映射，該方法在定位上的均方根誤差為26.6 mm。在文獻(xiàn)［13］中，將視覺(jué)標(biāo)記物固定在骨盆模型上，通過(guò)超聲和光學(xué)跟蹤器的融合實(shí)現(xiàn)了虛擬基準(zhǔn)點(diǎn)和骨盆上真實(shí)基準(zhǔn)點(diǎn)的重合，該方法的目標(biāo)配準(zhǔn)誤差（Target Registration Error，TRE）為36.90 mm。除了上述應(yīng)用，還有基于Vuforia軟件開(kāi)發(fā)工具包（Software Development Kit，SDK）利用HoloLens 的RGB 攝像機(jī)進(jìn)行目標(biāo)跟蹤的方法。在Frantz等［14］的工作中，通過(guò)Vuforia 專有的特征檢測(cè)算法對(duì)一個(gè)已知的RGB 圓柱進(jìn)行識(shí)別，因此圓柱需要保持在攝像機(jī)狹窄的視野內(nèi)且相對(duì)目標(biāo)物體保持靜止，該方法配準(zhǔn)目標(biāo)點(diǎn)的二維表面定位誤差為1.92 mm。在半透式頭戴顯示器的相關(guān)應(yīng)用中，OST-HMD 中的虛擬物體與物理現(xiàn)實(shí)之間的對(duì)齊一直是個(gè)難題。

從現(xiàn)有工作可知，目前增強(qiáng)現(xiàn)實(shí)在外科手術(shù)導(dǎo)航領(lǐng)域的相關(guān)研究無(wú)法滿足臨床應(yīng)用的精度要求。此外，現(xiàn)有的標(biāo)定方法操作步驟較為繁瑣，無(wú)法做到快速對(duì)增強(qiáng)現(xiàn)實(shí)設(shè)備進(jìn)行標(biāo)定并實(shí)現(xiàn)虛實(shí)融合。針對(duì)上述問(wèn)題，本文提出了一種快速、準(zhǔn)確的OST-HMD標(biāo)定算法。該標(biāo)定方法更加友好，用戶只需保持虛擬標(biāo)記點(diǎn)在HMD 的視野中，并調(diào)整探針的位置即可完成標(biāo)定。該方法通過(guò)3D-3D 映射直接求解OST-HMD 的虛擬坐標(biāo)系到光學(xué)追蹤系統(tǒng)的轉(zhuǎn)換矩陣，且不需要對(duì)HMD 內(nèi)部的投影矩陣進(jìn)行修改，因此任何支持顯示三維物體的光學(xué)半透式頭戴設(shè)備都可使用該方法。很少有人將虛擬空間到真實(shí)場(chǎng)景的3D-3D 映射方法應(yīng)用到手術(shù)導(dǎo)航系統(tǒng)中，本文的工作為這種方法提供了一個(gè)參考流程，在此基礎(chǔ)上開(kāi)發(fā)了基于AR的手術(shù)導(dǎo)航系統(tǒng)并進(jìn)行了精度驗(yàn)證實(shí)驗(yàn)。在該系統(tǒng)的引導(dǎo)下，醫(yī)生可以在特定的手術(shù)靶區(qū)按照三維術(shù)前規(guī)劃進(jìn)行操作，無(wú)需將視線在手術(shù)區(qū)域和傳統(tǒng)的顯示器之間移動(dòng)，并且能夠在手術(shù)過(guò)程中動(dòng)態(tài)地驗(yàn)證手術(shù)結(jié)果。

1 相關(guān)工作

為了解決基于OST-HMD 的虛實(shí)融合問(wèn)題，需要對(duì)OSTHMD 進(jìn)行適當(dāng)?shù)臉?biāo)定以建立從物理現(xiàn)實(shí)到虛擬場(chǎng)景的映射關(guān)系。一種經(jīng)典的方法是單點(diǎn)主動(dòng)對(duì)準(zhǔn)方法（Single-Point Active Alignment Method，SPAAM）［15］，這是一種基于二維圖像點(diǎn)與真實(shí)世界中三維點(diǎn)的對(duì)應(yīng)關(guān)系進(jìn)行的標(biāo)定。要獲得足夠的約束至少需要6 組對(duì)應(yīng)點(diǎn)，用戶需要反復(fù)移動(dòng)頭部將顯示器中的二維光標(biāo)與現(xiàn)實(shí)世界中的三維點(diǎn)精準(zhǔn)地對(duì)齊。文獻(xiàn)［16］介紹了一種基于SPAAM 的改進(jìn)校準(zhǔn)方法以簡(jiǎn)化標(biāo)定過(guò)程。Qian 等［17］還提出了一種新的交互方式，通過(guò)部分固定用戶的頭部來(lái)降低半透式頭盔的自由度，這種方法可以減少人為因素引起的標(biāo)定誤差。上述方法均采用3D-2D的映射來(lái)解決HMD 的標(biāo)定問(wèn)題，這需要獲取并修改每個(gè)屏幕的投影矩陣。對(duì)于某些商用半透式頭戴顯示器來(lái)說(shuō)，制造商只允許在用于顯示的三維坐標(biāo)系中進(jìn)行操作，無(wú)法得到屏幕的投影矩陣。在這種情況下，傳統(tǒng)的3D-2D 標(biāo)定方法不再適用。文獻(xiàn)［18］介紹了一種用于OST-HMD 校準(zhǔn)的3D-3D 方法，通過(guò)光學(xué)追蹤器對(duì)立方體進(jìn)行定位，并指導(dǎo)用戶通過(guò)移動(dòng)立方體以完成標(biāo)定，該方法的標(biāo)定平均誤差超過(guò)4 mm。此外，Owen 等［19］提出了頭戴顯示器相關(guān)標(biāo)定（Display-Relative Calibration，DRC）方法，引入光學(xué)模型并考慮了瞳孔間距，但該方法步驟復(fù)雜在實(shí)際應(yīng)用中有較大的局限性。基于眼球捕捉的無(wú)交互標(biāo)定方法也是一種潛在的解決方案［20］，但目前相關(guān)的研究工作較少還有待進(jìn)一步的發(fā)展。

2 光學(xué)半透式頭戴顯示器標(biāo)定

2.1 OST-HMD的標(biāo)定算法描述

大多數(shù)OST-HMD 具有在自己的坐標(biāo)系統(tǒng)進(jìn)行三維顯示的功能，HoloLens由于在立體感知、任務(wù)負(fù)荷和刷新率方面的優(yōu)越性能［15］而成為本文的實(shí)驗(yàn)對(duì)象。為了使HoloLens中的虛擬內(nèi)容與現(xiàn)實(shí)世界中相應(yīng)的物體重合，必須建立從虛擬坐標(biāo)系到世界坐標(biāo)系的映射。換言之，本文的標(biāo)定方法是為了找到從OHoloLens到OTracker的變換矩陣，如圖1所示。

圖1 用戶正在佩戴HoloLens進(jìn)行標(biāo)定Fig.1 User is doing calibration with HoloLens

根據(jù)探針上的反光標(biāo)識(shí)物，光學(xué)跟蹤系統(tǒng)可實(shí)時(shí)獲得OProbe的位姿信息，由此獲取探針尖點(diǎn)OProbeTip在光學(xué)追蹤系統(tǒng)下的坐標(biāo)。為了簡(jiǎn)化表示，下面使用OProbe替代OProbeTip。用戶透過(guò)半透式顯示器能夠在視野中看到編號(hào)為1 到4 的三維正交軸（如圖1 所示），且這些正交軸的中心點(diǎn)在虛擬坐標(biāo)系中的位置是已知的。本文從立方體的非共面頂點(diǎn)中選擇這些標(biāo)記點(diǎn)，可以提供足夠的約束來(lái)估計(jì)映射。相鄰標(biāo)記點(diǎn)之間的距離大于150 mm 以減少標(biāo)定時(shí)手部抖動(dòng)的影響。當(dāng)探針尖端與虛擬標(biāo)記點(diǎn)在視野中重合時(shí)，記錄此時(shí)標(biāo)記點(diǎn)在虛擬坐標(biāo)系下的位置pi和探針尖點(diǎn)在光學(xué)跟蹤系統(tǒng)下的位置qi（i=1，2，3，4），由此得到兩組有序的3D點(diǎn)集。

2.2 OST-HMD的標(biāo)定矩陣求解

最小二乘擬合［21］、迭代最近點(diǎn)（Iterative Closest Point，ICP）［22］等經(jīng)典算法都可用于估計(jì)兩個(gè)三維點(diǎn)集之間的映射問(wèn)題，這里注意到pi和qi之間存在一一對(duì)應(yīng)關(guān)系，因此可采用單位四元數(shù)方法［23］或?qū)ε妓脑獢?shù)方法［24］以提高估計(jì)的精度。若qR表示的四元數(shù)如式（1）所示：

其中：q0≥0并且若將齊次變換矩陣中的平移部分記作T，旋轉(zhuǎn)矩陣記作R，則R可以表示為：

由此可以將求解兩個(gè)點(diǎn)集之間的映射問(wèn)題轉(zhuǎn)換為重投影誤差函數(shù)的優(yōu)化問(wèn)題：

該優(yōu)化問(wèn)題的解就是HoloLens的虛擬空間到光學(xué)追蹤空間的轉(zhuǎn)換矩陣的最優(yōu)估計(jì)，可以表示為：

3 基于AR的手術(shù)導(dǎo)航系統(tǒng)

3.1 AR手術(shù)導(dǎo)航系統(tǒng)的功能概述

本文在課題組原有導(dǎo)航系統(tǒng)BeiDou-SNS［25］的基礎(chǔ)上增加了新的模塊，提供OST-HMD 的標(biāo)定功能以及PC 與HoloLens 之間的雙向通信，設(shè)計(jì)了基于AR 的手術(shù)導(dǎo)航系統(tǒng)。該系統(tǒng)主要包含以下5個(gè)模塊，軟件界面如圖2所示。

圖2 AR手術(shù)導(dǎo)航系統(tǒng)界面Fig.2 Interface of AR-based surgical navigation system

1）圖像分割和三維重建。用閾值分割法［26］和區(qū)域生長(zhǎng)算法將手術(shù)靶區(qū)從原始CT 中分割出來(lái)并進(jìn)行三維重建。重建的三維數(shù)據(jù)與原始CT圖像具有相同的坐標(biāo)系，這將簡(jiǎn)化導(dǎo)航系統(tǒng)中的變換關(guān)系。

2）術(shù)前手術(shù)規(guī)劃。在CT影像和三維重建數(shù)據(jù)的基礎(chǔ)上，利用專門(mén)設(shè)計(jì)的軟件進(jìn)行術(shù)前規(guī)劃。規(guī)劃結(jié)果將以O(shè)BJ格式導(dǎo)入到HoloLens 上運(yùn)行的Windows 通用應(yīng)用平臺(tái)（Universal Windows Platform，UWP）應(yīng)用中，并在經(jīng)過(guò)配準(zhǔn)和標(biāo)定步驟后實(shí)現(xiàn)和實(shí)際手術(shù)靶區(qū)的對(duì)齊。

3）圖像配準(zhǔn)。圖像配準(zhǔn)實(shí)現(xiàn)了手術(shù)靶區(qū)與術(shù)前CT 坐標(biāo)系的幾何對(duì)齊［27］。系統(tǒng)提供兩種可選的配準(zhǔn)方法：表面匹配和點(diǎn)配準(zhǔn)。如果手術(shù)靶區(qū)存在明顯的解剖特征或人為基準(zhǔn)點(diǎn)，則選擇具有較高精度的點(diǎn)配準(zhǔn)方法；否則選擇基于迭代最近點(diǎn)方法［28］的表面配準(zhǔn)。在一次實(shí)驗(yàn)中，根據(jù)場(chǎng)景選擇一種方法用于計(jì)算CT 坐標(biāo)系到手術(shù)靶區(qū)固定的光學(xué)參考架之間的轉(zhuǎn)換矩陣

4）光學(xué)半透式顯示器的標(biāo)定。在完成圖像配準(zhǔn)后，用戶佩戴HoloLens 按照之前提到的方法，按順序?qū)⑻结樇恻c(diǎn)與每個(gè)虛擬標(biāo)記點(diǎn)對(duì)齊，由此完成OST-HMD 的標(biāo)定，之后用于標(biāo)定的四個(gè)標(biāo)記點(diǎn)將自動(dòng)隱藏。

5）實(shí)時(shí)跟蹤。標(biāo)定完成后，術(shù)前規(guī)劃的虛擬場(chǎng)景將自動(dòng)與真實(shí)的目標(biāo)區(qū)域?qū)R。當(dāng)目標(biāo)區(qū)域發(fā)生移動(dòng)時(shí)，通過(guò)光學(xué)追蹤系統(tǒng)獲取目標(biāo)區(qū)域安裝的光學(xué)參考架的位姿變化，據(jù)此更新虛擬場(chǎng)景在HoloLens 中的平移和旋轉(zhuǎn)，保證虛實(shí)融合的效果。

3.2 AR手術(shù)導(dǎo)航系統(tǒng)的實(shí)現(xiàn)

AR手術(shù)導(dǎo)航系統(tǒng)中的坐標(biāo)系變換如圖3所示。

圖3 基于AR的手術(shù)導(dǎo)航系統(tǒng)的坐標(biāo)系變換Fig.3 Coordinate transformation in AR-based surgical navigation system

為了提高了術(shù)中跟蹤的實(shí)時(shí)性，所有計(jì)算過(guò)程都在PC上進(jìn)行，只將以四元數(shù)和平移向量的形式發(fā)送給HoloLens上的UWP 應(yīng)用。PC 和HoloLens 之間的雙向通信通過(guò)傳輸控制協(xié)議（Transmission Control Protocol，TCP）實(shí)現(xiàn)，HoloLens 將作為客戶端與PC上導(dǎo)航系統(tǒng)內(nèi)搭建的服務(wù)端進(jìn)行連接［29］，借助可識(shí)別的編碼格式實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)交換。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)準(zhǔn)備

為了模擬手術(shù)導(dǎo)航的實(shí)際過(guò)程，本文使用帶有8 個(gè)鈦釘基準(zhǔn)點(diǎn)的3D 打印顱骨模型（如圖4 所示）。對(duì)該模型進(jìn)行掃描得到的CT 數(shù)據(jù)分辨率為512×512 像素，層厚為0.625 mm。實(shí)驗(yàn)中使用的硬件設(shè)備為L(zhǎng)enovo 筆記本電腦（Intel Core i5 CPU@2.60 GHz，8.0 GB RAM），光學(xué)定位追蹤設(shè)備Polaris Vicra（Northern Digital Inc.，Canada）和半透式頭戴顯示器Microsoft HoloLens（Microsoft Inc.，USA）。HoloLens 上運(yùn)行的UWP 應(yīng)用基于Unity 2017.4.1f1 和微軟MRTK 2017.4.0.0開(kāi)發(fā)。

圖4 帶有鈦釘?shù)娘B骨模型Fig.4 Skull model with titanium crews

4.2 精度驗(yàn)證實(shí)驗(yàn)

為了評(píng)估AR 手術(shù)導(dǎo)航系統(tǒng)的精度，本文設(shè)計(jì)了如下的模型實(shí)驗(yàn)。首先，對(duì)掃描后的顱骨CT 圖像進(jìn)行三維重建，用自動(dòng)基準(zhǔn)點(diǎn)識(shí)別算法定位CT 圖像中鈦制基準(zhǔn)點(diǎn)的位置［23］。將光學(xué)參考架固定在頭骨模型上以便光學(xué)定位追蹤系統(tǒng)可以跟蹤顱骨模型的運(yùn)動(dòng)。在圖像配準(zhǔn)中，用戶操作探針的尖端來(lái)選擇模型上的基準(zhǔn)點(diǎn)，通過(guò)3.1 節(jié)中的點(diǎn)配準(zhǔn)算法計(jì)算得到該配準(zhǔn)方法配準(zhǔn)后的TRE 通常為0.4 mm 左右。為了使虛擬場(chǎng)景和顱骨模型實(shí)現(xiàn)重合，用戶戴上HoloLens 然后依次用探針尖端與4 個(gè)三維虛擬標(biāo)記點(diǎn)重合。該步驟完成后根據(jù)式（3）和式（4）可計(jì)算得出

完成OST-HMD的標(biāo)定后，用戶用探針尖端采集顱骨模型上第i個(gè)真實(shí)的鈦制基準(zhǔn)點(diǎn)(xi，yi，zi)∈R3在光學(xué)追蹤系統(tǒng)坐標(biāo)系下的位置，向量fi=(xi，yi，zi，1)作為真實(shí)值。HoloLens坐標(biāo)系下的虛擬基準(zhǔn)點(diǎn)將被轉(zhuǎn)換至光學(xué)追蹤坐標(biāo)系下以計(jì)算整個(gè)系統(tǒng)的誤差。假設(shè)HoloLens 空間中的第i個(gè)虛擬基準(zhǔn)點(diǎn)可以表示為(xvi，yvi，zvi)∈R3，且向量fv(i)=(xvi，yvi，zvi，1)，那么fv(i)可通過(guò)式（7）轉(zhuǎn)換至光學(xué)追蹤坐標(biāo)系下：

其中：fr(i)是虛擬標(biāo)記點(diǎn)在光學(xué)追蹤坐標(biāo)系下的映射。系統(tǒng)的誤差可以由式（8）表示：

本文選取8 位之前未接觸過(guò)該系統(tǒng)的志愿者參照上述步驟進(jìn)行了精度驗(yàn)證實(shí)驗(yàn)，標(biāo)定過(guò)程的平均耗時(shí)約為23.8 s。實(shí)驗(yàn)結(jié)果表明8 枚鈦制基準(zhǔn)點(diǎn)的均方根誤差為1.39±0.49 mm，實(shí)驗(yàn)的原始誤差記錄如表1 所示，標(biāo)定過(guò)程的時(shí)間記錄如表2所示。圖5展示了其中一位志愿者標(biāo)定后的畫(huà)面，顏色較淺的虛擬基準(zhǔn)點(diǎn)與深色的真實(shí)鈦基準(zhǔn)點(diǎn)尖端重合，表明本文的標(biāo)定算法具有較高的精度。

表1 精度驗(yàn)證實(shí)驗(yàn)的原始數(shù)據(jù) 單位：mmTab.1 Original data of accuracy validation experiment unit：mm

表2 標(biāo)定所用時(shí)間 單位：sTab.2 Time consumption of calibration unit：s

圖5 精度驗(yàn)證實(shí)驗(yàn)的結(jié)果Fig.5 Result of accuracy validation experiment

本文還以3D打印的下頜骨為對(duì)象進(jìn)行了模型實(shí)驗(yàn)，實(shí)驗(yàn)按照3.1 節(jié)中的步驟進(jìn)行。標(biāo)定時(shí)的場(chǎng)景如圖6（a）所示，標(biāo)定后的結(jié)果如圖6（b）所示，紅色部分為預(yù)定進(jìn)行切除的組織，綠色部分為保留的組織。為了模擬真實(shí)的手術(shù)場(chǎng)景，該模型上并未裝有鈦基準(zhǔn)點(diǎn)，由經(jīng)驗(yàn)豐富的醫(yī)生選取下頜底、下頜角、下頜切跡等下頜骨解剖學(xué)特征作為標(biāo)記點(diǎn)進(jìn)行了圖像配準(zhǔn)，之后采用本文的方法完成標(biāo)定。由于無(wú)法采用鈦基準(zhǔn)點(diǎn)進(jìn)行結(jié)果評(píng)估，故本文采集了用戶視野下虛實(shí)融合的結(jié)果圖，利用圖像分割中常用的Dice 相似系數(shù)（Dice Similarity Coefficient，DSC）進(jìn)行誤差評(píng)估。

Dice 相似系數(shù)通常用來(lái)計(jì)算集合的相似度，這里本文用它來(lái)表示虛擬模型和真實(shí)物體在用戶視野中的重合度。若將真實(shí)物體在圖6（b）中所占的像素記為集合T，虛擬模型在圖6（b）中所占的像素記為集合V，則Dice相似系數(shù)可以表示為：

由式（9）可知，當(dāng)虛擬模型和真實(shí)物體完全重合時(shí)，集合T和集合V中的像素完全相同，此時(shí)對(duì)應(yīng)的Dice 系數(shù)為1，故Dice 系數(shù)越接近1 表示虛實(shí)融合的效果越好。本文由一位具有豐富圖像數(shù)據(jù)集標(biāo)注經(jīng)驗(yàn)的志愿者對(duì)圖6（b）中的真實(shí)物體和虛擬模型進(jìn)行了手動(dòng)分割，并據(jù)此計(jì)算得出Dice 相似系數(shù)為0.913 7，表明虛擬規(guī)劃模型和下頜骨實(shí)物之間具有很高的重合度，證明本文設(shè)計(jì)的基于增強(qiáng)現(xiàn)實(shí)的手術(shù)導(dǎo)航系統(tǒng)具有較高的精度。

圖6 標(biāo)定場(chǎng)景和模型實(shí)驗(yàn)結(jié)果Fig.6 Calibration scene and result of model experiment

4.3 結(jié)果分析與討論

基于增強(qiáng)現(xiàn)實(shí)的手術(shù)導(dǎo)航系統(tǒng)的誤差主要來(lái)源于光學(xué)追蹤系統(tǒng)的定位偏差、圖像配準(zhǔn)的誤差和OST-HMD 的標(biāo)定誤差。光學(xué)追蹤設(shè)備在工作空間的誤差小于0.2 mm［30］，點(diǎn)配準(zhǔn)算法的誤差一般小于0.5 mm，而基于迭代最近點(diǎn)（ICP）算法的面配準(zhǔn)誤差約為1 mm。同時(shí)，由于OST-HMD 與光學(xué)追蹤系統(tǒng)之間的映射可能不是完全的等距變換，因此本文的求解策略也可能產(chǎn)生誤差。在采用點(diǎn)配準(zhǔn)方法的精度驗(yàn)證實(shí)驗(yàn)中，整個(gè)系統(tǒng)的平均誤差小于2 mm，證明該方法有臨床應(yīng)用的可行性。

表3 列出了不同方法的精度對(duì)比，可以看出本文方法具有較為明顯的優(yōu)勢(shì)。同文獻(xiàn)［18］的標(biāo)定方法相比，其采用正方體的標(biāo)定方法由于實(shí)物的體積原因容易造成遮擋，因此在深度感知上表現(xiàn)較差，導(dǎo)致z方向標(biāo)定誤差較大。文獻(xiàn)［11］方法用HoloLens的虛擬光標(biāo)與空間標(biāo)識(shí)圖的多個(gè)頂點(diǎn)對(duì)齊完成注冊(cè)，注冊(cè)過(guò)程需要移動(dòng)和旋轉(zhuǎn)頭部進(jìn)行，容易造成HoloLens重新定位出現(xiàn)偏差。本文的標(biāo)定方法采用三維虛擬點(diǎn)配準(zhǔn)，因此遮擋狀況不明顯，誤差在三個(gè)方向的分布較為均勻。此外，由于標(biāo)定時(shí)用探針的移動(dòng)代替了頭部的移動(dòng)和旋轉(zhuǎn)，在標(biāo)定過(guò)程中頭戴設(shè)備不會(huì)發(fā)生大幅度運(yùn)動(dòng)，保證了HoloLens自身定位的準(zhǔn)確性，也改善用戶的使用體驗(yàn)。

表3 不同方法的精度對(duì)比 單位：mmTab.3 Accuracy comparison of different methods unit：mm

5 結(jié)語(yǔ)

本文提出了一種快速、準(zhǔn)確的光學(xué)半透式頭戴顯示器的標(biāo)定方法，用HoloLens 進(jìn)行了多次實(shí)驗(yàn)并在此基礎(chǔ)上開(kāi)發(fā)了基于增強(qiáng)現(xiàn)實(shí)的手術(shù)導(dǎo)航系統(tǒng)。標(biāo)定過(guò)程收集了OST-HMD的虛擬空間和光學(xué)追蹤空間的三維點(diǎn)集，對(duì)3D-3D 映射直接進(jìn)行估計(jì)，建立了虛擬空間到真實(shí)空間的轉(zhuǎn)換矩陣。由于本文的標(biāo)定方法采用的是虛擬空間中的3D標(biāo)記點(diǎn)，因此該方法對(duì)于一些制造商只允許對(duì)最終的3D 可視化內(nèi)容進(jìn)行操作而不開(kāi)放內(nèi)部投影矩陣的商業(yè)半透式頭盔是可行的，解決了經(jīng)典的SPAAM方法在此情況下不適用的問(wèn)題。8組精度驗(yàn)證實(shí)驗(yàn)表明，基準(zhǔn)點(diǎn)的均方根誤差為1.39 ± 0.49 mm，用戶進(jìn)行標(biāo)定的平均耗時(shí)為23.8 s，表明該方法精度較高且操作簡(jiǎn)單。

增強(qiáng)現(xiàn)實(shí)中常見(jiàn)的延遲現(xiàn)象在該實(shí)驗(yàn)中影響較小。一方面因?yàn)槭中g(shù)靶區(qū)不會(huì)頻繁地快速移動(dòng)；另一方面計(jì)算過(guò)程全部在PC 上實(shí)現(xiàn)有利于提高HoloLens 中虛擬場(chǎng)景刷新的幀速率。另外，一旦標(biāo)定完成后用戶和半透式頭盔之間不能有相對(duì)運(yùn)動(dòng)，否則必須再次進(jìn)行標(biāo)定。近年來(lái)眼球捕捉技術(shù)發(fā)展迅速，最新發(fā)布的第二代HoloLens 提高了硬件性能并提供了眼球捕捉功能，這將有利于促進(jìn)本文的導(dǎo)航系統(tǒng)在臨床上的應(yīng)用。目前本文的導(dǎo)航系統(tǒng)無(wú)法應(yīng)用于形變的組織和器官，未來(lái)將對(duì)三維網(wǎng)格模型進(jìn)行動(dòng)力學(xué)建模，并利用計(jì)算機(jī)視覺(jué)跟蹤實(shí)際組織的形變將其反饋到增強(qiáng)顯示的三維術(shù)前規(guī)劃中，提高該系統(tǒng)的魯棒性，擴(kuò)大其臨床適用范圍。