基于增強現實的計算機輔助微創手術導航系統*

黃偉萍，韋孟宇，杜 民，高欽泉

(1. 福州大學 物理與信息工程學院，福建 福州 350116；2. 福建省醫療器械與醫藥技術重點實驗室，福建 福州 350116；3. 澳門大學 模擬與混合信號超大規模集成電路國家重點實驗室，澳門 999078)

0 引言

微創手術與傳統的開放式手術相比，具有創傷小、疼痛輕、恢復快的優越性[1]，在臨床中被廣泛地使用。醫生依據患者術前影像(如CT或MRI)和解剖學結構來確定病灶的位置，并規劃手術實施方案。在實施手術的過程中，通過內窺鏡來獲取手術的即時信息并推進手術的進行。但是由于手術操作空間小、內窺鏡僅提供二維的組織表面信息、人體內部器官組織錯綜復雜，很難快速準確地找到病灶的位置，就有可能造成病灶切除不完全或者對正常組織造成破壞的風險，影響手術的治療效果。因此，臨床上，一套高效的輔助手術導航系統對于微創手術具有重要的意義。

目前主流的手術導航技術主要是基于非視覺信息的導航，如電磁導航跟蹤[2]、術中X射線透視[3]、術中實時CT成像[4]等，盡管這些技術已經比較成熟，但是也有相應的弊端。由于術前影像有較高的分辨率，其重建的3D模型逐漸被應用于各類手術導航當中[5]，但如何將術前的3D模型以正確的姿態與術中視野目標物體實時融合成為亟待解決的難點。為此，本文提出并設計了一種基于增強現實的計算機輔助微創手術導航系統，通過立體內窺鏡獲取視頻幀，利用視覺跟蹤技術實時獲取相機的姿態信息，根據相機位姿的多自由度變換矩陣來實現3D模型與術中目標物體的實時融合，從而輔助醫生定位當前內窺鏡及手術刀的位置，以及病灶區域的方向和距離，為手術實施提供良好的視覺導航作用。

1 微創手術輔助導航系統框架

微創手術輔助導航系統框架如圖1所示，整個導航系統主要包含以下幾個步驟：(1)立體內窺鏡的標定及校正；(2)術前CT影像的分割及模型重建，并處理成標準的3D模型文件;(3)術中視野的目標物體與重建3D模型的空間配準；(4)對立體內窺鏡進行位置跟蹤，并顯示內窺鏡與3D模型的相對位置和增強現實(Augmented Reality，AR)顯示。

圖1 導航系統框圖

2 導航系統的主要算法原理

2.1 立體內窺鏡的標定及校正

本文采用棋盤標定法對內窺鏡進行單目標定[6]，然后再采用Bouguet極線校正對雙目進行立體標定、校正[7]，如圖2所示，左右視圖共面行對準，則兩視圖的同一特征點是在同一水平線，特征點匹配只需沿水平線搜尋，提高了匹配效率。

圖2 立體標定校正

2.2 模型重建及渲染

將患者的術前影像器官組織區域和病灶區域分割出來，利用CT重建系統對其重建，形成3D模型，并導入本導航系統，使用OpenGL進行渲染。OpenGL最終渲染設備是2D屏幕，根據OpenGL的透視投影原理對3D模型進行變換，如圖3所示，其透視投影矩陣根據相機立體標定校正后的參數進行設置，投影矩陣為：

(1)

圖3 透視投影原理

2.3 術中2D目標與3D模型空間配準

3D模型經模型視圖變換后，將頂點坐標的參考坐標系由模型坐標系轉換為相機坐標系，以能夠在虛擬相機被觀測到。但此時3D模型與真實世界的物體的相對位姿還未知，如何將3D模型與術中2D目標實現完全地融合配準對齊，是實現手術導航的關鍵步驟之一。

各參考坐標系之間的關系如圖4所示，目標物體在真實場景的信息由內窺鏡獲取得到2D圖像IW，3D模型由OpenGL渲染得到2D圖像IM，若模型在IW與IM所對應的2D圖像重疊，則虛擬相機坐標系與真實相機坐標系映射關系可被求出，通過多自由度的變換矩陣，3D模型與手術視野下的目標物體能夠配準融合，以達到增強現實的效果。

圖4 各參考坐標系之間的關系

由于雙目視差的存在，3D模型與真實目標物體的尺度一致，3D模型與真實目標物體能夠完全重疊?？臻g配準的目標能量方程為：

(2)

2.4 基于雙目視覺信息的內窺鏡跟蹤定位

2.4.1特征點檢測及三維重建

由于圖像已經立體校正，左右視圖的特征點在同一水平線上，先對左右視圖進行特征點檢測并提取，然后沿水平線進行極線搜索匹配。接著進行亞像素精度的計算，提取特征點匹配對，根據雙目視差獲得深度信息。如圖5所示，根據三角形相似，可得深度值為：

(3)

式中，d=ul-ur為左右視圖的視差；F為焦距；T為基線距離。

圖5 立體重建

2.4.2內窺鏡軌跡跟蹤

在已檢測并匹配左右視圖的特征點信息后，利用重投影誤差優化相機姿態信息。根據特征點匹配對重建的三維點構建幾何模型[8]，如圖6所示。固定三維點云，對相機姿態[Rt](旋轉矩陣R和平移向量t)優化，使三維點經變換后的重投影誤差之和最小，則優化函數為：

(4)

圖6 重投影誤差幾何模型

在相機跟蹤過程中，新的視頻幀不斷產生，需要選取關鍵幀作為地圖的路標，且為局部地圖優化提供局部信息。

由于式(4)是基于兩幀來估計相機位姿，前面某一幀的誤差一直傳遞下去，各個幀的誤差累加導致跟蹤一段時間后，相機位姿有可能誤差很大。為此，需要使用局部地圖優化相機位姿，來減少累積誤差。在跟蹤一段時間，關鍵幀達到一定的數量后，設置滑動窗口進行優化。如圖7所示，在滑動窗口中，最右邊的關鍵幀為最新插入，它觀測到的三維點集合記為PL，若PL也能被其他關鍵幀觀測，記這部分的關鍵幀為KL；滑動窗口中剩余的其他關鍵幀記為KF。固定KF相機姿態和滑動窗口中除PL以外的三維點，對KL所對應的相機姿態(記為[RLtL])和PL進行局部光束平差法優化，使該窗口的全部三維點對應的重投影誤差之和最小，則成本函數為：

{Χi,Rl,tl|i∈ΡL,l∈ΚL}=

(5)

圖7 局部地圖跟蹤

3 實驗驗證與結果分析

本實驗先重建出骨盆模型，利用3D打印機進行打印并涂上血肉顏色，形成仿真人體骨盆模型，模擬手術過程，錄制一段手術視頻來驗證本系統的導航算法。

3.1 骨盆模型及腫瘤位置顯示

采用ITK-SNAP對術前CT影像進行分割及重建，導出骨盆模型和腫瘤模型文件，然后根據立體標定后的相機參數對模型進行透視投影變換，效果如圖8所示，淺色區域為骨盆，深色區域為腫瘤。

圖8 骨盆及腫瘤模型

3.2 術中2D目標與3D模型空間配準

在進行配準前，須先檢測模型的可視點。本系統采用一種快速可視點檢測算法，先將模型頂點渲染成不同顏色，模型經透視投影后的2D圖像，其顏色信息為模型全部可視點投影到屏幕的顏色。若頂點顏色等于2D圖像像素點顏色即是可視的，反之不是?？梢朁c檢測效果如圖9所示。

圖9 可視點檢測

式(2)是非線性優化，主要的優化算法有梯度下降法和無導數優化。經系統實驗測試，使用梯度下降法的優化方法，很容易得到局部最優解；而使用無導數優化的BOBYQA，發現其優化效果很好。將優化變量模型矩陣[Rmtm]轉化成李代數的指數形式：

[Rmtm]=eξ∧

(6)

式中，ξ為6維向量(前三維為旋轉向量，后三維為平移向量)，優化變量轉化成6維變量。空間配準效果如圖10所示。

圖10 左右視圖的配準重疊效果

3.3 相機跟蹤軌跡

由于ORB匹配速度快且具有較穩定的旋轉不變性[9]，本文選取ORB進行特征提取，再進行基于參考幀的相機位姿優化和局部地圖優化，構造非線性的圖優化結構，將相機位姿(若為局部優化，三維點坐標也是其優化目標)作為優化變量，特征點匹配對重建的三維點重投影坐標值作為誤差項，使用G2O[10]來構造頂點和邊，進行優化。如圖11所示，左圖的深色框為關鍵幀的歷史軌跡，淺色框為內窺鏡當前位置，與右圖進行對比發現，估計的內窺鏡位置與真實內窺鏡相差無幾，具有良好的導航作用。圖12展示了模型與手術畫面相結合的增強現實顯示，直觀地給予醫生視覺導航。

圖11 內窺鏡與模型的相對位姿

圖12 增強現實顯示

由于內窺鏡的真實軌跡很難獲取，為了量化跟蹤的準確性，本系統設計了一套可獲取內窺鏡真實軌跡的仿真手術視頻制作，用來驗證該跟蹤算法的準確性。其跟蹤結果如圖13所示，其位置的均方誤差為1.329 6，說明能夠提供精度較高的位置信息。

圖13 真實軌跡與估計軌跡的三維顯示

4 結論

本文設計開發了一套基于增強現實的計算機輔助微創手術導航系統，利用術前影像重建的3D模型，給予臨床醫生提供增強現實的“地圖”手術輔助導航。該系統提供3D模型立體可視化功能，根據內窺鏡成像原理和OpenGL渲染原理，實現3D模型與2D目標的空間配準。立體內窺鏡跟蹤算法選取ORB作為特征點提取算法，匹配過程中沿著水平線進行搜尋，提高了匹配速度和準確率；采用基于幀的相機姿態優化和局部地圖優化算法，使跟蹤具有良好的魯棒性和較高的精度。未來的研究中，將結合臨床手術開展臨床驗證，根據臨床需求設計一套專用的計算機輔助手術導航系統，為醫生提供更多更準的視覺信息輔助。

[1] KAPLAN J R, LEE Z, EUN D D, et al. Complications of minimally invasive surgery and their management[J]. Current Urology Reports, 2016, 17(6): 1-10.

[2] LIU X, KANG S, PLISHKER W, et al. Laparoscopic stereoscopic augmented reality: toward a clinically viable electromagnetic tracking solution[J]. Journal of Medical Imaging, 2016, 3(4): 045001.

[3] PETERS T M. Image-guided surgery: from X-rays to virtual reality[J]. Computer Methods in Biomechanics & Biomedical Engineering, 2001, 4(1): 27-57.

[4] VINOGRADSKIY Y Y, CASTILLO R, CASTILLO E, et al. Use of weekly 4DCT-based ventilation maps to quantify changes in lung function for patients undergoing radiation therapy[J]. Medical Physics, 2012, 39(1): 289-298.

[5] OKAMOTO T, ONDA S, YASUDA J, et al. Navigation surgery using an augmented reality for pancreatectomy[J]. Digestive Surgery, 2015, 32(2): 117-123.

[6] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11): 1330-1334.

[7] KAEHLER A, BRADSKI G. Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library[M]. O′Reilly Media, Inc. 2016.

[8] LOURAKIS M I A, ARGROS A A. SBA: A software package for generic sparse bundle adjustment[J]. ACM Transactions on Mathematical Software, 2009, 36(1): 2.

[9] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: An efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision, 2012: 2564-2571.

[10] KUMMERLE R, GRISETTI G, STRASDAT H, et al. G2O: A general framework for graph optimization[J]. IEEE International Conference on Robotics and Automation, 2011, 7(8): 3607-3613.