基于Kinect的ISS_CPD算法在混合現實醫學中的應用

王朝欣，馬 磊，袁家鼎，袁 晨，田 莉，王子陽

（南通大學信息科學與技術學院，南通 226019）

0 引言

隨著社會的發展和科技的進步，點云配準技術和混合現實技術在醫學領域中的重要性越來越高。在外科手術中，通過混合現實技術和實時點云配準技術，能夠實現模型與人體器官的實時配準與重合，為醫生提供手術輔助，提高手術的效率以及手術的效果，做到病人少受罪，醫生少受累。但是，如何提高實時點云配準的速度以及準確度，并與混合現實技術結合，依舊是當前研究的熱點和難點。

目前，傳統的圖像匹配算法大都存在一定的問題，很難滿足醫學手術過程中實時匹配的需求，且國內外研究人員對于點云匹配的研究大多數集中在提高配準的精度和速度上，而忽視了點云配準的通用性和實時性，在遇到類似于手術的復環境時，配準存在較大的誤差。考慮到傳統點云匹配算法的問題，結合目前混合現實醫學發展的趨勢，本文提出一種混合現實醫學實時配準算法以滿足手術過程中模型與人體實時匹配的要求。

本文首先使用Kinect 紅外攝像頭進行點云采集，然后對采集到的點云圖進行下采樣，接著使用點云重采樣算法，在去除點云噪點的同時，能夠對點云進行平滑處理。在點云配準算法的選擇上，本文首先使用ISS算法提取點云特征點，然后使用CPD 算法進行圖像匹配，最后使用點云三角重建算法對圖像進行還原，整個匹配過程大約4 s，匹配速度及匹配效果好于傳統圖像匹配算法。

1 基本原理

1.1 Kinect點云提取

圖像匹配過程需要根據參考圖像和現實場景來選定某些特征,相似性準則以及搜索策略，并進行相關運算,以確定匹配的最佳空間對應點。要做到實時點云匹配，首先需要獲取現實場景的三維空間點云圖。在權衡了眾多點云采集技術之后，選用了紅外點云采集技術。紅外點云采集技術能夠很好的兼顧實時點云采集的實時性和準確度。

Kinect 是微軟旗下的一款3D 體感攝影機，有功能強大的感覺陣列，能夠做到即時動態捕捉、影像辨識，可以用于實時點云提取。不同于傳統的TOF 技術或者結構光測量技術，Kinect 使用的是光編碼技術，通過連續的照明進行成像，不需要特制的感光芯片，只需要普通的CMOS 感光芯片，可大大降低成本。Kinect相比其他紅外攝像頭，具有價格低、精度高、兼容性好等優勢。

圖1 Kinect原理

獲取實時場景的點云圖，首先需要使用Kinect 的紅外投影機對空間做一次光源的標定，選取參考平面。接著，使用光編碼技術對空間進行空間標記。光編碼技術通過投射具有高度偽隨機性的激光散斑，會隨著不同距離變換不同的圖案，對三維空間直接標記，通過觀察物體表面的散斑圖案就可以判斷其深度。最后，將散斑圖像與參考平面進行互相關運算，便可以得到整個場景的三維點云圖像。

圖2 Kinect成像流程

1.2 點云前處理

1.2.1 點云下采樣

常用得點云采用方法有幾何采樣、格點采樣、均勻采樣和下采樣等。幾何采樣算法主要依據點云圖的曲率進行采樣，在進行曲率計算時耗時較多，采樣時間長。且本文中涉及到的圖像主要用于醫學，醫學圖像對于部分細節的要求比較高，使用幾何采樣可能會導致圖像細節的丟失，不符合預期。格點采樣算法不能精確控制采樣點個數，時間效率不穩定且抗干擾能力弱，用于醫學圖像匹配，容易出現誤差，導致匹配效果差。而均勻采樣算法采樣點分布均勻，可以通過分治等方法來提高效率。由于該算法采樣點分布均勻，時間效率穩定且抗干擾能力較強，滿足醫學圖像匹配的要求。

1.2.2 點云平滑處理

點云下采樣之后，點云的復雜度有一定程度的降低。但是圖像中噪點的數量多，圖像匹配時誤差較大。因此，在圖像匹配前，需要對圖像進行去噪處理。

常用的點云去噪方法有雙邊濾波、高斯濾波和體素濾波等，但是使用上述方法進行點云去噪時，會導致部分細節的丟失。考慮到醫學點云圖像的特殊性，對于細節的要求高，細節丟失過多會降低匹配的精準度，不能滿足外科手術的需求。人體組織和器官多數情況下形狀規則，表面光滑，考慮到這一特性，同時兼顧到匹配的速度和準確度，本文對點云圖像進行平滑處理。平滑處理速度較快，在光滑點云圖像同時，能夠去除掉大部分噪點，滿足外科手術過程中圖像匹配的要求。

本文使用點云重采樣實現點云平滑。點云重采樣法主要通過移動最小二乘法來實現。移動最小二乘法與傳統的最小二乘法相比，改進了擬合函數并引入了緊支。

首先需要建立擬合函數，在擬合區域的一個局域子域U 上，擬合函數表示：

然后確定權函數，在移動最小二乘法中，權函數(- x)應該具有緊支性，即權函數在的一個子域內不等于0，在這個子域外全是0，這個子域稱為權函數的支持域（即的影響域），其半徑記為s。常用的權函數為立方樣條權函數:

1.3 圖像匹配算法

圖像匹配技術是近代圖像信息處理領域中比較重要的一項技術。圖像匹配過程需要根據參考圖像和實時圖像，來選定某些特征，相似性準則以及搜索策略，并進行相關運算，以確定匹配的最佳空間對應。目前已經出現了很多圖像匹配技術，其中最經典同時也最常用的是依據點云進行匹配。

1.3.1 點云匹配算法

點云配準算法可以分為剛性配準算法和非剛性配準算法，常見得點云配準算法有ICP算法（最近點搜索算法）、NDT 算法（正態分布變換）、CPD 算法等。NDT 算法配準速度快，但只有兩張點云圖像相差不大的情況才能匹配，如果兩幅圖像相差太大會導致匹配精度過低。ICP算法匹配的準確度較高，且ICP算法比較成熟，有較多的方法優化匹配的速度以及準確度。但ICP算法在匹配點數較多的圖像的時候耗時多且容易陷入局部最優。在手術過程中，人體器官與模型的形狀、大小不一樣，使用傳統的剛性匹配算法進行圖像匹配速度慢、效果差，因此本文采用了CPD算法進行點云配準。

CPD 算法將點集配準問題轉換為概率密度估計問題，其將點集的分布表示成混合高斯模型，當點集與點集完成配準后，對應的似然函數達到最大。將點集中每個點作為混合高斯模型中每個成分的中心，并且假設每個成分概率相等，那么其分布模型可以表示為：

考慮噪聲的影響，在分布模型中又加入了均勻分布函數，其權重為，這樣上式分布模型可以進一步表示為：

混合高斯模型的中心再配準過程中與變換參數相關，為了求得模型參數，需要極小化負對數似然函數：

極小化損失函數得到新的模型參數和。

CPD 算法相比傳統剛性點云匹配算法，有很好的靈活性，解決了手術過程中圖像匹配困難的問題，但是CPD 算法算法復雜度比較高，匹配速度較慢，因此需要對算法進行改進，提高匹配的速度。

1.3.2 征提取算法

內部形狀描述子是一種表示立體幾何形狀的方法，該算法含有豐富的幾何特征信息,可以完成高質量的點云配準。為了提高匹配速度，本文采用ISS 特征檢測算法提取點云的特征點，降低點云的復雜程度。設點云中含有個點(x,y,z)，= 1，2，，-1，設p=(x,y,z)，提取關鍵點的具體流程如下。

（1）對點云中每個點p，建立一個局部坐標系，并對所有點設定一個搜索半徑。

（2）確定點云中每個以點p為中心、為半徑區域內的所有點，并計算這些點的權值w，其表達式為

（3）計算每個點p協方差矩陣

（6）重復上述步驟，直到完成所有的點。

1.3.3 點云三角重建

上文在對點云進行特征提取后，點云過于稀疏，直接顯示視覺效果不佳，因此在完成圖像匹配后使用點云三角化處理對點云圖像進行重建，保證細節的豐富性。點云三角化處理首先需要去除離群點（去噪處理），然后進行點云平滑處理，最后進行點云三角化重建。

1.4 混合現實醫學

本文所研究的方法主要用于混合現實術中點云配準，需要對算法進行封裝并移植到混合現實設備Hololens上。但混合現實設備的算力有限，不能滿足此算法運算的要求。因此需要在Hololens 與PC 之間建立通信，使用PC 進行運算，并將運算結果傳輸到Hololens上。

本文將圖像配準算法進行封裝并生成控制臺程序，使用Unity 對控制臺程序進行遠程調用，并通過局域網，將Unity 中的場景遠程部署到Hololens 中，從而實現混合現實術中點云配準。由于使用了PC 的算力，整個手術過程中，圖像匹配算法運行穩定。

2 結果分析

為了模擬手術過程中的圖像匹配，本文選擇了兩組細節復雜的口腔科牙齒重建模型作為測試對象。將模型縮小為原尺寸的50%，平移5個單位并逆時針旋轉30°，作為待匹配點云，如圖3 所示，為待匹配點云和參照點云的原始位置。

圖3 待匹配點云和參照點云

圖4 為待匹配點云和參照點云經過ISS 特征提取之后的特征點云圖像。圖5為待匹配點云和參照點云經過下采樣得到的下采樣點云圖像。通過觀察可以發現，ISS 特征點云相比下采樣點云細節更加豐富。

圖4 特征點云

圖5 下采樣點云

使用CPD 算法進行圖像匹配，匹配后的圖像如圖6所示，匹配精準度高。

圖6 匹配后的點云圖像

表1 算法匹配時間比較

3 結語

本文所研究的方法很好地解決了現實場景采集與匹配難的問題，匹配速度快，匹配準確度高，可以很好地適應手術過程中的復雜環境。且本算法結合了混合現實技術，迎合了虛實結合的大趨勢。未來我們將對算法進行進一步優化，突破處理速度的極限性，不斷提高處理的精度，進而為用戶提供更多高質量的圖像配準體驗。