基于Kinect三維重建的地下井室可視化方法研究

余兆凱，彭曉峰，邱昌杰

(中國電建集團貴州電力設計研究院有限公司,貴陽 550003)

0 引言

隨著地下空間信息化程度的提高，傳統二維圖像和視頻信息的表達方式已經無法滿足地下井室及管道的可視化要求。傳統的地下井室測量多使用人工測繪、2D成像和24目井下機器人測量等方案[1-3]。但人工測繪存在危險性高、人力成本高、準確度難以保證等缺點；而普通2D圖像由于丟失了深度信息，故無法精確測量三維尺度信息，且由于拍攝區域有限導致無法獲取井下全貌；24目井下機器人結構復雜、體積龐大、適用性較差，而且設備使用前需要在特定的標定室進行標定，標定繁瑣且成本較高[4-6]。總體而言，現有的地下井室測量手段存在三維信息缺失、效率低下以及成本較高等缺點。RGB-D深度相機可在任意光照條件下獲取被測目標的深度圖像數據，且可較好地應用于地下空間環境，對于地下空間的三維重建具有重要意義[7-10]。針對上述應用中存在的問題及行業需求，本文基于RGB-D深度相機對地下井室進行視覺三維重建，以實現其內部環境狀況的三維可視化，并在三維實測點云模型的基礎上，對地下空間的缺陷狀況進行定量分析，為地下空間的病害探測與維護提供了技術支持。

深度相機種類繁多，其中Microsoft公司推出的Kinect深度相機具有代表性。基于深度相機的三維可視化研究眾多，也出現了一些具有代表性的工作。P.Henry等通過在室內移動Kinect傳感器設備采集得到數據，結合深度和彩色信息進行三維重建，并在后端中加入閉環檢測進行優化，但重建結果質量不佳，且實時性較差，精度有待提高[11]。Microsoft公司針對Kinect發布的KinectFusion三維模型重建算法[12]，利用Kinect深度傳感器自由轉動獲取室內場景深度數據，通過與點云域截斷符號距離函數(Truncated Signed Distance Function，TSDF)模型匹配的方式進行位姿估計，并將所有數據融合到模型中實現三維場景的重構。該項目實現了實時的三維重建，但是缺少彩色紋理信息，且需要利用圖像處理器(Graphics Processing Unit，GPU)進行加速計算。由于KinectFusion算法使用固定體積的網格模型表示重建的三維場景，因此只能對固定大小的場景目標進行三維重建。TSDF模型將整個待重建的空間劃分為相同大小的網格，當重建場景較大時，或者網格的空間分辨率較高時，會占用大量的顯存空間[13]。另外，該算法缺少回環檢測和回環優化，當相機移動距離較大時，不可避免地存在誤差累積，易造成重建場景的漂移。T.Whelan等在KinectFusion算法的基礎上,提出了Kintinuous算法。該算法結合了迭代最近點(Iterative Closest Point，ICP)算法和直接法，用于提升位姿估計精度。使用動態的網格模型進行場景數據的融合，對相機量測范圍內任意大小的場景都可進行三維重建，融合了回環檢測和回環優化，對重建結果進行優化，對累積誤差進行控制。T.Whelan等提出了ElasticFusion算法[14]，采用了不同于KinectFusion方案的surfel面元模型進行數據融合。使用OpenGL對點云進行更新、融合、顯示和投影，通過ICP算法計算相機間的位姿信息，并基于構建的變形圖進行優化。采用融合重定位算法，當相機跟丟時，可重新計算相機的位姿[15]。該方案適合對房間大小的場景進行三維重建，但在較大場景下適用性較差。

1 Kinect深度數據預處理及誤差修正方法

1.1 基于多項式曲面擬合的深度測量誤差修正方法

針對Kinect深度相機在不同方向上的測距誤差表現，提出了一種基于多項式曲面擬合的深度測量誤差修正方法。Kinect的三角測量原理可通過圖1所示的示意圖進行表示，根據三角形相似可得

(1)

其中，Zo為參考平面深度值;f為紅外相機的焦距；b為基線長度；d為視差。由式(1)得到被測目標的深度為

(2)

圖1 Kinect三角測量原理Fig.1 Kinect triangulation principle

若令Δd為視差誤差，則深度測量的誤差ΔZk可以表示如下

(3)

視差誤差由系統誤差所決定，系統誤差是固定的，因此，視差誤差也是不變的。由式(3)可知，深度測量誤差與測量距離成正比。通過上述Kinect三角測量的誤差模型，可以得到每一個像素點的真實深度值F(u,v)關于Kinect測量距離Zk的多項式曲面模型，即

(4)

式中，a1(u,v),…，an(u,v)代表多項式系數；b(u,v)表示常數項。

1.2 Kinect深度圖像預處理

聯合雙邊濾波器是一種基于雙邊濾波器的改進算法，可用于低分辨率圖像升采樣，從而填補圖像的信息缺失[16-17]。雙邊濾波算法中由一幅圖像計算得到所有的權值，而在聯合雙邊濾波算法中，通過再引入一幅具有豐富信息的圖像計算權值，可得到更優的權值。RGB-D相機可以同時獲取目標深度圖像和RGB圖像，其中RGB彩色圖像中包含了場景的完整信息，可以用來補全深度圖像的缺失部分。因此，本文在聯合雙邊濾波算法的基礎上，實現對深度圖像的快速濾波去噪。

聯合雙邊濾波權值函數表示如下

w(i,j,x,y)=wg(i,j,x,y)×wr(i,j,x,y)

(5)

其中，(i,j)和(x,y)表示選取的2個像素點坐標，且彩色圖像灰度域權值wr和深度圖像空間域權值wg計算公式如下

(6)

(7)

式中，g(i,j)和g(x,y)分別代表在像素點(i,j)和(x,y)處，將彩色圖像轉化為灰度圖像后得到的灰度值。

2 稠密三維點云重建及可視化方法

2.1 結合SIFT匹配和RANSAC算法的點云初始位姿估計

深度相機可以快速獲取場景目標的深度及彩色信息，從而得到彩色點云數據。但是，由于深度相機視角范圍有限、場景目標的尺寸較大以及障礙物的遮擋等原因，一次從一個角度的掃描方法只能獲取被測目標的部分數據。因此，需要從不同角度進行多次數據采集，以獲取場景目標的全局點云數據。不同視角下獲得點云數據的坐標系是不一致的，需要通過點云配準的方式將其統一到同一坐標系下。

尺度不變特征轉換(Scale-Invariant Feature Transform，SIFT)算法可以對圖像中的區域特征進行檢測和描述，其原理是在建立的不同尺度空間中檢測關鍵點，并計算其方向。SIFT主要檢測信息明顯的關鍵點，對于遮擋目標的檢測效果也較為明顯。且SIFT特征的信息量較大，適合在海量數據庫中快速準確匹配[18]。在獲取到圖像的SIFT特征點后，對相鄰兩幀圖像進行特征匹配，以獲取兩幀圖像之間的位姿變換關系。傳統的隨機抽樣一致性(Random Sample Consensus，RANSAC)算法利用隨機選取的特征點進行匹配，忽略了特征點的差異性，易造成圖像的錯誤匹配。改進的RACSAC算法基于迭代的思想，先對迭代過程中的隨機采樣結果進行篩選操作，將存在明顯錯誤的匹配點對剔除。其原理如下：

1)假設相鄰兩幀圖像提取到的ORB(Oriented FAST and Rotated BRIEF)特征點集合為

P={pi|pi∈P,i=1,2,…，m}
Q={qi|qi∈Q,i=1,2,…，m}

(8)

查找P中特征點pi在Q中最近鄰和次近鄰的2個特征點。若與最近鄰和次近鄰的歐式距離之比小于設定的閾值，則認為pi與最近鄰ORB特征點是一對匹配點。

2)利用雙向匹配機制，即找到P中特征點在Q中對應的特征點，同樣找到Q中特征點在P中對應的點。若二者一一對應匹配，則認為該匹配是正確的，將匹配不正確的結果進行剔除，以達到篩選的目的。

3)通過設定最小匹配距離閾值，將篩選剩余的匹配結果中大于最小匹配距離一定倍數的部分剔除。經過上述步驟得到匹配質量較高的匹配點對。

2.2 結合鄰域特征的ICP點云精確配準方法

在利用SIFT算法對圖像數據進行匹配后，獲取了圖像數據幀之間的初始位姿信息。在特征點匹配的基礎上，進一步利用基于鄰域特征的ICP算法實現三維點云間的精確位姿估計，從而實現點云精確配準，其算法流程如圖2所示。

圖2 ICP點云精確配準流程Fig.2 Point cloud precise registration process with ICP algorithm

首先建立鄰域特征，其原理如下：

(9)

其中，n為采樣點的鄰近點數量。點云的方差σN和均值μN計算如下

(10)

式中，N為點云的采樣點數量，將采樣點鄰域曲率處于μN±ασN之外的點作為選取特征點。其中α是用于調整特征點數目的調整因子。

2)確定對應點：假設P和Q為兩片相鄰的點云，若要找到點云P中特征點pi在點云Q中的對應點，可通過選取Q中最近鄰近的3個點作三角形。

在鄰域特征建立完成后，基于建立的鄰域特征,使用ICP算法進行相鄰兩幀點云間的精確位姿估計。假設P和P′是已經匹配好的點對

P={p1,…,pn}
P′={p′1,…,p′n}

(11)

即找到一個歐式變換R和t，使得

?i,pi=Rp′i+t

(12)

3 實驗分析

3.1 Kinect深度相機誤差修正

實驗對Kinect深度傳感器的測距結果與激光測距結果進行分析，得到了Kinect在測距視場范圍內的多組深度測量誤差及其變化情況。利用獲取的深度誤差數據，構建真實深度值關于測量距離的多項式曲面模型，基于最小二乘法原理對得到的測量誤差數據進行擬合，得到測量深度關于深度誤差的擬合公式，其擬合結果如圖3所示。

圖3 Kinect測距誤差距離曲線擬合Fig.3 Kinect ranging error distance curve fitting

圖3中的深度誤差結果經曲面函數模型擬合后得到如下擬合公式

y=4E-10x3-3E-6x2+0.01x

(13)

式中，y為誤差修正值;x為距離值。若Kinect v2.0深度值為d，測得修正深度誤差為

d′=d-(4E-10x3-3E-6x2+0.01x)

(14)

通過多項式曲面擬合的誤差修正方程對深度誤差進行修正，得到修正后的誤差分布結果，如圖4所示。

圖4 深度誤差修正結果Fig.4 Depth error correction result

由圖4的實驗結果可以看出，原始深度誤差隨著測量距離的增加出現急速增長的趨勢，而經過誤差補償修正后的深度誤差隨距離增加的變化較為平緩。且當Kinect深度傳感器在0.5～4.5m的測距范圍內時，其深度測量誤差小于2cm；在4.5～7m的測量范圍內時，其深度測量誤差也可以保持在4.5cm以內。實驗結果表明，本文提出的誤差修正方法可以較好地修正Kinect深度測量數據的誤差，有效提升其測距精度。

3.2 地下井室稠密三維點云重建

地下井室空間狹小且紋理單一，常規的激光掃描儀在其中難以作業。針對地下井室應用場景的需求，本文采用基于飛行時間(Time of Flight，ToF)測距原理的Kinect v2.0深度傳感器作為圖像采集設備。如圖5所示，首先通過機械傳動裝置將Kinect v2.0深度相機置于地下井室中，從上、中、下3個視角旋轉獲取了3個不同方位的深度及彩色數據。實驗設置轉動設備選擇次數默認值為16次，每次旋轉角度20°，從井室的3個層次對其進行數據采集。采集時保證深度相機量測距離至少為1m，確保獲得的數據質量更佳。設置設備采集范圍為0.6～7.5m，保證獲取數據的有效性。由于Kinect v2.0深度傳感器的視場角為水平70°，垂直60°，其在垂直和水平方向的覆蓋范圍有限。因此，在實際測量中將Kinect v2.0深度傳感器分別向上、向下傾斜一定的角度，進行多次掃描，從而增加相機的采集覆蓋范圍，確保經過一周旋轉后采集的圖像數據間存在較多重疊。

圖5 Kinect地下井室數據采集Fig.5 Underground wells data acquisition by Kinect

3.2.1 SIFT特征點匹配結果

實驗通過SIFT特征點算法對獲取的圖像數據進行匹配，獲得初始的位姿估計信息，為后續的ICP點云精確配準提供較優的計算初值，進一步提升點云圖像的配準精度。圖6(a)所示為地下井室圖像的SIFT特征點原始匹配效果，其中存在較多的誤匹配，不利于圖像幀間的初始位姿估計。為提升初始位姿的估計精度，利用改進的RANSAC算法對特征匹配結果進行處理，剔除其中的誤匹配結果，如圖6(b)所示。實驗選取了其中一組數據進行統計，得到表1所示的匹配結果。實驗結果表明：經過改進的RANSAC算法處理后的特征點匹配率明顯提升，正確匹配率可達95.24%，有效剔除了其中的錯誤匹配點對。

(a)原始匹配結果

表1 SIFT特征點匹配結果統計

3.2.2 局部及全局點云配準結果

在SIFT特征匹配提供的位姿估計初始值上，利用結合鄰域特征的ICP算法可實現對局部幀間點云和全局點云的精確配準。幀間點云配準結果如圖7所示，可以看到，經過ICP算法精確配準后的兩幀點云之間實現了很好的拼接融合，局部配準的細節也有不錯的表現。在進行兩幀點云的精配準后，僅實現了局部的點云配準，并未將全局的點云進行融合。進一步通過基于鄰域特征的ICP精配準算法對多視角的點云進行融合，得到全局一致的點云重建配準結果，如圖8所示。實驗統計了兩幀點云以及全局點云的精確配準結果，并同經典ICP算法[19]進行了對比分析，兩種算法配準結果如表2所示。實驗結果表明：本文方法在局部點云和全局點云的精確配準效果均優于經典ICP算法，點云精確配準誤差較小，且配準所耗時間顯著減少。

圖7 ICP點云精確配準Fig.7 Point cloud accurate registration with ICP algorithm

圖8 全局配準后的點云結果Fig.8 Point cloud results after global registration

點云算法配準誤差/mm耗時/s局部兩幀點云經典ICP算法0.3970.206本文算法0.1890.187全局點云經典ICP算法0.6679.337本文算法0.2956.375

3.2.3 曲面重建及表面真實紋理貼圖

在進行點云重建以后可以得到稀疏或稠密的地下井室點云重建結果，但是其僅停留于大量點集合的點云地圖，3D點之間并沒有明顯聯系，可視性較差；需要進一步的曲面重建還原出更為真實的實物原貌，增強可視化效果。本文在Windows 10環境下基于VS2017利用點云數據處理庫(Point Cloud Libary, PCL)對重建的地下井室三維點云進行了曲面重建。圖9所示為基于地下井室三維重建點云的泊松曲面重建結果。由重建的表面模型可以看到，經過泊松曲面重建后，在獨立的3D點云間建立了一定的聯系，目標表面的基本輪廓和形狀都得到了很好的表達，模型的可視性明顯提升。

圖9 地下井室泊松曲面重建結果Fig.9 Poisson surface reconstruction results of underground wells

進行曲面重建后得到的模型缺少了彩色紋理信息，與實際場景的視覺效果存在一定的區別，可視化效果并未達到最佳，并未實現真正意義上的三維實景重建。為此，本文在重建的曲面模型的基礎上，結合Kinect深度相機獲取的彩色圖像數據，通過紋理貼圖重建出具有彩色紋理的模型。圖10所示為地下井室場景模型紋理視圖，可以看到,經過真實紋理貼圖后的三維重建結果較之前的重建點云結果可視化效果更好，對于地下井室的局部紋理細節反映更細致，與實際場景基本一致。原始的三維點云重建結果只是大量彼此無聯系的點云集合，由曲面重建方法可以實現將點上升到面的過程，獲取三維重構模型，再通過真實紋理貼圖還原出目標場景的真實面貌，實現真正意義上的三維可視化。

圖10 地下井室紋理模型Fig.10 Texture model of underground wells

4 結論

本文提出了一種基于Kinect三維重建的地下井室可視化方法，通過Kinect v2.0從不同角度獲取地下井室的深度及彩色圖像數據，實現了地下井室的真實場景三維可視化。實驗結果分析表明：

1)本文所提方法可使Kinect在0.5～4.5m的測距范圍內，三維重建精度達到2cm；在4.5～7m的測距范圍內，三維重建精度仍可保持在4.5cm以內。

2)針對Kinect深度測量誤差提出了一種基于多項式曲面擬合的深度誤差修正方法，可有效實現Kinect的深度測量誤差修正。

3)實現了地下井室真實場景的三維可視化，獲取了帶紋理及細節特征的三維真實模型，可為地下井室三維探測和維護提供相應技術支持。