基于ToF相機的三維重建技術

賈佳璐 應忍冬 潘光華 郭維謙 劉佩林

(上海交通大學電子信息與電氣工程學院 上海 200240)

0 引 言

1963年，Roberts提出了從二維圖像中重建三維信息的算法[1]，從二維圖像中提取出特征點，然后利用特征點進行多視圖匹配，實現三維場景的重建。二維圖像重建算法復雜度較高且真實感較低。隨著消費級深度相機的出現，三維信息變得觸手可及，三維重建領域也實現了高速的發展。ToF相機是一種主動測距的3D相機，能夠直接獲取物體的深度信息和灰度信息?；谏疃刃畔⑦M行三維重建的算法計算復雜度明顯低于基于二維圖像的重建算法，同時重建的模型精度也更高，其中最有代表性的是微軟研究院在2012年提出的KinectFusion[2]，其利用多幀深度圖像重建了三維場景。吳劍峰等[3]提出了一種快速的Kinect三維重建技術，并將其與實際的3D打印結合，實現優化。近年來，隨著神經網絡的飛速發展，其除了在二維圖像的識別分割等方面，也已經應用到了三維重建領域，例如斯坦福大學提出的基于RGB-D圖像重建點云模型的PointNet網絡[4]，江航等[5]也提出了對室內場景CAD模型的重建網絡。但是，神經網絡實現的重建主要用于對遮擋部分、背面部分的預測，目前精確的重建仍然需要依賴多視角圖像的精確匹配。KinectFusion最關鍵的算法步驟是基于ICP匹配結果利用TSDF進行點云融合重建物體表面，并且采用GPU并行計算使整個算法可以實時進行。但是我們發現該算法對于小物體的重建存在較大的偏差，重建精度受影響較大。為了匹配Smart-ToF相機的特性，本文提出了一個新的物體三維重建的流程，并提出了針對深度圖的多邊濾波算法，對深度圖進行預處理，將多邊濾波算法與雙邊濾波和中值濾波等算法對比，明顯提高了深度圖的精度。同時本文提出了彌補空洞的算法，能夠有效處理因為反光等原因造成的空洞，提高了重建的精度。

1 三維重建原理

KinectFusion重建算法主要流程包括數據的預處理、計算點云法向量并進行位姿估計、點云的融合和表面重建。數據的預處理主要包括深度圖濾波、深度圖轉換為三維點云，三維重建部分主要包括求解點云數據法向量，利用帶法向量的點云進行相機位姿估計，然后實現點云融合與表面重建。

1.1 深度圖預處理

預處理主要分為兩步：第一步是利用雙邊濾波器對深度圖進行去噪；第二步是將深度圖像轉換為以相機坐標為原點的點云數據。雙邊濾波結合了圖像空間鄰近性和像素相似性兩部分，相比于高斯濾波、中值濾波等算法，能夠在去噪的同時保留圖像的邊緣細節。深度圖的前后景分界明顯，所以具有邊緣非常銳利的特性，雙邊濾波可以避免出現邊緣被模糊的現象。雙邊濾波應用于深度圖像時，用濾波核內的周圍像素深度值的加權平均表示中心像素的深度值，所用的加權平均基于高斯分布，權重系數包含像素的歐式空間距離和像素深度值的距離，差值越大所占權重越小。

(1)

E(q)=(i-k)2+(j-l)2

(2)

F(q)=‖f(i,j)-f(k,l)‖2

(3)

式中：f(i,j)是圖像在點(i,j)處的像素值；f(k,l)是圖像在模板窗口Ω的中心坐標點(k,l)的像素值；Nσ(t)=exp(-t2σ-2)是高斯函數；σs、σd是不同的高斯函數的標準差；Wp是歸一化系數。除了對于深度圖像的濾波，很多研究人員提出了對點云進行濾波的算法。廖昌粟等[6]提出了根據密度濾波和點法矢量進行三維點云的濾波，能夠在三維點云域實現去噪光滑算法，我們在改進的三維重建算法中也加入了對點云的濾波。

將深度圖投影變換成相機空間坐標的3D點云需要利用相機的內參進行。

(4)

式中:(u,v)是深度圖的點坐標，d是該點對應的深度值，kx,ky,cx,cy是相機內參，(x,y,z)是(u,v)對應的點云坐標。

1.2 點云配準與位姿估計

位姿估計主要分為兩個過程：先計算點云的法向量，然后用帶法向量的點云利用ICP算法進行位姿估計。每個空間點云對應的法向量可以利用像素坐標的相鄰點進行計算。

Nk(u)=v[(P(u+1,v)-P(u,v))×

(P(u,v+1)-P(u,v))]

(5)

式中：v[x]=x/‖x‖，利用計算法向量的定義求得三點構成的平面的法向量。

基于深度相機的位姿估計主要利用稠密點云進行ICP匹配[7]，ICP是迭代最近點匹配方法，可以利用相鄰兩幀的有向點云數據進行ICP匹配，稱為frame-to-frame算法，也可以利用當前幀與匹配后的模型投影回上一幀位姿的點云數據進行ICP匹配，稱為frame-to-model算法。當匹配的點云是通過全部點云投射到上一個相機平面的方式獲得時，這種方法獲得的點云比Kinect原始采集的數據噪聲會減少很多，所以frame-to-model算法得到的匹配結果會優于frame-to-frame算法。ICP算法還可以利用K-D樹、精簡點云等算法進行加速，從而提高效率，例如黃潛等[8]提出的通過精簡點云的快速點云匹配算法。

1.3 點云融合與表面重建

點云融合與表面重建主要通過截斷符號距離場(Truncated Signed Distance Field，TSDF)算法實現[9]。TSDF算法對距離表面較近的幾層體素存儲其到重建表面的最小距離值，對較遠的體素用固定數值表示，這樣可以減少內存消耗和冗余點。當體素在表面的前面時，TSDF取正值，當體素在表面的后面時，TSDF取負值。新的一幀深度圖獲取后，更新點云的同時更新并融合TSDF的值。表面重建是指將離散點云連接成連續的可視等值面，移動立方體法將數據場中八個相鄰位置的數據分別存放在一個四面體體元的八個頂點處， 然后當其中一個大于給定的常數T而另一個小于T時，這個棱上一定有一個等于T的位置。我們可以計算該體元中十二條棱和等值面的交叉點，構建出三角面，再連接所有的三角面形成等值面，合并所有體素(立方體)的等值面即可重建出連續完整的表面。

2 多邊濾波與補空洞算法

2.1 深度圖的多邊濾波算法

圖像濾波有很多種算法，雙邊濾波在深度圖的濾波中表現突出，去除噪聲的同時可以保持邊緣銳利性，但是雙邊濾波只利用了深度圖像素鄰域的相關性，然而ToF相機獲得深度圖的同時還可以獲得強度圖像。強度圖像與深度圖的數據具有一定的相關性，Victor等[10]進行實驗測試了被測物體的強度圖與深度誤差之間的相關性，結果如圖1所示。

圖1 距離的噪聲方差與強度圖的關系

可以看出，被測量物體的表面越亮，噪聲越小，所以我們將ToF相機采集得到的強度圖作為濾波的一個參考輸入，加入亮度差與亮度本身作為權重系數，改進雙邊濾波算法。

Nσd(‖f(i,j)-f(k,l)‖2)×

Nσg1(‖g(i,j)-g(k,l)‖2)×

Nσg2((-g(i,j))2)×Dm(q)]

(6)

式中：g(i,j)為強度圖像在(i,j)處的強度值；σg1和σg2分別為強度差和強度的高斯函數的標準差。

2.2 補空洞算法

受到物體材質、拍攝角度等影響，我們獲得的深度圖會包含空洞，可以利用周圍像素值預測空洞處的深度值。ToF相機獲得的深度圖的空洞值一般用0或者一個測距范圍外的固定值表示，我們需要先判斷出空洞位置，然后以需要填補的空洞為中心向八個方向依次搜索，如圖2所示。

圖2 補深度圖的空洞值搜索方向

按照0-7的順序搜索，直到當前方向搜到有效值后搜索下一個方向，每個方向都獲得有效值之后計算加權平均值作為空洞像素的深度值，權重系數為有效值距離空洞的歐式距離。計算空洞的深度值Dh(u)公式如下：

(7)

3 改進的重建算法

在重建過程中，將物體擺在一個展臺上，首先利用深度信息的的梯度變化進行前后景分割，將物體與背景分離。將物體分割之后，無效點云數量將減少，點云匹配效率得到提高，同時沒有背景干擾，可以更高質量的重建目標物體。

為了更好地重建物體完整表面，本文提出了一個新的三維重建算法的流程，主要包含五個步驟：

1) 讀入深度圖之后，利用多邊濾波算法結合灰度圖對圖像進行去噪，提升圖像質量，同時搜索周圍有效像素值，并加入距離權重補全空洞值；

2) 將深度圖轉換為點云，同時對點云進行濾波，去除前后景邊緣產生的飛散點；

3) 利用frame-to-model的方法進行點云的匹配，先提取關鍵點進行粗匹配，然后再進行精匹配，求解相機位姿，最后利用圖優化進行后端優化；

4) 去除冗余點云，然后求解點云的法向量；

5) 利用泊松重建算法將帶有法向量的點云模型重建得到表面。

3.1 點云濾波

由深度圖得到點云可以利用式(4)計算，經過深度圖濾波的點云數據與原始點云數據相比，表面得到了很好的平滑，但是還有一類噪聲，在前后景的邊緣處仍會有一條過渡帶，還有一些離群點，我們統一稱這類噪聲為飛散點。在點云匹配前需要濾除飛散點從而為相機位姿與表面重建提供優化后的數據。

本文利用統計濾波去除飛散點。統計濾波的原理是對每個點Pc計算到它的臨近點們Pi的平均距離，得到一個高斯分布的結果，均值M和方差s2決定了高斯分布的形狀，平均距離在標準范圍之外的點判定為飛散點并在點云中刪除。

(8)

式中：Ωc是點Pc的鄰域區域。P0的空間坐標為(0，0，0)，即把距離大于閾值的點統一置為0，然后濾除。

3.2 點云匹配與相機位姿估計

利用點云的配準結果估計相機位姿，包含三個步驟：先粗匹配，再精匹配，最后利用圖優化進行全局優化。

粗匹配首先提取圖像的關鍵點，本文通過高斯差分算子提取深度圖像的角點作為匹配關鍵點，對深度圖在相同核大小和不同標準差下做高斯濾波，得到圖像Iσ1、Iσ2和Iσ3。然后計算相鄰兩個圖像的差分，得到DoG1、DoG2和DoG3三個差分圖像，遍歷DoG2，判斷DoG2(i,j)是否為三個差分圖像中m×m鄰域的極值點，如果是極值點則選擇為角點Pk(u)。

Iσi=Dk(u)*Nσi(u)

(9)

DoGi=Iσi-Iσi-1

(10)

式中：Nσi(u)是標準差分別為σi高斯函數。利用選取的角點進行ICP匹配，實現粗匹配過程。ICP求解相機位姿的原理為：通過最小二乘求解，得到使誤差平方和最小的旋轉矩陣R0和平移矩陣t0。

(11)

精匹配利用所有有效點云求解R、t，利用R0、t0作為初始值，可以減少迭代次數從而降低計算量。ICP算法結合圖優化可以全局優化相機位姿，得到最終軌跡。

(12)

式中：s、j、k是點集的編號。得到的初始估計作為圖模型的輸入，然后利用Marquard的方法來解算圖模型[11]。

3.3 重建表面

我們重建表面前先計算點云的法向量N(u)，然后通過泊松重建算法實現表面的重建，泊松重建實質也是一種隱函數的重構方式，融合了全局與局部的優點。首先利用點云的法向量判斷表面的內外，表面內用1表示，表面外用0表示，定義指示函數χM(x)估計物體表面為：

(13)

式中：M表示表面內部區域。利用向量空間V和指示函數χM(x)相等求解泊松表面：

▽χ=V

(14)

4 實驗結果與分析

深度圖濾波與補空洞算法利用斯坦福大學開發的仿真數據集SUNCG[12]進行測試，隨機從仿真環境中采集500幅無噪聲的深度圖以及加入了Kinect仿真噪聲的深度圖。利用PSNR和SSIM評估濾波結果，PSNR可以評估去除噪聲的效果，SSIM可以評估結構相似性。由于深度圖具有邊緣銳利的特性，所以濾波后邊緣保持的良好程度是重要指標，因此我們提出了計算PSNR時增加邊緣權重的評估方法：

(15)

SSIM=l(x,y)α·c(x,y)β·s(x,y)γ

(16)

式中：peak為該圖像的峰值即最遠有效距離；Ni和Nj分別是圖像的像素寬度和高度；mij是(i,j)像素值在整幅圖的權重，所有權重加和結果為Ni×Nj；x是待評估的深度圖；y是無噪聲的深度圖作為真值；l、c、s分別衡量了亮度、對比度和結構相似度。

(17)

(18)

(19)

式中：μx、μy為x和y的均值；σx、σy為標準差；σxy為協方差；c1、c2、c3都是為了避免除零的常數值。

從SUNCG數據集當中采集得到500幅深度圖，經過各種濾波后的圖片利用PSNRv與SSIM評估，并計算500幅深度圖數據的平均值，結果如表1所示。計算過程中無效像素值不進行計算。

表1 濾波結果對比

選取出一組深度圖及各種算法濾波結果進行可視化對比，結果如圖3所示。中值濾波雖然在PSNRv方面低于雙邊濾波，但是具有填補小空洞的能力，多邊濾波與補空洞算法能夠得到更接近真值的結果。

圖3 SUNCG深度圖濾波結果與補空洞結果

利用ToF實際采集了實驗室各個場景的深度圖，對濾波與補空洞算法進行了實際測試，其中辦公桌場景測試結果如圖4所示，左上角電腦屏幕因為反光造成的空洞被準確填補，同時平面也被很好的平滑。

(a) 原始采集圖 (b) 濾波與補空洞之后的圖圖4 Smart-ToF 采集的深度圖濾波與補空洞結果

對多個物體進行了重建，隨機選取一個物體的三維重建的模型結果，如圖5所示，KinectFusion重建結果部分表面出現明顯缺口，本文方法可以完整重建物體的表面，并且能夠很好地將物體與背景分離。

(a) KinectFusion的重建結果 (b) 本文算法的重建結果圖5 重建結果對比

5 結 語

本文提出了結合強度圖的深度圖像多邊濾波算法以及補空洞算法，并提出了針對物體的三維重建改進算法。從峰值信噪比與結構相似性等方面對濾波算法進行評估，結果表明本文算法各方面均優于雙邊濾波等算法，但是補空洞對于邊緣處缺失的深度值的填補仍會出現部分模糊問題，后續研究將繼續改善。本文提出的重建算法能夠完整、精確地重建出物體的表面，比KinectFusion更加適合于單個物體的三維重建，可以應用于文物掃描保存、商品展示等多個領域。