基于KINECT FUSION 的室內(nèi)目標(biāo)三維重建系統(tǒng)*

杜 航 牟 莉

（西安工程大學(xué)計(jì)算機(jī)科學(xué)學(xué)院 西安 710600）

1 引言

Kinect 傳感器相對(duì)與傳統(tǒng)掃描設(shè)備更加廉價(jià)而且便捷，基于Kinect Fusion 三維重建技術(shù)可以對(duì)物體進(jìn)行實(shí)時(shí)的掃描以及三維建模［1~2］。Kinect Fusion 在獲取物體一個(gè)角度的深度圖像后，再通過移動(dòng)Kinect 傳感器得到該物體其他角度的深度圖像數(shù)據(jù)［3］，可以將該物體各方位的三維表面分別采集，然后進(jìn)行融合處理［4］。這時(shí)Kinect 傳感器會(huì)記錄該位置信息并保存，并對(duì)此后對(duì)每一幀圖像的姿勢以及幀與幀之間的關(guān)聯(lián)進(jìn)行分析。這些從不同角度采集的深度數(shù)據(jù)能夠融合成經(jīng)過重建后的三維圖像［5］，用于完成三維目標(biāo)的重建。

本文將使用Kinect 對(duì)物體各個(gè)角度進(jìn)行深度圖像數(shù)據(jù)的采集，然后通過Kinect Fusion 相關(guān)算法，進(jìn)行匹配定位與融合，最終實(shí)現(xiàn)三維目標(biāo)的重建［6］。

2 基本原理

2.1 深度數(shù)據(jù)處理

完成3D 重建的第一步就是對(duì)采集到的深度圖像數(shù)據(jù)進(jìn)行處理。Kinect 獲取深度圖像的原理，是利用其紅外激光發(fā)射器和紅外接收攝像機(jī)組成的一組紅外結(jié)構(gòu)光視覺設(shè)備，進(jìn)而計(jì)算空間中點(diǎn)相對(duì)于紅外接收攝像機(jī)的深度［7］。

首先，紅外激光發(fā)射器會(huì)向物體所在的環(huán)境中發(fā)射隨機(jī)的紅外點(diǎn)結(jié)構(gòu)光，然后紅外攝像機(jī)會(huì)對(duì)物體反射的紅外點(diǎn)結(jié)構(gòu)光進(jìn)行接收［8］，利用大小為9*9 像素或者7*7 像素的圖像在每一個(gè)像素周圍的±64 像素范圍內(nèi)進(jìn)行修補(bǔ)，接下來通過對(duì)圖像隨機(jī)點(diǎn)進(jìn)行匹配獲得現(xiàn)有狀態(tài)下的原始視差，進(jìn)而利用紅外接收攝像機(jī)的內(nèi)參數(shù)，結(jié)合基線長度以取得該環(huán)境下的三維點(diǎn)的深度信息，如式（1）所示。

其中：ZIR為深度圖像的數(shù)據(jù)值；b為基線長度；fIR為紅外接收攝像機(jī)的焦距；d為原始視差。同時(shí)可以獲得紅外攝像機(jī)的內(nèi)參數(shù)矩陣KIR，如式（2）所示。

可知紅外接收攝像機(jī)的焦距為（fuIR，fvIR），紅外接收攝像機(jī)的主點(diǎn)坐標(biāo)為（u0IR，v0IR）。

2.2 空間位置追蹤

得到經(jīng)過處理深度圖像數(shù)據(jù)后，接下來就必須確定該深度圖像在整個(gè)三維空間中的位置。在Kinect Fusion 中，是通過RGB 相機(jī)和IR 相機(jī)的相互協(xié)作來獲取深度圖像的具體位置的。Kinect 的RGB 攝像頭采集到的是環(huán)境的彩色圖像，RGB 彩色攝像頭的內(nèi)參數(shù)矩陣KRGB，如式（3）所示。

式中（fuRGB，fvRGB）為RGB攝像機(jī)的焦距，（u0RGB，v0RGB）為RGB 攝像機(jī)的光心。RGB 攝像機(jī)和IR 攝像機(jī)的變換關(guān)系如式（4）所示。

對(duì)于空間中的一點(diǎn)P，該點(diǎn)的視差d可以由Kinect 獲得，其深度ZIR可以根據(jù)式（1）計(jì)算得到，接下來P點(diǎn)在紅外接收攝像機(jī)下的三維坐標(biāo)就可以通過紅外接收攝像機(jī)的內(nèi)參數(shù)取得，如式（5）所示。

那么P點(diǎn)在RGB攝像機(jī)坐標(biāo)下的三維坐標(biāo)，則可以通過IR攝像機(jī)與RGB攝像機(jī)的旋轉(zhuǎn)平移關(guān)系得到。最后，要獲得圖像坐標(biāo)（uRGB，vRGB），可以引入RGB 攝像機(jī)內(nèi)參數(shù)進(jìn)行計(jì)算，如式（6）和式（7）所示。

2.3 ICP定位

通過Kinect Fusion 算法，可以獲得目標(biāo)物體表面每個(gè)采樣點(diǎn)的空間坐標(biāo)，若干個(gè)點(diǎn)的坐標(biāo)就可以構(gòu)成一個(gè)集合，這些點(diǎn)的集合就是所謂的“點(diǎn)云”（Point Cloud）。通過相機(jī)位置數(shù)據(jù)可以確定出圖像的特征點(diǎn)，從而判斷出兩個(gè)深度圖像之間的最佳變換矩陣，以此來實(shí)現(xiàn)深度圖像的配準(zhǔn)。點(diǎn)云的配準(zhǔn)完成之后，由于各個(gè)角度所獲取到的點(diǎn)云數(shù)據(jù)有所差異，要將點(diǎn)云中的位置確定下來，就需要使用ICP（Iterative Closest Point）定位算法［9］。ICP 定位算法就是將當(dāng)前畫面幀中的點(diǎn)云與經(jīng)過預(yù)測所得到的點(diǎn)云使用ICP 算法進(jìn)行匹配［10］，這一過程的實(shí)現(xiàn)如下：

1）階段：使用投影法確定對(duì)應(yīng)點(diǎn)關(guān)系。攝像機(jī)會(huì)在連續(xù)的兩個(gè)位置分別對(duì)目標(biāo)邊緣進(jìn)行采樣和預(yù)測，隨即將兩個(gè)時(shí)刻的點(diǎn)云轉(zhuǎn)換到當(dāng)前畫面幀的攝像機(jī)坐標(biāo)系下，再向當(dāng)前像平面上投影，最后找出兩個(gè)點(diǎn)云中具有相同的像平面投影點(diǎn)的點(diǎn)集合［11~13］。ICP算法還使用對(duì)應(yīng)點(diǎn)間的歐氏距離和法方向夾角進(jìn)行計(jì)算，用于篩選對(duì)應(yīng)點(diǎn)。

2）階段：對(duì)當(dāng)前相對(duì)位姿的準(zhǔn)確度進(jìn)行檢測，由誤差機(jī)制來計(jì)算點(diǎn)到平面的誤差。

3）階段：將相對(duì)位姿進(jìn)行優(yōu)化調(diào)整，使用線性化的方法可以將優(yōu)化問題轉(zhuǎn)變?yōu)閿?shù)學(xué)問題。該優(yōu)化方法實(shí)際上就是一個(gè)最小二乘優(yōu)化的方程［14］。設(shè)其最優(yōu)解為x，得到線性方程組如式（8）所示，解方程即可計(jì)算出x。

4）階段：將1）階段~2）階段的過程迭代10次。經(jīng)過上述步驟之后，可使點(diǎn)云之間的匹配滿足一定條件下的最優(yōu)解。

2.4 TSDF點(diǎn)云融合

有了二維空間的ICP 定位方法，要實(shí)現(xiàn)三維空間的重建就需要用到TSDF（Truncated Signed Distance Function）算法進(jìn)行點(diǎn)云融合［15］。該方法能夠模擬出一個(gè)虛擬的三維空間，利用已獲取的點(diǎn)云進(jìn)行計(jì)算及處理，還可以將這些點(diǎn)云數(shù)據(jù)進(jìn)一步融合，使不同角度獲取的點(diǎn)云數(shù)據(jù)展示在同一個(gè)三維空間坐標(biāo)系下［16］。

在TSDF 算法中，三維空間是利用一個(gè)立方體柵格來模擬的，物體模型表面到該柵格的距離存放在這個(gè)立方體柵格中，物體表面被遮擋一側(cè)和可見一側(cè)分別使用正負(fù)加以區(qū)別，表面上的點(diǎn)則由過零點(diǎn)來表示。如圖1 中左側(cè)的立方體柵格中的某物體模型。每當(dāng)有新的數(shù)據(jù)需要加入模型時(shí)，會(huì)依照式（9）進(jìn)行融合處理，該公式中原有的立方體柵格距離值為i，當(dāng)前點(diǎn)云對(duì)應(yīng)的立方體柵格距離值則為i+1，同一個(gè)立方體柵格的距離值由權(quán)重W來進(jìn)行融合，新的權(quán)重等于兩個(gè)權(quán)重之和。

圖1 初始獲取的椅子的點(diǎn)云圖像

可見TSDF融合算法也是具有最小二乘優(yōu)化性質(zhì)的，但是在其融合過程中使用了權(quán)重值W，這種優(yōu)化算法同樣可以對(duì)圖像進(jìn)行去噪處理。

在點(diǎn)云融合過程完成后，Kinect Fusion 會(huì)使用光線跟蹤的方法顯示融合后的圖像，以便可以實(shí)時(shí)地、動(dòng)態(tài)地觀察融合后的三維圖像，有關(guān)光照效果的體現(xiàn)都可以使用光線追蹤的方法來實(shí)現(xiàn)［17］。

至此，Kinect Fusion 對(duì)目標(biāo)的三維重建完成。在下一章將完成這一具體過程，進(jìn)行實(shí)驗(yàn)并分析。

3 實(shí)驗(yàn)分析

為驗(yàn)證Kinect Fusion 算法的有效性，將依據(jù)Kinect Fusion 的基本原理對(duì)室內(nèi)目標(biāo)進(jìn)行三維重建。實(shí)驗(yàn)中選取椅子作為實(shí)驗(yàn)對(duì)象，通過使用Kinect傳感器來對(duì)室內(nèi)目標(biāo)進(jìn)行三維掃描及重建，以便更全面地了解Kinect Fusion 的構(gòu)造過程［18］，實(shí)驗(yàn)分為以下幾個(gè)步驟進(jìn)行。

步驟一：首先對(duì)實(shí)驗(yàn)?zāi)繕?biāo)使用Kinect 進(jìn)行掃描，通過Kinect Fusion 獲取到的初始點(diǎn)云如圖1 所示。Kinect Fusion第一次對(duì)三維點(diǎn)云的構(gòu)造具有較多的噪點(diǎn)，而且由于掃描的角度問題，有些像素點(diǎn)并不能被獲取到，因此圖像中還存在一些空洞部分。

步驟二：這時(shí)先不移動(dòng)Kinect，讓Kinect 持續(xù)對(duì)目標(biāo)的同一角度進(jìn)行掃描，經(jīng)過對(duì)圖像部分的去噪和點(diǎn)云多次的獲取，圖像中空洞部分不斷被填補(bǔ)，如圖2 所示。雖然空洞部分已經(jīng)被填補(bǔ)，但點(diǎn)云圖像中仍然存在許多波紋狀噪點(diǎn)，這是由于像素的獲取有限，每個(gè)像素的位置不能確定所致。

圖2 靜置后獲取的椅子的點(diǎn)云圖像

步驟三：然后我們不斷微調(diào)Kinect對(duì)目標(biāo)進(jìn)行掃描，使獲取到的三維點(diǎn)云圖像不斷融合，獲取到的三維點(diǎn)云圖像如圖3 所示。經(jīng)過位置的調(diào)整，目標(biāo)的各個(gè)像素點(diǎn)相對(duì)于三維空間的位置得到了進(jìn)一步確定，圖像中的波紋也逐漸平緩，物體的三維點(diǎn)云也相對(duì)清晰起來。

圖3 微調(diào)掃描位置后獲取的椅子的點(diǎn)云圖像

步驟四：接下來通過變換Kinect傳感器位置對(duì)物體的各個(gè)方位進(jìn)行掃描，經(jīng)過不同角度的圖像采集，每個(gè)像素對(duì)應(yīng)的點(diǎn)進(jìn)一步得到確定，三維點(diǎn)云的融合越來越精確，即可觀察到清晰的三維點(diǎn)云圖像，如圖4所示。

圖4 最終獲取的椅子的點(diǎn)云圖像

經(jīng)過多個(gè)角度對(duì)三維點(diǎn)云的獲取，使用Kinect Fusion 算法對(duì)圖像進(jìn)行進(jìn)一步處理后，最終得到的點(diǎn)云相較于最初獲取的點(diǎn)云圖像，整體效果有了較大的提升。且該點(diǎn)云數(shù)據(jù)是構(gòu)建于三維空間坐標(biāo)系中的，可以通過不同角度觀察。

使用Kinect Fusion 進(jìn)行三維重建的整個(gè)過程操作便利，只需要移動(dòng)Kinect對(duì)物體各個(gè)角度進(jìn)行掃描即可。最終構(gòu)建的椅子的三維點(diǎn)云圖像較為精確，椅子的整體結(jié)構(gòu)得到了較高的還原。而且在移動(dòng)攝像機(jī)的過程中可以清楚地觀察到點(diǎn)云融合的過程，可見Kinect Fusion算法的效率之高。

4 結(jié)語

Kinect 傳感器將傳統(tǒng)彩色攝像機(jī)與深度攝像機(jī)相結(jié)合，可以同時(shí)獲得物體的彩色圖像信息和深度圖像信息。使用Kinect Fusion 對(duì)物體進(jìn)行三維重建的優(yōu)勢在于其采集速度較快、精度相對(duì)較高且成本低廉，在現(xiàn)有條件下對(duì)室內(nèi)目標(biāo)的三維重建能夠滿足絕大部分需求。Kinect Fusion 算法使用的是深度信息，通過設(shè)計(jì)高效的并行算法，滿足一定條件后即可在顯存中構(gòu)造三維圖像信息，在進(jìn)行場景建立時(shí)有良好的用戶體驗(yàn)。同時(shí)，Kinect Fusion采用了基于TSDF 模型的點(diǎn)云融合方法，構(gòu)建的點(diǎn)云模型冗余點(diǎn)較少。