基于智能手機立體影像的稠密三維重建

張寧，王競雪，2

(1.遼寧工程技術(shù)大學(xué) 測繪與地理科學(xué)學(xué)院，遼寧 阜新 123000；2.西南交通大學(xué) 地球科學(xué)與環(huán)境工程學(xué)院，成都 610031)

0 引言

隨著計算機視覺與數(shù)字圖像處理技術(shù)的飛速發(fā)展，基于影像三維重建成為眾多學(xué)者研究的熱點問題[1]，并且已經(jīng)應(yīng)用到機器視覺[2]、游戲人物建模、生物醫(yī)學(xué)[3-5]、考古[6]、火災(zāi)災(zāi)難現(xiàn)場還原[7]等領(lǐng)域，但是傳統(tǒng)的三維重建方式是以工業(yè)相機拍攝帶重建物體的表面紋理圖像，通過匹配等工作進行三維重建，此方式操作復(fù)雜，對技術(shù)要求較高，并且重建的點云數(shù)目較為稀疏。曾昭鵬等[8-10]已經(jīng)實現(xiàn)了手機圖像的三維重建，但是文獻[8-9]重建出的點云數(shù)目較為稀疏，不足以看出待重建物體的紋理細節(jié)信息，而文獻[10]重建雖然可以看見紋理，但是并不清晰，而且僅僅適用于較為平整的場景。伊璐等[11-13]采用序列圖像進行三維重建，并且獲取了較好的實驗效果，但是由于參加計算最終點云的圖像數(shù)量較多，對計算機的要求較高，故不具有普適性。因此，為實現(xiàn)利用少量手機影像即能得到稠密的三維點云、簡單易行的操作流程、良好的視覺效果，并且具有普適性的基于手機影像的三維重建，本文提出了一種基于智能手機立體影像的稠密三維重建方法，該方法對攝影設(shè)備要求較低，適用于不同的場景，重建點云稠密，并且有著良好視覺效果。

1 算法原理

本文提出一種基于智能手機立體影像的稠密三維重建方法：首先利用黑白棋盤格拍攝影像對相機進行標(biāo)定，獲取畸變系數(shù)和相機內(nèi)參數(shù)；然后利用標(biāo)定后的相機對重建物體進行拍攝，獲取立體像對，并利用畸變系數(shù)對其進行影像初校正；在此基礎(chǔ)上，結(jié)合SIFT匹配算法和RANSAC算法，提取初始可靠同名點，用于后續(xù)匹配及三維重建的參數(shù)計算。在密集匹配階段，利用初始同名點，構(gòu)建初始同名三角網(wǎng)，以三角形重心作為匹配基元，迭代匹配直到三角網(wǎng)達到一定的密集度。最后,結(jié)合相機內(nèi)、外參數(shù)，利用三角測量原理對密集匹配得到的同名點進行計算，得到物方稠密三維點云。該方法總體流程圖如圖1所示。

圖1 基于智能手機立體影像的稠密三維重建總體流程

1.1 相機標(biāo)定

相機可以將三維世界中的坐標(biāo)信息映射到二維圖像平面，該過程可以用簡單的針孔模型進行描述[14]。假設(shè)空間點P在世界坐標(biāo)系中的坐標(biāo)為(XW，YW，ZW)，在相機坐標(biāo)系中的坐標(biāo)為(XC，YC，ZC)，在像平面坐標(biāo)系中的坐標(biāo)為(X，Y)，在像素坐標(biāo)系中的坐標(biāo)為(u，v)，針孔相機成像模型如圖2所示。

圖2 針孔相機成像模型

世界坐標(biāo)系轉(zhuǎn)換到像素坐標(biāo)系的表達式如式(1)所示。

(1)

其中，K、H表達式如式(2)所示。

(2)

我們稱K為相機內(nèi)參矩陣，H為外參矩陣。公式(1)代表針孔成像模型中理想情況下的像素點與對應(yīng)空間點的對應(yīng)關(guān)系。然而，由于相機鏡頭的設(shè)計、制作工藝和安裝等步驟中出現(xiàn)了錯誤，就不可避免地產(chǎn)生了畸變，從而公式(1)不能準(zhǔn)確地表述該種關(guān)系，所以要對這些畸變進行校正。若求解出相應(yīng)的畸變系數(shù)distortion，則可以盡可能地改善這些負面影響，進而達到校正影像的目的。

求解相機內(nèi)參矩陣、畸變系數(shù)和相機外參矩陣的過程稱為相機標(biāo)定。本文采用張氏相機標(biāo)定法對相機進行標(biāo)定。由于不同的相機位姿對應(yīng)著不同的相機外參，所以在該步驟獲取相機內(nèi)參K及其畸變系數(shù)distortion即可。

1.2 圖像處理

本文對待重建的物體拍攝多張影像，在其中選擇拍攝效果較好的2張影像作為三維重建的立體影像。再由上文得到的相機畸變系數(shù)對立體影像進行畸變校正。得到校正后的立體影像后，采取SIFT(scale invariant feature transform)算子進行特征點的提取匹配[15]。采用RANSAC算法對同名點進行錯誤點去除，得到高精度的同名點坐標(biāo)，為得到可靠的基礎(chǔ)矩陣F做數(shù)據(jù)準(zhǔn)備，同時為密集匹配步驟提供更加準(zhǔn)確、穩(wěn)定的匹配基礎(chǔ)。

1.3 三維重建

1)對極幾何。對極幾何的含義是：在一個物體的2幅圖像中，匹配點的相對位置受到2個圖平面空間幾何關(guān)系的約束，這種約束關(guān)系在計算機視覺中被稱作是對極幾何關(guān)系。而基礎(chǔ)矩陣F可以表示這種關(guān)系[16]。

F=K-TEK-1；(f′)TFf=0

(3)

圖3 對極幾何示意圖

進一步可以得到式(4)。

E=KTFK

(4)

將同名點帶入公式(3)，并利用歸一化八點算法求得基礎(chǔ)矩陣F。因為基礎(chǔ)矩陣F的秩為2，并且它有7個自由度，所以至少需要7個同名點對進行求解。在使用歸一化八點算法得到的基礎(chǔ)矩陣往往會因為噪聲等原因?qū)е禄A(chǔ)矩陣的秩不為2，所以本文利用SVD分解法強行加入秩為2的解，具體辦法如下所示。

①將同名點分別設(shè)為X=(x，y，1)T和Y=(x′，y′，1)T，根據(jù)公式(3)可得式(5)。

(5)

即(x′x，x′y，x′，y′x，y′y，y′，x，y，1)F=0。

②設(shè)F=USVT，對其進行SVD分解后得到U，S，V。

③得到的S=diag(s1，s2，s3)，且s1?s2?s3，所以將s3設(shè)置為0，S′=diag(s1，s2，0)。

④令US′VT=F′，此時F′即為所求。

4)密集匹配。采用文獻[17]算法，對立體像對進行密集匹配。該算法基本原理如下：在本文初始匹配得到同名點的基礎(chǔ)上，利用RANSAC方法剔除誤匹配點，并進行目視檢測，以剔除誤匹配的同名點，進一步提高初始同名點對的可靠性和準(zhǔn)確性。文獻[17]密集匹配采用迭代的思想，初始同名點的精度不高會造成后續(xù)迭代加密過程中誤差傳播。利用正確的同名點構(gòu)建同名三角網(wǎng)，初始的匹配基元是三角形重心，結(jié)合極線約束、同名三角形約束、相關(guān)窗口灰度相關(guān)約束，匹配確定同名匹配點。如果上述過程未匹配到同名點，則計算待匹配同名三角形的相似度。如果三角形相似度滿足設(shè)定的閾值，則利用仿射變換及其重心約束來確定最終同名點的坐標(biāo)位置。加入同名點，更新三角網(wǎng)。重復(fù)上述步驟，直至三角網(wǎng)內(nèi)所有三角形的面積小于一定閾值或沒有新的同名點產(chǎn)生，則停止迭代，最終得到密集匹配的密集同名點。

(6)

由圖2可知，每一對同名點及其所對應(yīng)的相機光心反向射線可以在空間中相交于一點，但由于噪聲等因素的影響，在實際情況中很難交匯于一點，所以采用最小二乘法，計算同名點對應(yīng)在空間坐標(biāo)系中的三維坐標(biāo)。對密集匹配后的同名點逐一進行計算，并根據(jù)同名點所對應(yīng)在影像中的RGB三通道分量，分別對點云坐標(biāo)進行渲染，最終得到具有RGB三原色的稠密三維點云信息。

2 實驗結(jié)果與分析

實驗過程中影像獲取設(shè)備為VIVO X7手機，所攝像片大小為3 120像素×4 160像素，實驗平臺采用Intel(R) Core(TM) i5-4590 CPU @3.30 GHz，運行內(nèi)存4 GB，Windows 10 64位操作系統(tǒng)。采用張定友相機標(biāo)定法，得到手機攝像頭內(nèi)參矩陣K、畸變系數(shù)distortion和平均重投影誤差(mean reprojection error，MRE)，如式(7)所示。

distortion=[0.099 646 5，-0.177 191 025，0，0，0]

MRE=0.374

(7)

本文平均重投影誤差0.374較文獻[8]中的平均重投影誤差0.39更小。經(jīng)過分析認為，該重投影誤差較小的原因是：在將多張標(biāo)定板像片進行相機標(biāo)定時，刪除了重投影誤差較大的標(biāo)定板像片，最終留下了12張存在各個方向上且重投影誤差較小的標(biāo)定板像片。

利用VIVO X7手機分別對內(nèi)墻角、外墻角、石頭、墻面4個特征地物進行拍攝，4種特征地物均有不同的紋理細節(jié)，以便檢驗本文稠密重建方法與傳統(tǒng)重建方法重建結(jié)果的差異。獲取4組立體影像用于驗證本文方法。其中拍攝獲取的原始影像與校正影像分別如圖4、圖5所示。

圖4 原始圖像

通過初始同名點計算得到相機投影矩陣P1，P2，如表1所示。本文將4組不同場景的手機立體影像分別以傳統(tǒng)重建方法和本文重建方法進行三維重建，重建的三維點云數(shù)目統(tǒng)計見表2，統(tǒng)計圖見圖6。傳統(tǒng)方法點云重建成果及本文方法點云重建成果見圖7。在圖7中：第一列為初始同名點三維重建得到的三維點云，即傳統(tǒng)方法重建得到的三維點云主視方向觀察圖；第二列為本文方法重建得到的三維點云俯視方向觀察圖；第三列為本文方法重建得到的三維點云主視方向觀察圖。

圖5 校正圖像

表1 相機投影矩陣

表2 點云數(shù)目 個

從表2分析可以得出，針對4組實驗影像本文重建方法生成點云數(shù)目較傳統(tǒng)重建方法生成點云數(shù)目分別增加了11倍、10倍、13倍、338倍，遠遠大于傳統(tǒng)方法所重建的點云數(shù)目。而在圖6統(tǒng)計圖可以直觀地看出2種重建方法在點云數(shù)目上的巨大差距，傳統(tǒng)方法重建點云數(shù)目與本文方法重建點云數(shù)

圖6 點云數(shù)目統(tǒng)計

目相差了幾個數(shù)量級。巨大的點云數(shù)目差異直接影響了點云的重建效果。由圖7中的4組實驗結(jié)果可以看出，本文重建方法得到三維點云效果要優(yōu)于傳統(tǒng)的重建方法，無論是在點云的紋理細節(jié)、視覺效果，都可以看出傳統(tǒng)重建方法與本文重建方法的巨大差距。在圖7第一列傳統(tǒng)方法重建圖中，除“內(nèi)墻角”的實驗結(jié)果外，其余實驗結(jié)果均無法看出重建物體的輪廓與紋理細節(jié)，而且內(nèi)墻角影像傳統(tǒng)方法的重建結(jié)果僅可以看到重建地物的大致輪廓，但是紋理細節(jié)、效果均不如本文方法。本文提出的三維點云重建方法在4組實驗中均沒有出現(xiàn)較大誤差，在不同的場景中表現(xiàn)出了較為良好的適應(yīng)性，驗證了本文方法的可靠性和魯棒性。

圖7 重建結(jié)果

3 結(jié)束語

針對傳統(tǒng)立體影像三維重建對技術(shù)設(shè)備要求較高、重建三維點云稀疏、視覺效果不佳且不具有較好的場景適應(yīng)性等問題，提出一種智能手機立體影像的稠密三維重建方法。該方法原理簡單，通過在傳統(tǒng)方法基礎(chǔ)上增加了密集匹配步驟，大大提高了三維點云的稠密度，場景適應(yīng)性強，視覺效果好。但該方法受初始同名點分布的影響，對立體影像重疊范圍內(nèi)同名點未覆蓋區(qū)域未能實現(xiàn)三維重建，并且對于存在重復(fù)紋理的影像，初始點云精度對最終的重建結(jié)果影響較大。后續(xù)將進一步對上述2個方面進行深入研究。