基于改進(jìn)特征的序列圖像三維重建

陳瑞林，張曉燕

（廈門大學(xué)嘉庚學(xué)院信息科學(xué)與技術(shù)學(xué)院，福建漳州，363105）

0 引言

三維重建技術(shù)通過深度數(shù)據(jù)獲取、預(yù)處理、點云配準(zhǔn)與融合、生成表面等過程，把真實場景刻畫成符合計算機(jī)邏輯表達(dá)的數(shù)學(xué)模型。這種模型有許多優(yōu)勢，在無損檢測，地理三維信息測量等領(lǐng)域已經(jīng)有了一定的實際應(yīng)用。2019年，吳越、李勝旺等人提出了一種改進(jìn)的特征點匹配策略，對SIFT的匹配結(jié)果和SURF的匹配結(jié)果進(jìn)行融合,將融合后的結(jié)果應(yīng)用到三維重建技術(shù)中。改進(jìn)后的特征匹配策略使三維重建的運行速度提高了40%,不僅可以減少特征匹配過程的運算量,還可以提高三維重建的穩(wěn)定性,在三維重建研究工作中具有一定的參考價值[1]。2020年，李新春、閆振宇等人為解決噪聲干擾,數(shù)據(jù)丟失情況下迭代最近點算法的魯棒性差,配準(zhǔn)精度低等問題,提出一種基于鄰域特征點提取和匹配的點云配準(zhǔn)方法[2]。該算法能夠在噪聲環(huán)境下有效地完成缺失點云的配準(zhǔn),在魯棒性和精確配準(zhǔn)方面有一定的優(yōu)勢。2020年，吳正斌、彭業(yè)萍等人提出了一種基于Kanade-Lucas-Tomasi(KLT)多視圖特征跟蹤的物體三維重建方法，該方法通過使用KLT算法,不僅提高了特征點匹配數(shù)量,還解決了多視圖構(gòu)建的不同三維點云坐標(biāo)系的相互轉(zhuǎn)換問題,實現(xiàn)了物體的多視圖三維重建[3]。盡管提出的方法很多，但是三維重建的精度問題仍然有待研究，本文對Harris特征提取算法進(jìn)行了改進(jìn)，在序列圖像中對結(jié)合視覺點跟蹤器對提取出的特征點進(jìn)行跟蹤，進(jìn)行特征的稀疏重建和稠密重建后，使用估計樣本一致性算法進(jìn)行三維重建，提高了序列圖像三維重建的精度。

1 序列圖像三維重建

本文先采用坐標(biāo)對應(yīng)和最近鄰插值法對獲取到的序列圖像進(jìn)行處理，后在序列圖像之間使用檢測最小特征值法結(jié)合視覺點跟蹤器提取并匹配出一組稀疏點。再在圖像中以降低最低可接受的角質(zhì)量獲取更多的點并匹配一組密集的點集，完成稠密重建。利用三角確定匹配點的三維位置，在點云找到地球，恢復(fù)實際比例，進(jìn)行度量標(biāo)準(zhǔn)重建。本文的設(shè)計流程圖如圖1所示。

圖1 設(shè)計流程圖

1.1 數(shù)據(jù)準(zhǔn)備及預(yù)處理

在整個的項目流程中，最開始也極其關(guān)鍵的一步就是獲取詳細(xì)、精確的序列圖片，但是由于目前能夠獲取到的圖片多存在像素差以及圖像畸變嚴(yán)重等問題，會嚴(yán)重影響圖像特征提取。本文采用坐標(biāo)對應(yīng)和最近鄰插值法對獲取到的序列圖像進(jìn)行處理。先加載出圖片預(yù)先計算的相機(jī)參數(shù)，使用內(nèi)參矩陣歸一化畸變圖像的坐標(biāo)，再通過徑向畸變模型得到歸一化的畸變坐標(biāo)，坐標(biāo)映射回去，去歸一化，就能得到畸變坐標(biāo)。通過以上步驟，可以找到正常圖像坐標(biāo)對應(yīng)的畸變圖像坐標(biāo)，接下來使用最近鄰插值法進(jìn)行賦值，可以得到處理后的圖像。

1.2 特征點提取與匹配

序列圖像三維重建中Harris特征得到廣泛應(yīng)用，Harris算法首先要將窗口（小的圖像片段）同時向x和y兩個方向移動，計算窗口內(nèi)部的像素值變化量E（u,v）；然后對每個窗口都計算一個角點響應(yīng)函數(shù)R，具體公式如下：

其中λ1和λ2（特征值）是經(jīng)過對角化處理后，提取出的兩個正交方向的變化分量，k是一個經(jīng)驗常數(shù)，將R值同預(yù)先給定的閾值進(jìn)行比較，將窗口劃分成平面、邊緣或角點。然后對該函數(shù)進(jìn)行閾值處理，如果R>threshold，表示該窗口對應(yīng)一個角點特征。從公式可看出，Harris 算法的穩(wěn)定性和 k值有關(guān)，而 k 是一個經(jīng)驗常數(shù)，難以設(shè)定出一個最佳值。

但是，角點的穩(wěn)定性其實和矩陣M的較小特征值有關(guān)，直接用較小的特征值作為分?jǐn)?shù)，就不用調(diào)整k值了。因此對特征提取進(jìn)行了一定的改進(jìn)，若兩個特征值中較小的一個大于最小閾值，則會得到強角點，公式如下：

提取出特征點后，采用KLT（Kanade-Lucas-Tomasi Tracking）特征跟蹤算法進(jìn)行跟蹤。將這些點跟蹤到第二張圖像中， KLT特征跟蹤算法基于梯度，求出光流約束方程。通過初始化點跟蹤器，對點進(jìn)行跟蹤，可視化它們之間的對應(yīng)關(guān)系。

1.3 稀疏重建與稠密重建

在提取并匹配出特征點后，得到的結(jié)果如圖2的（a）、（b）所示，可以看出特征點圖片的邊緣存在異常值，為了得出更加精確的模型，還需要排除異常值。使用RANSAC算法（Random Sample Consensus，隨機(jī)抽樣一致算法）剔除異常點擬合出一個平面。RANSAC算法是通過反復(fù)選擇數(shù)據(jù)中的一組隨機(jī)子集來達(dá)成剔除異常值的目的。圖2的（c）是排除異常值后的稀疏重建結(jié)果,使得模型較之前也更加精確。

圖2 稀疏重建后效果

在稠密重建步驟，使用較低的像素重新檢測第一張圖像中的“MinQuality”點（即最低可接受的角質(zhì)量）以獲得更多的點。跟蹤這一步新得到的點到第二個圖像。使用實現(xiàn)直接線性變換算法[4]的三角函數(shù)來估計與匹配點對應(yīng)的三維位置。將原點放置在與第一個圖像相對應(yīng)的相機(jī)的光學(xué)中心處。

其中，S為未知尺度因子，tù表示相機(jī)光心在世界坐標(biāo)下的坐標(biāo)，P為3×4的透視投影矩陣，Rcw，K是分解矩陣P得到的內(nèi)參矩陣。圖3即本文稠密重建后的結(jié)果。

圖3 稠密重建后效果

1.4 擬合重建

因為本次要檢測的是已知半徑為10厘米的地球儀，所以最后要從點云中擬合球面，使用的是MSAC（M-Estimate Sample Consensus）算法。MSAC算法使用估計基本矩陣，找到滿足極線約束的內(nèi)點，即當(dāng)同一個點投影到兩個不同視角的圖像上時，像點、相機(jī)光心在投影模型下形成約束。之后再對模型進(jìn)行反推并反復(fù)迭代，最終找到一個優(yōu)化的模型，剔除所有不符合該模型的匹配對得出以下結(jié)果，如圖4所示。

圖4 擬合球體

2 實驗結(jié)果分析

按照本文算法對圖5(a)圖像序列進(jìn)行了重建,結(jié)果如圖5(b)所示，采用改進(jìn)后的Harris算法結(jié)合視覺點跟蹤器提取并匹配出一組稀疏點，后在圖像中以降低最低可接受角點質(zhì)量獲取更多的點并匹配一組密集的點集，完成稠密重建。再使用估計樣本一致性算法進(jìn)行三維重建。把特征篩選和提取方面改成結(jié)合BRISK算法和最小平方中位數(shù)[5]進(jìn)行重建，結(jié)果如圖5(c)。采用fast特征和抽樣一致[6]兩種算法進(jìn)行重建，得到的結(jié)果如圖5 (d)。比較本文這兩種算法重建的結(jié)果，可以看出本文的方法在特征點提取與匹配以及重建精度等方面有了一定的提升。

3 總結(jié)

本文對Harris特征提取算法進(jìn)行了改進(jìn)，在序列圖像中對特征進(jìn)行基于KLT算法進(jìn)行了跟蹤，進(jìn)行特征的稀疏重建和稠密重建后，使用估計樣本一致性算法進(jìn)行三維重建，提高了序列圖像三維重建的精度。通過對實驗的結(jié)果對比分析，本文方法能夠提高特征點的提取數(shù)量和質(zhì)量，能夠在一定程度上提高三維重建準(zhǔn)確度。