一種動態稀疏式觀測系統的場景重建方案

楊 磊，李桂菊

(1.中國科學院長春光學精密機械與物理研究所，長春 130033；2.中國科學院大學，北京 100039)

1 概述

基于圖像的三維重建常指從目標的2D投影中恢復其3D信息的過程，隨著近年來硬件性能的逐步提升，密集三維重建開始被廣泛地用于獲取更佳的視覺效果，并提供更全面的場景信息。通常，可根據測量基線的長短，將其分為寬基線和窄基線(也稱短基線)2類。

典型的單目寬基線方法被用于解決多視角、多尺度重建問題，?；趫D像的特征匹配。因此，需匹配大量特征以構成密集點云，進而通過頂點模型描述場景結構。其重建效果取決于頂點的空間分布與場景幾何結構的關系，少量外側散點不影響重建的視覺效果[1]。

然而，頂點模型所需點數較多，且缺乏對目標結構的拓撲描述，導致該模型難以直接應用于CAD/CAM等后續工作中，因此，常需進行后續處理，其具體方法與應用要求有關。例如，場景合成、地形重建等側重于視覺效果的真實感，多采用距離場多邊形/多面體建模[2]；而制造加工等逆向工程則側重于物件表面的光滑性，多采用曲面建模[3]。另外，在實際應用中，不同于激光、超聲或CT等方法可獲取結構化的柵格點云數據，單目圖像提取的點云多呈非結構化，難以直接采用結構化建模的方式，其觀測結果中包含大量散亂點，易導致曲面的病態擬合[4]。一直以來，研究者們開展的各項工作提高了擬合的魯棒性[5-7]，然而，寬基線系統的整體結構多呈單向級聯式，各算法模塊內部存在大型循環，更適合離線靜態執行。

典型的單目窄基線方法常被用于進行觀測者自身的運動分析，多采用同步定位與繪圖方案[8-9]。目前，研究者們多采用基于卡爾曼濾波[10-11]或粒子濾波的[11-12]方法，估計觀測姿態并跟蹤系統標記，其優點在于可密集地更新觀測數據并精確地矯正姿態。然而，其觀測負擔導致系統只能持續維護極少量的標記；另外，對于單目重建系統，還需同步關聯并矯正鄰近幀形成的圖像對，進而將多視圖重建轉化為立體匹配問題，最終映射視差以重建場景深度。

然而，立體匹配常要求圖像對沿掃描線嚴格矯正[13]，以簡化對極搜索，因此，需連續地觀測標記并反復矯正姿態，加重了系統負擔。另外，在實際應用中，由于窄基線系統的基線較短，導致其對中、遠距離目標的觀測誤差較大，難以連續精確地估計姿態，實際應用中常需結合GPS、激光測距儀等設備[14]。

為在一定程度上實現動態觀測下的場景密集重建，本文提出一種方法并設計了相應的系統，通過稀疏觀測的方式，交錯式地進行觀測數據的更新與維護，以避免窄基線方法觀測負擔過重的問題；并采用混合建模的方法，結合適當的預處理，進行場景目標重建，以解決傳統頂點模型后續重建中的病態重建問題。

2 系統方案設計

目前，經典的單目寬基線方案雖具有對觀測數據容錯性較高的優點，但存在匹配數據量大、對特征匹配準確性依賴度較高的缺點；而經典的單目窄基線方案雖具有在線動態觀測的優點，但存在系統觀測負擔較重，需反復矯正姿態的缺點，對此，本文提出一種新的觀測并重建的系統方案，在流程上采用事件驅動方式，以減少顯式反饋，結構如圖1所示。該方案引入稀疏式觀測，提高觀測效率，并通過自適應散點抑制及混合建模的方法提高重建容錯性，以達到動態、自適應、模塊化、密集地重建場景模型，拓展應用范圍。該方案基于窄基線系統，采用稀疏式觀測，引入一致性檢測及維護判定，維護一定數量、可直接用于重建任務的觀測標記，并緩沖隔離維護任務與更新任務，提高觀測效率。采用全局初始化，自適應約束原始點集的外側散點，抑制多邊形模型的邊緣鋸齒及曲面病態擬合。采用多邊形初始建模結合局部梯度-矢量模型[15]，由粗到精優化觀測界面，重建模型表面。系統采用雙模塊多線程結構，通過多緩沖隔離，可適應多任務環境。

圖1 動態稀疏觀測系統的密集三維重建方案流程

3 稀疏觀測

稀疏觀測主要包括2個任務，即觀測更新與觀測維護。系統需首先進行觀測更新，以初始化系統的觀測數據，而后兩任務間可通過觀測緩沖區進行數據隔離。

3.1 觀測更新

假定系統成像模型滿足針孔攝像機模型；可采用角點檢測，快速指定系統標記，作為觀測系統輸入。對更新模塊，需匹配當前指定的系統標記。令2組匹配的標記分別為u和u'，本質矩陣為E，相機內參矩陣為K，有式(1)：

對式(1)中的本質矩陣E進行分解：E=[t]xR，[t]x為平移向量的反對稱陣形式，R=[rmn]3×3為旋轉矩陣。令觀測矩陣 P=K[I,0],P ′=K[R,t]，可由式(2)求X超定解：

為防止觀測誤差的逐步累積，需將局部觀測優化，即將式(3)列為更新模塊的必要步驟。

3.2 觀測維護

在不等式(6)中，若M/N與N/S值較大，也即高于tM和tN時，則無需對維護數據進行局部優化。實際應用中，維護判定可直接影響更新次數，即觀測更新率，進而影響觀測系統負擔以及觀測數據質量。本文所采用的參數tN=tM=0.5，而ε∑為較小的值，可令ε∑=10–4。

4 密集重建

密集重建主要包括全局初始化與場景重建2個任務。全局初始化過程以原始觀測點集為輸入數據，預處理并優化點集，得到全局稀疏點云，然后基于該點云進行場景重建。

4.1 全局初始化

不同于結構化的標量場重建，曲面擬合對外側散亂較為敏感。需進行必要預處理，去除輸入點集所包含的散亂點，必要步驟包括局部點云精簡、全局法向約束等。

常見的全局法向約束是根據當前點集的密集程度，人工指定各頂點法向計算的參考鄰域。為減少人工干預，需引入一種自適應的約束方式。隨機抽取觀測點 X1,X2,X3構成參考面Rn。理想的Rn為界面ψ沿nz方向的投影，且處于觀測水平表面附近，可定義式(7)：

在式(7)中，若Rn平行于理想觀測水平面，則其單位法向量nr應反向平行于nz。第k次抽樣形成的參考平面法向量為，因此，R與理想觀測n水平面的差異程度可由nz與的夾角進行衡量，即：

對于滿足不等式(8)(例如可令 θc＜5°)的平面Rn，可取任意除控制點外的觀測點Xk。若該點為擬合點，則到Rn的距離dkn應符合點集自身的幾何特性，可根據點云自身幾何特性進行自適應調整；可通過軸向邊界盒自適應中心規范化點集的坐標值，構成最佳參考平面的內點集合到參考平面距離可直接由點到平面距離公式計算，可定義為均方和最小化的過程。具體對于第i次迭代，有式(9)形式：

由式(9)，通過點-面距離進行全局頂點約束以及常規的點云精簡及平滑后，可由光束平差法進行全局優化，得到全局初始點云，可作為場景重建的輸入。

4.2 場景重建

對于預處理后的點集，為消除邊緣鋸齒并修補表面破損，可采用曲面建模，但要求點集數據具備有序性，即滿足某種拓撲結構。對無序點集，常需初始模型或先驗知識，若缺少相應處理環節及約束條件，少量外側散點即可引發病態擬合。不同于曲面擬合，多邊形建模不會造成頂點漂移，保真性較好，但重建效果依賴于片元數量且易產生鋸齒，常需采用細分抗鋸齒，但該方法將產生大量冗余數據。

為消除邊緣鋸齒，修補表面破損，并抑制擬合引起的頂點漂移，同時防止病態擬合的發生，可采用混合建模的方法。由于場景的視覺外觀由場景表面屬性和觀測者的姿態共同決定，可表示為場景沿觀測方向nv的動態演化界面。令受測曲面頂點為V=(x,y,z)，觀測界面可表示為初始場景模型ψo(x,y,z,nv)的零水平集。定義第k次觀測時點集V的模型函數為ψ(V,k)，對水平觀測常數c有水平集合{V |ψk(V)=c}，處于觀測界面內側的頂點記為1，反之記為0，可建立觀測界面的二值標量場函數?？赏ㄟ^檢測各頂點抽樣立方體的空間16-鄰域亞抽樣點Vn的可見性，判斷Vk可見性，進而對場函數進行標量化，該過程可由式(10)定義：

由式(10)，可定義二值標量場。此時，水平常數對應的場景觀測界面兩側存在的勢差將導致界面局部沿勢差下降方向演化，并形成界面的運動矢量場 Mv=(uvi,vvj,wvh)，其中，i,j,k為正交單位向量。理想界面的局部演化方向為勢差下降最快方向，考慮到這一實際的誤差ε，可由不等式(11)建立局部梯度-關系矢量：

其中，S為尺度規范化因子。在具體實現形式中，需引入哈密頓算子▽，導出散度關系，將上式由矢量關系形式轉為標量關系形式，即式(12)：

式(12)表明，可通過場強能量函數，衡量梯度場與運動場之間的一致性，該能量函數可由式(13)定義：

當標量函數φ(x)各向分量獨立時，引入拉普拉斯算子L實現二階差分近似計算，式(13)數值形式可由式(14)定義：

拉式算子對噪聲較敏感，需對界面梯度場進行局部鄰域范圍內的高斯平滑。若頂點Vk的高斯卷積核函數為G(Vk)，由式(14)可對曲面任意頂點的觀測坐標，通過最小化能量函數的過程迭代得出，該過程可由式(15)表示：

對于每次迭代i，需更新梯度場及運動場，更新方法為：

迭代終止時得出較平滑的場景表面的三維模型，一定程度上，可消除邊緣噪聲鋸齒、修補破損，并抑制頂點的擬合偏移，避免病態擬合的發生。

5 實驗結果與分析

系統通過整合稀疏動態觀測與混合模型重建，以期在單目視覺平臺上獲得動態觀測與密集重建的特性，并可將其推廣至室外大目標場景，以拓展系統的應用特性，因此，實驗的輸入數據位單目運動場景序列，并由幀插值構成視頻流輸入形式。通過相同輸入下，不同觀測更新率及不同初始模型所得出的最終重建結果，全面反映系統的綜合應用特性。圖2為實驗數據輸入流中不同視角處4幀的圖像。

圖2 場景中不同視角處的4幀

引入稀疏觀測的主要目標是在不明顯降低數據質量的前提下減小系統負擔，系統負擔高低受觀測更新次數影響最為明顯，觀測更新次數則取決于觀測維護判定。實驗中，分別采用高、低觀測維護，可由圖3對比在2種維護判定標準下，也即不同的觀測更新率下所得到的原始觀測點集，以及經全局初始化后得到的相應稀疏點云。

圖3 2種維護判定標準下的觀測結果

在圖3中，第1行使用較低的維護判定(tN=0.5,tM=0.5)，觀測系統相對維護較多，更新率較少，而第2行維護判定較高((tN=0.65,tM=0.65)，導致系統維護較少，更新較多；重要觀測數據如表1所示。

表1 2種維護判定標準下的觀測數據

可歸納2點：(1)較高更新率可獲得更密集的觀測點集，但也同樣增加了外點出現的概率；在表1中，低維護/高更新率下的移除外點為870，占總數20.94%，而高維護/低更新率下的移除外點數為587，占總數17.19%，在某種程度上可認為，低更新高維護的觀測過程引入外點的幾率更低，因此，觀測效率更佳。(2)經過參考平面全局約束后，尤其是觀測方向上外圍散點得到了有效抑制，可保持目標整體結構的正確性，使得初始模型可給出較好擬合初值，進而降低病態擬合的風險。重建結果由圖4～圖6給出，左側統一為低更新/高維護時的重建模型，右側統一為高更新/低維護時的重加模型，分為無細分、1次細分、2次細分3種情況。

圖4中的初始模型由原始多邊形建模得出，后續處理僅包括常規的曲面精簡及曲面平滑，初始模型較為粗糙，且由于單位空間內的頂點較少，對局部擬合行為的約束較弱，因此最終結果雖大體結構正確，但細節較少，且上側背部區域有一處凸包，屬擬合不足導致。右列結果中細節較左列多，這是由于其初始點集的點數較多。

圖4 無細分初始模型及其擬合結果

圖5為細分1次作為初值的結果。上側背部的凸包在左右兩列中均不明顯，表面細節較無細分時豐富，可見當細分后，單位區域內頂點增加，對局部擬合的約束加強，可防止擬合中常見的頂點漂移現象的發生。

圖5 1次細分初始模型及其擬合結果

此時左右2列細節差異程度較小，且左列表面鋸齒較右列多，這是由于其并未剔除的外點引入的數據噪聲在細分時進一步擴散，使得擬合過程難以平滑噪聲較多的局部區域所導致。

圖6為進一步細分的結果。當細分2次后，模型視覺效果明顯強于無細分或無擬合的模型，此時，左右2列模型的細節較1次細分時的差異較小，這是由于單位區域內頂點數量過多，初始模型的剛性約束過強，使得擬合效果減弱而導致。值得注意的是，此時左列表面明顯較右列平滑，且整體結構更為完整?？梢姡瑪祿恻c的擾動效果在多次細分后將被明顯加強，由于此時將形成噪聲區域，使得去噪的難度提高。

圖6 2次細分模型及其擬合結果

表2為重建過程數據。細分的空間復雜度為O(4n)，多次細分后數據量大幅增長，將對重構系統產生極大負擔，在后續處理中有必要加入精簡處理，例如頂點合并等；2次細分后，初始模型片元數多于最終模型，說明擬合過程中，平滑后局部空間分割的過程中，同時合并冗余頂點可有效削減計算量，且過多細分后將明顯造成數據冗余。

表2 重建過程數據

6 結束語

本文引入稀疏觀測，采用降低更新率削減系統負擔，同時通過有效的外點抑制結合混合建模方法進行重建，可達到由稀疏到密集地進行動態重建的目的。實驗結果證明，稀疏觀測在有效減少數據更新數量的同時，不會增加外點引入的比例，結合混合建模后，可通過適當的初始細分，由較少的初始頂點得到較好的最終重建結果。但目前系統仍缺少更有效地平衡更新率與細分次數的方式，下一步工作將研究解決這一問題，使系統在任意場景下自發地由較少觀測數據恢復出較完整的模型。

[1]Seitz S M,Curless B,Diebel J,et al.A Comparison and Evaluation of Multi-view Stereo Reconstruction Algorithms[C]//Proc.of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE Press,2006:519-528.

[2]趙友兵,石教英,周 驥,等.一種大規模地形的快速漫游算法[J].計算機輔助設計與圖形學學報,2002,14(7):624-648.

[3]田曉東,史桂蓉,阮雪榆.復雜曲面實物的逆向工程及其關鍵技術[J].機械設計與制造工程,2000,7(4):1-3.

[4]周儒榮,張麗艷,蘇 旭,等.海量散亂點的曲面重建算法研究[J].軟件學報,2001,12(2):249-255.

[5]Carr J C,Beatson R K,Cherrie J B,et al.Reconstruction and Representation of 3D Objects with Radial Basis Functions[C]//Proc.of the 28th Annual Conference on Computer Graphics and Interactive Techniques.[S.l.]:ACM Press,2001:67-76.

[6]Ohtake Y,Belyaev A,Alexa M,et al.Multi-level Partition of Unity Implicits[J].ACM Transactions on Graphics,2005,22(3):463-470.

[7]Kazhdan M,Bolitho M,Hoppe H.Poisson Surface Reconstruction[C]//Proc.of the 4th Eurographics Symposium on Geometry Processing.[S.l.]:IEEE Press,2006:61-70.

[8]Dissanayake M W M G,Newman P,Clark S,et al.A Solution to the Simultaneous Localization and Map Building(SLAM)Problem[J].IEEE Transactions on Robotics and Automation,2001,17(3):229-241.

[9]許俊勇,王景川,陳衛東.基于全景視覺的移動機器人同步定位與地圖創建研究[J].機器人,2008,30(4):289-297.

[10]Davison A J,Reid I D,Molton N D,et al.MonoSLAM:Real-time Single Camera SLAM[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):1052-1067.

[11]胡洪濤,敬忠良,李安平,等.非高斯條件下基于粒子濾波的目標跟蹤[J].上海交通大學學報,2004,38(12):1996-1999.

[12]周 超,韓 波,李 平,等.基于自適應特征的地標跟蹤算法[J].計算機工程,2011,37(24):155-157.

[13]Scharstein D,Szeliski R.A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms[J].International Journal of Computer Vision,2002,47(1/3):7-42.

[14]Newman P,Cole D,Ho K.Outdoor SLAM Using Visual Appearance and Laser Ranging[C]//Proc.of IEEE International Conference on Robotics and Automation.[S.l.]:IEEE Press,2006:1180-1187.

[15]Xu Chenyang,Prince J L.Snakes,Shapes,and Gradient Vector Flow[J].IEEE Transactions on Image Processing,1998,7(3):359-369.