基于鏡面對稱引導的單幅圖像三維重建

路志青，付燕平

（安徽大學計算機科學與技術學院，合肥 230601）

0 引言

人類能夠有效利用自身的視覺系統從單幅圖像中推斷出對應場景或物體的空間結構或幾何形狀。即使圖像中物體或者對象存在嚴重的遮擋或自遮擋的情況，人類視覺系統也能夠估計出物體的大致形狀。這種從有限的2D 信息中直接感知3D 結構的能力來源于對我們熟悉的形狀和幾何的強烈先驗。近年來，一些研究者對這種從單幅圖像推斷三維結構的能力進行了大量的研究，并應用到三維重建、物體識別、機器人抓取、物體位姿估計等領域。然而從含有明顯遮擋的圖像中推斷出對應的物體或場景的三維信息仍然是一個巨大的挑戰，尤其是存在物體自遮擋的情況。

為了處理重建中的圖像中對象的遮擋問題，Xie 等提出將先驗的三維形狀知識整合到網絡中作為額外的約束，來對輸入單視圖三維重建進行完整的估計，并獲取三維結構。Li等通過對遮擋物體進行概率估計生成多個似是而非的三維結構，從而解決遮擋物體可能存在的三維結構。然而，上述的工作往往忽略了大多數自然界以及人造物體自身的幾何特性，即自身鏡面對稱性（圖1），無法有效地解決物體遮擋導致的遮擋部分重建結果準確率下降以及二義性問題。在本工作中，我們提出了利用物體的自身幾何鏡面對稱特性來對三維重建網絡進行約束，從而提高單幅圖像三維重建的質量。我們提出一個基于鏡面對稱的端到端的網絡結構，首先通過包含概率采樣的圖編碼器將特征映射到一個基于深度學習的隱空間，然后計算出三維空間中對應點坐標的鏡面對重建進行約束，最終輸出一個三維點云模型。通過ShapeNet和Pix3D數據集上大量的實驗和測試中驗證了我們想法的正確性，通過定性和定量分析證明了我們提出的基于對稱引導的三維重建網絡能夠重建處高質量的三維點云，并估計處遮擋部分準確的三維結構。

圖1 人造物體自身對稱性結構

1 相關工作

1.1 多視圖三維重建

目前，海量圖像數據驅動下的深度學習給三維重建帶來了新的機遇?；谏疃葘W習的圖像處理能夠給三維重建帶來更多更有價值的信息，并提高重建的準確性。而三維重建方法大多數是需要多個視角的圖像作為輸入，這種被稱為多視圖三維重建工作能夠利用重建對象的多個視角采樣推斷出準確的物體三維空間信息。Choy 等提出了3D-R2N2多個視角的三維重建網絡，該網絡通過深度卷積主動學習從圖像到3D 形狀的映射，并以3D 占用網格的形式輸出三維表示。當輸入多張圖像到該網絡時，三維重建表示會逐漸細化。然而，該網絡在輸入圖像少的時候，重建的精度就會降低。類似于3D-R2N2等主流的網絡采用循環神經網絡（RNNs）來融合從輸入圖像中連續提取的多個特征映射。然而，當輸入圖像存在不同階次時，基于RNN 的方法就無法產生一致的重建結果。基于此，Xie 等提出Pix2Vox 網絡，該網絡首先通過輸入多視角圖像生成一個粗略的3D 模型，然后利用上下文感知融合模塊自適應地從不同三維體中選擇部分高質量重建部件（比如桌腿），通過融合得到融合后的三維模型。最后通過求精模塊進一步細化整合在一起三維模型，并得到最終的三維重建結果。類似于Xie 等的三維重建算法一般稱作增量式的三維重建。然而，增量式多視圖三維重建的幾何結構的獲取非常依賴于重建的初始視圖，或者說最初生成的粗略的3D 模型好壞往往取決于輸入的視圖的好壞，并在不斷的調整中受到輸入視圖的約束。然而，該類算法會存在明顯的相機位姿累積誤差，并最終影響三維重建的結果。因此Liang等采用非增量式進行多視圖三維重建，非增量式三維重建對初始視圖重建的精度要求不高，他們首先求出所有攝像機的參數，通過全局方式一次性計算目標三維點，并在重建的精度和效率上優于增量式三維重建。然而，該方法在輸入數據較大的時候，參數的增多往往會使得重建效率下降。

1.2 單視圖三維重建

由于在多視圖重建中，數據獲取不方便以及數據計算量大的原因，致使很多研究者們把目光投向了單視圖三維重建，并提出了很多基于單視圖的端到端的三維重建框架。然而，單張視圖在三維重建中仍然存在很多的問題，其中最重要的就是重建對象存在自遮擋現象，由于單張圖像沒有更多的視角給重建提供足夠的信息，這直接導致最終重建的結果不準確和二義性。針對這個現象，Mandikal 等提出了兩個思考問題：①給定一個物體的二維圖像，推斷其精確的三維點云表示的有效方法是什么？②當輸入圖像存在高度遮擋時，我們如何設計網絡來生成一組與輸入圖像一致的可信的3D 形狀？基 于此，他們提 出了3D-LMNet 網絡。3D-LMNet首先利用倒角距離損失訓練點云自編碼器，然后使用多樣化損失和潛在空間匹配損失將自編碼向量映射到高斯概率分布來解決圖像遮擋導致重建的不確定問題。Li等提出了針對自遮擋問題的端到端的單視圖三維點云重建網絡3D-ReConstnet。針對物體自遮擋部分的不確定性，該網絡同樣利用特征向量學習到的高斯概率分布來預測點云。為了提高單視圖3D重建的準確性，Xu 等提出了DISN 網絡，該網絡采用一種隱式三維表面表示法SDF（signed distance function）在全局和局部特征信息上對給定一張圖像預測符號距離域，以此來重建三維模型。然而，數據驅動的網絡在估計點云重建方面往往不夠準確，因為它們缺乏幾何約束，無法利用物體自身的幾何特性來對重建結構進行引導從而消除物體遮擋和自遮擋的影響。

1.3 鏡面對稱性約束

對稱性尤其是自身對稱性已經應用到了計算機視覺領域的很多方面，比如無監督形狀恢復和圖像處理。在三維重建中，利用單張RGB 圖像中對象的自身對稱性來重建物體的三維形狀通過傳統的方法是可以實現的。正如Zhou 等所敘述的一樣，從圖像中檢測對稱性以及重建相應的點云是一項挑戰的任務。首先，由于大多數基于幾何的對稱性檢測方法僅適用于二維平面以及擺放適宜的物體，而對于三維對稱平面是處理是不足的；再者，雖然通過神經網絡能夠檢測出三維物體的鏡面，但是由于缺乏幾何先驗的約束，準確性不高。為了提升三維的準確性以及滿足上述的不足之處，我們的網絡在訓練中添加了綜合上述二者優勢的三維幾何對稱來約束三維重建，以期達到更好的結果。我們的對稱性通過高斯概率獲取對稱性信息，并通過神經網絡的訓練下獲取的參數來約束對稱信息，使得提升重建的準確性。

2 研究方法

本文所提出的基于鏡面引導端到端的三維重建網絡框架如圖2 所示，輸入單張RGB 圖像，經過網絡特征提取網絡、概率采樣、鏡面對稱約束等處理能夠生成較為準確的三維點云模型。我們的網絡框架是在3D-LMNet的模式下進行設計并改進的，在特征提取部分我們引入DenseNet網絡，并采用DenseNet121 網絡對圖像進行編碼，以便獲取更加充足的圖像特征。在點云生成部分我們引入了鏡面對稱對模型的三維結構進行自相似約束。最后利用輸出網絡來獲取最終的三維模型。

2.1 網絡架構

我們提出基于單幅圖像鏡面約束的三維重建網絡的目的就是輸入單張RGB 圖，通過網絡處理輸出對應物體的三維點云結構。首先，我們對輸入圖像進行特征提取，并將圖像的二維空間信息映射到三維空間。近些年基于學習的圖像特征提取方法多種多樣，其中最為常見的就是ResNet和DenseNet。ResNet利用 殘差塊對圖像進行處理，并在增加網絡深度的情況下引入跳躍連接的方式來避免層數的增加帶來的不足，這很可能會丟失部分的參數；而DenseNet 在保證增加網絡層的基礎上對每一層的參數都進行跳躍連接，能夠大大減少了參數的丟失。由于我們采用的是單幅圖像的三維重建，信息量的減少會影響重建的質量，因此我們隊3D-LMNet 進行改進， 我們采用了DenseNet121 網絡為特征提取層來充分利用圖像信息，從而減少有用信息的大量丟失。通過DenseNet121對特征提取，獲取圖像特征張量。接著我們把引入到一個高斯概率潛在空間，在網絡中進行大量輸入數據的訓練并更新潛在空間網絡的權值，然后利用最終的模型對輸入特征進行解碼獲取輸入圖像中物體對應的三維空間信息：

其中，均值=()， 標準差=()，是和有相同的尺寸的隨機參數，對標準差進行約束。然后，我們通過解碼器對三維信息進行解碼，輸出維度為1024×3的三維張量。

在多次實驗中我們發現利用輸出的三維張量直接重建點云準確率不高，為了解決這個問題我們引入了三維鏡面對稱來對網絡進行約束，如圖2 中部分就是我們的鏡面對稱結構約束。此時，我們首先要考慮的就是三維平面的位置問題，即如何確定我們需要的三維空間平面。在實驗中，我們將二維圖像信息映射到三維空間中采用的是高斯概率采樣，在設計上我們利用了標準正態分布對二維圖像信息進行的處理，標準正態分布密度函數如下：

圖2 網絡總體結構

此時的均值= 0，也就是所有三維空間的信息全部聚集到了均值兩側，并對稱分布。根據這個理論，我們能夠推測出生成的三維數據是處于某一個維度的分布中的。之后，我們將解碼后的維度為1024 × 3 的三維張量進行平面估計，最終確定其鏡面結構。

2.2 損失函數

點云的結構無序性要求我們需要選擇一種與輸入點序列不相關的損失來訓練點云生成網絡。目前廣泛應用的方法就是采用倒角距離（chamfer distance， CD）和 地 移 距 離（earth mover’s distance，EMD）去訓練點云生成網絡。倒角距離CD 測量的是生成點與GT（ground truth）中對應位置的點的距離的平方。EMD 處理的是GT 與生成點云之間點與點之間的映射。為了有效地利用物體自相似的特性，我們利用估計的鏡面對稱平面，在損失函數中加入鏡面對稱約束，整個損失函數定義為：

其中CD和EMD是對稱性點云生成的損失函數，是約束對稱性生成強度的超參數，這里我們定義為= 0.1，我們的CD 函數和EMD 分別定義為：

其中我們令X∈R表示GT，X∈R表示生成的點云集合。表示生成的點云中點的數量?！?span id="g0gggggg" class="emphasis_italic">X表示GT 中的點，∈X表示生成點云中的點。

3 實驗與結果分析

3.1 實驗

數據集。為了讓我們的實驗在結果上更加具有公信度，我們采用公共數據集ShapeNet和Pix3D來訓練和測試我們的三維重建網絡模型，其中ShapeNet 數據集包含來自13個不同類別的共43809 CAD 模型，以及其對應不同角度的渲染圖像，Pix3D 數據集包含7595 中真實拍攝的圖像以及其對應的物體遮罩掩碼和CAD 模型等。我們采用和相關工作相同的4∶1訓練集和測試集的比例進行實驗。

實驗詳情。為了使得和以往工作進行更公平的對比，我們采用與相關工作相同的學習率5×10和優化器Adam 分別對實驗進行約束和優化。由于數據量較大，我們采用小批量（尺寸為32）將需要訓練的數據輸入到訓練網絡中，并在50 輪的迭代，輸出最終的網絡模型。為了滿足網絡對輸入數據尺寸的要求。首先，我們將輸入的圖像進行預處理，使其長寬尺寸都為128像素，然后在特征提取網絡DenseNet-121的處理下，將圖像的特征映射到不同的隱空間，之后為了減少額外的參數我們引入平均池化層對輸出進行下采樣，最后，將包含三維空間信息的輸出通過鏡像平面約束并輸出包含自身鏡像的三維點云結構。

評價方法。點云重建最常用的評價方法有兩種：倒角距離和地移距離，我們利用這兩種方法來評估我們的生成1024 隨機鏡像采樣點的點云重建網絡模型。我們在ShapeNet數據集上對每一類別隨機選取圖像進行測試，并展示其生成模型（圖3）和評價結果（表1）。

表1 部分物體的重建結果在CD（10-2）和EMD（10-2）指標上的比較

3.2 實驗結果與分析

圖3 展示了在ShapeNet數據集上的部分類別物體三維重建結果，最左側為輸入圖像（包括飛機、汽車、桌子等），中間是我們的網絡生成的點云重建結果，右側為GT（ground truth）。為了使得輸出尺寸能夠適應我們的網絡輸出，我們設計的重建模型點的數量=1024。從結果中我們能夠看出我們的重建在視覺效果上與GT 的重建結果接近，而且在結構上與輸入圖像是近似的。

圖3 在ShapeNet數據集上的不同類別的重建點云結果

用于重建的點云模型比較稀疏，在可視化效果上并不能直觀的看出重建模型的優缺點，因此我們對每一個類別的對象進行定量的評估，我們采用CD和EMD 度量來對現有的三維重建算法進行定量評價（其中CD和EMD 都是以10為單位），如表1所示。我們選取了6類不同的對象來進行測試，并對與近些年最好的三維重建網絡結果進行比較（包括如PSGN，DISN，3DLMNet， 3D-ReConstNet），其中數值越小代表重建結果越好，表中的加粗體部分代表在某一類別中某個網絡架構重建結果最優。從表1中可以看出我們的方法采用鏡面對稱約束只有，能夠恢復出更加精細的三維點云結構。

為了驗證我們引入對稱性平面是否對我們的訓練發揮作用，我們對我們的網絡結構畸形了消融實驗，分別比較了使用和不使用鏡面對稱約束三維重建的結果。表2展示了我們的網絡的使用和不適用鏡面對稱重建結果的定量分析對比結果，其中U_ours 代表未加鏡面對稱約束的結果，Ours 是添加鏡面對稱約束的重建結果。通過表2的結果展示，我們能夠直觀的看到對稱性對三維重建可以有效地提高三維重建的質量。圖4展示了我們鏡面對稱平面的可視化結果。

表2 未加對稱性約束和添加對稱性約束的結果在CD（10-2）和EMD（10-2）指標上的比較

圖4 引入對稱平面的結果

圖5是在Pix3D數據集上隨機選取的3類6個對象進行三維重建的結果，圖中左側為輸入圖像，中間是通過本文提出的網絡重建的結果，右側為GT。數據集Pix3D上的圖像來源于真實拍攝的物體，為了滿足我們的模型對輸入的要求，在重建中我們為其添加了mask處理，因此在重建的結果的視覺上沒有在ShapeNet數據集上的好，這也說明了單視圖三維重建在真實場景中重建三維模型還是存在不足之處的。通過圖5中的重建結果與GT 進行對比我們還能發現，我們的重建結果在精細的幾何細節上處理的并不好，這也是目前基于單幅圖像三維重建面臨的一個重要的挑戰也是我們后期工作的一個研究方向。

圖5 在Pix3D數據集上的重建結果

雖然添加對稱性能夠給基于學習的三維重建網絡帶來質量和結果的提升，但是單視圖重建中所存在的病態問題依然沒有完全解決。圖6展示了本文重建結果的不足之處，這同樣也是單視圖重建中的所面臨的共同問題。那就是對于細節部分無法很好地重建，如圖中圓圈所圈的部分比如長椅的把手和分叉的椅腿部分，都不能更加清晰的重構出來，圖中音響的音桶部分是無法重構出來的，這些都是我們需要仔細思考的問題。

圖6 重建結果中的問題

4 結語

在本文中，我們提出了一個端到端的基于鏡面對稱引導的單視圖三維重建網絡。我們的網絡首先將2D 圖像特征映射到一個潛在空間并進行采樣獲取圖像的三維空間結構，然后利用鏡面約束來處理三維重建中物體的自遮擋問題。我們在ShapeNet和Pix3D兩個公共數據集對訓練并測試我們的網絡，并輸入非對稱對象的圖像進行驗證我們算法的有效性。實驗的結果展示我們的網絡在定性和定量上都有一定程度的提升。然而，我們的工作仍然存在一些不足之處，比如嚴重遮擋的以及其他遮擋的問題我們沒有進行處理，我們將在未來的工作嘗試解決。