基于稀疏特征改進的單視圖表面重建

摘 要：基于深度學習的單視圖三維重建是當前的研究熱點。為重建出更多的高頻細節(jié)，SDF-SRN算法引入了位置編碼，但在缺乏精確監(jiān)督時，網絡容易過擬合而導致凹凸不平的重建結果。針對這個問題，提出一種基于稀疏特征的網絡模型，該模型憑借殘差學習機制，令容易過擬合的網絡預測高頻殘差。通過特征提取網絡得到稀疏特征和全局特征，稀疏特征輸入到一個超網絡中生成預測淺頭，該淺頭負責預測符號距離函數的低頻部分，而全局特征輸入到另一個超網絡生成另一個淺頭來預測高頻殘差，這兩部分通過權重因子構成最終的符號距離函數。頻譜分析表明實驗結果達到了相應的設計目的；與不同平滑表面重建方案對比，基于殘差學習的平滑重建方案可以實現更平滑的表面重建，克服了SDF-SRN過擬合的問題，同時保留足夠的細節(jié)；與其他先進的單視圖重建方法的定性和定量對比結果證明了該方法的優(yōu)越性。

關鍵詞：深度學習；單視圖重建；符號距離函數；位置編碼；超網絡；殘差學習

中圖分類號：TP391 文獻標志碼：A

文章編號：1001－3695（2023）03－047－0925－07

doi：10.19734/j.issn.1001-3695.2022.06.0320

Improved single-view surface reconstruction based on sparse feature

Liang Chunyang，Tang Hongmei，Xi Jianrui，Liu Xin

（School of Electronics amp; Information Engineering，Hebei University of Technology，Tianjin 300401，China）

Abstract：Single-view 3D reconstruction based on deep learning is a research hot spot at present.In order to discover more high-frequency details，SDF-SRN algorithm introduces positional encoding，but neural network is easy to overfit without accurate supervision，and reconstructs uneven surface.To solve the problem，this paper proposed the network model based on sparse feature.The model enabled the network that preferred to overfitting to predict high-frequency residual by residual learning.The feature extraction network extracted sparse features and the global features.Then one hypernetwork took the sparse features as input and generated prediction shallow head.This shallow head predicted low-frequency part of signed distance function.Another hypernetwork took global features as input and generated another shallow head.This shallow head predicted high-frequency residual.It fused two predictions of shallow heads into final signed distance function.Spectrum analysis shows that the design purpose of network is achieved.Compared with other smooth surface reconstruction schemes，the network can achieve smoother surface reconstruction with enough details.It overcomes the overfitting of SDF-SRN.The qualitative and quantitative comparison with other advanced single-view reconstruction approaches show the superiority of the proposed approach.

Key words：deep learning；single-view reconstruction；signed distance function；positional encoding；hypernetwork；residual learning

0 引言

從圖像重建物體的三維形狀是計算機視覺領域一個重要的研究方向，之前的重建方法大多是基于多視圖幾何的，要求重建對象提供多個視圖和外觀信息［1］，而近年來隨著深度學習的快速發(fā)展，可以實現從單幅圖像重建出目標物體的三維形狀。3D-R2N2［2］使用基于LSTM網絡的深度學習模型在重建體素形狀方面取得出色的研究成果，Yan等人［3］使用編解碼器結構的網絡重建更好的體素形狀，但體素重建分辨率低，且消耗較高的計算代價和存儲空間；文獻［4，5］重建點云表示的形狀，但點云不能表達精細形狀拓撲；文獻［6，7］等重建基于網格表示的形狀，但這些方法要么容易出現自交叉［8］，無法重建水密（watertight）網格，要么受限于固定的拓撲結構。面對這些表示形式的缺陷，其他工作采用隱式場的形狀表示方式，通過隱式場函數建模形狀的表面，由于隱式場函數是連續(xù)的，能夠以任意精度、任意分辨率從這個函數中提取出表面，且可以表達任意拓撲結構的表面。文獻［9，10］通過預測3D查詢點的占據概率，建模分類決策表面表達形狀表面；文獻［11～14］使用符號距離函數（signed distance functions，SDF）建模形狀表面，符號距離表示點到表面的最近距離，點在表面外部距離為正，點在表面內部距離為負，通過回歸符號距離實現表面重建。通過多層感知機（multilayer perceptron，MLP）近似表示隱式場函數，這種表示方式也被稱為隱式神經表示（implicit neural representations）［15］。

在現實中，3D監(jiān)督數據難以獲取，為盡量避免使用3D監(jiān)督數據，可微渲染（differentiable rendering）被引入到重建算法中，Liu等人［16］實現網格重建時的可微渲染；Niemeyer等人［10］對基于占據概率的隱式表示進行可微渲染；文獻［12，13］采用Ray Marching算法對SDF表示的形狀進行可微渲染。

Lin等人［14］同樣使用基于Ray Marching算法進行2D監(jiān)督學習，同時還提出利用2D輪廓圖（silhouettes）的距離變換圖（distance transform maps）中包含的關于3D SDF的信息進行監(jiān)督學習，提出SDF-SRN算法。但SDF-SRN通過引入NeRF［17］的位置編碼（positional encoding，PE）來增強神經網絡擬合數據集中高頻部分的能力，在未使用精確的3D監(jiān)督數據的情況下，位置編碼導致神經網絡容易產生過擬合的曲面，重建表面變得凹凸不平，丟失了形狀表面大多數是光滑的這一特性。

本文針對SDF-SRN的缺陷提出一種改進思路，令容易過擬合的神經網絡預測高頻殘差，提出利用殘差學習機制的基于稀疏特征的網絡模型，在本文中稱為SRSF（surface reconstruction based on sparse feature），其創(chuàng)新點主要體現在：a）提出一種稀疏特征提取網絡，該網絡通過像素對齊的方式從圖像稀疏的空間位置提取特征；b）在SDF-SRN中的SDF預測網絡添加另一個分支，該分支以提取的稀疏特征為輸入，通過超網絡生成另一個預測SDF低頻部分的淺頭，而SDF-SRN原來的分支自動收斂學習高頻殘差；c）最后設置權重因子，將SDF預測網絡兩個分支的預測融合為最終的SDF。

1 基于殘差學習改進的單視圖表面重建

1.1 SDF-SRN相關問題分析

SDF-SRN過擬合的產生一方面是由于位置編碼映射的引入，位置編碼如式（1）所示，通過不同頻率的傅里葉基函數將輸入信號映射到高維空間上，由此通過位置編碼得到的中間特征帶有高頻分量；另一方面是其采用超網絡（hypernetworks）［18］生成的SDF預測淺頭網絡較為復雜，直接產生過擬合的曲面。如果不使用位置編碼會導致神經網絡難以學習到目標形狀的高頻細節(jié)；如果僅僅對復雜的預測淺頭進行正則化處理，又容易導致擬合的形狀不夠復雜，造成細節(jié)的丟失。

γk（p）=［sin 2^kπp，cos 2^kπp］（1）

其中：p為3D點坐標；k為控制頻率；γk（·）為將3D點坐標映射為高維向量。

針對SDF-SRN的問題，本文依然保留位置編碼來幫助神經網絡發(fā)現更多高頻細節(jié)，不過令原來容易過擬合的網絡預測高頻殘差，同時設計另一個網絡分支預測SDF中平滑的低頻部分，通過殘差學習機制，容易過擬合的淺頭以殘差的形式在平滑重建的基礎上補充更多的形狀細節(jié)。

為了能夠預測低頻部分，分別在特征提取和SDF預測部分提出兩個分支網絡——稀疏特征提取網絡和基于超網絡的SDF預測分支，并且設置權重因子將兩個分支構成最終的SDF。權重因子調節(jié)低頻預測和高頻預測的比例，適應不同類型的目標重建，實現平滑表面重建的同時，保留足夠的細節(jié)特征。

1.2 整體框架

本文提出的SRSF網絡結構如圖1所示，它主要是由特征提取網絡（feature extraction network）、SDF預測網絡（SDF prediction network）和可微渲染網絡（differentiable rendering network）組成。

特征提取網絡分為兩個分支，一個分支是稀疏特征提取網絡（sparse feature extraction network，SFENet），它提取稀疏特征；另一個分支是完整的圖像編碼器（encoder）管線，它提取全局特征。

SDF預測網絡采用超網絡的結構，該網絡以提取的兩個特征潛向量為輸入，輸出用于預測SDF值的神經網絡參數（粗的箭頭代表生成神經網絡的意思）。其中超網絡hyper_high生成MLP骨干（backbone）和一個預測淺頭（shallow head）——high_head，超網絡hyper_low生成另一個預測淺頭——low_head。從3D空間采樣3D點坐標，這些坐標通過位置編碼模塊映射為高維特征，然后輸入到MLP骨干得到中間特征，這個中間特征再分別被輸入到預測淺頭，兩個預測淺頭分別輸出SDF值的不同部分，最后淺頭輸出的這兩部分通過權重因子構成最終的SDF。

可微渲染網絡采用基于LSTM改進的Ray Marching算法，該網絡先將初始的3D點輸入到MLP骨干得到對應的中間特征，該中間特征輸入到LSTM單元和FC單元，預測下一次光線移動的步長，接著按照預測的移動步長更新3D點，更新后的3D點再次被輸入到MLP骨干，經過這樣多次迭代移動光線尋找與目標表面的交點，找到交點之后，將該交點的中間特征輸入到hyper_high生成的RGB預測淺頭rgb_head，最后輸出RGB值。

1.3 特征提取網絡

為得到不易產生過擬合的預測淺頭，有效預測SDF的低頻部分，本文提出利用稀疏特征來生成這個淺頭，該特征通過超網絡映射具有稀疏權值的神經網絡，映射的神經網絡相當于正則化后的網絡，但通過超網絡來生成這樣的神經網絡能夠將圖像所包含的形狀信息融合到網絡參數中，從而更有效地預測目標形狀的平緩符號距離場。為不過多增加網絡的復雜度，選擇對圖像編碼器輸出的特征圖以像素對齊的方式來從稀疏的空間位置提取特征，充分地利用已提取的特征，本文稱這樣提取的特征為稀疏特征，圖像編碼輸出的特征稱為全局特征。

特征提取網絡如圖2所示，它由兩個分支組成：一個分支是ResNet-18構成的圖像編碼器，如圖2中無箭頭長虛線下面部分所示，它輸出全局特征；另一個分支從圖像編碼器的中間特征圖的稀疏空間位置上提取特征，然后通過多個卷積層進行特征融合，最后一個線性層輸出稀疏特征潛向量，如圖2中無箭頭長虛線上面部分所示。

稀疏特征提取過程如下：a）將不同階段的特征圖（本文選擇layer1和layer2輸出的特征圖）上采樣到同一尺寸；b） 在圖像平面隨機采樣256個二維位置坐標，并將坐標歸一化到［-1，1］；c）在上采樣之后的特征圖上按照像素對齊的方式提取特征，即通過雙線性插值計算采樣的連續(xù)空間位置處的特征值；d）提取的特征輸入到1×1卷積

網絡中，將不同通道的特征線性組合；e）卷積層輸出的特征輸入到最后的全連接層，輸出最后的特征潛向量。

下面解釋這樣設計的原因：a）在layer1和layer2提取特征是因為在卷積神經網絡不同層提取的特征表征著不同的信息［19］，低層提取的特征主要包含幾何信息，而高層則主要包含抽象的語義信息，本文希望提取對重建形狀結構有用的特征，更加有效地生成SDF形狀預測淺頭，因此對編碼器低層輸出的特征圖提取特征，同時通過實驗發(fā)現，在layer3和layer4提取特征容易導致網絡陷入糟糕的局部最優(yōu)；b）進行上采樣是 由于layer1和layer2輸出的特征圖尺寸不同，此外，上采樣函數相當于低通濾波器，從空間維度看，提取的特征中帶有更多連續(xù)的低頻信息，這有助于神經網絡預測更平穩(wěn)變化的符號距離場；從頻域角度看，先低通濾波再進行采樣可以在一定程度上避免采樣頻率低導致的頻域混疊；c）采用像素對齊的方式提取特征是因為可以方便地按照概率分布采樣空間位置并在對應位置處提取特征；d）使用1×1卷積是因為提取的這些特征與其相鄰特征并沒有直接的空間關系，故采用通道維度的線性組合，該操作相當于進行特征融合和降維。

1.4 SDF預測網絡

SDF預測網絡采用了超網絡的結構設計，超網絡在3D查詢點和特征潛向量之間引入了乘性交互［20］，使得兩者更充分地融合，同時經由超網絡可以更自然地生成近似SDF的神經網絡。

本文提出的SDF預測網絡如圖3所示，圖中粗的箭頭代表生成的意思，即最后一層的輸出會被展示成全連接層的權重矩陣以及偏置向量，細的箭頭代表網絡的前向計算；PE amp; cat模塊代表位置編碼并將位置編碼后的特征與3D點橋接；LN指layer normalization；算法框架中hyper_low由hyper_low_0組成，hyper_low_0是利用稀疏特征生成預測淺頭的超網絡，由于稀疏特征具有較為稀疏的特征表示，hyper_low_0可有效生成具有稀疏權值的網絡，該網絡主要預測SDF的低頻部分，本文稱稀疏特征生成的淺頭為低頻淺頭（low_head）；算法框架中hyper_high由hyper_high_0～hyper_high_4這五個超網絡組成，其中hyper_high_0～hyper_high_3利用全局特征生成MLP骨干。全局特征經過卷積神經網絡高層輸出，而由于高層具有大的感受野，輸出的特征融合更大范圍的信息，并且該特征有更大的通道維度，帶有更為豐富的特征描述，所以全局特征比稀疏特征具有更高分辨率的特征信息，hyper_high_4通過全局特征生成另一個淺頭，該淺頭預測高頻殘差，本文稱這個淺頭為高頻淺頭（high_head）。SDF預測網絡的每個超網絡均由五層全連接層和ReLU激活函數組成。

MLP骨干將全局特征中包含的語義信息融入到3D點特征中，得到中間特征Fp：

F_p=f_θb（p；z_g）（2）

其中：p為3D點；θb表示生成MLP骨干的網絡參數，即hyper_high_0～hyper_high_3的參數；fθb（p；zg）表示由zg通過超網絡θb生成的神經網絡以p為輸入進行計算。

low_head和high_head以Fp為輸入，輸出的預測值通過權重因子η∈［0，1］組成最終的SDF值：

s=ηf_θl（F_p；z_s）+（1-η）f_θh（F_p；z_g）（3）

其中：θl代表low_head的網絡參數，即hyper_low_0的參數；θh代表high_head的網絡參數，即hyper_high_4的參數，權重因子η調節(jié)low_head與high_head的預測值在最終預測中所占的比例，權衡不同類別目標信號的不同復雜程度，實現最佳的重建效果。

式（3）第一項主要負責預測平緩的符號距離場，第二項則主要負責預測高頻殘差，這樣設計可以使得最終預測的SDF既具有光滑的表面性質，又帶有足夠的細節(jié)，克服了SDF-SRN在擬合高頻成分時產生過擬合的不足。

2.3 實驗結果

本文主要目標在于克服SDF-SRN在使用位置編碼之后過擬合而導致重建表面不夠光滑的問題。下面實驗首先對提出的SDF預測網絡的預測淺頭以及對應的超網絡進行頻譜分析；然后與不同的平滑表面重建方案進行定性和定量對比。最后與其他基于2D監(jiān)督學習的單視圖重建算法進行對比。

2.3.1 頻譜分析

根據文獻［22］提供的理論，隨著神經網絡頻譜范數的增加，神經網絡開始學習到信號中更多的高頻成分。圖5展示了在類別plane上訓練時，超網絡的平均頻譜范數的變化過程，其中hyper_low_0是生成低頻淺頭的超網絡，hyper_high_4為生成高頻淺頭的超網絡。隨著訓練的進行，兩個超網絡的頻譜范數逐漸增加，這表明神經網絡在逐漸學習高頻成分，生成的神經網絡越來越復雜。這兩個淺頭的超網絡之間相比較發(fā)現，低頻淺頭的超網絡頻譜范數更低，訓練過程的變化幅度也比高頻淺頭的更低，這主要歸結于稀疏特征具有更稀疏的特征表示，生成的神經網絡復雜度較低；而高頻淺頭的神經網絡比低頻淺頭復雜，因此它有著更大的頻譜范數，并隨著訓練的進行預測更多的高頻成分，變得更復雜些。

圖6展示了低頻淺頭low_head和高頻淺頭high_head的權重分布。從圖中可以明顯看出，低頻淺頭的權重主要集中在0值附近，在遠離0值處的權重數量微乎其微；高頻淺頭的權重在0值處的數量低于低頻淺頭，在其他地方則相反。權重分布圖表明低頻淺頭具有更為稀疏的權重。

圖7展示了兩個淺頭預測值的傅里葉頻譜圖，為方便進行可視化，對y=0平面的SDF進行傅里葉變換。從圖7（a）中可以明顯看出，低頻淺頭對應的預測函數的頻譜主要集中在低頻部分，高頻分量很少；而圖7（b）的頻譜顯示它具有更多的高頻分量。綜合上述結果可以證明，本文提出的網絡結構達到了相應的設計目的，稀疏特征生成的淺頭預測低頻部分，全局特征生成的淺頭預測高頻部分。

2.3.2 平滑表面重建

為了驗證本文方法在平滑表面重建方面的有效性，對多種不同平滑重建方案展開對比。首先考慮到位置編碼導致的問題，對不使用位置編碼的SDF-SRN進行對比，該方法記為NOPE。其次IGR［20］使用Eikonal方程進行監(jiān)督訓練的同時，在隱式神經網絡中使用Softplus激活函數來使得重建的表面更加平滑，根據IGR的改進方案設置實驗，記此方案為IGR-SDF。Wang等人［23］提出了另一種不同的位置編碼方案——樣條編碼（spline positional encoding，SPE），使用B-樣條函數映射3D坐標，B-樣條曲線是貝塞爾曲線的改進版本，與貝塞爾曲線一樣具有比較平滑的特性。SPE中B-樣條的控制點作為可學習的參數，控制映射函數的變化，本文將SDF-SRN中的位置編碼替換樣條編碼，記此方案為SPE。最后標準的SDF-SRN使用NeRF的位置編碼和ReLU激活函數。本文方法SRSF設置同樣的位置編碼參數，通過實驗調試，對plane、car、chair、sofa分別設置為0.8、0.6、0.2、0.5達到最好的重建效果。

圖8從左到右分別展示了NOPE、IGR-SDF、SPE、SDF-SRN、SRSF（本文方法）的重建結果和真值（ground truth，GT）形狀。NOPE不使用位置編碼導致神經網絡難以學習到數據集中的高頻成分，形狀細節(jié)和較少被觀察到的形狀部分都屬于數據集中的高頻成分，所以NOPE的特點是重建結果缺乏細節(jié)，甚至無法重建出完整的形狀，如圖8中plane和chair樣本所示。IGR-SDF采用Softplus激活函數，使得訓練過程中的梯度變化較為平緩，并使得神經網絡所代表的非線性函數具有平滑的特點，所以IGR-SDF在存在較多監(jiān)督信號的地方較易重建出平滑的表面，然而存在弱監(jiān)督信號的部分重建得較差，比如圖8中chair和sofa樣本所示。SPE具有相當的競爭性能，重建的表面同樣表現出平滑的特性，但另一方面，目標形狀在空間分布上具有一定的周期性，SPE需要通過對控制點進行學習以得到信號的周期性，對于高頻的周期成分是較難學習到的，比如圖8中plane樣本所示，而NeRF的位置編碼則直接將高頻周期的先驗代入到位置編碼，因此它在擬合高頻信號的時候具有較好的性能。SDF-SRN直接引入NeRF的位置編碼，對于提高神經網絡發(fā)現細節(jié)特征的能力有不錯的效果，但是這也帶來了負面的影響——容易產生過擬合，進而導致重建的表面出現比較嚴重的高頻波紋和錯誤的凹陷，比如圖8中car、chair和sofa樣本所示。本文方法SRSF將高頻部分的預測作為一種殘差，以一定的比例融合到預測的低頻部分中，使得重建的表面保持平滑的同時，而不丟失過多的細節(jié)。圖8展示了本文方法在整體上具有更好的重建表現。

表1展示了不同平滑重建方案的CD指標，包括acc和com，兩者通過式（13）構成CD，它們的值都是越小表明與GT形狀越接近；表2展示了不同平滑重建方案的EMD指標，它的值越小表明與GT形狀越接近。從表1中可以看出，NOPE有最差的指標數據；IGR-SDF則是在plane的chair 的acc上表現良好；SPE在plane的acc上具有較好的表現；而對于其他的類別，本文方法均取得了優(yōu)于大多數方案CD指標的acc和com，尤其對于car類別具有較明顯的優(yōu)勢，并且在完整的CD指標上，本文方法在所有類別上都最優(yōu)，這表明本文方法的重建結果在acc和com之間取得了合適的平衡，在四個類別的平均CD指標上同樣表現出最好的結果。從表2可以看出，NOPE依然是最差的，IGR-SDF在plane上表現較好，SPE在sofa上體現出微弱的優(yōu)勢，本文方法除了在plane和sofa上取得次優(yōu)的結果，在其他類別上以及四個類別的平均水平上均獲得最優(yōu)的結果。總而言之，相比于其他的平滑重建方案，本文方法有效地重建出更為平滑的表面形狀，得到更接近于真值形狀的結果，達到了良好的重建性能。

2.3.3 不同單視圖重建方法對比

本文方法與目前先進的基于2D監(jiān)督的單視圖重建方法SoftRas［16］、DVR［10］、SDF-SRN［14］和基于3D監(jiān)督的體素重建方法3D-R2N2［2］和點云重建方法PSGN［4］進行對比，其中SoftRas基于軟光柵化的可微渲染實現RGB監(jiān)督訓練，該方法依賴于變形的思想重建網格表面；DVR使用基于可微渲染的RGB監(jiān)督訓練模型，重建基于占據概率的隱式神經表示表面。3D-R2N2和PSGN分別采用體素和點云的3D監(jiān)督數據進行訓練，并分別重建體素和點云表示的形狀。評估3D-R2N2和PSGN的指標時，先將它們轉換為網格表示形式，然后再從網格表面上采樣點云。重建結果如圖9所示。

3D-R2N2重建體素表示的形狀，具有稀疏的分辨率，表達粗粒度的形狀特征；PSGN重建由稀疏點云表示的形狀，無明顯的拓撲連接，在細節(jié)處表現不足；SoftRas僅僅能夠重建出模糊的形狀模樣，這是因為SoftRas主要使用2D輪廓的監(jiān)督，它重建出來的形狀擁有與目標形狀大體一致的輪廓，但是凹入的形狀結構不能準確地恢復出來；DVR使用了RGB的監(jiān)督信息，同時在計算自由空間的占據損失時使用了部分深度信息，重建的形狀比SoftRas要好一些，但由于抹除了多視圖之間對應關系的信息，DVR重建的形狀表現出一定的模糊性，缺少很多細節(jié)，甚至不太完整；SDF-SRN使用了更多的2D的監(jiān)督信息，通過將2D輪廓的距離變換圖中包含的3D SDF的下界信息作為監(jiān)督，進一步減少了目標形狀結構的不確定性，重建的形狀更為準確，同時引入位置編碼，表現出更多的細節(jié)，但在2D監(jiān)督條件下，網絡容易過擬合導致重建的表面變得凹凸不平，與形狀表面大部分是平滑的這一特性不符。相比之下，本文方法令容易過擬合的網絡預測殘差，減小過擬合帶來的重建誤差的同時，也保留了重建表面細節(jié)的潛力，并通過稀疏特征生成帶有稀疏權值的網絡預測平滑的表面結構。本文方法在實驗中的四個類別上均重建出較高質量的平滑表面，且保留了足夠的形狀表面細節(jié)。重建結果比SDF-SRN更自然，比DVR和SoftRas更精細，總體更接近于GT形狀。

表3和4展示了CD指標與EMD指標對比。對于CD指標，由于3D-R2N2和PSGN使用了3D的監(jiān)督數據訓練，不過本文方法在一些類別上仍然優(yōu)于3D-R2N2，然而PSGN采用了CD距離作為損失函數，因此它具有最低的指標數據。與SDF-SRN相比，本文方法在大多數的類別上具有比SDF-SRN更優(yōu)的指標數據，與DVR和SoftRas相比，在實驗的所有類別上都具有較大的提升。對于EMD指標，3D-R2N2和PSGN憑借3D監(jiān)督的優(yōu)勢，要好于2D監(jiān)督方法，但在部分類別，從表4可以看出，本文方法仍表現出一定優(yōu)勢；與2D監(jiān)督方法相比，除了在plane類別上與SDF-SRN持平，本文方法在其他類別上優(yōu)于其他方法，表現出較好的重建效果。從所有類別的平均重建性能角度看，本文方法在CD與EMD兩個指標上優(yōu)于所有的2D監(jiān)督方法，部分優(yōu)于3D監(jiān)督方法，這表明了所提方法在單視圖表面重建方面的優(yōu)越性。

2.3.4 消融研究

由于本文方法在SDF-SRN基礎上提出了基于稀疏特征的SDF預測，在2.3.2和2.3.3節(jié)中，與SDF-SRN的定性和定量對比均驗證了本文提出的稀疏特征的SDF預測網絡在改善重建質量方面的有效性。另外本節(jié)為驗證可微渲染器在本文方法中的必要性和正則化損失在改善SDF預測結果的有效性，進一步進行了消融實驗。

首先為展現可微渲染器的必要性，不使用RGB損失進行實驗測試，結果如表5和6所示，w.t.rgb代表不使用RGB損失函數，w.t.eik代表不使用Eikonal損失函數，full代表完整的模型。從表中可以看出，在不使用RGB損失時，CD和EMD指標數據明顯地變大，這意味著重建質量大幅度地降低，表明了可微渲染器在網絡模型中的必要性。然后對正則損失進行消融研究，發(fā)現如果不使用光線交叉的正則損失會導致模型訓練陷入糟糕的局部最優(yōu)，從而無法重建出形狀；在不使用Eikonal損失時，表5和6顯示CD和EMD指標也有所變差，這表明了Eikonal損失在改善重建質量時具有一定的作用。表5和6同時展示了，相比于Eikonal損失，RGB損失對模型性能具有更大的影響，這主要是因為RGB圖像提供了目標物體正確視角映射關系，這種關聯有助于模型重建正確的形狀結構。在使用完整的損失函數訓練時在CD和EMD指標上均得到最好的結果，這也表明模型各個組件的必要性和有效性。

綜上所述，本文方法各部分都對更好地重建具有積極作用，基于稀疏特征的SDF預測使得重建的形狀更平滑的同時，保持細節(jié)重建的能力；可微渲染器對重建正確高質量的形狀具有極其重要的作用；光線交叉損失保證光線移動的有效，Eikonal損失則優(yōu)化預測的SDF，得到更好的預測結果。

3 結束語

本文針對SDF-SRN在引入位置編碼后，神經網絡過擬合而導致重建的表面凹凸不平的問題進行改進，通過提取不同層次的特征——稀疏特征和全局特征，并利用超網絡生成兩個不同的SDF預測淺頭，稀疏特征生成權值更為稀疏的預測淺頭，該淺頭負責預測符號距離場的低頻部分，它具有較平緩的曲面，全局特征生成另一個淺頭預測高頻殘差，憑借殘差學習機制，這種網絡設計可以實現平滑表面重建的同時，保留足夠的形狀細節(jié)。頻譜分析證實這種網絡設計達到了對應的目的，在ShapeNetCore.v1數據集上的實驗表明，提出的方法能夠有效克服SDF-SRN的缺陷，并優(yōu)于其他的平滑重建方案，與其他單視圖重建方法的定性定量對比結果表明，所提方法有效提升了重建的質量。本文主要關注物體形狀表面的重建，對于具有復雜內部結構的場景幾何形狀的重建，最近基于神經輻射場（NeRF）的研究展示了新穎的三維重建思路，可作為下一步研究方向。

參考文獻：

［1］張冀，鄭傳哲.基于多尺度 CNN-RNN 的單圖三維重建網絡［J］.計算機應用研究，2020，37（11）：3487－3491.（Zhang Ji，Zheng Chuanzhe.3D reconstruction network based on multi-scale CNN-RNN［J］.Application Research of Computers，2020，37（11）：3487－3491.）

［2］Choy C B，Xu Danfei，Gwak J Y，et al.3D-R2N2：a unified approach for single and multi-view 3D object reconstruction［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2016：628－644.

［3］Yan Xinchen，Yang Jimei，Yumer E，et al.Perspective transformer nets：learning single-view 3D object reconstruction without 3D supervision［C］//Advances in Neural Information Processing Systems.2016.

［4］Fan Haoqiang，Su Hao，Guibas L J.A point set generation network for 3D object reconstruction from a single image［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：605-613.

［5］連遠鋒，裴守爽，胡偉.融合 NFFD 與圖卷積的單視圖三維物體重建［J］.光學精密工程，2022，30（10）：1189-1202.（Lian Yuanfeng，Pei Shoushuang，Hu Wei.Single-view 3D object reconstruction based on NFFD and graph convolution［J］.Optics and Precision Engineering，2022，30（10）：1189-1202.）

［6］Wang Nanyang，Zhang Yinda，Li Zhuwen， et al.Pixel2mesh：generating 3D mesh models from single RGB images［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2018：52-67.

［7］Groueix T，Fisher M，Kim V G，et al.A Papier-Maché approach to learning 3D surface generation［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：216－224.

［8］李雷，徐浩，吳素萍.基于DDPG的三維重建模糊概率點推理［J］.自動化學報，2022，48（4）：1105-1118.（Li Lei，Xu Hao，Wu Suping.Fuzzy probability points reasoning for 3D reconstruction via deep deterministic policy gradient［J］.Acta Automatica Sinica，2022，48（4）：1105-1118.）

［9］Mescheder L，Oechsle M，Niemeyer M，et al.Occupancy networks：learning 3D reconstruction in function space［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：4460-4470.

［10］Niemeyer M，Mescheder L，Oechsle M，et al.Differentiable volumetric rendering：learning implicit 3D representations without 3D supervision［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：3504-3515.

［11］Park J J，Florence P，Straub J，et al.DeepSDF：learning continuous signed distance functions for shape representation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2019：165-174.

［12］Jiang Yue，Ji Dantong，Han Zhizhong，et al.SDFDiff：differentiable rendering of signed distance fields for 3D shape optimization［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2020：1251-1261.

［13］Liu Shaohui，Zhang Yinda，Peng Songyou，et al.DIST：rendering deep implicit signed distance function with differentiable sphere tracing［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：2019－2028.

［14］Lin C H，Wang Chaoyang，Lucey S.SDF-SRN：learning signed distance 3D object reconstruction from static images［C］//Advances in Neural Information Processing Systems.2020：11453-11464.

［15］Yariv L，Kasten Y，Moran D，et al.Multiview neural surface reconstruction by disentangling geometry and appearance［C］//Advances in Neural Information Processing Systems.2020：2492－2502.

［16］Liu Shichen，Li Tianye，Chen Weikai，et al.Soft rasterizer：a differentiable renderer for image-based 3D reasoning［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：7708-7717.

［17］Mildenhall B，Srinivasan P P，Tancik M，et al.NeRF：representing scenes as neural radiance fields for view synthesis［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2020：405－421.

［18］Ha D，Dai A，Le Q V.Hypernetworks［EB/OL］.（2016-09-27）.https：//arxiv.org/abs/1609.09106.

［19］黃有達，周大可，楊欣.結合多尺度融合特征和殘差注意力機制的聯合三維人臉重建及密集對齊算法［J］.計算機應用研究，2021，38（7）：2175－2178，2187.（Huang Youda，Zhou Dake，Yang Xin.Joint 3D reconstruction and dense alignment algorithm combining multi-scale fusion features and residual attention mechanism［J］.Application Research of Computers，2021，38（7）：2175－2178，2187.）

［20］Jayakumar S M，Czarnecki W M，Menick J，et al.Multiplicative interactions and where to find them［EB/OL］.（2020）.https：//openreview.net/pdf？id=rylnK6VtDH.

［21］Gropp A，Yariv L，Haim N，et al.Implicit geometric regularization for learning shapes［C］//Proc of International Conference on Machine Learning.2020：3789－3799.

［22］Rahaman N，Baratin A，Arpit D，et al.On the spectral bias of neural networks［C］//Proc of International Conference on Machine Lear-ning.2019：5301－5310.

［23］Wang Pengshuai，Liu Yang，Yang Yuqi，et al.Spline positional encoding for learning 3D implicit signed distance fields［EB/OL］.（2021）.https：//arxiv.org/abs/ 2106.01553.

收稿日期：2022－06－11；修回日期：2022－08－08 基金項目：河北省自然科學基金資助項目（F2019202387）

作者簡介：梁春陽（1996－），男，山東聊城人，碩士，主要研究方向為深度學習與三維重建；唐紅梅（1968－），女（通信作者），河北石家莊人，副教授，主要研究方向為圖像處理與模式識別（hmtang2005@163.com）；席建銳（1998－），女，河南南陽人，碩士研究生，主要研究方向為深度學習與三維重建；劉鑫（1998－），女，河北石家莊人，碩士研究生，主要研究方向為圖像處理與深度學習．