雙分支結構的多層級三維點云補全

邱云飛，王宜帆

遼寧工程技術大學軟件學院，遼寧 葫蘆島 125105

點云是三維點的數據集合，包含三維坐標、強度、顏色和時間戳等信息，具有存儲空間小，操作靈活且能夠極大程度上保留原始的幾何信息等特點，是一種非常重要的三維數據表達形式。隨著激光雷達、激光掃描儀和RGB-D 掃描儀等三維掃描設備的普及，點云變得更容易捕獲，更是被廣泛應用在各種視覺領域，例如三維場景重建[1]、立體視覺[2]、自動駕駛感知定位[3]、三維測量[4]、視覺引導[5]等。但在現實場景中對點云數據進行采集時由于傳感器分辨率限制，物體遮擋、陰影以及拍攝角度等諸多外界因素的影響，往往造成獲取到的點云數據不完整，進而無法準確描述物體的幾何信息。在點云研究領域中，點云殘缺的問題會嚴重影響點云相關技術的發展和應用，因此點云補全具有重要意義。

點云補全是由局部點云衍生而來的生成和估計問題，著重研究針對輸入的殘缺點云進行修復并預測出完整的點云形狀的問題。由于基于深度學習的點云補全方法泛化性能強，不僅能夠有效避免大量的內存消耗而且可以降低幾何信息的誤差，使其逐漸成為點云研究的一項重要課題。點云神經網絡[6]（PointNet）是最早被提出的能夠直接作用在無序點集上的網絡結構，在點云研究中具有里程碑式的意義。雖然其在點云分類和分割上都具有很好的表現，但是應用到點云補全時卻只關注全局幾何信息而忽略了局部信息。擴展點云神經網絡[7]（PointNet++）是PointNet 的延伸，在其基礎上加入了多層次結構，使得網絡能夠在逐漸增大的區域上獲取更高級別的特征，增強感知局部特征的能力，有效彌補了PointNet缺少局部特征的問題。點云補全網絡[8]（PCN）直接處理原始點云，不需要任何結構假設（如對稱性）或底層形狀的注釋（如語義類），其解碼器能夠在保持少量參數的同時生成細粒度的補全。點分形網絡[9]（PFNet）采用基于特征金字塔網絡[10]（FPN）的解碼架構，增強了包含在最終特征圖中的幾何和語義信息，充分利用提取到的特征去預測點云的幾何形狀，但在特征提取階段PFNet僅使用下采樣方法，從不同分辨率下提取點云特征，并未真正獲得點云豐富的局部幾何信息。2021年，首次提出了基于對抗網絡逆映射的無監督點云補全方法，將生成對抗網[11]逆映射引入到點云補全中，網絡框架利用梯度下降[12]的方法反傳損失函數來更新潛碼并且微調預訓練的對抗網絡，從而使生成的完整點云與輸入的殘缺點云的空間分布最為接近。另外，PMPNet[13]模擬移動行為，將不完整點云中的逐個點進行移動，根據基于點的總移動距離的約束為每個點預測唯一的點移動路徑，以此來組成補全點云。但是，由于點云先天具有無序、離散等特點，導致生成式模型PMPNet 難以捕捉完整點云在細節處的拓撲結構，因此難以實現高質量補全。為此，PMPNet++[14]提出了一種非生成式的新網絡結構，采用“變形”的方式來進行點云補全。具體來說，PMPNet++通過多步移動殘缺形狀的每一個點來完成從殘缺點云到完整點云的變形過程，但是在此過程中不可避免會造成特征向量的信息缺失致使幾何形變。最近，LAKNet[15]提出一種新穎的拓撲感知點云補全模型，通過對齊關鍵點定位，表面骨架生成和形狀細化，恢復缺失點云。LAKNet基于幾何先驗和關鍵點設計了一種名為表面骨架的新型結構，從關鍵點捕獲信息來表示完整拓撲信息，卻難以應對原始形狀的拓撲缺失情況。根據上述內容，不難發現現有的點云補全方法雖然在點云補全任務中已經取得一些成果，但仍存在對點云局部幾何信息提取不充分，在解碼時往往只是使用單層全連接結構作為輸出層去預測點云，造成局部幾何信息丟失進而導致目標物體的細節補全效果較為粗糙等問題。

針對目前點云補全問題和研究現狀，提出一種雙分支結構的多層級點云補全網絡。網絡整體采用編碼器-解碼器的結構。在編碼器中采用雙通道設計，同時對輸入點云的全局特征和局部特征進行提取，不僅關注全局幾何信息而且注重局部結構信息，有助于學習輸入點云的特征。使用在多層感知機（multilayer perceptron，MLP）的基礎上進行優化的五層聯合感知機（five levels combinate perceptron，FLCP），將特征映射到不同維度并整合包含豐富特征信息的特征向量，促進點云特征的提取和編碼。解碼器使用從上到下的層級結構，利用三層全連接層去逐層預測點云形狀，充分保留輸入點云的原始結構。采用多層補全損失函數和基于鑒別器網絡的對抗損失函數更加合理地評估模型誤差，不斷優化網絡。實驗證明，這種網絡結構既能在特征提取階段獲取相對全面且具有代表性的語義和幾何信息，又能夠將提取到的特征信息有效地運用在預測點云形狀的過程中，更加準確、細致地恢復殘缺點云的形狀，取得較好的補全效果。

1 相關工作

根據點云補全所采用的網絡結構，將現有算法分成四種，分別是基于點、基于圖、基于卷積、基于Transformer模型的方法。

基于點的補全方法主要通過利用MLP獨立地建模每個點來實現，依據點云的變換不變性通過對稱函數（如最大池化）聚集全局特征，然而整個點集中的幾何信息和相關性卻沒有被充分考慮。由PointNet 首創并使用MLP 來處理和恢復點云。PointNet++和TopNet[16]結合了分層結構，用以考慮幾何結構。Yu等人[17]受PointNet和PointNet++的啟發，提出了PUNet（point cloud upsampling network），通過基于亞像素卷積層的特征縮放來學習多尺度特征。因為PUNet 主要用于從稀疏點云聚類生成單個密度更高的點云而不是完整點云，所以既無法填充大洞和缺失的部分也不能向點云的重采樣部分添加有意義的點。另外，為了減輕MLP 帶來的結構損失，Groueix等人[18]提出AtlasNet通過評估一組參數曲面元素重構完整輸出，從中可以生成完整的點云。然而，基于點的方法也有一定的局限性。雖然其可以在局部水平上獨立地處理點以保持排列的不變性，但同時忽略了點和其相鄰點之間的幾何關系，導致了局部特征的丟失，無法合成復雜的拓撲，在大型場景中不如基于卷積的方法。

由于點云和圖像數據都可以看作非歐幾里得結構（non-Euclidean geometry）的數據，通過將點或局部區域作為一些圖的頂點來探索點或局部區域之間的關系是非常方便的。作為一項開創性的工作，Wang 等人[19]在DGCNN（dynamic graph convolutional neural networks）中引入了一種動態圖卷積方法，在動態圖卷積中，相鄰矩陣可以通過來自潛在空間的頂點關系來計算。Hang等人[20]設計了一個基于圖形注意的跨區域注意模塊（cross regional attention network，CRA-Net），該模塊量化了特定上下文中區域特征之間的潛在聯系，并通過全局特征進行解釋，每個條件區域特征向量都可以作為圖的注意進行搜索。但是，構建基于圖的網絡仍存在以下兩個挑戰：第一，定義一個適合于動態大小鄰域的算子，并維護CNN 的權重共享方案。第二，利用每個節點的鄰居之間的空間和幾何關系。

受卷積神經網絡（convolutional neural networks，CNNs）在二維圖像上的取得巨大成功的影響，一些工作嘗試利用三維CNNs 來學習三維點云的體素化表示。然而，將點云轉換為3D 卷積將會帶來量化效應造成細節的丟失，難以表示細粒度的信息。因此，一些工作直接將CNNs應用于不規則、局部和缺失點云上進行三維形狀補全。其中，Hua等人[21]在規則的三維網格上定義了卷積核，將這些點在同一網格中給予相同的權值。Chibane 等人[22]設計的隱式特征網絡（implicit functions network，IFNets）用來處理拓撲結構，不但能夠提供連續且完整的3D 形狀，而且可以保存大量提取的隱式函數的信息在恢復細節信息上有非常好的表現。然而，卷積過程體素化會導致幾何信息的不可逆損失。因此，Xie等人[23]引入了網格殘差網絡（gridding residual network，GRNet），并將三維網格作為中間表示來調整不規則點云。GRNet 采用Gridding 操作將無序的點云規則化至3D 網格，再經Gridding Reverse 轉換回點云后由Cubic Feature Sampling從三維特征圖中抽取點云中點的特征并保留上下文信息，但是GRNet的網格化表示僅適用于重建低分辨率的形狀。為此，Wang 等人[24]開發了一種利用邊緣生成的體素化補全網絡，將無序點集轉換為網格表示，以支持邊緣生成和點云重建。但是基于體素三維數據表示仍存在一些局限性，通常包含掃描環境中非真實存在的部分，導致無效數據消耗計算機存儲。其次，體素或網格的大小難以設置，不但影響輸入數據的規模而且可能會破壞點之間的空間關系。

Transformer[25]最初被提出用于自然語言處理中的句子編碼，之后在二維計算機視覺、領域流行起來。由Pointformer[26]、Point Transformer[27]首創的Transformer已經開啟了點云處理的篇章。Yu 等人[28]認為點云補全是一個集到集的轉換問題，因為基于Transformer 模型具有學習能力強且能夠提取點之間相關性特征的優點，于是提出了一種用于點云補全的Transformer 結構，將點云表示為一組具有位置嵌入的無序點并設計了模擬局部幾何關系的幾何感知塊。Lin等人[29]提出了一種在AtlasNet 的基礎上融合Tansformer 的改進算法，利用Transformer的注意機制提取點云內的局部上下文，基于變形圖集的點生成網絡來預測缺失區域。然而，基于Transformer 的補全方法仍有不足，Transformer 參數的數量太大導致不易在設備上部署，而且Transformer 增強性能的機制難以解釋。

綜上所述，已有算法在特征提取過程中難以同時兼顧局部特征和全局特征，往往忽視局部幾何信息的捕捉。為此提出了雙分支結構的多層級點云補全算法，以緩解基于點的補全算法因為缺乏點云的局部特征導致無法恢復詳細的形狀和細微結構，從而影響點云補全精度的問題。

2 本文算法

2.1 算法整體架構

雙分支結構的多層級點云補全算法架構如圖1 所示，其主要功能模塊是：

圖1 基于雙分支結構的多層級點云補全網絡Fig.1 Multi-level point cloud complement network based on dual-branch structure

（1）雙分支編碼器。為了更好地提取部分點云的特定特征，提出了一種雙分支編碼器，分別提取點云的共性特征和個性特征，在學習對象的整體特征的同時又能夠有效學習局部細節和特性。優化多層感知機為五層聯合感知機，能夠從部分點云的特征點中提取多維特征，這些多尺度特征包括低層特征和高層特征，增強了網絡提取語義和幾何信息的能力。

（2）多層級解碼器。多層級的解碼器利用三層全連接層以不同分辨率去分層預測點云，可以保持原始部分的空間排列和幾何特征，有助于網絡更好地感知缺失部分的位置和結構，恢復原始細節形狀并生成高質量的缺失區域點云。

（3）聯合損失函數。多級補全損失使網絡更加關注特征點，基于對抗結構的鑒別器能夠進一步改善同一類別不同物體間的特征會相互影響的問題，補全算法結合對抗損失和多級補全損失去優化網絡，使ShapeNet數據集上的補全精度有了明顯提升，呈現出更細致的可視化結果。

圖中Shared MLP表示共享多層感知機，Maxpooling表示最大池化操作，Expand表示擴展操作，{}表示特征維度，FC（fully connected）表示全連接層，Linear表示線性層，N、N1、N2分別表示三層輸出點云的數量，P1、P2、P3 表示不同分辨率的預測點云，Q1、Q2、Q3 表示不同分辨率的真實點云。網絡采用雙分支結構的編碼器和多層級的解碼器，引入鑒別器網絡去判別真假點云并優化網絡。編碼階段，將殘缺點云作為輸入，經過第一條通道PointNet網絡逐點提取特征，獲取點云的全局特征；同時經過第二條通道PointNet++網絡對點云的局部特征進行提取，將提取到的全局和局部特征進行拼接和融合，使其擴展成維度統一的特征向量，然后通過五層聯合感知機對特征向量進行編碼并輸送到解碼器。解碼階段，特征向量經過從底端到頂端三個全連接層構成的多層級解碼器，在每個全連接層中以不同的分辨率預測點云。最后，鑒別器網絡將預測的缺失點云與真正缺失點云進行比較去構造對抗損失函數，并結合多級補全損失函數聯合訓練網絡，通過最小化整體損失函數去不斷優化網絡。實驗證明，這種網絡結構既能在特征提取階段獲取相對全面且具有代表性的語義和幾何信息，又能夠將提取到的特征信息有效地運用在預測點云形狀的過程中，更加準確、細致地恢復殘缺點云的形狀，取得較好的補全效果。

2.2 雙分支編碼器

由于點云補全任務往往要求網絡基于潛在特征輸出更準確、更復雜的結果，這意味著局部特征提取的波動很可能導致誤報，所以現有的方法試圖從部分點云的局部相鄰點提取特征，通過犧牲局部特征提取提供的詳細信息以保證全局特征提取提供的穩定。然而，在特征提取過程中上述方法總是難以平衡全局和局部特征，從而影響特征提取效果，因此具有局部特征感知模塊的網絡能夠更好地重構目標對象的細節。事實上，PointNet的作者曾嘗試在編碼器中引入局部特征提取，但結果表明其性能不如僅使用全局池化的基于PointNet 編碼器的方法。研究發現在PointNet 的主干中添加局部特征感知模塊將明顯改善點云分類或分割的網絡性能，但是上述有效的點云生成和補全方法仍然堅持全局特征提取。為此，提出基于雙分支結構的編碼器，該編碼器在全局特征提取網絡PointNet 的基礎上添加獨立的局部特征提取單元PointNet++，使得網絡對空間結構的細節更加敏銳，增強點云補全網絡學習局部細節和特性的能力。

現有的大多數提取點云特征的方法，往往能夠做到較好地提取全局特征，但又會不可避免地忽視局部幾何信息的獲取；或者關注局部特征提取的同時又無法對全局特征達到較好的提取效果。雙分支編碼器組合全局特征提取模塊（PointNet）、獨立局部特征提取模塊（PointNet++）和五層聯合感知機（FLC-P）模塊三部分，通過并行的兩個獨立路徑分別提取點云特征，有效避免在提取點云特征的過程中兩者的相互干擾，既能提取到高質量的全局特征又能保證局部特征學習的準確性，將輸入的點云數據中的幾何信息編碼為用于指導生成完整點云的最終特征向量。

第一部分采用PointNet網絡提取點云的全局特征，結合逐點的MLP 和對稱聚合函數，保證點云空間排列的不變性和擾動的魯棒性，有利于在點云上進行有效特征學習。網絡輸入M個無序點云，構成M×3 的三維坐標矩陣，由共享多層感知機先將每個點坐標映射為{128，256}特征向量并構成特征矩陣，然后執行逐點Maxpooling得到初級全局特征，再將獲得的初級全局特征與特征矩陣進行擴展和拼接生成特征增強矩陣并送入共享多層感知機，由MLP 進一步逐點映射為{512，1 024}維度的特征向量，接著再次采用最大池化操作得到1 024維的全局特征向量vi∈R1024,R 表示特征維度。

第二部分遵循PointNet++網絡結構通過對輸入點云的幾個局部區域進行迭代最遠點采樣[30]，單獨提取局部特征，以此來獨立編碼局部特征向量。在第一個迭代最遠點采樣（FPS）層中，將局部區域的點數下限設置為8來保證局部特征提取的穩定性，將采樣到的點經MLP逐步映射為{128，256}維度。接著，繼續最遠點采樣過程，直到選擇n個密集區域，同樣利用共享多層感知機和最大池化對特征向量進行編碼，最終提取n×1 024 維局部特征向量vj∈R1024,其中n表示區域個數。之后，網絡將全局特征向量進行擴展形成與局部特征向量同等大小的向量并與獨立提取的局部特征進行拼接，再將拼接后的特征向量送入五層聯合感知機，組合五層維度的特征向量形成包含低級和高級特征信息的最終特征向量V∈RK,K=n×1 984，如公式（1）所示：

在之前的大部分工作中，將MLP 作為特征提取的編碼器，每個點映射到不同的維數并直接從最后一層的感知機中提取最大值，形成全局特征向量。但是，這種方法不但忽視了前幾層感知機的特征信息，而且根據L-GAN 和PointNet 可知該特征提取器的性能受到最大池化層的維數的強烈影響，進而限制下游任務的開展[31]。

為此，設計FLCP 結構如圖2 所示。區別于MLP 使用最后的單層來提取特征向量，FLCP 依據編碼過程中點云映射的維數，將特征點的信息編碼成多個維度，在不同維度的五層{64，128，256，512，1 024}中均使用最大池化操作提取多層特征進而獲取多維特征向量。這種結構不但充分考慮到了每一層感知機的特征信息，而且積極緩解最大池化層的維數對特征提取器性能的干擾，為后續特征解碼提供幫助。

圖2 五層聯合感知機Fig.2 Five levels combine perceptron

2.3 多層級解碼器

目前在解碼階段，大部分補全方法都是通過最后一層的全連接層來預測點云，導致只保留了全局特征而未充分利用提取到的局部特征[32]，影響點云補全效果。另外，之前的方法總是從不完整的點云生成點云的整體形狀，總是改變現有的點伴隨著噪聲和幾何損失。為了更好地重建缺失點云，本算法設計了多層級的特征解碼結構，將不完整點云作為輸入，只輸出缺少部分的點云而不輸出整個物體。這種架構不但能夠保留修復后的原始點云的幾何特征而且有助于網絡集中感知缺失部分的具體位置和細微結構。與現有的點云補全網絡不同，多層級解碼器針對編碼器傳遞的特征向量進行不同維度的解碼，充分利用多維度的特征信息，從稀疏到密集分層逐步完成點云補全操作，最大程度恢復缺失區域的詳細幾何結構，促進網絡生成高質量的點云。

多層級解碼器以最終特征向量V作為輸入，對獲取的特征進行降維，分層解碼特征向量，輸出三種尺度的點云數據。在解碼過程中，最終特征向量V經過Linear在三層全連接層獲得三個子特征向量{256，512，1 024}，子特征向量遵循自頂向下的順序，在每層采用卷積和線性變換操作得到64×3、64×2×3、128×4×3的特征矩陣，在各個層級間采取用擴展、添加操作和尺寸調整等操作，將上層結構中低分辨率的信息逐級傳遞給下層結構以此來補充語義信息用于高分辨率的預測。其中，第一層預測包含整體關鍵信息的主要點云P1，第二層預測中級點云P2，第三層預測包含更多細節信息的點云P3。多層級解碼器采用分層解碼結構在每個層進行單獨預測，利用連續的層級結構漸進式增強下層必要信息，在上層預測點的基礎上不斷生成新的點云，通過監督每一階段的點云來逐步提升預測點的質量，最后整合全部的預測結果生成從粗略到細致的點云，實現形狀補全，具體過程如圖3。

圖3 分層預測點云Fig.3 Hierarchical prediction point clouds

根據圖3可知，多層級解碼器借鑒圖像處理中經典的尺度不變特征變換算法[33]，采用特征金字塔加粗樣式的方式，對編碼出的特征進行多尺度的解碼，生成不同分辨率的點云。這種解碼結構有效運用多種維度信息，通過三個聯合層產生逐級遞增的預測，輸出不同數量的點云，使得預測結果具有更少的畸變，合理改善了點云補全精度較低的現狀。

2.4 損失函數

本算法的損失函數由是多層級補全損失和對抗損失構成的，設置倒角距離（CD）和搬土距離（E-MD）[34]用來評估模型的預測值與真實值的誤差大小。Q表示真實點云集合，P表示生成的點云集合，x、y是Q、P中的點云。在使用倒角距離計算補全損失時，先是對于P中的每個點找到其與Q中距離最近的點，計算歐氏距離后求和取平均，作為距離公式的第一部分；然后第二部分相似，對于Q中的每個點，找到其與P中距離最近的點，計算歐氏距離后求和取平均。其計算公式為：

搬土距離要求兩點之間存在點對點單一映射，φ表示映射函數，其計算公式為：

多層級解碼器預測出三種不同分辨率的點云，由此產生的多級補全損失Lcom包括式（2）中的三項，dCD1、dCD2和dCD3，利用超參數g加權。多級補全損失的設計增加了特征點的比例，使得網絡更好地關注特征點。dCD1代表預測的骨架點與對應的真實點云之間的實際距離，dCD2、dCD3分別計算中級點云和細節特征點云與對應真實點云的損失。生成點云和真實點云之間的差值越小，表示點云補全的效果越好，質量越高。計算公式如下：

式（5）用于計算對抗損失，其中Ladv表示對抗性損失使用交叉熵損失計算，其中S表示Q、P點集的大小，i表示數據集中的點，在訓練時使用Adam 聯合優化生成點云網絡和鑒別器D。

設計的鑒別器結構類似簡化的FLCP，對MLP最后三層{64，128，256}進行最大池化操作得到特征向量，然后連接特征向量經過三層全連接層{256，128，16，1}，最后通過sigmoid 分類器預測真假點云，輸出二值結果。在計算整體損失函數時，對多級補全損失和對抗損失進行加權，設置權重τcom+τadv=1,L表示整體損失函數：

鑒別器的主要作用是區分生成點云和真實點云，使用生成的點云去“迷惑”鑒別器，通過判定結果計算對抗損失并調整神經網絡參數，以優化整個補全網絡，其目標是最大限度地提高識別真假點云的準確率，指導網絡生成高質量的點云數據，提高點云補全的性能。

3 實驗分析與討論

3.1 數據集

實驗選用ShapeNet數據集，ShapeNet是一個由對象的三維CAD 模型表示的形狀存儲庫[35]，其包含來自多種語義類別的三維模型，注釋豐富而且規模龐大，成為計算機圖形學和視覺研究的大規模定量基準。

在基準數據集ShapeNet中使用13類不同的對象來訓練模型，將其中80%作為訓練集，20%作為測試集，分別從包、飛機、滑板、耳機、帽子、汽車、桌子、杯子等類別中提取了模型，逐個訓練每個類別的補全網絡。在每個形狀上均勻地采樣2 048 個點來生成真實點云，在多個視點中隨機選取一個視點作為中心，通過從已有的完整數據中去除一定半徑內的點來獲取不完整點云數據。對于每個模型，在實驗中選用缺失率為25%的點云數據進行訓練和測試，所有輸入點云數據均以原始點為中心，將坐標歸一化為[-1,1]。

3.2 實驗設置

在Pytorch 框架上訓練網絡，進行了400 個周期的培訓，批處理大小為36，使用初始學習率為0.000 1 的Adam優化器（adaptive moment estimation），編碼器、解碼器以及鑒別器均通過使用Adam 優化器進行交替訓練[36]。在鑒別器中使用批歸一化和正則化激活函數[37]，加快模型收斂速度，但在多分辨率解碼過程中，每個共享MLP 的隱藏層均采用RELU 作為激活函數，只在最后一層使用線性激活函數[38]。訓練過程是在一臺32 GB的Nvidia Quadro RTX 6000 GPU上實現的，配置深度學習環境為python3.6.13、cuda10.0、cudnn7.6.0。

設置PointNet 網絡中第一個共享MLP 為{256，512}，第二個共享MLP 的參數為{512，1 024}；設置PointNet++中第一個共享MLP 為{256，512}，第二個為{512，1 024}，設置n=16；在解碼階段，根據每個形狀的點數，通過改變N來控制最終預測點云的數量，設置N1=64,N2=128,N=512。

4 實驗結果與分析

將本算法在ShapeNet數據集上的補全結果可視化，并與GRNet、PCN、3D-Capsule[39]、PFNet、SnowflakeNet[40]以及PMPNet++的補全結果相比較。GRNet設計了網格和網格反向方法將點云轉換為三維網格解決點云體素化時引入量化誤差從而丟失物體細節的問題，同時提出了立方特征采樣層來提取相鄰點的信息同時保存上下文知識，用于更好地補全缺失點云。PCN連續使用兩個PointNet層對特征信息進行編碼，在解碼過程中采用折疊操作，先將一個規范的二維網格變換到三維空間，再變形成點云的表面形狀。折疊操作本質是一個通用的二維到三維的映射，PCN以自監督的學習策略由粗到細的方式生成密集的完整點云。3D-Capsule 是一種無監督的膠囊網絡，用于學習非結構化三維數據通用表示的自動編碼器，采用類似PointNet的輸入層來考慮點云的稀疏性，通過一個無監督的動態路由協議算法提供支持，尊重各部分之間的幾何關系，顯示出較好的學習能力和泛化屬性。PFNet 只使用部分點云來預測缺失點云，通過降采樣方式提取不同分辨率的點云特征，利用基于特征點的多尺度分層網絡生成點云。SnowflakeNet將完整點云的生成轉換成一種顯式的且具有局部結構化特性的分裂過程，設計雪花反卷積（SPD）用于漸進地增加點數，通過按點分裂操作將父節點的形狀特性轉移到子節點當中，同時引入Skip-Transformer 用于捕捉局部形狀特性和相鄰SPD 之間的分裂模式，從而使SPD之間能夠相互協作，并更好地生成具有良好細節特征的完整點云。PMPNet++整體上由三層點移動模塊（PMD-module）組成，每一層PMD模塊為點云預測逐點偏移向量從而達到變形補全的目的。相較于之前的PMPNet，PMPNet++在每一層PMD 模塊的編碼階段引入Transformer，幫助網絡利用注意力機制來更好地捕捉形狀上下文信息，從而提高補全性能。

由于上述方法都是在不同的數據集中訓練的，為了便于定量評價分析，實驗采用同一數據集ShapeNet并按照相同方式對所有方法進行訓練和測試。

4.1 ShapeNet補全結果

使用本算法對ShapeNet 數據集上的殘缺點云進行補全測試，將倒角距離和搬土距離作為評價指標，倒角距離在訓練形狀補全網絡時側重整體的網絡結構，搬土距離則是以局部細節為關鍵。計算得到的結果越小，表明網絡預測生成的完整點云與實際點云越接近，網絡補全點云的性能越好。誤差主要分為前后兩部分，前面是預測點云指向真實點云的誤差(P→Q)，用于衡量預測與真實情況之間的差異；后面是真實點云指向預測點云的誤差(Q→P)可以反應真值表面被預測點云覆蓋的程度。

不同方法下整體點云的CD 結果如表1 所示，每個倒角距離均乘以103，可以明顯看出本算法在大多數類別上的性能都優于其他現有方法，除去汽車、電腦、滑板這些類別外，剩下的10 個類別均較其他方法中的最好結果有所提升，誤差平均值也降低至0.519/0.385。

表1 不同方法下整體點云的倒角距離(dCD)Table 1 Chamfer distances of overall point cloud under different methods (dCD)

不同方法下整體點云的EMD 如表2 所示，每個搬土距離均乘以102，本算法在九個對象的補全過程中的預測點云指向真實點云的EMD 數值均小于其他方法，同時平均EMD也有所改善。這是因為多層級解碼結構更有利于捕捉點云中逐點間的相關性信息，能夠在補全過程中將核心放在關鍵性結構的生成上，而不是只關注如何降低點云EMD值。

表2 不同方法下整體點云的搬土距離(dEMD)Table 2 Earth mover’s distances of overall point cloud under different methods (dEMD)

上述表格中整體點云補全產生誤差由缺失區域的預測誤差和原始部分形狀的變化兩部分組成。由于實驗過程中將物體的部分形狀作為輸入，只輸出缺失區域的點云，保留原有部分的形狀而沒有經過調整，因此表3同樣計算了缺失區域誤差以保證模型評估的合理性。具體來看，網絡在飛機、包、帽子、椅子、吉他、臺燈、杯子、滑板和桌子等九種類別的CD值優于其他網絡，結果證明本算法無論在整體點云還是缺失區域點云的補全任務中，都可以生成精度更高、畸變更小的點云。

表3 不同方法下缺失區域的倒角距離(dCD)Table 3 Chamfer distances of missing regions under different methods (dCD)

比較六種方法與本算法在ShapeNet 數據集的補全性能，其可視化結果如圖4 所示，圖中依次包括殘缺的輸入點云、經過PCN、3D-Capsule、PFNet 和本算法得到的補全點云，以及對應的真實點云。

圖4 不同方法下點云補全結果可視化Fig.4 Visualization of point cloud completion results under different method

其中，PCN 關注全局特征，解碼時融合兩種操作產生由粗到細的點云，但由于對局部特征的提取不充分，面對一些包含細微表面的物體時無法完整恢復這些結構，而且存在預測點云在空間中的分布不均勻的現象，如桌腿和帶有空隙的椅背。3D-Capsule 運用自動編碼器，在處理稀疏的3D點云的同時，能夠有效保留輸入數據的空間分布，相比其他自動編碼的方法，其分類的精確度更高，但在面對原始表面較為復雜的補全任務時，會造成過度填充缺失結構的問題，進而導致物體形狀失真。PFNet雖然利用多個全連接層輸出預測結果，使點云生成過程更為平穩，但在編碼時僅是在輸入點云的基礎上不斷進行下采樣提取特征，沒有真正意義上學習到點云的全部局部特征，所以對一些細節結構進行恢復時產生結構連接斷裂或錯誤補全結果，如杯子的手柄。本算法基于雙分支編碼器，獨立編碼全局特征和局部特征同時利用五層聯合感知機獲取多尺度特征信息，最后采用分層解碼結構由粗糙到詳細預測出三種規模的點云。在圖中可以明顯看出本算法的補全效果更好，針對不同類別的物體均給出了更精細的結果，始終提供一個平滑的全局形狀（如包的邊緣輪廓），且輸出的點云在空間分布上具有較好的均勻性，很好地保留了輸入點云的細節特性（如條狀鏤空的椅背），較大程度地提升了點云補全的性能。這說明本算法的重建能力強，預測的點云形狀具有很強的空間連續性，對于細微結構也能實現較為精細的補全，有效提高了點云補全精度。

另外，在點云補全任務中GRNet雖然考慮了點云的空間結構和局部信息，但是在轉換過程中容易造成特征信息冗余、增大量參數。SnowflakeNet作為一種局部結構化的點云生成方式，采用漸進式粗到細解碼的方法進行補全形狀，傾向于預測粗糙的缺失形狀特別是對于具有平面或表面的幾何圖形。SnowflakeNet 雖然通過逆向卷積獲取局部形狀信息來更好地捕捉和還原物體的局部幾何特性，但是忽視了全局信息的穩定性，產生局部聚集并生成散亂點。此外，PMPNet++將上層偏移特征將作為歷史偏移信息來指導下次變形過程，不斷整合當前與歷史移動信息并傳入下一層PMD指導下一次偏移，往往造成錯誤偏移信息持續傳遞，引發形狀嚴重畸變。綜上，本算法既能獨立且全面地學習局部特征和全局特征，又能在不同層次上預測點云形狀，擁有更精準的細微結構補全能力。

4.2 消融實驗

為了進一步檢驗網絡的合理性和有效性，使用不同缺失程度的點云數據來測試算法的補全性能。

實驗選用飛機、椅子和桌子三個類別分別在三種缺失率25%、50%、75%下進行訓練。考慮到網絡的定量評價，通過改變解碼器中的N來控制網絡輸出點的數量，以分別訓練網絡在多種缺失率下的修復能力。具體結果如表4，顯示了本算法在測試集中的性能。

表4 不同缺失程度下點云補全性能Table 4 Point clouds completion performance under different missing ratio

圖5 可視化了CD 值的變化過程，可以看出盡管輸入點的數量相較于真實點云數據由25%逐漸減少至75%，網絡的誤差卻始終保持相對穩定，沒有呈現出較大程度的波動。實驗結果表明，該網絡在缺失大量點云時，仍然能夠提供與殘缺對象的真實形狀非常接近的預測，這意味本算法無論是在稀疏還是稠密的點云空間分布下，都能夠準確地識別并補全不同類別的對象，較大范圍上保留了原始點云的幾何細節，證明模型具有很強的健壯性，能夠很好地適應各種數據缺失的情形，在點云補全任務中有較為出色的表現。

圖5 不同缺失率下點云的補全結果折線圖Fig.5 Visualization of point completion results under different missing ratio

為了評估網絡中不同模塊的性能，實驗還分別統計了刪除PointNet模塊、刪除PointNet++模塊以及將MLP替換為FLCP的補全效果。保證網絡其他結構不改動的基礎上，進行了三個版本的消融實驗。結果如表5 所示，單獨使用PointNet 模塊提取特征時，取得了最高的誤差值，其CD 增加到0.605/0.568，EMD 擴大至3.429/3.353；單獨使用PointNet++模塊提取特征時其結果優于前者，CD 為0.595/0.559，EMD 為3.395/3.289；使用MLP代替FLCP 時，CD 達到了0.582/0.557，EMD 為3.314/3.282，取得了三組實驗中的最優值。綜上，無論是去掉PointNet 模塊、PointNet++或者采用MLP 替代FLCP 都對點云的補全精度產生影響，表明三個模塊對網絡的補全性能均有所貢獻。

表5 消融實驗的點云補全性能Table 5 Point clouds completion performance of ablation experiments

圖6呈現了消融實驗的可視化結果，完整的基于雙分支結構的多層級補全網絡的效果最佳。在圖6（b）模型除去PointNet++結構補全椅子時，網絡只關注整體形狀的補全，對物體細節的恢復較差，難以給出相對平滑的預測形狀。椅子邊緣的點的空間分布較為稀疏，存在物體形狀邊界不清晰的現象，如兩只椅子腿中間的橫梁，說明了PointNet++模塊能夠加強網絡對局部特征的學習能力。圖6（c）刪掉PointNet 結構的模型在進行補全時，整體輪廓較為分明，但對椅子靠背空白處產生錯誤填充且存在部分點聚集的情況，證明PointNet有助于本算法對全局特征的把握和對缺失對象的整體邊框的還原。圖6（d）顯示了替換FLCP模塊的補全效果，雖然在整體形狀上已經非常接近真實值，但椅子周圍仍有少量噪聲點出現，椅背處存在模糊邊界，說明F-LCP 在編碼過程中能夠充分獲取點云數據的多維特征，有效提升了網絡的重建能力。總之，上述三個模塊都能夠增強補全網絡的預測能力，在本算法中有著十分重要的意義。

為了確定檢驗鑒別器網絡在該結構中存在的必要性，在原有網絡結構的基礎上刪掉鑒別器網絡，實驗結果如圖7 和圖8，分別是在相同條件不帶有鑒別器網絡的和帶有鑒別器網絡的CD 和EMD。根據圖中數據所示，在大多數類別上帶有鑒別器的網絡的表現都要優于不帶有鑒別器的網絡，其平均損失函數值無論是CD還是EMD 都略小于不帶鑒別器模型，說明引入鑒別器結構能夠改善網絡的補全效果，驗證了其重要性。

圖7 帶有/不帶有鑒別器模塊的CD補全結果Fig.7CD completion results with/without discriminator module

圖8 帶有/不帶有鑒別器模塊的EMD補全結果Fig.8 EMD completion results with/without discriminator module

5 結束語

在點云數據采集時，被測對象特性、測量方法和環境等因素可能會造成幾何和語義信息的丟失，這就帶來了點云數據缺失問題，論文以此為背景提出了一種雙分支結構的多層級點云補全算法，有效解決了現有點云補全方法缺乏局部特征信息且僅從單一維度預測點云所造成的補全結果粗糙的問題。結合PointNet 網絡和PointNet++網絡構造雙分支編碼器，在并行的通道上獨立地提取全局和局部特征，同時設計了多層級的解碼器監督每一階段的點云，以更好地保留不同維度的特征用于輸出較高精度的預測結果，并且引入鑒別器促進網絡優化。在ShapeNet上測試算法的補全性能，使用CD和EMD 去評估結果。實驗結果表明，該算法生成的點云最接近地面真實值，不僅可以輸出平滑的全局形狀，而且可以提供盡可能多的細節，以更高的精度生成密集的完整點云，面對不同程度的點云數據缺失時仍能夠高效地完成形狀補全任務。

然而，模型針對汽車和臺式電腦等一些表面結構較為復雜的物體補全時，在點的空間分布上存在部分點錯誤聚集而其余點較為分散的情況，甚至出現物體局部失真的現象。分析產生原因是網絡缺少特征融合結構，對獲得的全局特征和局部特征未能恰當選擇和融合利用。之后將致力于構建特征融合模塊去聚合局部和全局特征信息，以提高預測點云的均勻性和保真度，并嘗試將該模型用于處理更復雜的真實點云場景。