基于多尺度特征融合和對比池化的點云補全網(wǎng)絡(luò)

馬精彬 朱丹辰 張亞 王曉明

收稿日期：2023-06-20；修回日期：2023-08-09? 基金項目：四川省自然科學(xué)基金資助項目（2022NSFSC0533）

作者簡介：馬精彬（1993—），男，四川營山人，碩士研究生，主要研究方向為計算機視覺、點云補全；朱丹辰（1999—），女，四川自貢人，碩士研究生，主要研究方向為計算機視覺；張亞（1998—），男，山東棗莊人，主要研究方向為圖像處理、機器學(xué)習；王曉明（1977—），男（通信作者），四川簡陽人，副教授，碩導(dǎo)，博士，主要研究方向為模式識別、機器學(xué)習、圖像處理、計算機視覺（wangxmwm@163.com）．

摘? 要：點云補全在點云處理任務(wù)中具有重要作用，它可以提高數(shù)據(jù)質(zhì)量、輔助生成精確三維模型，為多種應(yīng)用提供可靠的數(shù)據(jù)支撐。然而，現(xiàn)有基于深度網(wǎng)絡(luò)的點云補全算法采用的單層次全局特征提取方法較為簡單，沒有充分挖掘潛在語義信息，并在編碼過程中丟失部分細節(jié)信息。為解決這些問題，提出了一種多尺度特征逐級融合的點云補全網(wǎng)絡(luò)，并結(jié)合注意力機制提出了一種全新的池化方法。實驗結(jié)果表明，在PCN、ShapeNet34和ShapeNet55三個數(shù)據(jù)集上取得了SOTA水平，證明該網(wǎng)絡(luò)具有更好的特征表示能力和補全效果。

關(guān)鍵詞：點云補全； 多尺度； 池化； 特征融合

中圖分類號：TP183??? 文獻標志碼：A

文章編號：1001-3695（2024）02-048-0635-06

doi：10.19734/j.issn.1001-3695.2023.06.0254

Multi-scale feature fusion and contrastive pooling forpoint cloud completion network

Ma Jingbin， Zhu Danchen， Zhang Ya， Wang Xiaoming

（School of Computer & Software Engineering， Xihua University， Chengdu 610039， China）

Abstract：Point cloud completion plays a crucial role in point cloud processing tasks， as it enhances data quality， assists in generating accurate 3D models， and provides reliable data support for various applications. However， existing point cloud completion algorithms based on deep neural network use a simple single-level global feature extraction method， which do not fully exploit latent semantic information and lead to loss some detailed information during the encoding process. To address these issues， this paper proposed a novel point cloud completion network that employed a multi-scale feature fusion approach and introduced a new pooling method by combining an attention mechanism. Experimental results demonstrate that the proposed network achieves the state-of-the-art（SOTA） performance on three datasets，namely PCN，ShapeNet34，and ShapeNet55，indicating its superior feature representation capability and completion effectiveness.

Key words：point cloud completion; multi-scale; pooling; feature fusion

0? 引言

近年來，點云在三維計算機視覺和圖形學(xué)領(lǐng)域中備受關(guān)注。它結(jié)構(gòu)清晰，讀寫方便，能精確表示物體形態(tài)，方便對物體進行測量和分析。然而，受傳感器限制、遮擋、表面反射等因素影響，現(xiàn)實世界中采集到的點云數(shù)據(jù)往往稀疏且不完整。殘缺點云數(shù)據(jù)在點云分類［1］、點云分割［2］、點云配準［3］等下游任務(wù)中受到極大限制。點云補全正是根據(jù)已有局部信息和先驗知識，通過推斷和預(yù)測來填補缺失點云區(qū)域，生成高質(zhì)量的三維模型。通過點云補全可以重建缺失細節(jié)信息，還原物體完整形態(tài)，從而提高數(shù)據(jù)的可用性和準確性。點云補全可以對自動駕駛、機器人導(dǎo)航、增強現(xiàn)實等領(lǐng)域提供可靠數(shù)據(jù)支撐。

近幾年，研究人員提出了大量點云補全方法。這些方法基于深度學(xué)習、圖像處理、幾何推斷等技術(shù)，通過建模點云數(shù)據(jù)局部結(jié)構(gòu)和全局一致性，實現(xiàn)了令人矚目的補全效果。然而，點云補全仍然存在許多挑戰(zhàn)。例如，如何處理大規(guī)模點云數(shù)據(jù)補全問題、如何處理復(fù)雜場景中遮擋和噪聲、如何提高補全結(jié)果的幾何精度和視覺一致性等。因此，點云補全的研究仍然具有重要的理論和實踐意義。

點云補全的傳統(tǒng)方法［4～6］依賴于物體基礎(chǔ)結(jié)構(gòu)的先驗信息，例如對稱性信息和語義類別信息。這類方法只能處理一些結(jié)構(gòu)特征明顯且缺失率低的點云，對于缺失面積大、結(jié)構(gòu)特征模糊的點云數(shù)據(jù)，很難獲取準確補全結(jié)果。傳統(tǒng)方法通常需要手動設(shè)置參數(shù)或規(guī)則，缺乏自適應(yīng)性，泛化能力差。另外，部份傳統(tǒng)方法對噪聲較為敏感，可能會導(dǎo)致補全結(jié)果錯誤。

隨著計算機視覺領(lǐng)域迅猛發(fā)展，研究人員將點云體素化或網(wǎng)格化。點云體素化后，會得到一組規(guī)則三維體素，并將每個體素看作一個特征向量。這些特征向量很容易輸入到卷積神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練和預(yù)測。但是，由于采用規(guī)則劃分，這類方法［7～9］對于不規(guī)則形狀點云數(shù)據(jù)處理效果不佳。體素化點云數(shù)據(jù)還會損失大量空間信息，特別是在空間分辨率較高的情況下，會導(dǎo)致計算成本激增。點云網(wǎng)格化則是將點云數(shù)據(jù)投影到規(guī)則網(wǎng)格上，利用成熟的卷積神經(jīng)網(wǎng)絡(luò)對網(wǎng)格數(shù)據(jù)進行處理。基于網(wǎng)格的方法能夠在空間分辨率更高的情況下處理不規(guī)則點云數(shù)據(jù)。然而，由于網(wǎng)格需要消耗大量存儲空間，處理較大規(guī)模點云數(shù)據(jù)時會占用較大內(nèi)存空間，計算成本較高。

2017年，Qi等人［10］開創(chuàng)性地提出了直接處理不規(guī)則點云數(shù)據(jù)的網(wǎng)絡(luò)架構(gòu)PointNet。它不需要格式化處理點云數(shù)據(jù)，通過對稱函數(shù)和空間變換網(wǎng)絡(luò)分別解決了點云無序性和旋轉(zhuǎn)性問題。PointNet++［11］通過分層的特征提取逐步擴大感受野，利用多層次提取結(jié)構(gòu)獲取不同層次特征以關(guān)注點云數(shù)據(jù)局部特征。2018年，Yuan等人［12］將FoldingNet［13］和PointNet巧妙結(jié)合，提出了PCN。它將點云幾何信息總結(jié)為特征向量，通過解碼器由粗到細預(yù)測出完整點云。2019年，Tchapmi等人［14］提出了一種基于樹狀結(jié)構(gòu)的補全網(wǎng)絡(luò)TopNet，它能夠在不需要預(yù)定義基礎(chǔ)點集的情況下進行點云補全。2020年，Xie等人［15］提出了一種基于網(wǎng)格結(jié)構(gòu)的網(wǎng)絡(luò)GRNet，該網(wǎng)絡(luò)用于點云密集化自動補全。它將無序且不規(guī)則的點云數(shù)據(jù)轉(zhuǎn)換為規(guī)則的體素網(wǎng)格，利用成熟的三維卷積層處理網(wǎng)格數(shù)據(jù)并提取特征，特征向量輸入到去網(wǎng)格化層生成預(yù)測點云。2021年，Yu等人［16］提出PoinTr，它將點云數(shù)據(jù)轉(zhuǎn)換為一組無序點代理，將點云補全任務(wù)轉(zhuǎn)換為了set to set的翻譯任務(wù)，利用Transformer中encoder-decoder結(jié)構(gòu)生成缺失點云，進一步改進點云補全方法。

綜上所述，大量點云補全方法通常僅從輸入點云中提取單一特征，并在編碼階段使用最大池化進行下采樣。然而，這種單層次的全局特征相對較簡單，未能充分挖掘點云內(nèi)在的多層次結(jié)構(gòu)和語義信息，導(dǎo)致補全結(jié)果的準確性和細節(jié)保留能力受限。常見的最大池化方法會影響補全網(wǎng)絡(luò)對完整形狀的恢復(fù)，尤其是在高分辨率和復(fù)雜點云結(jié)構(gòu)的情況下，補全結(jié)果會丟失大量細節(jié)。針對以上問題，本文基于注意力機制提出了一個多尺度特征逐級融合的點云補全網(wǎng)絡(luò)（multi-feature contrastive pooling completion network，MFCP-Net）。該網(wǎng)絡(luò)逐級融合不同尺度特征，并利用不同池化結(jié)果之間的差異信息去提升網(wǎng)絡(luò)性能。本文的主要貢獻如下：

a）提出了多尺度特征逐級融合模塊，用于融合不同尺度的點云特征，以解決提取特征尺度單一問題。通過逐級融合，點云補全可以更準確地理解點云的局部細節(jié)和全局形狀，從而提高補全結(jié)果的準確性和細節(jié)保留能力。

b）提出了一種全新的對比池化方法，它通過在不同池化結(jié)果之間計算差異來獲取互補信息。這樣的池化方法可以彌補特征下采樣導(dǎo)致的細節(jié)丟失，從而提高補全網(wǎng)絡(luò)對于點云細節(jié)的恢復(fù)能力。

1? 基于多尺度特征融合和對比池化的點云補全網(wǎng)絡(luò)

基于編碼器-解碼器的傳統(tǒng)點云補全網(wǎng)絡(luò)通常使用編碼器直接捕獲輸入點云特征信息，并將其整合為全局特征。在整個網(wǎng)絡(luò)中，編碼過程的特征提取方式和特征下采樣整合的全局特征對于整個網(wǎng)絡(luò)的補全性能至關(guān)重要。然而，大多數(shù)傳統(tǒng)補全網(wǎng)絡(luò)僅提取輸入點云的單一尺度特征并使用最大池化進行下采樣操作，這極大地限制了點云數(shù)據(jù)的表達能力和語義理解能力，導(dǎo)致補全結(jié)果缺乏細節(jié)豐富性。

針對以上問題，本文基于注意力機制設(shè)計了多尺度特征融合和對比池化的補全網(wǎng)絡(luò)。圖1展示了具體網(wǎng)絡(luò)結(jié)構(gòu)，本網(wǎng)絡(luò)分為三個階段解決點云補全任務(wù)。第一階段，網(wǎng)絡(luò)將不完整點云以坐標形式輸入，使用最遠點采樣算法提取出不同尺度點云，使用輕量級DGCNN［17］提取中心點周圍局部特征，并結(jié)合空間注意力將不同尺度點云特征進行逐級融合，以獲取更為豐富的多尺度特征。第二階段，特征融合后，轉(zhuǎn)換為點代理并輸入到Transformer［18］。與PoinTr一樣，本網(wǎng)絡(luò)通過編碼器和解碼器去學(xué)習點云之間成對交互的結(jié)構(gòu)信息。Transformer中自注意力機制對編碼器中元素之間的成對交互進行建模，解碼器通過輸入點云和查詢特征之間的成對交互去解釋缺失元素。在特征下采樣階段，本網(wǎng)絡(luò)通過不同池化結(jié)果之間的差異獲取互補信息，以彌補通過傳統(tǒng)最大池下采樣后丟失的細節(jié)。第三階段，輸出特征重塑后輸入FoldingNet，由粗到細恢復(fù)缺失部分稠密點云。

具體而言，給定部分輸入融合后的點代理F={F1，F(xiàn)2，…，F(xiàn)N}，將點云補全任務(wù)模擬為集合到集合的轉(zhuǎn)換問題。

V=TE（F）（1）

P=TD（Q，V）（2）

其中：TE和TD分別是Transformer的編碼器和解碼器；V={V1，V2，…，VN}是編碼器輸出的特征向量；Q={Q1，Q2，…，QM}是解碼器的動態(tài)查詢；P={P1，P2，…，PM}是缺失點云的預(yù)測點代理；M是預(yù)測點的數(shù)量。

1.1? 點代理生成

由于Transformer模型只處理序列化數(shù)據(jù)，所以需要將點云序列化，最容易的方式是直接將點云坐標（xyz）序列化。然而Transformer的計算復(fù)雜度為n2，其中n為序列長度，這種方案會帶來極大的計算負擔。雖然實際應(yīng)用中可以對序列長度進行限制或者采用一些優(yōu)化手段減少計算時間，但是直接序列化無法兼顧點周圍的局部信息。 此外，以往工作大多只考慮單層次特征，但是單層次特征的表示能力相對有限，無法充分挖掘點云數(shù)據(jù)中豐富的語義信息和空間結(jié)構(gòu)。

為解決上述問題，本文提取不同尺度的點云特征，并將其表示為序列化數(shù)據(jù)（點代理）。具體做法如下：首先，利用最遠點采樣（farthest point sampling）對輸入點云進行下采樣，以獲取不同尺度的點云數(shù)據(jù)；然后，再次利用最遠點采樣提取不同尺度點云固定數(shù)量的中心點{g1，g2，…，gi}；最后，利用輕量級DGCNN并結(jié)合中心點獲取各點周圍特征。因此，點代理是一個捕獲gi周圍局部結(jié)構(gòu)特征信息的特征向量，每個尺度點代理可以計算為

Fi=F′i+φ（gi）（3）

其中：F′i是DGCNN所提取點gi的特征，代表該點局部區(qū)域語義信息；φ是用來捕獲點代理位置信息的一個MLP，此操作可以顯示編碼點代理全局位置信息。最終點代理是不同尺度局部點代理逐級融合的結(jié)果。

1.2? 多尺度特征逐級融合

不同尺度點云特征具有不同特點，其中高尺度點云特征點數(shù)多，包含豐富的細節(jié)信息；低尺度點云特征點數(shù)少，包含更強的結(jié)構(gòu)特征。不同尺度特征表示不同語義信息，其中局部特征表示點云微觀細節(jié)，可以提供點云幾何信息；全局特征表示點云宏觀結(jié)構(gòu)，可以提高點云整體形狀信息。然而，高低尺度特征語義差異較大，直接融合會出現(xiàn)沖突，產(chǎn)生信息的缺口。

針對以上問題，本文采用逐級（低尺度到高尺度）方式融合特征。圖2描述了具體結(jié)構(gòu)。本文采用多尺度特征逐級融合的原因有三點：第一，語義層次化，不同尺度特征包含不同語義信息，逐級融合能夠?qū)崿F(xiàn)語義層次化，將不同尺度語義信息組織成一個層次結(jié)構(gòu)，可以更準確地表示點云特征；第二，信息有效傳遞，逐級融合可以將低層次特征傳遞給高層次特征，融合后的高低尺度特征之間信息差距更小，點云特征表示更加穩(wěn)定可靠；第三，提高特征表示的豐富性，逐級融合可以將不同層次的信息有機結(jié)合，充分利用各尺度點云信息，提高特征表示的豐富性和魯棒性。具體而言：

Fmiddle=δ（Cat（SA（F2）SA（F3）））（4）

Fend=δ（Cat（SA（F1）Fmiddle））（5）

其中：SA ［19］為空間注意力得分；Cat為拼接操作；δ是將拼接特征映射到一個固定維度的MLP；F1、F2、F3分別為不同尺度N2048、N1024、N512的點代理；Fend為最終點代理。

1.3? CGCPool

點代理經(jīng)過Transformer后，會輸出一系列位置嵌入向量，每個向量表示輸出序列中對應(yīng)的位置特征。特征在輸入到FoldingNet之前，通常使用最大池化對點云數(shù)據(jù)進行下采樣，降低特征維度的同時保持點云數(shù)據(jù)置換不變性。最大池化會在每個池化窗口找到最大特征值，然后將此作為該窗口的輸出。然而，最大池化僅保留點周圍鄰域最大值，這會丟失大量細節(jié)信息。對于補全任務(wù)而言，不完整全局特征會導(dǎo)致補全結(jié)果缺失細節(jié)信息。

針對以上問題，本文提出一種全新池化方式CGCPool。假定BatchSize為1，CGCPool整體結(jié)構(gòu)如圖3所示。本文將獲取的特征向量N按照數(shù)值從大到小進行排序，取固定數(shù)量K個特征（K＜N）。此操作不但減少了計算量，而且可以篩選出高激活度區(qū)域。在此基礎(chǔ)上進一步進行最大池化和平均池化操作。最大池化可以有效減少噪聲，保留關(guān)鍵特征，提高模型魯棒性和準確性；平均池化在保留點云基本特征的同時，將點云壓縮至更小規(guī)模，降低分辨率，使模型處理起來更為容易。Pavg和Pmax分別表示平均池化和最大池化后的輸出，兩者做差獲取對比特征，Pcont表示兩種池化結(jié)構(gòu)之間的差異。Pmax和Pcont分別進行卷積操作后，其結(jié)果cont和max在通道維度進行拼接。二次卷積后與max相結(jié)合得到最終全局特征。

與最大池化相比，CGCPool不是僅考慮每個池化窗口最大值，而是考慮多個高激活度區(qū)域，盡可能多地保留細節(jié)信息。不僅如此，它還自適應(yīng)聚合整個部分級特征平均池化和最大池化的結(jié)果。它利用兩種池化結(jié)果之間的差異去提取互補信息，最大化池化特征，更充分地捕捉點云數(shù)據(jù)中局部結(jié)構(gòu)和全局特性。

1.4? 損失函數(shù)

點云補全的損失函數(shù)需要定量衡量重建點云和原始點云之間的差距。Fan等人［20］引入了兩個對點排列不變的度量方式，EMD（earth movers distance）和CD（Chamfer distance）。EMD基于Wasserstein［21］距離，CD基于歐氏距離。具體而言，EMD將兩個點云看作兩個分布，并尋找一種最優(yōu)點匹配方法，使得匹配距離最小；CD則分別計算每個點到另一個點云中所有點的距離。相對而言，CD計算速度更快。受計算復(fù)雜度限制，本文采用Chamfer distance作為損失函數(shù)。C表示nc局部中心，P表示補全點云np。給定地面真實點云G，這兩個預(yù)測的損失函數(shù)可以寫成

J0=1nC∑c∈Cming∈G‖c-g‖+1nG∑g∈Gminc∈C‖g-c‖（6）

J1=1nP∑p∈Pming∈G‖p-g‖+1nG∑g∈Gminp∈P‖g-p‖（7）

其中：局部中心C預(yù)測整個補全模型粗略結(jié)果。通過高分辨率的地面真實點云G去監(jiān)督稀疏點云C，以鼓勵它們具有相似分布。因此最終損失函數(shù)為

J=J0+J1（8）

2? 實驗

為驗證模型有效性，本文在常用數(shù)據(jù)集PCN和Shape-Net34/55上進行綜合實驗。本文還提供消融實驗和部分可視化圖像以驗證實驗的可靠性。實驗結(jié)果表明，MFCP-Net在點云補全領(lǐng)域取得了極佳效果。

2.1? PCN和ShapeNet34/55數(shù)據(jù)集簡介及評估標準

2.1.1? 數(shù)據(jù)集簡介

PCN數(shù)據(jù)集包含來自ShapeNet［22］數(shù)據(jù)集8個類別的點云數(shù)據(jù)。通過對三維模型進行采樣和預(yù)處理，提取到包含有缺失部分的點云數(shù)據(jù)。這些點云數(shù)據(jù)用于點云補全任務(wù)的評估和比較，也用于其他相關(guān)三維點云處理任務(wù)［23～26］的研究和開發(fā)。

ShapeNet34和ShapeNet55都是由斯坦福大學(xué)計算機科學(xué)系的ShapeNet項目組發(fā)布的數(shù)據(jù)集，主要用于3D模型相關(guān)研究。其中ShapeNet34包含了34個不同物體類別，ShapeNet55包含了55個不同物體類別。ShapeNet34/55通過自動化3D掃描和手動3D建模等方式生成，極大推動了3D物體識別［27］、分割［28，29］、檢索［30，31］、生成［32］等方面的研究。

2.1.2? 數(shù)據(jù)集訓(xùn)練和評估

在本節(jié)中，MFCP-Net將與目前先進方法在相同實驗環(huán)境下進行比較，以證明算法有效性。本文采用cd-l1、cd-l2以及F-score進行度量。

對于PCN數(shù)據(jù)集中每一個實例均采樣2 048個點作為部分點云，采樣16 384個點作為完整點云。本文將獲取到的部分點云輸入到MFCP-Net，通過各個模塊處理獲取到的預(yù)測點云，再與完整點云進行比較和計算。ShapeNet34基準［16］用于檢驗和評估模型泛化能力，而ShapeNet55基準［16］使用了ShapeNet中所有55個類別的對象，以確保類別和對象的多樣性。對于ShapeNet34/55中每個對象，從曲面均勻采樣8 192個點作為真實點云。為了模擬真實場景和確保樣本多樣性，首先隨機選擇一個視點，并移除離視點最遠的n個點以獲得部分點云。在訓(xùn)練期間，n被隨機選擇在2 048～6 144（即完整點云的25%～75%），以滿足訓(xùn)練樣本不完整性需求。然后，剩余點云下采樣到2 048個點作為輸入。在評估過程中，本文選擇了八個視點，方便起見，n設(shè)置為2 048、4 096或6 144，即占整個點云的25%、50%或75%。在實驗中，測試樣本分為簡單、中等和困難三個難度等級，根據(jù)n的值來劃分。本文提供每種方法在不同難度級別中的性能數(shù)值，以展示每個網(wǎng)絡(luò)處理不同難度級別任務(wù)的能力。此外，使用三個難度級別性能的平均值來描述網(wǎng)絡(luò)整體性能。

2.2? 實驗環(huán)境和實施細節(jié)

本文實驗環(huán)境為Ubuntu 18.04，處理器為i9-10900X，32 GB DDR4內(nèi)存，NVIDIA GeForce RTX 3090 Ti獨立顯卡，訓(xùn)練環(huán)境為CUDA 10.0，Python 3.7.13，PyTorch 1.8.0。MFCP-Net是端到端可訓(xùn)練的，不需要任何預(yù)訓(xùn)練。本網(wǎng)絡(luò)使用Adamw優(yōu)化器，初始學(xué)習率設(shè)置為5×10-4，權(quán)重衰減為5×10-4。與文獻［16］一樣，權(quán)衡資源和性能之后，將Transformer編碼器和解碼器的深度分別設(shè)置為6和8，均使用6個head attention，隱藏維度設(shè)置為384。KNN操作的k值設(shè)置為16和8。對于PCN數(shù)據(jù)集，批大小設(shè)置為48，進行300個epoch的訓(xùn)練，每21個epoch的連續(xù)學(xué)習率衰減為0.9；對于ShapeNet34數(shù)據(jù)集，批大小設(shè)置為128，共200個epoch；對于ShapeNet55數(shù)據(jù)集，批大小設(shè)置為96，epoch為200。 在訓(xùn)練過程中，通過迭代優(yōu)化損失函數(shù)來更新網(wǎng)絡(luò)參數(shù)。在每個epoch結(jié)束時，使用驗證集來選擇最優(yōu)的模型，并在測試集上進行性能評估。

2.3? 評估指標

MFCP-Net使用平均倒角距離和F-score作為度量標準。平均倒角距離可以測量預(yù)測點云和地面實況之間的距離。對于每個預(yù)測目標，預(yù)測點集P和地面實況點集G之間的倒角距離通過以下公式計算：

dcd=1|P|∑p∈Pming∈G‖p-g‖+1|G|∑g∈Gminp∈P‖g-p‖（9）

本文使用cd-l1（一范數(shù)）和cd-l2（二范數(shù)）分別計算兩點之間的距離，使用F-score衡量點云補全結(jié)果的質(zhì)量。

2.4? 不同方法補全效果對比

2.4.1? PCN數(shù)據(jù)集不同方法補全結(jié)果分析

PCN作為點云補全領(lǐng)域使用最為頻繁的數(shù)據(jù)集，將MFCP-Net在PCN數(shù)據(jù)集上與先進方法在相同環(huán)境下進行實驗。所有評價指標都是越小越好。表1的定量結(jié)果表明，MFCP-Net相較于一些比較傳統(tǒng)的方法，如FoldingNet、PCN，本文方法在8個類別和整體均值結(jié)果方面均為最優(yōu)。參與比較的各補全網(wǎng)絡(luò)中，雖然在類別指標chair上的評價略優(yōu)于本網(wǎng)絡(luò)，但在其他類別上，本網(wǎng)絡(luò)的實驗結(jié)果都展現(xiàn)了顯著優(yōu)勢；在均值上，本文方法的平均誤差相比于PoinTr提升了3.83%。這些數(shù)據(jù)均證明了本文方法在3D點云形狀補全任務(wù)中的有效性和優(yōu)越性。

2.4.2? 消融研究

本節(jié)進行了全面的消融研究，以驗證多尺度注意力特征逐級融合以及CGCPool的有效性。注意，所有實驗均在PCN數(shù)據(jù)集上進行。

為了檢驗設(shè)計的有效性，本節(jié)對MFCP-Net關(guān)鍵部件進行消融研究。其中A代表基礎(chǔ)模型，在A的基礎(chǔ)上單獨使用多尺度特征逐級融合模塊后（模型B），其cd-l1相較于A減少了0.124。這表明多尺度特征逐級融合模塊對改進模型性能起到了積極作用。在A的基礎(chǔ)上加入CGCPool模塊（模型C），其基準提高了0.212。C模型在結(jié)果上減少了更多的CD損失，因為C模型代表了更完整的3D形狀內(nèi)部的高級特征信息。在A的基準上同時引入兩個模塊（模型D），其cd-l1和F-score的具體結(jié)果如表2所示。

為進一步驗證CGCPool模塊的有效性，本節(jié)將其與最大池化（max pooling）和平均池化（averge pooling）進行比較。為消除特征融合模塊對整體網(wǎng)絡(luò)性能的影響，去除特征融合模塊后進行對比。實驗結(jié)果表明，使用CGCPool時，在所有性能指標（F-score、cd-l1和cd-l2）上都取得了最優(yōu)的表現(xiàn)。

具體來說，使用平均池化時，得到的點云補全結(jié)果的F-score為0.739，cd-l1為8.282，cd-l2為0.279。使用最大池化時，性能有所提升，F(xiàn)-score為0.774，cd-l1為7.645，cd-l2為0.248。在采用CGCPool時，性能最優(yōu)。使用CGCPool的網(wǎng)絡(luò)的F-score指標達到了0.784，cd-l1為7.433，cd-l2為0.234。具體結(jié)果如表3所示。

綜合實驗結(jié)果，可以得出如下結(jié)論：CGCPool是一種有效且優(yōu)越的池化方法，能夠在點云補全任務(wù)中顯著提升性能，并為補全結(jié)果的準確性和完整性提供強有力的支持。

2.4.3? ShapeNet34比較結(jié)果

為測試MFCP-Net的泛化能力，本文在ShapeNet-34數(shù)據(jù)集上對MFCP-Net和其他方法進行了實驗。本節(jié)測試了34個可見類別在簡單（CD-S）、中等（CD-M）、困難（CD-H）情況下的cd-l2值。如表4所示，MFCP-Net相比其他先進方法，具有更加優(yōu)異的泛化能力。

2.4.4 ?ShapeNet55比較結(jié)果

本文在ShapeNet-55上進行實驗，該數(shù)據(jù)集包含55個類別的對象。本文實現(xiàn)了現(xiàn)有方法（FoldingNet、PCN、TopNet、GRNet、PoinTr），并使用其論文中最佳超參數(shù)在相同實驗環(huán)境下進行公平比較。為報告樣本充足和不足類別的性能，本文從ShapeNet-55中選取10個類別進行實驗，其中table、chair、airplane、car、sofa、birdhouse為樣本充足的類別；bag、remote、keyboard和rocket為樣本不充足類別。表5展示在三個設(shè)置（簡單、中等、困難） 下，MFCP-Net在cd-l2方面取得了0.594、0.820、1.622的優(yōu)異結(jié)果，其F-score達到了0.502。表6詳細報告了每種方法在10個類別上的詳細結(jié)果。以上數(shù)據(jù)證明，MFCP-Net可以更好地處理不同視角、不同類別、不同不完整模式、不同不完整程度的點云數(shù)據(jù)。本文方法在更多樣的環(huán)境下具備普適性和有效性。

2.5? 補全結(jié)果可視化

2.5.1? 消融研究結(jié)果可視化

圖4顯示了消融實驗可視化結(jié)果。基于多尺度特征逐級融合和CGCPool的補全網(wǎng)絡(luò)取得最佳結(jié)果。在圖4（b）模型除去多尺度特征逐級融合模塊。此時，由于網(wǎng)絡(luò)獲取的全局特征不豐富，難以給出相對平滑的預(yù)測形狀。從圖中可以明顯看出，機頭和機翼上噪點較多，致使整個機身的外觀并不平滑。上述結(jié)果說明，多尺度特征逐級融合模塊可以加強網(wǎng)絡(luò)對于全局特征的學(xué)習能力，通過該模塊可獲取更為豐富的點云特征。圖4（c）刪除CGCPool模塊進行補全時，整體輪廓較為分明，預(yù)測形狀相對平滑，但是對于機尾處的細節(jié)部位難以還原。從圖中可以看出，機尾部分細節(jié)幾乎完全缺失，說明CGCPool模塊有助于補全網(wǎng)絡(luò)，恢復(fù)缺失點云細節(jié)特征。

2.5.2? PCN數(shù)據(jù)集補全結(jié)果可視化

本文算法與其他五種方法在PCN數(shù)據(jù)集補全性能可視化結(jié)果如圖5所示。圖中依次包括殘缺輸入點云、經(jīng)過FoldingNet、TopNet、PCN、GRNet、PoinTr和本文算法獲取的補全點云，以及對應(yīng)的真實點云。其中灰色代表輸入部分，藍色代表其他五種算法補全結(jié)果，紅色代表本文算法補全結(jié)果，金色則表示地面真實（參見電子版）。

圖5直觀展示了本文算法相較于其他方法而言，補全效果更佳。針對不同類別的殘缺點云，MFCP-Net獲得了更加精細、更加平滑的全局形狀，且輸出點云在空間上分布更加均勻，細節(jié)保留更為明顯。這充分說明本文算法重建能力強，補全效果好，預(yù)測點云空間分布更加均勻，可以實現(xiàn)精細補全。

3? 結(jié)束語

本文提出了一種基于多尺度特征的逐級融合模塊和對比池化模塊的點云補全方法。實驗結(jié)果表明，本文方法能夠有效地捕捉點云中的多尺度特征，并且能夠從不同層次進行融合，從而更好地還原缺失信息。與其他方法相比，MFCP-Net具有更好的補全效果和更高的準確率，表明該方法在點云補全任務(wù)上具有廣泛的適用性和穩(wěn)定性。然而，該方法仍存在一些缺點，包括訓(xùn)練時間較長、訓(xùn)練模型較大以及補全細節(jié)不夠精細等。后期可以考慮對模型作輕量化處理，并使用點云平滑等方法，以進一步提高補全質(zhì)量。

綜上所述，基于多尺度特征的逐級融合模塊和對比池化模塊提出的點云補全方法是一種有效的方法，具有廣泛的應(yīng)用前景，可為實際應(yīng)用中的點云數(shù)據(jù)處理提供有力支持。

參考文獻：

［1］張潤梅， 程婷， 尹蕾，等. 一種注意力融合的多尺度點云分類網(wǎng)絡(luò)［J］. 淮北師范大學(xué)學(xué)報：自然科學(xué)版， 2023，44（1）： 70-75. （Zhang Runmei， Cheng Ting， Yin Lei， et al. A multi-scale point cloud classification network based on attention fusion［J］. Journal of Huaibei Normal University：Natural Science Edition， 2023，44（1）： 70-75.）

［2］魯斌， 柳杰林. 基于特征增強的三維點云語義分割［J］. 計算機應(yīng)用， 2023，43（6）：1818-1825. （Lu Bin， Liu Jielin. 3D point cloud semantic segmentation based on feature enhancement［J］. Journal of Computer Applications， 2023，43（6）： 1818-1825.）

［3］陶四杰， 白瑞林. 一種基于降采樣后關(guān)鍵點優(yōu)化的點云配準方法［J］. 計算機應(yīng)用研究， 2021，38（3）： 904-907. （Tao Sijie， Bai Ruilin. A point cloud registration method based on key point optimization after downsampling［J］. Application Research of Compu-ters， 2021，38（3）： 904-907.）

［4］Demir I， Aliaga D G， Benes B. Procedural editing of 3D building point clouds［C］//Proc of IEEE International Conference on Computer Vision. 2015： 2147-2155.

［5］Cai Zhipeng， Wang Cheng， Wen Chenglu， et al. 3D-PatchMatch： an optimization algorithm for point cloud completion［C］//Proc of the 2nd IEEE International Conference on Spatial Data Mining and Geographical Knowledge Services. 2015： 157-161.

［6］Canciani M， Falcolini C， Saccone M， et al. From point clouds to architectural models： algorithms for shape reconstruction［C］//Proc of 3D Virtual Reconstruction and Visualization of Complex Architectures. 2013：27-34.

［7］Hinks T， Carr H， Truong-Hong L， et al. Point cloud data conversion into solid models via point-based voxelization［J］. Journal of Surveying Engineering， 2013，139（2）： 72-83.

［8］Vo A V， Truong-Hong L， Laefer D F， et al. Octree-based region growing for point cloud segmentation［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2015，104： 88-100.

［9］Kammerl J， Blodow N， Rusu R B， et al. Real-time compression of point cloud streams［C］//Proc of IEEE International Conference on Robotics and Automation. 2012： 778-785.

［10］Qi C R， Su Hao， Mo Kaichun， et al. PointNet：deep learning on point sets for 3D classification and segmentation［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2017： 652-660.

［11］Qi Charles R，Li Yi， Su Hao， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［C］//Advances in Neural Information Processing Systems. 2017.

［12］Yuan Wentao， Khot T， Held D， et al. PCN：point completion network［C］//Proc of International Conference on 3D Vision.2018： 728-737.

［13］Yang Yaoqing， Feng Chen， Shen Yiyu， et al. FoldingNet： point cloud autoencoder via deep grid deformation［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2018： 206-215.

［14］Tchapmi L P， Kosaraju V， Rezatofighi H， et al. TopNet： structural point cloud decoder［C］//Proc of IEEE/CVF Conference on Compu-ter Vision and Pattern Recognition. 2019： 383-392.

［15］Xie Haozhe， Yao Hongxun， Zhou Shangchen， et al. GRNet： gridding residual network for dense point cloud completion［C］//Proc of the 16th European Conference on Computer Vision. Berlin：Springer-Verlag， 2020： 365-381.

［16］Yu Xumin， Rao Yongming， Wang Ziyi， et al. PoinTr： diverse point cloud completion with geometry-aware transformers［C］//Proc of IEEE/CVF International Conference on Computer Vision. 2021： 12498-12507.

［17］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］//Advances in Neural Information Processing Systems. 2017.

［18］Wang Yue， Sun Yongbin， Liu Ziwei， et al. Dynamic graph CNN for learning on point clouds［J］. ACM Trans on Graphics， 2019，38（5）： 1-12.

［19］Woo S， Park J， Lee J Y， et al. CBAM： convolutional block attention module［C］//Proc of European Conference on Computer Vision. 2018： 3-19.

［20］Fan Haoqiang， Su Hao， Guibas L J. A point set generation network for 3D object reconstruction from a single image［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2017： 605-613.

［21］Vallender S S. Calculation of the Wasserstein distance between probability distributions on the line［J］. Theory of Probability & Its Applications， 1974，18（4）： 784-786.

［22］Chang ANGEL X， Funkhouser T， Guibas L， et al. ShapeNet： an information rich 3D model repository［EB/OL］. （2015）. https：//arxiv.org/abs/1512. 03012.

［23］Cheng Zhiyi， Li Xiaoxiao， Loy. Pedestrian color naming via convolutional neural network［C］//Proc of the 13th Asian Conference on Computer Vision. Cham：Springer， 2017： 35-51.

［24］Singer N， Asari V K. View-agnostic point cloud generation for occlusion reduction in aerial Lidar［J］. Remote Sensing， 2022，14（13）： 2955.

［25］Son H， Kim Y M. SAUM： symmetry-aware upsampling module for consistent point cloud completion［C］//Proc of Asian Conference on Computer Vision. 2020.

［26］Huang Shengyu， Hao Yu， Wang F. SPoVT： semantic-prototype variational transformer for dense point cloud semantic completion［C］//Advances in Neural Information Processing Systems. 2022： 33934-33946.

［27］Hamdi A， Giancola S， Ghanem B. MVTN： multi-view transformation network for 3D shape recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision. 2021： 1-11.

［28］Huang Qiangui， Wang Weiyue， Neumann U. Recurrent slice networks for 3D segmentation of point clouds［C］//Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition. 2018： 2626-2635.

［29］Te Gusi， Hu Wei， Zheng Ami， et al. RGCNN： regularized graph CNN for point cloud segmentation［C］//Proc of the 26th ACM International Conference on Multimedia. 2018： 746-754.

［30］He Xinwei， Zhou Yang， Zhou Zhichao， et al. Triplet-center loss for multi-view 3D object retrieval［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2018： 1945-1954.

［31］Yavartanoo M， Kim E Y， Lee K M. SPNet： deep 3D object classification and retrieval using stereographic projection［C］//Proc of the 14th Asian Conference on Computer Vision. Cham：Springer， 2019： 691-706.

［32］Charrada T B，Tabia H，Chetouani A，et al. Learnable triangulation for deep learning-based 3D reconstruction of objects of arbitrary topology from single RGB images［EB/OL］. （2021）.https：//arxiv.org/abs/2109. 11844.