基于圖卷積網絡的彩色點云超分辨率

周昳晨，張新峰

（中國科學院大學計算機科學與技術學院，北京 100049）

1 引言

隨著3D傳感器的廣泛使用，點云作為表示形式靈活的三維數據表征形式，得到越來越多的關注。盡管3D采集技術在不斷提高，但采集結果還是會受各種因素的影響，例如反射、儀器本身的精度等。所以直接采集的有噪聲、稀疏點云不能滿足點云的各種下游任務的要求，例如點云分割、點云匹配。因此，點云超分辨率是不可或缺的中間環節，通過點云超分辨率可以得到密集且具有準確細節的點云，從而可以有效地提高下游任務的精度。

隨著卷積神經網絡（CNN）在二維圖像中的成功，研究人員開始利用類似架構來處理點云。為了擴展卷積神經網絡［1］在圖像領域的成功，VoxNet及其變種［3-4,6］開始將點云轉移到利用網格［4］并應用三維卷積。早期的基于體素的網絡將點云劃分為規則和固定的體素網格來進行三維卷積，由于計算量巨大，限制了體素的分辨率［4,6,13］。為了減少計算負擔，一些方法將網格自適應地劃分為單元，這樣就能以較高的分辨率重復發送點云［16］。此外，一些學者還關注了卷積核函數。Hua等人［18］提出了固定網格的離散空間上的卷積核，在同一網格中的點被賦予相同的權重。盡管如此，這些方法依舊沒有根本上解決內存效率低的問題，轉換后的規則結構失去了相鄰點之間的大部分空間信息。

多層感知器（MLP）是一種點云處理方法，它直接操作點云數據，而不是通過中間的規則表示。最早的工作，PointNet［27］使用共享多層感知器來獨立學習每個點的空間特征代表，并使用對稱函數來聚合整個點集的全局特征，這解決了輸入的無序問題。然而，局部幾何信息在點云計算中是至關重要的，這一點被PointNet省略了。PointNet++［28］是PointNet的一個變種，它通過對點云進行分組并以分層的方式收集特征，明確考慮了局部幾何結構。隨后，新的分組策略被提出［29］，以增強模型的點云表征，許多方法［17,30］將其作為一個基本模塊，以獲得更好的性能。盡管目前基于PointNet的改進方法利用了點云的上下文信息，如PointNet++，但它們通過采樣失去了很多詳細信息，這限制了局部信息的提取。

圖卷積神經網絡［15］是一種處理不規則數據的有效方法，也已被廣泛用于處理不規則點云。圖卷積網絡利用圖卷積作為基本處理單元，直接處理點云的局部信息。這些方法［12,14］通常從每個點的鄰居中生成局部圖，應用池化操作，將每個點的鄰居的局部特征匯總到圖中。DGCNN［12］提出的EdgeConv操作將中心點和鄰接點串聯形成圖，在每一層之后都可以動態更新。此外，LDGCNN［10］用不同的連接層取代了轉換網絡，以減少模型的復雜性并提高性能。繼DGCNN之后，DCG［9］對局部點的連接進行編碼以獲得特征向量，并以從粗到細的策略逐步產生高質的點云。雖然目前的圖卷積對點云處理有很好的適應性，并取得了較好的效果，但如何用圖來表示點云仍是一個亟需解決的問題。

綜合以上點云處理方法，基于圖卷積處理方法最具優勢，不僅可以對點進行直接處理減少格式轉換的信息損失，而且可以通過局部圖獲取豐富的局部信息。本文提出一個新的圖卷積網絡，可以同時生成點云的幾何坐標和顏色。其中，本文提出了一個新的圖卷積操作，使用一種恰當且有效的方式構成局部圖，使得相關性更強的點構成點云的局部圖，從而高效地提取點云的局部特征。除此之外，本文提出了雙通道并行的生成模型和全屬性的判別模型，生成器中點云的幾何信息和顏色信息并行處理，在圖卷積操作中信息共享，點云顏色屬性幫助幾何信息的生成，點云幾何信息輔助顏色屬性的重建，從而生成高分辨率彩色點云；判別器通過對幾何和顏色的共同判別決定是否為真實點云。本文還提出了基于結構的局部-全局幾何約束來全面約束點云幾何坐標重建效果，基于幾何匹配的顏色可以通過使用準確的顏色匹配關系幫助顏色信息更好的重建。

2 基于圖卷積網絡的彩色點云超分辨率模型

給定一個有M個點的稀疏點云P和特定的上采樣因子R，點云超分辨率任務的目標是產生一個密集且均勻分布的點云Q，其位于物體的同一表面，并具有更多的高頻細節信息。所提出的圖卷積網絡旨在從稀疏的、有噪聲的點云中恢復密集的高質量點云，包括幾何坐標和相應的顏色屬性值。如圖1所示，本文的方法將包含幾何屬性和顏色屬性的N*6的稀疏點云作為網絡的輸入，并采用生成式對抗網絡來完成點云的幾何坐標和多種屬性的生成。在生成器中，本文提出一個并行框架，同時分別處理和生成點云的幾何和顏色屬性，這樣就可以有效地針對不同的屬性，同時保證幾何和屬性的對應關系。在每個屬性通道中，使用一種新穎的特征表示，即強相關圖卷積，來完成局部特征的整合。此外，為了有效利用點云幾何和顏色信息的互補性，聯合利用點云幾何和顏色的高維結構特征，在強相關圖卷積中共同確定圖的構造，將更相關的點聚集成圖提取相關特征，并能對圖中出現的異常點進行規避。在判別器中，本文將點云的幾何坐標和顏色屬性作為一個整體來考慮，并將其作為判別器的輸入，這樣就可以同時考慮不同屬性域的信息，有利于判別器的整體判別。

圖1 圖卷積網絡模型

2.1 強相關特征提取

（1）初步特征

提取強相關特征需要對點云的特征進行分析，從而在高維特征空間中尋找強相關的點集。點云初步特征的獲取則是點云特征分析的基礎，在網絡中具有重要的銜接作用。該模塊的輸出是原始點云中每個點的特征標識，并作為圖卷積的原始輸入，其決定了卷積初始局部圖的組成。為了獲得更合適的初始點云特征，采用了傳統的圖卷積操作和非線性操作疊加的方式，以原始輸入點云為輸入，形成一個特征單元。最終，特征單元獲得了關于點云的每個點的c維特征。

（2）強相關圖卷積層

傳統的GCN［8］，根據三維幾何空間的距離來衡量中心點和其他點之間的相關性，這限制了網絡的學習能力。本文提出了一種新型的GCN，稱為強相關GCN，以增強傳統的GCN。本文所提出的強相關GCN依賴于高維空間的特征相似性來獲得點云的強相關的結構表示，這打破了幾何空間的鄰域限制。所提出的強相關圖卷積定義如下：

圖連接的構建是關鍵，因為特征是從輸入信息中提取的，這些信息在頂點之間通過邊緣進行傳遞。一般來說，圖卷積使用先驗知識來構建圖，但對于無序的點云來說，先驗信息無法獲得。為此，利用動態生成圖的方法來解決傳統圖卷積的缺點。本文的方法使用相關性強的點構成圖，在特征空間尋找相似點，而不是在幾何空間的某個局部區域，擴大了中心點的范圍，如圖2右側所示。與鄰居項相比，相似項尋找點集以避免點集中出現異常點。例如，異常點可能與中心點極為接近，但它們可能屬于不同的平面，具有不同的結構屬性。

圖2 圖的構成方式

（3）多屬性結合

在新提出的強相關圖卷積中，利用點云的高維特征來表征點云的結構，并利用強相關的點集形成卷積圖，進而完成卷積過程，獲得更高層次的特征表示。然而，這種方法只使用幾何或顏色信息，這存在局限性的，容易出現異常點。點云不僅有幾何坐標，而且還有法線、顏色、紋理特征等。例如，幾何位置相似的點云可能不在同一平面上，但幾何坐標是無法區分的，而點云的幾何結構可以通過不同點的顏色差異進行修改和補充，分布在不同區域的顏色相似的點也可以利用幾何信息相互區分。因此，將互補性較強的幾何域和顏色域作為網絡的先驗來源。本文還使用了點云顏色的高維特征來表示點云顏色的結構。結合點云的幾何和顏色結構，找到結構最相似的點集合，形成局部圖，這提高了局部圖的相關性。為了處理幾何域和顏色域的信息，本文提出了一個并行處理框架，使用對稱的點云處理操作，以確保在共同決定局部圖組成時使用相同層級的特征，如圖3所示。

圖3 幾何、顏色并行的圖卷積

2.2 上采樣

本文采用漸進式上采樣方法，這樣可以降低學習難度，提高點云的重建能力。在特征表示過程中，點云的幾何坐標和顏色信息相互作用，在幾何坐標和顏色的上采樣過程中獨立進行。點云顏色屬性的上采樣與點云幾何坐標上采樣的方式類似，本文以點云幾何坐標上采樣為例進行介紹。點云幾何坐標上采樣過程是對點云幾何特征進行有效整合和重構的過程。為了有效地整合特征，將圖卷積塊中每個卷積層的輸出匯總，并按照與上采樣操作的遠近來組合權重，最近的卷積層輸出權重較高，反之亦然。這就突出了有效的特征，防止了信息丟失。重建點云是一個預測過程，它通常有一個大的解決方案空間，并可能導致預測的難以達成。因此，為了使預測過程更好地收斂，在每個點云預測過程中，在上采樣之前加入點云坐標信息，這樣可以減少信息的不確定性，也可以指導點云預測。

2.3 多屬性判別器

為了產生更接近原始分布的點云，除了生成器的損失約束，本文進一步采用判別網絡，以類似分類的方式確定生成點云的真假，其中真假表示為接近原始點云分布和遠離原始點云分布。為了提高判別器的分析判別能力，對判別器的特征表示采用了所提出的強相關圖卷積，它可以整合點云更有效的局部特征，其中特征壓縮模塊由強相關圖卷積組成。此外，判別器使用多屬性聯合判別法來提高判別的準確性。除了使用強相關圖卷積外，本文還采用了一種不同于一般判別器的判別方法。一般判別器對完整的輸入進行判別以得出真/假標志值，本文考慮到點云數據的特點，使用的是基于patch的判別器，對生成的點云進行多次降采樣，并確定每個降采樣點云的真/假值，以共同確定完整點云的判別結果。

2.4 損失約束

為了重建出更高質量的點云幾何信息，本文提出了基于結構的局部-全局幾何約束，全面地約束點云的幾何重建。同時，為了更好地約束顏色信息的重建，提出了基于幾何匹配的顏色約束，使用幾何信息將點云顏色信息進行匹配，從而幫助點云顏色的重建。基于結構的局部-全局幾何損失、基于幾何匹配的顏色損失與基于網絡結構的判別損失共同組成整體網絡的復合損失，定義如下：

其中λgan、λshape、λcolor為對應項的權重。在網絡訓練過程中通過最小化復合損失值使得網絡可以生成質量更好、可信度更高的高分辨率點云。

（1）基于網絡結構的判別約束

在圖卷積網絡中引入了對抗損失，它從數據中學習，依靠生成器和判別器之間的博弈，自動更新網絡參數。損失定義如下：

生成器G的目標是通過最小化Lgan(G)來生成欺騙D的?，而D的目標是通過最小化Lgan(D)來區分和y。

（2）基于結構的局部-全局幾何約束由于判別約束不能保證生成器生成的點都位于物體表面并達到想要實現的精度，更多的相似性指標可以彌補這一缺陷，主要包括CD距離和EMD距離。本文提出了一種基于結構的局部-全局幾何約束，它結合CD距離、EMD距離和密度損失，包含了細節信息約束和全局信息約束。在基于結構的局部-全局幾何約束中，使用CD損失約束點對之間的距離，用局部球的密度評估和球內間的點距來約束局部密度分布［33］，使點更接近真實值和分布更均勻。同時，EMD被用來約束點云的整體分布信息，鼓勵預測的點接近物體的底層表面。公式如下：

其中λCD，λEMD和λuni是相應項的超參數。這些超參數值是根據特定實驗設置的。

（3）基于幾何匹配的顏色約束

將顏色信息作為輸入的一部分，同時對點云顏色進行超分辨率，考慮到幾何信息和顏色信息之間的相關性，本文提出使用幾何信息來幫助生成顏色屬性，不使用RGB顏色空間中的距離來匹配顏色點對，而是使用顏色所屬點的幾何距離來預測顏色值與真實顏色值的映射。為了更好地約束顏色的生成，使用對稱的方法來計算相應點對的L2誤差。顏色損失函數定義如下:

其中c1是預測的RGB值，c2是真實RGB值。m(·)表示基于幾何距離的雙向映射關系，即m(c1)是S2中匹配c1的顏色值，m(c2)是S1中匹配c2的顏色值。

3 實驗

3.1 實驗環境與數據集

本文在兩個數據集上進行了實驗，分別是JPEG Pleno數據庫和人物數據集。由于沒有公開的彩色點云超分辨率任務的基準，本文使用了JPEG Pleno數據庫［13］中四個帶有顏色屬性的人物原始點云和本文收集的125個人物點云，其中本文收集的點云被命名為人物數據集。這兩個數據集都有很高的分辨率，每個原始點云大約有幾十萬個點。在實驗中，將分別在密集點云和稀疏點云上進行超分辨率，所以根據要求制作了不同的訓練集和測試集。在原始的JPEG Pleno數據集中，把其制作為密集點云的訓練集和測試集。為了保留點云的完整細節信息，根據點的幾何結構對點云進行切片，每片點云有4096個點。而在人物數據集上，將其制作為稀疏的點云，對原始點云進行向下采樣，以獲得稀疏但完整的人體，每個采樣的人體擁有8192個點。在測試中，使用在JPEG Pleno數據集中3個與訓練時姿勢不同的人體點云以及其他26個與人物數據集所劃分的訓練集不同的人體點云。在測試中，真實點云的數量為20000，通過使用最遠采樣方法采樣得到的輸入點為5000。所有的輸入點云數據都以原點為中心，其坐標和顏色分別歸一化為［-1,1］,［0,1］。

本文在Tensorflow上實現了所提出的點云超分辨率網絡，并在GeForce-GTX 2080 GPU上運行。所有的可學習模塊都采用ADAM優化器進行訓練，學習率為0.001，batch size大小為10。該模型首先用LG訓練80輪。然后，再添加Lgan(D)來微調模型40輪。此外，還采用了批量化（BN）來加速訓練階段，并在生成器上采用RELU激活單元，但在判別器上采用LeakyReLU。具體實驗設置參數如表1、2所示。

表1 環境配置

3.2 實驗指標

為了評估預測值和真實值之間的差異，使用了多種距離度量，如Chamfer距離（CD）、Earth Mover距離（EMD）和Hausdorff距離（HD）。距離指標容易受到異常值的影響，所以本文采用F-score和JSD作為互補的評價指標。F-score被廣泛用于分類任務中，該指標的值越大，對應的性能越好。JSD（Jensen Shannon Divergence between marginal distributions）可以評估點云A傾向于與點云B占據相同位置的程度。為了更好地評價這些方法，還采用了PRE?GT誤差和GT?PRE誤差，這兩部分分別計算預測點到離預測點最近的真實點的平均距離和真實點到離真實點最近的預測點的平均距離。此外，還使用PSNR和MSE對彩色超分辨率結果進行誤差評估。通過使用這些評價指標，可以更全面地評價本文提出的超分辨率方法的性能。

3.3 對比實驗分析

將所提出的方法與下列最先進的方法進行比較。（1）PCL［7］，一種基于PCL庫中線性插值的上采樣方法，無需訓練；（2）Fc，一種類似于PointNet的簡單全連 接網絡；（3）PCN-CD［32］，利用堆疊 的PointNet進行特征學習，將CD作為損失函數的網絡；（4）PCN-EMD［32］，使用與PCN-CD相同的結構，但使用EMD損失；（5）FoldingNet［31］，基于折疊的解碼器網絡；（6）PU-Net［5］，在特征空間學習多分支卷積的超分辨率網絡；（7）AR-GCN［2］，基于基礎圖卷積的網絡，是本工作的基線網絡。

在基于密集點云的超分辨率的實驗中，本文的方法在兩個數據集上幾乎所有評價指標都優于其他方法，如表3所示。此外，本方法在CD距離更具優勢，將CD從排名第二方法的0.0175降低到0.0057。盡管PU-Net利用EMD作為損失函數的一部分，但本方法在EMD方面也優于它。此外，本文的方法實現了最低的JSD值，僅為PCL和AR-GCN的22.4%和17.5%。從可視化結果來看，也同樣達到了較好的視覺質量，如圖4所示，左至右分別表示真實點云、PCL、PU Net、AR-GCN和本方法。對于稀疏點云的超分辨率，由于可用點云信息減少但仍需要學習點云的完整結構信息，任務的難度增加，但本方法仍然表現良好，在大多數評價指標上超過了其他比較實驗，特別是在CD為0.0058且F-Score達到了99.80%，如表4所示。

表3 在JPEGPleno數據集的測試集上對不同方法的定量比較

表4 在人物數據集的測試集上對不同方法的定量比較

圖4 點云超分辨率結果

分析可得，整個完整點云的誤差來自兩部分：形狀輪廓的預測誤差和局部細節的誤差。本文方法在代表整體誤差的EMD上優于其他方法。此外，就稀疏點云超分辨率和密集點云超分辨率而言，本方法在Pred?GT誤差和GT?Pred誤差方面都有相當大的優勢。表1和表2的結果表明，本方法可以生成更多的高精度點云，并且在整體點云和點云細節方面的失真都比較少。總體來說，本文的方法生成的高分辨率點云具有更少的噪聲并實現了較高的視覺體驗。

表2 參數配置

由于使用與幾何超分辨率方法相同的方法對顏色進行超分辨率不能產生有效的顏色屬性，所以本文對顏色提出了有效的約束，使其能生成質量較高的顏色屬性，本文設計了基于損失函數的顏色超分辨率的對比實驗來說明方法的有效性。

表6中的方法包括使用插值的超分辨率方法，沒有幾何信息輸入并只使用顏色屬性的超分辨率方法，以及幾何輔助的顏色超分辨率方法，最后一個方法是本文提出的方法。圖5為顏色超分辨率可視化結果，從左到右的圖片分別表示真實點云、插值方法、原始顏色損失方法和本文方法。從可視化的結果來看，插值方法基本上能夠重建點云的顏色，但細節卻很模糊，這一點從CD、Pred?GT和GT?Pred指標中也可以看出。通過改變點對匹配的損失函數，在計算顏色重建錯誤時，將損失函數從顏色值相似性匹配改為幾何位置相似性匹配，本文方法獲得了大約0.3的CD增益，這表明了本文方法的幾何輔助顏色超分辨率方法的有效性。

表6 不同顏色超分辨率方法的對比實驗

圖5 彩色點云超分辨率結果

3.4 消融實驗分析

為了證明每個改進部分的有效性，本文進行了消融實驗，相應的結果見表5。與AR-GCN相比，本文的方法有三個主要改進，即基于特征的圖卷積、顏色屬性處理模塊和基于結構的局部-全局幾何損失函數。如表5所示，明顯可以看出，沒有任何改進的基線方法效果并不理想。在geo-feature實驗中，本文對基線方法應用了基于幾何特征的圖形卷積操作，通過利用特征的相似性來調整圖形卷積中的圖形組成，而不是根據空間距離來選擇點。在geo-col-feature實驗中，更多有用的信息被利用到圖形表示中，包括幾何特征和顏色特征。在PRE?GT誤差和GT?PRE誤差方面，geo-col-feature方法優于geo-feature方法。本文所提出的幾何超分辨率方法是在geo-col-feature基礎上外加基于結構的局部-全局幾何損失函數，根據大多數評價指標，它進一步提高了重建性能。

表5 在JPEGPleno數據集上消融實驗對比

4 結論

本文利用圖卷積網絡來完成點云超分辨率，提出了基于特征的圖卷積來學習特征表示，引入了顏色屬性來幫助預測坐標，并提出了基于結構的局部-全局幾何損失函數來生成具有清晰邊緣的形狀。在進行基于特征的圖形卷積時，為了獲得更適合本任務的特征，使用了從網絡中提取的特征，并通過網絡自適應的學習。此外，本文采用了復合損失來進行生成器和判別器的訓練，提高網絡的性能。實驗結果證明了本文方法的有效性，表明其在各種指標上優于其它方法。