點云超分辨率的模型搭建與特征補充

陸敬奔，李春國，楊綠溪

(東南大學(xué) 信息科學(xué)與工程學(xué)院，江蘇 南京 211189)

0 引言

點云[1]是三維空間下的一種圖像數(shù)據(jù)，常使用激光雷達(dá)等采集工具對目標(biāo)進(jìn)行掃描獲得，有助于表示三維物體的表面幾何分布。不同于網(wǎng)格(mesh)、體素(voxel)等數(shù)據(jù)結(jié)構(gòu)，點云以點的三維坐標(biāo)為基本信息，這些點分布在三維物體表面，通過點的相對位置關(guān)系、點的分布疏密等描述表面幾何分布。可以引入法向量、色彩、亮度等信息，從而更好表示物體的三維表面結(jié)構(gòu)。在資源勘探、建筑修復(fù)等工程中，點云發(fā)揮著巨大作用。

受限于采集環(huán)境條件、設(shè)備精度等，實際工程中直接獲取的點云數(shù)據(jù)容易引入環(huán)境噪聲，導(dǎo)致一些區(qū)域出現(xiàn)點數(shù)較少或點分布不均等問題，在采集到點云數(shù)據(jù)后，一般需要人工對采集數(shù)據(jù)進(jìn)行預(yù)處理[2]。獲取的點云數(shù)據(jù)一般總點數(shù)較多，手動修復(fù)的效率低，當(dāng)局部區(qū)域的點云點數(shù)過少時，表面的細(xì)節(jié)信息難以恢復(fù)，可能還需要重新采集數(shù)據(jù)。點云超分辨率技術(shù)能自適應(yīng)地對輸入點云進(jìn)行點數(shù)升采樣，估計原始三維物體的表面分布，生成分布更加均勻的高分辨率點云。將點云超分辨率技術(shù)應(yīng)用于點云修復(fù)工作，有助于降低修復(fù)成本，提高生成點云質(zhì)量。

傳統(tǒng)點云超分辨率算法[3-4]基于計算機(jī)圖形學(xué)知識實現(xiàn)，使用插值的方法增加點云點數(shù)，如對點云提取LOP[5]、WLOP[6]等特定幾何特征，建立點間的位置關(guān)系，估計物體的表面流形。這些方法大多基于點云表面光滑的先驗假設(shè)，難以適應(yīng)復(fù)雜的真實場景。

近年來，深度學(xué)習(xí)方法在點云處理上得到了廣泛應(yīng)用，包括點云超分辨率、點云補全[7]等工作。點云超分辨率的算法流程大體可分為特征提取、點數(shù)擴(kuò)充、坐標(biāo)重建三個步驟。在特征提取方面，PU-Net[8]等網(wǎng)絡(luò)將PointNet[9]、PointNet++[10]等用于分類、分割任務(wù)的經(jīng)典模型作為主干網(wǎng)絡(luò)；MPU[11]設(shè)計了一個層內(nèi)密集連接、層間殘差連接的特征提取單元；隨著神經(jīng)網(wǎng)絡(luò)設(shè)計中圖卷積相關(guān)研究的開展[12]，PU-GCN[13]、AR-GCN[14]等方法在點云超分辨率任務(wù)中引入了圖卷積計算，并結(jié)合了殘差連接、密集連接[15]等方法；DGCNN[16]設(shè)計了層級式的動態(tài)圖結(jié)構(gòu)，且不同點云任務(wù)上的大量實驗證明了該模型良好的特征提取能力。在點數(shù)擴(kuò)充方面，PU-Net[8]使用多個相同結(jié)構(gòu)、不同參數(shù)的全連接層；PU-GAN[17]設(shè)計了上-下-上特征擴(kuò)展網(wǎng)絡(luò)，并引入了自注意力機(jī)制；PU-GCN[13]則設(shè)計了多種基于圖卷積的升采樣網(wǎng)絡(luò)。點云超分辨率的神經(jīng)網(wǎng)絡(luò)設(shè)計還有待發(fā)展。

1 本文方法

搭建神經(jīng)網(wǎng)絡(luò)計算深層點級特征，是基于神經(jīng)網(wǎng)絡(luò)實現(xiàn)點云超分辨率的有效方法。研究工作表明，點特征方法取得了良好的超分辨率效果，并能適應(yīng)一些真實場景的需求。按照點特征方法在點云處理中的流程設(shè)計，重建點云的分布與中間點特征的信息量存在直接關(guān)系，如果深層點特征包含的信息不夠充分，容易直接導(dǎo)致重建的三維點云質(zhì)量較差。研究者們通過設(shè)計特定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，加強(qiáng)模型對點坐標(biāo)的特征抽取，提高深層特征的表示能力，進(jìn)而增強(qiáng)神經(jīng)網(wǎng)絡(luò)的超分辨率性能。

MPU[11]是針對點云超分辨率任務(wù)設(shè)計的神經(jīng)網(wǎng)絡(luò)模型，該模型采用層級式特征抽取方法，遞進(jìn)式實現(xiàn)點云點數(shù)的上采樣，主干網(wǎng)絡(luò)采取了上-下-上的特征映射模式，能有效提升特征抽取性能。受益于深層點特征較高的表示能力，生成點云的總體質(zhì)量得到了提高。然而，整體神經(jīng)網(wǎng)絡(luò)模型缺乏對局部信息的進(jìn)一步處理，點云的細(xì)節(jié)信息仍不夠充分。以MPU的單級網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，重新建立點云超分辨率流程架構(gòu)，并添加了特征修正單元，補充深層點特征中的細(xì)節(jié)信息。實驗表明，所設(shè)計的修正單元能有效提升神經(jīng)網(wǎng)絡(luò)的超分辨率性能。

1.1 點云超分辨率的基本流程設(shè)計

圖1(a)是MPU網(wǎng)絡(luò)架構(gòu)的前向傳播流程示意圖。MPU設(shè)計了一個層級式的特征提取架構(gòu)，各層級采用了相似的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，每層級網(wǎng)絡(luò)完成固定倍率的點數(shù)上采樣。為進(jìn)一步增強(qiáng)不同尺度特征間的交互，MPU對不同層級的點特征進(jìn)行插值，并在各層級之間添加了殘差連接。一方面，層級式的網(wǎng)絡(luò)設(shè)計增強(qiáng)了網(wǎng)絡(luò)信息抽取能力，也大幅增加了網(wǎng)絡(luò)的總參數(shù)量，降低了前向傳播效率；另一方面，點云的上采樣倍率受到限制，若每層級網(wǎng)絡(luò)實現(xiàn)點云的2倍上采樣，最終生成的上采樣點云點數(shù)就必須是輸入點云數(shù)量的2的整數(shù)冪次倍，難以靈活適應(yīng)點云超分辨率的實際需求。

本文以MPU的單級網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，重新設(shè)計了點云超分辨率的前向傳播流程，其結(jié)構(gòu)如圖1(b)所示。脫離層級式結(jié)構(gòu)后，通過在點特征擴(kuò)充步驟設(shè)置特定的上采樣倍數(shù)，模型可以生成任意整數(shù)倍上采樣的高分辨率點云。

(a) MPU前向傳播流程(每層2倍上采樣)

所設(shè)計網(wǎng)絡(luò)的點特征擴(kuò)充步驟與MPU的原本設(shè)計有所區(qū)別，取代一維編碼方法，本文采用了二維網(wǎng)格編碼的方式進(jìn)行特征擴(kuò)充。如圖2(a)所示，MPU所使用的一維編碼在生成的點特征后添加不同的單數(shù)字標(biāo)記，以提高所生成點特征間的區(qū)分度，但在任意倍數(shù)的上采樣背景下，一維編碼不夠靈活。二維編碼方式也以降低不同支路點特征的相似性為目的，如圖2(b)所示，使用不同的網(wǎng)格點坐標(biāo)為各點特征添加標(biāo)記。具體地，網(wǎng)格編碼坐標(biāo)的計算公式如下：

(1)

(2)

(3)

式中，r為目標(biāo)上采樣倍數(shù)，m為r除自身以外的最大因子，設(shè)置為網(wǎng)格的橫坐標(biāo)點數(shù)，n設(shè)置為網(wǎng)格的縱坐標(biāo)點數(shù)，Gridx與Gridy表示網(wǎng)格的二維編碼。由以上公式可以看出，二維網(wǎng)格編碼將邊長0.4的正方形區(qū)域均分出m行n列的網(wǎng)格點，每個網(wǎng)格點坐標(biāo)都拼接到點特征后，標(biāo)志區(qū)分各支路點特征的位置。

(a) 一維編碼特征擴(kuò)充

相比一位編碼方法，二維編碼方法更能靈活適應(yīng)不同倍數(shù)的超分辨率任務(wù)，有助于進(jìn)一步降低不同點特征間的相似性。由此，點云超分辨率的基本流程設(shè)計完成，輸入點云首先通過單個MPU的特征抽取單元，之后生成的深層點特征通過網(wǎng)格編碼的點特征擴(kuò)充模塊，實現(xiàn)指定倍率的點特征數(shù)上采樣，最后擴(kuò)充特征經(jīng)過全連接層搭建的重建網(wǎng)絡(luò)映射回三維空間，生成高分辨率的三維點云。由于MPU具有較強(qiáng)的點特征抽取能力，該網(wǎng)絡(luò)模型可以取得良好的超分辨率效果。

1.2 基于特征補充的點云超分辨率

神經(jīng)網(wǎng)絡(luò)的深層特征與淺層特征有著不同的信息含義。淺層特征與輸入坐標(biāo)的聯(lián)系緊密，保留了一定的點的三維空間關(guān)系，深層特征負(fù)責(zé)提取點云處理具體任務(wù)的相關(guān)信息，包含更多的語義信息，相對而言其對空間關(guān)系的表示能力更弱。對點云超分辨率任務(wù)，神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果仍需落實到三維空間上，生成更高分辨率的三維點云坐標(biāo)，因此原始點云的位置信息對提升超分辨率效果有一定的積極作用。MPU前向傳播與1.1節(jié)所述的基本流程中深層點特征缺乏與淺層空間坐標(biāo)的信息交互，實際上限制了神經(jīng)網(wǎng)絡(luò)的超分辨率能力。本節(jié)設(shè)計了特征補充模塊，對深層點特征進(jìn)行特征補充，即生成相應(yīng)的額外特征，在特征通道維度拼接到深層點特征中。

全局特征在點云補全、分類分割等點云處理任務(wù)中有著重要應(yīng)用。相關(guān)工作表明，盡管全局特征常表示為一維向量，在分類任務(wù)中，全局特征憑借豐富的語義信息，能高效計算出各個類別的分類概率；在補全任務(wù)中，全局特征隱含了三維模型的表面流形結(jié)構(gòu)，能恢復(fù)出缺失區(qū)域的三維空間坐標(biāo)。將全局特征應(yīng)用于點云超分辨率，理論上可以捕捉點云的空間結(jié)構(gòu)特性，輔助高分辨率點云的重建。由于點特征方法一般根據(jù)輸入點云的各點坐標(biāo)計算點特征，沒有對不同點特征的共性表示，如圖3(a)所示，本文將原始點云輸入多層感知器，將原始點云映射為高維特征，通過平均池化函數(shù)壓縮為特征向量，生成點云的全局特征。全局特征在點特征維度進(jìn)行復(fù)制后，可以與深層點特征拼接。

前文闡述的超分辨率基本流程未添加特征信息補充，深層點特征與點云原始坐標(biāo)、淺層點特征間缺乏信息交互，造成了一定的空間位置信息損失。圖3(b)描述了空間位置特征的生成過程。若對原始點云運用k近鄰算法，找出每個點的k近鄰點，表示每個點與其鄰點間的位置關(guān)系，是對點云局部信息的一種表示。一方面，將所得的k近鄰索引應(yīng)用于特征提取所得的深層點特征，可以提取每個點三維空間近鄰點對應(yīng)的點特征，表示點云的深層局部信息；另一方面，使用多層感知器對原始三維坐標(biāo)直接進(jìn)行特征映射，并設(shè)置映射特征的維度與特征抽取得到的深層點特征相同，應(yīng)用k近鄰索引后可以表示淺層局部信息，且特征維度與深層局部信息相同。

(a) 用于特征補充的全局特征生成

為實現(xiàn)深層信息與淺層信息的信息交互，本文使用了多頭注意力模塊。深層信息被設(shè)置為多頭注意力的K、V輸入，淺層信息則設(shè)置為Q輸入。Q和K先進(jìn)行矩陣乘法計算，同時通過softmax函數(shù)，計算出V向量(即深層局部信息)在不同鄰點處的權(quán)值，并與V做矩陣乘法，獲得加權(quán)后的深層局部信息。這一操作實質(zhì)上是計算深層點特征與淺層點特征間的相似度，并以加權(quán)的計算方式彌補深層特征的空間位置信息。最后，輸出特征通過一個最大函數(shù)，消除k近鄰算法引入的特征維度。

通過將深層點特征與補充的全局特征、空間位置特征以及三維點云的原始坐標(biāo)在特征通道維度拼接，實現(xiàn)了對深層點特征的特征補充，進(jìn)一步加強(qiáng)了深層點特征的表示能力，有助于點云超分辨率模型的性能提升。

1.3 損失函數(shù)

算法采用Wasserstein距離與均勻分布損失的聯(lián)合損失函數(shù)。Wasserstein距離表征了某個分布轉(zhuǎn)移到另一個分布所需要的代價，用于點云坐標(biāo)時可表示不同點云間的相對距離，從而約束生成的高分辨率點云。Wasserstein距離尋找兩個相同點數(shù)點云間的一個雙射，使得每個點對之間的距離求和后最小，其計算公式為：

φ:Sp→Sgt為雙射。

(4)

本文所使用網(wǎng)絡(luò)的模型參數(shù)量、網(wǎng)絡(luò)深度相比MPU大大減少，參考PU-GAN的設(shè)計，使用均勻分布損失輔助引導(dǎo)神經(jīng)網(wǎng)絡(luò)收斂，該損失由不均衡度、聚類度兩個指標(biāo)計算得出，具體公式如下：

(5)

(6)

(7)

Luni=λ1·dEMD(Sp,Sgt)+λ2·Luni(Sp)。

(8)

1.4 性能指標(biāo)

采用倒角距離和豪斯多夫距離作為點云超分辨率的評估指標(biāo)。倒角距離(Chamfer Distance)是一種點云間距的衡量方式，利用兩個點云中點的最近歐式距離進(jìn)行計算，其計算公式為：

(9)

式中，S1、S2分別表示兩個點云，x與y分別表示S1與S2內(nèi)的任意一點。生成點云與真實高分辨率點云間的倒角距離越小，說明二者的相似度越高，模型性能越好。

豪斯多夫距離(Hausdorff Distance)是一個最大最小函數(shù)，即一個集合到另一個集合中最近點的最大距離，在點云中該距離同樣基于歐氏距離計算，其計算公式如下：

(10)

同樣地，豪斯多夫距離小，表明生成點云與真實高分辨率點云越相似。作為評價指標(biāo)，倒角距離反映了模型的平均性能，豪斯多夫距離指標(biāo)則一定程度反映了模型的性能下限，在超分辨率任務(wù)中將二者用于評價點云距離，有助于更全面地分析模型的點云超分辨率性能。

2 實驗細(xì)節(jié)與結(jié)果分析

2.1 實驗數(shù)據(jù)集與網(wǎng)絡(luò)訓(xùn)練設(shè)置

本文使用了PU1K公開點云超分辨率數(shù)據(jù)集，其包含1 147個3D模型，其中1 020個模型用于訓(xùn)練集，127個模型用于測試集。官方提供的訓(xùn)練集模型已經(jīng)過預(yù)處理，所有3D模型分割成多個輸入patch，分別表示原始3D模型的某個部分。每個patch由低分辨率、高分辨率點云對表示，低分辨率點云包含256個點，高分辨率點云則包含1 024點，因此該數(shù)據(jù)集適合4倍超分辨率的模型訓(xùn)練。訓(xùn)練集共包含69 000個patch，隨機(jī)選取65 000個patch用于訓(xùn)練，其他4 000個patch用于訓(xùn)練過程的模型驗證。測試集的點云數(shù)據(jù)為127個完整點云模型樣本，每個樣本包含256點、512點、1 024點、2 048點4種不同尺度的低分辨率點云，以及它們對應(yīng)的4倍高分辨率點云，其中2 048點尺度的輸入點云用于模型性能測試。

基于Pytorch深度學(xué)習(xí)框架編寫了代碼，算法搭載在NVDIA GeForce GTX 2080Ti GPU訓(xùn)練測試。網(wǎng)絡(luò)使用Adam優(yōu)化器進(jìn)行學(xué)習(xí)，批處理大小batch size設(shè)置為50，初始學(xué)習(xí)率為0.001，共訓(xùn)練了70個epoch，分別在18、35、44、53個epoch時做一次比例為0.6的學(xué)習(xí)率衰減。數(shù)據(jù)集輸入神經(jīng)網(wǎng)絡(luò)時進(jìn)行了預(yù)處理，點云尺寸均歸一化到半徑為1的單位球內(nèi)。此外，低分辨率點云還會進(jìn)行一次隨機(jī)旋轉(zhuǎn)，從而實現(xiàn)數(shù)據(jù)集的數(shù)據(jù)增強(qiáng)。特征抽取生成的中間特征維度設(shè)置為99。

2.2 模型在PU1K測試集的測試結(jié)果

選取PU1K輸入點數(shù)為2 048，4倍超分辨率為8 192點數(shù)的PU1K測試集點云測試模型性能，本文方法與基于深度神經(jīng)網(wǎng)絡(luò)的主流點云超分辨率方法的性能對比如表1所示。

表1 PU1K測試集(2 048點輸入)的性能對比Tab.1 Performance comparison in PU1K dataset (2 048 input points)

由表1中數(shù)據(jù)可見，本文算法的倒角距離、豪斯多夫距離較低，且特征補充對神經(jīng)網(wǎng)絡(luò)模型帶來一定的性能提升。相對大多主流方法，本文使用與MPU相同的主干網(wǎng)絡(luò)進(jìn)行信息抽取，基于所設(shè)計的訓(xùn)練流程，所提出的方法能取得更優(yōu)的超分辨率效果。與MPU原本的網(wǎng)絡(luò)架構(gòu)相比，所設(shè)計神經(jīng)網(wǎng)絡(luò)不包含級聯(lián)結(jié)構(gòu)，其前向傳播為線性流程，超分辨率倍率更加靈活可控。

特征補充方法的超分辨率效果如圖4所示。低分辨率點云包含2 048個點，雖然能較好地表示出物體表面的大致形狀，但在局部細(xì)節(jié)處信息不足。以圖中的點云樣本為例，低分辨率點云在指尖處的點較為稀疏，使用PU-GCN模型對其進(jìn)行超分辨率時，生成點云的指尖部位不夠平滑；在處理鴨子玩具的點云數(shù)據(jù)時，PU-GCN模型在鴨子嘴部出現(xiàn)了明顯的偽象，即部分點是在模型表面之外的。本文提出的方法在一定程度上緩和了這些問題，手指部位的點分布更加均勻光滑，鴨子嘴部的偽像效應(yīng)更弱。以上實驗數(shù)據(jù)表明，特征補充豐富了深層點特征的全局、空間位置信息，直接提升了生成的高分辨率點云質(zhì)量。

圖4 特征補充方法的超分辨率效果圖Fig.4 Super-resolution results using adjunctive features

3 結(jié)束語

點特征方法是基于神經(jīng)網(wǎng)絡(luò)進(jìn)行點云超分辨率的經(jīng)典方法，現(xiàn)有的點特征方法中，深層點特征與重建點云坐標(biāo)的關(guān)系密切，為進(jìn)一步豐富深層特征的表示能力，提高模型的超分辨率性能，本文在MPU網(wǎng)絡(luò)的基礎(chǔ)上重建了超分辨率的前向傳播流程，從全局信息、空間位置信息等方面對深層特征進(jìn)行擴(kuò)充。實驗證明，在倒角距離、豪斯多夫距離兩個指標(biāo)上，所設(shè)計的神經(jīng)網(wǎng)絡(luò)模型相比主流網(wǎng)絡(luò)取得了更低的數(shù)值，且特征補充模塊進(jìn)一步提升了模型性能。