三維點云數(shù)據(jù)超分辨率技術(shù)

畢 勇，潘鳴奇,2，張 碩，高偉男

（1.中國科學(xué)院 理化技術(shù)研究所, 北京 100190；2.中國科學(xué)院大學(xué), 北京 100049）

1 引 言

點云（point cloud）是空間中點的集合，是現(xiàn)實世界數(shù)字化采樣的結(jié)果，包含了豐富的信息。近年來，隨著人臉識別、自動駕駛、三維建模等技術(shù)的逐漸成熟，對高質(zhì)量點云數(shù)據(jù)處理的需求越來越多[1-4]。在人臉識別領(lǐng)域，相較于二維識別技術(shù)，三維人臉識別技術(shù)可以有效克服環(huán)境變化對識別性能的影響[5]。在自動駕駛領(lǐng)域，三維激光雷達獲取的點云數(shù)據(jù)為無人駕駛汽車的導(dǎo)航定位、路徑規(guī)劃和決策控制提供了信息支撐[6-7]。點云數(shù)據(jù)已成為繼地圖和影像后的第三類空間數(shù)據(jù)[8]。因此，如何高效地獲取高精度的點云數(shù)據(jù)成為學(xué)術(shù)研究的熱點[9-10]。

然而，受到當前傳感器芯片技術(shù)水平的限制，直接采集到的三維點云數(shù)據(jù)通常分辨率較低，遠不及可見光圖像[11]。如目前量產(chǎn)的ToF深度相機分辨率普遍在240 pixel×320 pixel[12-13]，這將會導(dǎo)致獲取到的點云密度較低，難以滿足使用需求。更高分辨率的設(shè)備會帶來更高的成本，同時，為了能在同一傳感器面積下容納更多的像素，需要減小像元尺寸，而更小的像元尺寸會導(dǎo)致更低的信噪比[14]。隨著傳感器分辨率的提高，其功耗也會隨之增加，這不僅會對散熱系統(tǒng)提出更高的要求，也會限制點云數(shù)據(jù)在機器人等移動場景中的應(yīng)用。

為了提高點云數(shù)據(jù)的分辨率，國內(nèi)外很多學(xué)者開展了關(guān)于點云數(shù)據(jù)超分辨率算法的研究。超分辨率技術(shù)，是一種提升分辨率的圖像增強技術(shù)。超分辨率的通常定義為[15]：給定某個場景的單幀或序列低分辨率（Low Resolution, LR）圖像作為輸入，結(jié)合一定的先驗信息，重構(gòu)得到該場景的高分辨率（High Resolution, HR）圖像。超分辨率的本質(zhì)是解出成像系統(tǒng)截止頻率之外的信息，是一種“無中生有”的技術(shù)。因此，對于給定的輸入圖像，它的解并不是唯一的。超分辨率技術(shù)中，分辨率特指空間分辨率。20世紀60年代，Harris和Goodman首次提出了圖像超分辨率的想法，并希望找到實現(xiàn)這一過程的方法[16-17]。在此之后，超分辨率技術(shù)受到了越來越多國內(nèi)外學(xué)者的關(guān)注，其理論和技術(shù)手段不斷取得新的進步[18-20]。點云數(shù)據(jù)不同于二維圖像，它的數(shù)據(jù)具有稀疏性和不規(guī)則性。同時，點云數(shù)據(jù)對應(yīng)的深度圖像中，每個點均為體現(xiàn)物體表面空間結(jié)構(gòu)與材質(zhì)的距離值，而不是二維圖像中包含的顏色或灰度信息，此時對深度圖像使用二維圖像超分辨率常用的處理方式變得沒有意義。因此點云數(shù)據(jù)超分辨率的工作十分具有挑戰(zhàn)性。

針對點云數(shù)據(jù)超分辨率的經(jīng)典算法從輸入上可以分為兩類：基于深度圖像序列、基于單幀深度圖像與高分辨灰度圖像融合。近年來，隨著高性能計算設(shè)備的發(fā)展和機器學(xué)習技術(shù)的日益完善，基于機器學(xué)習的超分辨率方法越來越多地受到了國內(nèi)外學(xué)者的關(guān)注，成為了點云數(shù)據(jù)超分辨率方法的一個重要分支。基于機器學(xué)習的方法主要以卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）、圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Network，GCN）作為基礎(chǔ)，針對點云數(shù)據(jù)超分辨率的具體需求發(fā)展出的一系列網(wǎng)絡(luò)模型。本文將對主要的點云數(shù)據(jù)超分辨率方法進行分類介紹并進行對比。

2 經(jīng)典超分辨率方法

最簡單的點云數(shù)據(jù)超分辨率算法是插值法，主要包括最近鄰插值、雙線性插值、三次插值等。這類算法利用周圍已知的深度信息估計當前缺失點的像素，具有模型簡單、計算量小等特點，但這類算法得到的結(jié)果可能會帶有鋸齒，在邊緣區(qū)域非常模糊，并且放大倍率有限，無法滿足大多數(shù)實際需求，因此不做討論。

本文將經(jīng)典的點云數(shù)據(jù)超分辨率算法分為：基于深度圖像序列的超分辨率方法和基于單幀深度圖像與高分辨可見光圖像融合的超分辨率方法。下面將進行詳細的介紹。

2.1 基于深度圖像序列的超分辨率方法

基于深度圖像序列超分辨的方法是一類通過快速采集同一場景的多幅深度圖像，利用時間分辨率提升空間分辨率，將LR的退化部分去除得到HR深度圖像的方法。這種方法除了利用先驗知識和單幅圖像信息外，還可以應(yīng)用相鄰圖像之間的互補信息進行超分辨率重建，得到比任何一幅低分辨率圖像分辨率都高的高分辨率圖像。這類方法的基本思想是將深度圖像序列中的每一幀都看作是輸出深度圖像的一個退化結(jié)果，通過迭代、融合，求解出超分辨率處理后的HR深度圖像。

2.1.1 基于凸集投影（Projection Onto Convex Sets, POCS）的序列深度圖像超分辨率方法

POCS最早由Stark和Oskoui提出[21]，用于解決二維圖像超分辨率的問題。POCS是建立在集合的基礎(chǔ)上，利用空域模型將各種先驗信息定義為凸約束集合，理想的解就在凸約束集合的交集中，通過不斷迭代，交替投影到各個凸集中，解出待復(fù)原的圖像，即為超分辨率處理后的HR圖像。Gevrekci等[22]提出了一種基于POCS的序列深度圖像超分辨方法。該方法通過建立深度圖像的成像模型，再運用POCS進行求解。成像模型和每個像素的殘差分別表示為：

其中，Di為第i張LR深度圖像；q為估計的HR深度圖像；Hi為運動、模糊和下采樣的線性映射；αi為曝光時間；ηi為加性噪聲；f為光電轉(zhuǎn)換函數(shù)（OECF），將每個空間位置的相位量轉(zhuǎn)換為深度值。(l1,l2)和(n1,n2)分別為LR和HR深度圖像中的像素坐標；hi為HR到LR的線性映射，將觀測到的每個像素與HR深度圖像中待估計的對應(yīng)區(qū)域相關(guān)聯(lián)；f-1為反-相機響應(yīng)函數(shù)，表示相機自身的參數(shù)以優(yōu)化噪聲。將殘差投影到最近的約束邊界上，對HR圖像進行迭代更新。

通過構(gòu)建一個多曝光分辨率增強框架，利用低積分時間捕捉近場目標，利用高積分時間捕捉遠場對象，算法從不同層次加權(quán)合并有用的深度信息并消除噪聲，類似于高動態(tài)范圍（High Dynamic Range，HDR）的效果，最終實現(xiàn)了深度圖像的超分辨率。

基于POCS的超分辨方法能夠充分利用現(xiàn)有的先驗信息，靈活性高，同時也能較好地保留邊緣細節(jié)[23]，但解過度依賴初始估計，且解不唯一，由于其收斂性不好，造成運算量大。

2.1.2 基于雙邊正則化項的序列深度圖像超分辨率方法

Schuon等[13]將二維序列圖像超分辨率的思想應(yīng)用到了深度圖像超分辨率的問題上，認為LR深度圖像序列中的每一幀是單個HR深度圖像的退化結(jié)果，將序列LR深度圖像進行對齊，即可合并生成一個HR深度圖像。圖像的形成過程為：

其中，Yk為單幀LR深度圖像；X為待恢復(fù)的HR深度圖像，即為超分辨率的結(jié)果；Dk為抽樣算子，用于建立將HR圖像下采樣為LR圖像這一過程的模型；Hk為模糊算子；Fk為超分辨率圖像和當前低分辨率圖像之間運動的平移算子；Vk為加性噪聲。

加入權(quán)重為λ的雙邊正則化項γ后，此時HR深度圖像估計值為：

該方法利用雙邊全變差正則約束項，限制圖像總體能量，采用極大似然估計理論構(gòu)建優(yōu)化目標函數(shù)，對深度圖進行超分辨重建。相對于基于聯(lián)合雙邊上采樣濾波器（Joint Bilateral Upsampling Filter, JBUF）的方法，該方法更有利于保護邊緣細節(jié)，尤其針對可見光圖像中邊緣顏色變化不明顯的區(qū)域。但由于需要利用多幀深度圖像進行超分辨率處理，因此該方法只適用于靜態(tài)場景；此外，該方法需要的計算時間較長，不適用于實時高效的超分辨率重建。

2.2 基于單幀深度圖像與高分辨可見光圖像融合的超分辨率方法

基于單幀深度圖像與高分辨可見光圖像融合的超分辨率方法主要是利用信息融合技術(shù)，通過搭建RGB-D系統(tǒng)，結(jié)合同一場景的高分辨率可見光圖像，實現(xiàn)對低分辨率點云數(shù)據(jù)的高分辨率重建。這類算法思路非常明確，可見光傳感器分辨率高且價格低廉，獲取點云數(shù)據(jù)的激光雷達分辨率低但價格高昂，因此這種融合的方法也成為了研究熱點。基于單幀深度圖像與高分辨可見光圖像融合的超分辨率方法主要有聯(lián)合雙邊上采樣濾波器、二階廣義總變分等以及它們的改進方法。

2.2.1 聯(lián)合雙邊上采樣濾波器

雙邊濾波器（Bilateral Filter）是一種有兩個濾波核的邊緣保持非線性濾波器，它綜合考慮了像素空間域鄰近度和顏色相似度，最初由Tomasi和Manduchi在1998年提出[24]。在此基礎(chǔ)上，Kopf等[25]通過引入一幅高分辨率可見光圖像，提出聯(lián)合雙邊上采樣濾波器，快速高效地重建出了高分辨率深度圖像。聯(lián)合雙邊上采樣濾波器的濾波核權(quán)重由引導(dǎo)圖像計算得到，而不是由需要濾波的圖像得到，該濾波器可以表示為：

其中，Sp為高分辨率深度圖像；kp為歸一化系數(shù)；Sp↓為低分辨率深度圖像；I為相同場景下的高分辨率可見光圖像；p和q分別為高分辨率圖像的兩個像素點；p↓和q↓為低分辨率深度圖像上對應(yīng)像素點的坐標；‖Ip-Iq‖1為一個L1范式，表示兩個像素之間灰度（顏色）的差值；‖p↓-q↓‖2為一個L2范式，表示兩個像素之間的距離；f表示空間域鄰近度高斯核函數(shù)；g表示顏色相似度高斯核函數(shù)；σf和σg分別為空間距離項和顏色相似項的標準差，取值大小決定了參與當前中心像素點深度重建的像素區(qū)域范圍，與重建的像素區(qū)域范圍成正比。

涂義福等[26]基于JBUF，提出了基于深度圖像邊緣特征引導(dǎo)的超分辨方法，解決了JBUF重建過程中的邊緣模糊、紋理映射問題。該方法的改進工作主要是引入了低分辨率深度圖像的邊緣特征，利用低分辨深度圖像含有的不連續(xù)邊緣特征，引導(dǎo)深度圖像在不同區(qū)域使用JBUF時，進行不同的顏色相似加權(quán)。同時針對JBUF中高斯核會引起邊緣過度平滑的問題，在邊緣部分加入了邊緣保持項，更有效地保護了圖像邊緣的邊界結(jié)構(gòu)。該方法首先利用canny算子對同場景的高分辨彩色圖像進行邊緣提取，獲得彩色圖像邊緣信息；然后對低分辨深度圖像進行雙線性插值，獲得插值深度圖像；并根據(jù)像素點與深度圖像邊緣的位置關(guān)系，將深度圖像劃分為：平滑區(qū)、過渡區(qū)、邊緣區(qū)；最后根據(jù)深度圖像的邊緣特征劃分的不同區(qū)域，利用聯(lián)合雙邊濾波器模型，對不同區(qū)域進行重建。

此外，也有諸多學(xué)者基于雙邊濾波器進行點云數(shù)據(jù)超分辨率方法的研究。Yang等[27]為了解決雙邊濾波器邊緣平滑的問題，構(gòu)建不同的輸出深度層，在不同的深度層結(jié)合雙邊濾波器，利用WTA（Winner Take All）的方法不斷迭代，最終輸出深度圖像。Chan等[28]提出了具有噪聲感知的雙邊濾波算法，根據(jù)窗口中的深度信息相似性進行加權(quán)，優(yōu)化了紋理復(fù)制的問題。He等[29]為了解決雙邊濾波中出現(xiàn)的梯度扭曲問題，提出了基于引導(dǎo)圖像的濾波器。該方法假設(shè)在窗口中的引導(dǎo)圖像與輸出圖像之間具有線性關(guān)系，通過線性回歸來估計參數(shù)。該方法解決了梯度扭曲的問題，并且算法更加高效。

基于JBUF的算法本質(zhì)上是通過濾波器來進行超分，而這些濾波器都是由高斯核組成的。因此利用濾波的方法最主要的工作在于如何避免高斯核導(dǎo)致的點云數(shù)據(jù)不連續(xù)區(qū)域過度平滑的問題。

2.2.2 二階廣義總變分（Total Generalized Variation, TGV）

Ferstl等[30]提出了一種彩色圖像約束的二階TGV深度圖像超分辨率算法。該方法假設(shè)高分辨率彩色圖像邊緣信息與深度圖像的邊緣存在對應(yīng)關(guān)系，根據(jù)這種對應(yīng)關(guān)系，對低分辨深度圖像添加來自高分辨彩色圖像的邊緣索引，利用兩者的信息，根據(jù)相機空間坐標系的映射關(guān)系，重新繪制高分辨的深度圖像。該方法可以表示為：

其中，u為待求解的高分辨率深度圖像；G為數(shù)據(jù)量，用來衡量u與Ds的保真度；F是以高分辨率彩色信息作為先驗知識的正則化約束項。該方法首先將LR深度圖像映射到同場景HR彩色圖像空間中，獲得稀疏的深度數(shù)據(jù)Ds；然后根據(jù)二階TGV模型，以Ds作為模型的初值，高分辨率灰度信息作為正則化約束項，構(gòu)建出模型的目標函數(shù)，從而將圖像SR問題轉(zhuǎn)化為目標函數(shù)最優(yōu)化求解問題；最后通過不斷迭代對Ds添加邊緣信息，重建出高分辨的深度圖像。該方法可以實現(xiàn)放大倍率為2×、4×、8×、16×的深度圖像超分辨率，尤其在大于8×的放大倍率時，該方法的效果好于基于濾波和基于MRF的方法。

邸維巍等[31]在上述二階TGV模型的基礎(chǔ)上，在二階TGV的顏色約束項中引入邊緣指示函數(shù)，并以此作為新的約束項，提出了一種改進的彩色圖約束的二階TGV深度圖超分辨率模型。該方法首先將LR深度圖像映射到彩色空間中，然后利用帶有邊緣指示函數(shù)的二階TGV彩色HR約束項，將深度圖超分辨率重建問題轉(zhuǎn)化成最優(yōu)求解問題，最后通過迭代重加權(quán)和原-對偶算法進行求解，恢復(fù)出高分辨率深度圖像。其主要工作是優(yōu)化了原始二階TGV模型中的正則化項，改進的二階TGV正則項可以表示為：

其中，g為 邊緣指示函數(shù)|，可以有效|表示圖像邊緣；c為一個非負常數(shù)。當較大時，說明該處有明顯的波動或扭曲，對應(yīng)了圖像的邊緣，此時g可以防止整體出現(xiàn)較大變化，因此能夠有效地保護深度圖像邊緣結(jié)構(gòu)特征。

王宇等[32]提出了一種插值深度圖和彩色圖像聯(lián)合約束的方法，利用多尺度形態(tài)學(xué)預(yù)處理獲取插值深度圖的梯度信息，然后將插值深度圖和高分辨率彩色圖像兩者的梯度信息聯(lián)合，構(gòu)造約束項再進行求解。這種改進方法也可以獲得質(zhì)量較好的高分辨率深度圖像。

基于二階TGV的方法可以有效保護邊緣信息，但這類方法也有固有的局限性。基于二階TGV的基本思想為建立模型并不斷迭代優(yōu)化來求解，但由于利用可見光圖像作為約束項來進行優(yōu)化，可能會導(dǎo)致可見光圖像中的表面紋理信息映射到點云數(shù)據(jù)中，造成紋理復(fù)制的現(xiàn)象。同時，利用迭代求解的算法的共同問題是運算時間較長，不利于快速求解。

2.2.3 馬爾可夫隨機場（Markov Random Fields,MRF）

MRF的基本思想是：先對輸出圖像進行估計，利用輸入圖像與估計圖像的差異來構(gòu)建最大似然項，結(jié)合先驗條件（即約束），將問題轉(zhuǎn)化為求估計項的最優(yōu)解。MRF在圖像分割、目標匹配中已經(jīng)有廣泛的應(yīng)用，并有良好的效果。Diebel等[33]最早將MRF運用到深度圖像超分辨率中，將激光雷達獲取到的深度值作為MRF的數(shù)據(jù)項（最大似然項），將像素點之間的顏色相似性作為MRF的平滑項（先驗條件）。其模型表示為：

其中y為輸出的點云；z為輸入的點云；x為對應(yīng)的彩色點；Γd和Γc分別為MRF中的深度數(shù)據(jù)項和深度平滑項。Γd用于衡量輸入輸出點云對應(yīng)的有效像素點之間的深度值之間的二次距離，值越小則表示重建性能越好； Γc則用于衡量相鄰像素點之間的距離，兩個像素點顏色越相似，它們的權(quán)重越大，代表相鄰的重建深度值越相近，反之亦然。

與其他方法相比，基于MRF的方法是一類基于全局優(yōu)化的深度圖像超分辨率方法，它能夠保留更多全局的結(jié)構(gòu)化信息，但該類方法得到的結(jié)果往往會出現(xiàn)部分像素點的深度值缺失或誤差較大，并且可能會導(dǎo)致邊緣過度平滑。針對上述問題有一些改進方法，例如陳金奇等[34]以MRF為基礎(chǔ)，以高分辨率彩色圖像為引導(dǎo)，通過充分挖掘深度圖像與彩色圖像的內(nèi)在聯(lián)系來構(gòu)造局部特征結(jié)構(gòu)模型，重新構(gòu)造MRF的能量項，提升了原有方法的性能。考慮到在真實場景中，雖然顏色相似的地方有較大的概率存在相似的深度值，但顏色突變時并不意味著深度值也有突變。Park等[35]引入了非局部均值濾波的平滑約束項，對MRF的平滑項進行了修改，解決了MRF導(dǎo)致的邊緣平滑的問題。

2.3 性能評價

目前對于點云數(shù)據(jù)超分辨率的評價標準并不統(tǒng)一，可以分為主觀評價和客觀評價。主觀評價主要是通過人眼衡量超分辨率后圖像的質(zhì)量，但評價結(jié)果不夠客觀，不能定量比較不同方法之間的優(yōu)劣。客觀評價的方法是通過超分辨率處理前后的參數(shù)來進行評價，主要有：

（1）峰值信噪比（Peak Signal-to-Noise Ratio,PSNR）

PSNR是信號的最大功率和信號噪聲功率之比，用以測量已經(jīng)被壓縮的重構(gòu)圖像的質(zhì)量，通常以分貝（dB）來表示。PSNR指標越高，說明圖像質(zhì)量越好。

其中，IMax表示的是圖像各像素值中的最大值，MSE表示的兩個圖像之間對應(yīng)像素之間差值平方的均值，單通道圖像的MSE可以表示為

多通道（C通道）圖像的MSE可以表示為

（2）均方根誤差（Root Mean Squared Error,RMSE）

RMSE用于衡量觀測值與真實值之間的偏差，表示為：

（3）結(jié)構(gòu)相似性評價（Structural Similarity Index, SSIM）

SSIM是衡量兩幅圖像相似度的指標，其取值范圍為[0,1]，SSIM的值越大，表示圖像失真程度越小，說明圖像質(zhì)量越好。

其中，μx和μy分別為圖像X和Y的像素的均值，σx和σy分別為圖像X和Y的像素的標準值，σxy為圖像X和Y的協(xié)方差，C為常數(shù)，值為：

經(jīng)典的點云數(shù)據(jù)超分辨率方法中，目前大多數(shù)工作都采用Middlebury數(shù)據(jù)集[36]來進行測試對比。數(shù)據(jù)集包含多組高分辨率彩色圖像（分辨率為1 376 pixel×1 088 pixel）以及同場景的下采樣倍數(shù)為4×（分辨率為344 pixel×272 pixel）和8×（分辨率為172 pixel×136 pixel）的低分辨率點云數(shù)據(jù)。為了方便對比，本文取使用較多的3組：Art、Moebius、Books。RMSE對比結(jié)果如表1所示。

表1 均方誤差比較Tab.1 RMSE comparison

2.4 小結(jié)

本節(jié)對經(jīng)典點云超分辨率方法進行了分類，并對幾種具有代表性的方法進行了介紹。

基于深度圖像序列的超分辨率方法利用多個點云之間的冗余信息互補，通常根據(jù)退化模型建模來實現(xiàn)超分辨率。這類方法僅利用深度圖像，不需要可見光圖像等其他信息，降低了采集系統(tǒng)的設(shè)計難度和成本，同時能夠避免紋理復(fù)制的問題，也能夠避免可見光圖像中顏色、光照變化的干擾。但在應(yīng)用中很難保證得到同一場景的多幀深度圖像，這是由于該類方法依賴多幀點云數(shù)據(jù)之間亞像素級別的位移信息，因此只能適用于靜態(tài)場景。同時相對于使用單幀深度圖像的超分辨率方法，該類方法很難保證實時性，且更容易受到環(huán)境以及點云采集設(shè)備自身誤差的影響。此外，利用多幀點云數(shù)據(jù)超分辨率的方法非常依賴深度圖像配準技術(shù)，而在幾乎沒有明顯深度不連續(xù)的場景中，配準是十分困難的，不準確的配準結(jié)果會影響超分辨率的準確性。目前大多數(shù)基于多幀點云數(shù)據(jù)的超分辨率算法沒有考慮配準的問題，而是假設(shè)輸入的點云序列已經(jīng)對準。有些算法雖然加入了配準，但都是假設(shè)了運動已知、僅有平移運動等簡單情況，但是實際應(yīng)用中這樣的假設(shè)過于簡單而難以成立。這種不精確的配準直接影響到超分辨率的效果，也會對后續(xù)點云數(shù)據(jù)的應(yīng)用造成影響。

基于單幀深度圖像與高分辨可見光圖像融合的超分辨率方法的研究較多。該類方法通過挖掘同場景下點云數(shù)據(jù)與可見光圖像的對應(yīng)關(guān)系，搭建RGB-D系統(tǒng)，充分利用了可見光圖像包含的表面及邊緣信息，僅需要原始的點云數(shù)據(jù)及對應(yīng)場景的可見光數(shù)據(jù)，系統(tǒng)較簡單，適用范圍較廣，效率較高，但同時存在紋理復(fù)制、可見光與深度數(shù)據(jù)梯度不對應(yīng)等問題，影響超分辨率的結(jié)果。

經(jīng)典的點云超分辨率方法還可以分為基于局部信息的方法和基于全局優(yōu)化的方法。基于局部信息的方法一般有較高的運行效率；基于全局優(yōu)化的方法通常能夠較好地保持全局化的結(jié)構(gòu)信息。

3 基于機器學(xué)習的超分辨率算法

2014年，Dong等[37-38]提出了首個用于二維圖像超分辨率的輕量端到端網(wǎng)絡(luò)SRCNN，該方法的提出可以視為基于機器學(xué)習進行超分辨率的里程碑。相對于二維圖像的超分辨率問題，點云數(shù)據(jù)存在稀疏性和不規(guī)則性，因此用神經(jīng)網(wǎng)絡(luò)學(xué)習和分析點云數(shù)據(jù)一直以來是一個具有挑戰(zhàn)性的工作。基于機器學(xué)習的點云數(shù)據(jù)超分辨率方法是以常見的CNN、GAN、GCN以及其他網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，針對點云數(shù)據(jù)超分辨率發(fā)展出的一系列方法。

3.1 PU-Net

Yu等[39]提出了PU-Net來進行點云數(shù)據(jù)的超分辨率。PU-Net的核心思想是學(xué)習到每個點從局部到全局的多級特征，再在特征空間中擴大點集，最后將擴大的點集映射回三維。提取特征的方法基于PointNet++[40-41]。

基于PU-Net的點云數(shù)據(jù)超分辨率方法的主要步驟為：

（1）鄰域選擇。在模型表面上隨機選擇若干個中心點，然后指定一個距離的點和中心點一起作為一個補丁，可以改變距離的大小，從而形成不同尺度、不同密度的補丁。

（2）層次特征學(xué)習。采用了PointNet++的算法，得到了各個尺度上點的特征。注意：這里每層聚類的半徑比較小，這樣可以保留住更多的局部細節(jié)特征。

（3）多層次特征融合。越低層次的特征對應(yīng)著越局部的特征。對于高層次的特征，網(wǎng)絡(luò)采用了按歸屬（連接）關(guān)系將它們傳遞到每個點上。

（4）特征展開。如圖1所示，N為點的數(shù)量，為特征的維度。目標是得到rN個特征，因此首先將N×擴展到rN×，然后通過各點之間的兩個獨立卷積核，最終得到rN×。

（5）坐標重建。通過全連接層將rN×化為rN×3，即把所得的張量轉(zhuǎn)化為點云坐標，得到結(jié)果。

但PU-Net具有以下缺陷：

（1）PU-Net直接回歸點坐標，而沒有利用LR和HR點云之間的相似性，這使得訓(xùn)練變得困難。

（2）PU-Net提出了一個復(fù)雜的損失函數(shù)，并對HR點云的均勻分布有很強的假設(shè)。手動設(shè)計的損失函數(shù)往往會過分地適應(yīng)人類的先驗知識，從而無法捕獲HR點云的許多其他屬性，例如連續(xù)性。

（3）PU-Net不是為填補而設(shè)計的，因此不能填補大的漏洞和缺失的部分。

（4）無法為采樣嚴重不足的微小結(jié)構(gòu)添加有效的點。

PU-Net首次將機器學(xué)習運用到點云數(shù)據(jù)超分辨率的工作中，后續(xù)的諸多方法都是在此基礎(chǔ)上發(fā)展而來的。

圖1 PU-Net的網(wǎng)絡(luò)示意圖[39]Fig.1 The architecture of PU-Net[39]

3.2 MPU

Wang等[42]提出基于片元的漸進式點云數(shù)據(jù)超分辨率方法。主要思想為將點云數(shù)據(jù)分成若干部分進行上采樣的過程，這樣利于局部的細節(jié)保留。這個步驟可以理解為漸進式上采樣。如圖2所示，MPU網(wǎng)絡(luò)由一組級聯(lián)的上采樣網(wǎng)絡(luò)單元組成，每個單元都具有相同的結(jié)構(gòu)，但是每個單元對應(yīng)不同的細節(jié)級別。所有細節(jié)級別的信息通過跳接層進行共享，每個單元的輸入是前一個單元的輸出。其多步上采樣網(wǎng)絡(luò)包括：

（1）多步驟基于片元的感受野。點云沒有規(guī)則的結(jié)構(gòu)，為了實現(xiàn)感受野自適應(yīng)的變換，利用k最近鄰方法，感受野的大小由每個子單元的特征提取層中的kNN來定義。

（2）多步驟端到端訓(xùn)練。在訓(xùn)練過程中，每個單元進行兩次訓(xùn)練。這種訓(xùn)練方式可以避免新單元影響之前單元的穩(wěn)定。由于感受野內(nèi)點的數(shù)量是固定的，因此隨著級數(shù)的增加，空間尺度也在減小，即訓(xùn)練的特征尺度從全局轉(zhuǎn)為局部。

若進行高倍率的超分辨率處理，由于生成的點數(shù)多，將會導(dǎo)致訓(xùn)練更為復(fù)雜，而MPU這種采用漸進式上采樣的方法，可以有效解決這個問題。

圖2 MPU上采樣模型[42]Fig.2 Up-sampling model of MPU[42]

3.3 PU-GAN

GAN即為生成式對抗網(wǎng)絡(luò)，由Goodfellow在2014年提出的[43]，是近年來復(fù)雜分布上無監(jiān)督學(xué)習最具前景的方法之一。GAN的核心思想是通過框架中兩個模塊——生成器和鑒別器的互相博弈學(xué)習產(chǎn)生結(jié)果。生成器通過輸入生成圖像，鑒別器將生成器生成圖像作為負樣本，真實圖像作為正樣本，來判別一張圖片是不是“真實的”。通過生成器和鑒別器的交替訓(xùn)練，使得生成器生成的圖像越來越接近真實值，鑒別器的判斷能力也越來越強。Goodfellow從理論上證明了該算法的收斂性[43]。

點云的超分辨本身就是一種生成類的任務(wù)，因此Li等[44]在2019年首次提出利用生成對抗網(wǎng)絡(luò)進行點云數(shù)據(jù)超分辨率的工作。PU-GAN依靠生成器對輸入的點云進行上采樣并輸出，鑒別器對輸出進行辨別并輸出置信度，如圖3所示。

圖3 PU-GAN的網(wǎng)絡(luò)示意圖[44]Fig.3 The architecture of PU-GAN[44]

輸入網(wǎng)絡(luò)的是具有N個點的稀疏點云P，輸出是具有rN個點的點云Q。生成器利用P生成Q，鑒別器用于區(qū)分Q與真實的高分辨率點云。其中，生成器的整體設(shè)計類似于PU-Net。而在上采樣算法中，PU-Net的直接復(fù)制并分別處理點的特征，這種上采樣的方法會導(dǎo)致生成的點過于相似。基于這個問題，PU-GAN在復(fù)制點的特征時利用了grid機制[45]，避免了上述問題。在特征拓展模塊中，PU-GAN使用的是up-down-up的拓展方法，首先將輸入特征進行上采樣，然后下采樣到與輸入特征相同的維度上，此時計算新的下采樣特征和先前的原始特征差異，差異上采樣得到拓展差異特征，最后與第一步上采樣的結(jié)果相加得到拓展特征。這種類似于殘差的特征拓展方法避免了復(fù)雜的訓(xùn)練，保留了更加豐富的細節(jié)信息。

3.4 PU-GCN

CNN網(wǎng)絡(luò)中的卷積運算，本質(zhì)上是通過濾波器來對某個空間區(qū)域的像素點進行加權(quán)求和，得到特征表示的過程。卷積核的系數(shù)即為加權(quán)系數(shù)。這種網(wǎng)絡(luò)更加適用于歐式空間的數(shù)據(jù)，因此才有維度的概念，歐式空間的數(shù)據(jù)的特點就是結(jié)構(gòu)很規(guī)則。而很多數(shù)據(jù)并不具備規(guī)則的結(jié)構(gòu)，如點云數(shù)據(jù)，這類數(shù)據(jù)每個節(jié)點可能有不同的連接方式，將不再適用CNN網(wǎng)絡(luò)來提取特征。GCN即為圖卷積網(wǎng)絡(luò)[46]，顧名思義就是在圖上使用卷積運算，與CNN的作用一樣，GCN是一個特征提取器，只不過它的對象是圖數(shù)據(jù)。相對于CNN，GCN主要針對的是：

（1）節(jié)點特征，每個節(jié)點都有各自的向量表示。

（2）結(jié)構(gòu)特征，節(jié)點之間都具有攜帶信息的邊。

GCN的目的就是提取拓撲圖的空間特征，本質(zhì)是提取圖的結(jié)構(gòu)特征，它可以有效地在具有不規(guī)則結(jié)構(gòu)的數(shù)據(jù)中提取特征，更加適用于點云數(shù)據(jù)的處理。

Qian等[47]在2019年提出了PU-GCN，用于進行點云數(shù)據(jù)的超分辨率。該方法利用了GCN的特點，在特征提取階段使用了圖卷積的網(wǎng)絡(luò)，因此可以更好地保留更多的結(jié)構(gòu)和細節(jié)信息。

PU-GCN的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，主要由特征提取器和上采樣器構(gòu)成。在特征提取器中，首先通過1個GCN層和1個DenseGCN層來提取更高層次的空間信息。DenseGCN層的輸出結(jié)果會通過若干個密集鏈接的Inception DenseGCN，然后將提取的多層次特征傳遞給上采樣器。最后使用兩組MLP將特征回歸到三維坐標。

GCN是一種十分先進的網(wǎng)絡(luò)模型，學(xué)者們也基于GCN提出了很多新方法。如Wu等[48]在2019年提出了一種基于對抗殘差圖卷積網(wǎng)絡(luò)（AR-GCN）的點云超分辨率方法。該方法結(jié)合了GAN和GCN網(wǎng)絡(luò)的優(yōu)點，充分利用點云的局部相似性，并引入圖對抗損失來代替手動設(shè)計的損失函數(shù)，取得了不錯的效果。

圖4 PU-GCN的網(wǎng)絡(luò)示意圖[47]Fig.4 The architecture of PU-GCN[47]

3.5 小結(jié)

基于機器學(xué)習的點云數(shù)據(jù)超分辨率方法的有效性主要依賴兩個部分：上采樣器和特征提取器。因此近年來各學(xué)者提出的新方法主要針對這兩個方面來進行優(yōu)化，提出了基于CNN、GAN、GCN等不同框架的方法。相對于經(jīng)典的超分辨率方法，基于機器學(xué)習的超分辨率方法不依賴先驗，也不依賴手工特征來學(xué)習如何上采樣點云，目前已經(jīng)取得了很大的進步，但仍存在一些問題：

（1）難以實現(xiàn)場景變換

現(xiàn)有的基于機器學(xué)習的點云數(shù)據(jù)超分辨率方法在訓(xùn)練時很少涉及到場景的變化，大多都針對單一場景進行訓(xùn)練。而在實際應(yīng)用中，獲取到的點云數(shù)據(jù)總是復(fù)雜的，可能會包含超越訓(xùn)練場景以外的情況，而此時還需要進行點云分割，分別進行處理。這會大大增加計算量及系統(tǒng)的復(fù)雜程度，而處理后的不完整的點云也會影響后續(xù)對點云數(shù)據(jù)的應(yīng)用。因此，提高點云超分辨率算法的魯棒性，使之能夠直接處理現(xiàn)實中更加復(fù)雜的場景是有必要的。

（2）人工退化對網(wǎng)絡(luò)訓(xùn)練的影響

退化是由于某種原因，圖像從理想圖像轉(zhuǎn)變?yōu)閷嶋H的有瑕疵圖像的過程。在現(xiàn)有的方法中，訓(xùn)練模型時通常用到HR點云數(shù)據(jù)以及其退化的LR點云數(shù)據(jù)。但這種人工退化的模型一般較為簡單，而真實世界的圖像退化往往是多種退化結(jié)合的、異質(zhì)的[49]。原始的點云數(shù)據(jù)在其獲取、存儲、傳輸過程中，由于受到點云成像系統(tǒng)的缺陷、存儲介質(zhì)的缺陷以及傳輸過程中發(fā)生的問題等影響，使得最終處理系統(tǒng)獲取到的點云數(shù)據(jù)不可避免地存在質(zhì)量下降的問題，這是通過簡單的退化算法無法模擬的。而不恰當?shù)耐嘶椒〞?dǎo)致神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果不準確，所得到的模型難以在實際應(yīng)用中得到準確的結(jié)果。針對該問題也有學(xué)者使用模擬環(huán)境中計算機生成的數(shù)據(jù)來訓(xùn)練模型[50]，得到了不錯的效果。

（3）不適用于點云內(nèi)有空洞的情況

Qian等[40]提到，當輸入的點云數(shù)據(jù)有一個空洞時，目前大多數(shù)基于機器學(xué)習的方法都會將空洞填滿。這是由于大多數(shù)方法都是為了生成盡量均勻分布的點云。因此在原始點云有空洞時，就會出現(xiàn)過度擬合的情況。

4 總結(jié)與展望

點云數(shù)據(jù)超分辨率技術(shù)是一種新興的技術(shù)，它突破了設(shè)備的硬件限制，通過軟件的方法提升了分辨率。點云數(shù)據(jù)超分辨率的核心思想是利用單幀點云數(shù)據(jù)之外的輔助信息，恢復(fù)出LR點云數(shù)據(jù)受到采集設(shè)備、環(huán)境條件等因素丟失的部分信息，獲取HR點云數(shù)據(jù)。本文分類介紹了目前具有代表性的點云超分辨率的算法。

目前，由于點云數(shù)據(jù)超分辨率技術(shù)仍有很多問題需要解決，并沒有得到廣泛應(yīng)用，更多地停留在實驗室的研究階段。未來，點云數(shù)據(jù)的超分辨率工作可以從以下方面開展：

（1）更合理的評價方法

目前超分辨率性能的常見評價指標有PSNR和RMSE等。然而，這些指標僅僅片面地反映了算法的理論性能，而對于超分辨率的實際效果，如人的觀感、后續(xù)點云的處理及應(yīng)用效果等則無法衡量。因此需要建立一個更符合點云數(shù)據(jù)超分辨率的評價新指標。

（2）更精確的配準方法

配準技術(shù)是部分超分辨率技術(shù)的重要組成部分，主要包含了多幀點云的配準、點云與可見光圖像的配準，配準的結(jié)果直接影響到超分辨率的效果。現(xiàn)有的大多數(shù)方法認為輸入的圖像已經(jīng)對準，或假設(shè)運動已知，圖像間僅有平移，平移外的運動分量很少。在應(yīng)用中，這種簡單的假設(shè)難以成立。因此需要研究更準確的配準技術(shù)。

（3）提高放大倍率

對于點云數(shù)據(jù)超分，現(xiàn)有的研究集中在放大倍率為4×和8×的情況。更高的放大倍率目前鮮有進展。隨著各種應(yīng)用的普及和對高分辨率點云數(shù)據(jù)需求的提高，目前較低放大倍率的方法在三維重構(gòu)中會變得更加困難。因此更高放大倍率的點云超分辨率方法有待研究。

（4）全面提升超分辨率算法的性能

不同的超分辨率算法沒有絕對的優(yōu)劣之分，沒有一種方法能夠在各個方面都達到理想效果。對于不同的應(yīng)用場景，對超分辨率算法的性能、特點需求各不相同。例如文物等靜態(tài)建模工作對實時性要求較低，但對于細節(jié)的精度要求較高；對于自動駕駛等實時性較高的應(yīng)用，則需要具有較高的實時性，同時精度需滿足目標識別的需求。因此，根據(jù)需求全面提升各類算法重建效率，獲得更好的重建效果、實現(xiàn)更加豐富的細節(jié)，是未來的研究重點。

（5）超分辨率技術(shù)與后續(xù)工作的聯(lián)合問題

點云數(shù)據(jù)作為三維重建的重要信息來源，記錄了真實世界的空間點坐標，相對于二維圖像在三維重建的工作中有巨大的優(yōu)勢。點云數(shù)據(jù)的分辨率越高，記錄的信息量越多，以此重建的模型也就越準確。由于超分辨率技術(shù)可以在一定條件下超越系統(tǒng)分辨率，克服目前硬件設(shè)備的限制，因此成為了點云數(shù)據(jù)應(yīng)用中十分關(guān)鍵的步驟。在現(xiàn)有的工作中，學(xué)者們更多地關(guān)注超分辨率技術(shù)自身的效果，而較少關(guān)注超分辨率輸出的點云數(shù)據(jù)對后續(xù)應(yīng)用的影響。

點云數(shù)據(jù)的超分辨率技術(shù)在目標識別、游戲娛樂、自動駕駛、文物保護等領(lǐng)域有很高的應(yīng)用價值。目前，點云數(shù)據(jù)的超分辨率技術(shù)不夠成熟。未來的工作應(yīng)該更加注重點云超分辨率結(jié)果對后續(xù)處理過程的影響，保證高效、準確。針對不同場景的應(yīng)用需求，結(jié)合該場景的特點設(shè)計、優(yōu)化適合的方法，實現(xiàn)超分辨率效果最優(yōu)化，這對于超分辨率技術(shù)投入應(yīng)用具有重要價值。此外，通過超分辨率技術(shù)獲得更高分辨率的點云數(shù)據(jù)，能夠避免提高傳感器分辨率帶來的種種不足，例如額外的系統(tǒng)噪聲、更高的成本等，更有利于點云數(shù)據(jù)的實際應(yīng)用。總之，點云數(shù)據(jù)超分辨率技術(shù)的進一步研究必將拓寬其應(yīng)用范圍，帶動相關(guān)領(lǐng)域的發(fā)展。