點云質量評價挑戰與關鍵技術研究

徐異凌，楊琦，楊開發，Jenq-Neng Hwang，朱建芳

（1.上海交通大學，上海 200240；2.華盛頓大學，西雅圖 98195；3.中國電子科技集團公司第二十三研究所，上海 201900）

1 引言

三維（Three Dimension,3D）掃描、處理以及呈現技術的發展使得3D數據的應用越來越廣泛。與二維(Two Dimension,2D)數據相比，3D數據更容易展現物體本身的幾何信息，因此其在無人駕駛，醫學影像，沉浸式媒體交互，建筑學建模等多個領域都扮演著重要角色。3D數據有很多表現形式，諸如多視圖深度圖像(Depth Map)、點云（Point Cloud）、體素網格（Voxel Grid）以及多邊形網格（Polygon Meshes）等。其中，點云在獲取和處理等方面相比其他3D數據具有獨特的優勢，因此本文以點云為主要闡述對象。

點云是3D空間中的許多點的集合，其可以用來表示3D空間中的某個形狀或具體物體。點云既可以由計算機建模生成，也可在實際中通過3D傳感器掃描或者深度相機采集并處理得到。點云中的每個點都具有其在笛卡爾坐標系下的(x,y,z)三個坐標屬性，根據采集方式以及用途的不同，每個點還可能具有諸如顏色、法向量、反射強度等額外屬性。

為了滿足存儲和傳輸的要求，我們往往要對媒體內容（如圖像和視頻信號）進行壓縮處理，這一需求對于點云更為突出。對于面向人眼視覺的密集點云，一幀包含幾萬到幾十萬個點，再加上每個點不僅要存儲屬性信息，還要存儲空間位置信息，不壓縮的原始數據將給處理和傳輸帶來巨大挑戰[1]。而點云在壓縮、傳輸和重建的過程中不可避免的會產生多種失真，因此需要對失真程度進行評估才能對相關算法進行指導，進而保證用戶體驗質量（Quality of Experience，QoE）。所以，點云質量評價是點云關鍵技術研究中一個不可或缺的方向。

圖片質量評價領域經過多年的研究已取得不錯進展，但由于人眼視覺系統（Human Vision System，HVS）是一個強非線性的復雜系統，如何對它準確建模仍然是一個未解決的難題。點云更由于其本身不規則等特點，導致其在質量評價方面比傳統圖像面臨更多困難：首先，點云是一個無序的集合，質量評價算法必須滿足輸入置換的不變性；其次，點云是非結構性的數據，與圖像數據不同，點云數據不是整齊排列的結構化網格，各個相鄰點之間的相對位置不相同，這意味即使是尋找相鄰點的操作，都需要在點云中對全部點進行遍歷；最后，點云具有非均勻性，點云通常是由一個物體采樣得到，同一點云的不同區域點的稠密程度可能會相差很大。這些點云數據新特性對質量評價算法提出了新的要求和更高挑戰。

研究點云客觀質量評價模型的一般思路是通過主觀實驗對一個數據庫上的點云打分，得到平均意見得分（Mean Opinion Score，MOS），據此來探索客觀質量評價方法。然而點云作為一種新興3D媒體數據，目前學術界和工業界對點云主觀評價的方法仍處于探索階段。如何標準化點云主觀實驗是當前點云質量評價研究最為迫切的問題。

同時，按照原始點云的可獲得性，質量評價模型可以分為全參考（Full Reference），部分參考（Reduced Reference）和無參考（No Reference）質量評價模型三種。其中，全參考模型由于應用最廣，受到的關注也最多，研究成果也更加豐富。無參考模型大多采用基于深度學習的方法，其性能受數據庫的體量影響較大，因此發展相對緩慢。而部分參考模型則針對特定的應用場景，目前研究成果相對較少。

在這篇文章中，我們將對點云質量評價領域的研究做一個較為全面的介紹與總結：第2節中對點云主觀及客觀質量評價方法研究現狀進行全面介紹。第3節基于現有研究存在的問題，介紹本團隊在點云主客觀質量評價方面進行的新探索與取得的成果，并展望點云質量評價未來的熱點問題及發展趨勢。第4節對整篇文章進行全面總結。

2 點云質量評價研究現狀

2.1 點云主觀質量評價

2.1.1 點云主觀實驗方法

點云質量評價的最終目的是模擬人眼視覺系統實現失真度量與檢測，因此在主觀實驗得到的MOS分數后，便可以通過計算客觀質量評價模型給出的分數與MOS分數的相關度來對客觀模型的性能進行比較和改進。因此，通過主觀實驗來獲得一個可信度高的數據庫是質量評價研究非常重要的一個步驟。主觀實驗主要分為兩個部分：數據庫構建和主觀測試。

數據庫的構建主要需要考慮原始點云的選取，以及失真種類的添加。首先，針對原始點云的選取，由于我們在實際生產中遇到的點云類型極其豐富，涉及不同應用場景中形態、顏色各異的對象，而數據庫則是選擇部分樣本來代表實際高維空間中的全部樣本，因此需盡可能的涵蓋多種類型，基于此數據庫進行模型測試才具有完備性和說服力。具體在選取原始點云時需要考慮的因素包括：點云的密集程度（密集和稀疏）、點云的實例種類（建筑、人類、靜物等）、點云的幾何結構（光滑表面和復雜表面）、顏色特征（窄顏色范圍和廣顏色范圍）等。同理，實際生產中所存在的失真類型也是多種多樣，客觀模型需對多種失真類型敏感以保證穩定性和魯棒性。具體在添加失真的時候，要考慮的類型包括：幾何失真，顏色失真，幾何顏色混合失真等等?？傊?，數據庫的構建要盡可能的豐富種類，這樣才能對客觀質量評價算法的魯棒性有一個更好的衡量。

而對于主觀測試的具體條件，點云領域并沒有一個成熟的建議書：MPEG和JPEG雖然都已經對點云質量評價展開研究，但是并沒有針對主觀測試條件發布標準建議；在圖像質量評價領域，國際電信聯盟（ITU-R）已經發布了主觀測試建議書ITU-R BT.500[2]，對通用測試方法，等級量表以及觀看條件以及數據后處理等方面進行了詳細的建議，其中部分測試條件可以借鑒，但是在點云主觀測試中，其渲染以及呈現方式與傳統圖像有著很大的差別。點云渲染即通過硬件和算法輔助對原始點云數據進行合理呈現以滿足用戶觀看需求。由于點云是一種3D數據，它可以通過普通的平面屏幕進行呈現，也可以通過VR設備進行沉浸式呈現。不同的渲染呈現方式將對主觀實驗結果產生很大的影響。

目前渲染方式主要有兩種，一種是基于點的渲染，通過把點變成有面積的基礎幾何體（比如圓圈、方形、球體，立方體等）來進行渲染。這是一種簡單，計算量較低的渲染方法，但是需要定義好基礎幾何體的大小，否則將會出現點與點之間的空洞（基礎幾何體太?。┗蛘叱霈F混疊（基礎幾何體太大）。另一種方式是基于網格（Mesh）的渲染方式，即通過表面重建算法（比如泊松表面重建[3]）構建多邊形網格來進行渲染。這種渲染方法的優勢在于可以構建一個密封的表面，但是這種方法非常依賴于重建算法，對某些復雜表面的重建可能需要人為干預，另外，表面重建過程通常會移除一些高頻幾何細節，這對于質量評價的影響是很大的。

近年來已有很多關于點云主觀實驗的研究，EPFL的Alexiou等人[4]，從Stanford 3D Scanning Repository[5]中挑選了兩幀點云，通過軟件人為生成兩幀點云，并用Intel RealSense R200設備采集了一幀點云，共五幀無顏色屬性的點云。他們選取高斯噪聲和八叉樹剪枝兩種失真類型，主觀測試使用了AR頭戴式設備，被試可以自由改變觀看方向。作者發現基于點與點之間距離的客觀評價方法[6,7]對于高斯噪聲的評價效果較好，但是對于八叉樹壓縮產生的失真并不敏感。在文獻[8]中，Alexiou使用文獻[4]中構建的數據庫，嘗試采用30英寸的2D顯示屏作為呈現方式。在呈現之前采用了基于點的渲染，被試可以通過鼠標改變觀看角度。作者測試了ACR（Absolute Category Rating）和DSIS（Double-stimulus Impairement Scale）兩種打分方式，實驗表明DSIS得到的分數與失真程度表現更一致。在文獻[9]中，Alexiou又在呈現時使用了泊松表面重建算法將點云轉換為Mesh進行呈現，作者發現表面重建算法將會對主觀實驗的評分產生顯著影響。在文獻[10]中，Alexiou同時采用了2D顯示屏和AR頭戴設備對同一個數據集進行了測試，實驗結果表明，對于高斯噪聲，兩種設備的結果統計上非常一致，但是對于壓縮失真，兩者的結果有著些許不同。因此，作者又在文獻[11]中采用了多種3D呈現設備，分別在三個單獨的實驗室進行了主觀實驗，結果表明，3D實驗結果與之前的2D實驗結果表現非常一致。但是當以離散點的形式渲染時，主觀實驗結果與失真程度相關度表現較差，說明呈現之前的表面重建對視覺效果有著很大的影響。Javaheri[12]對不同的渲染方式進行了研究，發現顏色的渲染以及表面的重建會對一些幾何失真產生部分屏蔽效應，從而影響主觀實驗的結果，在后續的主觀實驗標準制定過程中應該注意以上提到的各種問題。

總體來說，由于目前3D呈現技術和硬件設備還存在較為明顯的缺陷，大多數點云仍通過2D屏幕來進行渲染。但2D呈現設備無法充分展示出點云作為3D數據所具有的沉浸式體驗，造成部分失真類型在2D渲染的情況下無法真實的表達，進而會造成主觀實驗感知結果存在一定的局限性。隨著3D呈現技術的發展，硬件設備將逐漸成熟，在未來點云質量評價將會以3D渲染方式為主進行主觀實驗。

2.1.2 點云質量評價數據庫

目前適合用于點云質量評價研究的數據庫還很少，因此本節挑選了一些現有的較好點云質量評價數據庫進行介紹。

上文提到的Alexiou將主觀評價實驗探索中用到的RG-PCD數據庫公開到了文獻[13]上，該數據庫的最終版本包含6幀原始點云（如圖1所示），Bunny和Dragon是從Stanford 3D Scanning Repository[5]中挑選的，代表常規幾何結構；Cube和Sphere是使用數學公式人為產生的，代表非常規則的幾何結構；Egyptian_mask 是從MPEG PCC測試集[14]中選取，Vase是通過Intel RealSense R200設備采集得到，代表不規則幾何結構。每幀原始點云都經過了四個等級的八叉樹剪枝失真操作，故該數據庫總共有6幀原始點云和24幀失真點云。該數據集用于點云質量評價早期的探索性研究，其點云數量、失真種類都較少，并且不具有顏色屬性。

圖1 RG-PCD數據集（從左到右，從上到下依次為Bunny，Cube，Dragon，Egyptian_mask，Sphere，Vase）

Javaheri[12]對點云主觀實驗的渲染方式進行研究時，構建了IRPC數據集，該數據集從MPEG PCC測試集中選取了6幀原始點云（如圖2所示），包含了靜物，人類，建筑等多個類型以及復雜幾何結構，并且都具有顏色屬性。失真方面，Javaheri 添加了PCL，MPEG G-PCC 和MPEG V-PCC[15]三種壓縮失真類型，每鐘失真類型都選取了低中高三種壓縮等級，數據庫總共包含6幀原始點云和54幀失真點云。

圖2 IRPC數據集（從左到右，從上到下依次為Egyptian Mask,Frog, Longdress, Loot, Facade9 and House without a Roof.）

本團隊在文獻[16]中構建了更大尺度的點云質量評價數據庫SJTU-PCQA[17]，該數據集包含10幀原始點云（如圖3所示），同樣是從MPEG PCC通用測試集中選取，其在數據庫的構建過程中添加共七種失真：八叉樹壓縮失真、顏色失真、降采樣失真、幾何高斯噪聲失真、顏色加降采樣失真、幾何高斯噪聲加降采樣失真以及顏色和幾何高斯噪聲失真。其中，每種失真都有六個等級的梯度，最終該數據庫共包含420幀失真點云。

圖3 SJTU-PCQA數據集（從左到右，從上到下依次為RedandBlack，Loot，LongDress，Hhi ULLIWegner，Soldier，Ricardo，Romanoillamp，ULB Unicorn，Statue Klimt，Shiva）

Su[18]構建了WPC[19]數據庫，與之前的數據庫不同的是，作者挑選了20個幾何結構、紋理特征復雜度各不相同的物體（如圖4所示），然后通過多角度相機采集并構建得到。之后作者添加了降采樣、高斯噪聲以及S-PCC，V-PCC，L-PCC[1]三種壓縮失真，各失真有著不同的梯度。最終，該數據集共包含20幀原始點云和740幀失真點云。

圖4 WPC數據集中的原始物體

之后Liu[20]研究基于質量的VPCC壓縮速率控制時，又從WPC中選取了16幀原始點云，通過5個幾何量化步長和5個顏色量化步長的壓縮，產生了400幀失真點云，構建了WPC2.0[21]。不過WPC2.0的只有VPCC失真，因此并不適合作為一個通用的質量評價數據庫。

2.2 點云客觀質量評價

目前，點云的客觀質量評價方法主要是全參考質量評價。分為兩類，一是基于3D空間特征的質量評價模型，二是投影后通過圖像領域的質量評價算法來衡量誤差的方法。該節將首先對這兩類質量評價算法進行介紹，最后介紹現有的部分參考和無參考質量評價模型。

2.2.1 基于3D空間特征的客觀質量評價模型

基于3D空間特征的質量評價方法是指通過比較3D區域中的對應點或者對應區域的相似性來進行質量評價的方法。這類方法直接對比3D空間中的點間距離，幾何表面相似度，顏色信息統計等特征來進行質量評價，下面對這些方法進行介紹。

由于Point-to-Point[6]和Point-to-Plane[7]的質量評價方法已經被MPEG收錄為研究壓縮算法性能的指標，下面將首先對這兩種方法進行介紹。假設A和B分別代表原始點云和失真點云，在計算二者之間的誤差時，我們首先將A作為參考點云，計算eA,B，即兩個點間的歐式幾何距離，然后再以B為參考點云計算eB,A，由于原始點云和失真點云的點間并沒有一個規則的對應關系，因此誤差通常是不對稱的，通常的做法是在二者中選擇更差的作為最終結果。

eA,B的計算方法如圖5所示，對于A中的每一個點a，通過最近鄰找到B中對應的點b，Na為a點處的法向量，則基于Point-to-Point和Point-to-Plane的點a和點云B的距離計算分別為：

圖5 Point-to-Point和Point-to-Plane

最后整體點云的誤差有兩種計算方法，一種是計算所有點的平均誤差，另一種是基于Hausdorff距離的衡量，二者的計算式如下：

最終的評價分數為max(d( )A,B,d(B,A))。為了方便比較不同點云之間的誤差大小，通常將該距離轉化為PSNR：

其中p為一個峰值，可以取為整體點云邊界框的對角線長度。

MPEG最初將基于MSE和Hausdorff距離的衡量方式都納入了標準，但由于基于Hausdorff的誤差計算方式很容易受到離群點的影響，因此該方式目前已從標準中移除。針對此問題Javaheri在文獻[31]中將Hausdorff距離進行擴展，并不將所有距離中的最大值作為最終結果，而是從所有距離的排序中選取，其定義為：

其中per是從升序排序后的第K個距離，其中× 100 =per%，NA是點云A的總點數。

Alexiou[32]提出了一種Plane-to-Plane的方法，將公式（1）中的距離衡量改為了對應點的法向量的夾角，以此來衡量平面的相似程度；另一種被稱為Point-to-Surface[33]（或者Point-to-Mesh）的方法首先進行表面重建，然后計算點到對應面的距離作為衡量，由于該方法極其依賴于表面的重建效果，因此不太常用。Javaheri[34]提出了一種Point-to-Distribution的方法，該方法提出了一種新的對應關系，基于馬氏距離來計算點云中的一個點和另一個點云中的一小塊區域中的點的誤差。上述提到的方法都只對幾何失真進行了衡量，為了衡量點云的顏色失真，可以首先將RGB轉為YUV，并針對各個顏色通道分別計算距離。

Meynet[35]提出了一種基于局部曲率統計的質量評價方法PC-MSDM，受到圖像質量評價算法SSIM的影響，作者通過提取局部曲率信息來對比兩個點云的幾何結構特征。具體的，首先在尋找兩個點云對應點的時候，作者并沒有使用常用的最近鄰搜索的方法，而是將原始點云中的一點p投影到失真點云的重建表面上得到p＾表面的重建過程如圖6所示。首先以在失真點云中以p為圓心，在指定半徑h的球型域中尋找最近鄰，然后通過最近鄰擬合出一個二次曲面，使得p到該二次曲面的距離最短，然后將p投影到該曲面上即可得到p＾。之后再根據這兩個對應點分別計算各自的球型鄰域中的每個點的平均曲率，然后對于每個點p計算下面三個定義的失真函數：

圖6 PC-MSDM 對應點尋找

該點的總失真則定義為

最后通過Minkowski池化得到整體點云的分數。之后，作者又在PCQM[36]中將該方法進行擴展，加入了五個與顏色屬性相關的對比信息（亮度，色度，對比度等），之后，通過回歸確定這八個屬性信息的權重來計算最終分數。

Viola[37]提出了一種利用顏色相關直方圖（Color Correlogram）進行統計分析的質量評價的方法。在2D圖像中，該方法的定義為：對每個顏色為ci的像素，與他距離為且為k且顏色為cj的像素個數，因此，對于一個確定的k，統計直方圖中bin 的個數顏色數的平方，通常，該方法會確定多個k值。這種方法綜合考慮了顏色和幾何距離信息，在2D 領域已經取得了很好的應用。但是由于點云并沒有一個規則的像素型結構，因此，作者將3D 的顏色相關圖定義為概率密度的形式：

其中Nk(pl)表示pl的K個最近鄰，pcj表示點云中顏色為ci的點。對于又N 種顏色的點云，γ(k)∈RN×N。作者探索了不同的k值對于該方法的影響，發現，最近鄰的數量取得較少（k= 3）時，該方法效果較差；不斷增加k時，該方法效果明顯變好，但當k取20 左右時，效果逐漸平穩。

Diniz[38]借鑒了圖像領域中的紋理特征描述算子LBP（Local Binary Pattern），在圖像中，LBP 算子的定義如下：

其中θ(u)函數在u大于0時為1，否則為0。Pc為中心點的像素值，Pn為相鄰點的像素值。為了使用該算法，作者將點云進行體素化處理，然后再取其鄰居進行計算，最后對不同中心點得到的LBP值進行統計得到直方圖，最后計算原始點云和失真點云的直方圖之間的距離，作為質量評價標準。在文獻[39]中，作者對該方法進行擴展，又計算了原始點云以及LBP特征圖間的誤差，將三者加權得到多尺度的質量評價模型。

Alexiou[40]提出了PointSSIM 的方法，綜合考慮了幾何、法向量、曲率和顏色四個屬性，對于幾何相關的度量，通過聚合該點和其相鄰區域點的歐氏距離來得到，對于法向量，通過其在文獻[31]中提到的角度相似性來衡量，對于曲率，采用了PCQM[39]中的方法來衡量，最后對于顏色，采用了與SSIM類似的評價方法。

2.2.2 基于投影的客觀質量評價模型

鑒于圖像領域的質量評價方法已經比較成熟，因此，很多研究試圖將點云投影為2D 圖像，并采用圖像質量評價的方法來進行評價。

Queiroz[43]對于動態點云的壓縮過程中較早的使用了基于投影的質量評價方法，他先將點云進行體素化處理，然后采用正交六面投影的方法，計算投影后的圖片之間的MSE和PSNR作為評價標準。

Alexiou[44]同樣采用了正交六面投影的方式，但他同時測試了圖像質量評價中的多個方法（PSNR、PSNR-HVS、PSNR-HVS-M、SSIM、MSSSIM、VIFP），并對六個面的分數進行平均池化，試驗結果表明，基于投影的方法明顯好于基于點到點之間距離的方法。之后，該作者又在文獻[45]中研究了不同的投影角度及投影面個數對于結果的影響，其中各個投影角度的分數權重通過主觀實驗中被測試者的觀察時間得到，最后發現，改變投影角度并增加投影面數量并不會對結果產生很大影響，即使只有正面的單視角投影也可以達到很好的效果。

2.2.3 部分參考和無參考質量評價模型

部分參考和無參考質量評價模型依賴于全參考質量評價模型的發展以及點云本身特征的研究，且基于一個大型數據庫的訓練，因此這類質量評價模型的研究還較少。

部分參考質量評價模型較多用在壓縮傳輸中，只傳輸原始點云的特征，讓接收端對重建的點云質量進行衡量。Viola[46]使用點云的幾何，顏色，法向量的統計信息（均值、方差、中位數、熵等）來進行質量評價。Liu[20]對于VPCC 的碼率控制研究中定義了局部特征和全局特征兩個特征。其采用基于幾何距離的顏色起伏信息作為局部特征、顏色塊的均值方差信息作為全局特征，通過在數據庫上訓練，由這兩個特征實現傳輸參數估計。

Liu[47]提出了第一個基于投影的無參考評價網絡PQA-Net。該網絡首先通過多角度投影得到多角度圖像，然后對圖像運用卷積神經網絡提取多尺度特征，再使用該特征預測失真類別和質量分數。實驗結果表明這種方法可以獲得與全參考質量評價相當的效果，但由于該結果是通過小數據庫訓練得到，其魯棒性有待進一步驗證。

3 點云質量評價新探索與展望

3.1 點云主觀實驗新探索

如前文介紹，現有學術研究中點云主觀質量評價方法有基于2D渲染和3D渲染兩種方式。但在具體實驗的過程中如何對實驗環境進行設置仍缺乏統一標準。因此，本團隊作為牽頭單位，在中國音視頻編碼標準組織AVS質量評價組成立面向人眼視覺任務的點云質量評價工作組[48]，針對點云主觀實驗的樣本制作、呈現方式、環境設置等核心問題進行討論。目前已制作點云主觀質量評價規范數據庫[49]，涵蓋幾何、紋理特征各異的點云樣本44個。使用三種標準化點云壓縮方法（V-PCC,G-PCC,PCEM）進行失真處理供后續研究和測試。同時，向社會各界征集點云主觀實驗方案，目前已確立2D視頻呈現方式和3D-VR呈現方式兩種參考方案，后續將繼續征集2D可交互、3D六自由度主觀實驗方案設計提案。

3.2 點云客觀評價新探索

根據現有研究，主流點云質量評價模型與方法仍存在較為明顯的缺陷。對于基于3D空間特征的點云質量評價模型，如Point-to-Point和Point-to-Plane，雖然其計算復雜度較低，但缺乏對人眼視覺特性的考慮，因此整體性能較差；對于基于投影的客觀評價模型，現有方法僅僅是通過投影的方法進行數據降維，使用現有圖像質量評價方法進行失真度量，忽視投影過程中深度信息對特征池化的重要指導作用。同時，無參考點云質量評價模型相對匱乏，限制了點云在特定場景下的使用。因此，本團隊分別從以上三個核心問題出發進行一系列的探索與研究，取得較為豐富的研究成果。

3.2.1 基于3D空間特征的客觀質量評價模型

人眼視覺特性對高頻結構特征的失真尤為敏感，因此，本團隊在文獻[41]中提出了基于圖相似性（Graph Similarity，GraphSIM）的質量評價方法。其主要創新點在于使用點云的幾何特征構建局部圖表達方式，將點云的顏色特征視為圖上的信號并提取幾何-顏色聯合特征進行失真評價。該方法主要分為四步，如圖7所示。

圖7 GraphSIM 流程圖

首先，考慮到人眼對于高頻信息更為敏感，使用基于Haar-like的高通濾波器對參考點云進行重采樣，得到一系列關鍵點；其次，對于每一個關鍵點，通過球型域來構建各自的圖結構；然后，針對每個圖結構，分別計算顏色的零階，一階，二階梯度特征，用來檢測不同的失真類型；最后，對各個顏色通道以及所有的局部圖分數進行池化得到最終分數。重采樣主要目的是降低計算復雜度，通過提取部分特征進行有效評價。構建局部圖則是將點到點的特征相似度衡量擴展到一個局部區域的結構相似度，更加魯棒的度量失真。

由于人眼在觀察物體時存在多尺度特性，即由于視距變化導致的被觀察物體顏色模糊，細節丟失以及尺度變換等現象（如圖8），建立一個多尺度的點云質量評價模型十分有必要。因此本團隊對GraphSIM 進行擴展提出更加魯棒的Multiscale GraphSIM[42]（MS-GraphSIM）。在GraphSIM 的基礎上，根據上述三種視覺現象（顏色模糊，細節丟失以及尺度變換）對每個關鍵點所在的球型域的依次進行了顏色低通濾波、幾何降采樣、區域收縮，通過重復操作即可構建多個新的尺度的點云圖表達方式，然后對不同尺度下計算出的評價分數進行池化得到最終評價分數，如圖9 所示。實驗證明MS-Graph-SIM 在多個數據集的預測準確率均優于GraphSIM，體現了多尺度評價的優勢。

圖8 人眼視覺多尺度特性

圖9 MS-GraphSIM 流程圖

3.2.2 基于投影的客觀質量評價模型

投影可以實現3D 點云到2D 圖像的轉化，但同時丟棄一個維度的有效信息，因此部分失真無法有效檢測。基于此，本團隊在文獻[16]中使用六面投影同時獲得點云投影的紋理圖像和深度圖。將紋理圖初始的RGB 顏色空間轉換為更適合HVS 的高斯顏色系統（Gaussian Color Model, GCM）。首先使用原始圖像和失真圖像顏色概率密度的Jensen-Shannon (JS)差異來作為全局特征；然后用深度圖來修正顏色紋理相似度從而得到局部特征；最后將二者結合得到最終的分數，如圖10 所示。由于該方法充分利用了圖像領域關于HVS 的研究，并且結合了3D深度特征，因此其性能要明顯好于其他基于投影的質量評價模型。

圖10 基于六面投影的點云質量評價模型

3.2.3 無參考點云質量評價模型

深度學習已經在無參考圖像質量評價中取得較好的性能，而由于點云缺乏體量足夠大的主觀質量評價數據庫，限制了基于學習的無參考模型的提出。

因此，本團隊構建目前規模最大的點云質量評價數據庫LS-PCQA[22]，作者從MPEG[23-25]，JPEG[26]以及3D Mesh[27-29]數據庫中選取了共104幀原始點云，包含28個人類模型，48個動物模型以及28個靜物。之后，每一幀原始點云都添加了33種失真（采集、編碼、壓縮、傳輸、呈現中可能出現的各種失真），每個失真都有7個梯度，最終，該數據庫包含104幀原始點云和24024幀失真點云。需要說明的是，作者只選取了1320幀失真點云進行主觀實驗，然后，針對不同的失真類型，作者選擇相關度最高的客觀質量評價算法來對特定失真類型的點云質量進行預測，從而在擴充數據集上得到無需主觀實驗指導的偽MOS分數[30]。實驗表明，通過該方法得到的偽MOS分數與真實MOS分數十分接近。

基于上述數據庫，本團隊提出ResSCNN 網絡[22]，在點云3D層級上使用稀疏卷積的方法來提取特征，其網絡結構如圖11 所示。傳統密集卷積無法直接在3D層級上處理點云這種具有稀疏性、無序性特征的數據形式，因此之前的工作例如PointNet 等使用1維卷積的方法來提取點云的特征，但1 維卷積提取的特征上下文聯系較差，不符合人眼視覺特性，不適合質量評價領域的應用。文獻[22]使用通過多層次的稀疏卷積網絡提取點云的表觀特征和深層語義特征，使模型面對高斯噪聲、顏色噪聲等表觀失真和點云重建、亮度和對比度異常等語義失真有著魯棒的預測性能，然后對特征進行池化和回歸得到最終評價分數，實驗證明：基于稀疏卷積的ResSCNN 性能超過了基于1 維卷積的PointNet，對于點云的質量預測準確率可以和部分全參考質量評價方法持平。

圖11 基于稀疏卷積的ResSCNN模型

3.3 點云質量評價展望

點云質量評價作為一個較新的研究領域，雖然已經取得較為豐碩的成果，但仍然存在較多問題亟需解決。首先，點云的主觀實驗方法缺乏統一指導，而主觀實驗的數據又對驅動和測試客觀模型起決定性作用，因此對主觀實驗的標準化將是未來一段時間最為迫切的任務。同時，由于3D/2D 呈現設備和應用場景存在差異性，點云的主觀實驗趨向于多種方案并存，而不像圖片一樣相對單一。其次，點云缺乏大體量且規范的數據庫。隨著主觀實驗方法的逐步確定，建立通用點云質量評價數據庫將會是下一個重要的任務。

現有點云質量評價主要集中在面向人眼視覺的密集點云，而作為點云的另外一種重要組成，雷達點云的質量評價也同樣引起廣泛關注。與密集點云不同，雷達點云的消費者主要是機器視覺任務，例如識別、分割與檢測。雷達點云的質量好壞需要結合機器視覺任務的準確性來進行判斷。因此，從語義特征層面進行雷達點云的失真度量是較為合理的一個出發點。

4 結論

本文針對點云質量評價這個研究方向，分別從主觀實驗設計，數據庫構建和客觀模型設計三個方面進行了全面介紹。同時，在分析現有研究存在問題的基礎上，對點云質量評價未來的發展趨勢進行展望?？傮w來看，點云質量評價是一個充滿活力的研究方向，其對點云的具體應用（如混合現實、自動駕駛）具有明顯的促進作用，在未來將會引起學術界和工業界廣泛關注。