多維點云結構相似性定量化評價

楊紫騫， 王艷秋， 鄭 福， 孫志斌*

（1.中國科學院國家空間科學中心，北京 100190；2.中國科學院大學，北京 100049）

1 引言

三維數據作為一種不同于二維數據的新的多媒體數據，目前備受人們的關注。多維點云數據，是除了三維信息，又增加了深度信息、色彩信息、反射率和法向量信息等綜合的一種新的數據結構［1］，常用在建筑物三維建模等領域。作為一種常用格式，點云表示將原始幾何信息保留在三維空間中，因此三維點云數據格式就成了自動駕駛和機器人技術此類場景理解相關應用程序的首選表示法［2］。雖然三維點云具有較高的精度，可以滿足導航和避障需求，但是三維點云不容易閉環表示，使得導航存在軌跡偏移，從而影響精準度，而且目前點云獲取方式通常是由三維成像傳感器獲得的，這種方式通常會有噪聲點的存在［3］，特別是在物體的邊緣或角落位置［4］，這是由于測量儀器或者多路徑干擾等因素造成的。由于噪聲的存在影響了物體表面的細節信息，就會給后續點云配準、點云分割及表面重建等工作帶來困難，所以點云質量的優劣就變的至關重要。而且對于多幅點云配準和即時定位與地圖構建（Simultaneous Localization and Mapping， SLAM）提供了參考，由于在多幅點云配準中，可能因為單幅點云質量不好導致整體配準效果很差，因此需要一種可以直觀顯示出點云模型質量的評價方法。

盡管目前有很多點云預處理的方法，但是大多都是依靠主觀評價來對點云質量進行判斷，還沒有一種較好的客觀評價方法，用于評價經過預處理后點云質量。有些實驗會利用均方誤差法（Mean Square Error，MSE）［5］和 峰 值 信 噪 比（Peak Signal to Noise Ratio，PSNR）［6］的 方 法 來進行點云質量評價，這兩種評價方法雖然計算較為簡單，但是并不符合人的主觀感知［7-8］，即對結構的識別能力較弱，而本文提出的多維結構相似性 理 論（Multi-Dimension Structure Similarity， MDSS）定義明確、準確性好，更貼近人眼效果。

鑒于以上論述，本文提出了一種多維點云結構相似性定量化評價方法，用于評價多維點云質量，并用三維點云數據進行分析驗證。結果表明，高維結構相似性評價方法的曲線與置信度曲線走勢基本相符，驗證了該方法的可靠性。該方法實現了對點云質量的客觀評價，為點云質量評價提供了一種新思路，同時該方法能夠評價不同噪聲類型以及處理方法下獲得的點云質量，為點云配準提供了參考，提升了配準精度。因此該方法不僅對點云預處理和點云質量進行了高效、客觀地評價，還提供了一種提高點云配準精度和效率的方法。

2 結構相似性算法

2.1 單一軸向的結構相似性算法SSIM

Wang等提出的結構相似性指標（Structural Similarity， SSIM）［9］通常用于衡量圖片的失真程度，也可以用于衡量兩張圖片的相似程度。結構相似性主要考量三個關鍵特征［10］，即深度（Depth）、深度對比度（Contrast of Depth）、結構（Structure）。假設一幅點云中的點云數為N，其中的像素記為Ipi，則該副點云的均值、標準差、協方差分別為：

由于本文是將兩幅點云數據進行對比，所以假設另一幅點云中的點記為Ipi2，則兩幅點云分別減去它們的均值后的余弦相似度為：

由基本不等式：

當且僅當a=b時，公式（5）的等號成立，所以將a2+b2當作分母，將點云數據相同軸向坐標的均值、標準差和協方差對比度代入，可以得到深度相似度指標、深度對比度相似度指標和結構相似度指標：

其中：C1，C2，C3為常數，保證分母為0時的穩定性，C1，C2，C3這樣給出：

在實際計算中，通常取K1=0.01，K2=0.03。L為點云像素數。

由于結構相似性算法是將深度值、深度對比度值、結構值來度量單一軸向的相似性，所以單一軸向的結構相似性公式如式（12）所示［11］：

其中，α，β，γ為調節三個值的權重。通常在計算中將其設定為α=β=γ=1，但有時也要根據不同場景進行一定地調節。此時將公式（6）～公式（8）代入公式（12）可以得到SSIM公式：

單一軸向結構相似性算法所給出的評價方法，其取值范圍在0～1之間，值越接近于1，說明圖像質量越好。當SSIM=1時，說明兩幅點云數據一模一樣；且單一軸向結構相似性算法還具有對稱性，即優先對比兩幅點云中任意一幅，其SSIM值均相等：SSIM(1，2)=SSIM(2，1)。

2.2 三維軸向的結構相似性算法3D-SSIM

單一軸向結構相似性算法主要考量3個關鍵特征，在上升到三維結構相似性算法（3D-Structural Similarity， 3D-SSIM）時，將三維坐標中3個單獨軸向的結構相似性算法根據權重累乘一起，從而得到三維結構相似性算法公式：

其中，ρ，σ，ω為調節3個值的權重。通常在計算中，由于z軸方向上的時間噪聲要小于x，y軸上的，所以通常設定ρ=1，而對于x，y軸，由于存在鏡頭畸變，會導致點云數據x，y軸上邊緣點的數據會有一定的擾動，所以σ，ω值需根據實際情況進行調整。

3D-SSIM算法評價過程如下：

Step（1）：獲取A，B兩幅三維點云中所有的點，按x，y，z軸獲取目標物體三維點云坐標信息；

Step（2）：將A，B兩幅點云數據的x，y，z軸三個數據分別計算單一軸向坐標的均值、標準差、協方差；

Step（3）：將單幅點云數據相同軸向的均值、標準差、協方差值進行計算，得到單一軸向的深度相似度值、深度對比度相似度值和結構相似度值；

Step（4）：將單一軸向的深度相似度值、深度對比度相似度值、結構相似度值根據權重相乘到一起，得到單一軸向的結構相似性值；

Step（5）：聯合x，y，z軸的單一軸向結構相似性值加權相乘，得到點云去噪質量描述符，即三維結構相似性值。

三維結構相似性算法系統結構圖如圖1所示。

圖1 三維結構相似性算法系統結構圖Fig.1 System structure diagram of 3D-SSIM

三維結構相似性評價方法所提供的預測值同單一軸向結構相似性評價方法給出的預測值相同，取值范圍也在0～1之間，其值越接近于1，說明三維結構相似性越好，兩幅點云數據集的結構越接近，若值為1，則說明兩幅點云數據相同；并且三維結構相似性評價算法也滿足對稱性。

3 實驗與結果

3.1 測試數據庫與濾波方法

為驗證本文評價方法的是否有效，本文采用斯坦福大學的標準數據庫和LUCID相機采集的點云數據進行仿真實驗。其中斯坦福大學標準數據庫采用bunny，dragon和buddha三組數據，用于驗證三維結構相似性評價方法的有效性，LUCID相機采集的點云數據集用于評價3D-SSIM方法的效果，并分別用半徑濾波、統計濾波、低通濾波這三種常見濾波器進行測試評價。其中半徑濾波的參數為：濾波半徑設置為8，半徑內部鄰居數設置為15。

統計濾波的參數為：用于平均距離估計的點數設置為6，標準偏差乘數閾值（nSigma）設置為1，根據公式（16），可以計算出統計濾波的最大距離。

低通濾波的參數為：設置sigma=2，根據公式（15），可以計算出高斯濾波的關聯作用域。

3.2 三維結構相似性評價的有效性

為驗證本文評價方法是否有效，本文對斯坦福大學標準數據庫中的bunny，dragon和buddha3種模型分別進行添加高斯噪聲處理，并對未加高斯噪聲和添加高斯噪聲后的兩幅點云數據集與標準點云數據集進行三維結構相似性評價，標準點云數據集即為未添加高斯噪聲的點云數據集，其中對比的內容包括x軸、y軸、z軸三軸方向上的結構相似性和三維結構相似性。圖2為bunny，dragon和buddha添加高斯噪聲前后的點云數據圖像。

圖2可以看出bunny，dragon和buddha模型在添加高斯噪聲后，即使依然可以看出其形狀，但已經很大程度上更改了其原本的特征點。分別利用結構相似性評價方法和三維結構相似性評價方法對x軸、y軸、z軸3個維度的坐標軸和三維坐標進行綜合評價。

圖2 Bunny，dragon和buddha添加高斯噪聲前后點云Fig.2 Bunny， dragon and buddha models’ point clouds before add and remove Gaussian noise

由表1可以看出bunny，dragon和buddha 3幅點云數據原數據集與原數據集進行x軸、y軸、z軸的結構相似性對比，得到3種模型點云數據的單一軸向的結構相似性值均為1，即證明兩幅數據集的單一軸向的結構相似性相同，根據公式（14）可以求得，每種點云數據集三維結構相似性的數值也為1，由此可以知道3種模型點云數據的三維結構相似性也相同。在3幅標準點云數據集的基礎上分別添加高斯噪聲后，x軸、y軸、z軸3個單一軸向的結構相似性評價值均有所下降，因此添加高斯噪聲后三維結構相似性的數值也都由原來的數值1分別下降到了0.880 56，0.956 76和0.971 52，即單一軸向和三維結構的點云質量都有所下降。由此可以證明將二維的結構相似性評價指標根據權重分配后應用于三維，不僅可以滿足3個坐標軸各自的結構相似性評價需求，也滿足三維結構相似性評價需求。也證明了三維結構相似性能夠用于評價點云的質量。

表1 Bunny，dragon和buddha添加高斯噪聲前后的結構相似性Tab.1 SSIM of bunny， dragon and Buddha before and after adding Gaussian noise

3.3 基于置信度方法驗證三維結構相似性

本文還利用基于置信度的方法驗證本文評價方法是否有效。基于置信度的點云預處理方法是將十幅點云圖進行對應位置疊加，并將10幅點云圖中全包含的點作為100%置信度的點云集，9幅點云圖中都包含的點作為90%置信度的點云集，隨著相同點云集的圖像數減少，置信度逐漸減少，直到置信度降至10%。

本文方法對室內環境下拍攝的cat，car，tank模型和室外環境下拍攝的真實衛星模型的點云數據進行基于置信度的點云預處理方法，獲得從置信度10%到100%的10幅點云數據集。通過手動標定，獲取各模型的標準三維點云數據集。由于置信度較低的點云數據集多為遠離模型的點云，其形態是隨機的，不能和標準點云數據集進行對比，因此選擇了各模型中置信度40%到100%，7幅點云數據集與標準點云數據集進行三維結構相似性和x，y，z軸的結構相似性評價。從而驗證本文方法有效性。根據圖3可以得知，隨著置信度值增加，x，y，z軸和三維結構相似性值均大致成上升趨勢，證明隨著置信度提升，其結構越接近標準點云數據，這與基于置信度的處理方法相對應，即置信度越高點云圖像越接近于標準目標模型。

圖3 不同置信度下x軸、y軸、z軸結構相似性和三維結構相似性曲線Fig.3 X-axis， y-axis， and z-axis structural similarity curves with different confidence levels and three-dimensional structural similarity curves：

圖4為cat模型不同置信度點云數據z軸相似性曲線和不同置信度點云數據z軸長度曲線。根據結構相似性評價方法定義，若z軸相似性值越大，則z軸的長度越小。

根據圖4可以明顯看出，貓模型z軸相似性符合結構相似性評價定義，但是根據圖3和圖4可以看出，在隨著置信度值增加，x軸、y軸、z軸和三維結構相似性值曲線并不是絕對增加。其原因在于，在不同置信度情況下，點云數據的z軸長度不同，如圖5為貓模型在置信度分別為70%，80%，90%，100%下的點云俯視圖，可以看出四個不同置信度下，點云數據的z軸長度分別為9 430.19，7 354.06，4 749.5，5 365.75，z軸的長度有一定的變化，因此導致結構相似性有一定的變化，這就解釋了為何隨著置信度的提升，點云結構相似性曲線并不是絕對上升，而是會有浮動地上升，這是因為在其他軸向的結構相似性在隨著上升的同時，由于z軸結構相似性值的浮動，才造成這種變化。

圖4 Cat 置信度z軸相似性曲線Fig.4 Similarity curves for cat models with different confidence levels regarding the z-axis

圖5 Cat不同置信度點云俯視圖Fig.5 Cat model of Top view of the point cloud with different confidence levels：

3.4 三維結構相似性評價方法

為全面評估三維結構相似性評價方法的能力，本文對實驗室采集到的點云數據集進行三維結構相似性評價方法的驗證。先將實驗室采集到的點云數據集進行置信度提取，即將同一位置、同一目標不同時間采集到的點云數據中相同的點云數據進行提取，得到置信度為100%的點云數據集，再經過手動標定，剔除噪聲點，得到本次評價中的標準點云數據集，之后對采集到的點云數據集進行目標提取，并對其進行不同的濾波算法處理，再將處理后的點云數據集與標準點云數據集進行x，y，z三軸結構相似性評價和三維結構相似性評價。

圖6為利用TOF相機在實驗室環境下采集的cat，car，man，head，aircraft carrier，plane 6種點云數據集，從上至下分別為標準點云數據集、目標提取后的點云數據集、R半徑濾波后的點云數據集、統計濾波后的點云數據集和低通濾波后的點云數據集。

圖6 Cat，car，man，head，plane，aircraft carrier點云數據集Fig.6 Cat， car， man， head， aircraft carrier， plane point cloud datasets the pictures from top to bottom are：respectively， standard dataset， target extraction dataset， radius filtering， statistical filtering， low-pass filtering

根據表2可以看出，經過三種濾波方法后，三軸的結構相似性中，z軸結構相似性的值較其他兩坐標軸的結構相似性值大，說明噪聲在z軸（深度）上的影響較小，而在x軸和y軸的影響較大，因為實際相機采集點云數據時，z軸精度較高，而x軸和y軸由于相機鏡頭畸變，導致噪聲點對點云的特征點影響較大，符合實際規律。根據x，y，z三軸的SSIM評價方法和3D-SSIM評價方法綜合評價可以看出，用同等的參數條件下，對三組不同點云數據進行去噪預處理，統計濾波器較R-半徑濾波器和低通濾波器更有效，濾波后的點云數據集的結構相似性更符合標準點云數據集。

表2 Cat，car，man，head，aircraft carrier，plane點云數據集3D-SSIM評價方法Tab.2 3D-SSIM evaluation method of point cloud dataset based on cat， car， man， head， aircraft carrier and plane models

3.5 三維結構相似性對配準的參考

本文還對配準時點云質量提供了參考。先將斯坦福點云數據中bunny，dragon，armadillo三種點云數據集的0°點云添加噪聲，并對添加噪聲后的點云數據進行不同的去噪處理，再利用三維結構相似性方法得到不同去噪方法下的三維結構相似性值，分別挑取不同類型點云數據中三維結構相似性值最大值和最小值的點云數據，將其與旋轉45°的點云數據進行配準，并利用均方根誤差（MSE）對點云配準精度進行評價。

表3中對照內容一欄為斯坦福數據bunny，dragon，armadillo模型三幅數據對其添加高斯噪聲和隨機噪聲后、對添加噪聲后進行K近鄰中值濾波（KNN）、對添加噪聲后進行去離群點噪聲濾波（SOR）和未添加噪聲的四組數據，分別和斯坦福角度為45°的標準點云數據進行配準。其中，均方根誤差作為點云配準精度的評價算法，其值越大則說明點云配準效果越差。

表3 Bunny，dragon，armadillo不同三維結構相似性值的點云配準Tab.3 Point cloud registration of different 3D structure similarity values of bunny，dragon and armadillo

表4為本文對上述4幅經過處理和未經處理的點云數據分別和同角度未經處理的點云數據進行了三維結構相似性算法處理。由三維結構相似性定義可以知道三維結構相似性值高即說明該幅點云圖像質量好，更接近真實模型，三維結構相似性值低則相反。圖7描述了三維結構相似性值和配準的均方根誤差之間的關系。

表4 Bunny，dragon，armadillo不同三維結構相似性值Tab.4 similarity values of different 3D structures of bunny，dragon and armadillo

圖7 Bunny，dragon and armadillo的三維結構相似性值和配準的均方根誤差對應關系Fig.7 Correspondence between three-dimensional structure similarity values of bunny， dragon and armadillo and root mean square error of registration

由圖7可以看出，三維結構相似性值較大的點云數據，配準后的均方根誤差更小，因此說明，三維結構相似性好的點云數據，在配準過程中，更能得到較為理想的配準結果。因此本方法可以為點云配準提供參考，篩選出三維結構相似性值較高的點云，為之后的點云配準增加了效率。

4 結論

本文提出了適用于三維點云和高維信息點云數據的多維結構相似性定量化評價方法，通過對斯坦福大學點云數據庫中的bunny，dragon和buddha進行評價方法驗證，驗證了本文方法的可行性；又對采集的點云數據集進行置信度處理，并對不同置信度的點云數據集進行三維結構相似性評價，驗證本文方法的可行性；對實驗室實際采集到的點云數據進行不同濾波方法的預處理，利用本文方法對不同濾波方法進行濾波效果的評價，得出濾波效果的客觀評價；最后對配準時的點云質量進行了評價，提高了配準的效率。該方法解決了點云質量評價界定的困難，并且解決了以前評價濾波方法只能依靠主觀評價沒有客觀評價的問題，為點云預處理的客觀評價方法做了一定貢獻和參考；同時為點云的配準中點云質量直觀分析提供了參考，提升了點云配準的效率。