基于特征相似性的RGBD點云配準

盛 敏，彭玉升，蘇本躍，王廣軍

基于特征相似性的RGBD點云配準

盛 敏1,2，彭玉升3，蘇本躍2,4，王廣軍2,4

(1. 安慶師范大學數學與計算科學學院，安徽 安慶 246011；2.安徽省智能感知與計算重點實驗室，安徽 安慶 246011；3. 合肥工業大學計算機與信息學院，安徽 合肥 230601；4. 安慶師范大學計算機與信息學院，安徽 安慶 246011)

三維點云數據的配準是計算機視覺領域的重要研究課題，也是三維重建的關鍵步驟。針對RGBD點云數據的配準問題，提出一種基于特征相似性的初始配準方法。首先需要計算待配準的RGBD點云模型的曲率和顏色特征度(CFD)，并對CFD進行統計分析，若模型顏色特征足夠豐富優先采用顏色相似性策略，反之嘗試曲率相似性策略。通過特征點提取精簡點云模型，利用確定的對應點選擇策略選擇候選對應點對。在候選對應點對上采用優化樣本一致性算法獲得初始配準變換矩陣，實現兩片點云的初始配準。針對不同顏色紋理的RGBD點云模型，本文方法可以自適應選擇合適的特征點選擇策略，實現點云間良好的初始配準。實驗結果表明，對于幾何特征不明顯的RGBD模型，本文方法能夠自適應選擇顏色相似性策略來較好地完成初始配準。對于不同類型的模型配準結果較好，算法效率更高。

RGBD點云；初始配準；特征相似性；顏色相似性；曲率相似性

三維掃描點云數據的配準是計算機視覺領域的重要研究課題。點云數據也廣泛應用于三維重建[1]、對象識別[2-3]、姿態估計[4]等研究方向。為了進行模型重建和姿態估計，需要將各種視圖中獲取的數據轉換到公共坐標系下。其作為具有挑戰性的研究課題，主要難點在于：輸入點云數據的初始位置未知、原始數據具有噪聲、點云密度各不相同并且模型之間的重合程度難以估計。因此，如何提高點云配準算法效率是實際應用中亟需解決的問題。

一般來說，點云配準方法包括初始配準和精確配準。初始配準的目的是估計兩點云之間的初始變換，主要是通過特征匹配尋找對應點對來實現的。通常會采用迭代最近點算法[5]及其改進算法[6-7]來實現進一步的精確配準，初始配準的必要性有2方面：①如果初始階段就采用ICP算法估計坐標變換，2片點云空間位置差異較大時ICP算法會陷入局部最優化；②良好的初始變換可以顯著提高ICP算法的計算效率。

初始配準通常依賴于局部幾何特征描述符建立3D剛性形狀之間的點對應關系，其目的是通過特征向量全面地表示局部表面內包含的幾何和空間信息。相關研究人員基于局部參考系(local reference frame)建立局部特征描述符[8-10]進行初始配準。GUO等[8]提出的旋轉投影統計(rotational projection statistics, RoPS)描述符，是第一個基于“旋轉和投影”機制的方法，目的是捕獲由多個2D點分布圖表示的多視圖信息。QUAN等[9]提出一種局部體素化結構(local voxelized structure, LoVS)，使用點空間位置簡單地將由點云表示的局部形狀結構編碼為位串，而不計算復雜的幾何在特征表示階段屬性，例如法線和曲率。LoVS描述符是在周圍的局部立方體積內提取的關鍵點以實現旋轉不變性。QUAN等[10]提出利用來自多個視點的輪廓線索來表示局部幾何形狀以解決該問題，形成一種稱為旋轉輪廓圖(rotational silhouette maps, RSM)的新二元特征。

相關學者提出一些基于直方圖的特征描述符，不依賴于局部參考系。文獻[11]提出了一種通過使用點特征直方圖(point feature histograms, PFH)表征局部幾何結構的新方法，具有很高的辨識力且對點云配準非常有效但是計算比較復雜。為了提高時間效率，文獻[12]采用鄰域點的簡化點特征直方圖(simplified point feature histogram, SPFH)來獲得快速點特征直方圖(fast point feature histograms, FPFH)描述符。文獻[13]提出了一種新型的局部點特征直方圖描述符(local feature statistics histogram, LFSH)，融合了3種局部幾何特征去定義描述符，具有很強的抗噪能力。而且提出了一種優化采用一致性算法可以克服高自相似模型的匹配問題。但3種局部幾何特征之間可能會有冗余，而且算法中為給定經驗參數，均會影響算法的時間和效率。趙夫群等[14]利用局部深度、法線偏角和點云密度等局部特征生成特征描述子，通過特征描述子的相關性進行初始配準，進而通過改進的ICP算法實現點云的精確配準，對低覆蓋率的點云具有良好的配準效果。

目前的特征匹配方法都是基于幾何特征的，針對RGBD點云數據，本文提出一種基于特征相似性的點云配準方法，定義的特征相似性策略中包含了幾何曲率約束和顏色約束，通過雙重約束確定的對應關系有較高的準確率，本文針對不同類型的RGBD點云模型提出的2種特征相似性策略均具有較好的配準效果。

1 特征估計

1.1 曲率特征估計

曲率和法向是常用的幾何特征，估算曲率和法向的常用方法是主成分分析法(principal component analysis, PCA)法，該方法是一種主元分析法，其對噪聲點具有極強的魯棒性。點云的曲率估算方法如下。

1.2 顏色特征估計

RGBD點云數據包含了點云的3D坐標和RGB顏色信息。針對RGBD點云數據的顏色信息，本章引入了顏色特征度(color feature degree, CFD)的概念，通過CFD刻畫RGBD點云數據的顏色特征。

RGBD點云數據的顏色存儲方式與二維圖像的顏色存儲方式不同，彩色圖像處理中常用的特征提取方法均難以直接應用于RGBD點云數據中。3D點云數據是沒有方向性的，考慮到拉普拉斯算子是具有旋轉不變性的最簡單的各向同性微分算子，因此將其應用于點云的顏色特征提取。對于點云的每個點，需要8個最近鄰點的顏色信息，然后分別在3個顏色通道上應用拉普拉斯算子可以得到3個顏色通道上的CFD，并進行組合計算獲得最終的CFD。具體描述如下：

2 對應點選擇策略

點云配準的關鍵步驟是對應點的選擇。初始配準主要是通過特征或描述符的相似性確定對應關系。根據點云曲率和顏色的旋轉不變性特征，提出2種對應點選擇方式：①顏色相似性策略，首先通過搜索顏色相似的點作為對應點，獲得初始對應點對，然后通過曲率約束，刪除對應點之間曲率差異較大的點對，確定候選點集；②曲率相似性策略，首先通過搜索曲率接近的點作為對應點構造初始對應點集，比較對應點之間的顏色差異，將色差較大的對應點對刪除得到候選對應點對。

2.1 顏色相似性策略

同一點在不同視角點云中應該具有相同的顏色和曲率，但由于光照和采集設備的原因，2個視角下點云對應點的顏色和曲率可能會有偏差，但是對應點之間的顏色和曲率仍具有很高的相似性，所以顏色和曲率仍可作為對應點判別的一個準則。基于顏色相似性的對應點選擇策略，主要是首先采用顏色相似性確定初始對應點對，然后采用曲率約束，獲得候選對應點對。

2.2 曲率相似性策略

θ取值為對應點對之間顏色差的均值。*中的點對不僅曲率比較接近而且在顏色上也具有極高的相似性，因此點對之間具有正確對應關系的概率也比較大，正確匹配的可能性也很高。

3 本文算法結構

對于大多數模型，2種對應點選擇策略均可得到良好的配準效果。對于顏色特征足夠豐富的點云模型，基于顏色特征相似性的初始配準魯棒性較高，因此本文提出一種簡單的決策方法，只要模型的顏色特征滿足要求，均可優先采用顏色相似性策略進行對應點選擇。

通過對點云模型中所有點的顏色特征進行統計分析，提出一種簡單的決策方法，即

大多數情況下，原始輸入的點云數量龐大，需采用提取特征點實現點云精簡。曲率特征和顏色特征均可提取特征點。顏色特征點對于顏色相似性更具魯棒性，曲率對曲率相似性更具魯棒性，因此通過在選定的選擇策略中采用相應的特征提取特征點集。通過選擇策略獲得候選對應點對后，利用優化樣本一致性策略(optimized sample consensus, OSAC)[13]獲得初始坐標變換。

本文算法的主要步驟如下：

步驟5.通過相應的對應點選擇策略，確定特征點集中的候選對應點集*；

步驟6.在候選對應點集*上采用OSAC策略，確定初始坐標變換；

步驟7.對源點云進行坐標變換，實現初始配準；

步驟8.通過改進ICP算法進行精確配準。

4 實驗結果與分析

當點云初始位置差異較大時也需要用初始配準做初始估計，為精確配準提供比較好的初始位置。實驗中的模型來自于Kinect采集獲取，包括大衛1、大衛2和抱枕模型。Kinect采集獲得的RGBD數據集具有低質高噪聲的特點。本文還采用了一組高精度Bunny點云進行人工添加顏色構造RGBD點云進行配準實驗。本文算法均在MATLAB環境實現，實驗均在具有8 GB RAM的2.8 GHz Intel(R) Xeon?處理器上進行。點云配準效果采用MeshLab軟件進行可視化展示。

4.1 本文方法實驗效果

首先在高精度點云模型上進行配準實驗。實驗模型來源于斯坦福3D圖形庫，由于斯坦福3D圖形庫中的點云模型是純幾何結構的，沒有顏色紋理，因此本文對1個視角下的Bunny點云模型人工添加了1組顏色紋理，然后將其進行旋轉和平移操作，獲得目標點云，從而進行驗證實驗。實驗結果如圖1所示。對比圖1(b)，(c)可以發現本文方法的初始配準效果更好，誤差更小，在Bunny模型耳部和臉部的錯位情況明顯小于LFSH[13]方法的粗配準結果。

圖1 兔子模型粗配準結果

本文均采用Kinect自采集模型進行配準實驗。如圖2所示，每列自上而下依次為大衛1模型、大衛2模型、抱枕1模型和抱枕2模型。第1列是每組模型配準前空間分布的可視化結果；第2列是經過本文基于特征相似性方法進行初始配準的可視化效果；由于初始配準算法并不能實現模型的精準對齊，實驗過程，采用改進ICP算法[6]進行精確配準，配準結果如圖2(c)所示。經過精確配準后的模型實現了更精確地對齊，由于不同視角的光照不同，因此仔細觀察可以發現配準后的模型有些許的顏色差現象。

本文與LFSH[13]和文獻[14]方法進行對比，實驗數據統計結果見表1。本文方法在兔子模型、大衛1模型、抱枕1和抱枕2模型上都具有最小的配準誤差，保持明顯的優勢。但在大衛2模型上，本文方法粗配準效果不如LFSH方法和文獻[14]方法。由于本文設計的曲率特征和CFD計算復雜度較低，因此在算法耗時上具有明顯的優勢，相比于LFSH和文獻[14]，算法耗時分別提高了約70.45%和67.95%，保持明顯的時間優勢。

圖2 自采集模型配準結果

表1 不同方法配準結果統計表

4.2 特征選擇實驗驗證與分析

為了驗證不同的特征選擇對于初始配準效果的影響，本文在自采集模型上做了幾組對比實驗，實驗結果統計數據見表2。對于每組模型，分別采用5種方式確定對應點：LFSH描述符、曲率特征、顏色特征、曲率相似性策略和顏色相似性策略。通過觀察發現，在大衛1、抱枕1和抱枕2模型上，顏色相似性策略的配準誤差最小，配準結果最好。在大衛2模型上，曲率相似性策略配準效果最好，LFSH描述符、顏色相似性策略次之。總之，將顏色特征引入到對應點選擇任務可以提高對應關系的準確性及配準精度。

5 結束語

本文提出了一種基于特征相似性的RGBD點云初始配準方法。且提供了2種特征相似性策略用于對應點選擇，分別是曲率相似性策略和顏色相似性策略，每個對應點選擇策略中都是通過一個特征的相似性獲得初始對應點集，通過另一個特征進行約束，去除可能的錯誤對應關系。經過雙重約束獲得的候選對應點對具有極高的正確性，對于初始剛性變換的計算會更加有效。實驗結果也證明本文算法的有效性，對于不同類型的RGBD點云模型均有較好的配準結果。本文只是將曲率跟顏色相結合，在配準方法進行初步探索，后續將嘗試將現有的高效的幾何特征描述符與顏色信息進行結合，希望能夠提高RGBD點云的配準精度。

[1] 林曉, 王燕玲, 朱恒亮, 等. 基于自適應權值的點云三維物體重建算法研究[J]. 圖學學報, 2016, 37(2): 143-148.

[2] LIANG R H, SHEN W J, LI X X. et al. Bayesian multi-distribution-based discriminative feature extraction for 3D face recognition [J]. Information Sciences, 2015, 320: 406-417.

[3] WANG J H, LINDENBERGH R, MENENTI M. SigVox - A 3D feature matching algorithm for automatic street object recognition in mobile laser scanning point clouds [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 128: 111-129.

[4] GUO Y L, BENNAMOUN M, SOHEL F, et al. An integrated framework for 3D modeling, object detection, and pose estimation from point-clouds [J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(3): 683-693.

[5] BESL P J, MCKAY N D. A method for registration of 3D shapes [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 239-256.

[6] 戴靜蘭, 陳志楊, 葉修梓. ICP算法在點云配準中的應用[J]. 中國圖象圖形學報, 2007, 12(3): 517-521.

[7] 王森, 王璐, 洪靖惠, 等. 基于Sparse ICP的三維點云耳廓識別[J]. 圖學學報, 2015, 36(6): 862-867.

[8] GUO Y L, SOHEL F, BENNAMOUN M, et al. Rotational projection statistics for 3D local surface description and object recognition [J]. International Journal of Computer Vision, 2013, 105(1): 63-86.

[9] QUAN S W, MA J, HU F Y, et al. Local voxelized structure for 3D binary feature representation and robust registration of point clouds from low-cost sensors [J]. Information Sciences, 2018, 444: 153-171.

[10] QUAN S W, MA J, MA T, et al. Representing local shape geometry from multi-view silhouette perspective: A distinctive and robust binary 3D feature [J]. Signal Processing: Image Communication, 2018, 65: 67-80.

[11] JOHNSON A E, HEBERT M. Surface matching for object recognition in complex three-dimensional scenes [J]. Image and Vision Computing, 1998, 16(9-10): 635-651.

[12] RUSU R B, BLODOW N, BEETZ M. Fast point feature histograms (FPFH) for 3D registration [C]//2009 IEEE International Conference on Robotics and Automation. New York: IEEE Press, 2009: 3212-3217.

[13] YANG J Q, CAO Z G, ZHANG Q. A fast and robust local descriptor for 3D point cloud registration [J]. Information Sciences, 2016, 346: 163-179.

[14] 趙夫群, 周明全, 耿國華. 基于局部特征的點云配準算法[J]. 圖學學報, 2018, 39(3): 389-394.

RGBD Point Cloud Registration Based on Feature Similarity

SHENG Min1,2, PENG Yu-sheng3, SU Ben-yue2,4, WANG Guang-jun2,4

(1. School of Mathematics and Computational Science, Anqing Normal University, Anqing Anhui 246011, China; 2. The Key Laboratory of Intelligent Perception and Computing of Anhui Province, Anqing Anhui 246011, China; 3. School of Computer Science and Information Engineering, Hefei University of Technology, Hefei Anhui 230601, China; 4. School of Computer and Information, Anqing Normal University, Anqing Anhui 246011, China)

The registration of 3D point cloud data is an important research topic in the field of computer vision and a key step in 3D reconstruction. Aiming at the registration problem of RGBD point cloud data, a coarse registration method based on feature similarity is proposed. Firstly, the curvature and color characteristics of the RGBD point cloud model to be registered should be calculated. Through the statistical analysis of color characteristics, if the color features of the model are rich enough, the color similarity strategy will be adopted first, otherwise, the curvature similarity strategy will be tried. The feature point extraction can simplify the point cloud model. And we will use the corresponding point selection strategy to select all corresponding point pairs. The coarse registration matrix is obtained by adopting the optimized sample consensus algorithm on the candidate corresponding pairs, and the coarse registration of the two point clouds is realized. For the RGBD point cloud model with different colors and texture, this method can adaptively select the appropriate feature point selection strategy to realize the good coarse registration between point clouds. For different models, we can adaptively select the corresponding selection strategy to calculate the transformation matrix and complete the coarse registration. The experimental results show that the proposed method can adaptively select the color similarity strategy to complete the coarse registration for the RGBD model with less geometric features. For different types of model, the registration results are better, and the algorithm is more efficient.

RGBD point cloud; coarse registration; feature similarity; color similarity; curvature similarity

TP 391

10.11996/JG.j.2095-302X.2019050829

A

2095-302X(2019)05-0829-06

2019-06-13；

2019-07-02

國家自然科學基金項目(11475003，61603003，11471093)；教育部“云數融合科教創新”基金項目(2017A09116)；安徽省科技重大專項(18030901021)；安徽省高校優秀拔尖人才培育資助項目(gxbjZD26)

盛 敏(1975-)，女，安徽安慶人，教授，博士，碩士生導師。主要研究方向為圖形圖像處理、虛擬現實、行為識別等。E-mail：msheng0125@aliyun.com