基于相關熵的多視角彩色點云配準

劉 熒，李垚辰，劉躍虎，付靖文，馬 飛

基于相關熵的多視角彩色點云配準

劉 熒1，李垚辰1，劉躍虎2，付靖文3，馬 飛1

(1. 西安交通大學軟件學院，陜西 西安 710049； 2.西安交通大學人工智能與機器人研究所，陜西 西安 710049； 3. 西安交通大學計算機科學與技術系，陜西 西安 710049)

針對雙視角彩色點云配準問題，提出了基于相關熵的彩色點云配準算法，以增強傳統配準方法的魯棒性、提高配準精度。該算法在迭代最近點算法的基礎上，利用HSV顏色空間的色調，結合傳統三維空間坐標構成四維空間輔助配準，同時，引入相關熵以減小離群值和噪聲對配準造成的影響，從而達到更精確的配準效果。完成雙視角配準后，將該算法所計算的變換結果作為多視角配準的初值，然后通過運動平均算法減小累計誤差，完成更加精確的多視角配準。雙視角配準的實驗結果表明，該算法在精度、魯棒性方面與同類算法相比，均具有明顯優勢。此外，在模擬數據實驗以及公開數據集上的真實數據的實驗表明，該算法的計算結果作為初值與運動平均算法良好結合，能得到可靠的多視角點云配準結果。

相關熵；彩色點云；色調；迭代最近點算法；運動平均算法

與傳統圖像數據相比，三維彩色點云數據能夠更加細致的表征物體的空間位置、顏色信息等。因此，運用點云數據來解決問題已成為計算機領域的熱點之一。由于存在遮擋，每次使用設備采集時只能獲取物體的部分信息，所以需要多角度采集，并將采集的數據進行配準，才能得到完整的三維點云數據。

從配準精度上，可以將點云配準分為粗配準和精配準。粗配準算法中，四點全等集(4-points congruent sets，4PCS)[1]算法及衍生算法的效果較好。而精配準算法中，迭代最近點算法[2]（iterative closet point, ICP）是最經典的點云配準算法之一。ICP算法通過不斷迭代建立點云間對應關系并求解空間變換，最小化對應關系中對應點對之間的距離，直到算法收斂得到最優的匹配參數。該算法因為簡單有效而得到廣泛應用，但由于ICP算法本身存在局限性，眾多學者對其進行了研究和改進，以提高算法的精確度和魯棒性，因而催生了許多變種[3-4]。CHETVERIKOV等[5]提出了裁剪迭代最近點算法(trimmed iterative closet point, TrICP)，引入了重疊率，并只對重疊部分進行配準，從而減少了未重疊部分帶來的配準誤差。MEN等[6]提出了四維迭代最近點算法(color point cloud registration with 4D ICP，4DICP)，算法中加入了顏色信息進行輔助，用傳統的三維坐標與HSL顏色空間的色調結合，形成了四維的特征向量，提高了配準精度。CHEN等[7]通過動態組合每個點的幾何特征和色矩特征，建立點云之間的對應關系，從而使對應點同時滿足幾何相似度和顏色相似度，以此提高配準精確度。

然而，以上算法仍然是基于歐氏距離的，容易受到離群點和噪聲的影響。相關熵[8]能夠有效處理非高斯和非線性的配準，提升算法的魯棒性。因此本文提出了基于熵的點云配準算法，同時利用顏色信息輔助建立對應關系，提高配準精度。將該算法的變換參數作為多視角點云配準的初值，結合運動平均算法[9]減少累計誤差，經過多視角配準得到最終的旋轉矩陣和平移向量。實驗結果表明，本文算法精度高、魯棒性有所提升，對離群點和噪聲影響小。配準類型還可根據變換方式，分為剛性配準和非剛性配準，兩者之間存在一定的相似性[10]，但非剛性的配準的情況更為復雜，在此不做討論，本文只討論剛性配準的情況。

本文的創新點如下：①用基于相關熵的點云配準代替傳統基于歐氏距離的點云配準，減小離群點和噪聲對配準的影響，提高配準的魯棒性。②用HSV顏色空間的色調值輔助建立對應關系，提高配準的效率和準確性。③將基于相關熵的雙視角彩色點云配準結果作為多視角初值，結合運動平均算法減小累積誤差

1 點云配準基礎理論

1.1 ICP算法

ICP算法的主要步驟如下：

(1) 根據1迭代的變換參數建立目標點云和模型點云之間第次對應關系

(2) 根據對應關系計算新的空間變換參數

ICP算法簡單且有效，但容易陷入局部最小值，且對噪聲和離群值比較敏感。

1.2 相關熵

相關熵可作為一種相似性度量代替均方誤差衡量2個變量之間的相似性。假定2個隨機變量為和，均方誤差的一般形式可定義為

相關熵的一般形式可定義為

圖1(a)和(b)分別繪制了變量M與N之間均方誤差和相關熵誤差在空間中的損失函數。由于均方誤差是一個二次函數，其在沿線達到最小值，而遠離該沿線的點，呈的二次平方增長。因此均方誤差對離群點和噪聲比較敏感，在對于存在大量離群點和噪聲時，均方誤差無法很好地衡量2個變量的相似度。對于相關熵而言，其值在沿線達到最大值，遠離該沿線的點的值會迅速減小，而最小為0。這意味著相關熵可以很好地處理離群點和噪聲產生的影響，對于非高斯和非線性的數據配準效果好，魯棒性更強。

2 基于相關熵的彩色點云配準算法

2.1 顏色信息輔助

RGB顏色空間的R值、G值和B值會隨著光照條件變化，因此在不同角度拍攝的圖像的RGB值會發生變化，通過該特征值尋找對應點容易出現錯誤。而HSV顏色空間的色調H值去除了明度，即使在光照發生改變時也與相機位置保持相對不變，2個相同點的色調保持一致。因此本算法采用HSV顏色空間的色調信息輔助配準，將其作為尋找對應點的第四維特征。

圖2 在角度q1及q2下拍攝的魔方圖((a) q1下的魔方圖；(b) q2下的魔方圖)

圖3 角度q1以及角度q2下魔方的RGB直方圖 ((a) q1下的RGB直方圖；(b) q2下的RGB直方圖)

圖4 角度q1以及角度q2下魔方的HSV直方圖((a) q1下的HSV直方圖；(b) q2下的HSV直方圖)

2.2 顏色輔助基于相關熵的ICP算法

2.2.1 基于相關熵的配準問題描述

由于相關熵是負指數函數，因此要最小化配準誤差，目標函數應該最大化相關熵為

2.2.2 色調輔助基于相關熵的ICP

2.2.3 剛體變換求解

高中物理中的定律、概念等知識是進行物理問題解決的基礎，因此想要提高解題能力，前提必須要有扎實的基本功.因此教師在進行高中物理教學時首先要求學生形成扎實的理論基礎，能夠將這些定律或定理很好的融入到解題中，并且將理論轉化屬于自身的解題方法和解題技巧.只有學生掌握了基本知識，并且也內化成了解題技巧，才能形成穩定的解題能力，才能在遇到問題的時候，能夠快速準確的進行解決.

將式(16)簡化為

如果最大化目標函數，可以得到第次的旋轉矩陣

2.3 多視角點云配準

多視角配準的目標就是找到所有點云相對基準點云的全局運動關系，再將每幀點云數據依據其全局運動關系進行匹配后形成一個完整的三維點云。但是由于雙視角配準時本身存在誤差，目標點云與模型點云基本不可能完全地匹配到一起，那么在利用雙視角配準計算的相對運動結果計算點云的全局運動時，就會產生誤差的傳遞，從而造成最終的配準結果效果不佳。

運動平均算法主要利用李群和李代數的相互轉換減少誤差的累積：①計算出相對運動和初始相對運動之間的修正值，并將修正值由李群轉變為對應的李代數；②通過修正項的李代數矩陣建立列向量；③通過計算包含所有誤差修正項的列向量以及包含對點云關系信息的矩陣，得到包含各幀點云全局運動修正信息的矩陣；④提取矩陣中各幀點云誤差修正信息的列向量，并恢復李代數形式；⑤將各幀點云誤差修正項對應的李代數轉換為李群，并用于修正各幀點云的全局運動。而對于最新計算得到各幀點云的全局運動，令初始的全局運動等于此值，并重復之前的步驟，直到包含所有誤差修正項的列向量已足夠小。

3 實 驗

為了檢驗本文算法的有效性和魯棒性，因此在公開數據集上進行了雙視角和多視角配準實驗。雙視角實驗中將本文算法與傳統的ICP算法、4DICP算法、CICP算法(ICP based on correntropy)進行了對比；多視角實驗中結合了運動平均算法計算配準誤差并進行了對比。

3.1 雙視角配準實驗

3.1.1 模擬實驗

在模擬實驗中本文采用了MATLAB數據集中的房間場景數據點云，以證明本文算法可以得到精確的配準結果。數據點云沿著軸旋轉一定角度獲得模板點云，如圖5所示，由于該數據集的數據點數量較大，為了提高配準效率，在配準前對數據進行采樣，每幀原始點云數據量為80 000個左右，采樣后為6 000個左右，降采樣系數為13。接著分別使用經典的雙視角配準算法以及本文算法進行配準。隨后，將配準計算的旋轉平移變換應用到采樣前的原始點云上，最終得到配準結果，如圖6所示，并通過計算旋轉誤差和平移誤差衡量配準效果，見表1。

圖5 原始點云((a)場景1；(b)場景2)

圖6 雙視角配準結果((a)場景1；(b)場景2)

表1 雙視角配準結果

3.1.2 魯棒性實驗

在測試算法魯棒性時，在原始點云和旋轉一定角度生成的目標點云中都分別加入200個隨機噪點，如圖7所示，再對該2幀點云分別使用ICP算法、4DICP算法、CICP算法以及本文算法進行配準，得到配準結果，成功配準效果如圖8所示。將計算的點云配準誤差進行色譜表示，如圖9和圖10所示，色譜設置如圖11所示，將誤差從小到大分別表示為5種顏色：深藍色、青藍色、藍紫色、洋紅色和深紅色。此外，對場景1配準結果進行可視化和放大如圖12和圖13所示。由于是模擬實驗，雖然加入了隨機噪聲，但變換的真值依舊是模擬數據時設置的旋轉和平移變換參數，因此計算配準的旋轉誤差及平移誤差作為配準效果評判的標準，并記錄了程序運行時間，見表2。

表2以及配準可視化結果中可以看出，本文算法在加入噪點的情況下優勢更加明顯。使用傳統方法均方誤差進行度量的方式，由于對噪聲點和離群點比較敏感，在此情況下常常不能進行有效配準，點云配準誤差較大。

圖7 加噪后的點云((a)場景1；(b)場景2)

圖8 加噪配準結果((a)場景1；(b)場景2)

圖9 場景1點云配準誤差色譜表示

圖10 場景2點云配準誤差色譜表示

圖11 色譜設置

圖12 場景1點云配準結果

圖13 場景1點云配準結果放大

表2 魯棒性配準結果

3.2 多視角配準實驗

在模擬實驗中，采用是kinectV1采集的CurtinFaces[12]公開人臉數據集。首先模擬數據，由于數據集中的人臉數據包含了采集時整個空間的場景，因此需要對人臉部分進行提取，然后將其經過一定角度的旋轉平移生成其他點云數據，并進行多視角點云配準。

除了模擬實驗外，本文還在實際數據(帽子)上進行實驗：根據相機內參將公開數據集[13]中的RGBD圖和分割二值圖，轉換為多幀彩色點云數據，應用4DICP算法以及本文提出的算法作為多視角配準的初值，然后利用運動平均算法減小累積誤差初始點云及配準的可視化結果如圖14所示。配準結果量化指標見表3。人臉數據和帽子數據都使用了5幀點云數據，人臉和帽子的點云數據量分別為每幀15 000個和16 000個左右。

圖14 點云配準前后((a)人臉1初始點云；(b)人臉2初始點云；(c)帽子初始點云；(d)人臉1配準點云；(e)人臉2配準點云；(f)帽子配準點云)

表3 多視角配準結果

表4 運動平均算法減小的誤差

4 結 論

本文提出了色調輔助的基于相關熵的彩色點云配準算法。通過比較基于均方誤差和相關熵2種度量方式的各種配準方法的實驗結果以及是否加入色調輔助配準的結果，證明了本文算法的有效性。從魯棒性測試結果可知，本文算法魯棒性強，能夠很好地處理具有噪聲和離群點情況下的點云配準。利用本文算法計算出的結果作為多視角配準的初值，然后利用運動平均算法減小多視角配準的累積誤差，最后的配準結果用目標函數進行定量分析，表明本文算法與運動平均算法結合計算的變換矩陣優于其他配準算法。

[1] TAM G K L, CHENG Z Q, LAI Y K, et al. Registration of 3D point clouds and meshes: a survey from rigid to nonrigid[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(7): 1199-1217.

[2] BESL P J, MCKAY N D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 239-256.

[3] KORN M, HOLZKOTHEN M, PAULI J. Color supported generalized-ICP[C]//2014 International Conference on Computer Vision Theory and Applications (VISAPP). New York: IEEE Press, 2014: 592-599.

[4] GRANGER S, PENNEC X. Multi-scale EM-ICP: a fast and robust approach for surface registration[C]//7th European Conference on Computer Vision (ECCV). Heidelberg: Springer, 2002: 418-432.

[5] CHETVERIKOV D, STEPANOV D, KRSEK P. Robust Euclidean alignment of 3D point sets: the trimmed iterative closest point algorithm[J]. Image and Vision Computing, 2005, 23(3): 299-309.

[6] MEN H, GEBRE B, POCHIRAJU K. Color point cloud registration with 4D ICP algorithm[C]//2011 IEEE International Conference on Robotics and Automation. New York: IEEE Press, 2011: 1511-1516.

[7] CHEN W L, YANG Y, FAN D D, et al. Registration of color point cloud by combining with color moments information[C]//2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). New York: IEEE Press, 2018: 2102-2108.

[8] XU G L, DU S Y, XUE J R. Precise 2D point set registration using iterative closest algorithm and correntropy[C]//2016 International Joint Conference on Neural Networks (IJCNN). New York: IEEE Press, 2016: 4627-4631.

[9] GOVINDU V M. Lie-algebraic averaging for globally consistent motion estimation[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2004: 684-691.

[10] AIGER D, MITRA N J, COHEN-OR D. 4-points congruent sets for robust pairwise surface registration[J]. ACM Transactions on Graphics, 2008, 27(3): 1-10.

[11] DAN K. A singularly valuable decomposition: the SVD of a matrix[J]. The College Mathematics Journal, 1996, 27(1): 2-23.

[12] LI B Y L, MIAN A S, LIU W Q, et al. Using Kinect for face recognition under varying poses, expressions, illumination and disguise[C]//2013 IEEE Workshop on Applications of Computer Vision (WACV). New York: IEEE Press, 2013: 186-192.

[13] LAI K, BO L F, REN X F, et al. A large-scale hierarchical multi-view RGB-D object dataset[C]//2011 IEEE International Conference on Robotics and Automation. New York: IEEE Press, 2011: 1817-1824.

[14] ZHU J H, LI Z Y, DU S Y, et al. Surface reconstruction via efficient and accurate registration of multiview range scans[J]. Optical Engineering, 2014, 53(10): 102104.

Multi-view color point cloud registration based on correntropy

LIU Ying1, LI Yao-chen1, LIU Yue-hu2, FU Jing-wen3, MA Fei1

(1. School of Software Engineering, Xi’an Jiaotong University, Xi’an Shaanxi 710049, China; 2. Institute of AI and Robotics, Xi’an Jiaotong University, Xi’an Shaanxi 710049, China; 3. Department of Computer Science and Technology, Xi’an Jiaotong University, Xi’an Shaanxi 710049, China)

For the pair-wise registration of color point clouds, we proposed a color point cloud registration algorithm based on Correntropy to enhance the robustness and accuracy of traditional registration methods. On the basis of the iterative closest point algorithm, the proposed algorithm employed hue of HSV color space combined with the traditional three-dimensional coordinates to form a four-dimensional space to assist registration, and utilized Correntropy to reduce the impact of outliers and noise on registration, so as to achieve more accurate registration results. After the pair-wise registration was completed, the result calculated by this algorithm was taken as the initial value of multi-view registration, and then a more accurate multi-view registration result was achieved through the motion average algorithm that reduced the cumulative error. Experimental results of pair-wise registration show that the proposed approach is superior in accuracy and robustness compared with other approaches. In addition, the experimental results of simulated data and real data on public datasets show that the result computed by this algorithm can be well combined with the motion average algorithm as the initial value, and that the reliable results of multi-view point cloud registration can be obtained.

Correntropy; color point cloud; hue; iterative closest point algorithm; motion average algorithm

TP 391

10.11996/JG.j.2095-302X.2021020256

A

2095-302X(2021)02-0256-07

2020-08-01；

1 August，2020；

2020-09-01

1 September，2020

國家自然科學基金項目(61803298)

National Natural Science Foundation of China (61803298)

劉 熒(1995-)，女，四川瀘州人，碩士研究生。主要研究方向為點云配準、三維重建。E-mail：liuying1019@stu.xjtu.edu.cn

LIU Ying (1995–), female, master student. Her main research interests cover point cloud registration and 3D reconstruction. E-mail：liuying1019@stu.xjtu.edu.cn

李垚辰(1987–)，男，陜西丹鳳人，副教授，博士。主要研究方向為圖形圖像處理、計算機視覺等。E-mail：yaochenli@mail.xjtu.edu.cn

LI Yao-chen (1987–), male, associate professor, Ph.D. His main research interests cover graphic image processing, computer vision, etc. E-mail：yaochenli@mail.xjtu.edu.cn