基于SICK和Kinect的植株點云超限補償信息融合

劉 慧 潘成凱 沈 躍 高 彬

(江蘇大學電氣信息工程學院， 鎮江 212013)

0 引言

近年來，對目標的精確三維彩色點云的獲取在數字城市、三維建模等方面應用越來越多[1-4]。激光掃描儀可以獲取目標高精度點云3D坐標和距離信息，視覺圖像能直觀展示2D高分辨率真彩色信息。兩者的融合可以得到客觀世界的3D紋理點云， 促進VR、三維重建、3D打印和農業機器人等領域的研究發展[5-8]。因此，組合探測點云融合成為目前備受關注的研究熱點。

目前，點云和圖像融合主要分為時間匹配和特征匹配2種[9]。時間匹配自動化程度高，但是精度較差且對設備要求高；更加通用的基于特征匹配的方法又可分為2種情況：一種是確定點云數據和圖像的轉換模型，進行疊加；另一種是通過控制點進行攝像機標定，借助相機內外參數確定點云和圖像的相互關系。文獻[10]提出了一種基于點云深度圖像的融合算法，匹配深度圖像和數字圖像的特征線，確定兩者的轉換關系，該方法的局限性是相機和激光掃描儀需在同一位置。文獻[11]首先利用安裝攝像機的三維激光掃描儀同時對貼了靶標的場景拍照和獲取點云，采用主動視覺相機序列標定解算相機的位置和姿態，之后確定相機和掃描儀的空間轉換關系。該方法需要相機固定在掃描儀上，且需要空間靶標，主動視覺自標定過程比較復雜。文獻[12-14]利用全景圖像和車載激光獲取車輛行走過程中的點云，并根據空間關系對其進行過著色，實現點云信息的融合，但是全景圖像在獲取過程中存在很大的畸變，且對裝備之間相對位置要求較高，存在很大缺陷。

本課題組曾研究了基于Kinect傳感器的彩色植株點云配準改進SIFT-ICP方法，通過獲取不同視角下Kinect植株彩色圖像和深度圖像合成原始植株彩色點云，提高了點云配準的準確性和快速性，但是對Kinect室外受光照影響獲取點云出現邊緣缺失的問題沒有進行修復[15]。本文以仿真植株作為研究對象，提出一種基于SICK和Kinect的植株點云信息融合方法。

1 試驗材料及方法

1.1 植株信息組合探測試驗平臺

植株目標組合探測平臺如圖1所示，在長6 m的試驗平臺上，滑塊搭載SICK激光傳感器(SICK LMS151)和Kinect傳感器(Kinect V2.0)以恒定速度在平臺上勻速前進，實時掃描目標植株，獲得Kinect深度圖像和彩色圖像數據，并對激光數據進行重構獲得植株的激光三維深度圖。試驗對象為仿真綠色植株，樹高1.8 m， 冠層直徑1.4 m(圖2) ，傳感器距離目標植株1.5 m。在日光燈照射下，光強約100 lx。Kinect通過微軟公司提供的軟件開發包Kinect for Windows SDK以及點云庫(Point cloud library，PCL)[16]和OpenCV獲取植株的彩色、深度圖像，并合成彩色點云。

圖1 SICK和Kinect組合探測平臺Fig.1 SICK and Kinect combined detection platform1.SICK激光傳感器 2.控制臺 3.滑塊 4.Kinect傳感器

圖2 仿真綠色植株Fig.2 Simulated green plants

1.2 植株三維點云預處理

1.2.1激光傳感數據三維重構及預處理

圖3 SICK激光傳感器掃描范圍示意圖Fig.3 Schematic diagram of working state of SICK laser sensor

SICK激光傳感器的安裝示意圖及工作狀態如圖1、3所示。圖3中每格長度為20 m，正下方90°區域為掃描盲區，通過內軸高速旋轉持續不斷地獲取點，工作時每掃描一圈獲取1 080個點，相鄰兩點之間間隔0.25°，工作頻率25 Hz。激光傳感器原始數據是在極坐標系下的距離數據，需對其進行坐標系轉換，得到激光傳感器在直角坐標系下的距離數據。但是這是一個二維數據，要想進行三維重構，還需要添加X軸方向信息。激光傳感器測試平臺具有速度實時檢測功能，在運行時對速度進行實時記錄[17-19]。

經過以上過程即可完成二維激光數據的三維重構，得到激光傳感器數據三維重構后的原始數據。

由于原始數據中包含了大量的無效信息，因此需要對原始數據進行濾波操作。基于目標的三維坐標信息，根據目標深度信息d(x,y)(單位：mm)去除植株背景信息。通過設定目標植株的三維坐標取值范圍，將取值范圍外的點全部視為無用點并去除[20]。根據試驗條件，目標植株距離傳感器有效距離設定為1 200～2 500 mm。預處理后獲取只包含目標植株所在有效深度區間的點云。

至此，完成對SICK激光傳感器數據的預處理。

1.2.2Kinect彩色點云映射與數據預處理

通過Kinect相機可以獲取目標的深度圖像和彩色圖像，通過Kinect開發包中的彩色圖像和深度圖像的映射函數，得到彩色圖像和深度圖像之間空間映射關系，深度圖像經過映射之后獲得彩色信息，再通過所處位置和角度信息即可得到世界坐標系下點云坐標。在原始的彩色點云中存在大量無效點和冗余背景信息以及少量的噪聲，因此需要先去除背景和噪聲。Kinect點云通過閾值濾波后去除背景信息，此時點云中還包含了少量的噪聲點及離群點，這些點通常由外界干擾以及設備采集測量誤差等原因造成。通過分析點云數據可知，離群點比較稀疏且點數較少，因此本文采用圓內點數量統計的方法濾除這些干擾點。通過統計半徑r的圓內點數量，將小于閾值k的點刪除，保留滿足條件的點。根據試驗效果，r設定為1 cm，k設定為10。

1.3 SICK激光點云與Kinect彩色點云融合

ICP算法自1992年發表以來就受到學者的廣泛關注[21-23]，以點集對點集的配準方法為基礎，闡述了一種曲面擬合方法，該方法是基于四元數的點集到點集配準方法。雖然經過十幾年的發展，效果得到了很大的改進，但是對于初始位置相差較大及重疊區域較少的情況仍然無法得到較好的結果，因此，本文采用了初始配準加二次配準的方法實現兩片點云之間較好的配準。

首先，對SICK激光點云和Kinect彩色點云進行體素柵格下采樣(Voxel grid downsample)，使點云數量降低的同時較好地保持了點云的原有特征。然后對每個點求其法線并計算每個點的快速點特征直方圖(Fast point feature histograms, FPFH)[24]進行特征提取，之后對兩片點云進行采樣一致性初始配準(Sample consensus-initial alignment, SAC-IA)，求取兩片點云之間的轉換矩陣，將SICK激光點云利用轉換矩陣變換后，兩片點云之間即可有較好的空間位置關系，然后利用ICP算法完成二次配準。

1.3.1植株點云SAC-IA初始配準

濾波后的點云中，點的數量仍然非常龐大，如果直接對其求法線精算特征來進行初始配準的話會浪費大量的時間，因此本文采用了體素柵格的方法對點云進行下采樣，該方法能夠在點數量大量減少的情況下仍然較好地保持點云特征，加快了配準的速度。具體過程如下：首先通過輸入的點云數據創建一個三維體素柵格，然后在每個體素，即三維立方體內用體素中所有點的重心來近似表示體素中其他點，這樣該體素內所有點就用這一個重心點來最終表示，再把所有體素的重心放到輸出點云中即完成了點云的下采樣。

完成點云下采樣后，需要對每個點進行法線估計。由于點云數據沒有幾何表面，可以利用某一點鄰域范圍內的其他點云來近似估計該點的表面法向量。假設有點云數據P{p1,p2,…,pn}，對于其中某一點pi(xi,yi,zi)，取其鄰域內h個相鄰點，協方差矩陣為

(1)

CVj=λjVj(j=0,1,2)

(2)

λj——第j個特征值

Vj——第j個特征向量

計算出的最小特征值對應的特征向量即為點pi處最小二乘擬合曲面的法向量。

僅僅只是求取點的法線還無法較好地表達點與周圍點之間的關系。FPFH算法在點特征直方圖(Point feature histograms, PFH)[25]算法的基礎上進一步改進，對PFH算法得到的權重進行重新計算，捕獲更大范圍內臨近點對的幾何信息，同時忽略部分臨近點，其計算特征更快、信息更多。本文利用FPFH算法對帶有法線信息的點云進行快速點特征估計，并采用降維后的33維特征向量來表示點周圍的信息，保證了較好的描述性，兼顧了快速性。

通過采樣一致性初始配準算法(SAC-IA)，通過下采樣后的點云和其特征描述子為基礎計算兩幅點云之間的對應點對，通過SAC-IA中的篩選規則不斷進行優化得到最佳對應點對集，通過這些點集得到兩幅點云之間的空間轉換矩陣，完成點云的初始配準。

1.3.2植株點云ICP精確配準

很多學者通過對原始的ICP算法進行剖析，將算法分成6部分，然后分別進行了改進，效果顯著。ICP算法的配準精度很大程度上取決于兩幅點云圖像之間的初始位置關系和重疊區域大小。

經過初始配準之后，兩幅點云圖像之間有了較接近的初始位置，這樣的初始位置可以有效地避免ICP算法配準時陷入局部最優解的狀態，從而提高ICP的配準質量。

1.3.3植株點云超限補償信息融合

完成點云的初次配準與精確配準之后，兩幅點云之間點位置信息很接近，利用近似最近鄰[26](Approximate nearest neighbors, ANN)算法，對激光點云在Kinect彩色點云中逐點近似最近鄰搜索，搜索到的點即為對應點，將對應點的彩色信息賦予正在進行搜索的點完成兩幅點云之間的信息融合。

Kinect 2.0在陽光直射時會出現目標邊緣嚴重丟失的情況，因此，對于部分SICK激光傳感器三維重構出的點云在進行近似最近鄰搜索時，會出現找不到對應點或找到的對應點并非實際物理意義上的對應點，為此本文提出了一種超限補償方法來對無法找到對應點或者錯誤對應點的搜索點進行補償，通過這種方法可以有效地對SICK激光重構點云中部分漏檢對應點和錯誤對應點的搜索點進行著色，完成信息融合。

本文所述的超限補償算法是對融合點云中超過閾值限定的部分進行重新融合的過程，其具體過程如下：首先對配準后激光點云中的每個點逐個遍歷Kinect彩色點云進行最近鄰搜索，當搜索到的Kinect彩色點云對應點和激光點之間的歐氏距離小于設定閾值時，則將Kinect彩色點云對應點的彩色信息賦予到激光點，形成彩色點；當搜索不到Kinect彩色點云對應點或搜索到的對應點和激光點之間的歐氏距離大于設定閾值時，則判定搜索失敗，可能是由Kinect傳感器受光照條件影響出現目標邊緣缺失而引起。Kinect檢測中由于光照條件等引起的對應目標缺失點云，此時，將搜索的激光點云的深度信息和空間坐標信息填充進去，然后根據Kinect微軟開發包中提供的深度圖像和彩色圖像對應關系的函數，獲取到對應彩色信息并將其賦值給對應的激光點形成彩色點；遍歷整個目標所有激光點云，完成激光點云的融合點云賦值。

超限補償點云信息融合方法具體步驟如下：首先，對于完成點云配準后的SICK激光點云P(p1,p2,…,pn)中的任意一點pi，在Kinect彩色點云中進行近似最近鄰搜索，若返回值為false或者搜索點與對應點之間的歐氏距離超過閾值，則認為沒有找到對應點，此時認為搜索點與Kinect彩色點云具有相同的空間位置，調用Kinect開發包中的MapDepthToColorImagePoint()函數找到彩色圖像中的對應點的坐標(x,y)，然后將坐標(x,y)的彩色信息賦予搜索點。超限補償點云信息融合流程圖如圖4所示。

圖4 超限補償點云信息融合流程圖Fig.4 Flow chart of overlimit compensation

SICK激光三維重構點云和Kinect彩色點云之間的信息融合的具體流程如圖5所示。

圖5 SICK激光三維重構和Kinect彩色點云信息融合流程圖Fig.5 Flow chart of information fusion of 3D reconstruction of SICK laser and Kinect color point cloud

2 試驗與結果分析

2.1 室內光照條件下算法驗證

2.1.1SICK激光傳感器點云獲取與處理

通過滑塊帶動SICK LMS151二維激光傳感器勻速運動進行試驗，經過坐標系轉換后，彩色渲染圖如圖6所示。經過三維重構后，點云圖像如圖7所示。

圖6 SICK彩色渲染圖Fig.6 Color rendering image of SICK data

圖7 SICK三維重構點云圖Fig.7 3D reconstruction of SICK data point cloud image

從圖6和圖7可以看出，數據中除了目標植株外還有復雜背景數據以及桌子等。對原始點云進行閾值濾波和離群點去除，得到僅含有目標植株的點云圖像。圖8為預處理后的激光點云圖像。

圖8 預處理后的激光點云圖像Fig.8 Point cloud images after preprocessing

2.1.2Kinect傳感器點云獲取與處理

通過PCL將Kinect傳感器獲取的植株深度圖像和彩色圖像進行融合，得到彩色點云圖像，如圖9所示。

圖9 Kinect點云圖像Fig.9 Kinect point cloud images

同樣，對Kinect獲取到的彩色植株點云進行閾值濾波和圓內數據統計濾波后得到僅含植株信息的點云圖像。

從圖8及其構造原理可知，兩幅點云空間位置相差較大，因此先采用初始配準。對點云進行體素柵格濾波以進一步減少點云數量，加快配準速度，然后對各點計算法線，求取快速點特征直方圖，利用SAC-IA完成點云初始配準，最后利用ICP算法進行進一步配準。圖10展示了點云的配準過程。為方便看清，將每個點放大了3倍。

圖10 激光和Kinect點云配準過程Fig.10 Process of point cloud registration

2.1.3超限補償點云融合

將激光點云和Kinect點云圖像配準后，兩幅點云圖像近乎重合，采用1.3.3節的近似最近鄰搜索和超限補償方法完成點云信息融合。融合前后對比如圖11所示。

圖11 超限補償點云信息融合前后對比Fig.11 Contrast diagrams of point cloud information

超限補償后局部細節圖如圖12所示。可見超限補償后，有效點云數量增加，邊緣缺失的點云得到了有效補充。

圖12 融合前后局部細節圖Fig.12 Images of local detail after fusion

2.2 強光干擾條件下算法驗證

然而Kinect在陽光下采集圖像深度信息時會出現嚴重的邊緣缺失，如圖13所示。因此，若不采取有效措施進行補救，則會引起邊緣信息缺失，造成較大誤差，如圖14所示。

圖13 Kinect采集的邊緣缺失點云Fig.13 Edge missing point cloud collected by Kinect

圖14 邊緣信息缺失融合效果Fig.14 Fusion effect with edge information missing

采用超限補償融合方法后，點云信息融合明顯改善，效果與室內幾乎相同。圖15為超限補償后的點云信息融合效果。

圖15 植株A點云超限補償融合圖Fig.15 Final effect maps after point cloud information fusion of plant A

在對植株A驗證的基礎上，對另一植株B進行了同樣的點云融合試驗，如圖16所示。

圖16 植株B超限補償點云融合過程Fig.16 Point cloud fusion process with overlimit compensation of plant B

為測試本文超限補償算法的可靠性，對植株A和植株B進行了不同角度(0°、90°、180°和270°)數據采集并進行數據融合，并且引入相似度評價本文方法效果。相似度描述如下：對Kinect植株彩色點云和融合后的激光彩色點云進行尺度不變特征轉變(Scale-invariant feature transform，SIFT)關鍵點搜索，然后將關鍵點進行對比，得到相同關鍵點占關鍵點總數的百分比。

基于相似度的對比研究，每組試驗進行10次，試驗結果如表1所示。對于植株A，將超限補充融合后的植株彩色點云與未融合前的室內Kinect點云進行對比，相似度平均值為95%。而未采用超限補償前的融合點云與室內Kinect點云對比，相似度只能達到70%。類似地, 對于植株B，利用本文超限補償融合方法與Kinect點云對比，相似性達到92%，而未采用超限補償的直接融合方法與Kinect點云對比，相似度僅為65%。

為驗證本文組合探測方法相對于傳統方法的優越性，將本文SICK和Kinect組合探測點云融合算法與Kinect單相機探測自身彩色和深度點云融合算法結果進行了對比。在有效點云數量方面，本文組合探測方法較傳統方法有效點云數量大大提升。以文中仿真植株A為目標，以傳感器與樹中心距離2.2 m為測試基準，本文方法與只采用Kinect自身彩色深度數據融合方法進行對比，每組試驗10次，并對室內外融合后點云數量和精度進行對比。試驗結果表明，在檢測精度方面，當測量距離為2.2 m時，采用Kinect傳感器檢測的平均絕對誤差為35 mm，深度誤差為1.5%；而本文方法的傳感器與樹干中心平均距離為2.196 m，深度誤差小于0.5%。以植株A為例，當SICK激光傳感器以0.25 m/s的前進速度運行時，激光探測植株點云數量為348 523，Kinect室內探測植株點云數量為217 088，Kinect傳感器室外探測植株點云數量為191 464。應用SICK和Kinect組合探測點云融合后，相比于Kinect傳感器，探測植株點云數量室內和室外分別增加了60.42%和81.89%。

表1 點云超限補償信息融合方法可靠性分析Tab.1 Reliability analysis of point cloud fusion

3 結論

(1) 提出了一種基于SICK和Kinect組合探測的植株點云超限補償信息融合方法，該方法無需保持2個傳感器之間的位置恒定和繁瑣的標定程序，仍然可以較好地實現點云信息的融合，邊緣信息融合較好，平均相似度較高。

(2)提出了超限補償方法，有效點云數量增加，邊緣缺失的點云得到了有效補充，且減小了深度誤差。