基于Kinect的環(huán)境平面特征提取與重構(gòu)

王梅 于遠(yuǎn)芳 屠大維 周華

摘要：針對三維場景物體特征識別過程中數(shù)據(jù)量大、算法復(fù)雜等問題，提出一種基于Kinect的環(huán)境平面特征提取與重構(gòu)算法。首先，針對場景的點(diǎn)云分割，采用融合場景幾何信息和顏色信息的隨機(jī)采樣一致性（RANSAC）算法，綜合二者分割優(yōu)勢，克服幾何特征分割過程中分割不足或者過分割，提高分割精度；其次，根據(jù)投影變換原理推導(dǎo)出相應(yīng)的三維坐標(biāo)變換矩陣，指導(dǎo)分割后獨(dú)立區(qū)域內(nèi)的三維平面特征信息到二維空間映射，利用凸包概念搜索物體邊界信息，實(shí)現(xiàn)二維空間的輪廓點(diǎn)提取；最后，通過旋轉(zhuǎn)逆變換，恢復(fù)輪廓點(diǎn)的三維信息，完成環(huán)境特征重構(gòu)。采用3組場景數(shù)據(jù)驗(yàn)證所提算法，實(shí)驗(yàn)結(jié)果表明，所提算法分割較精確，不容易產(chǎn)生過分割的情況，對不同形狀特征的物體，具有較好的重構(gòu)效果。

關(guān)鍵詞：Kinect；平面分割；輪廓提取；平面重構(gòu)

中圖分類號：TP391.41 文獻(xiàn)標(biāo)志碼：A

Abstract：Aiming at the problem of the large amount of data and the complicated algorithm in 3D scene feature recognition process， an feature extraction and reconstruction of environmental plane algorithm based on Kinect was proposed. Firstly， a method of RANdom SAmple Consensus （RANSAC） environment segmentation with the combination of geometrical and color information was proposed， which overcame the over segmentation and lacksegmentation based on geometric characteristic and improved the accuracy. Secondly， according to the principle of perspective projection， the threedimensional transformation matrix was derived， which guided the 3D environment mapped into a plane. The extraction of contour points in twodimensional space was realized by searching object boundary information which used convex hull concept. Finally， the 3D information of the contour points was recovered by the rotating inverse transform and the reconstruction of environment features was completed. Three groups of scene data were used to verify the algorithm and the experimental results show the proposed algorithm gains more precise segmentation， reduces over segmentation phenomena， and also has better reconstruction effect for objects with different shape features.

Key words：Kinect； plane segmentation； contour extraction； feature reconstruction

0 引言

環(huán)境特征提取是移動機(jī)器人導(dǎo)航技術(shù)研究熱點(diǎn)，機(jī)器人要在未知環(huán)境中完成導(dǎo)航、自主抓取等服務(wù)功能，必須對其周圍環(huán)境有明確的了解，而室內(nèi)三維環(huán)境特征重構(gòu)為其提供了更為豐富可靠的環(huán)境信息，機(jī)器人可以根據(jù)重構(gòu)信息決策自己的任務(wù)，實(shí)現(xiàn)與周圍環(huán)境的交互[1-3]。

環(huán)境重構(gòu)的方法根據(jù)使用的傳感器不同可分為基于結(jié)構(gòu)光的重構(gòu)和基于機(jī)器視覺的重構(gòu)。基于結(jié)構(gòu)光的掃描設(shè)備，如激光掃描儀，是采用非接觸式點(diǎn)測量的方法實(shí)時獲得周圍環(huán)境的三維空間信息[4-6]。但是此類設(shè)備體積大，價格昂貴，而且采集的數(shù)據(jù)量較大，限制了其在三維場景重構(gòu)技術(shù)中的發(fā)展應(yīng)用。而微軟開發(fā)的Kinect作為XBOX的一款體感外設(shè)，近年來不斷被應(yīng)用于室內(nèi)機(jī)器人環(huán)境建模領(lǐng)域[7]。與激光傳感器相比，Kinect可以同時快速地獲取場景的顏色信息和深度信息，成本更為低廉。Endres等[8]、Somlyai等[9]提出了基于Kinect的環(huán)境重構(gòu)系統(tǒng)，構(gòu)建了具有點(diǎn)特征的三維環(huán)境。但是，利用點(diǎn)信息表示環(huán)境特征存儲量大，容易造成計(jì)算負(fù)荷沉重等問題。

在室內(nèi)環(huán)境中，平面是其重要的組成部分，通過對平面特征的提取進(jìn)行環(huán)境重構(gòu)可減小存儲量以及計(jì)算負(fù)荷，使機(jī)器人與周圍環(huán)境進(jìn)行交互時更為方便、簡捷。本文提出一種面向室內(nèi)的環(huán)境平面特征提取與重構(gòu)方法。該方法的核心在于融合顏色信息和幾何信息對場景中的物體分割以及在二維空間進(jìn)行邊緣輪廓提取進(jìn)行重構(gòu)。

1 環(huán)境平面特征提取與重構(gòu)方法

針對機(jī)器人三維環(huán)境特征重構(gòu)問題，基于Kinect的環(huán)境平面特征提取與重構(gòu)需要經(jīng)過點(diǎn)云采集、點(diǎn)云圖像分割、輪廓特征識別、平面特征重構(gòu)等幾個步驟（如圖1所示）。

利用安裝在機(jī)器人上的Kinect傳感器作為信息采集設(shè)備，并使機(jī)器人坐標(biāo)系和Kinect坐標(biāo)系重合（圖2）。Kinect可以同時獲取場景的RGB圖像和深度圖像，其中RGB圖像與深度圖像按二維圖像像素點(diǎn)一一對應(yīng)，將彩色相機(jī)獲取的RGB 圖像和紅外發(fā)射器與深度相機(jī)獲取的深度圖像進(jìn)行融合即可得到彩色三維點(diǎn)云圖像。

其后，將采集的點(diǎn)云信息經(jīng)過改進(jìn)隨機(jī)采樣一致性（RANdom Sample Consensus， RANSAC）算法進(jìn)行分割后獲取具有平面特征的點(diǎn)云。利用仿射變換對分割后的點(diǎn)云進(jìn)行坐標(biāo)變換，通過輪廓邊緣提取算法對其輪廓進(jìn)行輪廓，然后再對其輪廓進(jìn)行3D信息恢復(fù)，從而最終得到三維點(diǎn)云的輪廓信息。利用檢測出的輪廓信息進(jìn)行平面特征重構(gòu)。

2 點(diǎn)云圖像分割

在機(jī)器人三維環(huán)境特征重構(gòu)過程中，將場景中的點(diǎn)云圖像按各自的特征進(jìn)行正確分割是關(guān)鍵的一點(diǎn)，只有有效的分割才能得到準(zhǔn)確的環(huán)境特征識別[10-11]。移動機(jī)器人工作環(huán)境中包含了大量的平面區(qū)域，如墻、地面、桌子等，是三維場景分割的重要內(nèi)容， 因此，本文基于平面特征研究三維點(diǎn)云信息的場景分割。首先通過種子點(diǎn)的選取，確定平面參數(shù)初值，然后基于顏色信息和幾何信息進(jìn)行局內(nèi)點(diǎn)判斷，并對平面參數(shù)重新估計(jì)，提取出平面特征方程。

2.1 種子點(diǎn)的選取

種子點(diǎn)的選取在分割過程中是很關(guān)鍵的步驟。理論上，點(diǎn)云中兩個點(diǎn)的距離越近，它們屬于同一個模型的概率就越大[12]。環(huán)境的三維點(diǎn)云數(shù)據(jù)集合P={pi|pi=（xi，yi，zi，Ri，Gi，Bi）}，（x，y，z）表示某一個點(diǎn)相對于Kinect的三維坐標(biāo)，（Ri，Gi，Bi）表示該點(diǎn)的顏色信息。在傳統(tǒng)的RANSAC算法中，種子點(diǎn)是從原始數(shù)據(jù)中隨機(jī)產(chǎn)生的3個點(diǎn)，并由此計(jì)算出初始平面模型。但是通過這種方法得到的種子點(diǎn)不在同一個平面上的概率比較大，因此會降低分割的效率。本文在此基礎(chǔ)上，對種子點(diǎn)的選取方式進(jìn)行了改進(jìn)，將三維空間的距離概念擴(kuò)展到包含空間幾何信息（x，y，z）和顏色信息（R，G，B）的六維空間的距離，根據(jù)此距離判斷點(diǎn)的相似程度。具體方法為：在點(diǎn)集P隨機(jī)產(chǎn)生一個點(diǎn)pm，以此點(diǎn)為起始點(diǎn)，尋找與其在六維空間距離滿足式（1）的其他種子點(diǎn)pn。

2.2 局內(nèi)點(diǎn)判斷

初步獲得平面參數(shù)模型[a，b，c，d]之后，要找出數(shù)據(jù)集合中該模型的其他點(diǎn)局內(nèi)點(diǎn)，即對剩余點(diǎn)是否屬于平面進(jìn)行判斷。理論上，若點(diǎn)到平面的距離di=0則點(diǎn)pi在平面上。但是，由于Kinect采集到的點(diǎn)云數(shù)據(jù)存在誤差，因此難以得到嚴(yán)格意義上的平面，即點(diǎn)及其到平面的距離總是在一定范圍內(nèi)波動。

Kinect獲取的點(diǎn)云數(shù)據(jù)，不僅包含三維空間數(shù)據(jù)，還具有相應(yīng)的RGB彩色信息。對于環(huán)境中的大多數(shù)物體來說，同一物體上的不同點(diǎn)在顏色、材質(zhì)等方面往往具有一致性。根據(jù)這一特性，相較于單純的幾何特征，顏色信息的融入可以為分割提供更為準(zhǔn)確的依據(jù)， 因此，本文在傳統(tǒng)RANSAC算法的只有幾何相似性度量的準(zhǔn)則中，引入顏色相似性度量標(biāo)準(zhǔn)來度量點(diǎn)與平面的相似性，并通過調(diào)節(jié)幾何和顏色特征在公式中的權(quán)重使得分割結(jié)果更為準(zhǔn)確。

權(quán)重α、β的比例關(guān)系，需要根據(jù)環(huán)境特點(diǎn)加以調(diào)節(jié)。對于辦公室等室內(nèi)環(huán)境，物體的顏色均一性較高，則α較大；對于室外自然環(huán)境來說，物體顏色均一性較低，可以取α為0，則算法退化為傳統(tǒng)的平面空間判別法。只有這樣，才能保證分割的準(zhǔn)確性，使分割滿足用戶需求。

利用RANSAC算法對點(diǎn)云進(jìn)行平面分割時需要進(jìn)行多次迭代才能分割出所有平面，每次運(yùn)行完一次，將剩余的點(diǎn)作為原始點(diǎn)云進(jìn)行下一次分割，不斷循環(huán)知道提取出所有的平面點(diǎn)集。根據(jù)以上分析，本文基于RANSAC方法的點(diǎn)云平面分割流程如圖3所示。

3 物體輪廓特征提取

進(jìn)行平面分割時，雖然利用最小二乘法可以擬合出所屬平面的幾何參數(shù)，但要完整地顯現(xiàn)平面，還需進(jìn)行平面的輪廓特征識別。但是，在三維空間中識別輪廓邊界信息，計(jì)算難度較大， 因此，本文將三維的平面特征信息映射到二維空間，基于二維空間信息對物體邊界輪廓提取，降低計(jì)算復(fù)雜度。

因而，進(jìn)行輪廓特征提取時，先通過仿射變換將三維點(diǎn)云數(shù)據(jù)變換到與機(jī)器人坐標(biāo)系xy面平行的位置；然后利用二維凸包算法進(jìn)行輪廓邊界檢測，提取出邊界信息；最后，根據(jù)仿射變換的逆運(yùn)算，將二維空間的邊界信息恢復(fù)成三維信息，從而完成三維輪廓邊界提取。

3.1 三維點(diǎn)云圖像仿射變換

在Kinect坐標(biāo)系下，經(jīng)過分割得到的一三維點(diǎn)云所在平面的方程表示為ax+by+cz+d=0，n=[abc]為平面的法向量。在三維空間中，平面的坐標(biāo)變換可通過對其向量的操作得到。根據(jù)空間坐標(biāo)變換關(guān)系，向量n先繞z軸旋轉(zhuǎn)θz，再繞x軸旋轉(zhuǎn)θx，可得到垂直于xy面的向量n1=[00a2+b2+c2]，圖4為坐標(biāo)變換示意圖， 由圖可得tan θz=a/b，tan θx=a2+b2/c。

3.2 輪廓邊緣檢測

在圖像識別、圖像分析以及機(jī)器視覺等過程中，圖像邊緣提取是非常關(guān)鍵的一步，圖像的邊緣輪廓提取除去了非相關(guān)信息，同時也保留了圖像的重要結(jié)構(gòu)特性[13]。為了有效檢測圖像邊緣，必須要區(qū)分出邊緣點(diǎn)和非邊緣點(diǎn)。

本文引入凸包的概念來定義圖像的輪廓邊緣。凸包是計(jì)算幾何里的一個概念，是指包含平面點(diǎn)集內(nèi)所有點(diǎn)的最小簡單凸多邊形[14-19]并且任意兩頂點(diǎn)的連線都在該多邊形的內(nèi)部，如圖5中的凸多邊形即為所求的最小凸多邊形，組成該多邊形的頂點(diǎn)成為凸點(diǎn)。

根據(jù)上述算法可得到物體在三維空間的平面方程參數(shù)以及物體的輪廓信息，從而使環(huán)境中的物體可以以面特征的形式表示出來。相對于之前海量的點(diǎn)云信息，以平面特征表示環(huán)境描述緊湊、存儲量小，有利于位置信息的估計(jì)、環(huán)境狀況的描述，為后續(xù)的機(jī)器人碰撞檢測與自主運(yùn)動打下良好基礎(chǔ)，大幅減輕計(jì)算負(fù)荷；同時，平面重構(gòu)也有利于物體在計(jì)算機(jī)中三維顯示。

4 實(shí)驗(yàn)結(jié)果及分析

本文將在圖9所示的xPartner機(jī)器人平臺上進(jìn)行相關(guān)實(shí)驗(yàn)，三維信息獲取設(shè)備Kinect安裝在機(jī)械臂上。為了驗(yàn)證提出算法的可行性和效果，構(gòu)建由移動機(jī)器人、Kinect等構(gòu)成的人機(jī)器人交互的可視化軟件界面（如圖10）。該軟件將機(jī)器人運(yùn)動控制、點(diǎn)云數(shù)據(jù)獲取和顯示、平面分割、輪廓檢測、平面重構(gòu)等多功能集于一體。軟件的三維顯示是基于OpenGl圖形函數(shù)庫實(shí)現(xiàn)的。用戶通過交互界面向機(jī)器人發(fā)送運(yùn)動指令，機(jī)器人根據(jù)接收到的指令信息完成相應(yīng)的任務(wù)。在本實(shí)驗(yàn)中，用戶通過界面控制機(jī)器人前進(jìn)、后退、旋轉(zhuǎn)，采集當(dāng)前視點(diǎn)下的環(huán)境。

本文分別以圓形、三角形、墻壁為檢測對象，驗(yàn)證平面檢測和輪廓邊緣提取算法的有效性，最終實(shí)驗(yàn)結(jié)果如圖11所示。具體實(shí)現(xiàn)步驟如下：

1）點(diǎn)云圖像采集。Kinect的最佳使用距離為0.8m～2.0m，因此三組場景信息的采集控制在與機(jī)器人距離1.2m范圍內(nèi)。圖11中的（b）圖為通過對Kinect采集的RGB圖和深度圖融合得到的場景點(diǎn)云圖；

2）點(diǎn)云分割。根據(jù)本文第2章提出的算法對物體分割，其中種子點(diǎn)有效性判斷閾值Tth=20mm，平面有效性判斷閾值Snum=10000；

3）平面特征重構(gòu)。確定物體邊緣輪廓，根據(jù)空間坐標(biāo)變換矩陣，完成三維空間點(diǎn)集與二維之間的映射。其中，圖中（a）是實(shí)驗(yàn)對象的真實(shí)場景，（b）是Kinect檢測到的環(huán)境三維點(diǎn)云顯示結(jié)果。經(jīng)過平面分割，可以獲得（c）中所示的平面（在圓形和三角形平面實(shí)驗(yàn)中，省略背景墻壁的提取結(jié)果）。在分割的基礎(chǔ)上，通過凸包輪廓檢測算法，得到（d）中所示的邊緣結(jié)果。利用OpenGL重構(gòu)出的完整平面顯示在圖（e）中。

在分割過程中，采用融合幾何信息和顏色信息進(jìn)行分割，為說明該算法的有效性，以圓形場景為例，與只有幾何信息的算法（稱方法1）對比實(shí)驗(yàn)，圖12為兩種分割方法通過Matlab仿真得到的結(jié)果圖。

在圖12中，第一行為基于顏色信息和幾何信息分割結(jié)果，第二行為基于幾何信息的分割結(jié)果。其中，圖12（b）和（c）為分割情況，從圖中可以看出：基于幾何信息的分割算法造成了分割不足，破壞了后面墻壁的完整性，需要進(jìn)一步分割；而本文算法的分割結(jié)果相對于方法1，可以很好地分割出各部分平面物體，而且保證了各部分的完整性。

圖13為運(yùn)用本文算法對圓形場景的完整特征重構(gòu)。綜合上述實(shí)驗(yàn)可以看到，本算法能有效進(jìn)行點(diǎn)云數(shù)據(jù)分割，檢測出場景中的平面，對于形狀不同的平面，其輪廓都可以被很好地檢測出來，重構(gòu)結(jié)果可以較好地反映真實(shí)場景的情況，說明了本文算法具有較高的可行性。

5 結(jié)語

圍繞移動機(jī)器人三維場景平面重構(gòu)問題，重點(diǎn)研究了對重構(gòu)過程有重要意義的平面分割、邊緣輪廓檢測方法。提出了一種基于Kinect的機(jī)器人環(huán)境特征提取與重構(gòu)系統(tǒng)。首先通過Kinect獲取環(huán)境三維點(diǎn)云信息，然后利用改進(jìn)RANSAC算法場景進(jìn)行分割，再通過仿射變換把三維輪廓邊界檢測轉(zhuǎn)化為二維檢測，降低了三維邊界檢測的難度和復(fù)雜性，最后進(jìn)行了3D信息的恢復(fù)，并利用OpenGL將平面繪制顯示。從實(shí)驗(yàn)結(jié)果看出，算法對環(huán)境特征重構(gòu)具有較好的效果，對于基于平面特征的三維環(huán)境重構(gòu)具有一定的應(yīng)用價值。

參考文獻(xiàn)：

[1]QIAN K， MA X， FANG F. 3D environmental mapping of mobile robot using a lowcost depth camera[C]// Proceedings of the 2013 IEEE International Conference on Mechatronics and Automation. Piscataway， NJ： IEEE， 2013： 507-512.

[2]HWANG Y S， LEE D J， KIM H W， et al. 3D map building for slopes based on modeling of mobile robot[C]// Proceedings of the 2014 IEEE International Conference on Industrial Technology. Piscataway， NJ： IEEE， 2014： 796-799.

[3]務(wù)戰(zhàn)威.基于特征信息的場景重構(gòu)及其在遙操作機(jī)器人中的應(yīng)用[D].綿陽：西南科技大學(xué)，2012：4-8.（WU Z W. Scene reconstruction based on feature information and its application in teleoperation robot[D]. Mianyang： Southwest University of Science and Technology， 2012：4-8.）

[4]李慶華.基于RGBD數(shù)據(jù)的環(huán)境特征提取與場景重構(gòu)[D]. 大連：大連理工大學(xué)，2014：1-10.（LI Q H. Environmental features extraction and scene reconstruction based on RGBD data[D]. Dalian： Dalian University of Technology， 2014：1-10.）

[5]葉迪. 移動機(jī)器人基于激光測距的三維場景重構(gòu)[D].大連：大連理工大學(xué)，2008：5-8.（YE D. Mobile robot 3D scene reconstruction based on laser scanning[D]. Dalian： Dalian University of Technology， 2008：5-8.）

[6]YU C H. A new 3D map reconstruction based mobile robot navigation[C]// Proceedings of the 2006 8th International Conference on Signal Processing. Piscataway， NJ： IEEE， 2006：16-20.

[7]DIFILIPPO N M， JOUANEH M K. Characterization of different Microsoft Kinect sensor models[J]. IEEE Sensors Journal， 2015，15（8）：99-102.

[8]ENDRES F， HESS J， STURM J. 3D mapping with an RGBD camera[J]. IEEE Transactions on Robotics， 2014，30（1）：177-187.

[9]SOMLYAI L， VAMOSSY Z. Map building with RGBD camera for mobil robot[C]// Proceedings of the IEEE 16th International Conference on Intelligent Engineering Systems. Piscataway， NJ： IEEE， 2012：489-493.

[10]魏永超，劉長華. 基于曲面分割的三維點(diǎn)云物體識別[J]. 光子學(xué)報(bào)，2010，39（12）：2268-2272.（WEI Y C， LIU C H. 3D point cloud object recognition based on surface segmentation[J]. Acta Photonica Sinica， 2010，39（12）：2268-2272.）

[11]張強(qiáng). 基于點(diǎn)云庫的服務(wù)機(jī)器人視覺識別[D].合肥：中國科學(xué)技術(shù)大學(xué)，2014：15-16.（ZHANG Q. Research of visual recognition algorithm for service robot based on PCL[D]. Hefei： University of Science and Technology of China， 2014： 15-16.）

[12]DEAN J， GHEMAWAT S. MapReduce： simplified data processing on large clusters[J]. Communications of the ACM， 2008，51（1）：107-113.

[13]王芳，錢煒，李文超.基于數(shù)學(xué)形態(tài)學(xué)的圖像邊緣提取方法[J].機(jī)械工程與自動化，2015（1）：46-48.（WANG F， QIAN W， LI W C. Edge detection algorithm based on mathematical morphology[J].Mechanical Engineering & Automation，2015（1）：46-48.）

[14]WANG S， SUN S F. Image edge detection based on rotating Kernel transformation[C]// Proceedings of the 2014 7th International Congress on Image and Signal Processing. Piscataway， NJ： IEEE， 2014：397-402.

[15]CHIN U， CHHABRA A. A hybrid approach for color based image edge detection[C]// Proceedings of the 2014 Communications and Informatics Communications and Informatics. Piscataway， NJ： IEEE， 2014：2443-2448.

[16]PAVITHRA C， KAVITHA M， KANNAN E. An efficient edge detection algorithm for 2D3D conversion[C]// Proceedings of the 2014 International Conference on Computation of Power， Energy， Information and Communication. Piscataway， NJ： IEEE， 2014：434-436.

[17]POPPINGA J， VASKEVICIUS N， BIRK A. Fast plane detection and polygonalization in noisy 3D range images[C]// Proceedings of the 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway， NJ： IEEE， 2008：3378-3383.

[18]曾箏， 陳曉，周宏，等. 基于凸包算法的三維表面重建中邊緣輪廓提取[J].微機(jī)發(fā)展，2004，14（12）：39-42.（ZENG Z，CHEN X，ZHOU H，et al. Extracting contour in 3D surface reconstruction based on convex hull algorithm[J]. Microcomputer Development， 2004，14（12）：39-42.）

[19]張林. 改進(jìn)的多邊形凸包算法[J].長春工業(yè)大學(xué)學(xué)報(bào)，2013，34（5）：560-563.（ZHANG L. An improved algorithm of polygon convex hull[J]. Journal of Changchun University of Technology，2013，34（5）：560-563.）