基于Kinect深度數(shù)據(jù)的移動(dòng)機(jī)器人障礙檢測(cè)方法研究

薛彥濤，呂洪波，孫啟國(guó)

(北方工業(yè)大學(xué) 機(jī)械與材料工程學(xué)院，北京 100144)

基于Kinect深度數(shù)據(jù)的移動(dòng)機(jī)器人障礙檢測(cè)方法研究

薛彥濤，呂洪波，孫啟國(guó)

(北方工業(yè)大學(xué) 機(jī)械與材料工程學(xué)院，北京 100144)

未知室內(nèi)環(huán)境中的障礙檢測(cè)是室內(nèi)移動(dòng)機(jī)器人領(lǐng)域的熱點(diǎn)問題;在低成本條件下為更加準(zhǔn)確的對(duì)環(huán)境中的障礙進(jìn)行檢測(cè)，提出一種基于低成本Kinect傳感器點(diǎn)云數(shù)據(jù)進(jìn)行環(huán)境障礙檢測(cè)的有效方法;首先通過Kinect三維點(diǎn)云數(shù)據(jù)，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行去燥處理，并進(jìn)行三維數(shù)據(jù)到二維平面的投影的轉(zhuǎn)換并通過DBSCAN聚類算法對(duì)投影的二維點(diǎn)云數(shù)據(jù)進(jìn)行聚類分析;通過設(shè)置相鄰頂點(diǎn)間最大距離閾值對(duì)convex-hull凸包算法進(jìn)行改進(jìn)，試驗(yàn)結(jié)果表明改進(jìn)的凸包算法能夠?qū)φ系K進(jìn)行有效識(shí)別;該方法在Matlab中進(jìn)行了方法驗(yàn)證，并在P3-DX移動(dòng)機(jī)器人平臺(tái)上進(jìn)行了試驗(yàn)驗(yàn)證，結(jié)果表明該方法能夠有效對(duì)環(huán)境中的障礙進(jìn)行有效識(shí)別。

三維點(diǎn)云;聚類分析;障礙識(shí)別;改進(jìn)凸包算法

0 引言

隨著移動(dòng)機(jī)器人智能化的快速發(fā)展，在未知環(huán)境中依靠一種或者多種傳感器結(jié)合對(duì)外界環(huán)境進(jìn)行有效可靠的感知，能夠準(zhǔn)確地對(duì)障礙物進(jìn)行檢測(cè)是一項(xiàng)關(guān)鍵技術(shù)，也是移動(dòng)機(jī)器人領(lǐng)域近年來(lái)研究的熱點(diǎn)。目前，基于視覺的檢測(cè)方法，基于超聲波傳感器的檢測(cè)方法，基于激光雷達(dá)的障礙檢測(cè)方法，基于紅外傳感器檢測(cè)等方法，得到了廣泛的應(yīng)用。這些方法都可以有效的檢測(cè)出環(huán)境中存在的障礙物，但都有一定的局限性。超聲波傳感器成本較低，但獲取的環(huán)境信息較為粗糙，激光雷達(dá)可獲取到豐富的環(huán)境信息，但成本較高，不具有一般適用性[1-4]。Kinect是微軟公司生產(chǎn)的一款針對(duì)游戲設(shè)計(jì)的體感設(shè)備，Kinect由RGB攝像頭，紅外發(fā)射器和CMOS紅外攝像頭構(gòu)成了3D深度感應(yīng)器，，使用它可以同時(shí)獲取到環(huán)境光學(xué)圖像和圖像上物體的位置信息。Kinect具有成本低，對(duì)環(huán)境獲得的信息量豐富等特點(diǎn)，很適合應(yīng)用于移動(dòng)機(jī)器人的環(huán)境建模和障礙檢測(cè)等方面。

本文利用Kinect的深度技術(shù)，用于對(duì)輪式移動(dòng)機(jī)器人未知環(huán)境中的障礙物進(jìn)行檢測(cè)。通過對(duì)深度圖像數(shù)據(jù)的處理得到三維點(diǎn)云數(shù)據(jù)，并進(jìn)行三維到二維空間的轉(zhuǎn)換，根據(jù)對(duì)點(diǎn)云數(shù)據(jù)的聚類分析，得到環(huán)境中障礙物的位置信息，設(shè)計(jì)實(shí)現(xiàn)了依據(jù)點(diǎn)云數(shù)據(jù)進(jìn)行障礙物檢測(cè)的方法。

1 數(shù)據(jù)獲取與坐標(biāo)變換

1.1 三維點(diǎn)云數(shù)據(jù)獲取

Kinect傳感器分別具有彩色攝像頭和深度攝像頭，可同時(shí)獲取彩色圖像與帶有深度數(shù)據(jù)的深度圖像。由于兩攝像頭的分辨率與安裝位置不同故需將深度圖像通過坐標(biāo)轉(zhuǎn)換與彩色圖像對(duì)齊，計(jì)算出空間中點(diǎn)的坐標(biāo)X，Y并轉(zhuǎn)換到以Kinect本身所建立的世界坐標(biāo)系下生成三維點(diǎn)云數(shù)據(jù)。最終將點(diǎn)云數(shù)據(jù)保存為(X,Y,Z,R,G,B)格式。數(shù)據(jù)獲取流程圖如圖1所示。Kinect坐標(biāo)系與深度圖像投影坐標(biāo)系如圖2所示。

圖1 數(shù)據(jù)獲取流程

1.2 坐標(biāo)變換原理

實(shí)驗(yàn)中真實(shí)世界坐標(biāo)系采用Kinect自身坐標(biāo)系，深度圖像的投影坐標(biāo)系是以深度圖像原點(diǎn)作為坐標(biāo)原點(diǎn)，真實(shí)世界坐標(biāo)系與深度圖像投影坐標(biāo)系關(guān)系如圖2所示。

圖2 坐標(biāo)系示意圖

通過Kinect傳感器的坐標(biāo)轉(zhuǎn)換關(guān)系利用深度圖像的像素深度值和像素坐標(biāo)可計(jì)算出真實(shí)世界坐標(biāo)X、Y、Z坐標(biāo)。深度圖像與彩色圖像對(duì)齊后，Z坐標(biāo)直接由深度圖像像素值直接得到，通過公式計(jì)算得到X、Y坐標(biāo)[5]，計(jì)算方式如下：

(1)

(2)

式(1)和式(2)中，X，Y分別代表Kinect坐標(biāo)系中橫縱坐標(biāo),u，v為深度圖像中的橫縱坐標(biāo)，Z為深度圖像中每個(gè)像素點(diǎn)的深度值，f圖像的焦距，由此得到點(diǎn)云數(shù)據(jù)集合，采集的點(diǎn)云圖像顯示效果如圖3所示。

圖3 點(diǎn)云圖像

2 點(diǎn)云的預(yù)處理和二維投影

2.1 點(diǎn)云預(yù)處理

Kinect采集到的點(diǎn)云數(shù)據(jù)數(shù)據(jù)量較大，對(duì)點(diǎn)云的計(jì)算速度有很大影響，為了提高對(duì)點(diǎn)云的計(jì)算速度，首先對(duì)點(diǎn)云中一些無(wú)用數(shù)據(jù)點(diǎn)進(jìn)行預(yù)處理。根據(jù)移動(dòng)機(jī)器人的自身尺寸對(duì)環(huán)境中的障礙物進(jìn)行分類處理。采用閾值法根據(jù)障礙物高度進(jìn)行濾除，本次方法驗(yàn)證設(shè)置閾值為1，對(duì)采集到的深度數(shù)據(jù)中高度大于1的值進(jìn)行濾除，有效減少了點(diǎn)云數(shù)據(jù)的運(yùn)算量。

2.2 二維投影變換

Kinect采集到的點(diǎn)云數(shù)據(jù)進(jìn)行原始圖像還原如圖3所示。將點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理和坐標(biāo)變后進(jìn)行matlab繪圖對(duì)原始場(chǎng)景進(jìn)行還原如圖4所示，并將三維場(chǎng)景坐標(biāo)變換投影到二維平面，以便對(duì)環(huán)境信息進(jìn)行識(shí)別為移動(dòng)機(jī)器人路徑規(guī)劃提供依據(jù)。投影后圖像如圖5所示X，Y坐標(biāo)確定了環(huán)境中障礙物的位置。

圖4 預(yù)處理后點(diǎn)云數(shù)據(jù)顯示

圖5 點(diǎn)云數(shù)據(jù)平面投影

3 點(diǎn)云聚類分析

經(jīng)過平面投影的點(diǎn)云數(shù)據(jù)中并未對(duì)環(huán)境中障礙物的進(jìn)行分塊處理并且存在數(shù)據(jù)噪點(diǎn)，為了更加準(zhǔn)確地識(shí)別出障礙物并濾除噪點(diǎn)，方法采用對(duì)投影的數(shù)據(jù)點(diǎn)進(jìn)行聚類處理， 方法驗(yàn)證中采用DBSCAN聚類算法，該聚類方法能夠?qū)?shù)據(jù)點(diǎn)集進(jìn)行任意形狀類簇的聚類，相比于K-means聚類方法不用設(shè)定聚類數(shù)目，擁有很好的靈活性，且可以有效地分辨出數(shù)據(jù)集中的噪點(diǎn)[6-7]。

DBSCAN聚類算法參數(shù)選擇：

1)E鄰域：給定對(duì)象半徑為E的區(qū)域，由于數(shù)據(jù)點(diǎn)較多，無(wú)法準(zhǔn)確估計(jì)給定對(duì)象的領(lǐng)域半徑，因此在方法驗(yàn)證中采取通過參數(shù)計(jì)算得到最佳E鄰域半徑。計(jì)算公式 如下：

(3)

(4)

2)核心點(diǎn)：若該點(diǎn)E鄰域內(nèi)存在的樣本點(diǎn)數(shù)大于Nmin則判定該點(diǎn)為核心對(duì)象。

3)直接密度可達(dá)：對(duì)于樣本集合D，如果樣本點(diǎn)q在p的Ε領(lǐng)域內(nèi)，并且p為核心對(duì)象，那么對(duì)象q從對(duì)象p直接密度可達(dá)。

4)密度可達(dá)：對(duì)于樣本集合D，給定一串樣本點(diǎn)p1,p2….pn，p=p1,q=pn,假如對(duì)象pi從pi-1直接密度可達(dá)，那么對(duì)象q從對(duì)象p密度可達(dá)。

5)密度相連：存在樣本集合D中的一點(diǎn)o，如果對(duì)象o到對(duì)象p和對(duì)象q都是密度可達(dá)的，那么p和q密度相聯(lián)。

算法主要步驟：若該點(diǎn)E鄰域內(nèi)存在的樣本點(diǎn)數(shù)大于Nmin則判定該點(diǎn)為核心對(duì)象。

1)從數(shù)據(jù)集中尋找未處理的點(diǎn)對(duì)其進(jìn)行核心點(diǎn)判定，若該點(diǎn)E鄰域內(nèi)存在的樣本點(diǎn)數(shù)小于Nmin則判定該點(diǎn)為噪聲點(diǎn)，并進(jìn)行標(biāo)記。若該點(diǎn)非核心對(duì)象則計(jì)算下一未處理點(diǎn)。

2)計(jì)算出所有從該核心點(diǎn)密度可達(dá)的對(duì)象形成類簇。

3)計(jì)算出該核心點(diǎn)的密度相連對(duì)象的最大集合

4)確定形成類簇中的所有點(diǎn)都被訪問，然后同樣方法處理數(shù)據(jù)中未被訪問的點(diǎn)，計(jì)算出新的類簇，直到數(shù)據(jù)中所有點(diǎn)都被標(biāo)記歸類。

該方法在Matlab中進(jìn)行了仿真驗(yàn)證，聚類結(jié)果如圖6所示黑色標(biāo)記點(diǎn)為噪聲點(diǎn)，最終聚類結(jié)果如圖7所示。

圖6 含有噪點(diǎn)聚類顯示

圖7 濾除噪聲后聚類結(jié)果

4 障礙信息提取

數(shù)據(jù)集經(jīng)過DBSCAN聚類方法聚類后，每一個(gè)類簇判定為一個(gè)環(huán)境障礙并對(duì)該類簇中的數(shù)據(jù)點(diǎn)進(jìn)行標(biāo)記，同一類簇中的數(shù)據(jù)點(diǎn)采用同一標(biāo)號(hào)。為減少數(shù)據(jù)的計(jì)算量，方法中對(duì)障礙物信息進(jìn)行簡(jiǎn)化處理，采取在convex-hull凸包算法的基礎(chǔ)上通過設(shè)定頂點(diǎn)之間的距離閾值將障礙物形成的類簇進(jìn)行多邊形估計(jì)，更加精確到的提取出障礙物的邊界坐標(biāo)信息。

算法主要步驟：

1)通過convex-hull凸包算法計(jì)算出凸包頂點(diǎn)，并設(shè)定兩頂點(diǎn)間最大距離閾值P。

2)計(jì)算頂點(diǎn)中第二個(gè)頂點(diǎn)相對(duì)于第一頂點(diǎn)的方位角W1，頂點(diǎn)中最后一點(diǎn)相對(duì)于第一頂點(diǎn)的方位角W2，如果W1>W2，則將凸包頂點(diǎn)排列順序倒轉(zhuǎn)。

3)計(jì)算各頂點(diǎn)間各相鄰兩頂點(diǎn)間距離，找到最大距離及最大距離頂點(diǎn)標(biāo)號(hào)。

4)若最大距離大于閾值P，則在最大距離兩頂點(diǎn)間進(jìn)行頂點(diǎn)匹配，找到類簇邊界上距離小于閾值P的點(diǎn)作為新的頂點(diǎn)。

5)重復(fù)步驟3)、4)，直到所有頂點(diǎn)中兩頂點(diǎn)之間距離均小于閾值P。

改進(jìn)后的凸包算法識(shí)別結(jié)果如圖8所示，原凸包算法識(shí)別結(jié)果如圖9所示。

圖8 改進(jìn)凸包算法識(shí)別結(jié)果

圖9 原始凸包算法識(shí)別結(jié)果

5 試驗(yàn)結(jié)果與分析

為驗(yàn)證該方法的可行性，在移動(dòng)機(jī)器人平臺(tái)P3-DX安裝Kinect做了試驗(yàn)驗(yàn)證。試驗(yàn)場(chǎng)景彩色圖像如圖10(a)所示，深度圖像如圖10(b)所示，障礙識(shí)別結(jié)果如圖10(c)所示。結(jié)果表明該方法能夠?qū)Νh(huán)境中的障礙進(jìn)行有效識(shí)別。

圖10 驗(yàn)證效果圖

6 結(jié)束語(yǔ)

本文提出了一種基于Kinect 傳感器點(diǎn)云數(shù)據(jù)的障礙檢測(cè)方法。利用采集的深度圖像得到的點(diǎn)云數(shù)據(jù)進(jìn)行障礙輪廓識(shí)別并進(jìn)行坐標(biāo)提取，減少了數(shù)據(jù)計(jì)算量，提高了障礙檢測(cè)的準(zhǔn)確度，為移動(dòng)機(jī)器人路徑規(guī)劃提供了可靠的環(huán)境信息。該方法在Matlab上進(jìn)行方法驗(yàn)證，并在機(jī)器人平臺(tái)上試驗(yàn)驗(yàn)證了方法的有效性。

[1] Li P, Huang X H, Wang M. A novel hybrid method for mobile robot path planning in unknown dynamic environment based on hybrid DSm model grid map[J]. Journal of Experimental and Theoretical Artificial Intelligence, 2011,23(1):5-22.

[2] Moravec H P.Robot spatial perception by stereoscopic vision and 3D evidence grids[R].Pittsburgh，Pennsylvania，USA: Robotics Institute，Carnegie Mellon University，1996．

[3] 陳曉明，蔣樂天.基于Kinect 深度信息的實(shí)時(shí)三維重建和濾波算法研究[J].計(jì)算機(jī)應(yīng)用研究，2013，30(4):365-367．

[4] 李人厚.自主移動(dòng)機(jī)器人導(dǎo)論[M].西安: 西安交通大學(xué)出版社，2006．

[5] Dakopoulos D， Bourbakis N G. Wearable obstacle avoidance electronic travel aids for blind: A survey[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews,2010，40(1):25-35.

[6] 榮秋生，顏君彪，郭國(guó)強(qiáng). 基于DBSCAN聚類算法的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用，2004，24(4):45-46,61.

[7] 杜廷偉,劉 波.基于高斯混合模型聚類的Kinect深度數(shù)據(jù)分割[J].計(jì)算機(jī)應(yīng)用與軟件，2014, 31(12)：245-248.

Mobile Robot Obstacle Detection Method Based on Depth Data of Kinect

Xue Yantao, Lü Hongbo, Sun Qiguo

(College of Mechanical Engineering and Material, North China University of Technology, Beijing 100144, China)

The unknown obstacle detection of indoor environment is a hot issue in the field of indoor mobile robot. Under the condition of low cost for more accurately detecting the obstacles for the environment, we put forward a kind of effective method based on point cloud data of Kinect sensor. First, get point cloud data by the depth image captured by Kinect, eliminate the noise of point cloud data and transform 3D data to 2D data. Then use DBSCAN (Density-Based Spatial Clustering of Applications with Noise )clustering algorithm to analysis the 2D point cloud data. Finally，using convex-hull algorithm extracts the coordinate of obstacles to complete the obstacle detection. The method is verified in Matlab，the results show that the method is effective.

point cloud; clustering analysis; concave-hull algorithm; obstacle detection

2016-09-13；

2016-10-11。

北京市教育基金科研計(jì)劃項(xiàng)目(KM201510009001)。

薛彥濤(1990-)，男，碩士研究生，主要從事移動(dòng)機(jī)器人障礙識(shí)別方法研究。

1671-4598(2017)02-0061-03DOI：10.16526/j.cnki.11-4762/tp

TP

A