基于深度圖像的無人車障礙探測(cè)與繞行算法

徐丙立,邵小耀，饒 毅

(陸軍裝甲兵學(xué)院 信息通信系, 北京 100072)

無人車是實(shí)施地面危險(xiǎn)任務(wù)的重要支撐平臺(tái)，近年來在消防、地震救援、無人探測(cè)、戰(zhàn)場(chǎng)偵察等領(lǐng)域得到了不同程度的應(yīng)用[1-8]。小型無人車以其輕便靈活、方便攜帶以及能夠穿越狹縫并深入危險(xiǎn)區(qū)域等特征，被應(yīng)用到許多空間狹小的環(huán)境下工作。然而，小型無人車尺寸小，再加上周圍環(huán)境的復(fù)雜遮擋作用，會(huì)使得其能觀察到的區(qū)域非常有限，有時(shí)只能看到前方幾米甚至更小的范圍，因此研究并構(gòu)建適合于小型無人車的近距離障礙探測(cè)與實(shí)時(shí)避障算法，是實(shí)現(xiàn)小型無人車智能化的重要基礎(chǔ)。當(dāng)前，基于超聲波、激光、紅外、視覺等方法，開展無人車目標(biāo)探測(cè)以及路徑規(guī)劃研究已有很多[9-14]。這些方法在探測(cè)精度上具有明顯的優(yōu)勢(shì)，但是其具有造價(jià)高、平臺(tái)尺寸大、探測(cè)算法設(shè)計(jì)與實(shí)現(xiàn)難度高等缺點(diǎn)，因此不適用于低成本要求下的近場(chǎng)目標(biāo)快速探測(cè)與識(shí)別。

Kinect是由微軟研發(fā)的一款用于人機(jī)互動(dòng)的交互感知設(shè)備，支持深度圖像獲取和語音探測(cè)，能夠?qū)崿F(xiàn)對(duì)視場(chǎng)內(nèi)圖像的信息提取，獲取其中實(shí)體的位置信息與外觀參數(shù)[15-20]。同時(shí)，Kinect價(jià)格低廉，二次開發(fā)簡(jiǎn)單明了，比較符合小型無人車對(duì)探測(cè)設(shè)備經(jīng)濟(jì)高效的基本需求。本研究利用Kinect作為探測(cè)設(shè)備，獲取環(huán)境深度圖像信息并設(shè)計(jì)障礙探測(cè)及外廓參數(shù)識(shí)別算法，以此構(gòu)建障礙繞行算法，最后構(gòu)建無人原型平臺(tái)，并對(duì)算法進(jìn)行驗(yàn)證與測(cè)試。

1 基于深度數(shù)據(jù)的障礙物探測(cè)方法

基于Kinect深度數(shù)據(jù)的障礙物探測(cè)主要經(jīng)過深度數(shù)據(jù)的提取、目標(biāo)識(shí)別、目標(biāo)參數(shù)提取等3個(gè)關(guān)鍵步驟，具體流程如圖1所示。

1.1 深度數(shù)據(jù)獲取

深度數(shù)據(jù)提取是指利用Kinect的傳感器，獲取其視頻流的每一幀(灰度圖像)的過程。Kinect 利用其紅外投影機(jī)發(fā)射紅外激光，利用攝像頭接收反射回來的紅外激光，而后計(jì)算出空間三維信息，以灰度的形式表示各點(diǎn)距離攝像頭平面的距離并形成灰度圖。由于攝像頭獲取的是連續(xù)的動(dòng)態(tài)視頻流，因此需要對(duì)每一幀進(jìn)行處理，也就是需要對(duì)其進(jìn)行幀鎖定。因數(shù)據(jù)流的動(dòng)態(tài)性和幀鎖定的匹配時(shí)差問題的存在，可能會(huì)導(dǎo)致數(shù)據(jù)幀的失效，因此鎖定后的深度圖像幀在處理前需要進(jìn)行有效性判斷。如果被鎖定的幀數(shù)據(jù)無效，則需要重新選擇幀并進(jìn)行鎖定處理，直至被有效鎖定。被有效鎖定的數(shù)據(jù)需要進(jìn)行格式轉(zhuǎn)換，轉(zhuǎn)換成能夠與目標(biāo)識(shí)別匹配的格式。同時(shí)，對(duì)數(shù)據(jù)進(jìn)行解鎖并釋放被鎖定的當(dāng)前幀，而后進(jìn)入下一幀的循環(huán)。深度數(shù)據(jù)的獲取具體流程見圖1所示。

圖1 基于Kinect深度數(shù)據(jù)的障礙物探測(cè)流程框圖

1.2 障礙物目標(biāo)識(shí)別

實(shí)現(xiàn)對(duì)障礙目標(biāo)的識(shí)別主要需要兩個(gè)步驟，即閾值分割和形態(tài)識(shí)別。閾值分割的目的在于突出障礙物目標(biāo)像素，其主要利用目標(biāo)與周圍環(huán)境的灰度差別，根據(jù)圖像點(diǎn)的灰度值分布狀態(tài)，通過設(shè)置閾值將目標(biāo)與環(huán)境分割開來。閾值分割的關(guān)鍵點(diǎn)在于確定閾值。在近場(chǎng)實(shí)時(shí)探測(cè)時(shí)，障礙物距離探測(cè)器的距離越近，其圖像的深度灰度越深，而周圍物體由于距離較遠(yuǎn)則圖像灰度值較淺。經(jīng)過測(cè)試發(fā)現(xiàn)，Kinect的深度圖像灰度值通常有兩個(gè)峰值，一個(gè)與背景相關(guān)，另外一個(gè)與目標(biāo)相關(guān)。與背景相關(guān)的灰度峰值低于目標(biāo)灰度峰值。因此，本研究將以兩個(gè)峰值之間的最低值作為圖像分割閾值T，對(duì)圖像進(jìn)行二值化。具體計(jì)算方法如式(1)所示。其中PixelVal(x,y)是指(x,y)點(diǎn)經(jīng)過閾值化處理后的像素值，src(x,y)是指原始圖像在(x,y)點(diǎn)處的原始值。式(1)中將大于閾值的像素點(diǎn)設(shè)置成黑色，小于閾值的點(diǎn)設(shè)置為白色。通過閾值分割能夠把障礙物目標(biāo)清晰顯示出來，但是由于目標(biāo)周圍噪聲數(shù)據(jù)的存在，使得在提取障礙物目標(biāo)外形參數(shù)時(shí)存在一定誤差，為此需要對(duì)目標(biāo)外形進(jìn)行識(shí)別，從而清晰地勾畫出目標(biāo)的外廓，這就是本研究中所用的形態(tài)識(shí)別。在形態(tài)識(shí)別的過程中，主要使用了膨脹和腐蝕兩種方法[21]。以上處理流程及形成效果如圖2所示。

(1)

圖2 障礙物目標(biāo)識(shí)別流程及效果

1.3 障礙物目標(biāo)參數(shù)提取

對(duì)障礙物目標(biāo)的外形尺寸(長、寬、高)參數(shù)進(jìn)行了提取，是為后續(xù)的障礙物規(guī)避提供支撐。在提取目標(biāo)參數(shù)之前，先采用像素點(diǎn)二值性對(duì)目標(biāo)的外圍輪廓線進(jìn)行提取。在具體的算法上，采用輪廓近似方法，即壓縮水平、垂直或斜的部分，只保留最后一個(gè)點(diǎn)。在完成對(duì)深度圖像的輪廓提取后，利用外邊矩形框選圖形的輪廓。在框選的過程中，需要對(duì)矩形框進(jìn)行平移、旋轉(zhuǎn)、長/寬縮放等操作，使矩形框與目標(biāo)輪廓重疊率(γ)最大。這里γ的值等于外廓與障礙物輪廓線重復(fù)像素點(diǎn)數(shù)量。當(dāng)γ的值達(dá)到最大時(shí)，保存此時(shí)矩形框的長L、寬W、高H和旋轉(zhuǎn)角度α，并將這些參數(shù)集合作為障礙物的目標(biāo)的參數(shù)，障礙物目標(biāo)選取矩形及其參數(shù)關(guān)系如圖3所示。需要注意的是，由于無人車底盤具有一定高度且車輪之間具有一定距離，使得小型障礙物可以被直接跨過，因此需要設(shè)置矩形框的長、寬、高的閾值，以避免對(duì)小障礙物參數(shù)提取而導(dǎo)致的不必要的計(jì)算資源消耗。反之，當(dāng)障礙物的下方通過高度高于無人車總高度時(shí)，障礙物目標(biāo)作為可通過目標(biāo)。障礙物目標(biāo)參數(shù)提取所得到的效果如圖4所示。

圖3 障礙物目標(biāo)選取矩形及其參數(shù)關(guān)系

圖4 障礙物識(shí)別效果

2 基于相對(duì)位置的障礙物規(guī)避算法

2.1 算法原理與流程

本算法基于無人車和被探測(cè)到的障礙物之間的相對(duì)位置設(shè)計(jì)，其基本原理如圖5所示，算法流程如圖6所示。在已知目的地(P)的前提下，無人車沿著目標(biāo)所在的方位直線(D，此研究將其稱為引力線)前進(jìn)，同時(shí)對(duì)環(huán)境進(jìn)行實(shí)時(shí)探測(cè)。當(dāng)探測(cè)到障礙物時(shí)，則計(jì)算能夠躲避障礙物的臨時(shí)目標(biāo)點(diǎn)(P1和P2)。判斷無人車分別與P1、P2之間連線R1、R2之間夾角的大小，選取夾角小的作為臨時(shí)行進(jìn)路線(圖5中為R1)。當(dāng)?shù)竭_(dá)P1點(diǎn)之后，再次計(jì)算P1點(diǎn)與目標(biāo)點(diǎn)P之間的方位關(guān)系，并作為下一步前進(jìn)和實(shí)時(shí)探測(cè)的路線。如此循環(huán)，直到到達(dá)目的地P。

圖5 無人車對(duì)障礙物規(guī)避原理

圖6 無人車對(duì)障礙物規(guī)避算法流程框圖

2.2 基于深度圖像投影的障礙物選取算法

無人車在行進(jìn)過程中，不斷獲取其前進(jìn)方向上的環(huán)境信息，生存深度圖像，并基于該深度圖像識(shí)別其中是否存在障礙物。當(dāng)發(fā)現(xiàn)存在障礙物時(shí)，則需要判斷該障礙物是否會(huì)對(duì)其前進(jìn)產(chǎn)生影響，本研究將其稱為障礙物選取，即選取能夠?qū)ζ湫羞M(jìn)產(chǎn)生影響的障礙物進(jìn)行行動(dòng)解算。本算法可以用圖7進(jìn)行說明。AB是無人車的實(shí)際寬度，CD是被探測(cè)到障礙物在小車前進(jìn)方向上的阻擋橫截面，B′A′是無人車寬度投影到障礙物阻擋橫界面上的寬度。將A′、B′、C、D統(tǒng)一到一個(gè)坐標(biāo)軸上，通過有向線段關(guān)系計(jì)算，可以判斷出C、D在A′、B′的同側(cè)還是兩側(cè)。如果C、D在A′、B′的同一側(cè)，則障礙物對(duì)無人車行進(jìn)沒有影響，此時(shí)無人車按遠(yuǎn)路線行進(jìn)；如果C、D在A′、B′的任意一點(diǎn)的兩側(cè)，則障礙物對(duì)無人車行進(jìn)產(chǎn)生影響，此時(shí)無人車需要調(diào)整方向行進(jìn)。具體調(diào)整的方向計(jì)算算法在下一部分講述。

圖7 基于深度圖像的障礙物選取算法示意圖

本部分中，無人車寬度投影到障礙物阻擋橫界面上的寬度由圖8所示方法計(jì)算得到。無人車在深度圖像中的投影寬度會(huì)隨著其與前方障礙物距離大小而有所區(qū)別，因此當(dāng)探測(cè)到多個(gè)處于不同距離的障礙物時(shí)，需要針對(duì)每一個(gè)障礙物分別計(jì)算無人車投影寬度。

圖8 無人車在深度圖像中的投影寬度計(jì)算方法

其中，H=f*h/D，h表示深度圖像中無人車的投影寬度，f表示深度鏡頭焦距，H表示無人車實(shí)際寬度，D表示障礙物至深度鏡頭的距離。

2.3 無人車規(guī)避動(dòng)作參數(shù)計(jì)算

當(dāng)無人車發(fā)現(xiàn)前方有障礙物時(shí)，則需要及時(shí)調(diào)整運(yùn)行方向，即向左或右旋轉(zhuǎn)一定的角度，使障礙物對(duì)其前進(jìn)不構(gòu)成阻擋作用。為完成這一動(dòng)作，則需要計(jì)算兩個(gè)基本參數(shù)，即旋轉(zhuǎn)角度和前進(jìn)距離。本研究中前進(jìn)距離利用速度計(jì)與運(yùn)行時(shí)間直接積分得到，而無人車的旋轉(zhuǎn)角度則相對(duì)復(fù)雜，下面對(duì)其詳細(xì)說明。如圖9所示，AB為無人車外廓寬，向正前方(OC)行進(jìn)，O為AB的中點(diǎn)。DE為障礙物正面寬度，F(xiàn)為DE的中點(diǎn)。首先，判斷O是在F的左邊還是右邊，確定無人車是向左旋轉(zhuǎn)還是向右旋轉(zhuǎn)。其中，因O在F的左邊，所以無人車選擇向左旋轉(zhuǎn)θ角度，其計(jì)算算法如圖9所示。

圖9 無人車避障旋轉(zhuǎn)角度計(jì)算算法

其中:

x0=CD=|CF-DE/2|

y0=OC

R=AB/2

θ=π/2-cos-1R/d-tan-1x0/y0

圖9中，DE通過探測(cè)獲取，CD則根據(jù)O點(diǎn)和F點(diǎn)的坐標(biāo)計(jì)算得出。通過分析發(fā)現(xiàn)，根據(jù)CF和FD的大小，無人車旋轉(zhuǎn)的角度計(jì)算算法稍有不同，但是可以用以下公式統(tǒng)一表達(dá):

(2)

3 案例測(cè)試

3.1 無人車構(gòu)建

研究構(gòu)建了一個(gè)四輪無人車，并在室內(nèi)設(shè)置了多障礙環(huán)境，用于測(cè)試無人車對(duì)障礙物探測(cè)和規(guī)避的算法可行性。

無人車有4個(gè)BTS7960電機(jī)驅(qū)動(dòng)模塊、一個(gè)CCF-M1單片機(jī)主控制板、4個(gè)直徑180 mm的氣胎、兩個(gè)電源組成，能夠最大承載30 kg左右的質(zhì)量，如圖10所示。無人車上搭載一臺(tái)Kinect一代探測(cè)器以及一臺(tái)筆記本電腦。無人車運(yùn)行時(shí)，Kinect實(shí)時(shí)探測(cè)周圍環(huán)境，并將探測(cè)的結(jié)果傳遞給筆記本電腦；筆記本電腦快速解算環(huán)境信息，并確定是否有障礙物存在以及障礙物的參數(shù)，然后求出無人車避障的旋轉(zhuǎn)參量；無人車旋轉(zhuǎn)參量通過串口輸入到單片機(jī)中，以此驅(qū)動(dòng)電機(jī)首先對(duì)車輛的運(yùn)行控制，從而實(shí)現(xiàn)對(duì)障礙物的規(guī)避。

圖10 四輪無人車基本組成原理及實(shí)物

3.2 算法測(cè)試

為測(cè)試障礙物探測(cè)以及規(guī)避算法的合理性，設(shè)置了如圖11的障礙物環(huán)境。無人車與目的地相距12 m，之間放置7個(gè)障礙物(紙箱)。無人車先后通過T1至T8臨時(shí)點(diǎn)，最終到達(dá)目標(biāo)點(diǎn)。經(jīng)過10次測(cè)試發(fā)現(xiàn)，無人車均順利避開障礙物并到達(dá)目的地，有1次與障礙物發(fā)生輕微觸碰。

圖11 無人車目標(biāo)探測(cè)與障礙物規(guī)避路徑測(cè)試

4 結(jié)論

利用kinect感知探測(cè)設(shè)備，獲取環(huán)境信息，研究基于深度數(shù)據(jù)的障礙物探測(cè)方法和基于相對(duì)位置的障礙物規(guī)避算法，構(gòu)建了集成kinect的小型原型無人車，測(cè)試發(fā)現(xiàn)算法能夠完成預(yù)期目標(biāo)。這一研究成果，對(duì)室內(nèi)小型無人平臺(tái)環(huán)境探測(cè)、障礙判斷、障礙規(guī)避等問題具有很好的借鑒意義，并能指導(dǎo)實(shí)際無人平臺(tái)的構(gòu)建。