基于Kinect傳感器的機器人室內環境檢測方法*

段 勇， 盛棟梁， 于 霞

(沈陽工業大學 信息科學與工程學院， 沈陽 110870)

基于Kinect傳感器的機器人室內環境檢測方法*

段 勇， 盛棟梁， 于 霞

(沈陽工業大學 信息科學與工程學院， 沈陽 110870)

針對移動機器人室內環境檢測問題，提出了一種基于Kinect傳感器的目標物體檢測方法.利用Kinect傳感器采集的視頻圖像和深度數據來實現對機器人工作環境中已知特征目標物體和完全未知目標物體的檢測及定位.對于已知特征目標通過顏色特征分析來完成檢測，而對于完全未知的物體則通過深度地面消除算法和提取深度圖像的輪廓來進行檢測.利用傳感器成像模型對檢測出的目標區域進行三維空間定位，從而獲取目標物相對于機器人的空間位置信息.基于移動機器人平臺進行實驗，結果表明，該方法能夠有效地實現室內環境信息的檢測及定位.

Kinect傳感器；自主移動機器人；顏色特征；三維空間定位；激光成像；深度信息；視頻圖像；室內環境檢測

自主移動機器人作為機器人的一個重要分支，由于它具有移動便捷性，目前已經得到廣泛研究和迅速發展，同時在工業、農業、軍用和民用等領域也得到了較為廣泛的應用.自主移動機器人是指機器人能夠自主地在未知結構化或非結構化環境中完成預期工作任務.要使機器人擁有智能并能夠在未知環境中自主地完成各種導航任務，必須使機器人具有感知環境的能力，因此，將傳感器采集的環境信息加以處理和利用是機器人進行學習和行為決策的基礎[1-2].

目前，移動機器人可裝配的用于感知環境的傳感器種類繁多，同時對相關環境的檢測方法有著較為廣泛的研究.文獻[3]采用基于激光傳感器的檢測方法，利用激光測距儀雖能比較精確地檢測當前環境信息，但是無法識別特定目標而且傳感器價格昂貴，性價比不高；文獻[4]研究了使用超聲傳感器的機器人障礙檢測方法，但其缺點是獲得的環境信息比較粗糙，精度不高；文獻[5]提出了一種基于視覺圖像特征提取及分割的檢測方法，基于HSI顏色分量特征的提取方法能較好地檢測周圍環境，但其受光照影響比較大且無法便捷、精確地對所檢測到的目標進行空間定位.

Kinect傳感器是微軟公司研制并在2010年推出的一種新的三維激光傳感器，它不但能獲取環境的光學圖像還能獲取檢測物體的位置信息.該傳感器獲取的信息量豐富，結構簡單、實時性強并且價格較為低廉，因此可以成為機器人環境感知的一種有利工具.

本文利用移動機器人裝配的Kinect傳感器所采集到的彩色圖像和深度圖像相結合來進行環境檢測.對機器人工作的室內環境信息進行分類，可分為已知特征目標和未知目標.對已知目標采用顏色閾值分割的算法對其進行檢測，對未知目標進行地面模型減除法和輪廓識別算法來對其進行檢測.

1 基于Kinect傳感器的移動機器人系統

本文使用的實體機器人平臺(UP-Voyager IIA)及Kinect感知系統如圖1所示.該移動機器人左輪和右輪使用獨立電機驅動方式，通過給定兩輪速度可以實現機器人的任意方向運動.

圖1 機器人實驗平臺Fig.1 Robot experiment platform

機器人裝配Kinect傳感器用于感知環境，傳感器在視頻攝像頭左右兩側安裝光源發射器和接收器，用于獲取深度數據.Kinect傳感器通過光源照明編碼測量空間實現深度測量，通過激光照射到空間目標物體后形成的具有高度隨機性的光斑來達到測量目的.通過對光源標定實現結構光投射空間的標記，當傳感器檢測到空間中目標表面的光斑就可以獲取該目標的深度數據.Kinect傳感器采集的信息由機器人自身的計算機進行數據分析和處理以實現環境信息的檢測.

Kinect傳感器通過彩色攝像頭和深度攝像頭來采集室內環境的相關信息，通過輸出一個RGB圖像和深度數據來確定環境中每一個點的顏色信息和深度信息[6].由于Kinect傳感器本身的技術限制，其深度數據精度會隨著距離的增加而產生更大的隨機誤差[7].因此，為了準確地檢測環境信息并同時滿足室內移動機器人工作的需要，本文只討論在一定有效測距范圍內的環境信息檢測問題.

1.1 傳感器數據采集和處理

通過Kinect所采集到的原始彩色圖像如圖2所示，其對應的深度數據如圖3所示.在深度圖中將深度信息映射成顏色來顯示.

圖2 原始彩色圖像Fig.2 Original color image

圖3 原始深度映射圖Fig.3 Original depth mapping image

由圖2、3可知，Kinect采集的原始彩色圖像和深度數據圖在像素點上并不是一一對應[8].這是由于Kinect彩色攝像頭光心和深度光源攝像頭光心位置及視角范圍不同造成的.為了使傳感器采集的彩色圖像和深度圖像之間相同位置像素點能夠一一對應，有必要對兩者進行匹配.本文采用的方法是將深度生成器的視角進行平移，使之和彩色生成器的視角重合.圖4為視角匹配后的深度圖，其中每個像素點與彩色圖相對應.

圖4 匹配完視角后的深度圖Fig.4 Depth image after matching perspective

1.2 深度攝像機標定

攝像機的標定是將圖像的像素點與真實世界物理坐標系之間進行聯系，從而得到一種二維到三維的映射關系.通過這種映射關系就可以對所檢測到的目標進行測量和定位.由于深度攝像頭的成像模型和針孔攝像機成像模型類似，圖像像素坐標系為O1XY，攝像機坐標系為OCXCYCZC，因此，利用傳感器成像模型，通過像素點(u，v)偏離圖像中心位置(u0，v0)的三維坐標來計算，其表達式為

(1)

(2)

ZC=depth(u，v)

(3)

式中：fx、fy為攝像機的內參數，表示在x、y方向上的焦距；XC、YC、ZC為像素點(u，v)相對圖像中心位置像素(u0，v0)在不同方向上的偏移距離；depth(u，v)為像素點對應的空間深度距離值.

2 已知特征目標檢測

圖像特征主要包括顏色、形狀、邊緣、空間關系和紋理等[9]，在機器人工作環境中進行檢測路標、跟蹤目標物等都需要對顏色特征進行檢測和定位.因此，本文采用Kinect傳感器對已知顏色特征目標進行檢測和定位.

2.1 已知顏色特征目標識別

基于顏色閾值分割識別，首先根據顏色先驗知識采集目標物在HSI顏色空間的顏色閾值，然后將Kinect采集到的原始彩色圖像進行閾值分割，并生成連續的連通區域，最后記錄同一顏色連通區域的質心、像素個數和邊界等信息，為后續處理做準備，具體步驟為：

1) 對彩色圖像像素進行掃描，并根據顏色閾值分割結果建立行連通區域，順序進行行掃描得到每一行的連通區.

2) 將不同行的連通區合并得到完整連通區域，其合并原則為：①相鄰兩行的連通區屬于同一顏色閾值；②相鄰兩行的連通區之間存在某一部分的粘連.

3) 分割出多個連通區域后，保留較大的區域作為分割顏色目標，較小的區域作為噪聲處理，最終實現對顏色特征的識別.圖5為原始彩色圖像，目標物和多顏色路標識別結果如圖6、7所示.

圖5 Kinect采集的彩色圖Fig.5 Color image acquired by Kinect

圖6 目標識別結果Fig.6 Recognition result for object

圖7 路標識別結果Fig.7 Recognition result for landmark

2.2 已知目標定位

識別出目標后還需要對其進行定位，以獲取目標物相對于機器人傳感器的位置信息.基于上文對彩色圖像和深度圖的匹配結果，將分割目標質心在彩色圖像中的像素坐標對應到深度圖相同位置的像素坐標上，該像素坐標的深度值就是目標質心的相對距離，從而實現了對目標的定位.設特征目標在彩色圖像中質心坐標為(xC，yC)，對應匹配后深度數據圖坐標xd=xC且yd=yC.該點的深度數據即為目標質心相對于機器人傳感器的深度距離值.根據Kinect傳感器的內參數fx、fy和u0、v0，通過式(1)～(3)即可求得目標質心的三維空間坐標.

3 未知目標物檢測及定位

機器人需要檢測工作環境中的未知目標物體主要是指環境中的障礙物、座椅和墻壁等，這些物體是完全未知的，其尺寸、紋理、形狀和顏色等特征也無法定義，使用傳統方法對其進行檢測和定位難以取得理想效果.因此，本文基于Kinect傳感器提出了一種通過輪廓來識別未知目標和邊界的方法.

3.1 地面模型建立

根據移動機器人室內工作的實際需求，假設地面是水平的，機器人在二維平面空間中運動.因此，只考慮環境中位于地面以上并和地面接觸的物體為待檢測的未知目標物體，在傳感器檢測信息中去除地面即可得到未知障礙物.

Kinect傳感器采集的深度數據只與空間物體的距離有關，同時其映射顏色值變化方向與深度傳感器視場中z軸方向一致[10-11]，因此，可以在Kinect傳感器與地面相對高度和俯仰角一定的條件下建立一個穩定的地面模型，該模型用來檢測地面以上的未知目標物.傳感器獲取的原始深度數據圖如圖8所示.圖8中顯示為黑色的像素代表無效測量數據，其產生的原因是物體反光、物體邊緣復雜、強光或超出感知范圍等.

圖8 地面深度圖Fig.8 Depth image of ground

由于Kinect傳感器采集的深度信息只與距離有關，因此，與Kinect傳感器距離相同的地面對應的深度數據也是相同的，故選擇在傳感器檢測范圍內空曠無障礙物的環境下采集深度數據.Kinect傳感器采集的近距離數據比較完整，在遠距離處會出現一定的不確定性.深度數據圖中每一行記錄了與Kinect傳感器相同距離下的地面深度數據信息，再進行行掃描后記錄每一行的深度信息.在去除無效數據(黑色像素)后，對有效深度數據進行加權平均得到該處地面的深度信息，從而得到基于深度信息的地面模型，如圖9所示.該地面模型相對于基于視覺紋理的地面模型，其不受光照條件影響，并不依賴于視覺特征，因此具有較好的穩定性和廣泛的適用性.

圖9 地面模板深度圖Fig.9 Depth image of ground template

3.2 未知目標物識別

移動機器人對未知目標物體的檢測方法是使用建立的深度地面模型去除法來刪除地面信息，余下的即是環境中的障礙物.對傳感器采集的深度數據和建立的深度地面模型做差，當差值小于設定閾值則認為它是地面區域；反之則認為是地面之上的未知目標物.圖10為去除地面未知目標物后的初步檢測結果，其中，圖10a為環境的原始深度信息圖，圖10b為去除地面后的深度圖.

基于上述初步檢測目標物結果，本文討論每個目標物的分割和定位方法，具體步驟為：

1) 利用類似圖像處理的方法對Kinect采集的深度數據進行邊緣平滑處理，以便后續研究.

2) 對得到的深度數據映射圖執行Canny邊緣檢測，以獲得各目標物的邊緣特征信息.Canny邊緣檢測主要包括：①使用一階偏導的有限差分計算邊緣梯度的幅值和方向；②抑制梯度幅值的非極大值；③使用雙閾值算法進行檢測和連接邊緣.

3) 找出所有目標物的邊界輪廓，將所有滿足條件的連通體存入結構體中，并記錄各連通體的頂點坐標信息和外包圍的長寬信息.

3.3 未知目標物定位

移動機器人對工作環境的感知需要檢測環境中所有未知障礙目標物，并確定每個目標物相對于機器人的空間位置信息.本文提出一種基于邊界列掃描的方法來實現目標物完整的信息檢測及定位.

機器人工作環境中往往目標邊緣處的深度信息比較復雜，并且邊緣信息在深度數據圖中表示不同距離的目標物，因此，本文采用一種基于邊界列掃描的方法確定深度圖邊緣處的信息，具體步驟如下：

1) 對于初步分割的目標，獲取目標物外包圍框的各頂點坐標.

2) 在機器人實際工作中，需要獲取目標物的左邊界和右邊界的相對位置信息.以左邊界為例，從橫坐標x1開始從y1到y2進行列掃描，其中(x1，y1)和(x1，y2)分別表示目標物外包圍框左上頂點坐標和左下頂點坐標.當掃描到第一個有效深度值時，記錄該數值為第一個目標的種子點，當掃描到第二個有效深度值時，和第一個比較，若兩者之差小于一定的閾值則兩者合并為一個種子點；若兩者之差超過一定的閾值則記錄后者為新的目標種子點，直至掃描到y2為止.記錄該列所含目標的信息，其中包括目標的個數、不同目標的距離、不同目標所包含的像素點個數、不同目標頂端坐標和不同目標底端坐標.取這一列中所含像素點個數最多的目標視為最終目標并與邊界長度進行比較，若目標像素點的個數能夠占到整個邊界像素點個數總和的80%，則說明已經到達邊界處并繼續執行步驟3)，否則橫坐標加1繼續進行掃描直至到達邊界為止.

3) 對最終目標的所有深度數據進行加權平均，得到的最終值就是目標物邊界到機器人的實際深度距離，再通過式(1)～(3)來求得邊界處的三維空間坐標信息.

4 實驗結果及分析

使用UP-Voyager IIA自主移動機器人搭載Kinect傳感器進行實驗.實驗環境為狹小的辦公室環境和較空曠的大廳環境.

在辦公室環境內進行實驗時，Kinect采集到的彩色圖像如圖11所示，環境中包含紙箱、墻壁、門和書柜等.采集的深度數據映射圖如圖12所示.基于上述研究方法，通過目標檢測得到的多個未知目標物識別定位結果如圖13所示.圖13中使用白色線框標識出所有檢測目標物的邊界信息，并給出各邊界相對于機器人的空間位置信息.可見機器人能夠有效地檢測出工作環境中的所有目標物，檢測方法對小體積的障礙物和較大體積的門、墻壁等具有較好的檢測效果.

圖11 室內彩色圖Fig.11 Indoor color image

圖12 室內深度圖Fig.12 Indoor depth image

圖13 室內識別結果Fig.13 Indoor recognition result

為了驗證算法的有效性，在另外一個空曠的室內大廳進行實驗.環境中包含障礙物和遠處的墻壁等.Kinect采集的原始視頻圖像和深度數據如圖14、15所示.圖16為未知目標物的識別結果.從Kinect所采集的深度圖中可以看出，Kinect對于近處的障礙和墻壁能夠檢測到其深度信息，并進行有效的分割定位.

圖14 走廊彩色圖Fig.14 Corridor color image

圖15 走廊深度圖Fig.15 Corridor depth image

圖16 走廊識別結果Fig.16 Corridor recognition result

在檢測結果中遠處的物體邊緣會產生部分無效數據，其原因是Kinect傳感器檢測數據原理和技術限制使得其在檢測具有復雜邊緣或距離過遠的物體時，必然出現具有無效數據的情況.但這不會對目標的識別效果和機器人導航的應用產生影響，應用檢測目標的外包圍框來描述目標的空間位置信息，而部分無效數據不會使外包圍框縮小，對于機器人的障礙物檢測不會產生不良效果以導致機器人的危險運行.此外，對于機器人路徑規劃、避障等導航任務，通常需要在機器人和檢測目標之間擴充一定的安全距離，以保證機器人的安全，而機器人和目標又都具有較大的體積，因此物體邊緣的無效數據對于移動機器人的實際工作需求是沒有影響的.在機器人工作過程中，當其不斷接近目標時，環境條件對檢測的影響也會隨之減弱，邊緣的無效數據數量也會減少，使得機器人能夠獲得更精確的檢測結果.

為了驗證算法對目標定位的有效性和準確性，采用多組實驗數據驗證測距精度，檢測誤差結果如圖17所示，其中x軸表示深度距離，y軸表示該深度距離下多次檢測的平均誤差.圖17中兩條折線代表了對于已知特征目標和未知目標的定位誤差隨著深度距離增加而變化的趨勢.

圖17 不同距離檢測誤差Fig.17 Measurement errors at different distance

由圖17可知，定位誤差隨著距離的增加而增加.已知目標誤差較小的原因是由于已知目標所檢測的位置位于目標的中心處，深度信息比較穩定，而未知目標所檢測的位置在邊緣處，深度信息不穩定.雖然存在著誤差，但是隨著機器人不斷接近目標，誤差也會隨之減少.相對于移動機器人的體積、運動速度和工作任務的要求，其檢查結果和精度可以滿足機器人導航的實際要求.

與目前移動機器人常用的感知傳感器相比較，本文檢測方法能夠有效地獲得目標物體的完整空間位置信息，為機器人執行導航任務提供依據.與單目視覺相比較，視覺能夠分割目標輪廓，但其定位精度低且不穩定(由成像模型決定)，此外根據視覺成像原理，需已知目標物三維信息中的某一維精細信息，這在機器人工作環境中是非常受限制的，難以廣泛實現.與測距傳感器(激光、聲納)相比較，該類型傳感器只能進行平面掃描，因此只能檢測目標物體的相對距離信息，而無法獲取目標的高度信息，因此無法檢測目標的三維空間信息.同時本文使用的Kinect傳感器價格更為低廉，在機器人等領域有著廣泛的應用前景.

5 結 論

本文研究了利用機器人裝配的Kinect傳感器進行室內已知顏色特征目標和完全未知特征目標物的檢測識別方法.對于已知顏色特征目標使用閾值分割和區域連通方法對目標進行識別，并結合深度數據實現目標的空間定位.此外，采用地面模型去除法消除地面對未知目標物檢測的影響，通過對輪廓進行識別成功地實現了對未知目標的檢測，利用邊界列掃描方法實現了對未知目標的定位.實驗驗證了目標檢測和定位的有效性，能夠滿足移動機器人室內環境工作的需要.

[1]王東署，王佳.未知環境中移動機器人環境感知技術研究綜述 [J].機床與液壓，2013，41(15)：187-197.

(WANG Dong-shu，WANG Jia.Research review of environmental cognition techniques of mobile robots in unknown environment [J].Machine Tool and Hydraulics，2013，41(15)：187-197.)

[2]陳宇，溫欣玲.基于多傳感智能移動機器人環境探測系統研究與設計 [J].核電子學與探測技術，2007，27(6)：1242-1245.

(CHEN Yu，WEN Xin-ling.Design and research of intelligent mobile robot environment detection system based on multi-sensor technology [J].Nuclear Electronics &Detection Technology，2007，27(6)：1242-1245.)

[3]雷艷敏，朱齊丹，仲訓昱，等.基于激光測距儀的障礙物檢測的仿真研究 [J].計算機工程與設計，2012，33(2)：719-723.

(LEI Yan-min，ZHU Qi-dan，ZHONG Xun-yu，et al.Study on obstacle detection based on laser range finder [J].Computer Engineering and Design，2012，33(2)：719-723.)

[4]Cristina D，Alvaro H，Ana J，et al.Ultrasonic array for obstacle detection based on CDMA with Kasami codes [J].Sensors，2012，12(11)：11464-11475.

[5]楊杰，張銘鈞，尚云超.一種移動機器人視覺圖像特征提取及分割方法 [J].機器人，2008，30(4)：311-317.

(YANG Jie，ZHANG Ming-jun，SHANG Yun-chao.A visual image feature extraction and segmentation method for mobile robot [J].Robot，2008，30(4)：311-317.)

[6]楊東方，王仕成，劉華平，等.基于 Kinect 系統的場景建模與機器人自主導航 [J].機器人，2012，34(5)：581-589.

(YANG Dong-fang，WANG Shi-cheng，LIU Hua-ping，et al.Scene modeling and autonomous navigation for robots based on Kinect system [J].Robot，2012，34(5)：581-589.)

[7]Kourosh K，Sander O E.Accuracy and resolution of Kinect depth data for indoor mapping applications [J].Sensors，2012，12(2)：1437-1454.

[8]余濤.Kinect應用開發實戰：用最自然的方式與機器對話 [M].北京：機械工業出版社，2012：92-93.

(YU Tao.Kinect application development practice：dia-logue with machine in the most natural way [M].Beijing：China Machine Press，2012：92-93.)

[9]楊俊友，馬樂，白殿春，等.機器人的混合特征視覺環境感知方法 [J].中國圖象圖形學報，2012，17(1)：114-122.

(YANG Jun-you，MA Le，BAI Dian-chun，et al.Robot vision environmental perception method based on hybrid features [J].Journal of Image and Graphics，2012，17(1)：114-122.)

[10]魏琳，黃鑫材.Kinect深度信息的研究及其在檢測中的應用 [J].杭州電子科技大學學報，2013，33(5)：78-81.

(WEI Lin，HUANG Xin-cai.Research on depth information of Kinect and its application in detection [J].Journal of Hangzhou Dianzi Unviversity，2013，33(5)：78-81.)

[11]朱濤，蘆利斌，金國棟.基于Kinect 深度技術的障礙物在線快速檢測算法 [J].電子設計工程，2014，22(12)：176-179.

(ZHU Tao，LU Li-bin，JIN Guo-dong.Obstacle detection algorithm online based on Kinect depth technique [J].Electronic Design Engineering，2014，22(12)：176-179.)

(責任編輯：鐘 媛 英文審校：尹淑英)

Indoor environment detection method of robot based on Kinect sensor

DUAN Yong,SHENG Dong-liang,YU Xia

(School of Information Science and Engineering,Shenyang University of Technology,Shenyang 110870,China)

Aiming at the indoor environment detection problem of mobile robot,a target object detection method based on Kinect sensor was proposed.With the video image and depth data captured by Kinect sensor,the detection and localization of target objects with the known features and the completely unknown target objects in the work environment of robot were realized.For the target objects with the known features,the detection could be implemented with the color feature analysis.For the completely unknown objects,the detection could be implemented through adopting the depth ground elimination algorithm and extracting the contour of depth image.Furthermore,the three dimensional spatial localization for the detected object area was performeed with the sensor imaging model,and thus the relative spatial location information between the subject object and robot was obtained.The experiments were implemented based on a mobile robot platform.The results show the proposed method can effectively achieve the detection and localization of indoor environment information.

Kinect sensor;autonomous mobile robot;color feature;3D space localization;laser imaging;depth information;video image;indoor environment detection

2016-04-27.

國家自然科學基金資助項目(51267009).

段 勇(1978-)，男，遼寧沈陽人，副教授，博士，主要從事智能機器人和計算機視覺等方面的研究.

22 17∶39在中國知網優先數字出版.

http：∥www.cnki.net/kcms/detail/21.1189.T.20161222.1739.006.html

10.7688/j.issn.1000-1646.2017.02.10

TP 242

A

1000-1646(2017)02-0170-07