基于立體視覺(jué)的溫室作業(yè)機(jī)器人障礙物檢測(cè)方法

梁傳君　尚雪蓮

摘要：針對(duì)農(nóng)業(yè)溫室中作業(yè)機(jī)器人的路徑規(guī)劃問(wèn)題，提出一種基于立體視覺(jué)圖像處理的障礙物檢測(cè)方案。首先，利用Kinect 3D傳感器捕獲溫室路徑圖像；然后，基于圖像的深度信息，分離出溫室地面；接著，根據(jù)圖像顏色特征構(gòu)建顏色分類(lèi)器，對(duì)預(yù)定義的障礙物進(jìn)行檢測(cè)；最后，根據(jù)圖像紋理特征，基于局部二進(jìn)制模式（LBP）紋理直方圖來(lái)構(gòu)建紋理分類(lèi)器，對(duì)未定義的障礙物進(jìn)行檢查。試驗(yàn)結(jié)果表明，提出的方案能夠準(zhǔn)確地檢查出溫室路徑中的障礙物，能夠?yàn)樽鳂I(yè)機(jī)器人規(guī)劃有效路徑。

關(guān)鍵詞：溫室機(jī)器人；立體視覺(jué)；障礙物檢測(cè)；顏色特征；紋理特征

中圖分類(lèi)號(hào)：TP242 文獻(xiàn)標(biāo)志碼： A

文章編號(hào)：1002-1302（2017）14-0175-04

傳統(tǒng)農(nóng)業(yè)機(jī)械在一些作業(yè)過(guò)程中需要人來(lái)操作。隨著計(jì)算機(jī)、圖像處理技術(shù)的高速發(fā)展，農(nóng)業(yè)機(jī)械開(kāi)始向著農(nóng)業(yè)機(jī)器人的方向發(fā)展[1]。在溫室中，為了避免人類(lèi)參與對(duì)健康有害的作業(yè)（如噴灑農(nóng)藥、施化肥等），研制無(wú)人操作的農(nóng)業(yè)機(jī)器人具有重要意義。在溫室機(jī)器人的研究中，路徑規(guī)劃是重要部分，它的基礎(chǔ)是對(duì)溫室路徑中的障礙物進(jìn)行有效地檢測(cè)[2]。

目前，用于解決農(nóng)業(yè)機(jī)器人障礙物檢測(cè)的主要方法是基于立體視覺(jué)圖像的處理[3]。常用來(lái)捕捉具有深度信息的彩色（RGB）圖像傳感器為微軟Kinect 3D傳感器[4]。然而，它們大部分用于室外農(nóng)田機(jī)械的自主運(yùn)動(dòng)和軌跡規(guī)劃，在溫室中的應(yīng)用較少。溫室機(jī)器人通常體型較小，容易受到小型障礙物的阻擋。另外，溫室中經(jīng)常存在多種小型農(nóng)具，例如水桶、推車(chē)等，對(duì)這些障礙物檢測(cè)具有一定的難度[5]。

為此，本研究提出一種用于溫室機(jī)器人的避障系統(tǒng)，利用Kinect 3D傳感器捕獲溫室內(nèi)路徑圖像，基于圖像的深度、顏色和紋理信息對(duì)障礙物進(jìn)行檢測(cè)，以確保機(jī)器人在行進(jìn)過(guò)程中避開(kāi)障礙物。

1提出的障礙物檢測(cè)系統(tǒng)

1.1檢測(cè)系統(tǒng)基本架構(gòu)

本研究基于每個(gè)視頻幀的深度、顏色和紋理信息，構(gòu)建一種溫室路徑中障礙物檢測(cè)系統(tǒng)。首先，計(jì)算深度圖像像素的斜率，通過(guò)閾值判斷來(lái)識(shí)別溫室地面。然后，利用人工標(biāo)注的數(shù)據(jù)來(lái)訓(xùn)練分類(lèi)器，基于圖像的顏色特征來(lái)檢測(cè)預(yù)定義的障礙物，基于圖像的紋理特征來(lái)分類(lèi)未定義的障礙物。最后，將基于斜率和顏色的分類(lèi)結(jié)果進(jìn)行融合，作出圖像級(jí)障礙物檢測(cè)的最終決策。障礙物檢測(cè)系統(tǒng)框架如圖1所示。

1.2基于深度信息分離地面

Kinect傳感器輸出640×480像素的顏色和深度圖像，圖像區(qū)域?yàn)橐粋€(gè)水平角度57°和垂直角度43°的扇形區(qū)域。垂直斜率是障礙物與地面的明顯標(biāo)志[6]，本研究將在斜率閾值范圍內(nèi)的像素標(biāo)記為地面區(qū)域，其他像素標(biāo)記為可疑障礙物。

圖2所示為一個(gè)基于深度像素計(jì)算斜率的幾何模型，其中（xi，yj）和（xi，yk）為位于相同水平位置上的2個(gè)垂直相鄰像素點(diǎn)，Rj和Rk為傳感器分別到這2個(gè)垂直相鄰像素的測(cè)量距離。基于深度關(guān)系，能夠計(jì)算這2個(gè)相鄰垂直像素之間的斜率值[7]。

據(jù)對(duì)多次試驗(yàn)結(jié)果的分析，發(fā)現(xiàn)設(shè)定斜率上下閾值范圍為10～30時(shí)，地面與障礙物的分離效果最好。

圖3所示為障礙物檢測(cè)的一個(gè)例子，其中Kinect傳感器捕獲的顏色和深度圖像分別如圖3-a和圖3-b所示。圖 3-c為計(jì)算獲得的斜率圖像，可以看出，溫室地面的斜率值接近于20，而其他物體的斜率值達(dá)到40以上或0以下。圖3-d為地面和障礙物的分割圖像，黑色表示地面，白色表示障礙物。

1.3基于顏色信息初步檢測(cè)障礙物

通過(guò)斜率計(jì)算可以分離出疑似障礙物，然后，基于顏色信息對(duì)預(yù)定義的障礙物進(jìn)行分類(lèi)。其中障礙物分為以下3類(lèi)：綠色農(nóng)作物、紅色辣椒和白色溫室頂棚。本研究使用馬氏距離作為分類(lèi)的距離度量[8]，一個(gè)障礙物實(shí)例的RGB彩色像素與預(yù)定義類(lèi)的馬氏距離表達(dá)式為：

1.4基于紋理算子進(jìn)一步檢測(cè)障礙物

在上述基于顏色信息對(duì)障礙物進(jìn)行分類(lèi)時(shí)，只能檢測(cè)出顏色特征明顯且面積較大的障礙物。

確性，本研究融入了基于紋理算子的分類(lèi)器。由于直接采用紋理分類(lèi)器的計(jì)算成本較高，為此，本研究先用顏色分類(lèi)器對(duì)障礙物進(jìn)行檢測(cè)，獲得初步檢測(cè)圖像幀；然后再應(yīng)用紋理分類(lèi)器尋找出顏色分類(lèi)器沒(méi)有檢測(cè)到的障礙物。

紋理分類(lèi)器是基于當(dāng)前像素和其相鄰像素的比較進(jìn)行分類(lèi)。其中，局部二進(jìn)制模式（Local Binary Pattern，LBP）算子[9]是一種簡(jiǎn)單且有效的灰度不變紋理度量算子，對(duì)由光照變化引起的單調(diào)灰度變化具有魯棒性。LBP編碼中，對(duì)于給定圖像中的一個(gè)像素，其領(lǐng)域包括8個(gè)相鄰像素，根據(jù)領(lǐng)域中心的相對(duì)灰度值，總共可以得到28=256種不同的標(biāo)簽。強(qiáng)度為gc的像素c的LBP定義如下。

在檢測(cè)過(guò)程中，將圖像區(qū)域像素直方圖和其相鄰像素直方圖進(jìn)行比較，當(dāng)檢測(cè)到障礙物時(shí)，將其與4類(lèi)障礙物紋理直方圖模型進(jìn)行匹配，如果不屬于其中任何一類(lèi)，則判定為未定義的障礙物類(lèi)，從而檢測(cè)出顏色分類(lèi)器無(wú)法檢測(cè)的障礙物。

圖5顯示了一個(gè)顏色和紋理分類(lèi)器的例子。可以看出，在顏色分類(lèi)器中，由于圖像右下角的一個(gè)小推車(chē)的顏色為接近綠色，所以錯(cuò)誤地將其歸類(lèi)為綠色農(nóng)作物類(lèi)，而經(jīng)過(guò)紋理分類(lèi)器后，則成功地將其檢測(cè)出來(lái)。

2試驗(yàn)及分析

本研究在一個(gè)本地溫室大棚內(nèi)進(jìn)行試驗(yàn)。在光線充足的下午時(shí)段，利用Kinect傳感器拍攝大棚中的4條路徑現(xiàn)場(chǎng)，包括地面、辣椒和農(nóng)作物區(qū)域。其中每條路徑中包含了158幀圖像。利用OpenCV及VC++等工具實(shí)現(xiàn)各種障礙物檢測(cè)算法。

2.1訓(xùn)練數(shù)據(jù)集

本研究使用路徑視頻中的12個(gè)幀作為訓(xùn)練數(shù)據(jù)，已通過(guò)手動(dòng)方式標(biāo)注了各類(lèi)障礙物中的一個(gè)像素塊，如圖6所示。預(yù)定義的障礙物類(lèi)別有紅辣椒、綠色農(nóng)作物、黑色地面和白色溫室頂棚。

首先，根據(jù)訓(xùn)練集中標(biāo)記的像素塊來(lái)計(jì)算各類(lèi)障礙物像素的均值和協(xié)方差矩陣，作為顏色分類(lèi)器的參考值。各類(lèi)的RGB顏色像素的均值和協(xié)方差矩陣分別見(jiàn)表1和表2。

2.2試驗(yàn)結(jié)果

試驗(yàn)中，首先基于深度信息分離出地面，然后通過(guò)顏色分類(lèi)器對(duì)障礙物進(jìn)行初步檢測(cè)，接著應(yīng)用紋理分類(lèi)器尋找出更多的潛在障礙物。以此確保系統(tǒng)能夠檢測(cè)出所有障礙物，使農(nóng)業(yè)機(jī)器人避免發(fā)生碰撞。

對(duì)于顏色分類(lèi)器，選擇合適的顏色空間模型對(duì)障礙物檢測(cè)性能影響很大。為了進(jìn)行比較，試驗(yàn)中采用了4種不同的顏色空間，分別為：RGB、OHTA、XYZ、Lab。其中，RGB顏色空間基于紅、綠、藍(lán)3種基色的笛卡爾坐標(biāo)系統(tǒng)；對(duì)RGB空間進(jìn)行線性變換，可形成OHTA、XYZ等空間[11]。OHTA空間中3個(gè)分量系數(shù)相互正交，能夠有效地進(jìn)行彩色圖像處理。XYZ空間能夠解決RGB中3種顏色系數(shù)出現(xiàn)負(fù)值的缺點(diǎn)。Lab空間是由CIE（國(guó)際照明委員會(huì)）制定的，通過(guò)XYZ空間變換而來(lái)，能夠直接用顏色空間的幾何距離進(jìn)行不同顏色的比較。各顏色空間表達(dá)式如下：

表3顯示了在一個(gè)包含9個(gè)障礙物的圖像幀中，各種顏色分類(lèi)器和顏色+紋理分類(lèi)器對(duì)障礙物的檢測(cè)結(jié)果。可以看出，顏色+紋理分類(lèi)器能夠檢測(cè)出顏色分類(lèi)器沒(méi)有檢測(cè)到的障礙物，實(shí)現(xiàn)了完全檢測(cè)。

為了更準(zhǔn)確地展示分類(lèi)器性能，在溫室路徑視頻序列中的158幀圖像中進(jìn)行障礙物檢測(cè)，其中共包含了87個(gè)障礙物。表4給出了各種顏色特征+紋理分類(lèi)器對(duì)各類(lèi)障礙物的檢查結(jié)果，并給出了3種經(jīng)典性能指標(biāo)數(shù)據(jù)：召回率（Recall）、精度（Precision）和F值（F-Measure）。可以看出，相比于其他顏色空間，Lab空間取得了最好的效果。這是因?yàn)閇CM（25]對(duì)于顏色比較復(fù)雜的障礙物，用全局顏色特征就很難區(qū)分。為此，本研究顏色分類(lèi)器采用Lab顏色空間特征。另外，提出的顏色+紋理特征分類(lèi)器表現(xiàn)出較高的召回率和精度，證明了本研究系統(tǒng)的有效性和可行性。

4結(jié)束語(yǔ)

本研究提出了一種基于立體視覺(jué)圖像處理的溫室作業(yè)機(jī)器人避障系統(tǒng)。通過(guò)安裝在機(jī)器人頭部的Kinect 3D傳感器捕獲溫室路徑圖像，利用圖像的深度、顏色和紋理特征來(lái)檢測(cè)預(yù)定義和未定義類(lèi)型的障礙物。在一個(gè)溫室中的試驗(yàn)結(jié)果證明了提出系統(tǒng)的有效性和可行性。

在今后工作中，將提出的避障系統(tǒng)應(yīng)用到溫室噴霧作業(yè)機(jī)器人身上，進(jìn)一步驗(yàn)證其實(shí)用性。另外，為了解決攝像機(jī)在機(jī)器人移動(dòng)過(guò)程中的角度偏移問(wèn)題，將考慮融入圖像校正過(guò)程。

參考文獻(xiàn)：

[1]袁挺，任永新，李偉，等. 基于光照色彩穩(wěn)定性分析的溫室機(jī)器人導(dǎo)航信息獲取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43（10）：161-166.

[2]高國(guó)琴，李明. 基于K-means算法的溫室移動(dòng)機(jī)器人導(dǎo)航路徑識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30（7）：25-33.

[3]Xue J，Zhang L，Grift T E. Variable field-of-view machine vision based row guidance of an agricultural robot[J]. Computers & Electronics in Agriculture，2012，84（2）：85-91.

[4]李智嫻，陳正鳴. 1種基于Kinect深度圖像的指尖檢測(cè)與跟蹤算法[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43（5）：416-419.

[5]牛雪梅，高國(guó)琴，鮑志達(dá)，等. 基于滑模變結(jié)構(gòu)控制的溫室噴藥移動(dòng)機(jī)器人路徑跟蹤[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29（2）：9-16.

[6]楊磊，蔡紀(jì)源，任衍允，等. 一種基于深度信息的障礙物檢測(cè)方法[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2015，25（8）：43-47.

[7]Huang H C. An indoor obstacle detection system using depth information and region growth[J]. Sensors，2015，15（10）：116-141.

[8]周燕，曾凡智，張志飛，等. 面向制造過(guò)程的海量數(shù)字圖像高效檢索算法研究[J]. 湘潭大學(xué)自然科學(xué)學(xué)報(bào)，2014，36（3）：105-110.

[9]朱林，趙建，馮全，等. 基于LBP濾波和ACWE的葡萄病害圖像分割方法[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2014，35（6）：99-104.

[10]Asha V，Bhajantri N U，Nagabhushan P. GLCM-based chi-square histogram distance for automatic detection of defects on patterned textures[J]. International Journal of Computational Vision & Robotics，2012，2（4）：302-313.

[11]江锽. 基于Kinect的溫室噴霧機(jī)器人視覺(jué)導(dǎo)航定位系統(tǒng)的研究[D]. 北京：北京林業(yè)大學(xué)，2015：10-14.