農(nóng)業(yè)機(jī)器人田間導(dǎo)航參照點(diǎn)測距的新方法

朱弘亮，馬兆敏，胡　波，賈海斌

(廣西科技大學(xué) 電氣與信息工程學(xué)院，廣西 柳州　545006)

?

農(nóng)業(yè)機(jī)器人田間導(dǎo)航參照點(diǎn)測距的新方法

朱弘亮，馬兆敏，胡波，賈海斌

(廣西科技大學(xué) 電氣與信息工程學(xué)院，廣西 柳州545006)

摘要：傳統(tǒng)雙目視差測距法的測量值為參照點(diǎn)P到雙目攝像機(jī)基線中心的距離，而農(nóng)業(yè)機(jī)器人上的攝像頭裝置通常被安裝在距離地面一定高度，與水平方向呈一定傾角的位置，利用傳統(tǒng)雙目視差測距法將無法得到導(dǎo)航參照點(diǎn)到機(jī)器人機(jī)身的水平距離。為此，提出了一種解決農(nóng)業(yè)機(jī)器人田間導(dǎo)航參照點(diǎn)測距的新方法。通過改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)標(biāo)定下的雙目系統(tǒng)、改進(jìn)的SIFT特征匹配，輸出導(dǎo)航參照點(diǎn)在世界坐標(biāo)系下的坐標(biāo)X,Y)，則導(dǎo)航參照點(diǎn)距機(jī)器人機(jī)身的水平距離可表達(dá)為。實(shí)驗(yàn)表明：該方法在實(shí)際田間測試中的結(jié)果最大偏差0.479cm，最小偏差0.032cm，精度高達(dá)99%，測距過程耗時(shí)共計(jì)55ms，計(jì)算量較傳統(tǒng)雙目視差測距顯著減小，具有一定的工程實(shí)用性與可行性。

關(guān)鍵詞：農(nóng)業(yè)機(jī)器人；導(dǎo)航參照點(diǎn)；雙目視差；SIFT

0引言

基于視覺傳感器的距離檢測方法中最常用的方法是平行雙目立體視覺方法，其中心思想是利用雙目視差的原理[1]：由同一點(diǎn)在左右攝像機(jī)的成像平面中不同的成像位置構(gòu)建雙目視差，根據(jù)幾何學(xué)中三角形兩兩相似的方法(見圖1)，利用已知的左右相機(jī)基線距離b、相機(jī)焦距f、同一參照點(diǎn)P在左、右攝相機(jī)成像面上對應(yīng)的橫坐標(biāo)x1和x2，計(jì)算出參照點(diǎn)P到雙目相機(jī)基線中心的距離為

(1)

但是，農(nóng)業(yè)機(jī)器人由于田間作業(yè)的要求，需要實(shí)時(shí)捕獲田間地面上作物的圖像與前方行進(jìn)方向上的路徑信息，如農(nóng)藥噴灑機(jī)器人、除草機(jī)器人及自動插秧機(jī)器人[2]，因此其視覺傳感器設(shè)備往往安裝在距離地面一定高度，與水平方向成一定俯角的位置，如圖2所示。

此時(shí)，如果再利用傳統(tǒng)的平行雙目視差測距法得到的將是圖2中的距離Z，而研究人員往往更感興趣的是參照點(diǎn)P與機(jī)器人本體的水平距離S，它對農(nóng)業(yè)機(jī)器人田間作業(yè)時(shí)位置與姿態(tài)的控制起到關(guān)鍵作用。

針對上述問題，本文提出了一種農(nóng)業(yè)機(jī)器人田間導(dǎo)航參照點(diǎn)測距的新方法。實(shí)驗(yàn)表明：本文方法在解決農(nóng)業(yè)機(jī)器人田間地面導(dǎo)航點(diǎn)測距問題方面是行之有效的。

圖1　平行雙目視差測距法原理

圖2　農(nóng)業(yè)機(jī)器人作業(yè)模型

1農(nóng)業(yè)機(jī)器人雙目系統(tǒng)的建立與標(biāo)定

1.1　雙目系統(tǒng)的建立

本文以方凳模擬農(nóng)業(yè)機(jī)器人本體，左右相機(jī)安裝高度47.5cm，左右相機(jī)與水平方向傾角為35.7°，基線距離18cm，工控機(jī)CPU 2.5GHz，內(nèi)存8G；同時(shí)以左相機(jī)為中心向下做一條鉛垂線，鉛垂線與地面的交點(diǎn)定為世界坐標(biāo)系的原點(diǎn)O，X軸沿農(nóng)業(yè)機(jī)器人機(jī)身水平向左，Y軸沿相機(jī)的光軸方向垂直于X軸，Z軸垂直與地面向上，如圖3所示。

圖3　本文所搭建的農(nóng)業(yè)機(jī)器人雙目系統(tǒng)

由于本文所選取的導(dǎo)航參照點(diǎn)均在田間地面上，故令Z平面始終等于0，即無論農(nóng)業(yè)機(jī)器人行進(jìn)至何處，世界坐標(biāo)系都以此方法建立，從而獲得導(dǎo)航參照點(diǎn)相對于農(nóng)業(yè)機(jī)器人機(jī)身的世界坐標(biāo)。

1.2　BP神經(jīng)網(wǎng)絡(luò)標(biāo)定

農(nóng)業(yè)機(jī)器人的作業(yè)環(huán)境通常處于非結(jié)構(gòu)化環(huán)境的農(nóng)田中，地面的凹凸不平導(dǎo)致機(jī)器人在行進(jìn)過程中機(jī)身水平面與地面產(chǎn)生不同的角度。這時(shí)，如果利用傳統(tǒng)相機(jī)線性標(biāo)定算法獲得的相機(jī)內(nèi)外參數(shù)進(jìn)行計(jì)算，其結(jié)果：一是計(jì)算量會非常巨大，影響農(nóng)業(yè)機(jī)器人田間作業(yè)的時(shí)效性；二是由于鏡頭光學(xué)系統(tǒng)加工誤差的存在，往往得不到非常精確的結(jié)果。根據(jù)多層神經(jīng)網(wǎng)絡(luò)映射定理可知：包含隱含層的3層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可對任意的非線性函數(shù)進(jìn)行任意精度的逼近。故本文選用包含輸入層、隱含層、輸出層的BP神經(jīng)網(wǎng)絡(luò)對雙目系統(tǒng)標(biāo)定。但由于原始BP算法是梯度下降法，其中心思想是將迭代優(yōu)化搜索的方向指向性能函數(shù)的下降方向，這就會產(chǎn)生一個問題，即BP網(wǎng)絡(luò)的訓(xùn)練速率較慢且陷入?yún)^(qū)域最小值的幾率增大。為此，本文利用基于Fletcher-Revees共軛梯度法的BP學(xué)習(xí)算法構(gòu)建BP神經(jīng)網(wǎng)絡(luò)：

1)令k=0,i=0，設(shè)學(xué)習(xí)速率的最大值C>0和優(yōu)化目的值ε>0，隨機(jī)產(chǎn)生一個初始權(quán)值序列w(0)；

3)選擇搜索方向d(0)，d(0)=-g(0)；

5)調(diào)節(jié)BP網(wǎng)絡(luò)參數(shù)w(i+1)=w(i)+ηid(i)；

6)置k=k+1,i=i+1；

7)若E(w(i))<ε，算法終止；

g(i)=▽E[w(i)]；

10)計(jì)算d(i)。若i0，w(0)=w(i),g(0)=g(i)，并轉(zhuǎn)至3)。

1.3　標(biāo)定實(shí)驗(yàn)

將一張1 100mm×870mm標(biāo)定紙平鋪在1.1中搭建好的雙目系統(tǒng)的正前方，左右相機(jī)分別拍攝標(biāo)定紙,如圖4所示。

圖4　本文雙目系統(tǒng)下標(biāo)定實(shí)驗(yàn)

利用Harris角點(diǎn)檢測分別獲取公共視場內(nèi)的X角點(diǎn),即標(biāo)定點(diǎn)的圖像坐標(biāo)(U1，V1)(U2，V2)，并依次測量各標(biāo)定點(diǎn)在1.1節(jié)中雙目系統(tǒng)下構(gòu)建的世界坐標(biāo)系中的坐標(biāo)(X,Y)，將(U1，V1)(U2，V2)作為輸入，(X,Y)作為輸出構(gòu)建BP神經(jīng)網(wǎng)絡(luò)。此次共標(biāo)定200個點(diǎn)，取其中150個點(diǎn)作為訓(xùn)練樣本，50個點(diǎn)作為測試樣本，保存訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果顯示：改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)僅用37步收斂，MSE均方誤差0.009 97，耗時(shí)20ms。BP網(wǎng)絡(luò)訓(xùn)練效果圖如圖5所示，標(biāo)定結(jié)果如表1所示。

圖5　改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練效果

輸入圖像坐標(biāo)U1V1U2V2期望輸出值/cmxy網(wǎng)絡(luò)實(shí)際輸出/cmXY122128257128-15110-15.0759109.9041166126303128-10110-10.0061109.9866207127343127-5110-5.1507109.89042521263881270110-0.0618109.906229412642812851104.9553109.9778339127472127101109.9981109.78733811285111271511014.9335109.84584211285531272011019.8235110.08394641275911272511025.0171110.05725031276241273011030.0457110.0682

2田間導(dǎo)航參考點(diǎn)的獲取與測距

農(nóng)業(yè)機(jī)器人在田間作業(yè)行走時(shí)通常會選取一些前方行進(jìn)路面上已存在的實(shí)物作為導(dǎo)航參照點(diǎn)，以該參照點(diǎn)為基準(zhǔn)計(jì)算機(jī)身與此點(diǎn)的距離和航向角，為進(jìn)一步行進(jìn)姿態(tài)控制做準(zhǔn)備；又因?yàn)橥寥赖念伾c作物根部的顏色有較大的區(qū)分，故本文選取作物的根部作為農(nóng)業(yè)機(jī)器人導(dǎo)航參照點(diǎn)。而SIFT方法中的低層次特征提取是選取那些顯著的特征，這些特征具有圖像尺寸和旋轉(zhuǎn)不變性，而且對光照變化具有一定程度的不變性，還可以減少由遮擋、雜亂和噪聲所引起的低提取概率[3]。該方法特別適用于農(nóng)業(yè)機(jī)器人田間作業(yè)環(huán)境；但在SIFT方法中,特征點(diǎn)描述符生成這一步中往往需要耗費(fèi)大量的時(shí)間，原因在于128維的特征點(diǎn)描述算子的生成使算法效率大大降低。考慮到農(nóng)業(yè)機(jī)器人田間作業(yè)時(shí)效性的問題，提出穩(wěn)、快、準(zhǔn)的要求。本文從降低描述算子維數(shù)的思路出發(fā)，將原始算法中特征點(diǎn)描述向量的維數(shù)由128減至16，以特征點(diǎn)為圓心，提取一個半徑從1～4m的同心圓圈區(qū)域，如圖6所示。

圖6　本文所利用的改進(jìn)的SIFT特征描述符

先計(jì)算每個圓圈內(nèi)各個像素梯度的模值和方向，然后用梯度直方圖統(tǒng)計(jì)方法在每個圓圈內(nèi)統(tǒng)計(jì)出4個方向(0°，90°，180°，270°)的梯度累加值；利用圖形高斯加權(quán)窗口進(jìn)行加權(quán)，對每個圓圈內(nèi)的梯度累加值大小依次從大到小排列，最終生成1×16維向量作為特征點(diǎn)的描述向量。

3實(shí)驗(yàn)與結(jié)果分析

本實(shí)驗(yàn)與2015年6月9日下午對廣西科技大學(xué)內(nèi)一處農(nóng)田取景，將1.2節(jié)中標(biāo)定完成的農(nóng)業(yè)機(jī)器人雙目系統(tǒng)整體移入田間；在不同的兩處位置A和B用左右相機(jī)采集作物圖像，選取每株作物的根部位農(nóng)業(yè)機(jī)器人的導(dǎo)航參照點(diǎn)；分別測量農(nóng)業(yè)機(jī)器人在不同位置時(shí)每株作物的根部到左相機(jī)鉛垂線與地面交點(diǎn)的直線距離。圖7為原始SIFT匹配下的作物圖像匹配。

圖7　原始SIFT算法下的作物匹配圖像

圖8為本文所利用的改變SIFT特征描述符向量維數(shù)方法下的作物圖像匹配。由圖8可知：該方法大大減少了無用匹配點(diǎn)的數(shù)量，耗時(shí)僅為35ms。表2為農(nóng)業(yè)機(jī)器人處于位置A時(shí)導(dǎo)航參照點(diǎn)的測距結(jié)果，表3為農(nóng)業(yè)機(jī)器人處于位置B時(shí)導(dǎo)航參照點(diǎn)的測距結(jié)果。表2、表3共計(jì)16組數(shù)據(jù)，從中得出利用本文測距方法的測量距離與實(shí)際距離最大誤差0.479cm，最小誤差0.032cm，平均誤差為0.14cm。

圖8　改進(jìn)的SIFT特征描述符算法下的圖像匹配

Table 2Results of ranging in positionAcm

神經(jīng)網(wǎng)絡(luò)輸出世界坐標(biāo)XY本文方法所測距離實(shí)際距離誤差19.22556.32660.032600.03221.12561.24765.122650.12223.44566.76570.113700.11327.45369.06375.166750.16629.92175.56480.041800.04134.75778.39485.189850.18939.22382.82290.112900.11241.99786.31395.179950.179

表3　機(jī)器人處于位置B時(shí)導(dǎo)航參照點(diǎn)的測距結(jié)果

4結(jié)論

提出了一種基于雙目系統(tǒng)的農(nóng)業(yè)機(jī)器人地面導(dǎo)航參照點(diǎn)測距的新方法，該方法適用于任何角度與高度下的攝像機(jī)安裝位置。利用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)對農(nóng)業(yè)機(jī)器人雙目攝像機(jī)進(jìn)行標(biāo)定，然后由改進(jìn)的SIFT特征匹配得出參考點(diǎn)的左右圖像坐標(biāo)并輸入標(biāo)定時(shí)保存的受訓(xùn)完成的BP神經(jīng)網(wǎng)絡(luò)，從而輸出導(dǎo)航參照點(diǎn)相對于農(nóng)業(yè)機(jī)器人機(jī)身的世界坐標(biāo)，最終獲得參照點(diǎn)與農(nóng)業(yè)機(jī)器人機(jī)身之間的水平直線距離。實(shí)驗(yàn)結(jié)果表明：在一定視野范圍內(nèi)，田間導(dǎo)航參照點(diǎn)測距總耗時(shí)55ms，精度高達(dá)99%，能夠滿足農(nóng)業(yè)機(jī)器人在大多數(shù)情況下的作業(yè)要求。

參考文獻(xiàn)：

[1]張方明,應(yīng)義斌.機(jī)器視覺在農(nóng)業(yè)車輛導(dǎo)航系統(tǒng)中的研究進(jìn)展[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2005,36(5):133-136.

[2]李建平,林妙玲. 自動導(dǎo)航技術(shù)在農(nóng)業(yè)工程中的應(yīng)用研究進(jìn)展[J].農(nóng)業(yè)工程學(xué)報(bào),2006,22(9):232-236.

[3]張磊,王書茂,陳兵旗,等.基于雙目視覺的農(nóng)田障礙物檢測[J].中國農(nóng)業(yè)大學(xué)學(xué)報(bào)，2007,12(4):70-74.

[4]蘇麗穎,李小鵬,么雙立.雙目攝像機(jī)快速標(biāo)定新方法[J].中南大學(xué)學(xué)報(bào),2013,44(12):364-367.

[5]劉源泂,孔建益,王興東,等.雙目立體視覺系統(tǒng)的非線性攝像機(jī)標(biāo)定技術(shù)[J].計(jì)算機(jī)應(yīng)用研究,2011,28(9):3398-3400.

[6]劉盼,王金海.基于平行雙目立體視覺的測距系統(tǒng)[J].計(jì)算機(jī)應(yīng)用,2012,32(S2):162-164.

[7]崔莉娟,朱洪俊,王明盛,等.雙目立體攝影測量中的標(biāo)定方法[J].機(jī)械,2010,37(12):24-27.

[8]Widodo Budihorto, Ari Santoso, Djoko Purwanto, et al. A navigation system for service robot using stereo vision and kalman filting[C]//2011th International Conference on Control System.Tokyo:Jason,2011:165-172.

Abstract ID:1003-188X(2016)08-0068-EA

A New Method of Distance Measurement for Agricultural Robot’s Field Navigation Reference Point

Zhu Hongliang, Ma Zhaomin, Hu Bo, Jia Haibin

(Department of Electronic Information and Control Engineering, Guangxi University of Science and Technology,Liuzhou 545006, China)

Abstract：The distance measured by the classical binocular parallax value is the one from the reference point P to the center of the binocular cameras baseline .But the binocular cameras on the agricultural robot are usually settled in the position that is some height from the earth and a certain angle to the horizontal. A new way to solve the measuring the distance between agricultural robot and the navigation reference point is proposed in this paper. By using the improved BP neural network and the improved SIFT to export the world coordinates (X,Y).The horizontal distance between the agricultural robot and the reference P can be expressed .Experiments show the maximum deviation is 0.479cm, the minimum deviation is 0.032cm.The amount of the whole calculation is much less than the classical measuring method which is helpful to the research of agricultural robot’s positioning control in the farm field.

Key words：agricultural robot; navigation reference; binocular disparity; SIFT

中圖分類號：S127；TP391.76

文獻(xiàn)標(biāo)識碼：A

文章編號：1003-188X(2016)08-0068-04

作者簡介：朱弘亮(1990-),男,安徽馬鞍山人,碩士研究生,(E-mail)zhuhongliang0225@126.com。通訊作者：馬兆敏(1975-),女,安徽亳州人，副教授,(E-mail)254494046@qq.com。

基金項(xiàng)目：廣西教育廳高校科研基金項(xiàng)目(LX2014199)

收稿日期：2015-07-09