非結(jié)構(gòu)環(huán)境中擾動(dòng)葡萄采摘點(diǎn)的視覺定位技術(shù)

熊俊濤 何志良 湯林越 林 睿 劉 振

(華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院， 廣州 510642)

非結(jié)構(gòu)環(huán)境中擾動(dòng)葡萄采摘點(diǎn)的視覺定位技術(shù)

熊俊濤 何志良 湯林越 林 睿 劉 振

(華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院， 廣州 510642)

非結(jié)構(gòu)環(huán)境下采摘機(jī)器人對(duì)擾動(dòng)葡萄采摘點(diǎn)的視覺識(shí)別定位有實(shí)際應(yīng)用價(jià)值。首先基于“撓性桿-鉸鏈-剛性桿-質(zhì)量球”模型對(duì)葡萄串形態(tài)進(jìn)行分析，將其擾動(dòng)狀態(tài)分解為XOY和YOZ2個(gè)平面的類單擺運(yùn)動(dòng)，對(duì)擾動(dòng)葡萄進(jìn)行視頻拍攝，通過對(duì)視頻中多幀葡萄圖像進(jìn)行Otsu閾值分割得到果實(shí)和果梗，并計(jì)算出各幀圖像中葡萄串的質(zhì)心；對(duì)各幀圖像的葡萄串質(zhì)心進(jìn)行曲線擬合，計(jì)算出葡萄類單擺運(yùn)動(dòng)的周期與擺角，從而確定當(dāng)前擾動(dòng)葡萄是否適合視覺定位；對(duì)可實(shí)現(xiàn)視覺定位的擾動(dòng)葡萄，選取類單擺中間位置質(zhì)心點(diǎn)對(duì)應(yīng)的葡萄圖像，對(duì)葡萄串上方矩形區(qū)域進(jìn)行Canny邊緣檢測(cè)，再利用霍夫直線擬合結(jié)合角度約束法實(shí)現(xiàn)擾動(dòng)葡萄采摘點(diǎn)的定位。視覺定位試驗(yàn)結(jié)果表明：自然環(huán)境中不同光照下擾動(dòng)葡萄采摘點(diǎn)的視覺定位準(zhǔn)確率達(dá)80%以上，為采摘機(jī)器人應(yīng)用于實(shí)際生產(chǎn)提供了理論基礎(chǔ)。

葡萄； 擾動(dòng)； 采摘點(diǎn)； 視覺定位

引言

葡萄具有口味好、營(yíng)養(yǎng)豐富等特點(diǎn)，是一種重要的園藝作物。葡萄采摘會(huì)耗費(fèi)大量時(shí)間和人力，而當(dāng)前利用機(jī)械化收獲葡萄還很少。自然環(huán)境下葡萄采摘主要難點(diǎn)為葡萄串形狀不規(guī)則、自然環(huán)境中樹葉遮擋、光照變化以及隨機(jī)擾動(dòng)等復(fù)雜因素，因此采摘機(jī)器人對(duì)葡萄實(shí)現(xiàn)采摘點(diǎn)的準(zhǔn)確視覺定位是機(jī)器視覺領(lǐng)域的難點(diǎn)問題。

國(guó)外對(duì)自然環(huán)境中水果定位的研究起步較早。KONDO等[1]首先對(duì)葡萄光譜特性進(jìn)行了研究并根據(jù)顏色對(duì)葡萄進(jìn)行了識(shí)別定位。FONT等[2]研究了夜間人工照明下的葡萄識(shí)別方法，并根據(jù)葡萄對(duì)光的球面反射峰實(shí)現(xiàn)了葡萄的識(shí)別。THENDRAL等[3]提出了一種基于YIQ顏色空間的成熟果實(shí)定位方法，識(shí)別的成功率達(dá)到93%。REIS等[4]建立了特殊的光照系統(tǒng)，并基于該光照系統(tǒng)建立了葡萄識(shí)別模型來識(shí)別夜間葡萄果實(shí)。國(guó)內(nèi)對(duì)水果采摘機(jī)器人的視覺技術(shù)也有研究。葉浩等[5]基于ELSD算法實(shí)現(xiàn)了單個(gè)葡萄的分割并測(cè)量其半徑，并且半徑的測(cè)量誤差平均值為0.53 mm。孫賢剛等[6]研發(fā)的蘋果采摘機(jī)器人能夠?qū)崿F(xiàn)自動(dòng)導(dǎo)航、自動(dòng)識(shí)別和采摘功能，并且采摘的成功率達(dá)到94%。熊俊濤等[7]對(duì)自然環(huán)境下擾動(dòng)荔枝的運(yùn)動(dòng)規(guī)律和視覺定位方法進(jìn)行了研究，成功地對(duì)靜止和微擾動(dòng)狀態(tài)下的荔枝采摘點(diǎn)進(jìn)行了視覺定位。羅陸鋒等[8]研究了自然環(huán)境下靜止?fàn)顟B(tài)的葡萄視覺采摘點(diǎn)定位，首先對(duì)特定區(qū)域進(jìn)行直線檢測(cè)，并把采摘點(diǎn)定位在離質(zhì)心最近的直線上，然而該方法對(duì)主穗梗周圍的葉子和其它枝條的情況較敏感。

本文研究擾動(dòng)狀態(tài)下的葡萄視覺定位方法。首先對(duì)自然環(huán)境下擾動(dòng)葡萄串的外形及其自然環(huán)境下的運(yùn)動(dòng)規(guī)律進(jìn)行分析，并確定其采摘點(diǎn)位置為類單擺中間質(zhì)心對(duì)應(yīng)的葡萄圖像的正上方區(qū)域，然后對(duì)基于視頻獲取的葡萄圖像進(jìn)行Otsu分割得到果實(shí)和果梗，再進(jìn)行葡萄目標(biāo)上方矩形區(qū)域的Canny邊緣檢測(cè)和霍夫直線檢測(cè)，結(jié)合角度約束條件，最終找到主穗梗所對(duì)應(yīng)的直線，并將直線的中點(diǎn)確認(rèn)為采摘點(diǎn)。

1 擾動(dòng)目標(biāo)的形狀與運(yùn)動(dòng)分析

葡萄一般是成串存在的，文獻(xiàn)[9]提出了一種“撓性桿-鉸鏈-剛性桿-質(zhì)量球”復(fù)合果穗模型對(duì)成串葡萄進(jìn)行分析，如圖1所示。該模型將葡萄串的主穗梗視為撓性桿，葡萄果實(shí)視為質(zhì)量球，果柄視為剛性桿，主穗梗與分穗梗的連接處視為鉸鏈，而葡萄的采摘點(diǎn)則位于主穗梗上。

圖1 “撓性桿-鉸鏈-剛性桿-質(zhì)量球”模型Fig.1 Model of “flexible rod-hinge-rigid rod-mass ball”1.剛性桿 2.采摘點(diǎn)區(qū)域 3.質(zhì)量球 4.鉸鏈 5.撓性桿

葡萄串在空間上的擾動(dòng)是隨機(jī)的。由于葡萄串主穗梗上端與果柄連接，果柄作為剛性桿，其運(yùn)動(dòng)幅度較小，所以本文近似地認(rèn)為果柄是靜止的，并將葡萄串的運(yùn)動(dòng)分解為XOY平面與YOZ平面上的運(yùn)動(dòng)，如圖2所示，這樣可以將葡萄串的運(yùn)動(dòng)近似地看作在以主穗梗和果柄交點(diǎn)為支點(diǎn)的XOY平面和YOZ平面單擺運(yùn)動(dòng)相結(jié)合的綜合運(yùn)動(dòng)。其中Y軸為與地面垂直并指向上方的軸，Z軸為指向機(jī)器人方向，X軸垂直于YOZ平面。

圖2 擾動(dòng)葡萄運(yùn)動(dòng)分解模型Fig.2 Motion decomposition model of disturbed grape1.果柄 2.主穗梗 3.采摘點(diǎn)

2 擾動(dòng)葡萄的視覺定位方法

2.1 葡萄果實(shí)串的圖像分割

為提高葡萄圖像分割的準(zhǔn)確率，先對(duì)不同光照條件下葡萄串的色彩模型進(jìn)行分析，找出能凸顯夏黑葡萄顏色量的色彩模型，其中包括晴天順光、晴天逆光、陰天順光和陰天逆光。而當(dāng)天氣為陰天時(shí)，發(fā)現(xiàn)順光條件和逆光條件并無明顯差異，因此，將這兩種條件合并為陰天光照一種條件研究。通過對(duì)YCbCr、HSV、Lab和RGB等顏色模型進(jìn)行分析，當(dāng)光照條件為晴天逆光和陰天光照時(shí)，在HSV的H分量中，葡萄串與背景的差異較大，其直方圖如圖3c和圖3g所示。因此本文選用H分量對(duì)晴天逆光和陰天光照兩種光照條件的葡萄進(jìn)行分割。首先提取圖像HSV空間的H分量，然后使用最大類間方差算法(Otsu)求出圖像分割閾值[10-11]，Otsu算法根據(jù)圖像中的像素分布計(jì)算出動(dòng)態(tài)分割閾值，然后圖像中大于閾值的像素點(diǎn)即可認(rèn)為是葡萄串的像素點(diǎn)，否則為背景的像素點(diǎn)。最后再使用形態(tài)學(xué)填充小孔洞和去除噪聲點(diǎn)。陰天光照條件下和晴天逆光條件下的最終分割效果如圖3d和圖3h所示。

圖3 晴天逆光和陰天光照下葡萄分割結(jié)果Fig.3 Segmentation results of grape under shade of sunny and light of overcast

圖4 晴天順光的葡萄分割Fig.4 Segmentation results of grape under direct sunlight

然而在晴天順光的條件下，發(fā)現(xiàn)H分量進(jìn)行葡萄分割的準(zhǔn)確率較低，使用H分量的Otsu分割效果如圖4d所示，可見大部分葡萄串的像素點(diǎn)被誤判為背景像素點(diǎn)。進(jìn)一步對(duì)晴天順光的各顏色分量分析，發(fā)現(xiàn)其在Lab顏色空間的a分量中，葡萄果實(shí)串與背景有較明顯的差異，即a分量能夠較準(zhǔn)確的分割出葡萄果實(shí)串，因此對(duì)于晴天順光條件，本文則在Lab顏色空間利用Otsu算法進(jìn)行葡萄圖像的分割，并進(jìn)行形態(tài)學(xué)去噪，其分割效果如圖4g所示。

綜上所述，葡萄圖像的識(shí)別過程如下：對(duì)拍攝平均時(shí)長(zhǎng)為2.4 s的視頻，每隔0.2 s讀取視頻中的一幀圖像，然后提取其Lab模型的L分量，根據(jù)L分量的均值，判斷當(dāng)前的光照條件，當(dāng)L>152時(shí)，認(rèn)為光照條件為晴天順光，則提取圖像Lab模型的a分量，當(dāng)L≤152時(shí)，認(rèn)為光照條件為晴天逆光或陰天光照，則提取圖像HSV模型的H分量，然后使用Otsu算法計(jì)算動(dòng)態(tài)分割閾值，進(jìn)行葡萄圖像分割和形態(tài)學(xué)方法去噪。

2.2 基于視頻的葡萄運(yùn)動(dòng)分析

(1)求取質(zhì)心和目標(biāo)圖像

直接對(duì)整串葡萄的運(yùn)動(dòng)進(jìn)行分析比較復(fù)雜，本文通過提取葡萄串的質(zhì)心代表葡萄串當(dāng)前的位置。基于2.1節(jié)的方法得到視頻流中葡萄串的二值圖，然后通過圖像的一階矩求得質(zhì)心。質(zhì)心的位置即代表了葡萄串在XOY平面中的位置，最后獲取其擺動(dòng)到中間位置質(zhì)心對(duì)應(yīng)的圖像作為確定采摘點(diǎn)的目標(biāo)圖像。圖5是目標(biāo)圖像，紅點(diǎn)是視頻流中質(zhì)心在目標(biāo)圖像上的分布，藍(lán)點(diǎn)是中間位置的質(zhì)心。

圖5 葡萄串質(zhì)心Fig.5 Centroid of grape

(2)運(yùn)動(dòng)周期分析

在整個(gè)視頻流中，葡萄串可能會(huì)往復(fù)運(yùn)動(dòng)多個(gè)周期，為提高算法運(yùn)行速度，只對(duì)葡萄串的1個(gè)運(yùn)動(dòng)周期進(jìn)行分析。如圖5所示，當(dāng)葡萄串從左往右擺動(dòng)時(shí)，葡萄串的下一幀圖像質(zhì)心的X軸坐標(biāo)Xi+1與當(dāng)前幀圖像質(zhì)心的X軸坐標(biāo)Xi的差值d=Xi+1-Xi>0，當(dāng)葡萄串?dāng)[動(dòng)到最右端時(shí)，此時(shí)葡萄串則會(huì)向左返回，即從右往左擺動(dòng)。從而下一幀圖像質(zhì)心的X軸坐標(biāo)值與當(dāng)前幀圖像質(zhì)心的X軸坐標(biāo)值之差d<0。所以，如果任取連續(xù)3幀圖像質(zhì)心，并計(jì)算t=(Xi+2-Xi+1)(Xi+1-Xi)；當(dāng)t>0時(shí)，葡萄串從左往右擺動(dòng)或從右往左擺動(dòng)，而當(dāng)t<0時(shí)，代表葡萄串運(yùn)動(dòng)到左上方或右上方最高點(diǎn)并且開始返回運(yùn)動(dòng)。所以，當(dāng)2次出現(xiàn)小于0時(shí)，即可認(rèn)為葡萄串經(jīng)過了至少1個(gè)擺動(dòng)周期。

(3)葡萄串?dāng)[動(dòng)幅度

當(dāng)葡萄串運(yùn)動(dòng)幅度過大時(shí)，可能會(huì)超出機(jī)器的采摘范圍，因此還需要分析葡萄串的運(yùn)動(dòng)幅度。而單擺運(yùn)動(dòng)的擺長(zhǎng)、擺動(dòng)頻率等變量與攝像頭和目標(biāo)的距離有關(guān)。本文選用單擺運(yùn)動(dòng)的擺角來判斷葡萄擺動(dòng)幅度。

首先通過最小二乘法求取葡萄擺動(dòng)所在的圓，假設(shè)圓的方程為X2+Y2+aX+bY+c=0。像素點(diǎn)的坐標(biāo)(Xi,Yi)到圓心的殘差平方和為

(1)

式中a、b、c——待定系數(shù)

將視頻流葡萄串所有的質(zhì)心坐標(biāo)代入該公式中，通過平方和的偏導(dǎo)數(shù)求a、b、c的值使得σ2最小時(shí)，即得到圓的方程[12-13]。然后通過圓心和X軸最左方與最右方質(zhì)心坐標(biāo)即可求得葡萄串的擺角。當(dāng)擺角大于30°時(shí)，認(rèn)為葡萄串的運(yùn)動(dòng)幅度過大，則放棄采摘。

2.3 采摘點(diǎn)定位

葡萄串的主穗梗一般位于葡萄串上方，外形近似直線，并且其上方長(zhǎng)度約為葡萄串長(zhǎng)度的1/3。根據(jù)其生長(zhǎng)特性，在圖像分割得到葡萄串的目標(biāo)區(qū)域之后，通過對(duì)目標(biāo)區(qū)域上方高度為L(zhǎng)/3、寬度為W的矩形區(qū)域進(jìn)行邊緣檢測(cè)和霍夫直線檢測(cè)。其中，L和W分別為葡萄串最小外接矩形的高度和寬度。另外葡萄串?dāng)[動(dòng)至中間位置時(shí)，穗梗與Y軸的角度一般較小，因此，僅檢測(cè)與Y軸夾角小于30°的直線。霍夫直線檢測(cè)的基本思想是通過構(gòu)造參數(shù)空間的累加器實(shí)現(xiàn)直線的檢測(cè)[14-15]，基本過程如下：

假設(shè)平面上的一條直線方程為

ρ=xcosθ+ysinθ

(2)

式中x、y——圖像像素坐標(biāo)ρ——原點(diǎn)到直線的距離θ——直線法線和X軸的夾角

(2)對(duì)每個(gè)給定的像素點(diǎn)坐標(biāo)(x,y)，遍歷ρ，并代入式(2)中求出θ。根據(jù)ρ和θ的值累加數(shù)組A(ρ,θ)=A(ρ,θ)+1；A(ρ,θ)對(duì)應(yīng)的就是圖像上直線像素點(diǎn)的個(gè)數(shù)，即A(ρ,θ)越大，對(duì)應(yīng)的直線越長(zhǎng)。

本文取累加數(shù)組最大的20個(gè)元素，即求出目標(biāo)區(qū)域最長(zhǎng)的20條直線。直線檢測(cè)的效果如圖7a、7c所示。然后，需要在多條直線中確定主穗梗所在的直線。假設(shè)穗梗與Y軸的夾角為α，由于葡萄串是垂直生長(zhǎng)的，所以角α一般較小。然而僅僅以角α判斷誤差較大，如圖6中的直線1，其角α較小，但并不是穗梗所在直線。假設(shè)中間質(zhì)心與主穗梗所在直線的中點(diǎn)的連線跟主穗所在直線的夾角中較小夾角為β，穗梗與Y軸夾角α也較小。然而也有圖6中直線3的情況出現(xiàn)，所以，綜合考慮α、β，當(dāng)α+β的值最小時(shí)，才認(rèn)為該直線是穗梗所在的直線，如圖6中直線2的情況，并取直線的中點(diǎn)為最終的采摘點(diǎn)。

圖6 中間質(zhì)心與直線的位置關(guān)系Fig.6 Position relationship between middle centroid and straight line

圖7a、7b、7c分別是晴天逆光、陰天光照、晴天順光情況下的采摘點(diǎn)定位效果圖，圖中綠色直線是在目標(biāo)區(qū)域內(nèi)進(jìn)行直線檢測(cè)的效果，藍(lán)色圓點(diǎn)是中間質(zhì)心，由于穗梗的邊緣位于穗梗兩側(cè)，所以檢測(cè)到的直線一般位于穗梗的邊緣，而最優(yōu)采摘點(diǎn)應(yīng)該是穗梗中軸線上的點(diǎn)，因此在X軸方向會(huì)存在像素誤差，誤差大約為穗梗半徑。該誤差顯然在采摘機(jī)器人可接受的誤差范圍內(nèi)。圖中藍(lán)色直線即為目標(biāo)直線，可見都位于穗梗的邊緣上，然后再取直線中點(diǎn)為采摘點(diǎn)，即圖中的紅色圓點(diǎn)。圖7d是定位失敗的效果，可見圖中中間質(zhì)心誤定位到實(shí)際質(zhì)心的右上方，導(dǎo)致最終采摘點(diǎn)定位失敗。

圖7 采摘點(diǎn)定位結(jié)果Fig.7 Positioning results of picking point

3 試驗(yàn)與誤差分析

3.1 試驗(yàn)

設(shè)計(jì)了自然環(huán)境下擾動(dòng)夏黑葡萄視覺定位試驗(yàn)。首先在自然微風(fēng)條件下或人為外力下使葡萄擾動(dòng)，然后通過維視公司的CCD攝像機(jī)拍攝擾動(dòng)葡萄的視頻，拍攝距離為20～80 cm，拍攝視頻長(zhǎng)度為

2～3 s(平均2.4 s)、分辨率為864像素×486像素、幀率為25幀/s。選取晴天順光、晴天逆光、陰天光照3種情況分類進(jìn)行共111次試驗(yàn)來對(duì)算法進(jìn)行驗(yàn)證。試驗(yàn)結(jié)果如表1所示。

表1 試驗(yàn)結(jié)果

3.2 誤差分析

基于表1中試驗(yàn)數(shù)據(jù)分析結(jié)果，其中造成視覺定位誤差的主要因素有：①由于攝像頭擾動(dòng)，導(dǎo)致葡萄串在不同幀之間的質(zhì)心相對(duì)位置發(fā)生偏差，從而中間質(zhì)心的定位誤差增大。②由于復(fù)雜背景存在其他果梗、樹枝和樹葉遮擋等干擾因素，造成直線檢測(cè)的誤差增大。③在晴天順光的條件下，葡萄表面的反光比較明顯，導(dǎo)致葡萄串分割的誤差增加。

針對(duì)以上產(chǎn)生誤差的因素，改進(jìn)思路為：①使用卡爾曼濾波或粒子濾波等算法對(duì)擾動(dòng)葡萄進(jìn)行跟蹤，提高質(zhì)心的定位精度。②針對(duì)穗梗被遮擋的情況，可以嘗試根據(jù)葡萄運(yùn)動(dòng)軌跡估計(jì)質(zhì)心的位置。③對(duì)圖像進(jìn)行光照預(yù)處理，增強(qiáng)葡萄與背景的對(duì)比度，提高分割的準(zhǔn)確率。

4 結(jié)論

(1)對(duì)自然環(huán)境下擾動(dòng)葡萄采摘的視覺定位技術(shù)進(jìn)行了研究。對(duì)擾動(dòng)葡萄的形狀進(jìn)行分析，確定其采摘點(diǎn)在主穗梗上，然后對(duì)其運(yùn)動(dòng)狀態(tài)進(jìn)行分析，將其分解為XOY平面與YOZ平面的類單擺運(yùn)動(dòng)。最后以葡萄串的質(zhì)心表示葡萄當(dāng)前的位置，分析了其運(yùn)動(dòng)周期，并用最小二乘法確定了其擺角。

(2)根據(jù)葡萄串的位置確定其上方采摘點(diǎn)的檢測(cè)區(qū)域，然后對(duì)該區(qū)域進(jìn)行邊緣檢測(cè)和直線檢測(cè)，最后根據(jù)角度約束確定采摘點(diǎn)最終位置。并設(shè)計(jì)了視覺試驗(yàn)，選取了晴天順光、晴天逆光和陰天光照3種條件進(jìn)行試驗(yàn)，試驗(yàn)結(jié)果顯示視覺定位擾動(dòng)葡萄采摘點(diǎn)的成功率分別為80.0%、84.1%和83.3%，該結(jié)果為采摘機(jī)器人對(duì)擾動(dòng)目標(biāo)的視覺定位提供了技術(shù)支持。

1 KONDO N, SHIBANO Y, MOHRI K, et al. Basic studies on robot to work in vineyard (part 2)[J]. Journal of the Japanese Society of Agricultural Machinery, 1994, 56(1): 45-53.

2 FONT D, PALLEJA T, TRESANCHEZ M, et al. Counting red grapes in vineyards by detecting specular spherical reflection peaks in RGB images obtained at night with artificial illumination[J]. Computers and Electronics in Agriculture, 2014, 108: 105-111.

3 THENDRAL R, SUHASINI A. Enhanced machine vision system for ripe fruit detection based on robotic harvesting[J]. Advance Journal of Food Science & Technology,2015, 7(11): 841-849.

4 REIS M J C S, MORAIS R, PERES E, et al. Automatic detection of bunches of grapes in natural environment from color images [J]. Journal of Applied Logic, 2012,10(4): 285-290.

5 葉浩,詹國(guó)敏,吳亮,等. 基于圖像分割的葡萄果粒粒徑快速測(cè)量技術(shù)[J]. 新技術(shù)新工藝,2016(5):84-87. YE Hao, ZHAN Guomin, WU Liang, et al. Raipd measuring technology for the size of grape based on image segmentation[J]. New Technology & New Process, 2016(5):84-87. (in Chinese)

6 孫賢剛, 伍錫如, 黨選舉,等. 基于視覺檢測(cè)的蘋果采摘機(jī)器人系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 農(nóng)機(jī)化研究, 2016(6):151-155. SUN Xiangang, WU Xiru, DANG Xuanju, et al. Design and implementation of apple picking robot system based on visual inspection [J]. Journal of Agricultural Mechanization Research, 2016(6):151-155. (in Chinese)

7 熊俊濤，鄒湘軍，鄒海鑫，等. 基于動(dòng)態(tài)目標(biāo)的采摘機(jī)器人視覺定位技術(shù)研究[J]. 系統(tǒng)仿真學(xué)報(bào),2015,27(4):836-842. XIONG Juntao, ZOU Xiangjun, ZOU Haixin, et al. Visual positioning technology research of picking robot based on dynamic target[J]. Journal of System Simulation, 2015,27(4):836-842. (in Chinese)

8 羅陸鋒，鄒湘軍，熊俊濤，等. 自然環(huán)境下葡萄采摘機(jī)器人采摘點(diǎn)的自動(dòng)定位[J]. 農(nóng)業(yè)工程學(xué)報(bào),2015,31(2):14-21. LUO Lufeng, ZOU Xiangjun, XIONG Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the CSAE,2015, 31(2): 14-21. (in Chinese)

9 劉繼展, 唐善奇, 單帥，等. 機(jī)器人采摘葡萄果穗振動(dòng)仿真與試驗(yàn)[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào),2016,47(5):1-8. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160501&flag=1. DOI:10.6041/j.issn.1000-1298. 2016.05.001. LIU Jizhan, TANG Shanqi, SHAN Shuai, et al. Simulation and test of grape fruit cluster vibration for robotic harvesting[J/OL]. Transactions of the Chinese society for Agricultural Machinery 2016,47(5):1-8.(in Chinese)

10 OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on System Man and Cybernetic, 1979, 9(1):62-66.

11 胡敏,李梅,汪榮貴.改進(jìn)的Otsu 算法在圖像分割中的應(yīng)用[J].電子測(cè)量與儀器學(xué)報(bào),2010,24(5):443-449. HU Min, LI Mei, WANG Ronggui. Application of an improved Otsu algorithm in image segmentation [J]. Journal of Electronic Measurement and Instrument,2010,24(5):443-449. (in Chinese)

12 鄒樂強(qiáng). 最小二乘法原理及其簡(jiǎn)單應(yīng)用[J]. 科技信息,2010,2(23):282-283.

13 劉珂, 周富強(qiáng),張廣軍. 半徑約束最小二乘圓擬合方法及其誤差分析[J]. 光電子激光,2006,17(5):604-607. LIU Ke, ZHOU Fuqiang, ZHANG Guangjun. Radius constraint least-square circle fitting method and error analysis [J]. Journal of Optoelectronics Laser,2006,17(5):604-607. (in Chinese)

14 孫豐榮,劉積仁. 快速霍夫變換算法[J]. 計(jì)算機(jī)學(xué)報(bào), 2001,24(10):1102-1109. SUN Fengrong, LIU Jiren. Fast hough transform algorithm[J]. Chinese Journal of Computers,2001,24(10):1102-1109. (in Chinese)

15 易玲. 基于分級(jí)的快速霍夫變換直線檢測(cè)[J]. 微計(jì)算機(jī)信息,2007,23(11):206-208. YI Ling. Fast hough transform straight line detection based on classification[J]. Journal of Micro Computer Information, 2007,23(11):206-208.(in Chinese)

Visual Localization of Disturbed Grape Picking Point in Non-structural Environment

XIONG Juntao HE Zhiliang TANG Linyue LIN Rui LIU Zhen

(CollegeofMathematicsandInformatics,SouthChinaAgriculturalUniversity,Guangzhou510642,China)

The picking robot in unstructured environment has practical value in visual localization of disturbed grape. Firstly, the shape of grape was analyzed based on model of “flexible rod-hinge-rigid rod-mass ball” and its disturbed state was decomposed into pendulum ofXOYplane andYOZplane, and then fruit and stalk of grape were obtained by Otsu function from multi frame image in video of which captured disturbed grape. Then centroid of grape in each frame image was calculated, and curve fitting of grape centroid of each frame image was made. The period of grape pendulum movement and swing angle were calculated to judge whether current disturbed of the grape was suitable for visual positioning. For disturbed grape that can achieve visual positioning, choosing grape images corresponding to location in the middle of centroid point of pendulum motion, Canny edge detection was carried out on the upper rectangular region. The method of Hough line fitting and angle constraint were used to localize picking point of disturbed grape. Experiment results of visual localization showed that the accuracy of visual localization for disturbed grape picking points under different illuminations were more than 80% in natural environment, which provided theoretical basis for the application of picking robot in practical production.

grape; disturbance; picking point; vision localization

10.6041/j.issn.1000-1298.2017.04.003

2016-07-27

2016-08-30

國(guó)家自然科學(xué)基金項(xiàng)目(31201135)、廣東省科技計(jì)劃項(xiàng)目(2015A020209123)和廣州市科技計(jì)劃項(xiàng)目(201506010081)

熊俊濤(1981—)，男，副教授，主要從事農(nóng)業(yè)機(jī)器人和智能設(shè)計(jì)與制造研究，E-mail: xiongjt2340@163.com

TP391.41

A

1000-1298(2017)04-0029-05