一種鮮食葡萄采摘點(diǎn)的快速高效識(shí)別方法

張同勛,劉 平

(山東農(nóng)業(yè)大學(xué) 機(jī)械與電子工程學(xué)院,山東 泰安 271018)

0 引言

我國(guó)作為一個(gè)農(nóng)業(yè)大國(guó),葡萄產(chǎn)業(yè)在農(nóng)業(yè)產(chǎn)業(yè)中占有重要地位[1-3]。根據(jù)國(guó)際葡萄園及葡萄酒組織(OIV)公布的數(shù)據(jù),我國(guó)葡萄產(chǎn)量占全世界產(chǎn)量的25%,超過79.2萬(wàn)hm2種植面積的法國(guó),躍居世界第二[4]。市面上的葡萄主要分為釀酒葡萄和鮮食葡萄兩大類:對(duì)于規(guī)模種植的釀酒葡萄,已經(jīng)出現(xiàn)如Grapleiner6000、G7-240和Oxbo6120之類的采收機(jī),這種大型采收機(jī)在采摘葡萄的同時(shí)可以去除葡萄梗并對(duì)葡萄進(jìn)行篩選。就鮮食葡萄而言,生長(zhǎng)環(huán)境復(fù)雜且生長(zhǎng)過程中受葉片、水分和光照等環(huán)境因素的影響易導(dǎo)致果實(shí)生長(zhǎng)不規(guī)則,對(duì)葡萄采摘機(jī)器人識(shí)別和定位造成困難,限制其大范圍推廣應(yīng)用[5];同時(shí),鮮食葡萄采摘主要由人工采摘,對(duì)人力資源需求較大,一定程度上增加了果農(nóng)的成本。因此,實(shí)現(xiàn)鮮食葡萄采摘機(jī)器人的精確識(shí)別和定位對(duì)促進(jìn)農(nóng)民增收和實(shí)現(xiàn)鮮食葡萄產(chǎn)業(yè)化意義重大。

作為農(nóng)業(yè)現(xiàn)代化的主要組成部分,農(nóng)業(yè)機(jī)械化能替代手工勞動(dòng),提高生產(chǎn)效率,降低勞動(dòng)強(qiáng)度。相對(duì)于國(guó)外而言,國(guó)內(nèi)農(nóng)業(yè)機(jī)械化水平仍較為落后,農(nóng)業(yè)機(jī)器人為國(guó)內(nèi)農(nóng)業(yè)機(jī)械化發(fā)展提供了一條新的道路。

農(nóng)業(yè)機(jī)器人的出現(xiàn)是現(xiàn)代化農(nóng)業(yè)機(jī)械化發(fā)展的成果,是農(nóng)業(yè)機(jī)械和控制理論交叉融合的必然產(chǎn)物[6]。因此,實(shí)現(xiàn)采摘作業(yè)機(jī)械化、自動(dòng)化成為廣大果農(nóng)們關(guān)心的焦點(diǎn)問題[7]。成熟的鮮食葡萄較為脆弱,采摘過程中易受機(jī)械損傷,對(duì)采摘機(jī)器人結(jié)構(gòu)和控制的要求都比一般的工業(yè)機(jī)器人更高,且使用對(duì)象大多數(shù)為農(nóng)民,因此所研究的機(jī)器人必須具有較高的可靠性和操作簡(jiǎn)單的特點(diǎn)。此外,農(nóng)業(yè)機(jī)器人的生產(chǎn)制造還應(yīng)考慮降低成本的問題。

國(guó)內(nèi)外研究者對(duì)采摘機(jī)器人的視覺系統(tǒng)進(jìn)行了廣泛而深入的研究。Kondo等[8]提出一種針對(duì)光譜特性的研究算法,對(duì)葡萄進(jìn)行識(shí)別定位。張浩等[9]利用光柵投影法對(duì)茶樹嫩梢進(jìn)行定位研究,取得較好的效果。文獻(xiàn)[10]利用雙目立體視覺對(duì)葡萄包圍體求解與定位,但雙目相機(jī)成本較高不利于推廣,適用性較差。文獻(xiàn)[11]用彩色CCD攝像頭作為視覺傳感器,根據(jù)成熟番茄呈現(xiàn)紅色的特點(diǎn),基于RGB分量區(qū)分水果和莖葉[12]。文獻(xiàn)[12]提出基于提取串番茄果實(shí)串連通區(qū)域邊界的采摘點(diǎn)識(shí)別方法,對(duì)垂直向下的串番茄采摘點(diǎn)識(shí)別效果較好,為實(shí)際番茄采摘機(jī)器人作業(yè)提供了參考。荷蘭科研工作者研發(fā)出一種黃瓜收獲機(jī)器人視覺系統(tǒng),利用兩個(gè)CCD采集圖像,根據(jù)黃瓜和葉莖的反射率進(jìn)行黃瓜的識(shí)別,在溫室條件下識(shí)別率為95%[13]。中國(guó)農(nóng)業(yè)大學(xué)在文獻(xiàn)[13]的基礎(chǔ)上研制出一種改進(jìn)型黃瓜采摘機(jī)器人,增設(shè)高功率背景光源,采用P參數(shù)法對(duì)采集圖像閾值分割,削弱了日光變化對(duì)采摘結(jié)果的影響[14]。

為增強(qiáng)鮮食葡萄采摘的識(shí)別與定位準(zhǔn)確度,降低因定位不當(dāng)造成的鮮食葡萄果實(shí)機(jī)械損傷,本文采用模板匹配算法,將樣本對(duì)其均值的相對(duì)值與圖像對(duì)其均值的相關(guān)值進(jìn)行比對(duì),實(shí)現(xiàn)葡萄的識(shí)別及二維坐標(biāo)位置的確定,再配合測(cè)距儀實(shí)現(xiàn)采摘點(diǎn)的三維識(shí)別。實(shí)驗(yàn)結(jié)果表明:在自然光條件下,葡萄采摘機(jī)器人能夠適應(yīng)不同葡萄品種的采摘條件,采摘識(shí)別成功率達(dá)到90%。

1 樣本數(shù)據(jù)庫(kù)的建立

1.1 葡萄圖像的采集

在設(shè)施鮮食葡萄標(biāo)準(zhǔn)化栽培技術(shù)下,采摘機(jī)器人通常在正常日光或日光燈照射條件下工作。本文采用RMONCAM/林柏視廣角攝像頭S908在晴天順光、逆光及日光燈照射條件下對(duì)紅色、紫色、青色3種不同顏色的葡萄品種提取圖像。攝像頭采集的圖像輸出分辨率為1 280×720,為方便采摘點(diǎn)二維采摘點(diǎn)的分析,設(shè)定攝像頭與葡萄簇在攝像過程中保持距離為100cm,分別獲得晴天順光、逆光及日光燈照射下的葡萄圖像。圖1為鮮食葡萄的籬壁式種植模式晴天順光的實(shí)際效果圖。

圖1 鮮食葡萄種植模式圖

為保證本文采摘點(diǎn)二維坐標(biāo)的快速定位,將采集的葡萄圖像分辨率縮至640×480,用于對(duì)葡萄圖像進(jìn)行處理的軟件是基于(開源)發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫(kù),運(yùn)行在Windows操作系統(tǒng)上的Microsoft Visual C++6.0下的MFC應(yīng)用程序框架下進(jìn)行研究和開發(fā)。

1.2 葡萄圖像的預(yù)處理

在圖像采集、傳送和處理的過程中,存在圖像失真和噪聲干擾。為改善葡萄圖像的視覺效果,提高圖像的清晰度,以便于計(jì)算機(jī)進(jìn)行識(shí)別,對(duì)葡萄圖像進(jìn)行預(yù)處理,常用的圖像預(yù)處理方法有平滑、銳化等[15-16]。圖像預(yù)處理的目的是過濾原始圖像中無用噪聲,最大限度保留圖像的有效信息,可在簡(jiǎn)化處理數(shù)據(jù)的同時(shí)增加有效信息的可檢測(cè)性,為后續(xù)特征抽取、圖像分割、匹配和識(shí)別過程提供可靠的依據(jù)。由于電子的隨機(jī)運(yùn)動(dòng)、感光材料顆粒分布不均勻及圖像傳感器中光電轉(zhuǎn)換過程中容易產(chǎn)生光電噪聲,所采集的圖像往往會(huì)引入不必要的噪聲干擾。噪聲干擾易對(duì)圖像處理算法的精確度和應(yīng)用范圍產(chǎn)生影響,因此降噪常常作為灰度圖像預(yù)處理的第1步[17]。

在圖像處理過程中,中值濾波常作為保護(hù)邊緣信息的主要手段,基本原理是將所采集的數(shù)字圖像信息或經(jīng)轉(zhuǎn)化后的數(shù)字序列中某點(diǎn)的像素值用該點(diǎn)鄰域組距上下限的算術(shù)平均數(shù)代替,消除孤立噪聲。具體實(shí)現(xiàn)方法是用特定結(jié)構(gòu)的二維滑動(dòng)模板,將模板內(nèi)的像素值按升序(或降序)排列得到的二維數(shù)據(jù)序列。輸出結(jié)果為二維中值濾波輸出,即

g(x,y)=med{f(x-k,y-l),(k,l∈W)}

其中,f(x,y)、g(x,y)分別為采集圖像和濾波圖像。二維模板W一般選取3×3或5×5大小,模板形狀多樣,通常選取圓形、矩形、十字形、圓環(huán)形等。本文采用中值濾波方法對(duì)圖像進(jìn)行降噪處理,效果如圖2所示。

圖2 葡萄圖像預(yù)處理圖

1.3 葡萄圖像數(shù)據(jù)庫(kù)的建立

基于機(jī)器視覺的葡萄采摘機(jī)器人在識(shí)別葡萄的過程中,需要使用攝像頭獲取不同時(shí)間、不同成像條件下對(duì)各個(gè)品種的葡萄圖像,以便更加精確地進(jìn)行空間上的校準(zhǔn)。設(shè)定攝像頭采集的圖像輸出分辨率為1 280×720,為方便采摘點(diǎn)二維定位點(diǎn)的分析,在攝像時(shí)使攝像頭與葡萄簇距離為100cm,分別獲得晴天順光、逆光及日光燈照射下的葡萄圖像。根據(jù)葡萄的顏色特征獲取的樣本圖像具體概括為3類:紅色、青色和紫色。樣本圖像采集后,進(jìn)行灰度變換、濾波處理、邊緣檢測(cè)及形態(tài)學(xué)處理等操作,結(jié)果如圖3所示。

2 葡萄采摘點(diǎn)的識(shí)別

葡萄目標(biāo)識(shí)別算法創(chuàng)新性地采用逆向識(shí)別算法,將樣本對(duì)均值的相對(duì)值與圖像對(duì)其均值的相關(guān)值進(jìn)行比對(duì),實(shí)現(xiàn)了葡萄的識(shí)別及其二維坐標(biāo)位置的確定,再配合測(cè)距儀實(shí)現(xiàn)采摘點(diǎn)的三維定位。基于模板匹配的方法是在圖像灰度的層次上直接比對(duì)原始圖像和樣本之間的相似性,與圖像特征分量提取的葡萄目標(biāo)檢測(cè)方法相比,樣本匹配具有簡(jiǎn)單、直觀的特點(diǎn),適應(yīng)性強(qiáng),對(duì)圖像質(zhì)量的依賴度較低且魯棒性強(qiáng)。

圖3 不同品種葡萄樣本數(shù)據(jù)庫(kù)

2.1 二維采摘點(diǎn)的識(shí)別

模板匹配就是在1幅大圖中,通過1幅小圖與大圖對(duì)其特征進(jìn)行比較,從大圖中找出小圖所在位置的智能算法[18]。模板匹配原理圖如圖4所示。具體的小圖為模板mask,大圖為被搜索圖temp。被搜索圖temp上被小圖模板覆的范圍叫作子圖mask,(i,j)為子圖mask運(yùn)動(dòng)過程中左上角在被搜索圖temp上的坐標(biāo)。通過比較子圖mask和temp的相似性,完成模板匹配[19]。

圖4 模板匹配原理圖

傳統(tǒng)的模板匹配算法是采用式(1),計(jì)算mask和temp的相似性,然后經(jīng)過式(2)進(jìn)行歸一化處理,得到模板匹配的相關(guān)系數(shù)R(i,j)。若相關(guān)系數(shù)值R(i,j)=1,則表示模板和子圖完全匹配;否則,在被搜索圖搜索完成后,認(rèn)定R(i,j)的最大值對(duì)應(yīng)的子圖為最終匹配目標(biāo),即

(1)

(2)

顯然,用式(1)、(2)做圖像匹配運(yùn)算量大、速度慢,因此提出誤差法衡量mask和temp的相似性,計(jì)算公式為

(3)

其中,E(i,j)為最小值處被認(rèn)定為最終匹配目標(biāo);Sij(m,n)、T(m,n)為被搜索圖temp和模板mask的像素值。為提高效率、節(jié)省時(shí)間,設(shè)定E0為誤差閾值。當(dāng)E(i,j)>E0時(shí),否定該處的匹配結(jié)果,繼續(xù)下一輪檢測(cè)。由表達(dá)式(3)可知:模板大小和匹配速度成正相關(guān),模板越小,匹配速度越快,反之亦然。

在兩者基礎(chǔ)上提出一種基于距離的相似性計(jì)算法,具體為

(4)

其中,i=1,2,…,m-M+1;j=1,2,…,n-N+1,此temp的原點(diǎn)被設(shè)置在子圖左上角。計(jì)算距離函數(shù)D(i,j)的過程就是在圖像mask(i,j)中逐點(diǎn)地移動(dòng)子圖像temp(i,j)。D(i,j)的值越大,則原圖和樣本之間的相關(guān)性越強(qiáng),D(i,j)的最大值D(i,j)max即為最佳匹配點(diǎn)。給定閾值T的值,若D(i,j)max≥T,則該圖像即為匹配圖像;若D(i,j)max

圖5 不同品種葡萄的二維采摘點(diǎn)定位

2.2 第三維采摘點(diǎn)的定位

成熟鮮食葡萄果實(shí)質(zhì)量較大,檢測(cè)結(jié)果范圍內(nèi)的葡萄果實(shí)質(zhì)心位置基本上能反映實(shí)際葡萄果實(shí)的質(zhì)心位置,通過計(jì)算所有屬于匹配區(qū)域的點(diǎn)計(jì)算質(zhì)心坐標(biāo)即可得到實(shí)際果實(shí)的質(zhì)心坐標(biāo)。機(jī)器人作業(yè)過程中,通過模板匹配確定葡萄果實(shí)所在的二維坐標(biāo),根據(jù)鮮食葡萄果實(shí)的外形特點(diǎn)計(jì)算匹配區(qū)域的葡萄質(zhì)心,確定測(cè)距儀上移位置;然后,利用測(cè)距儀將參考點(diǎn)質(zhì)心上移至整個(gè)葡萄串長(zhǎng)度的5%作為采摘點(diǎn),確定葡萄三維采摘點(diǎn)的位置。至此,完成鮮食葡萄采摘點(diǎn)的識(shí)別與定位。

為更加清晰地表達(dá)本文算法思路,將論文所用算法流程以圖6的形式表達(dá)。

圖6 算法流程框圖

質(zhì)心計(jì)算公式為

(5)

其中,I(x,y)為圖像中該點(diǎn)的灰度值。計(jì)算得出目標(biāo)區(qū)域所有像素點(diǎn)橫縱坐標(biāo)的平均值,即匹配區(qū)域的橫縱坐標(biāo)。

3 試驗(yàn)驗(yàn)證

為驗(yàn)證本文所提算法的可行性,在自然光條件下,從泰安市岱岳區(qū)綠健苑生態(tài)農(nóng)場(chǎng)采集紫、青、紅不同顏色的15個(gè)葡萄品種、共計(jì)75幅圖像進(jìn)行葡萄位置的識(shí)別實(shí)驗(yàn)。

表1為實(shí)驗(yàn)結(jié)果數(shù)據(jù)統(tǒng)計(jì)。由表1可知:本算法對(duì)紅色和紫色識(shí)別成功率較高,采摘識(shí)別成功率可達(dá)到90%。雖然本算法在一定程度上提高了識(shí)別成功率,但仍會(huì)出現(xiàn)識(shí)別不成功導(dǎo)致無法采摘的情況。如何對(duì)本算法進(jìn)一步改良,也是作者下一步的努力方向。

表1 算法實(shí)際驗(yàn)證結(jié)果

4 結(jié)論

1)葡萄采摘點(diǎn)的識(shí)別影響后續(xù)的工作,其生長(zhǎng)環(huán)境復(fù)雜且生長(zhǎng)過程中受葉片、水分和光照等環(huán)境因素的影響,易導(dǎo)致果實(shí)生長(zhǎng)不規(guī)則,給葡萄采摘機(jī)器人識(shí)別和定位造成困難,難以對(duì)葡萄采摘點(diǎn)進(jìn)行精確識(shí)別和定位。本文提出的方法可以解決現(xiàn)有方法的缺陷,實(shí)現(xiàn)多品種葡萄的坐標(biāo)定位。

2)本識(shí)別方法選擇的樣本為紫、青、紅不同顏色的共15個(gè)葡萄品種進(jìn)行葡萄位置的識(shí)別實(shí)驗(yàn)。首先,進(jìn)行具有代表性的紫葡萄進(jìn)行目標(biāo)識(shí)別實(shí)驗(yàn);然后,進(jìn)行二維坐標(biāo)中心點(diǎn)定位實(shí)驗(yàn);最后,進(jìn)行第三維坐標(biāo)點(diǎn)(葡萄采摘點(diǎn))定位試驗(yàn)。結(jié)果表明:在自然光條件下,葡萄采摘機(jī)器人能夠適應(yīng)不同葡萄品種的采摘條件,采摘識(shí)別成功率達(dá)到90%,為葡萄采摘機(jī)器人的發(fā)展提供了借鑒。