基于圖像處理的成熟草莓檢測技術(shù)研究

杜芳芳,王 丹,楊 強(qiáng)

(黃河交通學(xué)院,河南 武陟 454950)

0 引言

草莓營養(yǎng)豐富,具有較高的營養(yǎng)價值。隨著種植和病蟲害防治技術(shù)水平的提高,我國的草莓種植面積逐漸增加。但是,草莓成熟具有不定期的特點(diǎn),需要人工方式進(jìn)行采摘,勞動強(qiáng)度和作業(yè)量都非常大[1],嚴(yán)重制約了草莓產(chǎn)業(yè)的發(fā)展。

為了提升草莓的生產(chǎn)率,降低草莓采摘的勞動強(qiáng)度,很多果農(nóng)采用了機(jī)械采摘的方式替代人工采摘。由于草莓具有鮮嫩及不易儲存的特點(diǎn),為了降低草莓腐蝕帶來的損失,需要根據(jù)草莓的狀態(tài)按照成熟度采摘。如需要長距離運(yùn)輸或貯藏,則需要在草莓未成熟時采摘;如就地銷售,則需要采摘完全成熟的草莓。草莓的成熟狀態(tài)包括不成熟、成熟和完全成熟[2-3]。然而,單純的機(jī)械采摘方式無法有效識別草莓的成熟度,在草莓采摘完成后還需要人工檢測方式進(jìn)行篩分,檢測效率低且易增加草莓的損壞率。

機(jī)器視覺系統(tǒng)的核心是圖像處理技術(shù),即利用計算機(jī)對圖像的相關(guān)數(shù)據(jù)進(jìn)行運(yùn)算,將低質(zhì)量圖像中的噪聲、畸變進(jìn)行處理,得到機(jī)器可檢測的圖像。在很多流水線作業(yè)生產(chǎn)中,使用機(jī)器視覺系統(tǒng)替代人眼進(jìn)行產(chǎn)品質(zhì)量的檢查,有效提高了生產(chǎn)效率、安全性和智能化程度。因此,可把機(jī)器視覺系統(tǒng)應(yīng)用于草莓的機(jī)械采摘,即采用圖形處理技術(shù)進(jìn)行草莓成熟度的檢測。為此,本文基于圖像處理對成熟草莓檢測技術(shù)進(jìn)行研究。

1 硬件設(shè)計

1.1 總體設(shè)計

綜合考慮草莓的種植環(huán)境,草莓視覺檢測系統(tǒng)的硬件組成主要包括CCD攝像頭、圖像采集卡、計算機(jī)主機(jī)、光源、繼電器和運(yùn)動控制設(shè)備,如圖1所示。

圖1 草莓視覺檢測系統(tǒng)結(jié)構(gòu)示意圖Fig.1 The schematic diagram of strawberry vision detection system

1.2 CCD攝像頭

CCD攝像頭可以看作視覺傳感器,用于采集草莓的圖像信息。根據(jù)檢測的精度及視野范圍,CCD攝像頭選擇松下WV-CP470型號的CCD攝像頭。該攝像頭具有高精度的CCD圖像傳感器以及可以大規(guī)模處理數(shù)字信號的集成電路,使得采集的圖像分辨率和質(zhì)量較高。

該視覺檢測系統(tǒng)應(yīng)用于草莓采摘機(jī)器人時,一般設(shè)置兩個CCD攝像頭,采用雙目視覺系統(tǒng)進(jìn)行草莓的定位,以保證采摘精度。雙目視覺的原理圖如圖2所示。

圖2 雙目視覺原理圖Fig.2 The schematic diagram of binocular vision

1.3 圖像采集卡

圖像采集卡的作用是將采集到圖片的模擬信號轉(zhuǎn)變?yōu)橛嬎銠C(jī)可識別的數(shù)字信號,并將信號傳遞至計算機(jī)主機(jī)進(jìn)行分析、處理和存儲。在此,采用大恒公司生產(chǎn)的DH-CG320型號圖像采集卡,數(shù)量與CCD攝像頭的數(shù)量對應(yīng),為2個。

1.4 計算機(jī)主機(jī)

計算機(jī)主機(jī)是草莓視覺檢測系統(tǒng)的中樞機(jī)構(gòu),用于對圖像采集卡接收到的圖像進(jìn)行處理和分析,提取草莓信息,生成指令信息,傳遞至草莓采摘機(jī)器人執(zhí)行。考慮到系統(tǒng)的作業(yè)環(huán)境較為惡劣,同時還要保證對圖片信息的處理速度,采用適用于處理圖形信息且運(yùn)行速率較快的研華PCM9575型號的主機(jī)。

1.5 光源

光源主要為系統(tǒng)提供照明,以保證拍照的最佳效果。考慮到草莓的表面顏色為紅色,故系統(tǒng)的光源選擇為白色的高頻日光燈。由于環(huán)境光會對拍攝的圖像產(chǎn)生噪聲,因此在光源周圍設(shè)置防護(hù)屏,以降低圖像噪聲。

1.6 繼電器

繼電器用于控制系統(tǒng)電路的斷開和閉合,為保證系統(tǒng)作業(yè)的穩(wěn)定性,選擇采用GTJ9-10A的固態(tài)繼電器。該繼電器為無觸點(diǎn)的電子開關(guān),不含有機(jī)械運(yùn)動,僅依靠可控硅或晶體管即可控制電流的開閉。繼電器的接線示意圖如圖3所示。

圖3 繼電器的接線示意圖Fig.3 The wiring diagram of relay

1.7 運(yùn)動控制設(shè)備

在檢測過程中,攝像頭視野范圍受限,為對草莓種植環(huán)境進(jìn)行拍攝,需要相應(yīng)的運(yùn)動控制設(shè)備進(jìn)行控制。運(yùn)動控制設(shè)備一般為草莓采摘機(jī)器人的各部件,如導(dǎo)軌、電氣和驅(qū)動裝置等。

2 成熟草莓圖像檢測算法設(shè)計

對于成熟草莓的檢測,需要根據(jù)草莓的表面顏色以及紅色所占的面積比來確定草莓的成熟度。草莓成熟度的識別過程如圖4所示。其中,圖像檢測算法和神經(jīng)網(wǎng)絡(luò)模型設(shè)計是系統(tǒng)的核心。

圖4 草莓成熟度的識別過程Fig.4 The identification of strawberry maturity

2.1 圖像檢測算法設(shè)計

處于采摘期的草莓,其表皮顏色均相近,但與周圍的環(huán)境顏色具有較大的差別。這種顏色分布放置于色彩空間,則是果實(shí)顏色與背景顏色的差別。由于草莓周圍環(huán)境主要為綠色枝葉或近于黃色的枯葉,與草莓顏色差別較大,故采用圖像分割算法中的ISODATA分割算法進(jìn)行草莓目標(biāo)的提取。草莓的圖像檢測算法流程如圖5所示。

1)CCD攝像機(jī)完成圖像的采集后,第1步是去噪處理。拍攝的草莓圖像由于外界環(huán)境的干擾都存在一定程度的噪聲,使圖像模糊,為了后續(xù)的圖像分析,需要進(jìn)行去噪處理。在此,采用中值濾波和高斯濾波綜合的方式進(jìn)行去噪。

2)第2步是進(jìn)行圖像的預(yù)處理。由于采用CCD攝像頭拍攝的圖片是在RGB彩色模型下顯示,但是莓圖像在該模型中無明顯的分辨規(guī)律,不易于后續(xù)圖像的處理,故需要將其轉(zhuǎn)變?yōu)橐子趫D像顏色提取的HIS顏色模型[4-5]。RGB和HIS彩色模型分別如圖6(a)和圖6(b)所示。

RGB模型是在笛卡爾坐標(biāo)系中建立,HIS模型是在柱坐標(biāo)系中建立,若將RGB顏色模型轉(zhuǎn)變?yōu)镠IS模型,只需把RGB的坐標(biāo)值轉(zhuǎn)變至柱坐標(biāo)系即可。假設(shè)某顏色在RGB單位立方體的紅、綠和藍(lán)的三原色的坐標(biāo)為(R,G,B),則由RGB轉(zhuǎn)變?yōu)镠IS的計算公式為

其中,θ計算公式為

其中,R、G和B的范圍均為[0,1];Mmin為R、G和B的最小值。

3)第3步為圖像的分割。在拍攝的圖像中,除了草莓外,還包含葉子和地膜等。為了從這些背景中有效地分割出草莓區(qū)域,采用ISODATA算法進(jìn)行圖片的處理,從而將草莓從綠色的莖葉和黑色地膜中分離出來。這種算法具有效率高和易適應(yīng)的優(yōu)點(diǎn)。

4)第4步為圖像孔洞填充。圖像在分割完成后,由于拍攝過程中的光照等因素,還會存在大小不一的孔洞,影響后續(xù)圖像的處理。對于草莓圖像,采用運(yùn)算較為簡單的數(shù)學(xué)形態(tài)學(xué)法進(jìn)行處理[6],該算法主要包括腐蝕、膨脹和填充算法。對于目標(biāo)周邊邊界點(diǎn)的消除,采用腐蝕算法;對于需要將與目標(biāo)接觸的背景點(diǎn)合并至目標(biāo)圖像,采用膨脹算法;對于窄且細(xì)的、簡單的斷開和消除,采用填充算法,從而完成圖像的處理。

2.2 神經(jīng)網(wǎng)絡(luò)模型設(shè)計

在采用BP神經(jīng)網(wǎng)絡(luò)對草莓進(jìn)行成熟度劃分之前,首先需要提取草莓成熟度的特征參數(shù)。通過對比發(fā)現(xiàn):不同成熟度草莓之間的顏色以及紅色面積比的特征差異較大;而對于采集的圖像均已轉(zhuǎn)化為HIS彩色模型,其中的亮度“I”和飽和度“S”基本無差異,顏色差異主要體現(xiàn)在色調(diào)“H”。因此,區(qū)分草莓成熟度的參數(shù)選擇為H值、方差和紅色面積比,并將這3個參數(shù)作為BP神經(jīng)網(wǎng)絡(luò)的輸入值。

BP神經(jīng)網(wǎng)絡(luò)主要包括3層,分別為輸入層、隱含層和輸出層,各層的神經(jīng)元個數(shù)分別為m、n、p。網(wǎng)絡(luò)輸入層的輸入值X為(x1,x2,…,xm);隱含層的輸入值hi和輸出值ho分別為(hi1,hi2,…,hin)和(ho1,ho2,…,hon);輸出層的輸入值yi和輸出值yo分別為(yi1,yi2,…,yip)和(yo1,yo2,…,yop);隱含層的函數(shù)為f;樣本個數(shù)為N。

BP神經(jīng)網(wǎng)絡(luò)算法的流程圖如圖7所示。

圖7 BP神經(jīng)網(wǎng)絡(luò)算法流程圖Fig.7 BP neural network algorithm flow chart

首先,將BP神經(jīng)網(wǎng)絡(luò)初始化。將輸入層和隱含層的連接權(quán)值ωsy、隱含層和輸出層的連接權(quán)值ωyc分別賦值(-1,1)任意數(shù),確定網(wǎng)絡(luò)計算精度ε和最大學(xué)習(xí)次數(shù)M。其次,選擇第k個樣本,給定輸出層期望的輸出值為d0(k)。再次,計算隱含層所有神經(jīng)元的輸入值hiy(k)和輸出值hoy(k)。

hoy(k)=f[hiy(k)],h=1,2,...,n

輸出層所有神經(jīng)元的輸入值yis(k)和輸出值yos(k)分別為

yos(k)=f[yis(k)],o=1,2,...,p

最后,根據(jù)誤差修正各連接層權(quán)值ωsy和ωyc,并計算整個網(wǎng)絡(luò)的全局誤差E。

若網(wǎng)絡(luò)的計算精度和最大學(xué)習(xí)次數(shù)符合要求,則停止運(yùn)算,并輸出計算結(jié)果,確定采集圖片中草莓的成熟度。

3 試驗(yàn)結(jié)果

為了驗(yàn)證該草莓視覺系統(tǒng)的性能,需要對其試驗(yàn)。由于系統(tǒng)采用BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行成熟度的劃分,需要對該系統(tǒng)進(jìn)行訓(xùn)練,再對訓(xùn)練完成的系統(tǒng)進(jìn)行測試試驗(yàn)。

BP神經(jīng)網(wǎng)絡(luò)的建立和樣本的訓(xùn)練均在MatLab環(huán)境下,設(shè)定系統(tǒng)的最大循環(huán)次數(shù)為1000次,誤差精度為0.001,學(xué)習(xí)效率為0.1。由果農(nóng)選定“完全成熟”“成熟”“不成熟”的草莓圖片各50幅,對系統(tǒng)進(jìn)行訓(xùn)練,直到誤差精度小于設(shè)定誤差時停止訓(xùn)練。之后,調(diào)整系統(tǒng)的光照和CCD攝像頭,保證拍攝效果。由果農(nóng)重新選定“完全成熟”“成熟”“不成熟”的草莓,通過系統(tǒng)進(jìn)行拍照并識別,結(jié)果如表1所示。

表1 草莓成熟度識別結(jié)果

由表1可知:對于“完全成熟”“成熟”“不成熟”的草莓,系統(tǒng)的識別成功率均在90%以上,符合果農(nóng)的要求。未識別成功的草莓,可能是由于實(shí)際設(shè)備操作以及外部環(huán)境等原因,影響圖片拍攝的亮度,從而使草莓成熟度的識別出現(xiàn)誤差。

4 結(jié)論

1)目前草莓成熟度的區(qū)分,具有檢測效率低且易增加草莓損壞率的問題,本文基于圖像處理對成熟草莓檢測技術(shù)進(jìn)行了研究。草莓視覺檢測系統(tǒng)的硬件組成主要包括CCD攝像頭、圖像采集卡、計算機(jī)主機(jī)、光源、繼電器和運(yùn)動控制設(shè)備。

2)系統(tǒng)采用圖像處理算法和BP神經(jīng)網(wǎng)絡(luò)算法對草莓成熟度進(jìn)行檢測。工作時,通過攝像頭拍攝圖片,并對草莓圖片進(jìn)行預(yù)處理、分割和濾波等處理和分析;然后,采用BP神經(jīng)網(wǎng)絡(luò)算法識別出不同成熟度的草莓。

3)為了驗(yàn)證系統(tǒng)的性能,采用確定成熟度的草莓對系統(tǒng)進(jìn)行訓(xùn)練和測試,結(jié)果表明:系統(tǒng)可以準(zhǔn)確識別草莓的成熟度。