基于深度學(xué)習(xí)的自然環(huán)境下刺梨果實(shí)識(shí)別

閆建偉,趙 源,蘇小東,劉紅蕓,張樂(lè)偉,張富貴,3,樊衛(wèi)國(guó),何 林,4,5

(1.貴州大學(xué) 機(jī)械工程學(xué)院,貴陽(yáng) 550025;2.國(guó)家林業(yè)和草原局刺梨工程技術(shù)研究中心,貴陽(yáng) 550025;3.貴州省山地農(nóng)業(yè)智能裝備工程研究中心,貴陽(yáng) 550025;4.貴州省特色裝備及制造技術(shù)重點(diǎn)實(shí)驗(yàn)室,貴陽(yáng) 550025;5.六盤(pán)水師范學(xué)院,貴州 六盤(pán)水 553004)

0 引言

刺梨廣泛分布于暖溫帶及亞熱帶地區(qū),在我國(guó)主要分布于貴州、四川、云南等地,其中貴州的刺梨資源最豐富,產(chǎn)量最高。目前,對(duì)刺梨果實(shí)的采摘技術(shù)還停留在人工采摘階段,國(guó)內(nèi)外尚無(wú)刺梨果實(shí)識(shí)別方面的研究。刺梨果實(shí)生長(zhǎng)環(huán)境復(fù)雜,刺梨樹(shù)枝葉繁多,遮擋嚴(yán)重,大大增加了刺梨果實(shí)識(shí)別的難度。

國(guó)內(nèi)外在果實(shí)及其他農(nóng)作物的識(shí)別方面已有大量的研究,但幾乎沒(méi)有刺梨果實(shí)識(shí)別的研究。李震等[1]利用K-means方法在Lab模型顏色空間中對(duì)紅蜘蛛進(jìn)行了識(shí)別,但識(shí)別過(guò)程需要大量的時(shí)間成本,且識(shí)別的品種單一,沒(méi)有普適性。周洪剛等[2]利用2R-G-B色差分量及最小二乘擬合方法等對(duì)成熟柑橘進(jìn)行了自動(dòng)識(shí)別研究,識(shí)別正確率在90%以上。彭珂等[3]通過(guò)機(jī)器嗅覺(jué)技術(shù)對(duì)柑橘進(jìn)行了有效的識(shí)別與分類研究,其正確識(shí)別率較高。蔡健榮等[4]采用2R-G-B色差分量等方法對(duì)自然場(chǎng)景下成熟柑橘進(jìn)行識(shí)別,但對(duì)于果實(shí)表面有較大反光情況下的柑橘識(shí)別率較低且會(huì)產(chǎn)生虛假目標(biāo)和誤判現(xiàn)象。解衛(wèi)華等[5]提出一種基于圖像識(shí)別的多角度柑橘檢測(cè)方法,但是由于是多個(gè)角度檢測(cè),對(duì)數(shù)據(jù)和設(shè)備有較高的需求,對(duì)于色差較大的柑橘的正確識(shí)別不夠理想;金超杞等[6]選用MatLab的圖像處理工具箱對(duì)番茄果實(shí)串進(jìn)行檢測(cè)和提取,但只能應(yīng)用于成熟的番茄果實(shí)串的檢測(cè)。蘇博妮等[7]通過(guò)計(jì)算機(jī)視覺(jué)等技術(shù),對(duì)草莓進(jìn)行了有效識(shí)別。孫陽(yáng)等[8]利用MatLab和圖像處理技術(shù)對(duì)無(wú)花果果實(shí)進(jìn)行處理和識(shí)別研究,正確率達(dá)到89.5%。李小陽(yáng)等[9]利用PerkinElmer Spectrum One 傅里葉變換紅外光譜對(duì)當(dāng)歸進(jìn)行鑒別,可以為車前草的質(zhì)量控制提供參考。龍金輝等[10]提出一種基于圖像約束聚類分割的柑橘果實(shí)識(shí)別算法,能夠較理想地對(duì)柑橘果實(shí)進(jìn)行分割。Illingworth等[11]運(yùn)用圓形Hough變換(CHT)對(duì)西紅柿的邊緣進(jìn)行了識(shí)別,由于閾值的控制不理想,對(duì)于在光線變化較大的情況下并不適用。全國(guó)各地每年刺梨的產(chǎn)量較大,面對(duì)如此大產(chǎn)量的農(nóng)業(yè)產(chǎn)品,全部依靠人工采摘是一種高成本低效率的作業(yè)。因此,自然環(huán)境下刺梨的識(shí)別定位是研究的重點(diǎn)與難點(diǎn),這一研究將會(huì)提高刺梨的采摘效率。

1 刺梨果實(shí)提取

1.1 圖像分割

本文使用的刺梨圖像采集于貴州省龍里縣谷腳鎮(zhèn),拍照時(shí)間為2018年9月,刺梨圖像包含陰晴天氣、不同光照及樹(shù)枝樹(shù)葉遮擋等各種情況下的刺梨圖像,通過(guò)0.57R-0.18G-0.2B色差分量與Ostu自適應(yīng)閾值分割,對(duì)刺梨圖像進(jìn)行處理,能夠快速分割出刺梨果實(shí)。利用高斯濾波對(duì)刺梨圖像進(jìn)行去噪,采用濾波器為模板構(gòu)成的結(jié)構(gòu)元素,sigmal為濾波系數(shù),取值為1。提取真彩色RBG圖像中各分量的直圖,分別進(jìn)行相應(yīng)的均化操作,結(jié)合0.57R-0.18G-0.2B色差分量和Ostu自適應(yīng)閾值分割算法對(duì)刺梨果實(shí)進(jìn)行初次提取,通過(guò)觀察色差分量灰度圖和Ostu自適應(yīng)閾值分割圖的直方圖,在整個(gè)灰度級(jí)中像素?cái)?shù)波形圖為兩峰分布,如圖1所示。

圖1 (0.57R-0.18G-0.2B)圖像的直方圖Fig.1 Histogram of the(0.57R-0.18G-0.2B) image

1.2 連通區(qū)域標(biāo)記

采用8鄰域順序法遍歷刺梨二值圖像,利用Ostu自適應(yīng)閾值法對(duì)分割出來(lái)的刺梨二值圖像進(jìn)行標(biāo)記,并將每一個(gè)連通區(qū)域用不同的數(shù)值進(jìn)行標(biāo)識(shí),以表示不同的連通區(qū)域。同一連通區(qū)域的每一個(gè)像素點(diǎn)用相同的數(shù)值標(biāo)識(shí)[12]。

1.3 目標(biāo)區(qū)域提取

將標(biāo)記出來(lái)的連通區(qū)域進(jìn)行面積計(jì)算,運(yùn)用連通區(qū)域閾值的方法,去除大部分遠(yuǎn)小于刺梨果實(shí)目標(biāo)面積的連通區(qū)域,如圖2所示。由于部分樹(shù)枝和枯葉與刺梨顏色相近,以及目標(biāo)周圍部分背景與目標(biāo)區(qū)域融合,需要對(duì)處理后的圖像進(jìn)行二次分割,以達(dá)到理想的果實(shí)識(shí)別效果。結(jié)合YCbCr顏色空間模型中的Y、Cb和Cr分量,利用各分量閾值的方法對(duì)圖像進(jìn)行二次分割,根據(jù)MatLab中的圖像閾值顏色分析工具Color Thresholder對(duì)刺梨圖像進(jìn)行分析,選用閾值條件為：0≤Y≤256、0≤Cb≤115、138≤Cr≤256,再利用連通區(qū)域面積閾值法對(duì)圖像進(jìn)行近一步分割,得到二次分割結(jié)果,如圖2(h)所示。

(a) 灰度圖像 (b) 色差圖 (c) Ostu閾值分割 (d) 面積閾值分割 (e) 一次分割

2 刺梨特征提取

2.1 區(qū)域圖像分割

當(dāng)刺梨相鄰時(shí),分割出來(lái)的圖像連通區(qū)域很可能會(huì)連在一起,不利于對(duì)單個(gè)刺梨進(jìn)行檢測(cè)。因此,需要對(duì)二值圖像中易產(chǎn)生不同連通區(qū)域相連的情況進(jìn)行進(jìn)一步的圖像處理。

采用分水嶺圖像分割算法對(duì)局部圖像連通區(qū)域進(jìn)行分割,利用chessboard距離轉(zhuǎn)換算法,將二值圖像轉(zhuǎn)換為灰度圖像,畫(huà)出圖像的等高線,確定分割界限并實(shí)現(xiàn)將刺梨連通區(qū)域正確分離,如圖3所示。

(a) 距離轉(zhuǎn)換圖 (b) 等高線圖圖3 區(qū)域分割結(jié)果Fig.3 Regional segmentation result

2.2 質(zhì)心位置標(biāo)記

記圖像中每一像素在x方向上坐標(biāo)為xi,對(duì)應(yīng)的像素值為pi,質(zhì)心在x方向上坐標(biāo)為x,用式(1)和式(2)表示,即

(1)

(2)

對(duì)于x方向的質(zhì)心,通過(guò)質(zhì)心的左右兩邊像素對(duì)稱原理進(jìn)行確定;對(duì)于y方向上的質(zhì)心,通過(guò)上下兩邊像素對(duì)稱原理進(jìn)行確定。

2.3 單個(gè)刺梨果實(shí)檢測(cè)

選用Sobel算子進(jìn)行刺梨果實(shí)輪廓檢測(cè),再應(yīng)用Hough圓檢測(cè)[13]對(duì)刺梨果實(shí)外圓進(jìn)行檢測(cè)標(biāo)記。通過(guò)圖像空間和參數(shù)空間中的線和點(diǎn)的對(duì)稱性,將圖像中的線轉(zhuǎn)換到參數(shù)空間,并集合到一點(diǎn),通過(guò)對(duì)Hough圓檢測(cè)的相關(guān)參數(shù)進(jìn)行調(diào)整,以實(shí)現(xiàn)對(duì)刺梨果實(shí)的輪廓進(jìn)行圓的擬合。

2.4 累加器參數(shù)設(shè)置

幾乎在所有可以用f(x,a)=0表示的圖形中,都可以采用Hough變換對(duì)其中的圖形邊緣進(jìn)行有效地檢測(cè)。其中,a為系數(shù)向量,x為坐標(biāo)向量。通過(guò)對(duì)圓的一般方程(x-a)2+(y-b)2=r2進(jìn)行相應(yīng)的編程及推導(dǎo),以實(shí)現(xiàn)Hough變換對(duì)圓的檢測(cè)。在圓的檢測(cè)過(guò)程中,會(huì)將參數(shù)空間中的不同的單元視為不同的累加器并進(jìn)行相應(yīng)的初始化操作,再通過(guò)圖像空間中參數(shù)方程的計(jì)算和累加,獲取對(duì)應(yīng)的圖像參數(shù);緊接著,利用圖像中的梯度信息,進(jìn)行Hough圓變換。對(duì)公式中的x進(jìn)行求導(dǎo),以得到相應(yīng)的二維空間中的參數(shù),即

(3)

式中 (a,b)—果實(shí)質(zhì)心坐標(biāo)。

本文Hough變換檢測(cè)的圓半徑步長(zhǎng)為1,角度步長(zhǎng)為0.05rad,變換閾值為0.72。由上述Hough圓檢測(cè)即可得到果實(shí)的圓心坐標(biāo)(a,b)及圓的半徑r,最終擬合出刺梨果實(shí)外圓,結(jié)果如圖4所示。

(a) 質(zhì)心標(biāo)注 (b) Sobel邊緣檢測(cè) (c) Hough圓檢測(cè) (d) 最終結(jié)果圖4 最終識(shí)別結(jié)果Fig.4 Final recognition result

3 獨(dú)立和粘連圖像分割

對(duì)于圖像中即有獨(dú)立果實(shí)也有相鄰粘連和遮擋果實(shí)的情況,需要對(duì)圖像中的相鄰粘連果實(shí)單獨(dú)提取出來(lái),并對(duì)其進(jìn)行分離。取白色像素點(diǎn)區(qū)域中面積最大的區(qū)域的3/4為閾值,通過(guò)刪除小面積區(qū)域法,將面積大于最大連通區(qū)域面積2/3的區(qū)域單獨(dú)提取出來(lái),再利用分水嶺分割算法中的局部極小值法對(duì)粘連果實(shí)進(jìn)行分離,處理結(jié)果如圖5所示。刺梨遮擋情況下的刺梨圖像修復(fù)處理過(guò)程,如圖6所示。

(a) 彩色圖分割結(jié)果 (b) 質(zhì)心標(biāo)注圖 (c) 邊緣檢測(cè) (d) Hough圓檢測(cè) (e) 邊緣圓擬合圖5 相鄰果實(shí)圖像分割Fig.5 Mixed image fruit recognition

(a) 彩色圖分割 (b) 質(zhì)心標(biāo)注圖 (c) 邊緣檢測(cè) (d) Hough圓檢測(cè) (e) 遮擋果實(shí)修復(fù)圖6 遮擋果實(shí)圖像識(shí)別Fig.6 Fruit recognition under occlusion

4 重疊果實(shí)的分割

在基于圖像處理的果實(shí)識(shí)別研究中,除了考慮相互獨(dú)立及樹(shù)枝或樹(shù)葉遮擋的情況,對(duì)于刺梨果實(shí)相互重疊的情況的識(shí)別也尤為關(guān)鍵[14]。

本文通過(guò)利用刺梨最小外接矩形的長(zhǎng)寬比作為重疊與否的判別依據(jù),以長(zhǎng)寬比b/a>1.3為閾值,確定刺梨果實(shí)存在重疊情況。對(duì)于長(zhǎng)寬比小于1.3的連通區(qū)域,則不用對(duì)該區(qū)域進(jìn)行分割操作;對(duì)大于該長(zhǎng)寬比閾值的區(qū)域,即重疊果實(shí),則需要進(jìn)行分割,對(duì)分割后的圖像進(jìn)行Gauss-Laplace輪廓識(shí)別。Gauss-Laplace算子是兩種算子的結(jié)合,一種是二階導(dǎo)數(shù)算子拉普拉斯,另一種是高斯算子。結(jié)合腐蝕和膨脹等圖像處理方法對(duì)圖像進(jìn)行分割處理以提取重疊 果實(shí)中每個(gè)果實(shí)的輪廓,再將二值圖像中白色的像素點(diǎn)替換為彩色圖像中相應(yīng)矩陣位置的像素點(diǎn),達(dá)到提取重疊果實(shí)中各單個(gè)果實(shí)輪廓的目的,提取結(jié)果如圖7所示。

(a) Gauss-Laplace邊緣檢測(cè) (b) 重疊果實(shí)分割 (c) 最終結(jié)果圖7 重疊情況下的果實(shí)識(shí)別Fig.7 Fruit recognition under overlapping conditions

5 算法流程及結(jié)果分析

對(duì)刺梨果實(shí)識(shí)別的算法流程圖如圖8所示。

圖8 圖像處理流程圖Fig.8 Flow diagram of Image processing

通過(guò)對(duì)60幅不同環(huán)境下拍攝的刺梨圖像進(jìn)行識(shí)別,正確識(shí)別率達(dá)到92%以上,刺梨果實(shí)外圓擬合檢測(cè)精度較高,識(shí)別正確率均在92.3%以上,如表1所示。

表1 識(shí)別結(jié)果Table 1 Recognition result

6 結(jié)論

1)采用0.57R-0.18G-0.2B色差分量、Ostu適應(yīng)閾值分割及連通區(qū)域面積閾值等方法對(duì)自然條件下的刺梨果實(shí)圖像進(jìn)行分割,能夠?qū)Υ汤婀麑?shí)進(jìn)行有效識(shí)別,并適用于絕大部分刺梨的識(shí)別。但是,對(duì)于強(qiáng)反光和極弱光條件下的刺梨識(shí)別效果不太理想。

2)利用改進(jìn)的Hough圓變換算法,對(duì)刺梨果實(shí)外圓進(jìn)行擬合,獲得果實(shí)質(zhì)心坐標(biāo)及其半徑;但由于該算法是基于圖像處理的目標(biāo)識(shí)別,識(shí)別準(zhǔn)確率受外部條件影響較大, 當(dāng)遮擋面積增大, 識(shí)別準(zhǔn)確率也會(huì)隨之降低。

3)采用適用于刺梨果實(shí)分離的分水嶺分割算法,能夠?qū)φ尺B和重疊的刺梨果實(shí)進(jìn)行有效的分離識(shí)別,實(shí)現(xiàn)單個(gè)刺梨的識(shí)別。

4)算法主要基于圖像的顏色特征和形狀特征等深度信息對(duì)刺梨果實(shí)進(jìn)行識(shí)別,也適用于其他任何類似顏色和形狀特征的物體識(shí)別。