基于計(jì)算機(jī)視覺的蘋果樹果實(shí)缺陷探測(cè)研究

徐廣飛

摘要：蘋果分級(jí)是將其自身的大小、缺陷作為關(guān)鍵性的評(píng)估指標(biāo)，文章根據(jù)計(jì)算機(jī)視覺技術(shù)蘋果分級(jí)研究現(xiàn)狀，結(jié)合實(shí)際需要探討一種能夠?qū)μO果進(jìn)行分選的檢測(cè)系統(tǒng)，并對(duì)R通道方法進(jìn)行簡(jiǎn)單的介紹，同時(shí)對(duì)檢測(cè)系統(tǒng)的應(yīng)用效果進(jìn)行試驗(yàn)。結(jié)果顯示，這種算法具備可行性，可以取得良好的應(yīng)用效果。基于此，文章以蘋果樹發(fā)病時(shí)葉片顏色、紋理呈現(xiàn)的差異作為依據(jù)，巧妙地使用計(jì)算機(jī)視覺技術(shù)，研發(fā)出一套可以診斷蘋果樹病害的檢測(cè)系統(tǒng)。

關(guān)鍵詞：計(jì)算機(jī)視覺；蘋果分級(jí)；檢測(cè)系統(tǒng)；應(yīng)用效果

中圖分類號(hào)：TP39? 文獻(xiàn)標(biāo)志碼：A

0 引言

蘋果樹病害控制的科學(xué)方法是在蘋果發(fā)育的早期階段及時(shí)發(fā)現(xiàn)病害，判斷蘋果病害的類型。以傳統(tǒng)型的果蔬種植狀況進(jìn)行分析，在對(duì)果蔬的病害進(jìn)行診斷時(shí)，基本上都是依靠個(gè)人的既往經(jīng)驗(yàn)進(jìn)行判斷，這種方法雖然不具備科學(xué)性，但確定可以有效地解決部分問(wèn)題。但是我們也應(yīng)該清楚地認(rèn)識(shí)到，農(nóng)戶的肉眼分辨能力是有限的，當(dāng)農(nóng)戶判斷果樹出現(xiàn)病害時(shí)，其實(shí)果樹的病害已經(jīng)處于一個(gè)非常嚴(yán)重的狀態(tài)。

1 蘋果分選和缺陷檢測(cè)系統(tǒng)設(shè)計(jì)

1.1 圖像采集與系統(tǒng)結(jié)構(gòu)

蘋果樹果實(shí)探測(cè)研究的圖像采集流程為：?jiǎn)?dòng)系統(tǒng)內(nèi)置的攝像頭，系統(tǒng)會(huì)自動(dòng)將攝像頭的運(yùn)行方式調(diào)整為連續(xù)多幀工作方式。攝像頭應(yīng)用軟件的技術(shù)參數(shù)可以進(jìn)行調(diào)整，且攝像范圍可以根據(jù)實(shí)際需要進(jìn)行調(diào)整，還能夠?qū)崿F(xiàn)自動(dòng)變焦功能；攝像頭在掃描蘋果果實(shí)的過(guò)程中，將蘋果果實(shí)的整個(gè)外形全部掃描，當(dāng)一個(gè)蘋果果實(shí)掃描完成以后，轉(zhuǎn)而對(duì)下一個(gè)目標(biāo)進(jìn)行掃描。攝像頭的掃描速度為25幀/s，掃描一幀圖像的時(shí)間大概為40 ms［1］。檢測(cè)系統(tǒng)的結(jié)構(gòu)組成如圖1所示。

1.2 系統(tǒng)工作原理

為了能夠?qū)崿F(xiàn)對(duì)蘋果果實(shí)的體積、缺陷進(jìn)行檢測(cè)，此次研究使用了圖像RGB通道中的R通道進(jìn)行處理。究其原因，主要是：（1）假若使用灰度圖，那么則可能導(dǎo)致掃描結(jié)果圖像丟失非常多的元素信息，導(dǎo)致蘋果果實(shí)分級(jí)不夠精準(zhǔn)；（2）選擇使用R通道可以縮短一定的處理時(shí)間，且處理結(jié)果相對(duì)更為精準(zhǔn)，可以滿足實(shí)際應(yīng)用的需求。

對(duì)檢測(cè)系統(tǒng)收集到的R通道采取閾值處理，提前將檢測(cè)系統(tǒng)的閾值設(shè)置為70，將t=70作為標(biāo)準(zhǔn)，按照以下表達(dá)式對(duì)圖像的R通道進(jìn)行處理，由此就可以獲取到二值圖像g（x， y）：

g（x，y）=255若f（x，y）≥T

0若f（x，y）

在經(jīng)過(guò)閾值處理以后，R通道就會(huì)轉(zhuǎn)變?yōu)楹诎锥祱D，在此基礎(chǔ)上對(duì)R通道進(jìn)行處理，其處理效率可以得到大幅度的提升。攝像頭在攝像時(shí)使用的黑色背景，便于對(duì)圖像進(jìn)行降噪、運(yùn)算等處理。

蘋果果實(shí)的RGB圖像內(nèi)的R通道在經(jīng)過(guò)閾值處理以后，其數(shù)值均為255，統(tǒng)計(jì)圖像中的R通道數(shù)值為255像素。經(jīng)過(guò)數(shù)據(jù)的全面統(tǒng)計(jì)以后得出，可以將蘋果果實(shí)的分級(jí)直徑標(biāo)定不同的像素范圍。

在對(duì)采集到的蘋果圖像進(jìn)行閾值處理以后，檢測(cè)系統(tǒng)則可以對(duì)蘋果的缺陷進(jìn)行檢測(cè)，缺陷檢測(cè)分級(jí)的整個(gè)過(guò)程分為兩個(gè)檢測(cè)階段：一是缺陷分割檢測(cè)階段；二是缺陷識(shí)別檢測(cè)階段。分割算法主要負(fù)責(zé)檢測(cè)出蘋果存在缺陷的具體區(qū)域，主要包括真實(shí)缺陷區(qū)與梗萼區(qū)；識(shí)別算法則是對(duì)缺陷區(qū)域做進(jìn)一步的檢測(cè)，判斷其是屬于真實(shí)缺陷區(qū)，還是屬于梗萼區(qū)。具體的檢測(cè)流程如下：

（1）對(duì)蘋果果實(shí)的RGB圖像中R通道做二值化處理，處理過(guò)程中會(huì)對(duì)圖像的不同區(qū)域進(jìn)行編號(hào)處理，同時(shí)標(biāo)注出不同的缺陷區(qū)域；

（2）計(jì)算出缺陷區(qū)域的面積，借助底層處理措施將圖像中的小噪聲點(diǎn)消除，并對(duì)真實(shí)缺陷區(qū)、梗萼區(qū)進(jìn)行區(qū)分；

（3）使用識(shí)別算法對(duì)缺陷區(qū)域做進(jìn)一步的檢測(cè)，判斷其是屬于真實(shí)缺陷區(qū)，還是屬于梗萼區(qū)。

1.3 缺陷檢測(cè)算法流程

通過(guò)檢測(cè)以后發(fā)現(xiàn)，蘋果果實(shí)的缺陷基本上都是集中在凸出面，主要是因?yàn)橥钩雒娓菀资艿酵獠孔饔昧Α．?dāng)攝像頭在采集到蘋果圖像以后，結(jié)合圖像的RGB數(shù)值判斷出蘋果病害發(fā)生的區(qū)域。對(duì)蘋果果實(shí)RGB圖像中的R通道做二值化處理，處理過(guò)程中會(huì)對(duì)圖像的不同區(qū)域進(jìn)行編號(hào)處理，同時(shí)標(biāo)注出不同的缺陷區(qū)域，這種算法是游程標(biāo)記算法。

2 蘋果檢測(cè)及分級(jí)實(shí)驗(yàn)

2.1 缺陷檢測(cè)實(shí)驗(yàn)

此次試驗(yàn)選擇使用紅富士蘋果作為試驗(yàn)樣品，對(duì)蘋果的缺陷進(jìn)行統(tǒng)計(jì)分析。

對(duì)蘋果果實(shí)RGB圖像中的R通道做二值化處理，處理過(guò)程中會(huì)對(duì)圖像的不同區(qū)域進(jìn)行編號(hào)處理，同時(shí)標(biāo)注出不同的缺陷區(qū)域，下文中使用黑白二值對(duì)蘋果缺陷區(qū)域確定全過(guò)程進(jìn)行簡(jiǎn)單的介紹，具體情況如圖2所示。

圖2（a）為攝像頭采集到的原圖像，而圖2（b）為R通道處理以后的圖像。蘋果缺陷區(qū)域與果梗區(qū)域全部標(biāo)識(shí)出來(lái)；圖2（c）是原圖像轉(zhuǎn)化獲取到的灰度圖，圖2（d）為二值圖像。二值圖像是基于原圖像進(jìn)行R通道處理

后獲取到的，使用游程標(biāo)記算法以標(biāo)記出蘋果的缺陷區(qū)域。

2.2 蘋果大小分級(jí)實(shí)驗(yàn)

為保證試驗(yàn)結(jié)果的精準(zhǔn)性與可靠性，我們確定出

如下實(shí)驗(yàn)對(duì)象：蘋果的直徑60～65 mm，65～70 mm，70～75 mm，75～80 mm，80 mm的蘋果各準(zhǔn)備20個(gè)。

在經(jīng)過(guò)多次試驗(yàn)以后，檢測(cè)系統(tǒng)采集到的蘋果圖像數(shù)據(jù)整理如表1所示。

通過(guò)對(duì)以上數(shù)據(jù)進(jìn)行整理統(tǒng)計(jì)以后，整理出如表2所示的信息。不難發(fā)現(xiàn)，檢測(cè)系統(tǒng)的分級(jí)標(biāo)準(zhǔn)可以按照蘋果果實(shí)的體積大小進(jìn)行處理。

通過(guò)試驗(yàn)結(jié)果可以發(fā)現(xiàn)：（1）分級(jí)檢測(cè)系統(tǒng)能夠精準(zhǔn)地分選出不同大小的蘋果；（2）分級(jí)檢測(cè)系統(tǒng)的作業(yè)效率非常高。

分級(jí)系統(tǒng)會(huì)存在對(duì)應(yīng)的誤差，主要是因?yàn)椋海?）蘋果的位置不固定；（2）蘋果的陰影未全部消除。

精準(zhǔn)性的蘋果果實(shí)目標(biāo)區(qū)域探測(cè)是保證蘋果果實(shí)實(shí)現(xiàn)精準(zhǔn)定位的前提，結(jié)合實(shí)際情況而言，目標(biāo)區(qū)域探測(cè)的實(shí)際情況是否能夠有效地滿足檢測(cè)系統(tǒng)的需求，其核心問(wèn)題在于是否能夠保證分割算法的合理性。現(xiàn)階段，可供使用的圖像分割算法雖然非常多，但是大部分的算法都是針對(duì)固定環(huán)境而搭建出來(lái)的，鮮有算法能夠適用于所有的應(yīng)用場(chǎng)景。以蘋果果實(shí)目標(biāo)區(qū)域分割問(wèn)題而言，因蘋果果實(shí)處在自然環(huán)境內(nèi)，會(huì)受到太陽(yáng)光的照射，而太陽(yáng)光變化多端，所以不同的果實(shí)圖像中，果實(shí)的亮度會(huì)存在一定的差異性，這種差異性會(huì)導(dǎo)致圖像分割受到影響。鑒于此，文章提出自適應(yīng)G-B色差法實(shí)現(xiàn)自動(dòng)調(diào)節(jié)顏色差異，提高蘋果果實(shí)圖像分割的精準(zhǔn)性［2］。

為了精準(zhǔn)地論證出算法模型的綜合性能，我們將現(xiàn)階段使用較為頻繁的GLOM，BLP等紋理特征理論作為SVM的特征分類與此次設(shè)計(jì)的研究模型進(jìn)行對(duì)比分析，在經(jīng)過(guò)全面的對(duì)比分析以后發(fā)現(xiàn)，此次使用的研究模型在果實(shí)探測(cè)結(jié)果的精準(zhǔn)性方面有很大的提升。研究模型的綜合評(píng)價(jià)指標(biāo)高達(dá)90.29%，可以輕易地發(fā)現(xiàn)，此次設(shè)計(jì)的研究模型明顯優(yōu)于前兩種模型。

3 蘋果目標(biāo)探測(cè)與定位系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

3.1 系統(tǒng)功能結(jié)構(gòu)設(shè)計(jì)

蘋果目標(biāo)探測(cè)、定位系統(tǒng)主要是由以下模塊構(gòu)成：圖像數(shù)據(jù)I/O模塊、重疊果實(shí)目標(biāo)探測(cè)與定位模塊、枝葉遮擋探測(cè)與定位模塊等。借助以上不同的功能模塊，檢測(cè)系統(tǒng)可以高效地實(shí)現(xiàn)對(duì)不同生長(zhǎng)周期的蘋果果實(shí)目標(biāo)的精準(zhǔn)探測(cè)與定位。

圖像數(shù)據(jù)I/O模塊的功能主要包括：獲取蘋果果實(shí)圖像數(shù)據(jù)、存儲(chǔ)蘋果果實(shí)圖像數(shù)據(jù)、輸出蘋果果實(shí)圖像數(shù)據(jù)。首先，系統(tǒng)會(huì)自動(dòng)獲取到設(shè)備內(nèi)尚未及時(shí)處理的蘋果果實(shí)圖像數(shù)據(jù)，存儲(chǔ)在系統(tǒng)內(nèi)，并將蘋果果實(shí)圖像數(shù)據(jù)輸出至系統(tǒng)內(nèi)的其他功能模塊，待其他功能模塊應(yīng)用完成以后，對(duì)蘋果果實(shí)圖像數(shù)據(jù)進(jìn)行保存，而后將蘋果果實(shí)圖像數(shù)據(jù)的處理結(jié)果輸出［3］。

小體積蘋果目標(biāo)探測(cè)與定位模塊的功能主要為：實(shí)現(xiàn)對(duì)蘋果目標(biāo)的探測(cè)與定位。使用ITS方法探測(cè)繪制出果實(shí)圖像的色差圖，然后使用CHI方法精準(zhǔn)地定位出果實(shí)目標(biāo)。使用HOG-SVM研究模型對(duì)果實(shí)目標(biāo)進(jìn)行定位。

重疊蘋果目標(biāo)的探測(cè)與定位功能模塊的功能主要是對(duì)發(fā)育成熟且重疊的果實(shí)進(jìn)行探測(cè)與定位。使用經(jīng)過(guò)優(yōu)化處理的GrabCut方法探測(cè)出蘋果圖像的ROI區(qū)域，然后使用關(guān)鍵點(diǎn)檢測(cè)方法探測(cè)出重疊區(qū)域，使用DLS方法描繪出被遮擋果實(shí)的外形輪廓。

枝葉遮擋蘋果目標(biāo)探測(cè)與定位模塊的功能為：該功能主要是針對(duì)發(fā)育成熟的果實(shí)，因果樹枝葉繁茂，導(dǎo)致果實(shí)圖像會(huì)被枝葉遮擋。使用經(jīng)過(guò)優(yōu)化處理的K-means方法探測(cè)定位出果實(shí)圖像的ROI區(qū)域，然后使用QuickHull方法定位出果實(shí)凸出部分的輪廓。

3.2 系統(tǒng)功能實(shí)現(xiàn)與運(yùn)行界面

此次研究在對(duì)檢測(cè)系統(tǒng)進(jìn)行設(shè)計(jì)時(shí)，充分地考慮到不同用戶的應(yīng)用需求，對(duì)于部分專業(yè)性非常高的用戶而言，系統(tǒng)可以提供分布式處理作業(yè)方式，其能夠在檢測(cè)系統(tǒng)中分步驟地獲取蘋果探測(cè)、定位過(guò)程，為后續(xù)的研究提供便利。針對(duì)一般性的用戶而言，檢測(cè)系統(tǒng)提供了一鍵處理功能，用戶只需要在檢測(cè)系統(tǒng)的操作界面中點(diǎn)擊功能按鈕即可達(dá)到理想中的處理效果，這種功能可以簡(jiǎn)化用戶的操作流程，提高果實(shí)目標(biāo)檢測(cè)的效率。

檢測(cè)系統(tǒng)運(yùn)行以后，系統(tǒng)會(huì)自動(dòng)跳轉(zhuǎn)至系統(tǒng)的功能界面，該界面中提供以下功能按鈕：幼小青蘋果目標(biāo)探測(cè)與定位功能按鈕、重疊蘋果目標(biāo)探測(cè)與定位功能按鈕、枝葉遮擋蘋果目標(biāo)探測(cè)與定位功能按鈕和退出功能按鈕等導(dǎo)航按鈕，用戶可以根據(jù)自身的實(shí)際需求有針對(duì)性地進(jìn)行選擇按鈕。

當(dāng)用戶按下目標(biāo)探測(cè)與定位功能按鈕時(shí)，系統(tǒng)會(huì)自動(dòng)跳轉(zhuǎn)至該模塊界面內(nèi)，圖像會(huì)經(jīng)初始化加載，而后系統(tǒng)會(huì)自動(dòng)顯示窗口信息及各種不同功能服務(wù)。假若用戶僅僅只是需要獲取最終的處理結(jié)果，那么其只需要點(diǎn)擊一鍵處理按鈕即可。

但蘋果果實(shí)目標(biāo)圖像探測(cè)與定位完成以后，其還可以根據(jù)自身的需求選擇點(diǎn)擊其他不同的功能按鈕，那么系統(tǒng)則會(huì)根據(jù)不同的按鈕進(jìn)入不同的操作頁(yè)面，同時(shí)開啟不同的任務(wù)。此外，在實(shí)際操作過(guò)程中，用戶還可以在不同的操作界面中隨意進(jìn)行切換，切換以后系統(tǒng)仍然會(huì)對(duì)前期的操作進(jìn)行異步啟動(dòng)，且保存最終的處理結(jié)果。

4 結(jié)語(yǔ)

結(jié)合前文中的介紹可以發(fā)現(xiàn)，在經(jīng)過(guò)科學(xué)的試驗(yàn)以后，文章提出了一種基于RGB三基色的R通道處理方法，這種處理方法能夠?qū)崿F(xiàn)對(duì)蘋果果實(shí)的大小、缺陷精準(zhǔn)識(shí)別，且檢測(cè)系統(tǒng)的可靠性與穩(wěn)定性能夠得到很好的保障。試驗(yàn)過(guò)程中，攝像頭采集到的蘋果的果梗或果尊應(yīng)該是處于相互垂直，假若二者并未保持垂直狀態(tài)，我們可以使用連續(xù)采集方法獲取到果實(shí)圖像，然后利用幀數(shù)圖像計(jì)算出蘋果缺陷的面積，建議可以研發(fā)出一種新型的輸送單元，提高蘋果分級(jí)的精準(zhǔn)性。

參考文獻(xiàn)

［1］馬占杰.果實(shí)表面顏色計(jì)算機(jī)視覺分級(jí)技術(shù)研究［J］.電子測(cè)試，2021（2）：59-60.

［2］李偉強(qiáng)，王東，寧政通，等.計(jì)算機(jī)視覺下的果實(shí)目標(biāo)檢測(cè)算法綜述［J］.計(jì)算機(jī)與現(xiàn)代化，2022（6）：87-95.

［3］吳修國(guó).基于計(jì)算機(jī)視覺技術(shù)的蘋果樹健康診斷系統(tǒng)研究［J］.農(nóng)機(jī)化研究，2018（8）：218-222.

（編輯 王雪芬）

Research on apple fruit defect detection based on computer vision

Xu? Guangfei

（Tangshan Polytechnic College， Tangshan 063299， China）

Abstract：? Apple grading takes its own size and defects as key evaluation indicators. According to the research status of apple grading based on computer vision technology and combined with the actual needs， this paper discusses a detection system that can sort apples， briefly introduces the R-channel method， and tests the application effect of the detection system. Through the test results， it is found that this algorithm is feasible， good application effect can be achieved. Based on this， this paper combines the differences in the color and texture of the leaves when apple trees are infected， and cleverly uses computer vision technology to develop a detection system that can diagnose apple tree diseases.

Key words： computer vision; apple grading; detection system; application effect