改進圓形Hough變換的田間紅提葡萄果穗成熟度判別

周文靜，查志華，吳 杰,2

改進圓形Hough變換的田間紅提葡萄果穗成熟度判別

周文靜1，查志華1，吳 杰1,2※

（1. 石河子大學機械電氣工程學院，石河子 832003；2. 綠洲特色經濟作物生產機械化教育部工程研究中心，石河子 832003）

針對田間環境下紅提葡萄果穗成熟度人眼判斷效率低且易誤判的問題，該研究采用K近鄰（K-nearest neighbor，KNN）算法和最大類間方差（Otsu）法分別對葡萄果穗圖像背景分割以找到最佳分割效果，采用圓形Hough變換識別葡萄果粒，并開發了可判別葡萄果穗成熟度的算法。研究結果表明，不論順光、逆光或者與田間背景相似的綠色果穗，KNN法可實現良好的背景分割，然后圓形Hough變換法在邊緣閾值和靈敏度分別取0.15和0.942時，識別葡萄果粒的準確率可達96.56%。在此研究基礎上，采用該研究開發的葡萄果穗成熟度判斷算法，可根據顏色將果粒劃分不同成熟度等級，并實現對果穗成熟度判別，判別準確率為91.14%。該研究結果可為果農適宜期收獲葡萄及自動化采摘提供重要指導。

圖像處理；識別；機器視覺；Hough變換；成熟度；果穗

0 引 言

紅提葡萄以鮮食為主，采摘后無后熟期，選擇最佳采摘期對采后紅提葡萄品質至關重要[1-2]。由于在同一時期，果園中紅提葡萄的不同植株、每一株的不同果穗以及同一果穗上不同葡萄果粒間均存在顏色的差異，依靠人眼判斷葡萄成熟度效率低且易疲勞，很容易發生果穗成熟度誤判而導致過早采摘或過熟采摘，過早采摘不利于銷售，而過熟采摘易出現爛果，不利于貯運且使貨架期縮短[2-4]。因此，如何快速準確判斷紅提葡萄果穗的成熟度，對提高紅提葡萄商品率具有重要意義。

葡萄表皮顏色與其成熟度密切相關[5-6]。2012年，Rodriguez-Pulido等[7]在CIELab（Commission International éclair-age Lab）和HSI（Hue Saturation Intensity）顏色空間上對葡萄圖像進行直方圖閾值處理，實現了多粒葡萄成熟度快速判別，然而該研究是實驗室采集葡萄圖像，回避了田間復雜環境中存在的諸如待檢對象與背景顏色相近、遮擋和不同光照影響等因素對圖像分析的干擾，不適于田間葡萄果穗成熟度的快速準確檢測。為此，Pothen和Nuske[8]在Rodriguez-Pulido等[7]研究基礎上，提出了一種關鍵點檢測法[9]，克服了背景顏色和光照的影響，能夠較準確識別每粒葡萄并判斷成熟度，從而可以通過計算成熟葡萄粒數占整穗粒數百分比，實現葡萄果穗成熟度分級。但是該方法難以準確識別被遮擋葡萄，果穗成熟度判斷準確率也不夠理想。在葡萄估產或機器人采摘研究中，圓形Hough變換法對不完全信息處理具有很好魯棒性[10]，能夠最大程度解決被遮擋果實提取困難的問題[11-13]。但是這一方法易將田間圖像中出現的近似圓形邊緣誤識別為葡萄果粒。因此在應用Hough變換法識別紅提葡萄果粒時，必須找到合適方法消除葡萄果穗圖像中近圓形邊緣干擾，以提高葡萄果粒識別準確率。

對葡萄圖像進行背景分割，可最大程度消除背景中干擾因素。在各種背景分割方法中，基于區域生長的背景分割法對接近背景顏色的果實分割效果較差[14]。圖像邊緣檢測的背景分割方法能夠分割出與背景顏色相近的果實[15-17]，但易受光照和果實紋理影響而背景分割效果欠佳[14]。以一種卷積神經網絡Mask R-CNN為主的像素級背景分割，盡管分割效果良好，但需要訓練大量像素級標記的樣本而耗時過長[18-19]。機器學習算法具有圖像像素分類的優勢，近年來有應用K均值（K-means）聚類算法[20-22]、線性分類器[23]、K近鄰（K-Nearest Neighbor，KNN）分類器分別進行綠色果實背景分割的報道[24-25]，在這些算法中，KNN法對田間綠色葡萄和綠蘋果都取得了很高的分割準確率。此外，最大類間方差（Otsu）法可采用RGB圖像（R、G和B分別代表圖像紅色、綠色和藍色3個通道）的色差R-G[26]、R-B和G-R[27]、色差比(R-G)/(G-B)[28]以及歸一化的(R-G)/(R+G)[29]進行果蔬圖像的背景分割，其中司永勝等[28]研究發現，發現采用單一的R-G色差對不同光照下蘋果圖像閾值分割結果有較多噪聲，歸一化的紅綠色差(R-G)/(R+G)對綠色蘋果識別率可達92%[29]。由上述表明，KNN法和Otsu方法對果蔬背景分割都具有一定優勢。

因此，本研究分別采用KNN和Otsu 2種方法對紅提葡萄果穗圖像進行背景分割，通過比較獲得較好的背景分割效果；然后在此研究基礎上，采用圓形Hough變換法準確識別背景分割的果穗圖像中的葡萄果粒，結合顏色特征判斷葡萄果粒成熟度，進而實現紅提葡萄果穗成熟度較準確判別，為果農適宜期收獲和今后自動化采摘提供研究基礎。

1 材料與方法

1.1 葡萄果穗圖像采集

試驗所用紅提葡萄圖像樣本采自新疆維吾爾自治區石河子市石河子大學試驗園（44°20′N，85°59′E），海拔373 m，栽植齡均在3 a以上，單籬架，南北成行，多主面扇形整枝，架面通風，透光良好，株距0.9～1.2 m，行距2.7 m。

本研究于2018年紅提葡萄采收期的8月11日至9月15日，采集田間自然生長條件下葡萄果穗圖像。采樣時間在每日上午8:00—12:00之間。采用智能手機（HUAWEI Mate 10）獲取紅提葡萄RGB圖像，手機攝像頭距葡萄果穗13～57 cm，像素分辨率為3 968×2 976（4∶3）。圖像采集時，采用隨機方式在同一株的上、中、下位置拍攝不同著色率的紅提葡萄，采集圖像包括順光和逆光（圖1）。每隔5 d采集1次，每次采集紅提葡萄圖像后以采集日期命名，順光和逆光圖像分別為59張和20張，共采樣79張圖像。

圖1 田間紅提葡萄果穗圖像示例

1.2 果穗成熟度判別方法

紅提葡萄果穗的成熟度分類流程如圖2所示。首先對葡萄果穗圖像進行背景分割，對分割后的目標區域進行標注。圓形Hough變換的輸入圖像為邊緣圖像，因此需要對目標區域進行邊緣提取后采用圓形Hough變換提取果粒。提取圖像中葡萄果粒表面色調H值進行果粒成熟度等級劃分，并計算不同成熟度等級果粒占果穗的百分比，最后實現葡萄果穗成熟度判別。本研究所有處理及算法均在SAMSUNG筆記本處理器Intel（R）Xeon（R） CPU E5-2620 @ 2.10GHz，16 GB內存，64位Win7操作系統下的Matlab 2018b運行。

圖2 紅提葡萄果穗成熟度判別流程圖

1.3 葡萄果穗的背景分割

本研究采用KNN和Otsu 2種方法分別對葡萄果穗RGB圖像進行背景分割，通過背景分割性能分析以評價背景分割的效果，并選擇合適的分割方法。

1.3.1 背景分割方法

采用KNN算法時，需要采集樣本圖像中像素點的R、G、B值構成數據集并加以訓練。本研究用于訓練的數據集共2 200個已分類數據，如圖3所示，樣本像素包含目標像素（葡萄）和背景像素（綠葉、莖稈、天空、土地、廣告牌等）。

注：R通道、G通道和B通道分別為RGB顏色空間的紅、綠和藍3個色度分量。

采用Otsu法進行背景分割時，選擇歸一化的紅綠色差（R-G）/（R+G）作為分割特征[19]，以減輕光線對R和G通道的影響，歸一化后所得結果范圍為[-1，1]，需要經灰度矩陣變換，使兩個通道顏色值范圍在0～255之間。

1.3.2 背景分割性能評價

根據式（1）～（4）計算準確率（Accuracy，%）、查準率（Precision，%）、查全率（Recall，%）和1值（1-score，%）4個性能評價指標，采用準確率和1值進行背景分割性能評價。

式中為目標像素被準確判別為目標像素的數量；為背景像素被準確判別為背景像素的數量；為背景像素被判別為目標像素的數量；為目標像素被判別為背景像素的數量。

1.4 紅提葡萄果穗目標區域標注

葡萄果穗圖像背景分割后，對分割出的區域進行邊界跟蹤。如圖4所示，并用每個邊界的最小矩形框標注出分割后的葡萄果穗，以便于后續對每個果穗進行處理分析。

圖4 紅提葡萄果穗目標標注

1.5 葡萄果穗圖像邊緣提取

Hough變換處理對象為邊緣圖像，應先提取目標區域圖像邊緣。為提升邊緣提取的效果，如圖5所示，本研究首先將圖像進行銳化，再對圖像進行一階導數得到一階梯度圖像，最后使用Log算子提取梯度圖像的邊緣用于圓形Hough變換。

圖5 紅提葡萄果穗目標區域圖像邊緣提取

1.6 圓形Hough變換提取葡萄果粒

在圓形Hough變換檢測中，需要明確待檢測圓（即葡萄果粒）半徑范圍。由于葡萄果粒的輪廓不是正圓形，采用外接葡萄果粒輪廓的最小矩形框長和寬的平均值表示果粒半徑。本研究采用Photoshop軟件對8幅圖像中60粒葡萄果粒的半徑進行測量統計，確定葡萄果粒半徑范圍為23～72像素。

圓形Hough變換依據如式（5）所示的圓的數學模型遍歷圖像，對目標區域進行圓檢測，檢測邊緣圖像中符合半徑條件的圓，然后從檢測出的圓中提取對應圖像區域的像素，即可提取出葡萄果粒。

式中0、0為葡萄果粒圓心坐標；0為葡萄果粒輪廓半徑，像素。

本研究應用Matlab調用imfindcircles函數進行圓形Hough變換，調整邊緣閾值和靈敏度以期望在較快檢測速度得到較高的果粒識別準確率。

1.7 葡萄果粒成熟度判斷

HSV顏色空間的H、S和V分別代表圖像的色調、飽和度和明度，色調H不受光照強度的影響，能更好反映圖片中的顏色信息，因此本研究采用HSV顏色空間中葡萄果粒所有像素H值的均值判斷葡萄果粒成熟度。依據葡萄果農對葡萄果粒成熟度的判斷，本研究對100粒不同成熟度葡萄果粒像素H值均值統計后，將葡萄果粒成熟度分為G1、G2、G3、G4這4個等級，各等級H值均值范圍見表1。圖6所示為典型的4個等級紅提葡萄果粒，其中，G1、G2等級果粒未成熟，G1類為綠色，均未變色，G2類由綠色漸變為紅色；G3、G4等級果粒已成熟，G3類完全變紅，但顏色尚淺，G4類為深紅色。

表1 葡萄果粒成熟度等級的H值均值范圍

注：G1、G2、G3、G4表示葡萄果粒成熟度等級。

1.8 葡萄果穗成熟度分類

葡萄轉色至完全成熟約40 d[6]，參考Pothen等[8]的研究，將紅提葡萄果穗成熟度分為4個等級，其中，Ⅰ級表示葡萄果穗已成熟；Ⅱ級表示葡萄果穗即將成熟；Ⅲ級表示葡萄果穗已完全進入轉色期；Ⅳ級表示葡萄果穗剛進入轉色期，根據不同成熟度，建議采摘時間具體如表2所示。

表2 紅提葡萄果穗成熟度等級

注：Ⅰ級、Ⅱ級、Ⅲ級、Ⅳ級表示葡萄果穗成熟度等級。

Note: Grade Ⅰ, grade Ⅱ, grade Ⅲ, and grade Ⅳ represent four maturity grades of grape clusters.

2 結果與分析

2.1 紅提葡萄圖像背景分割效果的對比分析

采用KNN算法對紅提葡萄圖像數據集分類時，分析距離計算方式及值對KNN算法分類準確率的影響。由圖7可知，當選擇馬氏距離方式計算且=5時，分類準確率最高，可達78.96%。

將KNN算法（采用馬氏距離且=5）對紅提葡萄圖像背景分割的結果與Otsu法分割結果進行對比，如圖8所示。對逆光的葡萄果穗A，KNN法與Otsu法分割效果相近，但KNN準確率和1值仍略高于Otsu法（圖9）。對順光近紅色的葡萄果穗B，Otsu法對顏色偏暗果粒無法判別，分割效果差，有較大紅色區域（），因此在準確率和1值上都比KNN法要低，尤其是1值低了10.44%；對順光近綠色的葡萄果穗C，Otsu分割圖像中綠色區域（）面積要比KNN法分割圖像中的大得多，也就是說Otsu法分割后背景中仍然存在較大面積的藍天、莖稈、葡萄葉等，因而KNN法背景分割的準確率和1值均明顯高于Otsu法；KNN法背景分割平均準確率和1值分別為93.25%和89.93%，Otsu法背景分割平均準確率和1值分別為87.78%和79.44%，綜上所述，KNN算法相比較Otsu法更適于紅提葡萄背景圖像分割。

圖7 不同K值及距離計算方式對應的數據集分類準確率

注：白色區域（TP）為目標像素被準確判別為目標像素，黑色區域（TN）為背景像素被準確判別為背景像素，綠色區域（FP）為背景像素被判別為目標像素，紅色區域（FN）為目標像素被判別為背景像素。

圖9 紅提葡萄果穗圖像不同分割方法的分割性能比較

2.2 圓形Hough變換提取葡萄果粒

為了增強對同一果穗中顏色相近且緊密相接葡萄果粒的微弱邊緣提取，需要對圓形Hough變換的邊緣閾值進行調整。如圖10a和圖10c所示，當邊緣閾值調整在0.1～0.15范圍時，果粒識別可兼顧較高的識別率、準確率和較低的漏檢率、錯檢率。邊緣閾值過小錯誤識別的果粒越多，而邊緣閾值較大時，會漏識別葡萄果粒。考慮到閾值越小，計算量越大，為減少運算時間，本研究Hough變換時的邊緣閾值取0.15。

分割后的目標區域中果穗圖像中存在少數果粒被莖稈等遮擋，使果粒的連續邊緣被分割，為了能夠檢測輪廓信息有丟失的果粒邊緣圓弧長度，本研究在圓形Hough變換最優的邊緣閾值下調整靈敏度。如圖10b和圖10d所示，靈敏度低于0.942時，隨著靈敏度提高，準確率增大，漏檢率降低，錯檢率變化極小；但當靈敏度達到0.942以上時，識別率增大也帶動了錯檢率出現大幅上升，這是因為檢測到了許多非葡萄的圓形所導致的結果，與檢測葡萄果粒的目的背道而馳。因此本研究將靈敏度設置為0.942，相應的葡萄果粒檢測準確率可達96.56%，既保證能較準確檢測圖像中的果粒，又能減少錯誤識別。

注：識別率超出100%時，檢測到的圓包含非葡萄的邊緣；圖中虛線指引處識別效果最佳；A點準確率較高達到96.56%，靈敏度為0.942，且錯檢率、漏檢率最低。

根據本研究所確定的最佳邊緣閾值和靈敏度值對果穗進行圓形Hough變換提取果粒，如圖11所示，可以看出，因檢測到背景中非葡萄圓形而誤識別1粒果粒（圖 11e綠色圓），有1粒果粒（圖11f序號①）由于被遮擋邊緣過短而未檢測出來；有2粒背景分割不完整且被莖稈遮擋果粒（圖 11f序號②、③）未提取出其邊緣而無法識別。除此之外，其余果粒都實現準確識別，其中有3粒果粒即使有一半以上輪廓邊緣被遮擋（圖11e紅色圓）也成功檢測。

注：綠色圓表示錯誤識別為果粒圖像的邊緣；黃色和紅色的圓為正確識別為果粒圖像的邊緣，其中紅色圓代表果粒邊緣有一半以上遮擋而成功識別；藍色填充區域（①、②、③）為未識別的果粒。

2.3 紅提葡萄果穗成熟度判斷

本研究根據Pothen和等[8]葡萄果穗成熟度等級的分類方法，開發了如下所示的紅提葡萄果穗成熟度判斷算法，其中，h為提取出葡萄果粒像素的值（=1, 2, ... 表示該果粒像素數目），H為h的均值。根據本研究開發的算法對紅提葡萄果穗成熟度進行分類，如圖12所示為典型的4個成熟度等級葡萄果穗。

圖12 不同成熟度等級的典型葡萄果穗

Fig. 12 Typical grape clusters with different maturity grades

采用本研究方法判斷79穗葡萄的成熟度，并與葡萄栽培專家判斷結果進行混淆矩陣分析，由圖13結果可知，79穗葡萄中準確判斷出72穗葡萄成熟度等級，其中Ⅳ級10穗，Ⅲ級16穗，Ⅱ級27穗，Ⅰ級26穗，準確度可達91.14%。由于同一穗葡萄果粒之間顏色極為接近時，葡萄果粒等級人眼難以區分，因此判斷誤差主要出現在Ⅱ級和Ⅲ級之間。

注：圖中數字代表識別出的葡萄果穗數目；Ⅰ、Ⅱ、Ⅲ、Ⅳ表示葡萄果穗成熟度等級。

圖14的4幅圖像為同一果穗在15 d中顏色的變化情況，可以看出，果穗顏色接近，肉眼很難分辨其成熟度差異。采用本研究的方法對這一果穗4個日期的成熟度進行判斷，8月26日的果穗成熟度為77.27%，Ⅱ級，即將成熟果穗，8～10 d后采摘；8月31日、9月5日和9月10日的果穗成熟度分別為81.82%（Ⅰ級，可摘）、83.33%（Ⅰ級，可摘）和88.89%（Ⅰ級，可摘）。由此可見，當整穗葡萄果粒顏色相近時，本研究的方法較之人眼判斷更為準確。

注：括號中百分比表示葡萄果穗成熟度，%。圖像a、b、c、d拍攝日期分別為8月26日、8月31日、9月5日和9月10日。

3 結 論

本研究采用圖像法對田間紅提葡萄果穗成熟度進行判別分類研究，主要結論如下：

1）在對葡萄果穗圖像背景分割時，采用馬氏距離且=5條件時，KNN法背景分割平均準確率和1值分別為93.25%和89.93%；Otsu法背景分割平均準確率和1值分別為87.78%和79.44%。KNN算法背景分割的準確率和調和均值F1均高于Otsu法，具有很好背景分割效果。

2）當邊緣閾值和靈敏度分別取0.15和0.942時，圓形Hough變換法可以在較高運算速度下提取葡萄果穗中的果粒，準確率可達96.56%。

3）根據HSV空間中紅提葡萄果粒所有像素H值的均值分布范圍，可以將葡萄果粒分為4個成熟度等級。通過本研究開發的計算葡萄果穗成熟度算法，對紅提葡萄果穗成熟度判斷的準確度為91.14%，當整穗葡萄果粒顏色相近而人眼難以判斷成熟度時，本研究方法也可以實現成熟度的準確判別。

[1] 王偉，崔楠. 新疆紅提葡萄的儲藏和保鮮探討[J]. 農業與技術，2015，35(16)：112-112. Wang Wei, Cui Nan. Discussion on storage and preservation of “Red Globe” grape in Xinjiang[J]. Agriculture and Technology, 2015, 35(16): 112-112. (in Chinese with English abstract)

[2] Piazzolla F, Pati S, Amodio M L, et al. Effect of harvest time on table grape quality during on-vine storage[J]. Journal of the Science of Food & Agriculture, 2015, 96(1): 131-139.

[3] 李燦嬰. 套袋對紅地球葡萄色澤發育及果實品質的影響[D]. 蘭州：甘肅農業大學，2006. Li Canying. Effects of Bagging on Color and Quality in Fruit of Grapes (cv. Red Globe)[D]. Lanzhou: Gansu Agricultural University, 2006. (in Chinese with English abstract)

[4] 李海. 紅提葡萄生產中存在的問題及對策[J]. 農業技術與裝備，2017，(9)：46-47. Li Hai. Problems and countermeasures in the production of red grape[J]. Agricultural Technology and Equipment, 2017, (9): 46-47. (in Chinese with English abstract)

[5] Wan Peng, Toudeshki A, Tan Hequn, et al. A methodology for fresh tomato maturity detection using computer vision[J]. Computers and Electronics in Agriculture, 2018, 146: 43-50.

[6] 曹雄軍，石雪暉，金燕，等. 紅寶石無核和紅提葡萄果實著色與糖、酸含量的關系[J]. 中外葡萄與葡萄酒，2009，9(5)：12-15. Cao Xiongjun, Shi Xuehui, Jin Yan, et al. Relationship between berry coloration and the contents of sugar and acid of Ruby Seedless and Red Globe[J]. Sino-Overseas Grapevine and Wine, 2009, 9(5): 12-15. (in Chinese with English abstract)

[7] Rodríguez-Pulido F J, Gómez-Robledo L, Melgosa M, et al. Ripeness estimation of grape berries and seeds by image analysis[J]. Computers & Electronics in Agriculture, 2012, 82(1): 128-133.

[8] Pothen Z, Nuske S. Automated assessment and mapping of grape quality through image-based color analysis[J]. IFAC- PapersOnLine, 2016, 49(16): 72-78.

[9] Pothen Z S, Nuske S. Texture-based fruit detection via images using the smooth patterns on the fruit[C]//IEEE International Conference on Robotics and Automation. IEEE, 2016: 5171-5176.

[10] Ye Huashan, Shang Guocan, Wang Lina, et al. A new method based on Hough transform for quick line and circle detection[C]//2015 8thInternational Conference on Biomedical Engineering and Informatics (BMEI). IEEE, 2015: 52-56.

[11] Murillo-Bracamontes E A, Martinez-Rosas M E, Miranda-Velasco M M, et al. Implementation of Hough transform for fruit image segmentation[J]. Procedia Engineering, 2012, 35: 230-239.

[12] Rahman A, Hellicar A. Identification of mature grape bunches using image processing and computational intelligence methods[C]//2014 IEEE Symposium on Computational Intelligence for Multimedia, Signal and Vision Processing (CIMSIVP). IEEE, 2014: 1-6.

[13] Diago M P, Tardaguila J, Aleixos N, et al. Assessment of cluster yield components by image analysis[J]. Journal of the Science of Food and Agriculture, 2015, 95(6): 1274-1282.

[14] 沈文斌. 基于邊緣提取與分水嶺分割相融合的柑橘檢測方法研究[D]. 衡陽：南華大學，2018. Shen Wenbin. Research on Citrus Detection Method Based on Fusion of Edge Extraction and Watershed Segmentation[D]. Hengyang: University of South China, 2018. (in Chinese with English abstract)

[15] 周志宇，劉迎春，張建新. 基于自適應Canny算子的柑橘邊緣檢測[J]. 農業工程學報，2008，24(3)：21-24. Zhou Zhiyu, Liu Yingchun, Zhang Jianxin, Orange edge detection based on adaptive Canny operator[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(3): 21-24. (in Chinese with English abstract)

[16] Thendral R, Suhasini A, Senthil N. A comparative analysis of edge and color based segmentation for orange fruit recognition[C]//2014 International Conference on Communication and Signal Processing. IEEE, 2014: 463-466.

[17] Revathi P, Hemalatha M. Advance computing enrichment evaluation of cotton leaf spot disease detection using image edge detection[C]//2012 Third International Conference on Computing, Communication and Networking Technologies (ICCCNT'12). IEEE, 2012: 1-5.

[18] Pobar M, Ivasic-Kos M. Mask R-CNN and optical flow based method for detection and marking of handball actions[C]//2018 11thInternational Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI). IEEE, 2018: 1-6.

[19] Danielczuk M, Matl M, Gupta S, et al. Segmenting unknown 3D objects from real depth images using Mask R-CNN trained on synthetic data[C]//2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019: 7283-7290.

[20] 李凱，張建華，馮全，等. 復雜背景與天氣條件下的棉花葉片圖像分割方法[J]. 中國農業大學學報，2018，23(2)：88-98. Li Kai, Zhang Jianhua, Feng Quan, et al. Image segmentation method for cotton leaf under complex background and weather conditions[J]. Journal of China Agricultural University, 2018, 23(2): 88-98. (in Chinese with English abstract)

[21] 劉智杭，于鳴，任洪娥. 基于改進K均值聚類的葡萄果穗圖像分割[J]. 江蘇農業科學，2018，46(24)：239-244.Liu Zhihang, Yu Ming, Ren Honge. Image segmentation of grape cluster based on improved K-means clustering[J]. Jiangsu Agricultural Sciences, 2018, 46(24): 239-244. (in Chinese with English abstract)

[22] Pandiyammal P, Gandhi D M P I. Infected fruit part detection using clustering[J]. International Journal of Advanced Research in Computer Science and Software Engineering, 2015, 5(3): 176-182.

[23] He Zhiliang, Xiong Juntao, Lin Rui, et al. A method of green litchi recognition in natural environment based on improved LDA classifier[J]. Computers and Electronics in Agriculture, 2017, 140: 159-167.

[24] Nuske S, Achar S, Bates T, et al. Yield estimation in vineyards by visual grape detection[C]//2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2011: 2352-2358.

[25] Linker R, Cohen O, Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture, 2012, 81(1): 45-57.

[26] 尹建軍，毛罕平，王新忠，等. 不同生長狀態下多目標番茄圖像的自動分割方法[J]. 農業工程學報，2006，22(10)：149-153. Yin Jianjun, Mao Hanping, Wang Xinzhong, et al. Automatic segmentation method for multi-tomato images under various growth conditions[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2006, 22(10): 149-153. (in Chinese with English abstract)

[27] Zhou Rong, Damerow L, Sun Yurui, et al. Using color features of cv. ‘Gala’ apple fruits in an orchard in image processing to predict yield[J]. Precision Agriculture, 2012, 13(5): 568-580.

[28] 司永勝，喬軍，劉剛，等. 基于機器視覺的蘋果識別和形狀特征提取[J]. 農業機械學報，2009，40(8)：161-165. Si Yongsheng, Qiao Jun, Liu Gang, et al. Recognition and shape features extraction of apples based on machine vision[J]. Transactions of the Chinese Society of Agricultural Machinery, 2009, 40(8): 161-165. (in Chinese with English abstract)

[29] 司永勝，喬軍，劉剛，等. 蘋果采摘機器人果實識別與定位方法[J]. 農業機械學報，2010，41(9)：148-153. Si Yongsheng, Qiao Jun, Liu Gang, et al. Recognition and location of fruit for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Machinery, 2010, 41(9): 148-153. (in Chinese with English abstract)

Maturity discrimination of “Red Globe” grape cluster in grapery by improved circle Hough transform

Zhou Wenjing1, Zha Zhihua1, Wu Jie1,2※

(1.,,832003,; 2.,,832003,)

There arecolor differences between different berries of a “Red Globe” cluster in the vineyard in the same period. This makes it inefficient and error-prone for visual maturity judgment of the grape cluster. As a result, inaccurate judgment often leads to grape harvesting too early or too late. Therefore, it is necessary to achieve accurate maturity discrimination of the grape cluster for increasing the quality grade and the commodity rate of the “Red Globe” grape. In this study, 79 images of the grape cluster in a grapery were acquired by the smartphone (HUAWEI Mate 10), including 59 images in natural light and 20 images in backlight. Firstly, the background of the grape cluster image was segmented using the K-Near Neighbor (KNN) algorithm and Otsu methods. For the KNN algorithm, 2 200 sets of R (Red), G (Green) and B (Blue) values were manuallycollected from the pixel of the image to be used as the data set. With the data set, different nearest numbers and the methods of distance calculation were tested to obtain a better background segmentation effect. For the Otsu method, the normalized color difference of (R-G) / (R+G) was applied as the background segmentation characteristic to reduce the influence of the lights on the R channel and G channel. For near red and green grape clusters under natural light and backlight, the background segmentation effect was compared using two algorithms. After labeling the images of grape clusters with the minimum bounding box, the Log operator was used to extract the edge of the first gradient imagefrom the object region. Then, the Circle Hough Transform (CHT) method was applied to extract grape berries. The radius range of circle in the Hough transform was determined by measuring numbers of pixels of 60 grape berry images. In addition, we adjusted the values of the edge thresholds and sensitivities in Hough transform to obtain a higher accuracy of berry extraction. Meanwhile, the maturity of the grape berry was classified into four levels of G1, G2, G3, and G4 according to the H value of the pixels from the “Red Globe” grape image in the HSV space. Furthermore, the algorithm was developed to calculate the proportion of berries with different maturity grades in a cluster and classify the maturity degree of grape clusters. Finally, the classification performance for the grape cluster maturity with our developed algorithm was evaluated by the confusion matrix.The results showed that the KNN algorithm using Mahala Nobisdistance obtained an accuracy of 93.25% and1-score of 89.93% for background segmentation when the nearest numberwas 5. While the accuracy and1-score of background segmentation by the Otsu method were 87.78% and 79.44%, respectively. In comparison, the KNN method had a better segmentation effect regardless of the natural light, backlight or the green grape that were very similar to the background. In this case, the background segmented by the KNN algorithm was chosen for CHT extracting circle from the non-structured environment. The radius range of 23-72 pixels was determined for CHT to extract grape berries and the accuracy of grape berry extraction was up to 96.56% at high computation speed when the edge threshold and sensitivity were 0.15 and 0.942, respectively. Consequently, with our developed algorithm adopted, the maturity discrimination accuracy of the grape cluster was up to 91.14% compared with judgments from viticulturists. Moreover, the validation results proved that our proposed approach could discriminate against the slight change of maturity degree during the shorter growth period of the grape cluster. Thus, our research could guide for grape growers to select an appropriate harvest period. Also, it is useful for the research and development of automatic grape picking equipment in the future.

image processing; identification; machine vision; Hough transform; maturity; cluster

周文靜，查志華，吳 杰. 改進圓形Hough變換的田間紅提葡萄果穗成熟度判別[J]. 農業工程學報，2020，36(9)：205-213.doi：10.11975/j.issn.1002-6819.2020.09.023 http://www.tcsae.org

Zhou Wenjing, Zha Zhihua, Wu Jie. Maturity discrimination of “Red Globe” grape cluster in grapery by improved circle Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 205-213. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.09.023 http://www.tcsae.org

2019-11-17

2020-03-09

國家自然科學基金地區科學基金項目（31560476）；石河子大學自主資助支持項目（ZZZC201746B）

周文靜，主要從事農產品品質無損檢測研究。Email：Viola_zhouzhou@163.com

吳 杰，博士，教授，主要從事農產品品質安全與檢測研究。Email：wjshz@126.com

10.11975/j.issn.1002-6819.2020.09.023

S371；TP274+.3

A

1002-6819(2020)-09-0205-09