基于局部滑窗技術的楊梅識別與定位方法*

吳亮生 雷歡 陳再勵 馬敬奇

開發設計

基于局部滑窗技術的楊梅識別與定位方法*

吳亮生1,2雷歡1陳再勵1馬敬奇1

（1.廣東省科學院智能制造研究所，廣東 廣州 510070 2.仲愷農業工程學院，廣東 廣州 510225）

針對果園環境下，光照情況復雜、果實狀態各異導致楊梅識別與定位準確率低的問題，提出一種基于局部滑窗技術的楊梅果實識別與定位方法。首先，采用限制對比度自適應直方圖均衡化改善圖像光照；然后，提出CbCr色差法，結合最大類間方差法、形態學操作和區域生長策略，提取楊梅果實潛在前景區域；接著，根據潛在前景區域提取結果，采用局部滑窗技術，獲取楊梅果實待檢測區域；最后，建立基于局部紋理特征的支持向量機，結合非極大值抑制濾除低匹配度背景等干擾，提升楊梅果實識別與定位準確率。實驗表明，該方法在果園環境下，楊梅果實識別準確率和召回率分別為92.51%和90.82%，總體耗時僅為0.123 s，兼顧了實時性和準確性。

果園環境；楊梅識別與定位；CLAHE；局部滑窗；紋理特征；支持向量機

0 引言

楊梅是中國特色水果，具有較高的營養價值和經濟價值[1-2]。全球楊梅種植面積約40萬公頃，每年產量超過100萬噸，其中約98%來自中國。楊梅成熟期短，若不及時采摘就會落果。目前，楊梅采摘基本由人工完成，耗時費力。隨著人口老齡化和農業勞動力的減少，人工采摘成本逐漸增加，大大降低了楊梅果實的市場競爭力。為及時收獲楊梅，降低采摘成本，采用楊梅采摘機器人是必然趨勢。

近年來，為提升采摘機器人的工作性能，國內外專家學者不斷對其進行研發和改進。LING等設計一款采用雙目攝像頭進行果實識別和定位的番茄采摘機器人，采摘成功率達87.5%[3]。ZHAO等研制一臺蘋果采摘機器人，采用5自由度的機械手實現冠層果實采摘，采摘成功率為77%[4]。WILLIAMS等研制一臺4條機械手協同作業的獼猴桃采摘機器人，采摘成功率為51%[5]。以上研究表明，采摘機器人可適應不同類型水果的采摘工作，但采摘成功率達不到人工采摘水平。

視覺系統是采摘機器人的核心部分，其對果實識別與定位的精度決定了采摘機器人的成功率和效率[6]。為此，國內外專家學者對果實識別與定位方法進行了大量研究。PATEL等采用Lab顏色空間中的a分量，將成熟柑橘和背景分離，結合邊緣檢測與圓形擬合的方法，實現成熟柑橘識別，識別準確率為84%[7]。ZHUANG等采用R-G算子，結合大津閾值法、形態運算法、標記控制分水嶺變換法和凸包運算法，獲取成熟柑橘潛在區域，通過柑橘紋理特征訓練的支持向量機（support vector machine, SVM）分類器實現最終決策，識別準確率達到86%[8]。雷歡等采用基于OneCut算法自動分割成熟楊梅前景區域，結合標記控制分水嶺和凸殼算法分離重疊果實，實現果實的識別與定位[9]。雖然上述研究在成熟果實識別與定位中得以應用，但楊梅果實成熟時間短，采摘時成熟度各不相同，上述方法難以有效對其進行識別與定位。

隨著深度學習的快速發展，其在果實識別與定位領域應用逐步廣泛。STEIN等通過多視角攝像頭進行芒果估產，并采用Faster RCNN框架對芒果識別和定位[10]。熊俊濤等采用Faster RCNN實現不同光照、不同尺寸的綠色柑橘識別，識別準確率可達93%[11]。TAO等分別采用VGG16和ZFNet作為Faster RCNN的主干網絡進行圖像特征提取，實現桃子、蘋果和橘子的識別[12]。雖然基于深度學習的方法在果實識別領域獲得較好性能，但其訓練模型所需的樣本量極大，算法復雜度高，且對硬件配置要求較高，算法實時性差，難以應用于采摘機器人。

為此，本文提出一種基于局部滑窗技術的楊梅果實識別與定位方法。首先，在光照不足的情況下，采用局部自適應圖像增強算法，改善圖像光照情況，降低光照對后續處理的影響；然后，提出CbCr色差法，結合形態學和區域生長策略，實現不同成熟度楊梅果實的潛在前景區域提取；最后，提出局部滑窗技術的果實識別方法，實現楊梅果實識別與定位。

1 研究對象與方法

1.1 實驗圖像采集

本文以廣東省廣州市從化區種植的東魁楊梅為研究對象。實驗圖像為數碼相機IXUS 285 HS（分辨率為5 184 × 3 888像素）采集的不同光照情況下的楊梅圖像3 423幅，并按8∶2隨機劃分為訓練集和測試集，其中訓練集有2 738幅，測試集有685幅。為提高圖像處理速度，將初始采集的圖像分辨率縮放到640×480像素。采集的部分楊梅圖像如圖1所示。

(a) 光照充足圖像示例1(b) 光照充足圖像示例2 (c) 光照不足圖像示例1(d) 光照不足圖像示例2

1.2 楊梅果實識別方法

基于局部滑窗技術的楊梅果實識別方法主要包括圖像預處理、楊梅果實潛在前景區域提取和楊梅果實識別3個關鍵步驟，流程如圖2所示。

圖2 基于局部滑窗技術的楊梅果實識別流程圖

1.2.1 局部自適應光照增強

果園環境下光照情況復雜，若光照不足會影響果實的識別與定位。本文采用限制對比度自適應直方圖均衡化（contrast limited adaptive histogram equalization, CLAHE）算法，對HSV顏色空間的亮度分量V進行調整。CLAHE算法是由REZA等提出的光照增強方法[13]，其步驟為：

1）將圖像S（像素為×）分割成多個連續且不重疊的小區域（像素為×）；

2）統計所有小區域的灰度直方圖，并將小區域直方圖的灰度等級記作，出現的灰度級個數記為；

3）確定剪切限幅值為

式中，為截斷系數，是每個灰度級所允許像素的最大百分比；

4）將超出值的像素平均分布到其他灰度級中；

5）對每個子區域進行直方圖均衡化處理，并對每個像素進行雙線性插值處理，得到新灰度。

1.2.2 楊梅果實候選區域提取

果園環境中采集的楊梅圖像不僅含有楊梅果實，還包含樹枝、樹葉、天空、土壤、雜草等干擾因素。色差法是分離不同對象的有效方法，并在果實區域提取領域得到廣泛應用。為保證色差法在果實區域提取中有良好表現，需要滿足果實區域內不同通道間的差值大于背景差值的條件，且差值越大越好[14]。從圖3(b)、(c)可以看出，雖然隨著楊梅果實成熟度的增加，RGB空間中R分量與G、B分量的強度差值逐漸明顯，但是成熟度較低的楊梅果實在RGB顏色空間中的分量值沒有明顯差異，因此使用RGB顏色空間的色差法難以將楊梅果實從背景中有效分離。通過比較不同顏色空間各個分量間的關系，發現YCbCr顏色空間中楊梅果實與其他對象在Cr和Cb上存在明顯的強度差異，如圖3(c)所示，因此，本文采用基于YCbCr顏色空間的色差法進行楊梅果實初步提取。

圖3 楊梅和背景區域的YCbCr分量統計

利用Otsu算法[15]對基于YCbCr顏色空間的色差法提取的楊梅果實圖像二值化。獲取的二值圖像中存在大量噪聲，去除噪聲過程如圖4所示。

(a) 原始圖像(b) CrCb色差二值圖 (c) 開運算結果(d) 濾波去噪及孔洞填充結果

首先，對二值化后的圖像執行開運算，減小噪聲區域面積、平滑感興趣區域的輪廓；然后，將二值圖像中面積較小的連通域從分割結果中剔除；最后，通過孔洞填充算法，去除潛在區域內的孔洞。

1.2.3 局部滑動窗口方法

大部分楊梅果實為成簇生長，使用傳統的彩色圖像識別技術難以準確識別。滑動窗口方法具有較強的通用性，廣泛應用于目標識別與定位任務。然而，滑動窗口方法需要對數十萬個位置進行搜索和分類，算法效率較低。為此，提出局部滑動窗口方法，流程如圖5所示。

(a) 楊梅果實 原始圖像(b) 楊梅果實潛在區域分割圖及所搜范圍(c) 滑動窗口的 搜索過程

楊梅自動采摘往往只考慮視場中一定距離內的果實對象。通過分析楊梅果實圖像，關注的楊梅果實只占整體圖像的一部分，如圖5(b)所示。因此，在滑動窗口搜索過程中可以忽略背景區域，從而提升滑動窗口的搜索效率。

1.2.4 楊梅果實識別

采用滑動窗口方法的一個重要問題是搜索窗口中是否包含楊梅果實，這需要對搜索窗口進行準確分類。建立基于局部二值模式（local binary pattern, LBP）的SVM分類模型，實現搜索窗口的準確分類。紋理特征可有效描述圖像中物體的表面性質，不同對象的表面紋理結構各不相同。LBP是一種局部紋理描述子，廣泛應用于基于機器視覺的對象檢測或識別領域。LBP可通過式(2)提取。

式中，為（x,y）8個采樣點中的第個采樣點；()為邊界像素點中第個點的灰度值；()為中心像素的灰度值；()表示為

由式(2)可知，基于LBP的特征值均在0～255之間，因此輸入樣本的最終特征維數為256。利用提取的LBP特征，建立基于線性核的SVM分類模型。楊梅果實樣本中提取的LBP特征如圖6所示。

(a)楊梅果實數據1(b)圖a對應的LBP特征(c)楊梅果實數據2(d)圖c對應的LBP特征

1.2.5 評價標準

為了對楊梅果實識別性能進行定量客觀評價，采用精確率（）、召回率（）和1作為衡量算法優劣的評價指標。

式中，為真正例，即正確識別的楊梅果實個數；為假負例，即未正確識別的楊梅果實個數；為假正例，即錯誤識別的楊梅果實個數。

2 實驗與結果分析

實驗在Windows10操作系統下，所有算法均采用python語言實現。電腦硬件配置：Intel(R) Core(TM) i7-9750H(2.60 GHz) CPU；16.0 GB RAM；Nvidia Geforce GTX 1660Ti。

2.1 光照增強算法性能評估

光照不足的圖像通過直方圖均衡化（histogram equalization, HE）和CLAHE處理后的結果如圖7所示。

(a) 光照不足的楊梅果實圖像I1(b) 全局直方圖均衡化后的I1(c) CLAHE處理后的I1

由圖7可以看出：圖7(c)的圖像對比度顯著大于圖7 (b)，楊梅果實的亮度明顯提升；但圖7 (b)中出現部分區域過曝的情況。這是因為HE直接將全局亮度直方圖進行均衡化，而CLAHE將圖像分割成多個子區域，并對不同子區域執行直方圖均衡化，解決了均衡化過程中對比度變化幅度過大的問題。因此，本文采用CLAHE進行圖像預處理，能在一定程度上改善圖像的光照情況，降低算法對環境亮度的敏感度。

2.2 楊梅果實潛在區域提取結果

圖7 (c)經過RGB顏色空間的RG色差、RB色差和YCbCr顏色空間的CbCr色差處理后分別如圖8所示。

(a) RG色差結果(b) RB色差結果(c) CbCr色差結果

由圖8可以看出：RG色差無法將未成熟的楊梅果實與背景區分，這是由于未成熟楊梅果實顏色為青色，在RGB空間中青色的R通道與G通道顏色差異小，導致未成熟楊梅果實的R通道與G通道的差值和背景基本無差異；對比RB色差和CbCr色差結果，CbCr色差圖的楊梅果實和背景的對比度明顯比RB色差圖高，CbCr色差圖更有利于后續楊梅果實潛在區域提取。

2.3 楊梅果實識別結果性能評價

在果園環境中，果實的分布狀態是影響果實識別準確率的重要原因。為測試本文方法的有效性，對測試集進行測試并統計不同分布狀態的果實識別結果，如表1所示。

表1 不同分布狀態果實識別結果

由表1可以看出，隨著果實遮擋程度增加，識別準確率逐步降低。

不同分布狀態的楊梅果實識別結果如圖9所示。

(a) 狀態1(b) 狀態2(c) 狀態3 (d) 狀態4(e) 狀態5(f) 狀態6

由圖9可以看出，本文方法在不同光照條件下，能準確識別無遮擋、輕微遮擋和嚴重遮擋的楊梅果實。

為評價本文方法的性能，選擇3種果園環境的果實識別方法進行對比，結果如表2所示。

表2 3種果實識別方法結果比較

由表2可以看出：方法2楊梅果實的檢測準確率和召回率均較低，這是因為其使用標記分水嶺算法分割成簇的楊梅果實，而成簇的楊梅果實顏色相近，果實與果實之間難以形成梯度差，導致成簇的楊梅果實難以分離；方法3采用聚類算法生成超像素，而未成熟楊梅果實與樹葉、草地等顏色相近，導致楊梅果實前景區域欠分割，影響識別效果，此外，超像素塊的分類耗時較多，導致方法3的平均檢測時間較高；方法1和本文方法的楊梅果實識別準確率和召回率均較高，但本文方法的平均檢測時間遠小于方法1。

3 結論

本文提出基于局部滑窗技術的楊梅識別與定位方法，主要結論如下：

1）基于HSV空間的CLAHE光照增強算法能有效增強背景的對比度，降低光照對后續處理的影響；

2）在光照補償基礎上，本文采用CbCr色差方法、Otus算法、區域生長策略有效解決圖像的欠分割問題，提升楊梅前景區域提取的準確率；

3）本文提出的基于局部滑窗技術的楊梅識別與定位方法，兼顧了準確率和識別率，平均識別率為92.51%，對嚴重遮擋果實的識別準確率仍能達到83.17%，且算法運行時間僅用0.123 s。

[1] QIU Y, SHEN B, GUO X, et al. Effects of foliar nutrition on leaf photosynthesis and fruit quality of Chinese bayberry[J]. Journal of Fruit Science, 2019,26:902-906.

[2] FANG Z, BHANDARI B. Comparing the efficiency of protein and maltodextrin on spray drying of bayberry juice[J]. Food Research International, 2012,48(2):478-483.

[3] LING X, ZHAO Y S, GONG L, et al. Dual-arm cooperation and implementing for robotic harvesting tomato using binocular vision[J]. Robotics and Autonomous Systems, 2019,114:134-143.

[4] ZHAO D A, LV J D, JI W, et al. Design and control of an apple harvesting robot[J]. Biosystems Engineering, 2011,110(2):112-122.

[5] WILLIAMS H A M, JONES M H, NEJATI M, et al. Robotic kiwifruit harvesting using machine vision, convolutional neural networks, and robotic arms[J]. Biosystems Engineering, 2019, 181:140-156.

[6] 王丹丹,宋懷波,何東健.蘋果采摘機器人視覺系統研究進展[J].農業工程學報,2017,33(10):59-69.

[7] PATEL H N, JAIN R K, JOSHI M V. Automatic segmentation and yield measurement of fruit using shape analysis[J]. Interna-tional Journal of Computer Applications in Technology, 2012, 45(7):19-24.

[8] ZHUANG J J, LUO S M, HOU C J, et al. Detection of orchard citrus fruits using a monocular machine vision-based method for automatic fruit picking applications[J]. Computers and Electro-nics in Agriculture, 2018,152:64-73.

[9] 雷歡,吳亮生,焦澤昱,等.果園環境中成熟楊梅自動檢測方法研究[J].自動化與信息工程,2021,42(3):9-14,26.

[10] STEIN M, BARGOTI S, UNDERWOOD J. Image based mango fruit detection, localisation and yield estimation using multiple view geometry[J]. Sensors(Basel), 2016,16(11):1915.

[11] 熊俊濤,劉振,湯林越,等.自然環境下綠色柑橘視覺檢測技術研究[J].農業機械學報,2018,49(4):45-52.

[12] TAO Y, ZHOU J, WANG K, et al. Rapid detection of fruits in orchard scene based on deep neural network[C] //2018 Detroit, Michigan July 29 - August 1, 2018.

[13] REZA A M. Realization of the contrast limited adaptive histogram equalization (CLAHE) for real-time image enhancement[J]. Journal of VLSI signal processing systems for signal, image and video technology, 2004,38(1):35-44.

[14] ZHAO D A, LIU, X Y, CHEN Y, et al. Image recognition at night for apple picking robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015,46(3):15-22.

[15] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man and Cyber-netics, 1979,9(1):62-66.

[16] TAN K, LEE W S, H GAN, et al. Recognising blueberry fruit of different maturity using histogram oriented gradients and colour features in outdoor scenes[J]. Biosystems Engineering, 2018,176:59-72.

[17] LIU X Y, ZHAO D A, JIA W K, et al. A method of segmenting apples at night based on color and position information[J]. Computers and Electronics in Agriculture, 2016,122:118-123.

Bayberry Identification and Location Method Based on Local Sliding Window Technique

Wu Liangsheng1,2Lei Huan1Chen Zaili1Ma Jingqi1

(1. Institute of Intelligent Manufacturing, Guangdong Academy of Science/Guangdong Key Laboratory of Modern Control Technology, Guangzhou 510070, China 2. Zhongkai University of Agriculture and Engineering, Guangzhou 510225, China)

Aiming at the problem of low accuracy of bayberry identification and location in orchard environment due to complex illumination and different fruit states, a method of bayberry fruit identification and location based on local sliding window technology is proposed. Firstly, adaptive histogram equalization with limited contrast is used to improve the image illumination; Secondly, the CbCr color difference method was proposed, which combined with maximum inter class variance method, morphological operation and regional growth strategy to extract the potential region of fruit; Thirdly, according to the foreground region extraction results, the local sliding window technology is used to obtain the area to be detected; Finally, a support vector machine based on local texture features is established, combined with non maximum suppression to filter out the interference such as low matching background, so as to improve the accuracy of bayberry fruit identification and location. Experiments show that this method can accurately identify and locate bayberry fruit in orchard environment. The accuracy and recall are 92.51% and 90.82% respectively. The overall time-consuming of the algorithm is only 0.123 s, taking into account the real-time and accuracy.

orchard natural environment; identification and localization of bayberry; CLAHE; local sliding window technique; textural features; SVM

廣州市科技計劃項目（202002020063）；廣東省級農業科技創新及推廣項目（2019KJ138）。

吳亮生，男，1988年生，大學本科，工程師，主要研究方向：機器視覺、人工智能。

雷歡，男，1987年生，碩士研究生，工程師，主要研究方向：機器視覺、人工智能。

陳再勵（通信作者），男，1989年生，碩士研究生，工程師，主要研究方向：機器視覺、人工智能。E-mail: zl.chen@giim.ac.cn

馬敬奇，男，1988年生，碩士研究生，工程師，主要研究方向：機器視覺、人工智能。

S24

A

1674-2605(2021)06-0006-07

10.3969/j.issn.1674-2605.2021.06.006