基于AdaBoost算法的級聯分類器對綠色荔枝的快速檢測方法*

程佳兵 鄒湘軍 林桂潮 李錦慧 陳明猷 黃礦裕

?

基于AdaBoost算法的級聯分類器對綠色荔枝的快速檢測方法*

程佳兵 鄒湘軍 林桂潮 李錦慧 陳明猷 黃礦裕

（華南農業大學工程學院）

針對綠色荔枝與樹葉顏色相似，采摘機器人在自然環境下準確識別較為困難的問題，提出一種基于AdaBoost算法的級聯分類器快速檢測方法。首先提取MB-LBP特征，并基于積分圖技術快速計算其特征值；然后利用AdaBoost算法從MB-LBP特征中構造若干個最優弱分類器，并加權組合成強分類器；最后通過若干個強分類器的級聯來構造級聯分類器，可獲得基于MB-LBP特征的AdaBoost級聯分類器。試驗表明：該方法對綠色荔枝的識別準確率為92.7%，召回率為81.3%；測試圖像的平均處理時間為1.276 s。

綠色荔枝；MB-LBP特征；AdaBoost算法；強分類器；級聯分類器

0　引言

我國是荔枝生產大國，在荔枝種植過程中，通過對綠色荔枝進行識別來估計產量，由產量決定決策，具有一定的科學依據，并可合理利用資源。

近年來，許多學者深入研究了自然環境下成熟荔枝的檢測方法。彭紅星等[1]提出一種雙次Otsu分割算法，果實分割正確率達94.75%，并且該算法實時性較好，但對與背景顏色相似的果實分割效果不佳。熊俊濤等[2-5]基于YIQ顏色模型中I分量、YCbCr顏色模型的Cr分量、HSV顏色模型或HSV顏色模型中H分量的旋轉，結合Otsu算法除去背景，再用模糊C均值聚類方法使果實與果梗分開，該算法的分割正確率、穩定性和實時性均較好。郭艾俠[6]等基于YCbCr顏色模型中Cr分量的灰度化處理，采用二次閾值方法對不同光照條件下的荔枝各部位進行識別，荔枝果、荔枝串和結果母枝的平均識別率分別為91.67%，91.67%和86.67%，但在強光條件下對荔枝果分割效果不佳。郭艾俠等[7]提出探索性分析與荔枝圖像識別融合的方法，可較好地識別荔枝串、荔枝果和結果母枝。Han等[8]提出一種基于機器視覺的快速歸一化互相關（FNCC）算法，可在野外環境下識別出綠色柑橘，正確識別率為84.4%。Sun等[9]提出將模糊集理論和流行排序方法融合的識別算法，在自然環境下對綠色蘋果的正確識別率為90.87%。伍艷蓮[10]等提出改進的均值漂移算法與顏色指數結合的方法，利用閾值分割將圖像分成綠色部分與背景部分，該方法能將綠色作物從復雜背景中分離出來且誤分割率小于6.5%。但當背景與綠色作物顏色相似時，該方法無法正確分割。謝忠紅等[11]對目標果實顏色與背景相差較大時，基于HIS和RGB色彩模型，利用H分量或R-G分量，通過Otsu方法確定最優閾值來分割目標果實與背景，準確分割目標果實成功率達98%；但當目標果實顏色與背景相似時，需通過提取熵和能量兩個紋理特征，才可將綠色果實從復雜背景中分割出來，試驗表明果實分割成功率達95%。熊俊濤等[12]提出基于深度學習的技術，利用YOLOV2模型對自然環境下樹上的綠色芒果進行檢測識別，試驗表明識別準確率為90.64%。

為檢測野外環境下的綠色荔枝，He等[13]提出一種改進的LDA分類器，采用SVM最大余量的思想確定LDA分類器閾值，用AdaBoost算法將多個LDA分類器加權組合成強分類器，該強分類器對綠色荔枝的檢測準確率為80.4%，召回率為76.4%。為進一步提高綠色荔枝的檢測準確率以及召回率，本文提出一種基于AdaBoost算法的級聯分類器對綠色荔枝快速檢測方法，實現在自然環境下對綠色荔枝的快速檢測。

1　綠色荔枝圖像采集

2018年5月30日上午，天氣晴，在廣東省增城區某果業園，用型號為D3400（分辨率是6000×4000像素）的相機采集綠色荔枝圖像150張，并將采集的圖像約按4：1分為訓練集和測試集。在圖像采集過程中，相機與目標的距離約為600 mm。

2　綠色荔枝檢測

由訓練集圖像制作正負樣本集，正樣本與負樣本數量之比約為1：3。通過提取MB-LBP特征并計算特征值，訓練弱分類器，尋得最優弱分類器；基于AdaBoost算法獲得強分類器，將強分類器級聯構建級聯分類器，對測試圖像中的綠色荔枝檢測識別。

2.1　特征提取及快速計算

2.1.1提取MB-LBP特征

LBP特征[14]可提取圖像的局部紋理信息，但只能描述圖像的微觀特征。Zhang等提出MB-LBP特征，可描述不同尺度下圖像的微觀、宏觀信息[15]。文獻[16]將MB-LBP特征用于檢測人臉，效果較好。綠色荔枝與樹葉、枝干等背景的紋理顯著不同，本文將MB-LBP特征用于綠色荔枝的檢測識別。

先將圖像進行灰度化處理，在3×3像素的大方塊中，以中間塊像素灰度值的平均值為閾值，分別與其他鄰域塊像素灰度值的平均值一一進行比較。當某鄰域塊像素灰度值的平均值大于中間塊像素灰度值的平均值時，該位置置1，否則置0。通過式(1)和式(2)可計算出MB-LBP的特征值。

提取MB-LBP特征時，以1像素為步長平移遍歷整個圖像。在檢測測試圖像時，由于圖像遠大于MB-LBP特征的尺寸，為檢測不同尺寸的綠色荔枝，需將測試圖像按一定的比例縮小，再由MB-LBP特征遍歷整個圖像，重復檢測過程。因此提取MB-LBP特征的數量較多，特征值計算量較大。為減少計算量，本文采用積分圖技術。

2.1.2積分圖

為減少特征值的計算量，Viola等[17]人引入了積分圖技術。積分圖技術是把從圖像起點開始到圖像中所有點構成的矩形區域中像素值之和作為元素存儲在數組中，當需要計算某個特征值時，直接訪問存儲在數組中相應位置的值進行相關計算即可。積分圖的定義為[16]

其中，i(x, y)是點(x, y)處的像素值；ii(x, y)是圖像i在像素(x, y)的左上角與原點所構成區域中的所有像素值之和；(x', y')是區域中任意一點。積分圖的定義如圖1所示。

為實時計算積分圖，采用遞歸法。

其中()表示列的積分值。

基于積分圖，任意矩形區域的像素值之和可由該區域4個頂點的積分圖值計算得到，如圖2所示。

區域D的積分圖值為

(4)?(2)? ii(3)+(1)

其中，(1)表示區域A的像素值之和；(2)表示區域A+B的像素值之和；(3)表示區域A+C的像素值之和；(4)表示區域A+B+C+D的像素值之和。

圖2　積分圖計算示意圖

2.2　AdaBoost算法原理

AdaBoost算法是通過不同的訓練集訓練弱分類器，從弱分類器中挑選出對訓練樣本分類誤差最小的作為最優弱分類器。不同訓練集是指每次用來訓練的樣本相同，但樣本的權值不同。首次訓練弱分類器時，設定正負樣本權值的初始值；然后從得到的弱分類器中挑選出對訓練樣本分類誤差最小的作為最優弱分類器，將其分類正確的樣本權值降低，分類錯誤的樣本權值升高，并歸一化權值。多次重復上述訓練步驟，并將得到的所有最優弱分類器以其分類誤差的函數作為權值，加權組合成強分類器。在此基礎上，對若干個強分類器進行級聯來構造級聯分類器。該算法在訓練弱分類器時，看重分類錯誤的樣本，提高其權重，這樣在下一次訓練獲得的弱分類器對該樣本可能分類正確。

2.2.1弱分類器的構造與訓練

假設訓練樣本集為

對每一個特征，通過樣本訓練得到弱分類器，計算該弱分類器對樣本的分類誤差。統計樣本所有特征訓練得到的弱分類器誤差，取其中分類誤差最小的弱分類器作為最優弱分類器，并記下閾值。

2.2.2強分類器的構造

2）歸一化權重為

其中，循環次數=1,2,…,；為正負樣本總數（）；的取值為1~；

其中，為特征編號；為窗口編號；

4）計算最優弱分類器在強分類器中的權值

5）更新訓練樣本的權值

2.2.3級聯分類器的構建

將AdaBoost算法訓練得到的若干個強分類器進行級聯構造級聯分類器。級聯分類器總的準確率和誤識別率，由式(13)和式(14)計算[20]。

其中，為級聯分類器的總層數；表示級聯分類器的某層。

圖3　級聯分類器的示意圖

3　試驗結果與分析

3.1　試驗平臺

為驗證本文提出算法的可行性，采用試驗測試。試驗平臺為內存16 GB的Window10筆記本電腦；編程平臺為Visual Studio 2013與Opencv3.0；編程語言采用C++。

3.2　定量實驗

用獲得的級聯分類器對測試圖像進行檢測，得到綠色荔枝的候選區域；提取最大連通區域，獲得其最小外接矩形；以外接矩形的中心為圓心，荔枝的平均半徑畫圓，圈出識別出的綠色荔枝并統計個數。本文將正確識別的綠色荔枝定義為：當未被遮擋時，要求圓心在綠色荔枝上，并且圓圈住綠色荔枝露出面積超過60%；若有遮擋時，只要圓的中心在綠色荔枝上即可；若有多個圓圈住同一個綠色荔枝，則將其只算一個是正確識別的，其余則當作誤檢測處理。對以下3種情況下的綠色荔枝不進行識別：1）拍照時由于風的干擾，造成部分綠色荔枝模糊；2）當兩個綠色荔枝有重疊，前面綠色荔枝露出面積的1/2大于后面綠色荔枝的截取面積，后面的綠色荔枝將不能被識別；3）由于樹葉或者樹枝的遮擋，綠色荔枝露出部分小于50%。

本文采用準確率和召回率來評價訓練得到的級聯分類器的性能。準確率的定義為預測為正的樣本中正例所占識別出樣本總數的比例。召回率的定義為正確識別的樣本總數占正例的樣本總數的比例。本文隨機選取116張綠色荔枝圖像作訓練，34張綠色荔枝圖像作測試，以評估該算法訓練獲得的級聯分類器相關性能。試驗相關數據如表1所示。從表1可知，本文提出的基于MB-LBP特征的AdaBoost級聯分類器，綠色荔枝識別準確率為92.7%，召回率為81.3%，圖像平均檢測時間為1.276 s。為驗證本文算法的識別準確率以及實時性，采用同樣的訓練樣本，提取Haar-like特征，獲得基于Haar-like特征的AdaBoost級聯分類器。該級聯分類器對綠色荔枝的識別準確率為89.4%，召回率為79.6%，圖像平均檢測時間為1.494 s?？煽闯觯罢呒壜摲诸惼餍阅芤群笳吆?，綠色荔枝識別準確率提高3.3%，召回率提高1.7%，并且試驗過程中前者訓練得到級聯分類器以及檢測每張測試圖像所花的時間較短，滿足實時性的要求。

表1　不同特征訓練獲得的級聯分類器的識別效果

3.3　定性分析

將級聯分類器用于檢測測試圖像，其效果如圖4所示，其中圖4(a)比圖4(b)中綠色荔枝準確識別的數量要多，且誤識別較少。

MB-LBP特征反映圖像區域的紋理信息，綠色荔枝的紋理信息相對于背景而言較為突出；同時MB-LBP特征對不同的光照條件具有魯棒性，提高級聯分類器的準確識別率；并且MB-LBP特征的特征值是十進制整數，加快模型的訓練過程以及測試圖像的檢測過程。Haar-like特征反映圖像區域的灰度差異，但該特征由一些簡單矩形構成，呈現出一定的局限性；而且對于同樣尺寸的圖像而言，Haar-like特征的數量相對于MB-LBP特征要多，訓練模型所需的時間較長。但也可看出：1）兩者均會出現不同程度的誤檢測情況，由于裁剪正樣本時，當綠色荔枝被樹葉、樹枝等背景遮擋時，為提取完整的綠色荔枝，會將部分的樹枝或樹葉等背景保留，這增加了級聯分類器的誤識別；2）圖像中有小部分綠色荔枝出現漏檢測的情況。

圖4(a)　基于MB-LBP特征的AdaBoost級聯分類器識別綠色荔枝的效果圖

4　結論

1）本文提出一種基于AdaBoost算法的級聯分類器對綠色荔枝快速檢測方法，能有效將綠色荔枝從顏色相似的背景中準確分離。通過試驗可得：基于MB-LBP特征的AdaBoost級聯分類器對測試圖像中的綠色荔枝識別準確率為92.7%，召回率為81.3%，測試圖像平均檢測時間為1.276 s，準確率以及實時性滿足實際應用的需求。

2）本文利用AdaBoost算法將所得的最優弱分類器加權組合成強分類器，同時將多個強分類器進行級聯構造級聯分類器。每個檢測窗口首先由若干個最優弱分類器的加權投票決定其是否為目標，當其概率小于50%時，非目標的窗口經過一個強分類器后，就有部分被剔除，則后面的強分類器檢測的窗口將會減少，多個強分類器的決策可降低誤識別率，提高識別準確率。

3）引入積分圖技術，加快了特征值的計算，減少級聯分類器訓練花費的時間。由于裁剪樣本時，綠色荔枝被背景遮擋，為盡量保證綠色荔枝截取完整，會將部分背景保留，導致后續級聯分類器出現誤識別。

后續研究將結合綠色果實的顏色、形狀和其他抽象特征從復雜背景中檢測識別綠色果實，在保證準確率的同時盡量減少漏檢數，提高召回率。

[1] 彭紅星,鄒湘軍,陳麗娟,等.基于雙次Otsu算法的野外荔枝多類色彩目標快速識別[J].農業機械學報,2014,45(4):61-68,75.

[2] 熊俊濤,林睿,劉振,等.夜間自然環境下荔枝采摘機器人識別技術[J].農業機械學報,2017,48(11):28-34.

[3] 熊俊濤,鄒湘軍,陳麗娟,等.基于機器視覺的自然環境中成熟荔枝識別[J].農業機械學報,2011,42(9):162-166.

[4] 熊俊濤,鄒湘軍,陳麗娟,等.荔枝采摘機械手果實識別與定位技術[J].江蘇大學學報(自然科學版),2012,33(1):1-5.

[5] 熊俊濤,鄒湘軍,王紅軍,等.基于Retinex 圖像增強的不同光照條件下的成熟荔枝識別[J].農業工程學報,2013,29(12): 170-178.

[6] 郭艾俠,鄒湘軍,鄒海鑫.基于二次閾值的荔枝果與結果母枝圖像識別[J].計算機工程與設計,2014,35(2):557-561.

[7] 郭艾俠,鄒湘軍,朱夢思,等.基于探索性分析的荔枝果及結果母枝顏色特征分析與識別[J].農業工程學報,2013,29(4):191-197.

[8] Li H, Lee WS, Wang K. Immature green citrus fruit detection and counting based on fast normalized cross correlation (FNCC) using natural outdoor colour images[J]. Precision agriculture, 2016,17(6):678-697.

[9] Sun S, Wu Q, Jiao L, et al. Recognition of green apples based on fuzzy set theory and manifold ranking algorithm[J]. Optik, 2018,165:395-407.

[10] 伍艷蓮,趙力,姜海燕,等.基于改進均值漂移算法的綠色作物圖像分割方法[J].農業工程學報,2014,30(24):161-167.

[11] 謝忠紅,姬長英.基于顏色模型和紋理特征的彩色水果圖像分割方法[J].西華大學學報(自然科學版),2009,28(4):41-45.

[12] 熊俊濤,劉振,林睿,等.自然環境下樹上綠色芒果的無人機視覺檢測技術[J].農業機械學報,2018,49(11):23-29.

[13] He ZL, Xiong JT, Lin R, et al. A method of green litchi recognition in natural environment based on improved LDA classifier[J]. Computers and Electronics in Agriculture, 2017,140:159-167.

[14] Sun H, Shen J, Chen B. LBP based fast face recognition system on symbian platform[J]. AASRI Procedia, 2012,1:276-281.

[15] Zhang L, Chu RF, Xiang SM, et al. Face Detection Based on Multi-Block LBP Representation[C].Seoul,Korea:Springer-Verlag Berlin Heidelberg, 2007:27-29.

[16] Jia ZJ, Wang CS, Yang G, et al. A Research of Face Feature Extraction Based on MB-LBP[C].2011 IEEE Power Engineering and Automation ConferenceL:IEEE,2011:69-72.

[17] Viola P, Jones M. Rapid Object Detection using a Boosted Cascade of Simple Features[C]. CVPR 2001:IEEE,2001:511-518

[18] 江偉堅,郭躬德,賴智銘.基于新Haar-like特征的AdaBoost 人臉檢測算法[J].山東大學學報(工學版),2014,44(2):43-48.

[19] 張雪芹,方婷,李志前,等.基于類Haar特征和AdaBoost的車輛識別技術[J].華東理工大學學報(自然科學版),2016, 42(2):260-265.

[20] 李芳.基于AdaBoost算法的人臉檢測研究與實現[D].武漢:武漢理工大學,2013.

Fast Detection Method for Green Litchi by Cascaded Classifier Based on AdaBoost Algorithm

Cheng Jiabing Zou Xiangjun Lin Guichao Li Jinhui Chen Mingyou Huang Kuangyu

(School of Engineering, South China Agricultural University)

Due to the similar color of green litchi and leaves, it is more difficult to accurately identify green litchi in the wild environment. In this regard, this paper proposes a fast detection method for green litchi by cascaded classifier based on AdaBoost algorithm. Firstly, the MB-LBP features are extracted, and their eigenvalues are quickly calculated based on the integral graph technique. Then, several optimal weak classifiers are constructed from the MB-LBP features by AdaBoost algorithm, and weighted into strong classifiers. Finally, the AdaBoost cascade classifier based on MB-LBP feature can be obtained by constructing a cascade classifier by cascading several strong classifiers. Experiments show that the AdaBoost cascade classifier based on MB-LBP features the recognition accuracy of green litchi is 92.7%, the recall rate is 81.3%, and the average processing time of test images is 1.276s. Therefore, the robustness and real-time performance of the algorithm is good, and it also provides a feasible method for green fruit detection.

Green Litchi; MB-LBP Feature; AdaBoost Algorithm; Strong Classifier; Cascade Classifier

程佳兵，女，1994年生，碩士研究生，主要研究方向：機器視覺。

鄒湘軍（通信作者），女，1957年生，教授，博士生導師，主要研究方向：農業機器人、智能設計與制造、仿真等。 E-mail: xjzou1@163.com

國家自然科學基金（31571568）；廣東省省級科技計劃項目（2017A030222005）。