基于視覺感知的蔬菜害蟲誘捕計數算法

肖德琴　張玉康　范梅紅　潘春華　葉耀文　蔡家豪

(1.華南農業大學數學與信息學院， 廣州 510642； 2.廣東省農業大數據工程技術研究中心， 廣州 510642；3.廣州東升農場有限公司， 廣州 511470)

0　引言

無線圖像傳感器網絡以其對視頻、圖像等大信息媒體的感知與處理優勢，催生了視覺感知技術在工業界和學術界的空前發展，導致視覺感知的圖像識別技術成為各界應用的熱點[1-2]。近年來，視覺感知技術在害蟲識別[3-14]、作物長勢分析[15]、作物病理診斷[16]等農業領域得到了廣泛重視。農業害蟲圖像識別也成為近年來的研究熱點。

在害蟲圖像識別領域，目前主要是通過對誘捕板害蟲進行計數和對綠色植物葉面的害蟲進行計數。張水發等[3]、胡雅輝等[4]和MURAKAMI等[10]研究了綠葉表面的蔬菜害蟲圖像，對薊馬或煙粉虱的識別率相對較高，但是識別的害蟲類型相對單一，而且需要人工翻轉每個葉面，不利于自動化識別應用。ESPINOZA等[6]和SUN等[12]關于誘捕板害蟲的識別均有較好的識別精度。

針對當前大田環境下害蟲圖像識別技術存在種類單一和背景過于理想化的不足[13-16]，以及對大田環境下薊馬、煙粉虱等蔬菜害蟲進行識別計數的空缺，本文在對比分析以往邊緣檢測和閾值分割的經典算法基礎上，以南方蔬菜重大害蟲為研究對象，探索一種在大田環境下使用黃色誘捕板對蔬菜害蟲進行監測計數的新方法，提出一種基于結構化隨機森林的害蟲圖像分割算法和利用不規則結構的特征提取算法。進一步結合背景去除、干擾目標去除和檢測模型計數子算法，集成設計基于視覺感知的蔬菜害蟲計數算法(Vegetable pest counting algorithm based on visual perception，VPCA-VP)，在現場復雜環境下使害蟲識別達到3類以上。

1　VPCA-VP算法的體系結構

VPCA-VP算法主要包括害蟲圖像預分割、背景去除、干擾害蟲去除、不規則特征提取和檢測計數5大模塊，算法流程圖如圖1所示。

預分割模塊中，針對大田現場圖像的復雜環境，本文使用結構化隨機森林子算法對害蟲圖像進行預分割，獲得圖像中所有對象的輪廓；然后采用背景去除子算法去掉黃板以外的干擾背景，獲得只有黃板區域內的圖像；再應用干擾害蟲去除子算法去除大型害蟲部分肢體的干擾；最后運用不規則特征提取子算法形成3維特征向量，并使用閾值判定子算法對害蟲進行分類計數。

2　VPCA-VP算法設計與實現

2.1　預分割處理

本文提出了一種基于結構化隨機森林的分割算法，該算法采用監督學習方式對害蟲圖像進行分割。美國伯克利大學的BSDS500圖像數據庫[17]為圖像分割和邊緣檢測提供了一個共享的圖形庫，該圖像數據庫包括12 000個人工分割圖像和1 000個Corel數據庫圖像，涵蓋了物體、動物和害蟲等多個領域的圖像信息，國內外很多學者使用BSDS500數據庫做各個領域的分割，例如徐良玉等[18]用其進行海天線檢測，ZITNICK等[19]用其對動物進行跟蹤。本文以BSDS500圖像數據庫為訓練集，使用CIE-LUV的3個色彩空間、2種梯度大小(原始分辨率和原始分辨率的一半)[20]和8個方向(每個梯度有4個方向)[21]，結合樣本空間的自相似性描述子，將樣本圖像轉換成7 228維的特征向量，進一步利用向量轉換和降維技術得到256維的輸出向量[22]。特征向量和輸出向量用于訓練單棵決策樹，最終完成隨機森林的訓練。

圖1　VPCA-VP算法流程圖Fig.1　Flowchart of VPCA-VP algorithm

經過多次測試發現，本實驗中隨機森林的子樹個數T為4時效果比較好，本文基于隨機森林的害蟲圖像生成流程算法如下：

輸入：訓練集D=(X,Y),X是樣本的屬性集，Y是對應樣本的標簽集

輸出：訓練好的隨機森林模型

GrowRandomTree(D)

fortto |T| do

隨機選取固定數量的屬性集合Xsub，結合標簽集Y形成訓練集Dt

訓練隨機森林的單棵決策樹

end for

return random forest

結合害蟲圖像對訓練完成的隨機森林進行測試，分割效果如圖2所示，本算法不僅可以準確分割黃板邊緣，而且害蟲對象的邊緣也能準確分割出來。

2.2　背景去除

直接提取出來的黃板區域是不包括黃板邊緣的像素，實際實驗中發現很多害蟲集中在黃板邊緣上，所以需要對黃板區域進行微量膨脹來補充損失的黃板邊緣信息。由于原圖在農場大田環境下采集，包含的背景比較多，因此，本文算法先需要除去黃板以外的植物和建筑物等其他背景，以獲取只有黃板的二值圖像。具體算法如下：

輸入：預分割圖像

輸出：背景去除后的圖像

getDelBlackground(I)

把圖像I作取反操作，得到圖像I1

對I1進行填充操作，凸顯黃板區域，獲得圖像I2

新建立一個空白圖像，選取圖像I2的黃板放在空白圖像上，形成圖像I3

對I3進行膨脹操作，彌補邊界的損失，得到圖像I4

returnI4

首先以圖2為研究對象，把圖2進行取反操作，得到圖3a；然后對圖3a進行填充操作，得到圖3b；最后對圖3b中黃板區域的連通域進行選擇，存放在另外一個新建的圖像，得到圖3c。為了后面能夠獲取到黃板邊界的分割圖，需要補充黃板掩碼圖的缺陷，可對圖3c進行膨脹操作得到黃色誘捕板的掩碼圖，膨脹算法選取尺寸為20×20的正方形結構元素作為計算算子，結果如圖3d所示。再把圖2初步分割的結果與圖3d的掩碼圖進行與運算，可去掉黃板區域以外的建筑物、天空等背景圖像，最后得到只有黃色誘捕板的分割圖像，如圖3e所示。

圖2　結構化隨機森林分割圖Fig.2　Segmentation diagrams of structured random forests

圖3　去除背景過程Fig.3　Process of removing background

2.3　干擾害蟲的去除

識別害蟲時可能會把體積較大害蟲的部分肢體當成本文需要識別的害蟲，為了排除超大型害蟲的干擾，再一次提高后面害蟲識別的精度，本文設計了如下干擾害蟲去除算法。

輸入：已經去除背景的分割圖像

輸出：已經去除干擾害蟲的分割圖像

圖4　去掉大型害蟲干擾過程Fig.4　Process of removing interference of large pest

getDelOtherPest(I)

對圖像I進行凸包擬合，得到只有大型害蟲的凸包擬合圖像I1

對圖像I1中除了凸包區域外其他區域漫水填充成灰色，獲得圖像I2

對圖像I2進行二分操作，灰色區域變成黑色，非灰色區域變成白色，形成圖像I3

根據I3對I進行操作，I3為黑色區域位置則對應保留I中原來像素，否則變成黑色像素，最終得到圖像I4

returnI4

首先，對圖3e進行凸包擬合，找到凸包面積較大的區域，得到如圖4a所示結果；其次，對凸包擬合的圖像使用漫水填充算法進行標記，圖像上分別有灰色背景，黑色的害蟲內部區域和白色的害蟲邊界，而且大型害蟲輪廓還包含有子輪廓，如圖4b所示；然后，對圖4b進行二分操作，把灰色背景變成黑色，其他的顏色全部變成白色，得到了圖4c的大型害蟲掩碼圖；最后，根據圖4c大型害蟲的掩碼圖，對圖3e進行操作，如果是圖4c的白色區域，則把圖3e對應區域的像素變成黑色，這樣就能去掉黃色誘捕板內大型害蟲的干擾，得到只有小型害蟲的分割圖像，如圖4d所示。由此，獲得了只有小型害蟲的分割圖像，為后面的識別盡可能地排除了干擾。

2.4　不規則特征提取

害蟲圖像具有全局特征，如果對整張圖像進行特征提取，這個圖像特征將包括害蟲、黃板甚至是遠處的建筑物等很多對象信息。經典的做法是只計算每個分割對象矩形區域的特征，使特征區域只包含單個對象，這不可避免地帶來了對象以外的像素干擾，降低了該對象特征的代表性，如圖5所示。

圖5　傳統的特征提取子輪廓Fig.5　Feature extraction of sub contour by traditional method

本文使用一種新的算法對不規則圖像進行特征提取，使提取出來的特征只有害蟲對象特征，并排除其他像素特征的干擾。先把彩色圖像轉換成灰度圖，然后使用掩碼圖運算的形式對害蟲對象進行像素提取，最后使用特征值計算紋理能量、對比度、熵、均勻度、相關度、顏色平均值、方差、能量、熵、區域面積、離心率和周長的特征值。特征提取算法如下：

輸入：只有單個輪廓的分割圖像和原圖像的灰度圖

輸出：12維的特征向量

GetFeatureVector(I,Iori)

對圖像I的輪廓使用漫水填充算法得到圖像I2

把I2與原圖的灰度圖做與運算，取出只有單個對象的灰度圖I3

計算I3的灰度共生矩陣，并進行二次統計計算紋理的能量、對比度、熵、均勻度和相關度

計算I3圖像的顏色直方圖，并進行二次統計求得顏色平均值、方差、能量和熵

計算I3中唯一輪廓的區域面積、離心率和周長

return featureVector

此算法首先提取圖像的灰度圖，然后根據掩碼圖計算灰度圖的特征值，效果如圖6所示。根據提取出來的12個特征，使用SPSS對特征進行主成分分析[23]，獲得了面積、離心率和周長3個主要特征。

圖6　特征提取子輪廓Fig.6　Feature extraction of sub contour

2.5　檢測計數

由于本文計數的害蟲是薊馬、煙粉虱和實蠅，根據上一節的主成分分析，本文識別算法所采用的特征向量用面積、周長和離心率來表示，在實際算法執行過程中，發現計算輪廓周長效果并不明顯，所以進一步去除了周長特征，為提高精度，本算法加上了第4主成分——顏色平均值，最后選擇的特征是面積S、離心率e和顏色平均值avh。進一步根據害蟲的特征分別設置相應的閾值，若滿足條件S0

輸入：面積、離心率、顏色平均值

輸出：各種害蟲的數量

CalPestNumber(S,e,avh)

for 1 to AllContour

如果是煙粉虱，則煙粉虱計數加1，進入end for

如果是薊馬，則薊馬計數加1，進入end for

如果是實蠅，則實蠅計數加1，進入end for

其他類型害蟲計數加1，進入end for

end for

return pestNumber

3　實驗與分析

3.1　算法應用測試

本文實驗環境是在自然光照環境下對田間誘捕害蟲的黃色誘捕板進行采樣識別，采用佳能EOS T2i單反相機進行微距拍攝，拍攝時相機與黃板的平視距離為50 cm，像素為3 500萬，拍攝地點在廣州市天河區柯木塱南路28～30號(113.412 671°E,23.190 265°N)，實驗拍攝情況如圖7所示，拍攝時間是14：30—17：00。本文采用辣椒地作為實驗環境，在辣椒苗期開始使用黃板誘捕，根據作物的長勢及時調整懸掛高度，保持色板高于作物15～30 cm，每公頃懸掛450～750張黃板，黃板尺寸為24.5 cm×19.5 cm，太陽光照強烈和溫和條件下都有采集圖像，同時黃色粘板本身又有一些粘液的干擾，圖像環境相對復雜，提高了計算機算法識別的難度。

本算法在Matlab和C++環境下進行分析測試，其中C++使用OpenCV 3.0的圖像處理庫。本實驗使用53幅圖像對薊馬和實蠅進行計數，在黃板膠體和強光影響下，實驗對煙粉虱計數的效果不佳，對30幅光照強度相對較弱的圖像進行煙粉虱計數研究，總共83幅圖像，算法效果較好，應用測試結果如圖8所示。

3.2　算法的常規度量分析

對VPCA-VP算法的計量精度進行分析。本文選取了薊馬、煙粉虱和實蠅為識別對象，對這3種害蟲的計數結果與人工計數進行對比，其性能分析結果用混淆矩陣表示，結果如圖9所示。

圖7　實驗部署Fig.7　Experimental implementation

圖8　單張圖像計數的界面Fig.8　Graphical interface for single picture count

由圖9可知，薊馬識別正確率為93.19%，煙粉虱識別正確率為91%，實蠅識別正確率為100%。煙粉虱的識別性能相對較低，識別正確率只有91%，經過分析發現，主要的影響因素是黃色誘捕板上面的膠體發生了一些光照的反射，因為本文的檢測模型是通過顏色特征、邊界特征和區域特征來確定的，光照的反射使得膠體呈現出類似煙粉虱的圖像，進而產生了誤差。

圖9　VPCA-VP算法的性能分析結果Fig.9　Performance analysis results of VPCA-VP algorithm

3.3　算法的相對誤差分析

為分析VPCA-VP算法的相對誤差，本文對每張黃板的計數結果進行分析，把人工計算害蟲的數量作為橫坐標，對應害蟲的相對誤差作為縱坐標，采用散點圖方式描述分布結果，如圖10所示。

由圖10a可知，薊馬的誤差范圍在-12.23%～8.17%之間波動，平均誤差為-1.40%；由圖10b可知，煙粉虱的識別誤差為-25%～25%，平均誤差為0.89%；由圖10c可知，實蠅相對誤差波動較大，誤差從0～100%波動。由圖10可得，薊馬和煙粉虱識別誤差在可以接受范圍內，而實蠅因為體積較大本來很容易識別，但是由于樣本數量少，每個黃板實蠅數量平均不到1個，一旦出現一個實蠅變形，誤差就急劇上升。盡管如此，當前監測實蠅的總平均誤差為8%，也在可接受范圍內。

3.4　算法計數和人工計數的對比分析

將VPCA-VP算法與人工計數的方法進行比較。參考每塊黃板的結果數據，把人工計算害蟲的數量作為橫坐標，算法計算對應害蟲的數量作為縱坐標，繪制散點圖，并且對每個數據進行線性回歸擬合[23]，畫出每塊黃板結果數據的回歸直線，結合回歸直線和散點的分布對本文算法進行分析，結果如圖11所示。

圖10　算法的相對誤差Fig.10　Relative error of algorithm

圖11　算法計數和人工計數的回歸模擬Fig.11　Regression simulation of algorithm counting and manual counting

由圖11可知，除了實蠅有個別離群點之外，3種害蟲的算法計數和人工計數基本符合線性模型，也就是說算法總體精度較為可靠。從圖11a可知，離散點基本貼近回歸直線，所以算法對薊馬計數的結果和人工計數結果基本一致，薊馬的決定系數R2為0.98，算法精度較高；相比于圖11a，圖11b中的離散點也基本貼近回歸直線，煙粉虱的決定系數R2為0.97。從圖11c可知，實蠅的決定系數R2為0.94，擬合程度相對較差，這是由于每塊黃板的實蠅數量較少，只要一個遺漏就會產生較大的偏離，但多數情況算法都能找到實蠅，而且找到的基本都是對的，所以總體性能相對也是可以接受的。

4　結束語

對隨機森林分割算法加以改進，結合不規則結構的特征提取算法，實現了一個基于視覺的害蟲圖像計數算法，該算法實現了對煙粉虱、薊馬和實蠅的計數，算法的平均識別正確率為94.89%，VPCA-VP算法能夠在純大田環境下對害蟲進行快速計數，可為農業害蟲快速識別計算提供技術支持。

1李道亮,楊昊.農業物聯網技術研究進展與發展趨勢分析[J/OL].農業機械學報,2018,49(1):1-22.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20180101&flag=1.DOI：10.6041/j.issn.1000-1298.2018.01.001.

LI Daoliang, YANG Hao. A state-of-the-art review for Internet of things in agriculture[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2018,49(1):1-22. (in Chinese)

2殷建軍,潘春華,肖克輝，等.基于無線圖像傳感器網絡的農田遠程監測系統[J/OL].農業機械學報,2017,48(7):286-293.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20170736&journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2017.07.036.

YIN Jianjun, PAN Chunhua, XIAO Kehui, et al. Remote monitoring system for farmland based on wireless image sensor network[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2017,48(7):286-293. (in Chinese)

3張水發，王開義，劉忠強，等. 基于離散余弦變換和區域生長的白粉虱圖像分割算法[J]. 農業工程學報, 2013, 29(17): 121-128.

ZHANG S F, WANG K Y, LIU Z Q, et al. Algorithm for segmentation of whitefly images based on DCT and region growing[J]. Transactions of the CSAE, 2013, 29(17): 121-128. (in Chinese)

4胡雅輝，高靈旺. 煙粉虱成蟲密度自動計數系統[J]. 應用昆蟲學報, 2011, 48(1): 84-87.

HU Y H,GAO L W. An automatic counting system for surveying density ofBemisiatabaciadults[J]. Chinese Journal of Applied Entomology, 2011,48(1):84-87.(in Chinese)

5陳梅香，楊信廷，石寶才,等. 害蟲自動識別與計數技術研究進展與展望[J]. 環境昆蟲學報, 2015, 37(1):176-183.

CHEN M X, YANG X T, SHI B C, et al.Research progress and prospect of technologies for automatic identifying and counting of pests[J].Journal of Environmental Entomology, 2015,37(1): 176-183. (in Chinese)

6ESPINOZA K, VALERA D L, TORRES J A, et al. Combination of image processing and artificial neural networks as a novel approach for the identification of Bemisia tabaci and Frankliniella occidentalis on sticky traps in greenhouse agriculture[J]. Computers & Electronics in Agriculture, 2016, 127: 495-505.

7FUKATSU T, WATANABE T, HU H, et al. Field monitoring support system for the occurrence ofLeptocorisachinensisDallas (Hemiptera: Alydidae) using synthetic attractants, field servers, and image analysis[J]. Computers & Electronics in Agriculture, 2012, 80(1): 8-16.

8GASSOUMI H, PRASAD N R, ELLINGTON J J. Neural network-based approach for insect classification in cotton ecosystems[C]∥Las Cruces, New Mexico:New Mexico State University,2000.

9LI Y, XIA C, LEE J. Detection of small-sized insect pest in greenhouses based on multifractal analysis[J]. Optik-International Journal for Light and Electron Optics, 2015, 126(19): 2138-2143.

10MURAKAMI S, HOMMAK, KOIKE T. Detection of small pests on vegetable leaves using GLCM[C]∥2005 ASAE Annual Meeting, ASAE Paper 053136,2005.

11SHARIFF A R M, AIK Y Y, HONG W T, et al. Automated identification and counting of pests in the paddy fields using image analysis[C]∥Computers in Agriculture and Natural Resources, 2006.

12SUN Y, CHENG H, CHENG Q, et al. A smart-vision algorithm for counting whiteflies and thrips on sticky traps using two-dimensional Fourier transform spectrum[J]. Computer & Digital Engineering, 2007, 153(2): 82-88.

13XIA C, CHONG T S, REN Z, et al. Automatic identification and counting of small size pests in greenhouse conditions with low computational cost[J]. Ecological Informatics, 2015, 29: 139-146.

14TIRELLI P, BORGHESE N A, PEDERSINI F, et al. Automatic monitoring of pest insects traps by Zigbee-based wireless networking of image sensors[C]∥2011 Instrumentation and Measurement Technology Conference,2011: 1-5.

15韓文霆，李敏，陳微. 作物數字圖像獲取與長勢診斷的方法研究[J]. 農機化研究, 2012,34(6): 1-6.

HAN W T, LI M, CHEN W. Methods of image acquisition and analysis for crop conditions diagnose[J]. Journal of Agricultural Mechanization Research, 2012,34(6): 1-6. (in Chinese)

16MACHADO B B, ORUE J P M, ARRUDA M S, et al. BioLeaf: a professional mobile application to measure foliar damage caused by insect herbivory[J]. Computers & Electronics in Agriculture, 2016, 129: 44-55.

17MARTIN D R, FOWLKES C, TAL D, et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]∥Proceedings of 8th IEEE International Conference on Computer Vision,2002, 2: 416-423.

18徐良玉,馬錄坤,謝燮,等. 基于結構森林邊緣檢測和Hough變換的海天線檢測[J]. 上海大學學報:自然科學版,2017,23(1):47-55.

XU L Y, MA L K, XIE X, et al. Sea-sky line detection based on structured forests edge detection and Hough transform[J]. Journal of Shanghai University:Natural Science Edition, 2017,23(1):47-55.(in Chinese)

19ZITNICK C L, DOLLAR P. Edge boxes: locating object proposals from edges[C]∥European Conference on Computer Vision, 2014,8693:391-405.

20LOWE D G, LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

21DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2005,2005: 886-893.

22LIM J J, ZITNICK C L, DOLLAR P. Sketch tokens: a learned mid-level representation for contour and object detection[C]∥Computer Vision and Pattern Recognition,2013: 3158-3165.

23李小勝,陳珍珍. 如何正確應用SPSS軟件做主成分分析[J]. 統計研究,2010,27(8):105-108.

LI X S, CHEN Z Z. Correctly using SPSS software for principal components analysis[J]. Statistical Research, 2010,27(8):105-108.(in Chinese)