基于改進CornerNet的水稻燈誘飛虱自動檢測方法構建與驗證

姚 青，吳叔珍，蒯乃陽，楊保軍，唐 健，馮 晉，朱旭華，朱先敏

基于改進CornerNet的水稻燈誘飛虱自動檢測方法構建與驗證

姚 青1，吳叔珍1，蒯乃陽1，楊保軍2※，唐 健2，馮 晉3，朱旭華3，朱先敏4

（1. 浙江理工大學信息學院，杭州 310018；2. 中國水稻研究所稻作技術研究與發展中心，杭州 311401；3. 浙江省托普云農科技股份有限公司，杭州 310015；4. 江蘇省植物保護植物檢疫站，南京 210036）

針對水稻燈誘昆蟲圖像中稻飛虱自動檢測存在嚴重誤檢和漏檢問題，提出一種基于改進CornerNet的水稻燈誘飛虱自動檢測方法。由于稻飛虱個體在燈誘昆蟲圖像中所占區域比例極小，利用重疊滑動窗方法提高飛虱在圖像檢測區域中所占比例，提高2種稻飛虱（白背飛虱和褐飛虱）的檢測率和避免滑動窗邊界造成的目標漏檢。針對CornerNet存在角點匹配不準確導致檢測框冗余問題，利用檢測框抑制方法去除冗余檢測框。對燈誘昆蟲圖像進行稻飛虱檢測，結果表明，該研究提出的基于改進CornerNet的水稻燈誘飛虱自動檢測方法對2種稻飛虱檢測的平均精確率和召回率分別為95.53%和95.50%，有效地提高了燈誘昆蟲圖像中稻飛虱的檢測效果，可用于智能蟲情測報燈的燈誘昆蟲圖像中白背飛虱和褐飛虱的智能測報。

圖像識別；害蟲檢測；水稻燈誘昆蟲圖像；稻飛虱；CornerNet模型；目標檢測；重疊滑動窗

0 引 言

水稻在生長過程中會遭受多種害蟲危害，嚴重影響水稻產量，每年給中國造成巨大的經濟損失[1]。其中，在中國南方稻區稻飛虱頻發、重發，因此需要實時、準確地監測稻飛虱田間種群。目前，稻飛虱田間種群監測方法或設備主要依靠人工田間調查和蟲情測報燈[2-3]，仍需要人工識別與計數飛虱。隨著基層測報人員的流失，依靠人工識別與計數飛虱存在監測任務重、效率低、客觀性差和非實時性等問題。

為了減輕基層測報人員的勞動強度，提高稻飛虱測報的實時性和準確率，許多學者研究了基于圖像的稻飛虱自動識別方法。鄒修國等[4]搭建了稻飛虱圖像采集系統，利用燈光誘集稻飛虱至幕布上，然后拍攝飛虱圖像，利用了傳統模式識別方法識別飛虱種類與數量，獲得了較好的飛虱識別效果；但該系統建立在無線移動小車上，稻田環境復雜，影響該系統的推廣應用。Yao等[5]和俞佩仕等[6]利用可伸縮的手持式稻田飛虱圖像采集儀采集水稻莖基部飛虱圖像，并利用深度學習方法來計數飛虱數量，取得較好的結果，但該方法仍需要測報人員下田采集稻飛虱圖像。Yao等[7]針對智能蟲情測報燈采集了水稻燈誘昆蟲圖像，利用傳統的圖像處理方法對燈誘昆蟲圖像進行背景分割和粘連昆蟲分割，然后利用深度學習模型ResNet識別白背飛虱（）和褐飛虱（）。由于稻飛虱體型較小，僅僅3～5 mm，利用分割方法難以將復雜背景下的飛虱準確地分割出來，從而影響2種稻飛虱的識別率。

智能蟲情測報燈[7]采集的燈誘昆蟲圖像中昆蟲種類多、蟲量大，且存在很多微小昆蟲與稻飛虱體型相似，利用深度學習中常用的目標檢測模型[8-13]檢測燈誘昆蟲圖像中的稻飛虱，存在嚴重的誤檢和漏檢問題。針對該問題，本研究提出基于改進CornerNet[14]的水稻燈誘飛虱自動檢測方法，利用重疊滑動窗和檢測框抑制方法，提高燈誘昆蟲圖像中2種飛虱檢測的精確率和召回率，減少飛虱的誤檢和漏檢。

1 材料與方法

1.1 圖像采集與數據集建立

利用智能蟲情測報燈的圖像采集系統采集燈誘昆蟲圖像，圖像大小為4 000×3 000像素，將圖像分成訓練集和測試集，圖像及2種飛虱數量信息見表1。根據每幅圖像中所含飛虱數量的差異，對圖像數進行了統計，見表2。智能蟲情測報燈具有昆蟲抖動分散和傳輸功能，可以將誘殺的昆蟲分散開來，同時根據圖像中檢測到昆蟲數量及面積自動調整傳輸帶和圖像采集的速度，避免燈誘昆蟲發生堆積情況[7]。采集的圖像中每幅圖像包含的飛虱數量一般集中在0～40頭，高峰期則可能超過40頭。由于水稻燈誘昆蟲圖像中存在大量的非目標昆蟲，為了從圖像中準確檢測出白背飛虱和褐飛虱，利用目標標注工具LabelImage對訓練集圖像中的白背飛虱和褐飛虱進行標記，得到PASCAL VOC[15]格式的數據集，然后將其轉換為COCO[16]數據集的格式用于訓練。

表1 水稻燈誘昆蟲圖像數據信息

表2 單幅圖像中不同飛虱數量的圖像數

1.2 圖像數據增強

為了提高模型的泛化能力和魯棒性，采用水平鏡像翻轉、高斯模糊和增加亮度與對比度3種方法[17]對訓練集中的圖像進行數據擴充（圖1），最終獲得原來4倍數量的訓練樣本。

1.3 水稻燈誘飛虱自動檢測方法

1.3.1 基于改進CornerNet的水稻飛虱檢測模型網絡框架

CornerNet[14]檢測模型包括主干網絡和角點預測模塊。主干網絡負責提取特征和生成關鍵點，2個角點預測模塊分別對左上角和右下角的角點進行判定和匹配。CornerNet將目標檢測問題轉化為關鍵點檢測問題，通過檢測目標框左上角和右下角2個關鍵點來確定預測框的位置，是一種無錨點算法。檢測時，由主干網絡輸出的特征圖經過角點池化后生成2組熱圖作為候選角點；同時，網絡在2個分支為每個角點預測了嵌入向量用來判斷左上角和右下角角點是否匹配。為了使2個角點確定的邊界框的位置更加準確，使用偏移量微調左上角和右下角角點的位置。

直接將CornerNet模型用于檢測水稻燈誘昆蟲圖像時，除了存在一些飛虱目標的漏檢，還出現角點匹配不準確和檢測框冗余的問題。針對漏檢問題，采用重疊滑動窗選取圖像的部分區域進行檢測，提高單個飛虱在圖像區域中的比例，滑動窗在滑動方向上的重疊保證了所有目標的完整個體至少被檢測一次，能夠有效提高飛虱的查全率。滑動窗選取的區域送入特征提取網絡Hourglass Network[14]中提取特征，然后進行角點匹配和檢測框調整初步生成目標檢測框，再通過類間類內非極大值抑制、閾值過濾和完整性檢測等檢測框抑制方法去除因角點匹配錯誤和滑動窗重疊引入的冗余檢測框，提高了模型檢測的精確率。改進后的水稻燈誘飛虱CornerNet檢測模型網絡框架如圖2所示。

1.3.2 重疊滑動窗方法

燈誘昆蟲圖像大小為4 000×3 000，實際飛虱長度僅為3～5 mm，在整幅圖像中的面積占比約為1/1 200。本文利用滑動窗掃描圖像，每次選取固定大小的區域進行特征提取和目標檢測，提高目標在圖像中的占比，從而降低檢測飛虱的難度。

為了保證每個飛虱目標在所有滑動窗選取的區域中至少存在一個完整蟲體，本文根據燈誘昆蟲圖像中昆蟲大多集中在中間區域這一先驗知識，提出一種重疊滑動窗方法。如圖3所示，一幅4 000×3 000的燈誘圖像，固定滑動窗的長寬分別為1 120和870個像素，由于圖像中飛虱的最小外接矩形長寬不超過120個像素，滑動窗從四周向中心滑動時，在滑動方向上重疊的像素大小為120。位置①處的滑動窗分別滑動到②和③，并經由③滑動到位置④。由于重疊區域的面積大于飛虱在圖像中的最大面積，因此，任意一個飛虱蟲體至少完整地存在于一個滑動窗內。但是有些飛虱正好位于某個滑動窗的邊界上，導致滑動窗內出現了飛虱的部分蟲體，有可能被檢測框檢出，后續通過目標檢測框抑制方法解決此問題。

1.3.3 特征提取網絡

特征提取是目標檢測中重要的環節，目標檢測框的數量、分類準確率、效率等直接受到特征提取網絡的影響。目前比較常用的特征提取網絡有VGGNet[18]、ResNet系列算法[19-21]和YOLO系列[22-25]使用的darknet等，這些網絡主要用于需要確定候選框的目標檢測模型。

CornerNet利用Hourglass Network[14]提取特征，得到目標關鍵點用于后期角點匹配生成檢測框，其網絡結構如圖4所示。Hourglass Network的基本網絡單元為Residual Module[26]，其結構如圖4左下角所示，上通路為卷積路，采用3×3卷積和1×1卷積提取特征，步長為1只改變特征圖的通道數，不改變特征圖的大小。下通路經過1×1卷積改變通道數后與上通路跨級連接。在利用卷積路提取較高層次特征的同時，通過跨級連接保留了原有信息，而且輸入和輸出尺寸相同，只對深度進行變更，可以適應任意大小的輸入圖像。多個Residual Module以跨級連接的方式構成Hourglass子網絡，子網絡堆疊組成最終的Hourglas Network。CornerNet使用的主干網絡由4級子網絡構成，子網絡采用與Residual Module相同的結構，堆疊時利用子網絡替換結構中的一個Residual Module構成嵌套，具有對稱的網絡拓撲結構，采用跨層連接的方式保留各個尺度的信息，最終輸出原圖大小的特征圖，可以做出像素級別的預測，體現了層級化的設計思想。

注：①、②、③、④為滑動窗檢測區域的編號。

Note: ①, ②, ③, ④are the detection region numbers of sliding window.

圖3 重疊滑動窗方法

Fig.3 Overlapping sliding window method

1.3.4 目標檢測框抑制

由于角點匹配不準確、飛虱類間差異小和滑動窗的重疊策略，CornerNet檢測出的結果往往存在檢測框冗余的問題。冗余的檢測框存在4種情況：1）由于角點匹配不準確，一個檢測框中包括多個目標，造成部分目標漏檢。2）同一個目標被多次檢測為同一類而被標記多次；3）同一個目標被同時檢測為多類而被標記多次；4）目標被滑動窗截斷，且在其他窗口中存在完整的目標，同一目標的不同部位被分別標記多次；針對這些情況，本文提出了去除冗余檢測框的解決方法。針對情況1），根據燈誘昆蟲圖像中飛虱面積、外接矩形的長度與寬度范圍確定這一先驗知識，通過它們的閾值對匹配得到的檢測框進行約束，去除大小與飛虱不符合的檢測框，既可以提高準確率，又減少了檢測時間。針對情況2），在同類目標間執行非極大值抑制[27]，取概率最大的檢測框作為最終結果，去除了冗余檢測框的同時，提高了檢測框內目標的分類準確率；針對情況3），在所有檢測框間執行非極大值抑制，最終結果為各類中得分最高的檢測框；針對情況4），在去除了情況1）、2）、3）中的冗余檢測框后，計算滑動窗重疊區域附近的檢測框與檢測框集合中各個檢測框c(c∈)的交并比，設定閾值為0.2，如果交并比大于這個閾值，則表明檢測框包含c或者c包含，進一步比較與c的面積，若的面積小于c，則將剔除。通過以上四種方法，能有效抑制冗余的不合格的檢測框，結果對比如圖5。

注：①、②、③、④為1.3.4節中檢測框冗余的4種情況。

Note: ①, ②, ③, ④are four cases of detection box redundancy in section 1.3.4.

圖5 目標檢測框抑制前后結果對比

Fig.5 Comparison of results before and after detection box suppression

1.4 模型評價方法

為了驗證本文提出的改進CornerNet的水稻燈誘飛虱檢測方法的有效性，選取了YOLOV4[25]算法和Cascade-RCNN[28]算法進行比較，同時對它們也采用重疊滑動窗和目標檢測框抑制方法，比較不同模型對同一測試集的飛虱檢測效果。其中，YOLOV4采用darknet-53特征提取網絡，Cascade-RCNN采用Resnet101特征提取網絡。

為了評估不同模型對飛虱的檢測效果，選擇精確率（Precision），召回率（Recall）和1分數[29]作為評價標準。精確率和召回率的計算見式（1）和（2），1分數為精確率和召回率的調和平均，最大值為1，最小值為0，其計算公式見（3）。在精確率和召回率占比相同的前提下，1可以綜合精確率和召回率衡量一個模型的好壞。

式中TP表示將飛虱正確預測為飛虱的檢測框數量，FP表示把非飛虱昆蟲錯誤的預測為飛虱的檢測框數量，FN表示把飛虱錯誤的預測為非飛虱昆蟲的數量。

1.5 模型訓練環境與方法

所有模型都運行在相同硬件環境下，操作系統為ubuntu 18.04，CPU型號為Intel(R) Core(TM) i7-9800X CPU @ 3.80GHz，共有4塊GPU，GPU顯存為11GB，型號為GeForce GTX 1080 Ti。

為了降低計算量，減少訓練時間，降低模型訓練難度，提高模型的泛化能力，本文采用遷移學習方法[30-32]，在大型基準數據集獲得的預訓練模型基礎上訓練燈誘飛虱檢測模型。其中，Cascade-RCNN采用resnet_v1_101預訓練模型，YOLOV4采用yolov4.conv.137預訓練模型，CornerNet采用CornerNet_500000.pkl預訓練模型。

2 結果與分析

利用Cascade-RCNN、YOLOV4和CornerNet三個模型及其改進的模型分別在同一測試集上測試，結果見表3。從表3中可知，在模型未經過任何改進時，YOLOV4的精確率最高，CornerNet由于關鍵點匹配不準確產生的冗余檢測框降低了飛虱的精確率，但3個模型的漏檢都十分嚴重。使用重疊滑動窗可以有效的提高3個模型的召回率，Cascade-RCNN、YOLOV4和CornerNet的平均召回率分別提升了56.95%、42.93%和68.48%，其中滑動窗方法對CornerNet檢測結果影響最大，白背飛虱和褐飛虱的召回率分別提高了69.41%和67.77%。使用滑動窗增大了目標在圖像中的占比，有利于改善模型的漏檢問題，但由于檢測目標數增加，滑動窗的重疊區域被多次檢測，導致3個模型的精確率有不同程度的降低，如果不進行后續處理，會對模型的精確率有所影響。本文引入檢測框抑制方法，去除檢測框邊界線上錯誤的檢測框，同時解決由于目標形態相似引起的重復檢測問題。從表中可以看出，對使用重疊滑動窗后訓練的3個模型進行檢測框抑制，3種模型的平均精確率分別提高了20.02%、33.3%和46.83%。從各模型的1可以看出，改進的CornerNet模型對稻飛虱檢測的效果最好。

3種模型使用重疊滑動窗方法和目標檢測框抑制方法進行優化后得到最終模型，由表3可知，改進的Cascade-RCNN模型檢測稻飛虱漏檢和誤檢相對較多，精度和召回率分別為82.10%和80.97%；改進的YOLOV4和CornerNet的精確率均達到了90%以上，可見二者的特征提取網絡能夠很好的提取稻飛虱的特征，但由于YOLOV4對圖像進行劃分確定目標中心點時往往會忽略小目標，導致檢測的召回率較低，僅為79.23%。CornerNet采用左上角和右下角的點代替傳統目標檢測的候選框，精簡了檢測框的表達，同時保證了檢測的查全率，其平均精確率和召回率分別達到了95.53%和95.50%，對白背飛虱和褐飛虱檢測的準確率相較于文獻[7]提高了4.13%和11.43%。由此可見，本文提出的CornerNet+重疊滑動窗+檢測框抑制的改進算法可以有效地提升水稻燈誘昆蟲圖像中稻飛虱檢測的精確率和召回率。

圖6給出了單幅圖像中不同飛虱數量情況下，利用本文提出的改進的CornerNet模型檢測燈誘昆蟲圖像中2種飛虱的結果圖。圖6a到圖6d中飛虱數量不等。其中，圖6a檢測出白背飛虱31頭和褐飛虱3頭，未發生誤檢和漏檢；圖6b共檢測出白背飛虱14頭和褐飛虱58頭，白背飛虱和褐飛虱分別漏檢0頭和2頭，分別誤檢0頭和1頭；圖6c共檢測出白背飛虱38頭和褐飛虱59頭，白背飛虱和褐飛虱分別漏檢1頭和3頭，分別誤檢0頭和2頭；圖6d共檢測出白背飛虱168頭和褐飛虱8頭，白背飛虱和褐飛虱分別漏檢4頭和0頭，分別誤檢2頭和0頭。隨著一幅圖像中所含飛虱數量增多，存在粘連情況或被非目標昆蟲遮擋，容易造成漏檢和誤檢。但本文基于改進CornerNet的水稻燈誘飛虱自動檢測模型能正確檢測出絕大部分飛虱，準確反映出2種飛虱發生量的變化，可應用于智能蟲情測報燈對飛虱的監測和測報。

表3 同一測試集不同模型稻飛虱的檢測結果

3 結 論

本研究提出了一種基于改進CornerNet的水稻燈誘飛虱自動檢測算法，提高了白背飛虱和褐飛虱檢測的精準率和召回率，可用于智能蟲情測報燈中2種稻飛虱的測報。

1）針對稻飛虱在燈誘昆蟲圖像中所占區域比例小而導致其召回率低的問題，采用重疊滑動窗方法提高圖像中飛虱區域所占比例。將重疊滑動窗方法應用于Cascade-RCNN、YOLOV4和CornerNet三種模型，白背飛虱和褐飛虱的平均召回率分別提升了56.95%、42.93%和68.48%。重疊滑動窗方法大大提高了稻飛虱的檢測率。

2）為了進一步提高模型對2種飛虱檢測的精確率，采用檢測框抑制方法去除冗余檢測框。改進的Cascade-RCNN、YOLOV4和CornerNet三種模型的精確率分別提升了20.02%、33.3%和46.83%。其中，改進的CornerNet模型對2種稻飛虱檢測獲得了最好的檢測效果，平均檢測精確率和召回率分別為95.53%和95.50%。

本文提出的稻飛虱檢測算法可直接應用于智能蟲情測報燈，大大提高了稻飛虱測報的效率和精度。但在昆蟲發生高峰時，容易造成堆積和粘連，影響算法對目標害蟲的檢測效果，因此智能蟲情測報燈需要具備有效的昆蟲分散機構。

[1] 劉萬才，陸明紅，黃沖，等. 水稻重大病蟲害跨境跨區域監測預警體系的構建與應用[J].植物保護，2020，46(1)：87-92，100.

Liu Wancai, Lu Minghong, Huang Chong, et al. Construction and application of cross border and cross regional monitoring and early warning system for major rice diseases and insect pests[J]. Plant Protection, 2020, 46(1): 87-92, 100. (in Chinese with English abstract)

[2] 楊榮明，朱先敏，朱鳳. 我國農作物病蟲害測報調查工具研發應用歷程與發展建議[J]. 中國植保導刊，2017，37(1)：51-55.

Yang Rongming, Zhu Xianmin, Zhu Feng. Development and application of crop pest forecasting and investigation tools in China[J]. China Plant Protection, 2017, 37(1): 51-55. (in Chinese with English abstract)

[3] 王瑞林，陸明紅，韓蘭芝，等. 稻飛虱種群發生的調查與取樣技術[J]. 應用昆蟲學報，2014，51(3)：842-847.

Wang Ruilin, Lu Minghong, Han Lanzhi, et al. Methods and technologies for surveying and sampling the riceplanthoppers, Nilaparvata lugens, Sogatella furcifera and Laodelphax striatellus[J]. Chinese Journal of Applied Entomology, 2014, 51(3): 842-847. (in Chinese with English abstract)

[4] 鄒修國，丁為民，劉德營，等. 基于改進Hu矩和遺傳神經網絡的稻飛虱識別系統[J]. 農業機械學報，2013，44(6)：222-226.

Zou Xiuguo, Ding Weimin, Liu Deying, et al. Recognition system of rice planthopper based on improved hu moment and genetic algorithm optimized BP neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(6): 222-226. (in Chinese with English abstract)

[5] Yao Q, Chen G, Wang Z, et al. Automated detection and identification of white-backed planthoppers in paddy fields using image processing[J]. Journal of Integrative Agriculture, 2017, 16(7): 1547-1557.

[6] 俞佩仕，張晨光，段德康，等. 基于移動終端的稻田飛虱調查方法[J]. 昆蟲學報，2019，62(5)：615-623.

Yu Peishi, Zhang Chenguang, Duan Dekang, et al. A survey method based on mobile terminal for rice planthoppers in paddy fields[J]. Acta Entomologica Sinica, 2019, 62(5): 615-623. (in Chinese with English abstract)

[7] Yao Q, Feng G, Tang J, et al. Development of an automatic monitoring system for rice light-trap pests based on machine vision[J]. Journal of Integrative Agriculture, 2020, 19(10): 2500-2513.

[8] Liu W, Anguelov D, Erhan D, et al. Ssd: Single shot multibox detector[C]//European conference on computer vision. Springer, Cham, 2016: 21-37.

[9] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2016, 39(6): 1137-1149.

[10] Dai J, Li Y, He K, et al. R-fcn: Object detection via region-based fully convolutional networks[J]. arXiv preprint arXiv: 1605.06409, 2016.

[11] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE international conference on computer vision, 2017: 2980-2988.

[12] Duan K, Bai S, Xie L, et al. Centernet: Keypoint triplets for object detection[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019: 6569-6578.

[13] Du H, Li L, Liu B, et al. SPOT: Selective point cloud voting for better proposal in point cloud object detection[C]//European Conference on Computer Vision. Springer, Cham, 2020: 230-247.

[14] Law H, Deng J. Cornernet: Detecting objects as paired keypoints[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 734-750.

[15] Everingham M, Van Gool L, Williams C K I, et al. The pascal visual object classes (voc) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303-338.

[16] Lin T, Maire M, Belongie S, et al. Microsoft coco: Common objects in context[C]//European conference on computer vision. Springer, Cham, 2014: 740-755.

[17] Ogawa R, Kido T, Mochizuki T. Effect of augmented datasets on deep convolutional neural networks applied to chest radiographs[J]. Clinical Radiology, 2019, 74(9): 697-701.

[18] Liu X, Chi M, Zhang Y, et al. Classifying high resolution remote sensing images by fine-tuned VGG deep networks[C]//IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. IEEE, 2018: 7137-7140.

[19] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2016: 770-778.

[20] Xie S, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2017: 1492-1500.

[21] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7132-7141.

[22] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C] //Proceedings of the IEEE conference on computer vision and pattern recognition, 2016: 779-788.

[23] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 7263-7271.

[24] Ju M, Luo H, Wang Z, et al. The application of improved YOLO V3 in multi-scale target detection[J]. Applied Sciences, 2019, 9(18): 3775-3768.

[25] Zhu Q, Zheng H, Wang Y, et al. Study on the evaluation method of sound phase cloud maps based on an improved YOLOv4 Algorithm[J]. Sensors, 2010, 20(15): 4313-4330.

[26] Veit A, Wilber M, Belongie S. Residual networks behave like ensembles of relatively shallow networks[J]. arXiv preprint arXiv:1605.06431, 2016.

[27] Neubeck A, Van Gool L. Efficient non-maximum suppression[C]//18th International Conference on Pattern Recognition (ICPR'06). IEEE, 2006, 3: 850-855.

[28] Cai Z, Vasconcelos N. Cascade r-cnn: Delving into high quality object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 6154-6162.

[29] Huang H, Xu H, Wang X, et al. Maximum F1-score discriminative training criterion for automatic mispronunciation detection[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2015, 23(4): 787-797.

[30] 劉洋，戰蔭偉. 基于深度學習的小目標檢測算法綜述[J].計算機工程與應用，2021，57(2)：37-48.

Liu Yang, Zhan Yinwei. Survey of small object detection algorithms based on deep learning[J]. Computer Engineering and Applications, 2021, 57(2): 37-48. (in Chinese with English abstract)

[31] 王金鵬，高凱，姜洪喆，等. 基于改進的輕量化卷積神經網絡火龍果檢測方法[J]. 農業工程學報，2020，36(20)：218-225.

Wang Jinpeng, Gao Kai, Jiang Hongzhe, et al. Method for detecting dragon fruit based on improved lightweight convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 218-225. (in Chinese with English abstract)

[32] 寇大磊，權冀川，張仲偉. 基于深度學習的目標檢測框架進展研究[J]. 計算機工程與應用，2019，55(11)：25-34.

Kou Dalei, Quan Jichuan, Zhang Zhongwei. Research on progress of object detection framework based on deep learning[J]. Computer Engineering and Applications, 2019, 55(11): 25-34. (in Chinese with English abstract)

Automatic detection of rice planthoppers through light-trap insect images using improved CornerNet

Yao Qing1, Wu Shuzhen1, Kuai Naiyang1, Yang Baojun2※, Tang Jian2, Feng Jin3, Zhu Xuhua3, Zhu Xianmin4

(1.,310018,; 2.311401,; 3.310015,; 4.210036,)

Many species of pests have posed a serious threat to the yield and quality of rice and ,thereby, caused huge economic losses every year in the world. Accurate, real-time forecast of rice pests is highly demanding to take controlling measures in time. Since the commonly-used light-traps in China can automatically trap and kill the trapped insects, the subsequent procedure is still labor-intensive and time-consuming with low efficiency and less objectivity, causing a delay in the artificial identification and counting of rice pests. The reason is that the trapped insects in a day are often collected in one insect bag, and then the insect bags were taken back to the pest identification. Although deep learning has widely been used in pest identification, high accuracy is still lacking in the detection of rice planthopper, due to the small area proportion of planthoppers in the whole image. Moreover, great similarities of various rice planthoppers have made it much more difficult to detect light-trapped rice planthoppers in the complicated field environment. In this study, an improved automatic detection was proposed using CornerNet for higher precision and recall rate of rice planthoppers on light-trap insect images. 12 megapixel images were also captured for object detection. Data enhancement was first employed to expand the training set, further improving the generalization ability of the model. Next, an overlapping sliding window was applied to select fixed size regions by scanning the overlapped in the sliding direction from the edge to the center of one image. Subsequently, these size-fixed areas were fed into a cross-layer connected hourglass network with a high symmetry for the extraction of features. The area proportion of planthoppers on one image increased in sliding window selection for the improved detection rate. A large number of candidate boxes were obtained after the corner matching and coordinate correction in the prediction module. Four approaches were also developed for the detection box suppression to remove redundant detection boxes. Finally, the detection boxes with the highest score were selected as the detection data in the overlapping candidate boxes. The same image sets from the light traps were used to verify three detection models and their improved ones. The results demonstrated a higher accuracy detection of rice planthoppers was achieved under the overlapping sliding window and the detection box suppression in the different improved models. The improved CornerNet model presented an excellent performance with an average precision of 95.50% and a recall rate of 95.53% for the two species of rice planthoppers. This work can be applied in smart light traps to enhance the forecasting accuracy of rice planthoppers.

image recognition; pest detection; rice light-trap insect image; rice planthopper; CornerNet model; object detection; overlapping sliding window

2020-10-15

2021-03-16

國家”863”計劃項目（2013AA102402）；浙江省公益性項目（LGN18C140007）；浙江省自然科學基金（LY20C140008）

姚青，教授，研究方向為農業病蟲害圖像處理與智能診斷。Email：q-yao@zstu.edu.cn

楊保軍，博士，助理研究員，研究方向為農業病蟲害測報技術。Email：yangbjy@126.com

10.11975/j.issn.1002-6819.2021.07.022

TP391

A

1002-6819(2021)-07-0183-07

姚青，吳叔珍，蒯乃陽，等. 基于改進CornerNet的水稻燈誘飛虱自動檢測方法構建與驗證[J]. 農業工程學報，2021，37(7)：183-189. doi：10.11975/j.issn.1002-6819.2021.07.022 http://www.tcsae.org

Yao Qing, Wu Shuzhen, Kuai Naiyang, et al. Automatic detection of rice planthoppers through light-trap insect images using improved CornerNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(7): 183-189. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.07.022 http://www.tcsae.org