農業燈誘害蟲圖像識別的模型算法研究

摘 要：【目的】采用Faster R-CNN算法對樣本數量少且分布不均衡的28類農田害蟲數據集進行研究?！痉椒ā渴紫?，分析不同輸入圖像尺寸對訓練模型性能的影響，確定了輸入圖像尺寸5 472×3 648的25%作為優選；其次，為了避免部分類別害蟲因數據過少而導致的過擬合問題，采用Mixup和mosaic方法增加數據多樣性，并使用遷移學習提高模型性能。【結果】這些方法可以有效地提高模型的泛化性和魯棒性，除了9與10這兩類害蟲相似度非常高導致AP值較低外，其余害蟲識別的AP平均值為92.07%?！窘Y論】通過測試數據檢驗模型的泛化性，發現模型表現良好但仍有改進空間。

關鍵詞：害蟲識別；數據增強；Faster R-CNN；深度學習；目標檢測

中圖分類號：TP183" " "文獻標志碼：A" " "文章編號：1003-5168（2024）10-0027-05

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.10.005

Research on Insect Identification Model Algorithm for Agricultural Lamp-baiting Images

QIU Zhaohong ZHENG Kangcheng LI Jiaming DONG Runli WANG Jianbin

（School of Mathematics and Statistics， Zhaoqing University， Zhaoqing 526061， China）

Abstract： [Purposes] This study aims to identify 28 types of farmland pests with small samples and unbalanced datasets using Faster R-CNN algorithm. [Methods] Firstly， the impact of different input image sizes on the performance of the training model is analyzed， and the optimal selection is determined as 25% of the input image size. Secondly， in order to avoid overfitting problems caused by too few pest data for some classifications， Mixup and Mosaic methods are used to increase data diversity， and transfer learning is used to improve the model performance. [Findings] These methods can effectively improve the generalization ability and robustness of the model. Except for the two kinds of pests No.9 and No.10， which have very high similarity and low AP value， the average AP value of other pests reaches 92.07%. [Conclusions] The generalization ability of the model is verified by the test data.The model performs well but still has room for improvement.

Keywords： pest identification; data augmentation; Faster R-CNN; deep learning; object detection

0 引言

“民以食為天，食以糧為先”，這是我國一直以來的糧食觀。自2015年起，中國的年糧食總產量已連續八年超過1.3萬億斤，有力地保障了我國糧食產量安全。然而，每年因病蟲害造成的糧食損失約280億斤，這不僅造成了嚴重的經濟損失，而且影響到我國糧食安全防線。因此，降低病蟲害帶來的糧食損失對我們來說至關重要。

由于害蟲的種類多、分布廣、繁殖快、適應性強，因此害蟲預警和防治任務一直面臨著巨大的挑戰。害蟲圖片的采集方法主要有蟲情燈誘［1-2］、粘蟲板、田間人工采集3種。其中，蟲情測報燈（燈誘）因其獨特的優勢而受到廣泛關注。其優點在于可以自動拍攝圖像無須人工參與，數據自動上傳至云端方便訪問。然而，蟲情測報燈也存在部分缺點，例如，害蟲鱗片、翅膀脫落可能導致害蟲特征減少；腹部朝上可能導致不同類害蟲的相似度增加，區分度降低；此外，目前尚無公開的蟲情測報燈數據集可以供大家借鑒。

隨著機器學習領域向深度學習方向的演進，害蟲識別的主流方法也在發生相應的轉變。姚青等［1］提出一種基于改進CornerNet的水稻燈誘飛虱自動檢測方法，利用重疊滑動窗的方法提高飛虱（小目標個體）在圖像檢測區域中所占比例，提高白背飛虱和褐飛虱的檢測率，降低了漏檢率。林相澤等［2］提出一種將圖像消冗與CenterNet網絡相結合的識別分類方法，有效地完成了對3種主要稻飛虱的識別分類。姚青等［3］建立了基于雙線性注意力網絡的農業燈誘害蟲識別模型BAPest-net，對6類相似的19種農業燈誘害蟲進行識別，相比其他常用的5個模型可以獲得更高的準確率。鄭睿智等［4］提出了一種基于Swin Transformer網絡模型和Cascade RCNN算法的農田害蟲目標檢測方法，采用在線和離線數據、多尺度輸入、SWA和多模型融合等一系列方法增強模型的性能和魯棒性。佘顥等［5］提出一種基于SSD網絡模型的水稻害蟲識別方法，該方法用特征能力更強的特征金字塔代替SSD原有的多尺度特征圖，同時改進了歸一化和激活函數，使模型對小目標的識別率更高、檢測速度更快。張劍飛等［6］提出了一種基于Swin-Transformer和YOLOX-s改進的ST-YOLOX-s目標檢測模型，實現了對30類常見害蟲的有效目標檢測工作，提高了小目標害蟲檢測性能。朱香元等［7］使用TPH-YOLOv5算法，對28類害蟲識別獲得較高的正確率。通過設計有針對性的小目標和小樣本害蟲數據增強方法，提升其對訓練損失的貢獻度，構建了基于微調的二階段小樣本學習策略，獲得了較好的結果，總體平均精度一般在80%以上，有些甚至超過90%。

本研究基于一個樣本數量少且分布不均衡的28類農田害蟲數據集，展開了目標檢測識別算法的研究。為了解決數據集存在的問題，采用了Mixup和Mosaci數據增強技術，以獲得具有較高精度和泛化能力的模型。在此基礎上進行了遷移學習，進一步提高了模型的檢測精度。

1 數據集與數據探索

1.1 數據標注質量問題

原有的數據集中，樣本數量相對較少，標記的害蟲數量總共有1 019只。并且在逐一審核的過程中發現，不僅有些標記的類別存在錯誤，而且有些負樣本標記為目標害蟲，甚至有些害蟲樣本漏標。因此，在預處理時需要將錯誤分類的標記進行糾正，并且去掉了非目標的標記。

1.2 樣本數量少、分布不平衡問題

本研究對28種害蟲進行了分類統計（見圖1不帶斜線柱子）。結果顯示，樣本數量偏少，僅有3種害蟲的樣本數量超過100。此外，樣本分布極不均衡，大約20%的害蟲類別占據了總體樣本數量的80%，呈現出明顯的長尾分布現象。特別值得注意的是，干紋冬夜蛾和豆野螟這兩類害蟲的樣本數量僅為1個，無法將其劃分為訓練集和驗證集，不能進行模型訓練。

樣本不平衡問題不太嚴重，可以通過重采樣來緩解。但是，在這個數據集上，該方法無法奏效，必須擴展樣本數量。一種方法是從網絡上尋找更多的數據。但是網絡上沒有與本數據集類似的燈誘害蟲數據集；另一種方法是從現有的數據集中標注出遺漏的害蟲樣本，通過人工標注的方式將樣本數量增加到1 500個，其中大黑鰓金龜類害蟲的樣本數量超過了200個（見圖1帶斜線柱子），這樣就可以稍微緩解樣本不平衡的問題。后續實驗將采用數據增強的方法來進一步緩解樣本數量少和樣本不平衡的問題。

1.3 害蟲大小的多尺度問題

害蟲的尺寸大小存在明顯的不均衡性、多尺度問題如圖2所示。由圖2可知，最大的害蟲標注框面積（屬于八點灰燈蛾）是最小的（屬于白背飛虱）的幾百倍（最高可達584.5≈[29]），這意味著模型需要能夠在9個尺度（層級）上提取特征，這對模型的設計提出了挑戰。此外，小尺度目標的識別一直是目標檢測領域的難點。

1.4 害蟲識別困難問題

害蟲數據集中還存在復雜背景、局部遮擋、目標密集、不同姿態、肢體不全及亮度差異等問題如圖3所示。這些問題的存在會對目標害蟲檢測造成一定困難。而有些問題，如亮度差異可以通過調整亮度預處理解決，但更多問題需要更復雜的應對方法。

2 檢測模型算法

2.1 Faster R-CNN算法

害蟲識別重精度不重速度，目標檢測中精度較高的算法是基于Anchor的算法，包括兩階段和單階段檢測算法。其中兩階段算法以Faster R-CNN系列算法為典型，單階段算法以YOLO系列算法為典型。本研究采用的是Faster R-CNN的兩階段算法［8］，首先，將ResNet50作為骨干網絡，用于從圖像中提取特征；其次，在頸部（Neck）部分，使用FPN（Feature Pyramid Network）進行特征融合；最后，借助于Decoupled Prediction Head（頭部），對目標進行分析和預測。

Faster R-CNN是由Ross B. Girshick在2016年提出的。在結構上，Faster R-CNN整合了特征抽取、proposal提取、邊框回歸與分類等步驟于一個網絡之中，綜合型性能有較大提高，尤其是在檢測速度方面。Faster R-CNN具體可分為以下部分。

①主干特征提取網絡。Faster R-CNN首先使用一組基礎的卷積層來提取圖像的特征生成特征圖，隨后便應用于后續的RPN層和全連接層。

②候選區域網絡。在RPN網絡中，通過激活函數判斷錨框屬于正樣本還是負樣本，進一步利用邊框回歸修正錨框生成精確的候選框——候選區域。

③Roi Pooling。收集輸入的特征圖和候選框，綜合所收集的信息，提取候選框區域的特征圖送入全連接層判定目標類別。

④分類。通過候選區域特征圖計算候選框內目標的類別，并再次通過邊框回歸來獲取檢測框的最終精確位置。

2.2 評價指標

在模型分析中，本研究采用單個類別平均精度（AP）、整體準確率（mAP）作為評價指標，見式（1）。

[APj=01p（r）]

[MAP=1mmAPj] （1）

式中：p（r）表示PR曲線上0～1所對應的P值；APj表示某一個類別害蟲；mAP表示對所有害蟲類別的AP值取平均值。

3 試驗及結果分析

3.1 試驗環境

本研究使用了Python 3.10開發語言，百度公司paddledetection實現的Faster R-CNN算法。paddledetection是開源目標檢測套件，基于百度深度學習平臺飛槳（paddlepaddle）構建。計算設備使用英偉達3060 12 g顯卡，系統開發環境為Windows+cuda 11+cuddn8.2。訓練數據的標注格式轉換為COCO格式。

使用隨機梯度下降法（SGD）訓練模型，初始學習率為0.005。首先使用學習率預熱策略，在1000步內線性增加到初始學習率；然后使用PiecewiseDecay調度策略動態、調整學習率，權值衰減因子為0.1。批量大小為一般為4，訓練迭代（epochs）一般為50。

3.2 數據增強

由于數據集的長尾分布特性，傳統的重采樣和重加權處理方法可能無法達到預期的效果。因此，我們需要借助數據增強手段，才可以訓練出較好的深度學習模型。常見的方法包括：平移、旋轉、調整大小等幾何變換以及改變色調、增加噪聲、調節亮度等強度變換，更高級的則是基于GAN的數據生成方法［9］、Mixup及Mosaic方法［6］。

本研究采用了亮度調整（0.7～1.5）、對比度調整（0.7～1.5）、縮放、旋轉和翻轉的組合變換來離線增強數據集，以確保每個類別害蟲的數量都控制在200個（如果超過則隨機采樣200個）。此外，還采用了Mosaic手段進行在線數據增強如圖4所示。其優點是大大增加了數據多樣性，豐富了訓練集中被檢測物體的背景。不僅使數據更加豐富多樣，避免因部分類型數據過少而導致的過擬合情況，而且提高了對小目標物體的檢測性能。

3.3 訓練輸入圖像的尺寸選擇

數據集中原始圖片尺寸統一為5 472×3 648。訓練模型時，大圖片占用更多的顯存，只能使用較小的批量大小，增加計算量和訓練時間。而小圖片占用較小的顯存，能使用更大的批量大小，可減少訓練時間。但是縮小圖像會造成信息丟失、特征減少，導致精度下降。因此，選擇合適尺寸輸入網絡是首先要考慮的問題。本研究對100%、50%、25%、12.5%四種輸入圖像尺度進行試驗。

四種尺寸的模型訓練精度見表1。由表1可知，IoU值設定在0.50～0.95范圍時，輸入圖像尺寸為50%大小，模型訓練可以取得最高精度，隨著輸入尺寸減小，模型精度隨之下降。IoU值設定為0.5時，模型精度有相似的下降趨勢，然從50%下降為25%，模型精度僅下降2%。綜上所述，選擇原圖尺寸的50%，雖可取得最佳精度，但計算時間更長（且有過擬合跡象），批量大小只能設為1。因此，后續實驗選擇次優的25%作為訓練輸入圖像尺寸。

3.4 數據增強手段對性能的影響

不同數據增強手段對模型訓練性能的影響見表2。由表2可知，當使用一些常規數據增強手段（如隨機裁剪、翻轉等）時，mAP_0.5：0.95和mAP_0.5數據都不錯。引入Mixup數據增強后，模型性能略有下降，分別下降了0.019和0.016。在Mixup數據增強的基礎上再引入Mosaic數據增強，mAP_0.5∶0.95上升了約1%，而mAP0.5下降了約1%。說明Mixup和Mosaic數據增強會使訓練難度增加，模型性能會有小幅下降，但模型泛化性會提升。使用該模型進行遷移學習，即使用預訓練模型進行常規數據增強訓練，性能會進一步提高，模型的mAP_0.5∶0.95和mAP_0.5最高，分別能達到0.894和0.944的性能。

模型對28類害蟲的分類檢測精度見表3。由表3可知，各類別害蟲檢測準確率基本上非常高，特別是Pest402這個類別，其AP值達到了0.991，說明Faster R-CNN算法在識別該類別時具有非常不錯的性能。然而，對于Pest9和Pest10這2個害蟲類別，其AP值相對較低，兩類害蟲相似程度非常高，可參考姚青等［1］的方法進一步優化模型以提高其在這些類別上的性能。

3.5 模型檢測結果

本研究對測試集中的圖片進行了檢測，選取了4種不同場景下的檢測結果進行展示如圖5所示。由圖5可知，Faster R-CNN算法可以實現對多類害蟲的有效檢測。在簡單或復雜的背景中，不同大小的害蟲均能被正確分類。但有些害蟲的標注框還不夠準確，需要進一步優化。此外，本研究使用訓練的幾種害蟲的原始樣本非常少，需要補充訓練樣本數量以進一步提高模型精度和魯棒性。

4 結語

針對蟲情測報燈提供的農田害蟲數據集存在樣本少、目標小及分布不平衡導致的長尾效應和多尺度目標等問題，采用了人工標注的方法拓展了數據集，并且進一步地使用亮度對比度調整、縮放、旋轉和翻轉的組合變換等常規的離線數據增強以及Mixup和mosaic手段進行在線數據增強，來平衡數據集不同類別樣本數目的分布，增加數據集的復雜性。本研究使用的Faster R-CNN的兩階段目標檢測方法，能夠很好地識別和定位農作物害蟲。

在未來的模型研究和探索過程中，期待能引入半監督學習機制，將無標簽樣本納入訓練集進行學習，進一步擴大數據集的豐富度，這將是未來很好的研究嘗試。

參考文獻：

［1］姚青，吳叔珍，蒯乃陽，等.基于改進CornerNet的水稻燈誘飛虱自動檢測方法構建與驗證［J］.農業工程學報，2021，37（7）：183-189.

［2］林相澤，徐嘯，彭吉祥.基于圖像消冗與CenterNet的稻飛虱識別分類方法［J］.農業機械學報，2022，53（9）：270-276，294.

［3］姚青，姚波，呂軍，等.基于雙線性注意力網絡的農業燈誘害蟲細粒度圖像識別研究［J］.中國農業科學，2021，54（21）：4562-4572.

［4］鄭睿智，盛猛猛，蔡鑫浩，等.基于深度學習的農田害蟲目標檢測算法的研究與應用［J］.數學建模及其應用，2022，11（4）：55-61.

［5］佘顥，吳伶，單魯泉.基于SSD網絡模型改進的水稻害蟲識別方法［J］.鄭州大學學報（理學版），2020，52（3）：49-54.

［6］張劍飛，柯賽.基于YOLOX-s的農業害蟲檢測研究［J］.計算機技術與發展，2023，33（5）：208-213.

［7］朱香元，聶轟，周旭.基于TPH-YOLOv5和小樣本學習的害蟲識別方法［J］.計算機科學，2022，49（12）：257-263.

［8］ REN S Q，HE K M，GIRSHICK R，et al.Faster R-CNN： Towards Real-Time object detection with region proposal networks［J］.IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2017，39（6）：1137-1149.

［9］蔣心璐，陳天恩，王聰，等.農業害蟲檢測的深度學習算法綜述［J］.計算機工程與應用，2023，59（6）：30-44.