基于改進YOLO v5的水稻主要害蟲識別方法

吳子煒　夏芳　陸林峰　張盛軍　周素茵

摘要：準確識別害蟲是水稻田間害蟲防控的基礎(chǔ)，針對現(xiàn)有水稻害蟲識別方法精度不高、計算量與參數(shù)量較大等問題，提出一種輕量模塊以及相應改進YOLO v5模型的方法。為了在滿足精度的前提下減小模型參數(shù)量，構(gòu)建的輕量模塊使用多個深度可分離卷積減小計算消耗，并通過通道洗牌將特征通道重組提高學習能力，同時將該模塊引入YOLO v5模型中進行輕量化改進。為提高模型的泛用性，除選取公開數(shù)據(jù)集IP102中的水稻害蟲圖片外，通過二化螟性誘設(shè)備采集二化螟圖像豐富研究數(shù)據(jù)。結(jié)果表明，所提出的輕量化模塊能夠有效減輕模型的體積、優(yōu)化訓練并提升模型的識別精度，改進后的模型參數(shù)量僅為原模型的一半，對14類害蟲的平均識別精度相較原模型提高3.2百分點，擁有一定的實際應用能力。所提出的輕量模塊及輕量化改進模型能夠?qū)崿F(xiàn)對水稻害蟲高精度及高效率的識別，可為水稻病蟲害防控數(shù)字化、智能化發(fā)展提供技術(shù)支持。

關(guān)鍵詞：水稻害蟲；害蟲識別；機器視覺；輕量化；深度學習

中圖分類號：TP391.41文獻標志碼：A

文章編號：1002-1302（2023）21-0218-07

水稻害蟲的準確預測對保證水稻高產(chǎn)、減少經(jīng)濟損失具有十分重要的作用［1］。高效識別作物害蟲是農(nóng)業(yè)病蟲害防治的關(guān)鍵環(huán)節(jié)。目前，我國識別農(nóng)業(yè)害蟲的方法發(fā)展迅速，但大多存在耗時耗力或?qū)Y源需求較高等問題，不能滿足現(xiàn)代農(nóng)業(yè)生產(chǎn)的需要。因此，對水稻害蟲的非人工識別的探索變得非常重要。圖像識別作為機器視覺的熱門領(lǐng)域，從20世紀70年代起硬件與算法的迭代不斷支撐識別方法的進步。分類器可以通過對目標特征與樣本集特征進行匹配獲取最符合的類別，從中衍生出K最近鄰、裝袋算法、AdaBoost 算法等一系列分類方法，大幅提升了機器的害蟲辨別能力，如Li等采用K最近鄰算法［2］、楊麗麗等采用AdaBoost 算法［3］，都取得較好的分類效果。不過這些方法的魯棒性較差，難以大規(guī)模使用，后續(xù)逐漸被更加優(yōu)秀的深度學習方法取代。深度學習是現(xiàn)今機器學習最重要的組成部分。在圖像領(lǐng)域，卷積神經(jīng)網(wǎng)絡因具有更強大的表征能力，成為深度學習的代表［4-5］。Fuentes等將不同元架構(gòu)和深度特征提取器相結(jié)合識別番茄病蟲害［6］；Reza等結(jié)合遷移學習和數(shù)據(jù)增強策略訓練Inception-v3實現(xiàn)害蟲種類識別［7］；甘雨等利用改進的EfficientNet實現(xiàn)對害蟲的高速識別，在足夠輕量化的同時準確率達到69.5%［8］。近年來，越來越多深度學習方法與模型都整合了對目標的檢測與分類，特別是單階段目標視覺模型的出現(xiàn)，害蟲識別在效率與精度上都取得了較大突破，任勝蘭等都基于YOLO算法針對不同種害蟲進行改進，都有不錯的表現(xiàn)［9-10］。現(xiàn)今基于深度神經(jīng)網(wǎng)絡的害蟲識別算法已有不少成果，但在實際應用中，往往需要識別方法在擁有高精度的情況下更加高效與輕便。目前對害蟲識別方法輕量化的探索集中在降低訓練成本提高模型部署效率［11］，或是設(shè)計輕量級模塊降低計算資源消耗上［12-13］，都取得了較好的成果。因此，本研究也將立足降低計算資源消耗，設(shè)計一種輕量級殘差模塊，使YOLO v5算法在更低計算消耗的情況下?lián)碛懈鼜姷男阅埽詽M足現(xiàn)代農(nóng)業(yè)生產(chǎn)的實際需求。

1 材料與方法

1.1 數(shù)據(jù)集

選用IP102害蟲數(shù)據(jù)集［14］作為研究基礎(chǔ)圖像數(shù)據(jù)，它是由102類害蟲圖像組成，共涵蓋標注框圖像19 000幅，相較于其他害蟲數(shù)據(jù)集更加完善。由于本研究的對象為水稻田間害蟲，故從IP102中篩選出關(guān)于大田水稻作物的14種害蟲：稻縱卷葉螟、稻螟蛉、稻潛葉蠅、二化螟、三化螟、稻癭蚊、稻稈蠅、褐稻虱、白背飛虱、灰飛虱、稻水象甲、稻葉蟬、稻薊馬、稻苞蟲，這些害蟲在IP102中編號為0～13（圖1）。14類害蟲的有效圖像共1 248幅，經(jīng)旋轉(zhuǎn)、翻轉(zhuǎn)與鏡像等數(shù)據(jù)增強后共4 992幅。

為了豐富研究數(shù)據(jù)來源，本研究還引入托普智慧性誘裝備采集圖像。圖像采集自浙江省杭州市余杭區(qū)瓶窯鎮(zhèn)2個不同的采集點，采集時間為2022年8月1日至9月2日，采集方式為通過性誘劑吸引目標害蟲使其被黏蟲板捕獲后定時拍攝，誘捕對象為二化螟，采集圖像見圖2。共采集樣本1 014個，同樣經(jīng)過數(shù)據(jù)增強處理后共獲得5 070個樣本。最終以8︰2的比例加入訓練集與測試集。

1.2 基于YOLO v5改進的害蟲識別算法

YOLO（you only look once）系列算法是由Redmon等在2016年開發(fā)出的一種單階段圖像算法，采用單一回歸問題的思想，更易學習目標的泛化特征，是一種更加高效的架構(gòu)［15］。YOLO模型的優(yōu)勢在于生成候選框的同時完成分類并預測存在的對象以及它們的位置，使得時間成本和計算資源都大大降低。在YOLO v5系列中，還可以通過設(shè)置網(wǎng)絡深度和寬度涵蓋輕量級模型與大型高精度模型，從而契合更多應用場景，成為當前應用最廣泛的一代。

1.2.1 輕量化模塊DWshuffle的設(shè)計

影響網(wǎng)絡模型計算資源消耗的因素有很多，其中通道的利用效率是最重要的因素。Howard等認為，將卷積分離是最簡便的方式之一，由此提出分組卷積以及它的極致，即深度可分離卷積［16］。這類卷積本質(zhì)就是將通道分離，單獨進行卷積計算，最終合并。這種分解可以有效減小卷積核的移動，使計算量大幅度減小，深度可分離卷積的具體原理見圖3。

不同于常規(guī)卷積操作，深度可分離卷積的1個卷積核負責1個通道，1個通道只被1個卷積核卷積。對于一張三通道彩色輸入圖片，深度可分離卷積首先經(jīng)過第1次卷積運算，完全在二維平面內(nèi)進行，卷積核的通道與卷積核一一對應；最終經(jīng)過運算后各自生成3個特征圖。但是在高度分組之后會產(chǎn)生一個問題，即輸出特征圖不同組是沒有聯(lián)系的，它只與輸入有關(guān)，這會使學習到的特征非常有限，容易導致信息丟失。為解決該問題，Zhang等在ShuffleNet中提出通道洗牌概念，即在特征圖中提取出不同組別的通道并組合，從而打通特征圖之間的關(guān)聯(lián)［17］。

綜上分析，本研究結(jié)合分組卷積與通道洗牌設(shè)計出一組新的輕量化模塊，將其稱作DWShuffle模塊（圖4）。

在DWShuffle模塊中先使用1×1卷積將輸入通道數(shù)降到原來的1/2，再分別使用尺寸為3×3與5×5的深度可分離卷積進行特征提取，輸出特征圖通道數(shù)為輸入的1/4，最后將上述結(jié)果進行連接使其通道數(shù)與輸入時保持一致。通道在通道合并操作后可以視作1組卷積，其通道大致可分為3組，其中1組為常規(guī)卷積結(jié)果，另外2組分別為2次深度可分離卷積結(jié)果。對合并操作后的特征圖使用分組為2的通道洗牌，使通道重新組合，通道洗牌過程見圖5。整體采用殘差連接，優(yōu)化訓練。

1.2.2 輕量化模型的構(gòu)建

YOLO v5在特征提取與特征融合中都使用CSP（cross stage partial）結(jié)構(gòu)取代原本YOLO v3的殘差與輸出卷積，但這種結(jié)構(gòu)在面對分類較少或目標明顯的場景時并不能帶來有效提升。因此，用DWshuffle模塊替換原本CSP結(jié)構(gòu)在模型中的位置，同時在特征融合階段取消殘差連接。改進后模型結(jié)構(gòu)見圖6，本研究將其稱為DWshuffle-YOLO。

2 試驗設(shè)計與結(jié)果分析

2.1 試驗環(huán)境

試驗硬件環(huán)境為64位Ubuntu 20.4系統(tǒng)，處理器為Inter Core i7 8700K CPU@3.70 GHz，GeForce GTX 960 m-4 G顯卡。本研究基于PyTorch深度學習框架，開發(fā)環(huán)境為PyTorch 1.8、CUDA 11.2、Python 3.8。

2.2 評價指標

平均精度均值（mAP）是現(xiàn)今最常用的評估指標，因為它同時結(jié)合了召回率（R）和精確率（P），對模型的評價更加全面。所以試驗采用平均精度均值評價模型的識別效果，用平均精度（AP）評價模型對某類害蟲的識別效果，計算公式分別為

式中：TP表示預測出正確的正樣本個數(shù)，即預測框與標注框類別相同且交并比大于0.5；FP表示預測出錯誤的正樣本個數(shù)；FN表示預測出錯誤的負樣本個數(shù)；C為樣本類別數(shù)量。由準確率和召回率可以得出0.5廣義交并比閾值下多類別平均精度。

2.3 模型驗證

試驗中不同模型使用相同訓練集與驗證集，訓練參數(shù)與優(yōu)化器保持一致。訓練時批處理集尺寸為2個樣本，初始學習率為0.01，權(quán)值衰減為0.937，置信度閾值設(shè)置為0.01；設(shè)置優(yōu)化器為AdamW，訓練150輪。

2.3.1 計算資源消耗對比與分析

輕量化的首要目標便是降低模型的計算資源消耗。參數(shù)量與計算量以及模型權(quán)重體積作為評價模型大小的基本指標，它們分別代表一個模型在推理或部署時的內(nèi)存占用、處理器占用及存儲空間占用。對比常用的YOLO v5x、YOLO v5s、YOLO v5n模型，結(jié)果見表1。可見在不同網(wǎng)絡寬度與深度下，改進后的模型皆得到很好的壓縮。對比YOLO v5n，經(jīng)過改進后參數(shù)量僅為原模型的52.9%，計算量和權(quán)重分別減少47.6%、43.6%，實現(xiàn)了極好的輕量化；相對YOLO v5x，改進后的參數(shù)量、計算量、權(quán)重分別縮減至原模型的39.9%、45.7%、40.1%，輕量化效果更加明顯。本研究主要探索輕量化場景，因此僅對DWshuffle-YOLO n做進一步討論。

2.3.2 訓練收斂對比與分析

在深度學習中，訓練過程中產(chǎn)生的指標可以用來分析和判斷模型的收斂水平，是判斷模型優(yōu)劣的重要指標。對原模型YOLO v5s、YOLO v5n和改進后的DWshuffle-YOLO n模型訓練過程中的收斂數(shù)值進行對比分析，其中邊框回歸損失曲線與置信度損失曲線表示檢測框擬合，分類損失曲線表示分類擬合，精確率、召回率、平均精度曲線表示訓練過程中的精度變化（圖7）。

由圖7可知，3條損失值曲線中YOLO v5s與YOLO v5n收斂速度接近，DWshuffle-YOLO n模型收斂的相對更快，特別是在辨別標簽的分類損失值曲線中大幅度領(lǐng)先其余2個模型，說明DWshuffle-YOLO n模型面對水稻害蟲數(shù)據(jù)時學習能力更強，且魯棒性優(yōu)秀，特別在標簽分類中收斂更加迅速。精度衡量指標精確率曲線、召回率曲線、平均精度曲線更是將3個模型的學習能力差異凸顯，3個模型大體趨勢相似，準確率與召回率在前幾輪訓練中出現(xiàn)大幅波動，第5輪開始穩(wěn)定并上升，平均精度曲線非常平滑；DWshuffle-YOLO n模型在3類指標中都大幅度領(lǐng)先，YOLO v5s與YOLO v5n模型的表現(xiàn)與預期一致，即YOLO v5s曲線稍高于YOLO v5n，從訓練曲線中可以看出DWshuffle-YOLO n模型的學習能力與驗證精度更加優(yōu)秀。

2.3.3 試驗結(jié)果對比與分析

為了評估改進后模型對最終結(jié)果的影響，本研究使用圖像驗證集對不同模型進行驗證，綜合評價結(jié)果見表2。在生產(chǎn)活動中往往需要實時檢測并判斷害蟲目標，因此在對比中還引入推理速度對比實時性，判斷在實際場景中模型檢測的效率。

由表2可知，DWshuffle-YOLO n各精度指標都遠超YOLO v5s和YOLO v5n，與YOLO v5n相比精確率提升了9.9百分點，平均精度也提升了3.2百分點。在檢測效率上，DWshuffle-YOLO n介于YOLO v5n與YOLO v5s模型之間，單幀檢測速度相較于YOLO v5n僅增加6.2 ms，精度高于YOLO v5s且速度更快。結(jié)合表1中的計算資源消耗對比，可見DWshuffle-YOLO n在比YOLO v5n更加輕量的情況下，識別精度遠超YOLO v5n，且在各方面都優(yōu)于相對體積更大的YOLO v5s；DWshuffle-YOLO n模型的各項精度指標都與大型模型YOLO v5x接近，但檢測效率大幅領(lǐng)先，DWshuffle-YOLO n的性能與大型模型YOLO v5x相同水平下計算資源僅占用其1%。說明DWshuffle-YOLO n作為輕量化模型擁有非常優(yōu)秀的性能表現(xiàn)，可以精確高效地識別出水稻害蟲。

本研究圖像集共包含14類害蟲，綜合精度無法代表具體品種，因此對不同品種分別進行評價，結(jié)果見圖8、表3。

由表3可知，DWshuffle-YOLO n模型對不同種類害蟲都有較高精度且評價指標都大幅度高于YOLO v5n。觀察圖8中的混淆矩陣可知，DWshuffle-YOLO n的錯檢率與漏檢率明顯更低，這都與表3中的初步結(jié)論一致。從混淆矩陣中還可知 不同科害蟲之間的誤檢率較低，同一科內(nèi)誤檢率較高，特別是在3類飛虱（褐稻虱、白背飛虱與灰飛虱）之間出現(xiàn)了較大誤差，其中灰飛虱的漏檢與誤檢情況最嚴重，識別精度僅為80.1%。考慮到灰飛虱形態(tài)特征與白背飛虱、褐稻虱較接近，這對模型識別提出了更高的要求，后續(xù)可以通過增加圖像樣本數(shù)量，豐富該種類害蟲的形態(tài)特征來提升檢測精度。

為測試DWshuffle-YOLO n模型在實際應用中的性能，本研究利用誘捕平臺連續(xù)采集到的二化螟圖像對模型進行驗證。本研究同樣利用托普水稻害蟲智慧性誘裝備黏蟲板圖像對模型進行實際應用場地可視化驗證，試驗時間為2022年9月3—17日，圖像采集地點為浙江省杭州市余杭區(qū)瓶窯鎮(zhèn)黃鄱塘，圖9為二化螟檢測數(shù)量與實際數(shù)量對比曲線。

由圖9可知，模型對二化螟的識別效果較好，但在數(shù)量較少與數(shù)量較多時都出現(xiàn)了較大誤差，對其可視化后分析其原因（圖10）。在圖10-a中，黑色圈所示位置為二化螟掙脫殘留的痕跡，但由于保留部分二化螟特征被誤識，造成開始數(shù)天識別數(shù)量超越了實際數(shù)量，隨著日期推移痕跡淡化后這部分誤差消失；當天數(shù)以及誘捕目標數(shù)量增加后，便會出現(xiàn)如圖10-b展示的情形，大量目標外昆蟲與強光使圖像背景變得復雜，對二化螟識別效果產(chǎn)生影響，造成最后幾天誤差的增大。

3 結(jié)論

本研究提出一種基于YOLO v5改進的輕量化水稻主要害蟲識別方法，該方法根據(jù)水稻害蟲基本形態(tài)設(shè)計深度可分離卷積與通道洗牌相結(jié)合的輕量級模塊，并將其嵌入YOLOv5結(jié)構(gòu)中。結(jié)果表明，改進后的模型參數(shù)量與計算量均縮減至原模型的50%左右，在網(wǎng)絡設(shè)置與YOLO v5n一致的情況下最終識別平均準確度可達95.2%，相較YOLO v5n提高了3.2百分點，與YOLO v5x識別效果相當，但計算消耗僅為YOLO v5x的1%，輕量化與精度提升效果顯著。

但本研究模型對部分害蟲的識別精度稍顯不足，考慮到或許是圖像不夠豐富等原因，后續(xù)可以拓展數(shù)據(jù)集，加大模型的學習量；今后也將針對多目標、小目標環(huán)境下的害蟲識別進行探索，完善方法的實際應用能力，助力水稻病蟲害數(shù)字化、智能化防控。

參考文獻：

［1］劉萬才，陸明紅，黃 沖，等. 水稻重大病蟲害跨境跨區(qū)域監(jiān)測預警體系的構(gòu)建與應用［J］. 植物保護，2020，46（1）：87-92，100.

［2］Li F，Xiong Y. Automatic identification of butterfly species based on HoMSC and GLCMoIB［J］. The Visual Computer，2018，34（11）：1525-1533.

［3］楊麗麗，張大衛(wèi)，羅 君，等. 基于SVM和AdaBoost的棉葉螨危害等級識別［J］. 農(nóng)業(yè)機械學報，2019，50（2）：14-20.

［4］Deng L M，Wang Y J，Han Z Z，et al. Research on insect pest image detection and recognition based on bio-inspired methods［J］. Biosystems Engineering，2018，169：139-148.

［5］張善文，邵彧，齊國紅，等. 基于多尺度注意力卷積網(wǎng)絡的作物害蟲檢測［J］. 江蘇農(nóng)業(yè)學報，2021，37（3）：579-588.

［6］Fuentes A，Yoon S，Kim S C，et al. A robust deep-learning-based detector for real-time tomato plant diseases and pests recognition［J］. Sensors，2017，17（9）：2022.

［7］Reza M T，Mehedi N，Tasneem N A，et al. Identification of crop consuming insect pest from visual imagery using transfer learning and data augmentation on deep neural network［C］//2019 22nd International Conference on Computer and Information Technology （ICCIT）. Dhaka，2020：1-6.

［8］甘 雨，郭慶文，王春桃，等. 基于改進EfficientNet模型的作物害蟲識別［J］. 農(nóng)業(yè)工程學報，2022，38（1）：203-211.

［9］任勝蘭，郭慧娟，黃文豪，等. 基于物聯(lián)網(wǎng)和改進Yolo-v4-tiny的智能果蠅誘捕方案［J］. 南京理工大學學報，2022，46（5）：586-593.

［10］Lin C H，Chen P H，Lin C，et al. Automatic detection and counting of small yellow thrips on lotus leaf back based on YOLO combined with VDSR and DPSR network［C］//Proc SPIE 11878，Thirteenth International Conference on Digital Image Processing （ICDIP 2021），2021，11878：170-177.

［11］Liu Y，Liu S，Xu J W，et al. Forest pest identification based on a new dataset and convolutional neural network model with enhancement strategy［J］. Computers and Electronics in Agriculture，2022，192：106625.

［12］Zhang L，Du J M，Dong S F，et al. AM-ResNet：low-energy-consumption addition-multiplication hybrid ResNet for pest recognition［J］. Computers and Electronics in Agriculture，2022，202：107357.

［13］鮑文霞，吳德釗，胡根生，等. 基于輕量型殘差網(wǎng)絡的自然場景水稻害蟲識別［J］. 農(nóng)業(yè)工程學報，2021，37（16）：145-152.

［14］Wu X P，Zhan C，Lai Y K，et al. IP102：a large-scale benchmark dataset for insect pest recognition［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach，2020：8779-8788.

［15］Redmon J，Divvala S，Girshick R，et al. You only look once：unified，real-time object detection［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，2016：779-788.

［16］Howard A G，Zhu M L，Chen B，et al. MobileNets：efficient convolutional neural networks for mobile vision applications［EB/OL］. ArXiv，2017.https：//arxiv.org/abs/1704.04861.

［17］Zhang X Y，Zhou X Y，Lin M X，et al. ShuffleNet：an extremely efficient convolutional neural network for mobile devices［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake，2018：6848-6856.

收稿日期：2023-01-04

基金項目：浙江省農(nóng)業(yè)重大技術(shù)協(xié)同推廣計劃（編號：2021XTTGLY0106）。

作者簡介：吳子煒（1998—），男，浙江海寧人，碩士研究生，主要從事農(nóng)業(yè)信息化研究。E-mail：731028114@qq.com。

通信作者：夏 芳，博士，副教授，主要從事數(shù)字鄉(xiāng)村建設(shè)、農(nóng)業(yè)信息化研究。E-mail：20200016@zafu.edu.cn。