基于輕量級MIE_Net的田間農作物病害識別

溫釗發 蒲智 程曦 趙昀杰 張澤宇

摘要：為實現農作物病害的快速精準識別，降低病害對農業安全生產的影響，本研究針對現有病害識別模型參數量大、魯棒性低、泛化性弱等問題提出了輕量級MIE_Net農作物病害識別網絡。該網絡以MobileNetV2為基礎網絡結構，首先使用多尺度特征提取模塊替換原網絡的初始卷積層，提高網絡對不同面積病斑的特征提取能力，增加網絡中的特征復雜度；其次在主模塊中添加ECA注意力機制，提高網絡對葉片病害區域的關注程度，降低復雜背景對小病斑特征提取過程的影響；最后使用Swish激活函數增加網絡的表達能力，使網絡性能達到最優。結果表明，多尺度特征提取模塊提高了模型對不同病斑大小的識別準確率，ECA注意力模塊提高了網絡對小病斑的識別準確率，最終網絡模型對復雜環境中2種作物11種病害類別的最低識別精確率達到91.2%，總體病害識別準確率達到95.79%，比原網絡提高1.84百分點，參數量為2.24M，權重文件大小為8.78MB。MIE_Net網絡在保證模型輕量化的同時提高了模型的準確性、泛化性以及魯棒性，整體性能優于其他現有網絡模型，為以后的輕量級作物病害識別方法提供了參考。

關鍵詞：病害識別；輕量級網絡；注意力機制；多尺度特征

中圖分類號：TP391.41文獻標志碼：A

文章編號：1002-1302（2023）10-0176-09

目前，病害依然是作物安全生產過程中的嚴重威脅。聯合國糧食及農業組織統計數據表明，每年全球因病蟲害而造成的糧食生產損失高達20%～40%［1］。2021年我國發生糧食重大病蟲害與其他一類農作物病蟲害土地面積達到2.35億hm2［2-3］，對農業生產造成重大經濟損失。因此，盡早對作物病害進行精確識別對我國農業安全生產與健康發展具有重要意義。

農作物發生病害時，在植物葉片表面會產生顏色、紋理、形狀等方面變化，傳統病害識別需要專業技術人員在田間對病害種類進行甄別，這種方法時效性低、主觀性高，極易錯過病害防治最佳時間。基于圖像處理技術的病害識別需要人工進行特征選取、圖像分割等大量前期圖像預處理工作，人為選定的特征信息也會割裂病害全局信息，造成部分關鍵特征的信息丟失。而深度學習不需要進行前期冗雜的圖像預處理工作，直接采用端到端的方式學習病害高級特征，避免了主觀因素的影響。

蒲秀夫等使用VGG16網絡實現了簡單背景下的多種作物病害圖像識別，平均準確率為96.8%［4］；Tang等在ShuffleNet中引入注意力機制，在PlantVillage數據集上對多種作物病害識別準確率達到99.14%［5］；Ni等結合密集連接思想對ResNet50網絡進行改進，在AIChallenger2018數據集上準確率比原網絡提高了0.8%［6-7］；胡玲艷等引入注意力機制對SqueezeNet進行改進，在PlantVillage數據集上準確率達到97.29%［8］；孫文斌等將注意力機制引入ResNet18網絡，在AIChallenger2018數據集上準確率達到86.93%，權重文件大小為48.6MB［9］。以上都是基于簡單環境背景開展的病害識別研究，模型應用于實地時易受外界因素影響，魯棒性低、泛化性差。李昊等在專用設備上通過YOLOV4與DenseNet網絡分別實現了柑橘園病害葉片的檢測與病害識別，在自采集復雜環境數據集上準確率達到95.46%［10］；孫俊等在MobileNetV2中引入特征金字塔與注意力機制，在kaggle復雜背景數據集上達到92.20%的準確率［11］；黃林生等在ResNet18中引入Inception模塊，在復雜背景數據集上平均準確率達到95.62%，權重文件大小為44.2MB［12］。以上研究針對解決復雜環境下的病害識別，但網絡準確率不夠理想、計算量過多、權重文件過大，難以搭載至移動端。

針對上述問題，本研究以復雜背景下的農作物病害葉片圖像為研究對象，提出一種適用于復雜田間環境的輕量級網絡結構MIE_Net，實現了對作物病害的高效精準識別，并利用對比試驗與消融試驗驗證了網絡有效性，以期為深度學習網絡模型移植于移動端提供思路。

1材料與方法

1.1試驗數據

1.1.1數據采集

簡單背景葉片圖像數據無外界因素干擾，病害特征表現明顯，但由于背景單一，致使訓練出的模型魯棒性與泛化性差，無法在田間真實環境中應用。因此，本研究使用數據集由簡單背景葉片圖像與田間復雜背景葉片圖像兩大部分構成（圖1）。數據集包括2種作物（蘋果、玉米）的9種病害葉片圖像（蘋果斑點落葉病、蘋果褐斑病、蘋果灰斑病、蘋果花葉病、蘋果銹病、蘋果黑星病、玉米灰斑病、玉米大斑病、玉米銹病）和2種健康葉片圖像（蘋果健康、玉米健康），共6787張。從PlantVillage數據集、NewPlantDiseasesDataset數據集、AppleScabLDs數據集以及實地拍攝圖像中通過數據清洗、人工篩選得到無重復數據的原始數據集。通過分析表1可以發現，原始數據集中存在圖像數據總樣本少、不同作物數據樣本分布不均衡、同種作物不同病害樣本數量存在差距、同種病害不同背景的樣本數量差距大等問題。因此，本研究擬通過數據預處理、模型結構優化等方式降低樣本數量少、分布不均衡對模型性能的影響。

1.1.2數據預處理

為保證訓練集與測試集的數據獨立性［13］，確保模型評估效果的真實性與有效性，在數據預處理操作前，將原始數據集按8∶2的比例劃分為訓練集與測試集。由于訓練集圖像難以涵蓋田間實地的多種復雜情況，網絡在訓練過程中容易產生過擬合現象，訓練出的模型泛化性、魯棒性較差，因此需要對訓練集進行數據增強操作。通過分析作物病害表現特征，添加噪聲、顏色變換等數據增強方式會改變病害的本質特征，不利于網絡訓練過程中的病害特征提取，故僅采用水平翻轉、垂直翻轉、角度旋轉、亮度變換、對比度變換5種方式進行圖像增強操作，增強效果見圖2。為增強模型訓練過程中的數據隨機性，同時避免數據增強過度，本研究在訓練過程中隨機選取多種圖像增強方法對訓練集進行增強操作，操作參數見表2。

1.2模型選取與改進

隨著深度學習的發展，卷積神經網絡在目標檢測、實例分割、圖像識別等領域取得了良好表現［14］。本研究采用相同的訓練策略對多種網絡在同一數據集上進行訓練，測試集表現如表3所示。通過比較各模型的準確率、F1分數與權重文件大小，選擇MobileNetV2［15］、ShufflenetV2作為備選網絡。通過表4可知，MobileNetV2網絡在測試集上對各類病害的識別精確率與F1分數比ShufflenetV2網絡更均衡且平均值更高，最終選取MobileNetV2作為本研究基礎網絡。

MobileNetV2是Sandler等在MobileNetV1［15-16］網絡基礎上改進提出的。MobileNetV1提出的深度可分離卷積由深度卷積與逐點卷積構成，該操作降低了卷積過程運算量，提高了模型運算速度［16］，如圖3-a所示。MobileNetV2在深度可分離模塊的基礎上結合殘差模塊［17］與瓶頸模塊提出倒置殘差模塊，將輸入特征通過逐點卷積-深度卷積-逐點卷積操作，在保持較低計算復雜度的同時提高了模型獲取特征的豐富度，如圖3-b所示。但針對復雜背景下的作物病害識別任務，MobileNetV2依舊存在一些不足，網絡中所有卷積核尺寸都是采用3×3大小，提取特征過于單一，不能很好使用不同病斑大小的特征提取；面對過于復雜的背景或小病斑時，隨著網絡深度增加，病害部位低級特征易被忽略或丟失。基于此，本研究將對MobileNetV2網絡進行改進，提高網絡性能表現。

1.2.1改進的多尺度特征提取模塊

在串聯網絡上提高模型特征獲取能力最直接的方法是增加網

絡深度或寬度，但會導致模型參數量多，復雜度高等問題。針對此，Szegedy等提出了多尺度特征提取模塊［18］，如圖4-a所示，將串聯網絡的完全連接結構改為了并聯的稀疏連接結構，在模型計算復雜度不會失控膨脹的基礎上顯著增加了單元數量，提高了特征獲取的復雜度與豐富度。本研究中，作物病害具有病斑面積大小不均、背景復雜多變的特點，當處于病害初期或為小型病斑時，使用3×3小尺寸卷積核可以提取到足夠有效特征，但當病斑過大或成片表現時，3×3小尺寸卷積核會導致病斑特征信息的割裂丟失，使網絡難適應于不同時期、不同種類的病害識別。基于此，本研究引入多尺度特征提取模塊，根據實際研究需求與葉片病害識別特點提出MInception模塊，將原始模塊中的步長修改為2，快速降低特征圖大小，減少傳入網絡主干的參數量；將第1分支的卷積核尺寸修改為2×2大小，解決因步長變化而導致小病斑圖像特征丟失的問題；在第2分支和第3分支分別借鑒倒置殘差模塊與瓶頸模塊的思想對網絡通道的壓縮膨脹進行改進，進一步提高網絡獲取特征的豐富性；對各分支通道數量進行壓縮，在保證提取豐富特征的同時避免模型參數量膨脹失控；將ReLU激活函數替換為Swish激活函數，提高模型泛化性，模塊結構見圖4-b。使用該模塊取代基礎網絡中的第1層3×3卷積操作，增加了網絡中病害特征提取的多樣性，提高了網絡的泛化能力。

1.2.2改進的ECA倒置殘差模塊

注意力機制是在網絡中通過計算輸入特征的各通道目標權重，使用乘積操作將權重賦予各通道，使網絡更關注于目標區域的一種方法。針對本研究研究內容，復雜背景圖像中外界干擾因素過多，小病斑在網絡傳播過程中會出現特征丟失情況，致使網絡關注于其他區域。而注意力機制可以將圖像中病害區域的權重增大，使網絡始終關注于病害發生區域，有利于提高網絡性能，提升識別準確率。傳統的SE注意力［19］是將特征圖的所有通道信息在壓縮階段進行處理，增加了網絡的運算量，破壞了通道間的相對獨立性，使病害的特征信息遭受破壞。ECA注意力［20］綜合考慮了各通道間的聯系性與獨立性，每次使用步長為1、大小為k的一維卷積對k個通道執行操作，在不破壞特征信息的基礎上實現了無降維的權重計算操作，如圖5-a所示，一維卷積尺寸大小k如式（1）所示。本研究通過試驗比較CBAM、DECA、ECA3種注意力對于網絡性能的影響，將ECA注意力添加至倒殘差模塊的深度卷積操作后，將ECA倒置殘差模塊中的激活函數修改為Swish激活函數，結構見圖5-b，增加了網絡對病害特征的關注度，提高了網絡準確率。

k=log2（C）γ+b[]γodd。（1）

式中：odd代表取最近整數，k代表一維卷積大小，C代表當前卷積核數量，γ=2，b=1。

1.2.3MIE_Net輕量級農作物病害識別網絡

本研究設計的MIE_Net網絡以MobileNetV2為基礎網絡，使用MInception模塊替換原始網絡的第1個3×3卷積層，將主干網絡中的導致殘差結構更換為改進的ECA倒置殘差模塊，最終得到的MIE_Net輕量級網絡整體結構見圖6。網絡得到任意像素的RGB圖像后首先將圖像縮放為224×224大小，然后對圖像進行歸一化處理，接著通過MInception與ECABlock等模塊結構對輸入圖像進行高級特征提取，最后利用Softmax得到圖像目標患各病害的概率，選取最大概率作為模型輸出，模型相關參數見表5。

1.2.4網絡評價標準

設立評價標準可以更客觀地對模型性能進行評估，本研究選用準確率、平均精確率、平均F1分數、參數量、權重大小共5個指標作為模型整體評價標準，選用精確率、F1分數作為每類作物病害分類的評價標準。

1.3試驗環境與參數設置

1.3.1試驗環境

所有網絡采用相同的試驗環境，均在本地進行訓練。在硬件方面CPU處理器使用IntelCoreTMi7-10875H@2.30GHz，GPU圖形處理器使用NVIDIAGeForceRTX2060，顯存為6G，運行內存為16G。在軟件配置方面CUDA版本為11.0，Cudnn版本為8.0，以Pytorch1.10作為深度學習框架，使用Python3.8編程語言在Pycharm2020.3平臺完成網絡的結構搭建與訓練。

1.3.2參數設置

本試驗所有網絡使用相同訓練策略，選用Adam優化器，訓練過程中更新所有參數，學習率設置為0.001，經過網絡模型性能對比選用交叉熵損失函數，迭代次數設置為50，批處理圖像數受硬件條件所限設置為32張/批。

2結果與分析

2.1模型性能結果分析

為驗證MIE_NET網絡的有效性，本部分選取MobileNetV2、EfficientNet、ConvNext等3種網絡在同一數據集上使用相同的訓練策略與MIE_Net作對比試驗。由圖7可知，MIE_Net網絡的收斂速度高于其他3種網絡結構，更容易訓練。由表6可知，MIE_Net網絡在測試集準確率上比原始MobileNetV2網絡提高了1.84百分點，病害識別平均精確率比ConvNext網絡提高了5.50百分點，模型的準確性、泛化性與魯棒性更加優異。與EfficientNet網絡性能表現相似，但參數量僅為EfficientNet的55.72%，權重文件僅為EfficientNet的56.28%，模型更容易搭載于移動端，進一步體現了MIE_Net模型的優異性能。

2.2消融試驗結果分析

為了使MIE_Net網絡在保持良好性能的基礎上盡可能輕量化，本部分使用消融試驗來判斷各模塊對網絡性能的影響，進而優化網絡結構。

由圖8可知，引入ECA注意力機制或多尺度特征提取模塊都提高了模型的收斂速度，提升了網絡性能；使用交叉熵損失函數的網絡收斂速度高于使用FocalLoss損失函數的同類型網絡。圖中FocalLoss損失值低是因為在反向傳播過程中人為地對損失值進行了0.25或0.5的懲罰系數造成的。最終，基于交叉熵損失函數并融合了改進的ECA倒置殘差模塊與MInception模塊的MIE_Net網絡收斂速度達到最快。

由表7可知，在MobileNetV2中加入ECA注意力機制，蘋果灰斑病精確率提高12.5百分點、玉米灰斑病精確率提高9.3百分點，網絡平均精確率提高1.63百分點，準確率提高1.42百分點；加入多尺度特征提取模塊，玉米銹病識別精確率提高2.5百分點，玉米大斑病識別精確率提高1.2百分點。試驗表明，引入注意力機制可以使網絡在面對背景復雜的小病斑病害圖像時減弱背景影響，加大病斑特征位置的權重，使網絡更關注于病害區域；引入多尺度特征提取模塊可以使網絡在面對大病斑或呈片狀分布的葉片病害時，在保證病害特征整體性的同時，實現網絡對病害特征的充分提取。

在MobileNetV2_ECA中使用交叉熵損失函數，測試集準確率提高了2.39百分點，平均精確率提高了2.65百分點。在MobileNetV2_Inception中使用Swish激活函數，提高了大多數病害的精確率，平均精確率提高了1.46百分點。試驗表明，交叉熵損失函數與Swish激活函數可以提升網絡整體性能。

最后，將ECA注意力機制、多尺度特征提取、Swish激活函數與交叉熵損失函數進行整合，得到MIE_Net農作物病害識別網絡。該網絡與各類改進網絡相比，在其他病害識別精確率達到理想的情況下，數據集中幾類難識別作物病害的精確率也得到了比較好的提升，病害最低識別精確率達到91.2%，在測試集準確率上比MobileNetV2網絡提高了1.84百分點。綜上所述，文中所提各模塊對網絡性能都有著不同方面的提升，融合了各模塊優點的MIE_Net網絡模型在不同改進網絡中準確性、泛化性與魯棒性最優。

2.3混淆矩陣結果分析

本研究使用混淆矩陣作為病害識別模型的性能衡量指標之一，其中x軸代表圖像的真實標簽，y軸代表模型的預測標簽，主對角線為模型預測正確的樣本數量，本部分使用與訓練集完全獨立的測試集圖像數據對模型進行性能測試。從圖9可知，MIE_Net模型對蘋果斑點落葉病與蘋果灰斑病有識別錯誤的情況產生，這是由于蘋果斑點落葉病與蘋果灰斑病在形狀、顏色2種特征上有極高的相似度。但MIE_Net網絡的泛化性、魯棒性、準確性及模型收斂速度均高于其他網絡，對各種類病害都能實現很好的識別效果。

3結論

本研究立足于農業生產實際，針對復雜背景干擾因素多、病斑大小不一及現有模型參數量過大等問題，提出了一種輕量級網絡模型MIE_Net，實現了對2種作物11種病害的高效精準識別。MIE_Net網絡以MobileNetV2為基礎網絡，通過引入注意力機制與多尺度特征提取模塊，減輕了復雜背景與病斑大小不一對模型性能的干擾。同時，在保證模型識別準確率、收斂速度、泛化性與魯棒性的前提下，平衡了模型復雜量與性能的關系，最終模型在測試集準確率達到95.79%，參數量為2.24M，權重文件為8.78MB。以上充分體現了MIE_Net網絡搭載在移動端解決復雜背景作物病害識別問題的優越性，為其他輕量級復雜病害識別網絡研究提供了參考。

參考文獻：

［1］FoodandAgricultureOrganizationoftheUnitedNation.Planthealthandfoodsecurity［EB/OL］.（2020-06-04）［2022-03-03］.https：//www.fao.org/3/i7829en/I7829EN.pdf.

［2］劉杰，姜玉英，黃沖，等.2021年全國糧食作物重大病蟲害發生趨勢預報［J］.中國植保導刊，2021，41（1）：37-39，42.

［3］2021年其他一類農作物病蟲害全國發生趨勢預報［J］.農民文摘，2021（3）：47.

［4］蒲秀夫，寧芊，雷印杰，等.基于二值化卷積神經網絡的農業病蟲害識別［J］.中國農機化學報，2020，41（2）：177-182.

［5］TangZ，YangJL，LiZ，etal.Grapediseaseimageclassificationbasedonlightweightconvolutionneuralnetworksandchannelwiseattention［J］.ComputersandElectronicsinAgriculture，2020，178：105735.

［6］NiP，ChenZ，CaoMY.Researchoncropdiseaserecognitionbasedonunitingmulti-layerfeatures［J］.JournalofPhysics，2021，1961（1）：012030.

［7］HuangG，LiuZ，vanderMaatenL，etal.Denselyconnectedconvolutionalnetworks［C］//2017IEEEConferenceonComputerVisionandPatternRecognition（CVPR）.Honolulu：IEEE，2017.

［8］胡玲艷，周婷，許巍，等.面向番茄病害識別的改進型SqueezeNet輕量級模型［J］.鄭州大學學報（理學版），2022，54（4）：71-77.

［9］孫文斌，王榮，高榮華，等.基于可見光譜和改進注意力的農作物病害識別［J］.光譜學與光譜分析，2022，42（5）：1572-1580.

［10］李昊，劉海隆，劉生龍.基于深度學習的柑橘病蟲害動態識別系統研發［J］.中國農機化學報，2021，42（9）：195-201，208.

［11］孫俊，朱偉棟，羅元秋，等.基于改進MobileNet-V2的田間農作物葉片病害識別［J］.農業工程學報，2021，37（22）：161-169.

［12］黃林生，羅耀武，楊小冬，等.基于注意力機制和多尺度殘差網絡的農作物病害識別［J］.農業機械學報，2021，52（10）：264-271.

［13］林建吾，張欣，陳孝玉龍，等.基于輕量化卷積神經網絡的番茄病害圖像識別［J］.無線電工程，2022，52（8）：1347-1353.

［14］牛學德，高丙朋，南新元，等.基于改進DenseNet卷積神經網絡的番茄葉片病害檢測［J］.江蘇農業學報，2022，38（1）：129-134.

［15］SandlerM，HowardA，ZhuML，etal.MobileNetV2：invertedresidualsandlinearbottlenecks［C］//2018IEEE/CVFConferenceonComputerVisionandPatternRecognition.SaltLakeCity：IEEE，2018：4510-4520.

［16］HowardAG，ZhuML，ChenB，etal.MobileNets：efficientconvolutionalneuralnetworksformobilevisionapplications［EB/OL］.（2017-04-17）［2022-03-05］.https：//arxiv.org/abs/1704.04861

［17］HeKM，ZhangXY，RenSQ，etal.Deepresiduallearningforimagerecognition［EB/OL］.（2015-12-10）［2022-03-05］.https：//arxiv.org/pdf/1512.03385.pdf.

［18］SzegedyC，LiuW，JiaYQ，etal.Goingdeeperwithconvolutions［C］//2015IEEEConferenceonComputerVisionandPatternRecognition（CVPR）.Boston：IEEE，2015.

［19］HuJ，ShenL，AlbanieS，etal.Squeeze-and-excitationnetworks［J］.IEEETransactionsonPatternAnalysisandMachineIntelligence，2020，42（8）：2011-2023.

［20］WangQL，WuBG，ZhuPF，etal.ECA-net：efficientchannelattentionfordeepconvolutionalneuralnetworks［C］//2020IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR）.Seattle：IEEE，2020.