Res-Efficient:應用于作物病害自動識別的輕量級模型

管洪亮,李克峰,張廣淵,朱振方,王朋

Res-Efficient:應用于作物病害自動識別的輕量級模型

管洪亮,李克峰,張廣淵*,朱振方,王朋

山東交通學院 信息科學與電氣工程學院, 山東 濟南 250375

卷積神經網絡模型可通過作物病害圖像準確率較高地識別作物病害類型，達到防治作物病害的目的，但傳統卷積神經網絡模型存在模型尺寸大、遷移效果差等問題。針對這些問題，引入學習率動態衰減訓練策略，使用EfficientNetV2的Fused-MBConv和MBConv模塊替換ResNet18的部分殘差模塊，提出Res-Efficient模型。實驗證明，使用學習率動態衰減策略能提高Res-Efficient模型識別作物病害的準確率，Res-Efficient模型在Plant Village和2018 AI Challenger測試集上分別達到99.70%和87.20%的準確率，模型尺寸減少到14.0 MB。Res-Efficient模型能為移動端和嵌入式設備部署作物病害自動識別應用提供參考。

作物病害; 自動識別; 模型

病害是導致作物產量下降的重要因素之一，嚴重的病害會給作物種植者帶來巨大的經濟損失[1]。作物病害大都能通過根系、花粉、孢子等媒介進行傳播，因此在病害傳播的早期能準確識別作物病害種類，就能通過切斷傳染源等手段阻斷病害的大面積傳播，減少經濟損失[2-3]。傳統的作物病害識別主要以人工識別為主，通過觀察葉片的病變特征判斷病害類型，但這種方法過于依賴個人經驗，主觀性強，效率低[4]。隨著深度學習計算機視覺領域的迅速發展，卷積神經網絡模型逐漸應用于農業領域，解決農業病害自動識別問題。

卷積神經網絡（CNN）模型是將一個卷積核作為一個神經單元對圖像進行特征提取，通過平鋪和堆疊卷積核，實現對圖像深層特征的提取。Sladojevic S等[5]使用Caffe深度學習框架構建CNN模型CaffeNet，該模型對訓練的13種植物病害類型的識別精準率平均達到96.3%，證明CNN模型識別植物病害類型的有效性。Hu WJ等[6]在實驗中得到ResNet50模型在經過預處理后的AI Challenger數據集上得到82.40%的模型精準率，較AlexNet模型提高2.69%，ResNet50模型在相同數據集下，比AlexNet模型擁有更高的識別準確率。

Sifre L等[7]提出深度可分離卷積（Depthwise separable convolution, DSC），DSC相比普通的卷積操作模型參數的計算量減少三分之二，Howard AG等[8]使用DSC構造出MobileNet輕量級網絡模型，從此輕量級網絡在深度學習領域成為了一個熱門的研究方向。Tan M等[9]通過NAS技術搜索出MBConv和Fused-MBConv模塊的最佳超參數配比，提出的EfficientNetV2同時兼顧準確率和輕量級兩個指標，使CNN模型性能進一步提高。帖軍等[10]應用輕量化模塊提出SK-Efficient模型，模型在Plant Village數據集上平均準確率達到99.64%，模型參數量與ResNet模型相比減少84%。以上研究說明，通過使用輕量級模塊改進卷積神經網絡模型，不僅能有較高的植物病害圖像識別能力，而且能大幅度降低模型尺寸和參數量。

通過上述研究發現，CNN模型在作物病害圖像識別領域呈現準確率越來越高，越來越輕量級的趨勢。且通過觀察農業病害圖像的數據集發現，相比于自然環境下多特征的植物病害圖片，作物病害葉片圖像具有病害特征明顯、噪聲少、易拍攝等特點?；谏鲜鲅芯坎⒔Y合作物病害葉片圖像的特點，本文提出Res-Efficient模型，達到以更輕量級的模型取得準確率高的作物病害分類效果，為提高水果產量，減少農業經濟損失提供技術支持

1 Res-Efficient模型

1.1 模型總體設計

本文提出的Res-Efficient模型由1個卷積批量歸一化激活（Conv-BN-Act）模塊，2個Fused-MBConv模塊，2個Residual模塊，2個MBConv模塊和1個卷積池化全連接（Conv-Pooling-FC）模塊，共8個模塊串聯而成。模型總體結構和模型主要參數見表1。

表 1 Res-Efficient模型參數

表1中的層數（Layer）表示模塊重復串聯的次數，步距（Stride）表示該模塊第一個負責特征提取的卷積核步距大小，通道數（Channel）表示特征圖經過該模塊后的特征圖數量，失活率（Dropout）表示輸出節點數的失活比例，膨脹系數（Expansion）表示深度可分離卷積核的個數與輸入通道數量的倍數關系。

卷積批量歸一化激活模塊由1個卷積（Convolution，Conv）層，1個BN（Batch Normalization）層和1個SiLU激活層組成。卷積池化全連接模塊由1個卷積層，1個自適應平均池化層和1個全連接層組成。

其中：()表示均值函數；V()示方差函數；，是可學習的參數向量，默認為1，為0；是作為一個極小值，防止除0操作；表示特征圖的元素；表示歸一化特征圖元素的結果。

其中：是特征圖的元素值；是可學習的參數向量，默認為1。

主體框架包含2個Fused-MBConv模塊，2個殘差（Residual）模塊和2個MBConv模塊。主體框架中的模塊構造如圖1所示。

圖 1 Res-Efficient主要模塊

1.2 Residual模塊

Residual模塊是ResNet18的基礎殘差模塊，殘差模塊主要由3個尺寸為3的卷積核和一個shortcut連接組成。殘差模塊能將原始特征圖與經過卷積處理生成的特征圖相加后得到新的特征圖。因為作物病害葉片圖像特征分布簡單，容易出現因卷積層不斷加深而造成的梯度爆炸和梯度消失問題。應用Residual層則可以挖掘作物病害葉片圖像的深層特征，具體結構如圖1(a)所示。

1.3 MBConv模塊

MBConv模塊是基于殘差模塊的一種改進。首先將普通卷積操作替換為深度可分離卷積操作，即在殘差結構的基礎上，增加2個尺寸為1的卷積核，實現深度可分離卷積操作。然后增加壓縮與激勵層，增加模型的自注意力機制，消除部分因參數量下降而造成準確率降低的影響，提高模型預測的準確度。該模塊的具體結構如圖1(b)所示。

1.4 Fused-MBConv模塊

Fused-MBConv模塊是基于MBConv的改造，即去掉MBConv模塊中第一個用于升維的卷積層和用于對數據進行壓縮和激勵的SE層，且根據膨脹系數決定是否進行深度可分離卷積的逐點操作。Res-Efficient模型在淺層使用Fused-MBConv模塊可以減少網絡層數，達到降低模型尺寸的效果，同時引入Fused-MBConv模塊可加快模型訓練的速度。Fused-MBConv模塊的具體結構如圖1(c)所示。

1.5 學習率動態衰減策略

其中：l表示下一輪學習率；l表示最后一輪的學習率；表示當前輪次的學習率；表示最大迭代次數。

2 實驗材料

2.1 數據來源

Plant Village數據集[12]是公開的農業病害數據集，包含9種作物的38種不同種類作物健康或病害的葉片圖片，共54303張，該數據集常用于識別農業病蟲害的研究。

2018 AI Challenge病蟲害分類數據集（https://aistudio.baidu.com/aistudio/dataset detail/76075），該數據集是飛槳平臺AI Challenger 2018競賽的數據集，包含61種不同作物病害程度的葉片圖像。

2.2 數據預處理

將2018 AI Challenge病蟲害分類數據集，刪除11個圖像樣本數少于200的類別，剩下的50個類別的圖像將參與模型訓練。對參與作物病害自動識別模型的Plant Village和2018 AI Challenger數據集以3:1:1的比例劃分為訓練集、驗證集和測試集，劃分后的數據集樣本數量如表2所示。

表 2 數據集樣本劃分

3 實驗與分析

3.1 實驗環境

本試驗模型訓練階段使用“騰訊云”的GPU計算型GN7-8核32G云服務器，GPU型號為Nvidia Tesla T4，顯存16 GB，內存32 GB。操作系統為Ubuntu Server 20.04 LTS 64位。Cuda版本為11.2。

3.2 消融實驗

Adam和隨機梯度下降（SGD）是CNN模型訓練時常用的優化器，Res-Efficient作物病害自動識別模型分別使用Adam和SGD優化器進行訓練，并余弦漸進式衰減動態調整學習率策略進行消融實驗，模型在兩個數據集的測試集上的實驗結果如表3所示。

表 3 消融實驗結果

從表3可看出，學習率動態學習策略與Adam優化器結合對Res-Efficient模型識別作物病害的準確率提升幅度較小，與SGD優化器結合對模型識別作物病害的準確率提升幅度較大。Res-Efficient作物自動識別模型在SGD優化器結合學習率動態衰減策略，在Plant Village和2018 AI Challenger兩個數據集上達到最高的準確率，分別為99.70%和87.20%。

3.3 對比實驗

Res-Efficient作物病害自動識別模型分別在Plant Village和2018 AI Challenger數據集上與ResNet18、ResNet50和EfficientNetV2原模型進行訓練過程的準確率進行對比訓練過程對比見圖2。然后對上述4種模型在測試集上進行評估，評估結果如表4所示。

(a) Plant Village數據集模型對比Comparison of plant village dataset models (b) 2018 AI Challenger數據集模型對比2018 AI challenger dataset model comparison

由圖2(a)可看出，Res-Efficient模型在Plant Village病害數據集上能以最快的速度收斂且收斂效果最好，同時該模型的準確率也始終高于其他3個模型。由圖2(b)可看出，ResNet18在2018 AI Challenger作物病害數據集上的訓練速度最快，但模型收斂效果不佳，Res-Efficient模型雖然訓練時間比ResNet18長，但模型收斂的時間與ResNet18模型訓練完成的時間相近，且收斂后的準確率也高于其他3個模型。

表 4 模型評估結果

從表4可看出，本文設計的Res-Efficient模型與其他3個模型相比，在兩個作物病害數據集的測試集上得到的準確率、精準率、召回率和F1得分最高。Res-Efficient的模型尺寸僅為14.0MB，與性能相近的EfficientNetV2原模型尺寸相比降低83%，與ResNet18模型尺寸相比下降69%，模型輕量級程度大幅度提升。

4 結 論

本文提出了Res-Efficient自動識別作物病害類別的輕量級模型，并使用學習率動態衰減策略提高模型識別作物病害種類的準確率。實驗證明，使用SGD優化器并結合學習率動態衰減策略能使Res-Efficient模型識別作物病害類型的準確率有較明顯的提升，在Plant Village和AI Challenger 2018數據集上分別得到99.70%和87.20%的準確率。Res-Efficient模型尺寸僅為14.0 MB，為嵌入式和移動端設備部署輕量級作物病害自動識別應用提供參考模型。

[1] 宋余慶,謝熹,劉哲,等.基于多層EESP深度學習模型的農作物病蟲害識別方法[J].農業機械學報,2020,51(8):196-202

[2] King A. Technology: The future of agriculture [J]. Nature, 2017,544(7651):S21-S23

[3] 蘇仕芳,喬焰,饒元.基于遷移學習的葡萄葉片病害識別及移動端應用[J].農業工程學報,2021,37(10):127-134

[4] 王樹桐,王亞南,曹克強.近年我國重要蘋果病害發生概況及研究進展[J].植物保護,2018,44(5):13-25

[5] Sladojevic S, Arsenovic M, Anderla A,. Deep neural networks based recognition of plant diseases by leaf image classification [J]. Computational Intelligence and Neuroscience, 2016,6:1-11

[6] Hu WJ, Fan J, Du YX,. MDFC–ResNet: an agricultural IoT system to accurately recognize crop diseases [J]. IEEE Access, 2020,8:115287-115298

[7] Sifre L, Mallat S. Rotation, scaling and deformation invariant scattering for texture discrimination [C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2013:1233-1240

[8] Howard AG, Zhu M, Chen B,. Mobilenets: Efficient convolutional neural networks for mobile vision applications [J]. arXiv preprint arXiv:1704.04861, 2017.

[9] Tan M, Le Q. Efficientnetv2: Smaller models and faster training [C]//International Conference on Machine Learning. PMLR,2021:10096-10106

[10] 帖軍,隆娟娟,鄭祿,等.基于SK-EfficientNet的番茄葉片病害識別模型[J].廣西師范大學學報(自然科學版),2022,40(4):104-114

[11] Ramachandran P, Zoph B, Le QV. Searching for activation functions [J]. arXiv preprint arXiv:1710.05941, 2017

[12] Mohanty SP, Hughes DP, Salathé M. Using deep learning for image-based plant disease detection [J]. Frontiers in Plant Science, 2016,7:1419

Res-Efficient: A Lightweight Model for Automatic Identification of Crop Diseases

GUAN Hong-liang, LI Ke-feng, ZHANG Guang-yuan*, ZHU Zhen-fang, WANG Peng

250375,

The convolutional neural network model can identify crop disease types with high accuracy through crop disease images to achieve the purpose of preventing and controlling crop diseases. However, the traditional convolutional neural network model has problems such as large model size and poor migration effect. To deal with these problems, a learning rate dynamic attenuation training strategy is introduced, and the Fused-MBConv and MBConv modules of EfficientNetV2 are used to replace part of the residual module of ResNet18, and the Res-Efficient model is proposed. Experiments have proved that using the learning rate dynamic decay strategy can improve the accuracy of the Res-Efficient model in identifying crop diseases. The Res-Efficient model achieved 99.70% and 87.20% accuracy on the Plant Village and 2018 AI Challenger test sets, respectively, and the model size was reduced. to 14.0 MB. The Res-Efficient model can provide a reference for deploying crop disease automatic identification applications on mobile terminals and embedded devices.

Crop disease; automatic identification; model

S41-30

A

1000-2324(2022)06-0858-05

2022-05-01

2022-06-04

管洪亮(1995-),男,碩士研究生,研究方向:機器人工程,計算機視覺. E-mail:cbxxghl@qq.com

Author for correspondence. E-mail:xdzhanggy@163.com

10.3969/j.issn.1000-2324.2022.06.007