基于遷移學習和殘差網絡的農作物病害分類

王東方，汪 軍

（安徽工程大學計算機與信息學院，蕪湖 241000）

0 引 言

農作物病害影響農業產品質量和產量，自動識別作物病害是一個重要課題。隨著農業生產種植結構不斷復雜化，農業生產中所遇到的病害情況也越來越復雜，對農作物的生長造成了嚴重的影響，快速、準確地識別出農作物病害種類并進行及時防治，對于提高農作物的質量和產量至關重要。

傳統機器學習技術檢測農作物病害種類通常分為圖像預處理、圖像分割、特征提取和分類4個階段[1-4]。在這一過程中，特征提取是一個難題，由于人為選擇特征需要大量的試驗和經驗，而且存在一定的主觀性。復雜的農作物病害種類又加深了特征提取的難度。深度學習是機器學習的一個分支，在計算機視覺領域應用潛力巨大。卷積神經網絡能夠從輸入圖像中自動提取相關特征，相較于人為選擇的特征更加具有客觀語義性，減少了人為主觀性的影響。本文基于遷移學習并改進深度殘差網絡，創建自動檢測和分類農作物病害種類的模型，以避免傳統方法依賴人工特征設計的問題。

Jia等[5]發布的大型數據集ImageNet為圖像識別研究提供了強有力的數據支撐。Krizhevsky等[6]提出的AlexNet卷積神經網絡模型，在ImageNet比賽中獲得了冠軍，Top-5的錯誤率僅有15.3%，比第二名低10.8個百分點。AlexNet卷積神經網絡的成功應用極大地促進了深度學習技術的發展，使得深度學習技術在多個領域得到廣泛應用，例如人臉識別、語音識別、行人檢測等[7-11]，也促進了農業生產活動朝著智能化的方向發展[12-15]。龍滿生等[16]針對油茶的5種不同病害，構建了基于卷積神經網絡AlexNet與遷移學習的模型，在自建的數據集上，準確率達到了96.5%。趙立新等[17]以棉花葉部病蟲害圖像為研究對象，利用遷移學習算法和數據增強技術，通過改進AlexNet模型，在自建的數據集上取得了97.16%的平均準確率，實現棉花葉部病蟲害圖像準確分類，顯示出了深度學習技術在農業領域巨大的應用潛力。Simonyan 等[18]提出VGG模型，使用小卷積核代替大卷積核，增加了通道數，模型結構簡單、應用性強。Jia等[19]針對10種常見的番茄病蟲害，構建了基于VGG-16和支持向量機（Support vector machine，SVM）的番茄病蟲害檢測模型，在包含7 040幅圖像的數據集上進行訓練和測試，平均分類準確率達到89%。許景輝等[20]實現了小數據樣本復雜田間背景下的玉米病害圖像識別，提出了一種基于遷移學習和VGG-16網絡架構的病害識別模型，對玉米健康葉、大斑病葉、銹病葉圖像的平均識別準確率為95.33%。Szegedy等[21]提出GoogLeNet 模型，使用不同尺寸的卷積核融合不同尺度的特征信息，提高網絡的表達能力。Zhang等[22]使用改進型的GoogLeNet網絡架構，對來自PlantVillage數據集和谷歌網站中包含9種類別的500張玉米圖片進行模型訓練和測試，識別準確率達到98.9%。黃雙萍等[23]提出基于深度卷積神經網絡GoogLeNet模型的水稻穗瘟病識別方法，在驗證集上最高準確率為92%。He等[24]提出ResNet模型，在模型中運用殘差模塊有效緩解梯度彌散、梯度爆炸等問題。Picon等[25]針對小麥病害，構建了基于遷移學習和ResNet-50的卷積神經網絡模型，在自建的包含8 178幅圖像的數據集上進行了模型訓練和測試，對3種小麥病害的平均準確率達到87%。Lecun 等[26]提出的LeNet模型是最早的卷積神經網絡之一，確立了卷積神經網絡的基本結構。馬浚誠等[27]采用先分割再處理的思路，參考LeNet模型構建了一款基于卷積神經網絡的病害識別系統，該系統對溫室黃瓜的病害識別，準確率為95.7%。卷積神經網絡模型的構造方法和思想在不斷發展，Huang等[28]提出的DenseNet模型、Xie等[29]提出的ResNeXt模型和Hu等[30]提出的SENet模型都進一步拓展了卷積神經網絡的設計思路，為圖像識別研究提供了更多的參考。

以上研究中，單一農作物種類病害識別模型存在一定的局限性。真實農業生產環境下往往存在多種農作物，僅識別單一物種難以應對實際生產環境下復雜的種植結構。本文對深度殘差網絡SE-ResNeXt-101模型進行改進，并基于遷移學習提出一種農作物病害圖像分類方法TL-SE-ResNeXt-101，用于不指定農作物種類的病害檢測分類，并在重構的AI Challenger 2018農作物病害數據集上完成模型訓練與試驗。

1 農作物病害圖像分類模型

1.1 遷移學習

遷移學習的實現方法分別為樣本遷移、特征遷移、模型遷移和關系遷移，本文采用模型遷移的方法，利用在ImageNet數據集上預訓練的SE-ResNeXt-101模型參數文件對TL-SE-ResNeXt-101模型網絡的權值進行初始化，代替原先的隨機初始化操作，并進行全局微調，其余訓練過程照常進行。

1.2 殘差模塊

更深更寬的網絡架構意味著模型可以提取到的特征信息更豐富，更具有語義信息。ResNet模型運用殘差模塊有效解決了網絡加深之后出現的梯度彌散和梯度爆炸問題。殘差模塊從形式上定義為

式中x和y分別表示殘差模塊的輸入和輸出；F(x,{Wi})為網絡要學習的殘差映射。

殘差模塊引入了一個恒等映射，如圖1所示，將原本網絡要學習的函數H(X)=X轉換成為H(X)=F(X)+X，該結構提高了模型的表達能力，避免了網絡層數加深導致的退化問題，其中激活函數為線性整流單元（Rectified Linear Units，ReLU）。

考慮到深層次網絡的計算成本，ResNet模型對殘差模塊的結構進行了優化。如圖2所示，對原結構中2個3×3的卷積層進行替換，在圖2b新結構的中間3×3卷積層之前，使用1×1的卷積層進行降維操作，在3×3卷積層之后使用另一個1×1的卷積層進行升維還原。相比較圖2a的殘差結構，圖2b的結構既保持了精度又減少了計算量和參數量。

GoogLeNet模型中提出的“Inception模塊”通過“分解-轉換-融合（Split-Transform-Merge）”的策略進行網絡設計可以融合不同尺度的信息，增強模型的表達能力，提升模型性能。ResNeXt模型借鑒了這種網絡設計的思想對殘差模塊進行了改進。

ResNeXt網絡對殘差模塊的改進過程如圖3所示，可以看到圖3b的殘差結構將圖3a中的卷積層分解成了32組，在轉換計算之后將各組的結果融合。與“Inception模塊”不同的是分組卷積層使用了相同結構，而不是被設計成不同結構，因為每個分組都設計不同卷積核及網絡深度會導致參數迅速膨脹。相同結構設計簡化了網絡結構。圖3c為殘差結構中分組卷積的簡潔表示形式，同時 ResNeXt網絡引入了新的超參數“cardinality”表示殘差結構中卷積層的分組數量。根據分組數量自動將卷積層均分成相同卷積核及輸入輸出通道維度的結構，在圖3c中分組卷積使用的是32×4結構的模板，即分組數量為32組，3×3卷積層輸入輸 出維度為4維。

1.3 模型結構

在卷積神經網絡架構中，通常在網絡最后使用幾層全連接層，再利用softmax函數進行分類。全連接層參數量過多會導致模型變得非常復雜，同時可能造成模型出現過擬合現象，全局平均池化層的使用可以極大地減少網絡中的參數，并且一定程度上防止過擬合，但是會忽略一些細節信息。

本文基于遷移學習和SE-ResNeXt-101模型提出TL-SE-ResNeXt-101模型。模型結構如表1所示，整個網絡由卷積層、池化層、殘差模塊和全連接層構成，其中殘差模塊采用的是32×4分組卷積結構。表 1展示的網絡結構中，括號內是殘差模塊的構建參數和結構，括號外部參數表示殘差模塊重復堆疊的數量。4組不同結構的殘差模塊按照指定數量依次堆疊構成模型的基本網絡架構，在原始網絡架構中經過全局平均池化層和輸出維度為1 000的全連接層，利用softmax函數進行分類任務。對于農作物病害這種細粒度分類需要更多的細節信息進行判斷，所以本文對原始模型架構做出改進，使用2個3×3卷積核步長為2的卷積層代替原始模型架構中7×7的全局平均池化層，兩者具有相同的感受野，但卷積層可以保留更多的細節信息。同時在第二個卷積層后使用批量歸一化處理，以加速網絡收斂、提高分類精度，為了適用農作物檢測分類任務，將最后一個全連接層輸出維度設置為33，利用softmax函數進行分類。

SE模塊是SE-ResNeXt模型中使用的一種注意力機制。如圖4所示，SE模塊在原始的殘差模塊結構中加入一條路徑用以計算每條通道的權重。在殘差模塊之后使用全局平均池化層獲取每個通道的信息，2個全連接層分別使用ReLU和Sigmoid激活函數，其中在第一個全連接層中進行降維操作，降維比例在網絡中被設置為16。在模型訓練中，每個殘差模塊的輸出通道經過這條路徑學習到一組權重，對每條通道的輸出進行加權計算，從而突出習得特征中的關鍵信息，抑制無用信息，增強模型的表達能力。

表1 TL-SE-ResNeXt-101網絡架構Table 1 TL-SE-ResNeXt-101 network architecture

2 作物病害分類試驗

2.1 試驗環境

為了驗證TL-SE-ResNeXt-101模型的有效性和適用性，本文進行了作物病害分類對比試驗。試驗在百度AI studio平臺進行，模型的訓練和測試均在PaddlePaddle深度學習框架下完成。平臺的硬件環境：NVIDIA Tesla V100 GPU，16G顯存；Intel Xeon Gold 6271C @2.60GHz CPU，32G內存。軟件環境：Python 3.7；PaddlePaddle 1.6.2。

2.2 數據集

試驗所使用的農作物病害數據集來自于AI Challenger 2018比賽，該數據集包含蘋果、櫻桃、玉米、葡萄、柑橘、桃樹、辣椒、馬鈴薯、草莓和番茄10種植物，27種病害和健康類別，按照“物種-病害-程度”共分為61個類別。由于該數據集的測試集標簽沒有公開，本文對數據集進行重構，以更好地訓練和優化模型；剔除含有多個葉片樣本且存在同時含有健康和其他病害類別情況的玉米和柑桔2個健康類別，以符合本文對作物病害單標簽分類的設定；同時，為了緩解樣本不均衡問題對模型性能產生的影響，本文剔除了2個只包含一張圖片樣本的類別，并且將同一作物病害一般和嚴重程度的樣本混合在一起，相較于區分病害程度，更加準確的區分出病害類別更為重要。數據集以“物種-病害”對的方式分為33個類別，共獲得35 332張不同尺寸的作物病害葉片圖像，所有圖片均為RGB格式保存的JPG圖片，按照8∶1∶1的比例劃分為訓練集、驗證集和測試集。其中訓練集28 253個樣本，驗證集3 532個樣本，測試集3 547個樣本。數據集中部分樣本圖像如圖5所示。

2.3 數據預處理

試驗數據預處理包括圖片尺寸重定義、像素去均值化與歸一化處理。

本文將數據集中不同尺寸的圖片統一轉換為224×224×3，模型輸入維度的一致更便于比較各模型之間的性能。

對訓練集中每張圖片的每個通道的像素值都減去全部訓練集圖片的相同通道像素的均值，然后對每個通道像素進行歸一化處理，從而減少計算量，同時也防止深度學習模型訓練中出現的梯度爆炸，以加速模型收斂。

2.4 數據增強

數據增強技術可以增加樣本的多樣性，降低模型對某些屬性的依賴，提升模型的性能和泛化能力。本文數據增強策略包括顏色增強、隨機旋轉、隨機裁剪和水平隨機翻轉，樣本數據增強示例如圖6所示。其中顏色增強包括亮度調整、對比度調整、飽和度調整和色度調整，隨機旋轉是將圖片在-15°與15°之間隨機旋轉，隨機裁剪是將圖片在0.1至1的比例之間任意裁剪一部分，再轉換為224×224的圖片尺寸，水平隨機翻轉是將圖片隨機翻轉為鏡像圖片，本文數據增強策略均以50%的概率隨機進行。

2.5 圖像識別模型

2.5.1 VGG模型

VGG-16模型由13個卷積層和3個全連接層組成，網絡中的激活函數為ReLU，部分卷積層后面連接最大池化層。在VGG-16模型卷積層中，通過小卷積核的堆疊代替大卷積核，在感受野大小相同的前提下，堆疊小卷積核的方式可以大大減少模型參數。為了符合本文試驗數據集中33個分類標簽，對該模型的softmax分類器進行修改。

2.5.2 GoogLeNet模型

GoogLeNet模型引入了Inception結構，該結構使用多個不同尺寸的卷積核和池化層，融合不同尺度的特征信息。模型運用1×1的卷積核對網絡降維以及映射處理，在增加網絡深度和寬度的同時減少模型參數。此外模型添加了2個輔助分類器幫助訓練，對模型的softmax分類器進行修改。

2.5.3 ResNet模型

ResNet-50模型中引入了殘差模塊，有效地解決了因神經網絡層數加深導致的梯度彌散、梯度爆炸和退化問題。本文試驗修改了模型softmax分類器以適用于農作物病害圖像的檢測分類。

2.5.4 DenseNet模型

DenseNet模型是一種緊密連接的卷積神經網絡結構。網絡之間以前饋的方式直接相連，最大限度地保證各層網絡之間的信息流動。從而緩解深層網絡中的梯度消失問題，提升了模型表達能力。針對農作物病害分類任務，本文構建121層的模型DenseNet-121，修改模型的softmax分類器以符合本文分類任務。

2.6 超參數設計

超參數的設計對于模型訓練及性能的影響至關重要，本試驗超參數設計參考相關模型在類似數據集上的設計以及在本研究數據集上進行的系列試驗，對超參數進行統一化處理。

學習率是深度學習中重要的超參數，合適的學習率可以使損失函數在較短的時間內收斂到局部最小值，學習率設置太小會導致網絡收斂較慢，訓練時間較長，設置太大可能會導致梯度在最小值附近震蕩，甚至無法收斂。本文采用指數標尺選取0.000 1、0.001、0.01和0.1共4組學習率，經過各個模型的反復試驗之后，最終將學習率設置為0.000 1。

每個批次（Batch）訓練樣本的數量大小（Batch Size）也會影響模型的性能及速度。為了尋求內存效率和內存容量之間的最佳平衡，本試驗選取了16、32、64、128和256的Batch Size進行對比試驗，最終將Batch Size確定為64。

對于損失函數和優化算法，本試驗選擇交叉熵損失函數在模型訓練中對比隨機梯度下降（Stochastic Gradient Descent，SGD）、動量梯度下降（Gradient Descent with Momentum，Momentum）和自適應矩估計（Adaptive Moment Estimation，Adam）優化算法。Adam優化算法適用于非凸優化問題，計算效率高、內存需求少。同時，本試驗將一階矩估計的指數衰減率設為0.9，二階矩估計的指數衰減率設為0.999，L2正則化系數設為0.000 05。

3 結果與分析

3.1 圖像識別模型性能對比試驗

相同條件下，對4種圖像識別模型與本文模型進行比較。為了評價各個模型的性能，結合農作物病害識別分類的特點和數據集的樣本狀況，本試驗選擇平均準確率（Average accuracy rate）和加權F1（Weighted-F1）作為模型性能的評價指標。各模型均迭代60次，每迭代5次保存一次訓練模型，結合各模型在測試集上的表現，選擇最優模型，結果如圖7所示。

從圖7中可以看出，本文提出的基于遷移學習的模型TL-SE-ResNeXt-101取得較低的損失值并且達到較高的準確率，在訓練集和驗證集上，損失值分別為0.017和0.083，平均準確率分別為99.24%和98.07%，分類效果優于其他模型。在模型的損失和準確率收斂方面，本文模型收斂速度最快，在第20次迭代左右趨于收斂，這說明相較于其他模型，TL-SE-ResNeXt-101能夠在更短的時間內訓練出最優模型。收斂速度最慢的是DenseNet-121模型，在第50次迭代左右趨于收斂，并且驗證集的損失和準確率在訓練的過程中存在一定的波動。其余模型在訓練過程中相對穩定，在第40次迭代左右趨于收斂。縱觀各個模型的損失和準確率收斂曲線，模型在驗證集上的損失值略高于訓練集，在驗證集上的準確率略低于訓練集。

表3 為不同作物病害識別模型在測試集上的平均準確率和加權F1值。由表3可知，各模型平均準確率均在93%以上，說明深度學習模型應用于農作物病害檢測分類具有優秀的表現，并且各模型的加權F1值也達到93%以上，說明各模型在不同類別上的表現差異較小，相對均衡。本文模型基于遷移學習并將注意力機制運用到卷積神經網絡中，將不同的特征賦以不同權重，突出重要信息，抑制無用信息，在測試集上取得了98%的平均準確率，加權F1值達到97.99%，優于未改進網絡架構的TL-SE-ResNeXt-101模型，相較于VGG-16、GoogLeNet、ResNet-50和DenseNet-121模型分別提高了3.95%、4.12%、2.12%和4.26%。

3.2 基于遷移學習的模型性能對比

在遷移學習方式下，由于加載了預訓練模型，模型前端各層網絡均可獲得較好的訓練參數，在模型訓練之初已經接近最優解。基于遷移學習的TL-SE-ResNeXt-101模型與未加遷移學習的SE-ResNeXt-101模型的損失與準確率曲線如圖8所示，可以看出，遷移學習對加速網絡收斂有明顯的促進作用，TL-SE-ResNeXt-101模型在訓練初始時刻就已經獲得較低的損失值和較高的準確率，而且網絡迅速收斂，在第40次迭代左右，模型的平均準確率便達到峰值，訓練集上為99.24%，驗證集上為98.07%。相比之下，SE-ResNeXt-101模型的損失和準確率曲線收斂較慢，在第50次迭代左右，模型的準確率才到達峰值，訓練集上為97.82%，驗證集上為97.25%。

2類模型在測試集上的平均準確率和加權F1指標如表4所示，可以看出，在遷移學習下，模型的性能有一定的提升，平均準確率和加權F1均提高了約3個百分點。說明基于遷移學習的農作物病害識別分類模型TL-SE-ResNeXt-101可以加速網絡收斂，減少模型訓練時間。由于采用遷移學習的方式，預訓練模型在有目的的訓練下，已經學習到相關上下文中有用的通用特征，當模型參數遷移到作物病害識別任務只能進行增量式學習，不容易對新數據進行過度擬合，因此具有良好的泛化能力，提高了模型準確率。

表4 遷移學習模型與普通模型性能對比Table 4 Performances comparison of transfer learning model and ordinary model

3.3 基于數據增強的遷移學習模型性能對比

表5 是本文模型在數據增強和沒有數據增強方式下的性能表現，從表5中可以看出，在數據增強的方式下，模型性能有顯著的提升，平均準確率和加權F1指標均提高了約5個百分點。說明數據增強對于模型性能的提升有明顯的促進作用，而且通過對圖像樣本進行數據增強，可以減少網絡模型對圖片中某些屬性的依賴，緩解訓練階段中可能會出現的過擬合狀況，從而提高模型性能和泛化能力。

表5 基于數據增強遷移學習模型與普通遷移學習模型的性能對比Table 5 Performances comparison of data-enhanced transfer learning model and ordinary transfer learning model

3.4 真實環境下模型性能對比

使用PlantDoc數據集評價各模型對真實農業生產環境下農作物病害圖像分類性能。PlantDoc數據集是對互聯網上獲取的圖像進行人工標注的農作物病害圖像數據集，涵蓋13種植物，27種病害和健康類別。本文選取與AI Challenger 2018數據集重合的作物病害類別，只保留真實農業生產環境下的作物病害圖像樣本，共獲得981張作物病害圖像，包含16種作物病害類別（圖9）。

將PlantDoc數據集按照8∶2比例劃分為訓練集和測試集，從不同角度評價各模型在測試集上的性能。

表6 不同模型在PlantDoc測試集的性能比較Table 6 Performances comparison of different models in PlantDoc test set

表6 是各模型在PlantDoc測試集上的性能表現，從表6中可以看出，各模型的性能表現較差，平均準確率和加權F1值分別在16%和13%以下。本文提出的TL-SE-ResNeXt-101模型表現最好，但平均準確率僅為15.26%。由于實驗室環境與真實農業生產環境下拍攝的樣本圖像存在較大的差異，農業生產環境下的樣本圖像背景更加復雜，更容易受到光照等其他外界條件的影響，所以各模型在PlantDoc測試集上性能表現均較實驗室環境差。為了緩解因環境不同圖像樣本之間差異造成的影響，本文將在AI Challenger 2018數據集上訓練后的模型繼續在PlantDoc訓練集上訓練。如表7所示，可以看出，各模型性能較未在PlantDoc訓練集上訓練的模型有很大的提高，VGG-16、GoogLeNet、ResNet-50、DenseNet-121和TL-SE-ResNeXt-101模型的平均準確率分別提高了28.42%、30.52%、23.16%、14.74%和32.11%。說明利用真實農業生產環境下作物病害圖像樣本進行模型訓練有助于提高模型在實際應用環境下的性能。本文所提出的TL-SE-ResNeXt-101模型表現最好，平均準確率達到了47.37%，真實農業生產環境下對農作物病害圖像分類效果優于其他模型。

表7 在PlantDoc訓練集訓練的不同試驗模型在測試集的性能比較Table 7 Comparison of the performances of different experimental models trained in the PlantDoc training set in the test set

4 結 論

本文對深度殘差網絡模型SE-ResNeXt-101進行改進，并基于遷移學習提出了一種農作物病害分類模型TL-SE-ResNeXt-101，用于不指定農作物病害種類的檢測分類，從而避免傳統方法依賴于耗時費力的人工特征設計，提高模型對不同作物種類不同病害的檢測分類性能，增強模型在實際農業生產環境復雜種植結構下的應用能力。在重構的AI Challenger 2018農作物病害數據集上，本文方法對不同作物種類不同病害的檢測分類平均準確率均達到98%，加權F1分數達到97.99%。結果表明，相同試驗條件下，本文模型比VGG-16、GoogLeNet、ResNet-50和DenseNet-121模型分類效果更好，同時，對真實農業生產環境下的圖像樣本亦有較好的分類效果，在PlantDoc測試集上平均準確率達到47.37%。本文的對比試驗說明遷移學習技術的運用可以加速模型網絡收斂和提升模型性能，在較短的時間內訓練出更優的模型。數據增強技術可以有效地降低模型對某些屬性的依賴，緩解模型訓練中可能會出現的過擬合問題，對農作物病害檢測分類模型性能和泛化能力的提升有明顯的促進作用。

目前公開的農作物數據集大多為背景簡單，病害單一的作物葉片圖像，而在真實環境下進行現場檢測時，得到的往往是背景復雜且可能包含多種病害類型的作物圖像。下一步研究計劃收集更多真實環境的農作物葉片圖像，進一步豐富農作物病害圖像數據集，優化模型。同時，利用目標檢測算法先識別葉片目標，限定區域，減少背景環境的影響，然后再對限定區域進行農作物病害的細粒度分類，提升模型性能和魯棒性，建立端到端的農作物檢測分類模型，提高其實用價值。