基于改進殘差網絡的農作物病蟲害檢測研究

白雪松,吳建平,2,3,景文超,崔亞楠,康小霖

(1.云南大學 信息學院,云南 昆明 650504;2.云南省電子計算中心,云南 昆明 650223;3.云南省高校數字媒體技術重點實驗室,云南 昆明 650223)

0 引 言

農作物病蟲害嚴重威脅著國家糧食安全和環境,是制約農業生產的重要因素之一[1]。據國家農業技術中心預測,2022年小麥、水稻、玉米等重大病蟲害的復發頻率增加,影響全國70%的糧食主產區,覆蓋面積達20.26億畝[2]。

農作物病蟲害檢測是實現糧食安全的重要途徑之一。及時準確地識別病蟲害有助于采取適當的預防和保護措施,從而提高農產品的產量和質量[3]。傳統的檢測方法是由經過培訓或有經驗的人員進行現場檢查。然而,傳統方法對檢測人員的專業素質要求較高,并且浪費大量的時間和資源。此外,由于檢測人員的主觀因素,極有可能造成誤檢。隨著人工智能技術的迅速發展,深度學習技術已應用到各個領域[4]。近年來,國內外研究人員利用深度學習技術在農作物病蟲害檢測領域取得了一系列重要成果。Chen等[5]提出了一種基于AlexNet模型的LeafNet模型來檢測茶葉病害,獲得了比多層感知機(Multi-layer Perceptron,MLP)和支持向量機(Support Vector Machine,SVM)更好的表現。Barbedo[6]利用圖像分割技術提取病蟲害的主要特征,并通過卷積神經網絡進行訓練,提高了識別準確率。王佳[7]通過提取香芋葉片的顏色和紋理特征建立數據庫,并使用SVM方法進行分類,準確率達到93.00%。項小東等[8]在Xception模型中結合CEM模塊,提出了一種通道擴張方法(擴張-保持-再擴張-壓縮),在實驗中獲得了91.90%的準確率。Hassan等[9]提出一種基于Inception架構和跳躍連接的新型網絡模型,且將標準卷積換成深度可分離卷積來實現更高的精度。

上述研究均取得了較好的實驗結果,但缺乏細粒度層次的特征感知能力。由于受到農作物品種、發病時期、環境等因素的影響,導致病蟲害出現類間差異小和類內差異大的情況,增加了細粒度級別的分類難度。現有的解決方案,一方面通過采集更多樣本來改善數據源,但難以獲取和標注圖像;另一方面,采用多模型融合或增加網絡層數來提高特征提取能力,但模型參數和復雜度也會顯著增加。

針對病蟲害葉片特征的識別問題,該文提出了一種基于改進的Res2NeXt50模型的農作物病蟲害檢測算法。首先,在殘差網絡(Residual Network,ResNet)的基礎上改進得到Res2NeXt50模型,增加網絡每一層的感受野,可以在細粒度的層次上學習圖像的特征信息。隨后,通過分解大卷積、改進下采樣、替換激活函數、減少網絡層數等方法進一步優化模型,減少模型參數和復雜度。此外,采用標簽平滑和EMA方法訓練模型以提高泛化能力。

1 基礎理論與模型介紹

1.1 Res2NeXt殘差塊

盡管ResNet在圖像識別領域表現不錯[10],但僅通過3×3卷積很難有效地提取病變特征。因此,該文采用了一種新的多尺度骨干架構(A New Multi-scale Backbone Architecture,Res2Net)[11],在細粒度級別增加特征感受野,以挖掘病變特征之間的微小差異。

參考ResNeXt50模型[12]中的分組設計,該文構建了Res2NeXt50模型。模型通過分組學習得到的特征耦合度低,且涉及的主要特征不同,因此可以得到互補的信息來更全面地學習圖像。Res2NeXt50殘差塊結構如圖1所示。

圖1 殘差塊結構

在圖1中,輸入特征經過1×1卷積后按通道分成4組子特征,記為Xi。特征Xi不經過卷積得到輸出Y1=X1,特征X2經過8組3×3卷積得到輸出Y2=K2(X2),特征X3與Y2作殘差連接后經過8組3×3卷積得到輸出Y3=K3(X3+Y2),特征X4與Y3作殘差連接后經過8組3×3卷積得到輸出Y4=K4(X4+Y3)。依次類推,輸出特征Yi的計算方法如式(1):

(1)

1.2 分解大卷積

在農作物病蟲害診斷時,通常根據病斑顏色變化、受損部位大小等癥狀進行鑒別。Res2NeXt50模型使用7×7卷積來提取圖像的初級特征,但卷積核較大,導致局部特征丟失。如圖2所示,為了解決病蟲害特征的提取問題,該文提出混合卷積代替7×7卷積來獲取局部和全局特征,從而得到更豐富的圖像語義信息。

在圖2中,改進模型使用7×7、3×3和5×5卷積來提取圖像的初級特征,并加入P-ReLU函數和BN層以增強特征的表述能力。然后,通過拼接(Concat)進行特征融合。

圖2 混合卷積

1.3 更換激活函數

ReLU函數能有效抑制梯度消失和爆炸,而被廣泛使用。Res2NeXt50模型經過分組卷積后,結構更加復雜,更容易過擬合。因此,該文選擇具有正則化效果的GELU函數來代替原始殘差塊中的ReLU函數,以提高魯棒性。GELU函數的定義如下。

(2)

在式2中,x作為輸入值,Φ(x)是高斯分布的累積分布函數。當x減小時,Φ(x)也減小,激活函數輸出為0的概率更高,則神經元被丟棄。反之,當x增大時,Φ(x)也增大,激活函數輸出為1的概率更高,則保留神經元。

1.4 改進下采樣

在Res2NeXt50殘差塊中,主通道使用兩個1×1卷積和一個3×3卷積來改變特征圖的大小和數量,并在捷徑連接(Shortcut)中使用一個Stride為2的1×1卷積進行下采樣以匹配輸出。因為1×1卷積下采樣時丟失大量特征信息,會對主通道的信息流通產生負面影響,所以,該文選擇平均池化(Average Pooling,AvgPool)代替1×1卷積完成下采樣,以保留更多的信息。下采樣改進方法如圖3所示。

圖3 改進下采樣

在圖3中,主通道保持不變,而Shortcut使用Stride為2的AvgPool完成下采樣,并加入1×1卷積和BN層,以增加特征的非線性能力。

1.5 改進模型的網絡結構

最初的Res2NeXt50模型殘差塊仍沿用標準的(3,4,6,3)架構,而該文將layer1到layer4的block數調整為(2,4,6,2),從48層變為現有的42層。與原來相比,通過減少網絡層數,降低了過擬合風險,同時充分利用Res2Net架構的特征挖掘能力。

改進模型共有44層,由Conv1卷積層、Res2NeXt殘差塊、池化層和全連接層組成。如表1所示,Conv1卷積層使用混合卷積提取圖像的初級特征;Res2NeXt殘差塊由1×1卷積、3×3卷積和1×1卷積組成,并行拓撲數為8;layer1模塊保留原有的下采樣方式,其他模塊使用改進后的下采樣方式;自適應平均池化用于實現全局特征降維。最后,將全連接層的輸出維度設置為實驗所需的類數。

表1 網絡結構參數

2 實驗設計

2.1 數據集介紹

AI Challenger 2018農作物病蟲害數據集包括訓練集31 718張圖像,驗證集4 540張圖像,測試集9 027張無標簽圖像。數據集包含:10種農作物(蘋果、辣椒、馬鈴薯、桃子、草莓、櫻桃、玉米、葡萄、柑桔和番茄)、27種病害(24種分為輕度和重度)和10種健康類別。實驗的主要目的是準確識別各種病蟲害,因此對原始數據集做了一些調整。首先,對數據集進行清理,刪除訓練和驗證集中的238張重復圖像;然后,將同一病害的輕度和重度樣本混合,剔除樣本數量極不均勻的類別,比如僅有3張圖像的番茄瘡痂病;最后,將訓練集和驗證集的同類樣本混合打亂,總共得到36 020張圖像。調整后的數據集按照“物種-狀態”分為36類,即26種病害和10種健康類別。

Plantvillage數據集共有54 305張圖像,分為38類。數據集包含:14種農作物(蘋果、藍莓、櫻桃、玉米、葡萄、柑橘、桃子、辣椒、馬鈴薯、樹莓、大豆、草莓、南瓜和番茄),26種病害和12種健康類別。

Plant_leaves數據集共有4 502張圖像,分為22類。數據集包含:12種農作物(芒果、欖仁、番石榴、薩塔帕尼、鷹榅桲、蒲桃、麻風樹、番紅花、羅勒、粉紅石榴、檸檬和梧桐),11種病害和11種健康類別。

上述數據集以4∶1的比例分成訓練集和測試集,使用相同的數據增強技術和評價指標。

2.2 數據增強

數據增強不僅可以增加樣本數量,還可以豐富樣本的多樣性,避免過擬合。現有的數據增強技術分為兩類,一是離線增強,二是在線增強。考慮到實驗數據的規模和數量,采用在線增強技術。在訓練集中,先將圖像縮放到256 px×256 px,隨后進行圖4所示處理。

在測試集,先將圖像縮放到256 px×256 px,然后中心裁剪至224 px×224 px、像素歸一化和標準化。

圖4 數據增強處理

2.3 訓練設計

考慮到收斂效果和速度,實驗最終選擇AdamW優化器。初始學習率和weight-decay分別設置為0.001和0.05,Batchsize設置為32。此外,使用周期余弦退火策略(Cyclic Cosine Annealing Learning Rate Schedule)調整學習率,每20個epoch進行一次熱重啟,以獲得更好的收斂結果。

在訓練中,使用標簽平滑和EMA方法來提高模型的訓練效果。當標簽平滑系數和EMA系數分別為0.1和0.999時,實驗效果最佳。

2.4 實驗環境

代碼基于PyTorch1.71,Python 3.6版本。電腦配置:Windows10 OS,32 GB內存,AMD Ryzen7 5800X處理器和NVIDIA 3070顯卡。

2.5 評價指標

在實驗中,選擇準確率(Accuracy,Acc)、參數量和FLOPs作為評價指標。Acc的定義如下:

(3)

式中,TP(True Positive)為真陽;TN(True Negative)為真陰,all為樣本總數。

參數量即網絡參數和,單位M。FLOPs即浮點運算次數,用來衡量模型的復雜度,單位G。

3 實驗及結果分析

3.1 不同模型實驗對比分析

為了驗證改進模型的性能,在AI Challenger 2018農作物病蟲害數據集上與另外8種模型進行實驗對比。所有模型均在相同的實驗條件下進行,并使用開源代碼和默認參數復現。每個模型訓練100輪,根據其在數據集上的表現選擇最佳模型。對比結果如表2所示。

表2 不同模型實驗對比

由表2可見,不同模型的識別準確率均在97%以上,說明CNN可以有效識別農作物病蟲害。Res2NeXt50模型結合了Res2Net50和ResNeXt50模型的結構優勢,其識別率高于以上7種模型,達到了98.25%。改進模型在Res2NeXt50模型的基礎上優化了網絡結構和信息流通,不僅減少了模型參數和復雜度,還進一步提高了模型性能。同時,該文利用標簽平滑對樣本的真實標簽進行處理,以更好地訓練網絡,提高模型的泛化能力。與VGG16、Inception-v4、DenseNet169、ResNet50、ResNet101、ResNeXt50和Res2Net50模型相比,改進模型的準確率分別提高了0.78百分點、1.53百分點、0.87百分點、0.83百分點、0.77百分點、0.73百分點和0.64百分點。相較于Res2NeXt50模型,改進模型減少了4.5 M參數和0.48 G FLOPs,但準確率提高了0.54百分點。

另外,該文使用改進模型對測試集中的26種病害圖像進行測試,實驗結果如表3所示。

表3 26種病害的測試準確率

3.2 消融實驗及分析

為了分析改進方法的效果,在相同的實驗條件下進行消融實驗。每個模型訓練100輪,實驗對比結果如表4～表8所示。

表4 分解大卷積

在表4中設置了兩組對照實驗,分別采用傳統的3組3×3卷積和該文提到的混合卷積代替7×7卷積。通過對比實驗結果,模型使用混合卷積時,準確率高達98.42%,比原來提高了0.17百分點。

表5 更換激活函數

在表5中,對照模型使用GELU函數代替原殘差塊中的ReLU函數,準確率提高了0.1百分點。

表6 改進下采樣

在表6中,對照模型使用Stride為2的AvgPool進行下采樣。與原來相比,模型的準確率提高了0.15百分點,而且參數量和FLOPs保持不變。

表7 調整網絡層數

在表7中,對照模型將layer1到layer4的block數調整為(2,4,6,2)。與Res2NeXt50模型相比,改進模型的準確率提高了0.12百分點,而且參數量和FLOPs分別減少了4.50M、0.45G。

表8 訓練方法對比

在表8中,通過不同的訓練方法,模型的準確率均有不同程度的提高。當同時使用EMA和標簽平滑方法時,模型準確率達到了98.52%,比原來提高了0.27百分點。

3.3 可視化分析

該文采用類激活映射(Class Activation Mapping, CAM)方法[13],以熱力圖的形式顯示圖像響應的強弱特征。為了展示改進模型的檢測效果,將部分病蟲害可視化輸出,如圖5所示。

圖5 部分病蟲害可視化

為了比較不同網絡模型的特征提取能力,將ResNeXt50、Res2Net50和改進模型生成的熱力圖進行可視化,如圖6所示。

在圖6中,高亮區域代表圖像中的關鍵部分。通過對比分析,改進后的模型高亮響應區域更多更細膩,能學習到更多的圖像語義信息。

此外,為了更好地分析改進模型提取圖像特征的過程,將部分卷積層的特征圖可視化輸出,如圖7所示。

圖6 特征圖可視化

圖7 卷積核可視化

在圖7中,隨著網絡層次不斷加深,卷積核提取的圖像特征越來越抽象,其紋理也被更高層次的語義信息所取代。

3.4 公開數據集實驗對比與分析

為了全面客觀地評價文中模型的泛化能力,分別在Plantvillage和Plant_leaves數據集進行實驗,并和近幾年的研究方法對比。實驗對比結果如表9和表10所示。

表9 Plantvillage數據集實驗對比

由表9可見,文獻[14]使用Inception-v3模型加載預訓練權重,并部署到手機端進行病蟲害識別,準確率為95.62%。文獻[15]建立了VGG16和VGG19的融合模型,并采用粒子群優化算法進行參數尋優,準確率達到98.20%。文獻[16]使用神經結構搜索策略尋找最佳網絡結構,且對數據集進行過采樣和欠采樣,得到了99.01%的準確率。文獻[17]采用多尺度卷積和SE模塊等方法改進ResNet101模型,達到了99.40%的準確率。文獻[18]對EfficientNet-B3模型進行微調,并用雙穩態邏輯損失函數訓練,達到了98.32%的準確率。在文獻[19]中,結合輕量級模塊Ghost對VGG16進行改進,同時減少卷積核數量,取得了99.37%的準確率。與上述文獻相比,該文提出的模型準確率達到99.89%,高于上述研究方法,具有更強的泛化能力。

表10 Plant_leaves數據集實驗對比

由表10可見,文獻[20]用改進的ResNet模型來識別葉片病害,在實驗中獲得了91.95%的準確率。文獻[21]用方向梯度直方圖(Histogram of Oriented Gradient,HOG)來描繪圖像特征,并結合SVM進行分類,準確率達到99.18%。與上述研究方法相比,文中模型獲得了99.23%的準確率,分別比文獻[20]和文獻[21]高7.28百分點和0.05百分點。由于文獻[21]中使用的HOG方法屬于傳統的模式識別,描述子生成慢,而該文采用的深度學習方法檢測速度快,適用性更強。

4 結束語

該文提出了一種基于改進的Res2NeXt50模型的農作物病蟲害檢測算法,用于識別具有不同癥狀的農作物葉片圖像。改進后的模型結合了Res2Net50模型和ResNeXt50模型的結構優勢,不僅減少了模型參數和復雜度,而且泛化能力更強。與現有的研究方法相比,提出的改進模型可以在細粒度水平上學習圖像特征,從而準確識別各種農作物疾病。

未來將進一步對模型進行剪枝,部署到手機端,建立實時的病蟲害檢測系統平臺。