融合空間注意力機制和DenseNet的玉米病害分類方法

曹藤寶，張 欣*，陳孝玉龍，彭熙舜，林建吾

(1.貴州大學 大數據與信息工程學院，貴州 貴陽 550025；2.貴州大學 農學院，貴州 貴陽 550025)

0 引言

隨著人工智能及深度學習技術的不斷發展，越來越多的研究領域開始和人工智能產生交集，人工智能逐漸替代傳統方法[1]成為主流。近十幾年來，我國政府持續聚焦三農問題，智慧農業概念被頻繁提到，科技強農政策也被大力實施[2]。

玉米是我國重要的糧食作物之一，營養價值高，也是農民重要的收入來源，目前，玉米的市場價格已經超過了2 600元/噸。因此，加強玉米病害的防治就顯得尤為重要。目前常見的玉米病害有十余種，如大斑病、小斑病、銹病、玉米紋枯病和玉米彎孢霉菌葉斑病等，這些病害會降低玉米的產量并影響農民收入。所以，及時地分辨出病害種類，對癥下藥就顯得尤為重要。深度學習的發展和卷積神經網絡的提出為該問題的解決創造了良好的研究基礎。

如今，將深度學習應用于農業生產領域的研究也越來越多。王東方等[3]提出基于遷移學習和殘差網絡的農作物病害分類,使用改進的SE-ResNeXt-101網絡對蘋果、辣椒和番茄等作物進行病害分類，準確率達到了98%。任守綱等[4]提出反卷積引導的番茄葉部病害識別及病斑分割模型，使用VGG網絡實現植物葉部病害種類識別與病斑分割，病害分類準確率達了99.19%。魏麗冉等[5]提出基于核函數支持向量機的植物葉部病害多分類檢測方法，對葉片的鏈格孢病、炭疽病、細菌性枯萎病和尾孢菌葉斑病4種病害和健康葉片進行分類，準確率達89.5%。

以上研究不能兼顧準確率和模型大小，并且對玉米葉片病害分類沒有針對性。玉米葉片相較于葡萄、蘋果等葉片更加寬大，病害之間相似度更高，分布更加分散和復雜，分類難度更大，對分類網絡的要求也更高。本文提出的融合空間注意力機制和DenseNet的玉米病害分類方法在適當增加原模型參數大小的情況下，準確率達到了98.96%，實現了對玉米健康葉片和其他3種病害葉片的高精確度分類。

1 模型設計

1.1 DenseNet網絡

DenseNet網絡由Huang等[6]在2017年提出，該網絡具有參數量少、特征和損失傳遞能力強、梯度消失問題輕等優點。DenseNet網絡的核心特征提取層由4層Dense Block和3層Transition Layer結構組成，根據包含的卷積層、池化層數量的不同分為DenseNet-121，DenseNet-169，DenseNet-201和DenseNet-264。本文選用的是DenseNet-121模型，該模型層數最少，參數量也相對最少。

DenseNet網絡的設計靈感來自于ResNet網絡[7]，其本質上與ResNet網絡有所不同。ResNet采用實線殘差和虛線殘差的方式將每一組卷積結構的輸入和輸出進行相加，再輸入下一層網絡，其部分殘差結構示意如圖1所示。

圖1 2層殘差結構示意Fig.1 Two-layer residual structure diagram

這種結構接收到來自輸入層的特征與梯度信息，但由于是相加而不是拼接，使得網絡中的信息流遭到了一定程度的破壞。而DenseNet是將前面所有層的輸出在深度方向上進行拼接，然后再作為下一層的輸入，每一層都可以直接獲取來自損失函數和原始輸入信號的梯度，形成了一種隱含的深度監督，從而優化了信息流的傳播，使得網絡性能更好。DenseNet網絡和ResNet網絡的輸入和輸出關系表達式如下：

xL=HL(xL-1)+xL-1，

(1)

xL=HL([x0,x1,…,xL-1])。

(2)

式(1)表示的是ResNet殘差結構的輸入和輸出關系，其中，xL為L層的輸出，xL-1為上一層的輸出，HL為一個非線性變換。式(2)表示的是DenseNet網絡層之間的輸入和輸出關系，其中， [x0，x1，…，xL-1]表示L-1層的輸出與之前的所有層的輸出進行拼接操作。從式(1)和式(2)的區別不難看出二者的本質區別，拼接是做通道的合并，而相加是值的相加，并不改變通道的數量。

DenseNet-121和SA-DenseNet-121網絡結構參數如表1所示。由表1可以看出，DenseNet-121網絡中含有4個Dense Block結構。圖2顯示了網絡每個Dense Block內外的卷積層輸入輸出連接方式。這種連接方式在極大程度上保留了網絡原始的輸入特征和梯度信息，減輕了深層次網絡極易出現的梯度消失現象。由于網絡被劃分為4個Dense Block，每一次的特征圖拼接操作只發生在其內，Dense Block之間不會進行拼接操作，可以控制每個Dense Block內特征圖的大小保持一致，緩解了拼接操作必須要求特征圖大小一致的麻煩。此外，由于拼接操作會不斷增加特征圖的深度，在每個Dense Block的3×3卷積結構前都會添加一個1×1的卷積對輸入特征圖進行降維。隨后的Transition Layer層又會使用一個1×1的卷積對特征圖進行進一步的降維操作，由前面所有層的輸入維度拼接帶來的參數量過大問題得到了有效的解決。

表1 DenseNet-121和SA-DenseNet-121網絡結構參數Tab.1 DenseNet-121 and SA-DenseNet-121 network structure parameters

圖2 DenseNet-121網絡節點連接示意Fig.2 Schematic diagram of DenseNet-121 network node connection

1.2 空間注意力機制的引入

注意力機制最早被應用于機器翻譯領域，經過不斷發展，現在已經被廣泛地應用于計算機視覺領域[8-9]。目前，常見的注意力機制大致分為3種：關注空間域的空間注意力機制(Spatial Attention，SA)、關注通道域的通道注意力機制(Channel Attention)和它們的混合模型[10]。注意力機制主要是根據原有的特征圖設計一個權重分布，再將這個權重分布施加到原有的特征圖上，不同特征將擁有不同的權值，權值大的特征更加容易被注意到。

常用的注意力機制模塊有SE，CBAM，SA等。SE僅關注通道的權重分配，SA僅考慮空間位置的權重分配，CBAM同時關注通道和空間的權重分配[11]。本文中，玉米葉片病害特征分布在葉片正面的不同位置，病害間的區分需要分類網絡準確關注病害特征的空間位置，在特征圖中體現為同一通道不同位置像素的重要性。CBAM雖然關注了空間信息，但是冗余的卷積池化操作導致了一些有用信息的丟失。因此，針對玉米葉片病害分類，添加SA模塊效果最好。本文使用的SA結構如圖3所示。

圖3 SA算法結構Fig.3 Algorithm structure of spatial attention mechanism

首先，將輸入特征圖A的各特征層對應位置特征值相加再取平均值得到一個新的特征圖B，同時將該輸入特征圖A的各特征層對應位置的特征值相加再取最大值得到一個新的特征圖C。然后，將特征圖B與特征圖C在深度方向上進行拼接，將拼接好的特征圖通過一個卷積核為7×7大小的卷積層得到一個深度大小為1的特征圖，將該特征圖通過Sigmoid激活函數，將得到的權值大小映射到[0,1]。最后，將得到的權值特征圖與特征圖A相乘，此時的輸出特征圖已經得到了“空間注意力”[12]。對于玉米葉片圖像，有病害的位置與周圍健康的部位特征差異比較明顯，將SA加入網絡后，可以使網絡更加關注到玉米葉片病害的空間特征，從而提高分類準確率。

1.3 替換ReLU激活函數

由于神經網絡的特性，特征傳遞過程中如果都是線性計算，不論網絡深度有多深，該神經網絡也不具備復雜度，不能擬合復雜多樣的非線性信息。所以，要為神經網絡引入激活函數。激活函數是非線性函數，一般放置在一個卷積操作之后，使得神經網絡單個神經元的輸入和輸出呈非線性關系。

常用的激活函數大致有3種：Sigmoid函數、Tanh函數和ReLU函數。這些激活函數都有一個缺點：在神經網絡反向傳播時，它們的偏導數具有零值，會導致梯度在更新過程中容易產生梯度消失問題[13]。PReLU激活函數是ReLU激活函數的變體，是由He等[14]在2016年首次提出。同樣的變體還有Leaky ReLU激活函數。PReLU激活函數的函數圖像如圖4所示，其函數表達式如下：

圖4 PReLU激活函數圖像Fig.4 PReLU activation function image

(3)

當系數ai的大小隨輸入數據自適應變化時，函數圖像表示PReLU激活函數;當系數ai為一個常數時，函數圖像則表示Leaky ReLU激活函數;當系數ai=0時，函數圖像就是ReLU激活函數。

PReLU激活函數中的系數ai使用反向傳播進行訓練，并與其他層同時被優化，每層的所有通道共享同一個系數ai。系數ai的更新可以用鏈式法則導出：

(4)

(5)

系數ai的更新采用動量法：

(6)

式中，μ為動量；α為學習率。在ai的更新過程中不使用正則化，因為正則化會使ai在更新過程中趨向于零，這樣PReLU激活函數就和ReLU激活函數的作用一樣了。

本文將DenseNet網絡的所有ReLU激活函數替換為PReLU激活函數，初始ai值設置為0.25，當輸入為負數時，梯度更新也不會為零，避免了神經網絡在反向傳播過程中的梯度消失問題。由于PReLU激活函數是與整個模型訓練相適應，自動更新負半軸曲線斜率，在提升模型精度上更加優于ReLU激活函數。

2 實驗準備工作

2.1 實驗環境

本文實驗平臺搭建的電腦參數如下：處理器為Intel(R) Xeon(R) W-2235 CPU @ 3.80 GHz；RAM為32.0 GB；操作系統為Windows 10專業版64位；顯卡為NVIDIA GeForce GTX 2080Ti；模型訓練環境的搭建過程是先在PyCharm上安裝Anaconda，然后在Anaconda上創建PyTorch虛擬環境，最后安裝好相應的python語言庫。

2.2 數據預處理

本文數據集取自Plant Village公開數據集，Plant Village共包含54 306張農作物葉片病害圖片，有38個分類。本文用于訓練模型和測試的是玉米葉片病害數據集，共有4個類別：尾孢葉斑病、銹病、北方葉枯病和健康。總共3 852張圖片，其中尾孢葉斑病圖片513張、銹病圖片1 192張、北方葉枯病圖片985張和健康圖片1 162張。

為平衡數據集各類別數量，同時防止數據集過小帶來的過擬合問題，采用數據增強的方法對本文數據集進行擴充，擴充手段主要有亮度增強、翻轉、裁剪、旋轉和對比度增強等方法[15]。增強效果圖如圖5所示。

(a) 原圖

為避免數據集信息發生泄漏，先對原數據集按4∶1的比例劃分為訓練集和測試集后再單獨對訓練集進行擴充，擴充后的數據集共有10 629張圖片，其中尾孢葉斑病圖片2 496張、銹病圖片2 901張、北方葉枯病圖片2 400張及健康圖片2 832張。

2.3 評價指標

本文評價模型性能使用到的評價指標有準確率(Accuracy)、精確率(Precision)和召回率(Recall)[16-17]，表達式如下：

(7)

(8)

(9)

式中，TP為正確地將樣本判斷為正樣本的個數；FP為錯誤地將樣本判斷為正樣本的個數；TN為正確地將樣本判斷為負樣本的個數；FN為錯誤地將樣本判斷為負樣本的個數。準確率是指模型分類正確的概率；精確率是指模型預測為正樣本的圖片數中，預測正確的概率；召回率是指正樣本中預測正確的概率。

3 實驗結果與對比

為驗證本文改進的SA-DenseNet模型的性能，共設置了3組對比實驗：改進模型使用增強數據集進行訓練的效果與使用原數據集進行訓練的效果之間的對比、改進模型與原模型之間的性能對比以及改進模型與其他3個經典網絡模型之間的性能對比。模型訓練設置100個epoch，bitchsize= 32，使用Adam優化器，該優化器可以根據訓練參數自適應更新學習率[18-19]，本文學習率的大小設置為Lr= 0.000 1。

3.1 數據增強實驗效果對比

為驗證本文數據增強方法對模型訓練效果的提升，分別將原始的數據集和擴充后的數據集送入SA-DenseNet進行訓練。模型訓練準確率和訓練損失曲線對比如圖6和圖7所示。

圖6 數據增強前后準確率曲線Fig.6 Accuracy curve before and after data enhancement

圖7 數據增強前后損失值曲線Fig.7 Loss curve before and after data enhancement

由圖6和圖7可以看出，經過擴充后的數據集能夠使網絡收斂得更快，訓練準確率更高，同時訓練損失也下降得更快，曲線也更加平滑，說明網絡的魯棒性也變得更好。數據擴充前后實驗效果對比如表2所示。

表2 數據擴充前后實驗效果對比Tab.2 Comparison of experimental results before and after data expansion

由表2可以看出，數據集擴充后，訓練集準確率和測試集準確率分別提升了0.43%和0.52%，說明網絡的泛化能力得到了進一步增強。綜上所述，本文采用的數據增強方法能夠在數據集處理層面增加網絡的泛化性和魯棒性，對玉米葉片病害分類準確率提升起到了積極作用。

3.2 改進模型與原模型實驗效果對比

為驗證本文模型改進方法對玉米葉片病害分類準確率提升的有效性，使用擴充后的數據集分別對SA-DenseNet和DenseNet進行訓練。訓練集準確率曲線和訓練損失值曲線如圖8和圖9所示。

由圖8可以看出，改進后網絡模型的訓練準確率在最初幾個epoch的收斂速度就優于原網絡，結合圖9損失值曲線可以看出，網絡大致在訓練到60個epoch時基本得到了收斂。在100個epoch的訓練過程中，改進模型的訓練準確率基本都高于原網絡，損失值下降的速度也比原網絡要快。測試集的準確率和損失值如表3所示。由表3可以看出，改進后的網絡模型將玉米分類測試集準確率提高了0.46%，就玉米葉片病害分類難度大的問題而言，加入SA后網絡模型對玉米葉片病害特征的空間位置更加關注，同時引入激活函數PReLU進一步防止了梯度消失現象的產生，使網絡的分類準確率得到了進一步的提高。

圖8 改進網絡與原始網絡準確率曲線Fig.8 Accuracy curve of the improved network and the original network

圖9 改進網絡與原始網絡損失值曲線Fig.9 Loss curve of the improved network and the original network

表3 網絡模型改進前后測試集準確率和損失值Tab.3 Test set accuracy and loss values before and after network model improvement

3.3 改進模型與其他分類模型實驗效果對比

為驗證本文使用的分類網絡模型的優勢，在實驗過程中，使用增強后的數據集對AlexNet，ResNet50和ResNeXt三個經典的分類網絡模型進行訓練，設置同樣的訓練超參數和訓練次數，在同一實驗環境下與本文改進網絡模型進行對比實驗。訓練集準確率和損失值曲線如圖10和圖11所示。

由圖10和圖11可以看出，改進網絡模型的訓練集準確率明顯高于其他3種網絡，收斂速度更快，損失值下降速度也更快。各模型實驗結果對比如表4所示。

圖10 各模型訓練集準確率曲線Fig.10 Accuracy curve of each model training set

圖11 各模型訓練集損失曲線Fig.11 Loss curve of each model training set

表4 各模型實驗結果對比Tab.4 Comparison of experimental results of each model

由表4可以看出，在同等實驗條件下，SA-DenseNet的測試集準確率、精確率和召回率均達到最高，測試集損失值為0.030 9，模型大小為67.7 MB，僅大于AlexNet網絡模型，但是AlexNet網絡模型的測試集分類準確率僅為97.83%，比SA-DenseNet低了1.13%。SA-DenseNet在兼顧網絡模型大小和分類準確率的情況下，實驗結果達到了最優。

4 結束語

本文改進的SA-DenseNet網絡模型在原有的DenseNet網絡模型上融合了SA，提高了網絡對特征空間位置的關注度，并且使用了PReLU激活函數替換了原始的ReLU激活函數，進一步解決了深度神經網絡梯度消失的問題。針對Plant Village中分類難度相對較大的玉米葉片病害數據集進行對比實驗，實驗結果顯示，SA-DenseNet在模型泛化能力和魯棒性上都優于其他網絡模型，并且在模型大小為67.7 MB的基礎上，測試集準確率達到了最高的98.96%，驗證了本文模型改進方法對玉米葉片病害分類的有效性。