改進殘差網絡在玉米葉片病害圖像的分類研究

黃英來，艾 昕

東北林業(yè)大學 信息與計算機工程學院，哈爾濱 150040

玉米是全世界產量最高的糧食作物，與傳統(tǒng)的小麥、水稻等糧食作物相比，玉米具有很強的環(huán)境適應性，其作為多用途作物在食用、飼用、工業(yè)原料及出口商品等各方面發(fā)揮著重要作用[1]。然而，近年來，隨著全球氣候異常以及玉米品種更換等原因，玉米葉部發(fā)生病害的現(xiàn)象明顯增多，這給玉米的生產帶來了極大危害。常見的玉米葉部病害有十多種，其中以大斑病、銹病和灰斑病為主[2]。傳統(tǒng)的玉米葉片病害識別主要以工作人員肉眼觀察為主，這種方法不但效率低下，而且判定標準往往帶有主觀性。因此，尋找出一種高效并且精準的玉米葉片病害識別方法至關重要。

近年來，學術界掀起了深度學習的熱潮，其中卷積神經網絡（Convolutional Neural Network，CNN）是深度學習最重要的分支之一，它被廣泛地應用于計算機視覺領域。目前，卷積神經網絡已經成為眾多科學領域的研究熱點之一。由于卷積網絡可以直接輸入原始圖像，并且在各項領域都取得了較高的識別率，其便捷性與準確性等優(yōu)點深受眾多學者的好評。

鑒于卷積神經網絡在圖像檢測領域的突出能力，多名學者利用它來解決農業(yè)方面的圖像識別問題。趙建敏等[3]采用深度學習理論設計病害識別系統(tǒng)，搭建8層CNN+softmax分層卷積神經網絡模型，在馬鈴薯葉片病害識別中取得了較高的識別率。吳開興等[4]設計了通過卷積神經網絡實現(xiàn)番茄病害識別的模型，研究了采用不同尺寸的卷積核和池化方法對該模型性能的影響。Salih等[5]研究了基于卷積神經網絡的六種不同番茄葉片圖像檢測的方法。Yadav等[6]使用對比度拉伸預處理和FCM聚類算法，實現(xiàn)了對蘋果葉片病害圖像的分類。

以上幾種方法都是自行構建一個大型CNN模型的過程，然而訓練好一個深度CNN模型不僅需要上百萬個參數(shù)，而且網絡訓練的開銷也十分大。遷移學習的出現(xiàn)則可以很好地解決上述問題。遷移學習是運用已存有的知識對不同但相關領域問題進行求解的一種機器學習方法[7]。同樣，遷移學習具備以下優(yōu)點：不但可以在較小的訓練樣本下獲得較高的精度，還可以大幅度減少網絡的訓練開銷[8]。韓猛[9]以AlexNet和VGGNet模型為基礎，實現(xiàn)了17類花卉和102類花卉的精準識別。Alsharman等[10]使用改進的GoogleNet模型，對包含COVID-19臨床表現(xiàn)的CT圖像進行識別。倪黎等[11]應用改進的Xception卷積網絡，融合了SE模塊，應用到10種動物種類識別中，取得了較高的識別準確率。巨志勇等[12]提出了基于位置的柔性注意力算法，對Inception v3神經網絡進行改進，最終在果蔬識別算法中準確率可達90%以上。

為進一步提升卷積神經網絡對玉米葉片病害圖像分類的效率和正確率，本文提出一種基于遷移學習與對ResNet-50網絡結構進行改進的算法。將ResNet-50模型在圖像數(shù)據庫ImageNet上預訓練的權重參數(shù)進行遷移學習，并改進傳統(tǒng)的ResNet-50模型結構，使之更加擬合玉米葉片病害圖像的特性，實現(xiàn)對4種常見的玉米葉片圖像更加精準快速的識別。

1 玉米圖像識別網絡模型構建

1.1 殘差網絡模型

2015年，殘差網絡被何愷明等[13]4位學者提出，并在同年的ImageNet大規(guī)模視覺識別競賽中獲得了冠軍。隨著深度學習的發(fā)展，傳統(tǒng)的卷積神經網絡模型結構越來越深。理論上更深的網絡可以取得更好的識別效果，但實驗證明通過簡單的疊加層方式來增加網絡深度，可能會引發(fā)梯度爆炸與梯度消失等一系列問題，從而導致網絡的收斂性變差。因此，殘差網絡的出現(xiàn)成功解決了此類問題，使得即便在網絡層數(shù)很深的情況下，網絡依然可以取得良好的效率和性能。

對于一個堆積層結構來說，在輸入樣本為x時假設輸出結果為H(x)，在傳統(tǒng)的網絡中是直接學習輸入到輸出的映射H(x)，而殘差網絡學習的是F(x)=H(x)-x，即目標值H(x)與輸入值x的差值，稱為殘差（residual）。當F(x)足夠小時，輸出就近似變成了H(x)=x，此時堆積層僅僅做了恒等映射，這樣不必重新學習一個映射函數(shù)，更容易擬合殘差。殘差塊的結構如圖1所示。

圖1 殘差塊結構Fig.1 Structure of residual block

每個殘差塊的計算公式如式（1）、（2）所示：

其中，xl和yl分別表示第l層的輸入和輸出，h(xl)為恒等映射，F(xiàn)(xl,Wl)為殘差部分，一般由兩個或三個卷積操作構成，Wl為權值矩陣，f為激活函數(shù)。

這時殘差塊可以表示為：

通過遞歸，可以得到任意深層L與淺層l的關系表達式：

根據BP算法中使用的導數(shù)的鏈式法則，反向傳播的梯度可以表示為：

其中ε表示損失函數(shù)。在整個訓練過程中，由于不可能全為-1，因此這個公式保證了不會出現(xiàn)梯度消失的現(xiàn)象，殘差學習更容易。

1.2 改進ResNet-50網絡模型

目前常見的ResNet殘差網絡模型有ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152等，數(shù)字部分代表其包含多少層可訓練網絡層數(shù)。本文選擇ResNet-50網絡結構，并對其進行改進。傳統(tǒng)的ResNet-50網絡結構如圖2所示。

1.2.1 卷積核的替換

由圖2可以看出，在輸入圖片數(shù)據后，首先經過ResNet-50網絡結構中的卷積層，在傳統(tǒng)的ResNet-50網絡結構中其卷積核大小為7×7。一般情況下，7×7的卷積核被認定為較大的卷積核，目的是提取出輸入圖像更大鄰域范圍的信息。然而在玉米葉片病害圖像識別中，病害癥狀復雜多樣，且病害圖像中病害區(qū)域較小，玉米大斑病、灰斑病與銹病之間病害特征差異較不明顯。針對上述現(xiàn)象，需要對玉米葉片病害圖像提取更多細微特征，來實現(xiàn)更加精準的病害圖像分類效果。因此，在本文設計中，改進首層7×7卷積層，利用三個3×3卷積核的組合替換一個7×7卷積核。

圖2 ResNet-50網絡結構Fig.2 Structure of ResNet-50 network

在卷積神經網絡中，每一層輸出的特征元素在輸入圖像上映射的區(qū)域大小，稱為感受野（Receptive Field）。感受野的計算公式如下：

其中，RFl-1表示第l-1層對應的感受野大小，fl表示第l層的卷積核大小，為第1層到第l-1層步長的累乘。RF0代表輸入層對應的感受野大小，其值為1，本實驗中所有卷積核移動的步長均為1。

傳統(tǒng)ResNet-50網絡第一層經過7×7卷積層時，其感受野大小RF1根據式（6），可以表示為：

使用3×3卷積核連續(xù)卷積三次時，根據式（6），每層的感受野計算過程如下：

由此可知，改進ResNet-50中首層卷積層前后，保證了具有相同的感受野，說明多個小卷積核連續(xù)卷積和單個大卷積核卷積的作用相同。

此外，三個3×3堆疊卷積層相較于一個7×7卷積層，提升了網絡的深度，卷積層之間使用了更多非線性激活函數(shù)，導致網絡的非線性更高，增加了判別能力，在一定程度上提升了神經網絡的效果。同時，未改進的7×7卷積核具有7×7×1×channels=49×channels個參數(shù)，改進后的三個3×3卷積核參數(shù)個數(shù)為3×3×3×channels=27×channels，減少了約45%的參數(shù)，使計算量大大降低，從而提高了計算性能。

1.2.2 LeakyReLU激活函數(shù)

為了防止梯度消失，節(jié)省計算量，并有效緩解過擬合現(xiàn)象，傳統(tǒng)的ResNet-50結構中使用了ReLU激活函數(shù)。式（7）和圖3分別為ReLU激活函數(shù)的公式和圖像：

圖3 ReLU激活函數(shù)圖像Fig.3 Graph of ReLU activation function

由式（7）和圖3可以看出，只有當神經元的輸入為非負時ReLU函數(shù)才會起作用，而當神經元的輸入為負數(shù)時，計算的輸出全為0，這樣就導致負的梯度在ReLU函數(shù)被置0，而且這個神經元有可能再也不會被任何數(shù)據激活，這種現(xiàn)象稱為神經元的“壞死”。

為了解決這一問題，本文使用LeakyReLU[14]激活函數(shù)替代ReLU激活函數(shù)。LeakyReLU激活函數(shù)的公式和圖像分別如式（8）和圖4所示：

式（8）中的a為一個很小的常數(shù)。由圖4可見，LeakyReLU激活函數(shù)不僅在正半軸保留了ReLU函數(shù)的特點，而且當輸入小于0時，LeakyReLU激活函數(shù)可以保留負軸的值，使梯度正常傳播，從而避免了神經元處于“死亡”狀態(tài)。

圖4 LeakyReLU激活函數(shù)圖像Fig.4 Graph of LeakyReLU activation function

1.2.3 網絡結構的調整

當神經網絡層數(shù)較多時，網絡每更新一次，后面的層輸入數(shù)據的分布就會發(fā)生較大變化，這樣后層網絡需要不斷調整來適應輸入數(shù)據分布的變化，導致整個網絡的學習速率過慢。如果保證每層的輸入分布是穩(wěn)定的，那么會加快網絡的收斂速度。因此，批標準化（Batch Normalization，BN）的作用就是將輸入數(shù)據規(guī)范化為均值為0，方差為1的標準化變量，減少樣本分布的變化問題。批標準化實現(xiàn)公式如下：

其中，xi為批標準化層輸入數(shù)據，μ為平均值，σ2為方差，ε是一個極小值，避免因方差為0而產生計算錯誤。這一操作使得輸入特征分布具有相同的均值與方差，但由于歸一化后的xi被限制在了正態(tài)分布下，使得網絡的非線性表達能力下降，為此，批標準化又引入了兩個可學習的訓練參數(shù)γ和β，算法公式如下：

其中，yi為批標準化層輸出數(shù)據，γ是尺度因子，β是平移因子。這樣可以讓輸入能夠到達激活函數(shù)的非線性區(qū)域，使得網絡能夠學到更多的分布。當γ=σ，β=μ時，可以保留原始輸入特征的分布信息。

在批標準化過程中，由于使用mini-batch的均值與方差作為對整體訓練樣本均值與方差的估計，盡管每一個批次中的數(shù)據都是從總體樣本中抽樣得到，但不同mini-batch上的均值和方差有所不同，這就為網絡的學習過程增加了隨機噪音，在一定程度上起到了正則化的作用。此外，在訓練中，批標準化層會通過丟棄Dropout的方式來提升網絡的泛化能力，起到與Dropout一樣防止網絡過擬合的作用[15]。

傳統(tǒng)的殘差塊結構排列如圖5所示。

圖5 傳統(tǒng)殘差塊排列Fig.5 Arrangement of traditional residual block

由圖5可知，傳統(tǒng)殘差網絡是經過卷積層+批標準化+激活函數(shù)的排列順序。這樣由于輸入的圖像未進行歸一化處理，所以批標準化的存在并不能起到很大的作用。因此，本文對傳統(tǒng)的殘差網絡結構調整為批標準化+激活函數(shù)+卷積層的排列順序，這樣不僅可以很好地發(fā)揮出批標準化層的作用，還保留了傳統(tǒng)殘差塊結構中的恒等映射部分。本文中經過改進的ResNet-50殘差塊結構排列如圖6所示。

圖6 改進殘差塊排列Fig.6 Arrangement of improved residual block

1.3 遷移學習

近年來，遷移學習在機器學習領域取得了重大突破，且在深度學習中也發(fā)揮著良好的應用。遷移學習是一個把已經訓練好的模型參數(shù)遷移到新的模型中來幫助新模型訓練的過程，其目的是將源領域學習到的信息應用推廣到目標領域的學習過程中[16]。對于玉米葉片病害圖像來說，由于本實驗的訓練樣本和葉片種類都比較少，因此決定使用在ImageNet大規(guī)模數(shù)據集上對ResNet-50網絡進行訓練的權重，來提取圖像的初步特征，經過實驗證明遷移學習在小樣本數(shù)據下短時間內可以訓練出令人滿意的效果。

2 模型訓練

2.1 實驗環(huán)境

本實驗使用基于Python語言的Pytorch深度學習框架，硬件環(huán)境CPU為AMD Ryzen 7 4800H＠2.9 GHz，GPU為NVIDIA GeForce RTX 2060顯卡，操作系統(tǒng)為Windows10，Python版本為3.8.5，采用Jupyter notebook應用程序進行編譯，實驗結果曲線采用matplotlib模塊進行可視化。

2.2 實驗數(shù)據與預處理

本研究采用Plant Village數(shù)據集所收集到的2 000張玉米葉片圖像作為實驗數(shù)據，該數(shù)據集包含4類常見的玉米葉片圖像，其中的3類為病害圖像，1類為健康圖像。病害圖像分別為玉米大斑病、玉米灰斑病和玉米銹病。部分圖像如圖7所示。

圖7 部分樣本圖像Fig.7 Part of sample images

每幅圖像的像素大小為256×256，實驗中將圖像的尺寸縮放為ResNet-50神經網絡輸入的標準尺寸224×224像素，并且將訓練集和測試集的比例劃分為4∶1。此外，由于數(shù)據集的樣本較少，容易產生過擬合現(xiàn)象。因此，采用數(shù)據增強的方式對數(shù)據集進行擴充。本實驗采用隨機水平翻轉、隨機旋轉20°、隨機調整明暗度與對比度的方式對訓練集進行擴充，擴充后的圖像共6 800張。數(shù)據集分布如表1所示。

表1 數(shù)據集分布Table 1 Distribution of datasets

2.3 實驗超參數(shù)設置

在訓練過程中，尋找出最合適的超參數(shù)往往需要經過大量的實驗，不同的超參數(shù)對于實驗結果都會產生影響。因此，在經過多次實驗驗證，本實驗的超參數(shù)設置如下：batch-size設置為16。使用Adam優(yōu)化器來對模型進行優(yōu)化，因為其具有收斂速度快、易調參等優(yōu)點，學習率設置為0.000 1。損失函數(shù)為交叉熵損失函數(shù)CrossEntropyLoss。整個網絡訓練的epoch設為100。

2.4 模型評價指標

為了驗證本實驗所使用的網絡模型在玉米葉片圖像中識別的性能，需要將識別準確率P作為檢測結果的主要評價指標，其公式如下：

其中，T代表被正確分類的樣本數(shù)，F(xiàn)代表被錯誤分類的樣本數(shù)。

3 實驗結果與分析

利用4種玉米葉片圖像數(shù)據集，經過數(shù)據增強，在100個epoch后經過本文改進的ResNet-50模型中最高取得了98.3%的準確率。在訓練集和測試集上的損失函數(shù)和準確率的變化分別如圖8和圖9所示。

圖8 訓練集與測試集損失函數(shù)變化Fig.8 Changes in loss function of training set and test set

從圖8和圖9中可以看出，模型在經過大約50個epoch后已基本收斂。測試集僅在不到10個epoch就已經取得了超過90%的精度，并且取得了較低的損失值。接下來討論在是否數(shù)據增強、是否改進網絡以及不同網絡模型的條件下對實驗結果的影響。

圖9 訓練集與測試集準確率變化Fig.9 Changes in accuracy of training set and test set

3.1 數(shù)據增強對實驗結果的影響

未經過數(shù)據增強與經過數(shù)據增強的測試結果如表2所示。

表2 是否經過數(shù)據增強條件下實驗結果對比Table 2 Comparison of experimental results under data enhancement or not

使用數(shù)據增強的方式對訓練集進行擴充，將1 600張訓練集擴充4倍，得到6 400張訓練樣本，最后與未進行數(shù)據增強的實驗結果進行對比，從表2可以看出，不管是訓練集還是測試集，準確率都得到了提升。其中訓練集提升了0.2個百分點，測試集提升了2.0個百分點。同樣兩個數(shù)據集的損失值也在數(shù)據增強后趨于下降。此外，相較于數(shù)據增強后的實驗結果，未進行數(shù)據增強處理的訓練集與測試集準確率的差值要更大一些，說明在經過隨機水平翻轉、旋轉角度、調整明暗度與對比度等操作對原始數(shù)據進行增強后，增加了數(shù)據的多樣性，不但使模型的魯棒性與泛化能力得到了進一步的提升，而且改善了模型的過擬合。雖然經過數(shù)據增強后測試集準確率有所上升，但提升的效果有限，這說明模型在遷移學習中已獲得了在大規(guī)模數(shù)據集上的權重參數(shù)，得到了良好的特征信息獲取能力，數(shù)據增強的作用因此被弱化了[17]。

3.2 改進網絡對實驗結果的影響

為了進一步驗證本文中改進的模型相較于傳統(tǒng)模型的優(yōu)勢，做出多組對比實驗，實驗結果如表3所示。

表3給出了網絡在不同改進策略下對測試結果的影響。從表格中可以看出，利用三個3×3級聯(lián)卷積替代7×7卷積核，使用LeakyReLU激活函數(shù)替代ReLU，以及更改網絡結構這三種方法均能提升網絡的性能，而把這三種方法結合起來構建新的網絡，在測試集上取得了最高的精度和最低的損失，這也進一步驗證了本文所提網絡的可靠性。其中更改網絡結構方法提升的效果最為明顯，這是因為將批標準化和激活函數(shù)放在卷積層前，使輸入的圖片首先經過歸一化處理，發(fā)揮了批標準化層的作用，這樣加強了模型的正則化，降低過擬合的影響。此外，利用三個小卷積核替代一個大卷積核，也會在一定程度上降低網絡的參數(shù)量，更有效地提取圖像特征；使用LeakyReLU激活函數(shù)可以保留負區(qū)間的值，避免“壞死”現(xiàn)象，增強模型的魯棒性。實驗證明使用這兩種方法相較于傳統(tǒng)的ResNet-50模型，也提升了測試精度。

表3 網絡在不同改進策略下實驗結果對比Table 3 Comparison of experimental results of network under different improvement strategies

3.3 不同網絡模型對實驗結果的影響

在深度學習中，AlexNet、GoogleNet、Inception v3、VGG、ResNet等常被用作于遷移學習策略下的預訓練模型，均在不同領域的圖像識別中取得了較好的識別效果[18]。因此，本文在相同的實驗條件下，將這些模型作為本研究的對比模型，在不同網絡模型上的實驗結果如表4所示。

表4 不同網絡模型實驗結果對比Table 4 Comparison of experimental results of different network models

由表4可知，不同網絡模型的測試集準確率、訓練時間以及模型訓練參數(shù)都存在著差異。其中的AlexNet、GoogleNet、Inception v3、VGG16、VGG19模型在經過遷移學習加載預訓練模型參數(shù)后，分別取得了92.6%、92.5%、91.3%、93.8%和92.9%的準確率，說明遷移學習可以更好地提取玉米葉片特征，取得較高的準確率。本文又選用了幾個常見的ResNet模型進行對比實驗，由實驗結果可以看出，ResNet系列模型雖然比VGG系列模型訓練時間更短，訓練參數(shù)更少，但是VGG相較于ResNet的識別準確率卻沒有提升，這說明ResNet系列模型更適合于本文的研究。此外，ResNet-50模型在表4所列舉的傳統(tǒng)ResNet模型中取得了最高的準確率，甚至超過了訓練參數(shù)更多、層數(shù)更深的ResNet-101模型，證明了ResNet-50模型更有利于玉米葉片病害圖像的識別。S-ResNet模型是吳宇豪等[19]提出的一種改進ResNet-50模型，采用使用swish激活函數(shù)與SVM分類器的方法，實驗結果相較于傳統(tǒng)ResNet-50模型準確率有了提升，但是訓練時間略長。本文中改進的ResNet-50網絡模型在玉米葉片識別中取得了最高的準確率，并比其他實驗模型提升了至少2.4個百分點。雖然在訓練時間與模型參數(shù)中未取得最優(yōu)，但是其較好地平衡了模型的識別精度與復雜度，在模型參數(shù)相差無幾時取得了最短的訓練時間。上述結果表明本文提出的模型具有一定的可行性，可以在玉米葉片病害圖像識別中取得更好的效果。

4 結束語

為了進一步提升玉米葉片病害圖像識別的準確率，本文提出了一種改進傳統(tǒng)殘差網絡ResNet-50模型的方法。首先對傳統(tǒng)模型第一層卷積層中7×7卷積核替換為三個3×3的卷積核，減少了網絡參數(shù)，其次使用Leaky-ReLU激活函數(shù)來取代ReLU，解決了ReLU帶來的神經元“死亡”問題，最后調整了網絡結構，將批標準化層和激活函數(shù)放在了卷積層前，最大程度降低了過擬合。實驗結果表明，本文提出的網絡模型取得了98.3%的識別精度，相較于其他網絡模型獲得了更好的分類效果，具有更強的魯棒性，與傳統(tǒng)的ResNet-50網絡模型相比減少了訓練時間與訓練參數(shù)，驗證了本文算法的有效性，更適合用于玉米葉片病害圖像的識別研究。