基于多特征融合的殘差網絡果樹葉片病害識別

朱帥 王金聰 任洪娥 陶銳

摘 要：為分析果樹在種植過程中病害的程度和種類，本文提出一種基于改進深度殘差網絡的果樹葉片病害圖像識別方法。該網絡模型在傳統殘差神經網絡的基礎上，通過多尺寸的卷積核代替骨干網絡中的7×7卷積核，既增加了網絡的寬度，也增加了網絡對尺度的適應性。帶泄露修正線性單元（Leaky ReLU）激活函數用于替換修正線性單元（Recitified Linear Unit， ReLU）激活函數，該函數以ReLU函數為基礎，在函數的負半軸上引入一個非零斜率（Leaky），解決了ReLU函數引起的神經元死亡現象。在平均池化層和全連接層之間加入Dropout（按照一定的概率將神經網絡單元暫時從網絡中丟棄）操作，合理設置閾值，可以有效地防止卷積神經網絡的過擬合。最后，引入SE注意力機制進一步提高網絡模型的識別精度。在公共數據集Plant Village（植物村）的實驗表明，改進的深度殘差網絡模型能夠很好地識別果樹葉片病害，平均準確率可達到99.4%。

關鍵詞：果樹葉片;病害識別;深度殘差網絡;注意力機制;深度學習

中圖分類號：S783.7??? 文獻標識碼：A?? 文章編號：1006-8023（2022）01-0108-07

Fruit Tree Leaf Disease Recognition Based on Residual Network

and Multi Feature Fusion

ZHU Shuai1， WANG Jincong2，3， REN Hong’e1，3*， TAO Rui1，4

（1. College of Information and Computer Engineering， Northeast Forestry University， Harbin 150040， China;

2.College of Mechanical and Electrical Engineering， Northeast Forestry University， Harbin 150040， China;

3.Heilongjiang Forestry Intelligent Equipment Engineering Research Center， Harbin 150040， China;

4.Hulunbuir University， Hulunbuir 021008， China）

Abstract：In order to analyze the extent and types of diseases in fruit trees during planting， this paper proposes an image recognition method of fruit tree leaf diseases based on improved deep residual network. Based on the traditional residual neural network， this network model replaces the 7×7 convolution kernel in the backbone network with a multi-size convolution kernel， which not only increases the width of the network， but also increases the adaptability of the network to scale. The Leaky ReLU activation function is used to replace the Recitified Linear Unit （ReLU） activation function. This function is based on the ReLU function and introduces a non-zero slope on the negative half axis of the function （Leaky）， solved the neuron death phenomenon caused by the ReLU function. Adding Dropout （temporarily discarding the neural network unit from the network according to a certain probability） operation between the average pooling layer and the fully connected layer， and setting the threshold reasonably can effectively prevent the over-fitting of the convolutional neural network. Finally， the SE attention mechanism is introduced to further improve the recognition accuracy of the network model. Experiments in the public data set Plant Village show that the improved deep residual network model can identify fruit tree leaf diseases well， with an average accuracy rate of 99.4%.

Keywords：Fruit tree leaves; disease recognition; deep residual network; attention mechanism; deep learning

0 引言

果樹病害是造成現代農林業減產的主要原因，嚴重的病害會給果樹種植者帶來巨大的經濟損失。在果樹的種植過程中，病害問題是不可避免的，病害的程度和種類在不斷增加，嚴重制約了果實的質量和產量[1-2]。我國果樹的種植相對分散，相關從業人員知識水平參差不齊，極大制約著果樹病害的防治[3-4]。因此，能夠有效識別果樹葉片病害的類別，及時進行相應的病害處理具有重要意義。

傳統的果樹病害鑒定是由經驗豐富的專家進行診斷的，這種方法效率低，工作難度大，不能對疾病進行科學準確的實時診斷，而機器視覺技術可以實現對疾病的快速準確診斷[5-7]。卷積神經網絡（Convolution Neural Networks，CNN）作為深度學習的重要組成部分，它憑借特征提取的巨大優勢受到廣泛關注[8-10]。

朱良寬等[11]提出一種融合了深度卷積生成式對抗網絡（DCGAN）和遷移學習（TL）的新型卷積神經網絡葉片識別方法，該方法可以獲得96.57%的植物葉片識別精度;孫穎異等[12]構建了一種基于殘差連接的AlexNet卷積神經網絡，對卷積層的輸入數據進行批歸一化，并且利用2種不同的全局池化算法，實驗驗證殘差連接的AlexNet卷積神經網絡能夠進行高效識別;孫俊等[13]采用批歸一化和全局均值池化對AlexNet模型進行改進，并將改進后的模型在Plant village（植物村）數據集上訓練，準確率有所提升的同時減少了模型參數;劉陽等[14]從網絡規模小型化和計算過程輕量化需求的角度出發，對經典輕量級卷積神經網絡（SqueezeNet）提出改進措施，并運用遷移學習和隨機梯度下降算法進行訓練，平均準確率達到98.13%; Tuncer[15]提出了一種基于Inception架構和深度可分離卷積的新混合CNN方法，模型可達99%的平均準確率;黃建平等[16]提出一種基于神經結構搜索的植物葉片圖像病害識別方法，訓練樣本數據，模型識別準確率達到99.01%。

基于以上分析，本文提出一種基于改進殘差網絡模型的果樹葉片病害識別方法。

1 研究技術與模型架構

1.1 傳統殘差網絡

隨著網絡結構的增加，傳統的卷積神經網絡會導致梯度的消失或退化，并且由于果樹葉片病害數據集樣本數的限制，在網絡的訓練過程中容易產生過擬合現象。在殘差神經網絡中，通過引入殘差塊結構可以更容易地優化網絡模型，并且由于殘差塊中的映射操作相同，使得網絡模型可以在不發生梯度消失和過擬合的情況下加深網絡深度[17-19]。殘差網絡的標準框架如圖1所示。

1.2 改進卷積核

在識別葉片病害圖像時，由于采集的公共數據集背景單一，葉片病害圖像較為突出居中，而識別病害的關鍵點在于葉片中的病斑部分，在訓練過程中由于傳統殘差網絡圖像輸入時，初始卷積核尺寸和步長過大，卷積網絡會丟失部分病害細節信息。為了盡量減少訓練中的損失信息，適應多種果樹葉片和病斑的大小，保留更多的疾病細節，需要重新設計步長和卷積核大小，用多種不同尺度的卷積核代替骨干網中的7×7卷積核，以捕捉更多的空間語義，增加了網絡對尺度的適應性。同時，多個卷積核使用多個激活函數，提高了網絡的非線性表達能力。因此，利用1×1、3×3、5×5的卷積通過deep concat（深度鏈接）合成特征，獲得非線性屬性，替換ResNet（Residual Neural Network）中的7×7卷積核，改進卷積核結構如圖2所示。

1.3 優化激活函數

與經典的Sigmoid函數和Tanh函數相比，修正線性單元函數（Recitified Linear Unit， ReLU）解決了其致命缺陷：梯度彌散問題。函數在正無窮遠處的梯度是一個常數，而不是像前2個函數一樣為0。此外，由于其簡單的函數組成，ReLU比包含指數函數的Sigmoid和Tanh要快得多。但缺點很明顯：當輸入信號為負時，函數不會啟動，即其工作范圍僅為0到正無窮大，且ReLU函數（公式中用ReLU表示）的輸出不以0為中心，函數為公式（1）。

ReLU（x）=0，x≤0x，x>0 。 （1）

當x>0時，ReLU函數的梯度始終為1，這樣梯度就不會衰減，從而緩解了梯度彌散的問題。然而，當x<0時，輸入數據的特征點無法完全獲得，影響了輸出數據的準確性。

Leaky ReLU激活函數是ReLU函數的一個變體。在ReLU函數的基礎上，在函數的負半軸上引入Leaky（一個非零斜率），解決了ReLU函數（公式中用ReLUleaky表示）引起的神經元死亡現象。函數為公式（2）。

ReLUleaky（x）=ax，x≤0x，x>0。? （2）

式中：a為超參數值，且a>0。

該函數在x>0區域的圖像和ReLU函數相似，從而保留了ReLU函數緩解梯度消失的優點。在函數的負半軸區間內，函數的輸出值會對輸入值產生一個很小的梯度值，因此函數的負半軸導數總是不為0，解決了ReLU函數神經元死亡的現象。

1.4 添加Dropout層

在訓練神經網絡時，經常遇到過擬合問題。過擬合主要體現在以下幾個方面：模型在訓練數據中的損失函數小，預測精度高;但在試驗數據上，損失函數較大，預測精度較低。通過在平均池化層和全連接層之間加入Dropout操作，合理設置閾值，可以有效地防止卷積神經網絡的過擬合。添加Dropout層結構如圖3所示。

1.5 添加SE注意力模塊

引入注意機制進一步提取鑒別特征，并在改進的網絡中采用SE（Squeeze and Exclusion）算法，通過精確建模卷積特征各通道之間的交互關系，提高網絡模型的表達能力。網絡模型校正特征的機制使得網絡能夠基于全局信息選擇性地增強有價值的特征通道，抑制無用的特征通道。SE注意力模塊如圖4所示。

SE block的過程分為2個步驟：Squeeze（壓縮） 和 Excitation（激發）。

壓縮（Squeeze）：通過對特征映射層進行全局平均池化，得到當前特征映射的全局壓縮特征量。激發（Excitation）：通過兩層全連接的瓶頸結構獲得特征圖中每個通道的權重，并將加權后的特征圖作為下一層網絡的輸入。引入注意力機制模型結構如圖5所示。

2 實驗結果與分析

2.1 實驗數據

本次實驗數據集來自公開的Plant Village數據庫，提取了蘋果、櫻桃、葡萄、桃子全部葉片病害圖像，其中，蘋果包括1個健康類別，3個病害類別;櫻桃包括1個健康類別，1個病害類別;葡萄包括1個健康類別，3個病害類別;桃子包括1個健康類別，1個病害類別。圖像共計11 796幅。原始圖片像素大小為256×256，為了滿足卷積神經網絡對輸入圖像尺寸的要求，在進行卷積神經網絡模型試驗時，將葉片病害圖片像素尺寸縮放到224×224，各類別隨機選取90%的葉片病害圖片作為訓練集，其余10%的圖片作為測試集。每個病害類別包含的圖片類型如圖6所示。果樹葉片病害圖片各類別數目見表1。

2.2 實驗參數與評價標準

在模型訓練過程中，采用SGD網絡訓練優化器，初始學習率為0.001，權重衰減為0.005，學習率下降策略采用階梯式下降，訓練周期是100次，在梯度下降過程中，每批次訓練的圖片樣本個數為16，Dropout系數設置為0.5。實驗中以準確率（Accuracy）、精確率（Precision）、召回率（Recall）作為實驗結果的評價標準。平均準確率定義為被測試集中正確分類的疾病圖像數量與疾病圖像總數的比值，準確率越高，模型的性能在一定程度上越好。精確率是所有預測為該類的樣本里面，實際確實為該類的樣本所占的比例。召回率是所有實際為該類的樣本里面，預測為該類的樣本所占的比例。

2.3 消融實驗

為了提高果樹葉片病害識別的性能，選擇Res Net101網絡結構，利用更深層次的網絡結構獲取更多的圖像信息。本文采用殘差網絡ResNet和改進的ResNet對果樹葉片病害圖像進行識別。圖7為在100個訓練批次（epoch）后，各果樹病害葉片的準確率。表2為各果樹的準確率，表3為本文模型精確率和召回率。

從圖7和表2可以看出，傳統殘差網絡相比其他方法具有更深層的網絡結構，能夠更多地訓練果樹葉片病害圖片中的有效信息，從而獲得更高的準確率，可達到98.2%～99.2%。

在傳統殘差網絡模型的基礎上，用多種不同尺度的卷積核代替骨干網中的7×7卷積核，同時，利用Leaky ReLU激活函數，解決ReLU函數引起的神經元死亡現象，最后，在平均池化層和全連接層之間加入Dropout操作，防止卷積神經網絡的過擬合，得到結構改進后的殘差網絡。實驗結果表明，結構改進后的殘差網絡，能夠捕捉更多的果樹葉片病害圖像信息，獲得更多的病害特征細節，有效防止網絡的過擬合化，準確率達到98.6%～99.6%，比傳統殘差網絡準確率高出0.1%～0.4%，從而證明改進結構后殘差網絡的有效性更好。

傳統殘差網絡單獨引入注意力機制后，準確率為98.7%～99.5%，比傳統殘差網絡準確率提升了0.3%～0.5%。

在改進結構的殘差網絡模型的基礎上，引入注意力機制，通過校正特征的能力使得網絡能夠基于全局信息選擇性地增強有價值的特征通道，抑制無用的特征通道，進一步增強網絡模型的訓練能力。引入注意力機制后結構改進的殘差網絡模型準確率進一步提高，達到99.0%～99.8%，比傳統殘差網絡準確率高出0.6%～0.8%。同時驗證了結構改進和引入注意力機制的消融性。

2.4 本文模型與現行方法對比

為驗證本文模型的優越性，將本實驗模型數據與文獻[14]、文獻[15]、文獻[16]中的實驗結果相對比，以上文獻中的實驗數據圖來自Plant Village數據庫。表4為實驗結果對比。

從表4可以得出，本文提出的ResNet+結構改進+注意力機制模型比文獻[14]、文獻[15]、文獻[16]中的卷積網絡模型平均準確率提高了0.4%～1.3%。

本文在傳統的殘差網絡模型基礎上，進行結構的改進，增強對不同果樹病害葉片的特征提取的豐富度，緩解網絡訓練中出現的過擬合問題，通過引入注意力機制模塊，進一步增強模型整體提取葉片病害部分的能力，證明了本文實驗模型的優越性。

3 結論與討論

本文針對果樹葉片病害識別問題，提出了一種基于改進深度殘差神經網絡的果樹葉片病害圖像識別方法，對傳統殘差網絡模型進行改進。該模型在傳統殘差神經網絡的基礎上，將主干網絡中7×7的卷積核替換為小卷積核，可以獲得與較大的卷積核相同的感受野，并捕獲更多的空間語義，減少了網絡的參數。利用Leaky ReLU激活函數替換ReLU函數，該函數基于ReLU的基礎上在函數負半軸引入Leaky值用于解決ReLU函數引起的神經元死亡現象。在平均池化層和全連接層之間添加Dropout操作，并且合理設置閾值能夠有效地防止卷積神經網絡出現過擬合的情況。最后引入SE注意力機制，進一步提高識別準確率。實驗結果表明，本文提出的果樹葉片病害識別模型，平均準確率達到99.4%，能夠更好地解決果樹葉片病害識別的問題。

【參 考 文 獻】

[1]滿中合.果樹病害發生特點及綜合防治策略探究[J].農業開發與裝備，2021，27（5）：72-73.

MAN Z H. Study on occurrence characteristics and comprehensive control strategies of fruit tree diseases[J]. Agricultural Development & Equipments， 2021， 27（5）： 72-73.

[2]金瑛，葉颯，李洪磊.基于ResNet-50深度卷積網絡的果樹病害智能診斷模型研究[J].農業圖書情報學報，2021，33（4）：58-67.

JIN Y， YE S， LI H L. The intelligent diagnosis model of fruit tree disease based on ResNet-50[J]. Journal of Library and Information Science in Agriculture， 2021， 33（4）： 58-67.

[3]SCHIEFER F， KATTENBORN T， FRICK A， et al. Mapping forest tree species in high resolution UAV-based RGB-imagery by means of convolutional neural networks[J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 170： 205-215.

[4]ISLAM M， DINH A， WAHID K， et al. Detection of potato diseases using image segmentation and multiclass support vector machine[C]//2017 IEEE 30th Canadian Conference on Electrical and Computer Engineering （CCECE）. April 30-May 3， 2017， Windsor， ON， Canada. IEEE， 2017： 1-4.

[5]YANG X，NI H M，LI J K，et al.Leaf recognition using BP-RBF hybrid neural network[J].Journal of Forestry Research，2021：1-11.

[6]HAN W， FENG R Y， WANG L Z， et al. Adaptive spatial-scale-aware deep convolutional neural network for high-resolution remote sensing imagery scene classification[C]//IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium. July 22-27， 2018， Valencia， Spain. IEEE， 2018： 4736-4739.

[7]ZHANG X X， GUO Y， ZHANG X. High-resolution remote sensing image scene classification by merging multilevel features of convolutional neural networks[J]. Journal of the Indian Society of Remote Sensing， 2021， 49（6）： 1379-1391.

[8]THECKEDATH D， SEDAMKAR R R. Detecting affect states using VGG16， ResNet50 and SE-ResNet50 networks[J]. SN Computer Science， 2020， 1（2）： 1-7.

[9]趙鵬超，戚大偉.基于卷積神經網絡和樹葉紋理的樹種識別研究[J].森林工程，2018，34（1）：56-59.

ZHAO P C， QI D W. Study on tree species identification based on convolution neural network and leaf texture image[J]. Forest Engineering， 2018， 34（1）： 56-59.

[10]汪泉，宋文龍，張怡卓，等.基于改進VGG16網絡的機載高光譜針葉樹種分類研究[J].森林工程，2021，37（3）：79-87.

WANG Q， SONG W L， ZHANG Y Z， et al. Study on hyperspectral conifer species classification based on improved VGG16 network[J]. Forest Engineering， 2021， 37（3）： 79-87.

[11]朱良寬，晏銘，黃建平.一種新型卷積神經網絡植物葉片識別方法[J].東北林業大學學報，2020，48（4）：50-53.

ZHU L K， YAN M， HUANG J P. Plant leaf recognition method with new convolution neural network[J]. Journal of Northeast Forestry University， 2020， 48（4）： 50-53.

[12]孫穎異，李健，時天，等.基于改進的AlexNet卷積神經網絡的植物葉片識別[J].種子，2020，39（2）：77-81.

SUN Y Y， LI J， SHI T， et al. Plant leaf recognition based on modified AlexNet convolutional neural network[J]. Seed， 2020， 39（2）： 77-81.

[13]孫俊，譚文軍，毛罕平，等.基于改進卷積神經網絡的多種植物葉片病害識別[J].農業工程學報，2017，33（19）：209-215.

SUN J， TAN W J， MAO H P， et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（19）： 209-215.

[14]劉陽，高國琴.采用改進的SqueezeNet模型識別多類葉片病害[J].農業工程學報，2021，37（2）：187-195.

LIU Y， GAO G Q. Identification of multiple leaf diseases using improved SqueezeNet model[J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（2）： 187-195.

[15]TUNCER A. Cost-optimized hybrid convolutional neural networks for detection of plant leaf diseases[J]. Journal of Ambient Intelligence and Humanized Computing， 2021， 12（8）： 8625-8636.

[16]黃建平，陳鏡旭，李克新，等.基于神經結構搜索的多種植物葉片病害識別[J].農業工程學報，2020，36（16）：166-173.

HUANG J P， CHEN J X， LI K X， et al. Identification of multiple plant leaf diseases using neural architecture search[J]. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（16）： 166-173.

[17]李曉振，徐巖，吳作宏，等.基于注意力神經網絡的番茄葉部病害識別系統[J].江蘇農業學報，2020，36（3）：561-568.

LI X Z， XU Y， WU Z H， et al. Recognition system of tomato leaf disease based on attentional neural network[J]. Jiangsu Journal of Agricultural Sciences， 2020， 36（3）： 561-568.

[18]馬永杰，程時升，馬蕓婷，等.多尺度特征融合與極限學習機結合的交通標志識別[J].液晶與顯示，2020，35（6）：572-582.

MA Y J， CHENG S S， MA Y T， et al. Traffic sign recognition based on multi-scale feature fusion and extreme learning machine[J]. Chinese Journal of Liquid Crystals and Displays， 2020， 35（6）： 572-582.

[19]劉飛，高紅艷，衛澤剛，等.基于Res-Net深度特征的SAR圖像目標識別方法[J].液晶與顯示，2021，36（4）：624-631.

LIU F， GAO H Y， WEI Z G， et al. SAR image target recognition method using based on Res-Net deep features[J]. Chinese Journal of Liquid Crystals and Displays， 2021， 36（4）： 624-631.