基于注意力機(jī)制和多尺度殘差網(wǎng)絡(luò)的農(nóng)作物病害識(shí)別

黃林生 羅耀武, 楊小冬 楊貴軍 王道勇

(1.安徽大學(xué)農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用技術(shù)國(guó)家地方聯(lián)合工程研究中心， 合肥 230601；2.北京農(nóng)業(yè)信息技術(shù)研究中心農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)遙感機(jī)理與定量遙感重點(diǎn)實(shí)驗(yàn)室， 北京 100097；3.浙江大學(xué)華南工業(yè)技術(shù)研究院， 廣州 510535)

0 引言

準(zhǔn)確地識(shí)別農(nóng)作物病害種類是農(nóng)作物病害治理的基礎(chǔ)。傳統(tǒng)農(nóng)作物病害識(shí)別主要依靠病害專家肉眼識(shí)別，這種方法不但耗費(fèi)大量人力，而且時(shí)效性無法得到保障，很可能會(huì)導(dǎo)致錯(cuò)過農(nóng)作物病害最佳治理時(shí)間而造成損失。隨著計(jì)算機(jī)技術(shù)及其硬件的發(fā)展，越來越多的智能識(shí)別技術(shù)應(yīng)用到農(nóng)業(yè)病害識(shí)別領(lǐng)域[1]。

傳統(tǒng)圖像識(shí)別技術(shù)需要對(duì)病害圖像進(jìn)行預(yù)處理，提取病斑中一些人工設(shè)計(jì)的特征，將這些特征傳入合適的分類器中，實(shí)現(xiàn)病害分類識(shí)別[2-6]。此類研究均為傳統(tǒng)識(shí)別技術(shù)在病害識(shí)別領(lǐng)域的應(yīng)用，病害特征通過手工設(shè)計(jì)，需要花費(fèi)許多時(shí)間和精力，通常只能用來處理簡(jiǎn)單背景的病害數(shù)據(jù)，泛化能力較差。

隨著人工智能技術(shù)的進(jìn)一步發(fā)展，深度學(xué)習(xí)被廣泛應(yīng)用于各行各業(yè)，基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別技術(shù)相較于傳統(tǒng)圖像識(shí)別在模型識(shí)別精度方面得到了很大的提升。文獻(xiàn)[7-14]利用深度學(xué)習(xí)方法對(duì)農(nóng)作物病害進(jìn)行了識(shí)別，取得了較好的效果。

但是考慮到農(nóng)作物病害在不同時(shí)期不同環(huán)境下具有不同的表征，病斑的尺寸與稀疏程度各不相同，并且在田間進(jìn)行病害識(shí)別時(shí)，復(fù)雜的環(huán)境信息會(huì)產(chǎn)生許多噪聲對(duì)病害識(shí)別造成干擾。因此上述研究仍然具有提取的病害特征尺度單一、抗噪聲能力不足等問題。

針對(duì)上述問題，本文選擇ResNet18[15]作為基礎(chǔ)模型，將Inception模塊[16]與模型進(jìn)行結(jié)合，利用其多尺度卷積核來提取病害特征，解決病害特征尺度單一、信息豐富度不足的問題。嵌入注意力機(jī)制SE-Net對(duì)特征通道進(jìn)行權(quán)重分配，增強(qiáng)有效特征，減弱干擾特征，提高模型的抗噪聲能力。

1 試驗(yàn)數(shù)據(jù)

1.1 圖像數(shù)據(jù)采集

本文所用的農(nóng)作物病害數(shù)據(jù)有2個(gè)來源：①來自于農(nóng)技云軟件系統(tǒng)平臺(tái)，包含水稻紋枯病、水稻細(xì)菌性條銹病(細(xì)條病)、玉米灰斑病、玉米葉枯病、玉米銹病等2類作物的5種病害圖像共1 342幅。此部分病害圖像為農(nóng)戶在田間拍攝采集上傳到系統(tǒng)平臺(tái)。因其在真實(shí)環(huán)境下采集，含有不同的拍攝背景、光照條件、拍攝角度的圖像，更加符合模型的實(shí)際應(yīng)用場(chǎng)景。②在蘋果果園中拍攝收集，對(duì)準(zhǔn)發(fā)病的單葉或者多片葉進(jìn)行多角度拍攝，收集蘋果銹病、蘋果黑星病、蘋果健康葉片共863幅。將2部分病害數(shù)據(jù)合成1個(gè)農(nóng)作物病害數(shù)據(jù)集，含有3類作物8種病害圖像，共計(jì)2 205幅。8種病害圖像示例如圖1所示。

1.2 數(shù)據(jù)增強(qiáng)

為了適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)所需要的大量數(shù)據(jù)，將收集的農(nóng)作物病害數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，增加數(shù)據(jù)量，豐富數(shù)據(jù)的多樣性，以防止模型過擬合。主要采取多角度旋轉(zhuǎn)、錯(cuò)切變換、隨機(jī)縮放、隨機(jī)翻轉(zhuǎn)、亮度調(diào)整等數(shù)據(jù)增強(qiáng)方式，將原始農(nóng)作物病害數(shù)據(jù)擴(kuò)充為原來的6倍，共13 230幅病害圖像。按照4∶1的比例分為訓(xùn)練集和驗(yàn)證集。表1給出了每個(gè)類別病害的圖像數(shù)量。

表1 農(nóng)作物病害數(shù)據(jù)集統(tǒng)計(jì)Tab.1 Crop diseasedata set statistics

2 農(nóng)作物病害識(shí)別模型

2.1 基礎(chǔ)網(wǎng)絡(luò)選取

卷積神經(jīng)網(wǎng)絡(luò)[17-18]已被廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)等領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)發(fā)展前期，研究人員認(rèn)為隨著網(wǎng)絡(luò)層數(shù)的增加，模型的識(shí)別效果會(huì)隨之增加，然而經(jīng)過一系列實(shí)驗(yàn)后表明，網(wǎng)絡(luò)增加到一定層數(shù)，模型的分類效果不會(huì)更好，反而會(huì)變差。一方面，網(wǎng)絡(luò)越深變化量越小，梯度逐漸消失，簡(jiǎn)單的增加網(wǎng)絡(luò)深度會(huì)導(dǎo)致梯度彌散或梯度爆炸；另一方面，因?yàn)殡S著層數(shù)的增加，網(wǎng)絡(luò)的空間變得更加復(fù)雜，使用隨機(jī)梯度下降算法通常只能獲得局部最優(yōu)解而無法獲得全局最優(yōu)解。為解決此問題提出了殘差網(wǎng)絡(luò)。殘差網(wǎng)絡(luò)核心在于ResNet殘差塊結(jié)構(gòu)，如圖2所示。

ResNet殘差塊使用了一種稱為“shortcut connection(捷徑連接)”的連接方式，將輸入x與經(jīng)過堆疊的權(quán)重層得到的F(x)進(jìn)行跨層連接，得到輸出H(x)=F(x)+x。此時(shí)F(x)=H(x)-x即為殘差，公式為

F=W2σ(W1x)

(1)

式中F——?dú)埐詈瘮?shù)

σ——ReLU非線性激活函數(shù)

W1、W2——權(quán)重

以恒等映射[19]角度來看，若殘差連接同等維度映射，F(xiàn)(x)與x相加即為逐元素進(jìn)行相加。如果兩者維度不同，那么需要對(duì)輸入x進(jìn)行線性映射來匹配維度，公式為

(2)

式中y——?dú)埐顗K輸出結(jié)果

Wi——權(quán)重層

Ws——線性映射函數(shù)

殘差結(jié)構(gòu)的設(shè)計(jì)借鑒了高速網(wǎng)絡(luò)Highway Network[20]的跨層連接思想，并在其基礎(chǔ)上進(jìn)行了適當(dāng)改進(jìn)。Highway Network的殘差項(xiàng)帶有權(quán)值，而ResNet殘差塊直接用恒等映射進(jìn)行替代。通過捷徑連接將前面層的輸出直接作為輸入傳入到后面層的結(jié)果中，進(jìn)行了跨層連接。在經(jīng)過跨層連接操作后，變?yōu)閷?duì)殘差F(x)=H(x)-x進(jìn)行學(xué)習(xí)與優(yōu)化，這樣梯度不會(huì)隨著網(wǎng)絡(luò)深度的增加而消失，在反向傳播過程中始終保持一個(gè)較大的值，便于優(yōu)化，從而達(dá)到更好的分類效果。而ResNet18網(wǎng)絡(luò)相較于ResNet50網(wǎng)絡(luò)擁有較少的參數(shù)，考慮模型的性能，選擇參數(shù)較少的ResNet18作為模型的基礎(chǔ)網(wǎng)絡(luò)。

2.2 Inception模塊

Inception模塊最大的特點(diǎn)在于將神經(jīng)網(wǎng)絡(luò)層與層之間的卷積運(yùn)算進(jìn)行了拓展。采用不同尺寸的卷積核，使得卷積網(wǎng)絡(luò)在進(jìn)行特征提取過程中獲得不同的感受野。不同尺寸的卷積核同時(shí)提取了多種局部特征，最后拼接不同感受野下所提取到的特征，達(dá)到不同尺度特征的融合，獲得更豐富的特征信息，提高模型的識(shí)別性能。Inception模塊結(jié)構(gòu)如圖3所示。特征圖由輸入層進(jìn)入模塊，分別送入1×1卷積、3×3卷積與1×1卷積的串聯(lián)、5×5卷積與1×1卷積的串聯(lián)、1×1卷積與3×3最大池化層的串聯(lián)。最終通過在信道維度拼接4部分提取的特征，得到多尺度特征圖。

單一尺度的卷積核感受野是固定的，提取特征信息有限。而農(nóng)作物病害在不同時(shí)期不同環(huán)境下，發(fā)病區(qū)域與病斑尺寸不同，使用Inception模塊進(jìn)行特征提取豐富了模型的感受野，增強(qiáng)了特征通道的豐富性，有利于識(shí)別不同尺寸的病斑。可以獲得更好的識(shí)別效果，提高識(shí)別準(zhǔn)確率。

2.3 注意力機(jī)制

由于本文所使用的數(shù)據(jù)為田間環(huán)境下農(nóng)作物病害數(shù)據(jù)，包含了環(huán)境因素的干擾，在識(shí)別過程中會(huì)伴隨許多噪聲信息。這些噪聲信息也會(huì)在網(wǎng)絡(luò)模型的學(xué)習(xí)過程中傳遞，隨著網(wǎng)絡(luò)層數(shù)的增加，噪聲信息在特征圖的權(quán)重也在不斷增加，最終對(duì)模型產(chǎn)生一定的負(fù)面影響[21]。因此，為模型引入注意力機(jī)制[22]。注意力機(jī)制可以調(diào)整每個(gè)通道的權(quán)重，幫助模型捕獲到對(duì)識(shí)別任務(wù)更有幫助的語義信息，增強(qiáng)有用信息，抑制噪聲等干擾元素的權(quán)重，減弱其對(duì)模型識(shí)別的負(fù)面影響，增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的表達(dá)能力，最終達(dá)到提高模型識(shí)別性能的目的[23]。

注意力機(jī)制的單元結(jié)構(gòu)如圖4所示。主要包含Squeeze和Excitation 2部分。假定輸入注意力模塊的特征圖尺寸為W×H，通道數(shù)為C，在經(jīng)過注意力機(jī)制后，得到的仍然是通道數(shù)為C，尺寸為W×H的特征圖，只改變了特征圖之間的權(quán)重比，使具有更多有用信息的特征圖權(quán)重變得更大。

首先進(jìn)行Squeeze操作。想要調(diào)整通道之間的權(quán)重關(guān)系，需要對(duì)所有通道中的信息進(jìn)行壓縮，使用全局平均池化算法，將W×H×C的輸入轉(zhuǎn)變?yōu)?×1×C的輸出，表示這一層C個(gè)特征圖的全局信息，公式為

(3)

式中zc——輸出特征圖

Fsq()——Squeeze操作函數(shù)

uc——輸入特征圖

W、H——特征圖的寬和高

(i,j)——特征圖上的坐標(biāo)位置

s=Fex(zc,Wi)=δ(W2σ(W1zc))

(4)

式中s——通道間權(quán)重調(diào)整的參數(shù)

Fex()——Excitation操作函數(shù)

σ——ReLU激活函數(shù)

δ——Sigmoid函數(shù)

最后對(duì)特征圖進(jìn)行重標(biāo)定。在得到通道間的權(quán)重調(diào)整參數(shù)后，將其與原特征圖相乘，獲得通道權(quán)重調(diào)整后的特征圖。公式為

(5)

Fscale()——特征圖進(jìn)行重標(biāo)定操作

sc——第C個(gè)特征圖的權(quán)重參數(shù)

將注意力單元嵌入ResNet18網(wǎng)絡(luò)中的每一殘差塊中，改進(jìn)后的殘差模塊結(jié)構(gòu)如圖5所示。

2.4 模型整體架構(gòu)

所設(shè)計(jì)的深度學(xué)習(xí)網(wǎng)絡(luò)模型以ResNet18為基礎(chǔ)，結(jié)合多尺度結(jié)構(gòu)和注意力機(jī)制構(gòu)成。改進(jìn)得到的多尺度注意力殘差網(wǎng)絡(luò)模型(Multi-Scale-SE-ResNet18)整體結(jié)構(gòu)如圖6所示。

將Conv_1的7×7卷積替換為Inception模塊，在Conv2_x～Conv5_x的每個(gè)殘差模塊中都嵌入注意力機(jī)制。保留原網(wǎng)絡(luò)中最后的全局平均池化層和Softmax層。模型相關(guān)參數(shù)如表2所示。

表2 基于注意力機(jī)制的多尺度殘差模型參數(shù)Tab.2 Parameters of multi-scale residual model based on attention mechanism

2.5 模型評(píng)價(jià)指標(biāo)

對(duì)于分類模型，準(zhǔn)確率(Accuracy)常被用來評(píng)估分類網(wǎng)絡(luò)的性能，但是當(dāng)正負(fù)樣本比例不均衡時(shí)，占比大的類別會(huì)對(duì)準(zhǔn)確率產(chǎn)生更大的影響。故結(jié)合精確率(Precision)、召回率(Recall)和綜合評(píng)價(jià)指標(biāo)F-度量(F-measure)共同作為模型的評(píng)價(jià)指標(biāo)。

模型的參數(shù)量以及模型占用內(nèi)存大小也是模型性能相關(guān)的重要參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)越來越多地被用于移動(dòng)端設(shè)備中，過大的模型與過多的參數(shù)量會(huì)占用大量的運(yùn)行以及存儲(chǔ)資源。如何平衡模型的復(fù)雜度與識(shí)別準(zhǔn)確率是一個(gè)需要解決的問題。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 模型性能分析

實(shí)驗(yàn)在Windows 10系統(tǒng)中進(jìn)行，CPU為AMD Ryzen7 4800H，配置6 GB顯存NVIDIA GeForce RTX 2060顯卡進(jìn)行加速。

考慮模型訓(xùn)練效果以及實(shí)驗(yàn)條件，設(shè)置batch_size為16，即每次16個(gè)樣本數(shù)據(jù)進(jìn)入模型訓(xùn)練。epochs設(shè)置為60。選擇Adam梯度下降優(yōu)化算法。在將圖像送入卷積神經(jīng)網(wǎng)絡(luò)模型之前，將圖像進(jìn)行歸一化處理。

為了驗(yàn)證所提出的基于注意力機(jī)制的多尺度殘差網(wǎng)絡(luò)模型的有效性，將此模型與常用的圖像分類模型Xception、VGG16、ResNet50、InceptionV3以及原ResNet18模型進(jìn)行對(duì)比實(shí)驗(yàn)。在構(gòu)建的農(nóng)作物病害數(shù)據(jù)集上進(jìn)行訓(xùn)練，保證每個(gè)模型在相同條件下完成訓(xùn)練，直至最終收斂。在訓(xùn)練過程中，每訓(xùn)練一個(gè)epochs，驗(yàn)證集會(huì)對(duì)模型進(jìn)行一次精度驗(yàn)證，記錄并輸出模型在這一輪數(shù)中的分類準(zhǔn)確率。另外，模型在引入多尺度信息融合和注意力機(jī)制后，模型的識(shí)別準(zhǔn)確率有了較大提高，但是模型參數(shù)的增長(zhǎng)較小，進(jìn)一步體現(xiàn)了模型優(yōu)異的性能。表3列出了不同模型的準(zhǔn)確率、參數(shù)量以及模型占用內(nèi)存容量。

表3 模型準(zhǔn)確率、參數(shù)量和模型占用內(nèi)存對(duì)比Tab.3 Comparison of model accuracy, number of

為方便觀察分析，最終生成各個(gè)模型在所構(gòu)建的農(nóng)作物病害數(shù)據(jù)集上的準(zhǔn)確率變化曲線，如圖7所示。

由圖7可以直觀看出各個(gè)分類模型的準(zhǔn)確率整體都呈現(xiàn)上升趨勢(shì)，模型在訓(xùn)練過程中不斷提取病害特征進(jìn)行學(xué)習(xí)，提升分類能力。本文構(gòu)建的多尺度注意力殘差模型的準(zhǔn)確率更高，分類效果更好。主要原因有：①將ResNet18網(wǎng)絡(luò)第1層的7×7大卷積替換為了Inception結(jié)構(gòu)模塊，原本7×7的大尺寸卷積更偏向提取邊緣輪廓等粗粒度特征，而Inception模塊擁有的不同尺寸卷積核同時(shí)對(duì)圖像進(jìn)行特征提取，改善網(wǎng)絡(luò)模型對(duì)不同尺度病斑特征的提取，以獲取更豐富的特征信息，提升了分類準(zhǔn)確率。②注意力機(jī)制增強(qiáng)了有用特征信息的權(quán)重，減弱了與分類特征無關(guān)信息的權(quán)重，提升了網(wǎng)絡(luò)模型的表達(dá)能力，減小了噪聲等干擾因素對(duì)模型識(shí)別性能的影響，從而提高模型分類能力。

由表3可以看出，所構(gòu)建的Multi-Scale-SE-ResNet18網(wǎng)絡(luò)模型在獲得準(zhǔn)確率95.62%的同時(shí)只占用44.2 MB的內(nèi)存。參數(shù)量比準(zhǔn)確率較高的Xception模型減少了43.7%，模型占用內(nèi)存容量減少了44.7%。相對(duì)于原ResNet18模型，準(zhǔn)確率提高了10.92個(gè)百分點(diǎn)，而參數(shù)量?jī)H增加了4.7%，模型占用內(nèi)存容量?jī)H增加3.2%。模型在空間上的額外開銷甚少，但換來了模型識(shí)別準(zhǔn)確率的顯著提升，體現(xiàn)了改進(jìn)后的Multi-Scale-SE-ResNet18模型的性能與價(jià)值。其余對(duì)比模型在準(zhǔn)確率、參數(shù)量、模型占用內(nèi)存容量指標(biāo)上的表現(xiàn)均不及本網(wǎng)絡(luò)模型。

Multi-Scale-SE-ResNet18模型在獲得較高準(zhǔn)確率的基礎(chǔ)上，參數(shù)量和模型占用內(nèi)存容量的增長(zhǎng)較少，在可以接受的范圍。在獲得更高準(zhǔn)確率的同時(shí)兼顧了模型的精簡(jiǎn)，為后期模型嵌入資源有限的移動(dòng)設(shè)備提供了可能。

3.2 模型的混淆矩陣

選取未經(jīng)訓(xùn)練的8類病害圖像各40幅，使用已經(jīng)訓(xùn)練好的Multi-Scale-SE-ResNet18模型進(jìn)行識(shí)別，得到農(nóng)作物病害識(shí)別的混淆矩陣如圖8所示。

由混淆矩陣可以清晰看到水稻紋枯病和玉米葉枯病之間有互相識(shí)別錯(cuò)誤的情況，玉米銹病也發(fā)生了被識(shí)別為蘋果銹病的情況，因?yàn)椴煌『Φ牟“咴诓煌瑫r(shí)期不同角度具有一定的相似性，因此存在識(shí)別錯(cuò)誤的情況。模型對(duì)8種病害的平均識(shí)別準(zhǔn)確率為95.31%。通過混淆矩陣計(jì)算出8種病害的精確率(Precision)、召回率(Recall)和綜合評(píng)價(jià)指標(biāo)F-度量(F-measure)作為模型的性能評(píng)價(jià)指標(biāo)，如表4所示。計(jì)算可以得到模型的平均精確率為95.36%，平均查全率為95.31%，平均F-度量為95.33%，表明模型具有較好的識(shí)別準(zhǔn)確率。

表4 模型性能評(píng)價(jià)結(jié)果Tab.4 Model performance evaluation %

3.3 模型特征提取可視化

卷積神經(jīng)網(wǎng)絡(luò)模型的可視化可以幫助直觀地理解分類模型。通過模型中間層輸出特征的可視化，可以知道模型的每一層學(xué)習(xí)到的特征。根據(jù)可視化特征圖，可以進(jìn)一步調(diào)整模型參數(shù)，提升模型準(zhǔn)確率。

圖9為模型訓(xùn)練完成后，各層的輸出特征圖的提取效果。可以看到，卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)具有層次性，通過Conv1_x的輸出特征圖可以看到，淺層通常是邊緣過濾器的集合，呈現(xiàn)一些邊緣、顏色等混合信息，幾乎保留了原始圖像中的所有信息。由Conv2_x與Conv3_x的輸出特征圖可以看到，隨著卷積層深度的增加，視覺內(nèi)容相關(guān)信息越來越少，更多地呈現(xiàn)病害圖像的紋理等特征信息。在更深層處，Conv4_x與Conv5_x卷積層輸出的特征圖越來越抽象，最終留下的特征都代表了不同病害類別相關(guān)特征信息，用來做模型最終的分類。根據(jù)中間層特征輸出可視化可以看出，所改進(jìn)的多尺度注意力機(jī)制殘差模型可以很好地提取農(nóng)作物病害特征，用來對(duì)不同種類的農(nóng)作物病害進(jìn)行分類識(shí)別。

4 結(jié)論

(1)為了建立可以精準(zhǔn)識(shí)別農(nóng)作物病害的網(wǎng)絡(luò)模型，針對(duì)農(nóng)作物病害尺寸差異以及環(huán)境因素干擾等問題，在ResNet18的殘差網(wǎng)絡(luò)基礎(chǔ)上，加入了Inception模塊，使模型可以做到多尺度特征提取，并且在每一個(gè)殘差模塊中添加了注意力單元，使模型更加關(guān)注對(duì)病害分類識(shí)別有用的信息而減弱無用信息的干擾。

(2)改進(jìn)后的Multi-Scale-SE-ResNet18模型最終對(duì)8種農(nóng)作物病害的識(shí)別準(zhǔn)確率達(dá)到95.62%，并且模型占用內(nèi)存容量?jī)H44.2 MB。相對(duì)于原ResNet18模型，準(zhǔn)確率提高了10.92個(gè)百分點(diǎn)，而參數(shù)量?jī)H增加了4.7%,模型占用內(nèi)存容量?jī)H增加3.2%。該模型在田間農(nóng)作物病害識(shí)別任務(wù)中具有優(yōu)異的表現(xiàn)，并且在控制模型占用內(nèi)存容量的前提下，明顯提升了模型的識(shí)別準(zhǔn)確率，較好地平衡了模型復(fù)雜度與識(shí)別精度。充分表明了所構(gòu)建的Multi-Scale-SE-ResNet18模型在解決田間農(nóng)作物病害識(shí)別問題中的優(yōu)越性。