基于注意力機制和殘差網絡的蘋果葉片病害分類

吳剛正, 蔡成崗, 朱瑞瑜

(浙江科技學院生物與化學工程學院/浙江省農產品化學與生物加工技術重點實驗室,浙江杭州 310023)

蘋果作為國內消費最廣泛的水果之一,在經濟發展和滿足人們的日常需求方面起著至關重要的作用。然而,面對復雜多變的自然環境,蘋果的生長過程會受到不同疾病的影響,這對蘋果的產量和質量造成極大影響。因此,高效識別蘋果病害是保證蘋果產量和質量的關鍵。快速準確地檢測蘋果病害,進而有效地控制病害,有助于合理利用如殺蟲劑、肥料等農業資源,達到促進蘋果生長的目的。目前,傳統的農作物病害識別方法主要依靠視覺識別,對于識別者的經驗有很高的要求。此外,人為識別時主觀因素也會影響識別的準確率,并且該方法也無法應用于量化疾病識別。由于蘋果病害癥狀復雜,評估錯誤會導致農藥的過度使用,不僅無法預防和控制疾病,還會引起環境問題。隨著計算機技術的快速發展,智能識別技術被廣泛應用于解決植物病害問題,而在過去幾年卷積神經網絡(CNN)相較于其他圖像識別技術具有更高的識別準確率[1-5]。

Bin等基于Kiwi-Inception和dense連接策略,提出了Kiwi ConvNet,該模型能夠提取3種葡萄葉片疾病的特征,準確率達到98.54%[6]。Zeng等提出了一種自關注卷積神經網絡,該網絡能更加有效地提取作物病害特征,識別準確率較現有方法提高了2.9%[7]。李淼等將批歸一化算法應用于卷積神經網絡CNN中的Alexnet和VGG(visual geometry group network)模型,改善網絡過擬合這一問題;再通過遷移學習的方法提高農作物病害的識別效率[8]。孫俊等將一種批歸一化與全局池化相結合的卷積神經網絡應用于 PlantVillage 中 26 種病害的識別檢測[9]。

而后,在卷積神經網絡中引入深度可分離卷積以及引入注意力模塊,均被證明可以提高模型的識別準確率[10-11]。Tang等以ShuffleNet為基礎網絡,添加注意力機制,對常見葡萄病害識別的準確率達到99.14%[12]。Zhu等通過引入CBAM(convolutional block attention module)提高了LAD模型對蘋果葉片病害識別的準確率,并將此模型應用于安卓系統[13]。Zhao等通過融合ResNet、FPN和CBAM,提出了一種新的Faster_R_CNN架構,識別草莓葉、花、果實不同部位病害的平均精度(mAP)為92.18%[14]。

蘋果葉片病害會直接影響和關聯蘋果果實病害的發生。本研究以蘋果葉片病害為研究對象,識別其染病程度有利于提前預警蘋果病害的發生和進展?？紤]到蘋果葉片病害在不同發病時期、不同病理和表面特征的較大差異,同時拍攝角度和光線的不同也會增加對葉片病害識別的難度,為解決這一問題,本研究選擇網絡深度較深的ResNet101作為骨干網絡模型,采用拆解大卷積層操作以減小模型參數,利用推遲下采樣進行特征信息的獲取以及添加注意力機制高效通道注意力(efficient channel attention module,ECA)模塊對特征通道進行權重的重新分配,以達到增強有效特征權重、削弱無效特征干擾,進而提高模型的抗干擾能力,以實現更加精準識別蘋果葉片病害的能力和效果。

1 試驗數據

1.1 數據集構建

本研究數據集來源分為3種:(1)來自于公開的PlantVilage數據集;(2)來自于CVRP2021植物病理學挑戰賽上的Plant-Pathology-2021-fgvc8數據集;(3)來自于線下拍攝采集,拍攝時間為2022年5月,拍攝地點為山東省煙臺市,在蘋果果園中采用1 920×1 080像素的高清數碼相機拍攝葉片,對存在病斑的葉片進行多角度的拍攝,從而收集蘋果葉片病害照片。將上述3個部分獲得的蘋果葉片病害圖像整合成蘋果葉片病害數據集,本研究構建的蘋果葉片病害數據集共含有健康蘋果葉片以及蘋果葉片4種病害圖像8 500幅。圖1為健康蘋果葉片以及4種蘋果病害葉片,每種病害圖像選取100幅用作測試集,剩余8 000幅圖像以8 ∶ 2的比例將上述數據集圖劃分為訓練集和驗證集。

1.2 數據增強

為增強卷積神經網絡模型的泛化性,避免過擬合,需要使用大量數據對模型進行訓練。因此對訓練集圖像采取隨機旋轉、翻轉、隨機色彩以及隨機亮度調整操作,對訓練集樣本進行擴充。經過擴充處理后的數據集各個類別的圖像數量見表1,數據增強示意見圖2。

表1 蘋果葉片病害圖像數量

2 蘋果葉片病害識別方法

2.1 構建蘋果葉片病害識別模型

2.1.1 選取基礎網絡模型 自2012年AlexNet奪得ImageNet競賽項目冠軍,奠定了卷積神經網絡在計算機視覺的地位后,卷積神經網絡受到了廣泛的關注,但其發展陷入了唯有通過加深網絡層數才能達到更好的識別效果的誤區。隨著研究的深入,只是普通的卷積層與池化層的堆疊,并未有預想的識別提升效果,一方面,梯度會隨著網絡深度的加深而減弱直至消失,進而引起梯度爆炸以及梯度彌散;另一方面,網絡結構的復雜度會隨著網絡深度的增加而增加,獲得的最優解通常為局部最優解而非全局最優解。而2015年獲得ImageNet競賽中分類任務第1名的ResNet網絡通過殘差塊結構(residual block)很好地解決了這一問題[14-15],ResNet的殘差結構塊見圖3。

該殘差結構塊以圖像特征矩陣的形式輸入,而后特征矩陣分為2個分支,其中1個分支經過多個卷積層運算產生特征矩陣作為輸出,與另1個稱為捷徑連接(shortcut connection)的分支傳輸的特征矩陣相加之后,得到新的輸出特征矩陣進行激活,進而得到H(x)這一輸出值[H(x)=F(x)+x],此時殘差F(x)=H(x)-x,公式為

F(x)=ω2σ(ω1x)。

(1)

式中:F(x)為殘差函數;σ為ReLU非線性激活函數;ω1ω2為權重。

殘差塊結構通過捷徑連接的方法將前層網絡輸出的特征矩陣作為輸入矩陣,直接與本層輸出的特征矩陣相加后傳入到后層,確保了梯度在反向傳播過程中不會因為多層網絡結構而削弱,解決了網絡深度增加會導致梯度消失這一問題,因此可以通過加深網絡深度以達到更好的分類效果。而本研究數據集較為復雜,ResNet101較ResNet18與ResNet50具有更多的殘差模塊,網絡結構更深,具有更好的特征識別能力,因此選擇ResNet101作為蘋果葉片病害識別的基礎網絡模型。

2.1.2 利用推遲下采樣提升特征信息提取 ResNet中的下采樣模塊如圖4-a所示,Path A通過一個步長為2的1×1卷積層實現通道的收縮以及下采樣,再經過一個步長為1的3×3卷積層,進行特征的提取,最后通過一個步長為1的1×1卷積層,完成通道數的擴張。其中第1個卷積用于下采樣,卷積核大小1×1,步長2的卷積會造成3/4的信息丟失,以圖4-b中6×6的特征圖為例,只有紅色部分的信息能夠傳遞到下一層,非紅色部分均不參與卷積運算。

由此可見,1×1的卷積層進行下采樣存在缺陷,提出圖5-a下采樣模塊結構,將下采樣的過程移至3×3的卷積層,在3×3卷積層進行下采樣操作,所得采樣特征見圖5-b,由于卷積核寬度大于步長,卷積核在移動過程中能夠遍歷輸入特征圖上的所有信息,還會有一部分重疊(紅色部分),有利于提高模型識別準確率。

2.1.3 通過拆解大卷積層降低模型復雜度 大卷積層可以由多個小卷積替代實現,這不僅能減少網絡參數,加快網絡運算速度,還能加深網絡深度,以便更好地提取特征信息。Szegedy等對GoogLeNet中的Inception1模塊做出改進,分別用3個和2個 3×3 卷積的級聯去替代 7×7 和 5×5 的卷積[16]。ResNet網絡的前2層結構與GoogLeNet相似,在輸入通道數為64、步幅為2的7×7卷積層后,接一個步幅為2的3×3的最大池化層,如圖6-a所示。改進后的模型由圖6-b所示,采用1個步幅為2的3×3的卷積層與2個步幅為1的3×3的卷積層替代原模型中7×7的卷積層,從而達到減少網絡參數,提升運算速度的目的。

2.1.4 添加ECA提升模型精度 近年來研究表明,卷積神經網絡可以通過添加注意力機制模塊達到提升網絡性能的目的。例如,SENet(squeeze-and-excitation networks)、BAM、GCNet、CBAM等注意力機制均可以對卷積神經網絡的性能有顯著的提升[17]。但是,大多數注意力機制通過增加注意力模塊的復雜度來提升模塊的性能,但這必然會增加模型的復雜性。而ECA在SENet模塊的基礎上提出一種不降維的局部跨信道交互策略,以及自適應選擇卷積核大小的方法,進而達到性能提升的目的。在蘋果葉片病害識別任務中,病害類別的判定對卷積特征的局部信息依賴性較強,因此可在殘差結構引入ECA通道注意力機制以提高識別準確率,通道注意力機制ECA示意見圖7。

ECA利用公式(2)矩陣Wk來進行通道注意力的學習:

(2)

Wk有k×C個參數,Wk避免了不同通道之間完全獨立,同時也兼顧了不同通道之間的相互作用。計算公式如下:

(3)

此外ECA模塊的方法還可以通過卷積核為k的一維卷積來實現通道之間的信息交互,如下所示:

ω=σ[C1Dk(y)]。

(4)

式中:C1D代表一維卷積;k代表涉及k個參數信息,當k=3時,ECA可以實現與SE-Var3同樣的效果但是網絡結果更加簡便。因此,這種跨通道捕捉信息的交互方法保證了模型的性能與效率。

2.1.5 模型整體架構 本研究所設計的網絡模型以ResNet101為基礎,結合推遲下采樣、拆分大卷積層以及ECA注意力機制構成。改進得到的注意力殘差網絡(P-D-ECA-ResNet101)將Conv1_x中的7×7大卷積層替換為3個3×3的卷積層,Conv2_x～ Conv5_x 的下采樣過程由1×1的卷積層推遲至3×3的卷積層,同時將ECA注意力機制模塊嵌入到Conv2_x～Conv5_x 的每個殘差模塊中,原網絡最后的Average pooling層與Softmax層保留。P-D-ECA-ResNet101模型的相關結構與參數見表2。

表2 P-D-ECA-ResNet101網絡模型參數

2.2 模型性能評估指標

模型使用精準度(precision,P)、召回率(recall,R)、F1分數(F1-score)以及測試集準確率(accuracy,Acc)作為評估指標對模型的性能進行檢驗。模型對樣本的分類能力通過精準率體現,模型尋找正樣本的能力由召回率體現。計算公式如下:

(5)

(6)

(7)

(8)

式中:TP表示被判定為正樣本,事實上也是正樣本;FP表示被判定為正樣本,但事實上是負樣本;TN表示被判定為負樣本,事實上也是負樣本;FN表示被判定為負樣本,但事實上是正樣本。

2.3 試驗環境與參數設置

本研究基于PyTorch這一深度學習框架,在Window10系統下進行模型的訓練與測試。CPU為Intel? Xeon?,2.20 GHz,內存為64 G,GPU為Tesla P100-PCLE,顯存為16 G。通過使用GPU提高網絡的訓練速度,CUDA版本為11.2。

試驗選擇隨機梯度下降法(stochastic gradient descent,SGD)作為優化器對卷積神經網絡進行優化,加快訓練過程。初始學習率設定為0.000 5,SGD動量參數設置為0.9,權值衰減參數設置為0.000 1.訓練時輸入的圖像統一調整為256×256像素,訓練總共進行50輪,batch_size設為32。

3 結果與分析

3.1 基礎模型的選擇

為了探索不同的卷積神經網絡對于識別蘋果葉片病害圖像的性能,以上述提到的數據集為基礎,選取AlexNet[18]、VGG[19]、GoogLeNet[20]、ResNet101[15]4種模型進行訓練,在迭代次數、學習率、優化算法、損失函數相同的情況下,4種訓練模型的測試集準確率、網絡參數量、每秒浮點運算次數(flops)見表3。各模型在測試集上的準確率均高于75%,表明各模型均可以實現蘋果葉片病害分類。Alexnet較其他3種網絡具有網絡參數量小的優勢,ResNet101準確率較AlexNet與GoogLeNet分別高了8.8、 11.0百分點,網絡參數量僅為VGG16的60.70%。

表3 4種網絡模型實驗結果

對測試集各類病害的識別準確率見表4,ResNet101對于4種常見的蘋果葉片病害分類準確率均高于92%,其中對蛙眼病的分類準確率達到97%,對4種疾病的分類準確率較其他3種模型更高。

表4 不同網絡模型對測試集各類病害識別的準確率對比

綜上所述,4種模型均能有效地識別蘋果葉片病害類型。其中,VGG16和ResNet101較其他2種模型具有更高的準確性,分別為91.20%、94.00%。而ResNet101較VGG16具有更小的網絡參數量,各病害種類均有更高的識別率。因此,選擇ResNet101網絡作為骨干網絡模型,在此網絡模型上進行改進。

3.2 本研究模型消融試驗結果

此部分對不同優化策略改進的ResNet101算法模型進行對比評估,以此檢驗優化策略的有效性。不同優化策略下的ResNet101網絡在驗證集上的準確率、損失值變化曲線見圖8。ResNet101網絡模型大概在20個迭代次數后收斂,最終在驗證集上的準確率達到93.9%。而本研究改進后的最終模型P-D-ECA-ResNet101模型損失值下降最快,大約在迭代10個周期后就達到了較低的損失值(0.08),在驗證集上的最終準確率較ResNet101模型也提升了近5%。

表5對比了ResNet101與本研究提出的P-D-ECA-ResNet101模型。P-D-ECA-ResNet101模型在提高分類準確率的同時避免了flops和模型占用內存容量的增加。原因有以下2點:(1)將7×7的大卷積層拆解為3個3×3的卷積層,避免了網絡參數增加的同時加深網絡深度。(2)采取避免降維以及適當跨通道交互的ECA注意力機制,可以在顯著降低復雜性的同時增加網絡性能。

表5 模型準確率、參數量和模型占用內存對比

本研究構建的P-D-ECA-ResNet101具有更高的識別準確率,能夠更快地進行收斂,同時避免了網絡參數量的增加。主要原因有:(1)將ResNet101中的下采樣過程由1×1的卷積層移至 3×3 的卷積層,原本于1×1的卷積層進行下采樣會導致特征圖上的信息缺失,而在3×3的卷積層進行采樣,卷積核移動過程中可以遍歷特征圖,從而獲得更豐富的特征信息,提高模型的分類準確率。(2)將7×7的卷積層拆解為3個3×3的卷積層,顯著減少了網絡參數量。(3)ECA注意力模塊通過削弱無關信息權重,增強有效特征信息的權重,進而提升網絡模型的表達能力和分類能力。

3.3 改進模型的混淆矩陣

使用已經訓練好的P-D-ECA-ResNet101模型對測試集的圖片進行識別,得到的混淆矩陣見圖9。

由圖9可知,蘋果白化病識別成蘋果蛙眼病與健康蘋果葉片的情況發生較多,同時蘋果黑星病也發生了被識別成蘋果蛙眼病與蘋果白化病的情況,原因主要是不同的蘋果葉片病害在不同的時期會具有一定的相似性,同時不同的拍攝角度也會導致模型出現識別錯誤。由表6可知,改進后P-D-E-ResNet101模型識別準確率達到96.20%,對測試集中4種蘋果葉片病害的識別準確率均達到90%以上,同時召回率也均高于90%,表明該改進模型可以有效地識別常見的4類蘋果葉片病害。

表6 模型性能評價結果

3.4 特征圖可視化分析

特征圖可視化分析可以更直觀地展示網絡模型的識別機制,對本研究網絡模型Conv2_x層的輸出特征進行可視化分析,分析結果見圖10,在特征圖中病斑區域呈現為深色,病斑區域較正常葉片區域呈現高亮信息,表明本研究構建的P-D-ECA-ResNet101模型可以有效地忽略圖像中的無效背景信息,使得模型能夠聚焦于輪廓內的特征,進而達到高效提取病斑區域特征的目的,并以此作為識別特征,使模型獲得更高的識別準確率。而健康蘋果葉片因無病斑區域,特征圖上無病斑特征信息,則以其葉片輪廓信息作為分類依據。試驗結果表明,本研究構建的P-D-ECA-ResNet101模型可以有效識別蘋果葉片輪廓,聚焦蘋果葉片病斑,提取病斑區域特征,從而更準確地識別蘋果葉片病害。

4 討論與結論

蘋果葉片病害發生和預防的研究具有重要的意義,卷積神經網絡技術具有識別常見蘋果葉片病害的應用潛力,但由于蘋果葉片病害在田間環境下會因為尺寸和光線等差異造成干擾,基于不同卷積神經網絡建模的識別技術和方法具有提升識別能力和預防蘋果病害的效果。本研究基于以上問題開展研究并得出如下結論:(1)采用AlexNet、VGG16、GoogleNet、ResNet101對本研究構建的蘋果葉片病害數據集進行病害識別試驗,結果表明,ResNet101與VGG16在本研究數據集上表現出色,2個模型的平均識別準確率均高于90%,其中ResNet101的識別準確率達到94.00%,因此本研究以ResNet101為骨干網絡模型進行后續研究。(2)以ResNet101為骨干網絡模型,采取推遲下采樣增加模型的特征提取能力,通過拆解大卷積層加快網絡的運算速度,并在每個殘差模塊中添加了ECA注意力模塊,構建了P-D-E-ResNet101改進模型。結果表明,改進模型對4種蘋果葉片病害的識別準確率達到96.20%,相對于原ResNet101網絡模型準確率提升了2.20百分點,并且模型占用內存容量與ResNet101僅相差0.1 MB。而后通過特征圖可視化分析,表明該模型可以有效地識別蘋果葉片病害區域特征。因此,本研究提出的P-D-ECA-ResNet101在蘋果葉片病害識別任務中表現優異,在控制模型占用內存容量的前提下,有效提升了模型的識別準確率,顯示了該模型在解決蘋果葉片病害識別問題上具有一定的優越性。