雙分支網絡的蘋果葉部病害識別

陸仲達，張春達，張佳奇，王子菲，許軍華

1.齊齊哈爾大學 機電工程學院，黑龍江 齊齊哈爾161000

2.齊齊哈爾大學 計算機與控制工程學院，黑龍江 齊齊哈爾161000

植物病害是危害世界農業發展的主要因素，每年都會造成嚴重的經濟損失，隨著機器學習技術的發展，植物病害識別受到了越來越多學者的關注。目前植物病害識別已經成為模式識別以及現代化農業發展的重要研究領域。早期的植物病害識別是人工從圖片中提取病變區域，根據分割出的植物病斑，采用均值聚類（-means clustering algorithm）、人工神經網絡（artificial neural network，ANN）以及支持向量機（support vector machine，SVM）的方法進行病害診斷。但是由于植物病斑的復雜性，提取出有效的病斑特征也并不容易。即使提取到有效的病斑特征進行診斷，也會因方法本身而出現識別率低、泛化能力弱的缺點。2012 年AlexNet 的提出使深度卷積神經網絡（convolutional neural network，CNN）更加廣泛地應用于圖像識別領域，在其基礎上VGG-16、GooLeNet、ResNet 等更多優良的模型被提出。張建華等人采用遷移學習的方式對VGG-16 進行調整，實現了對油茶的病害識別。胡志偉等人提出注意力機制和殘差相結合的ARNet 實現了對番茄的病害識別。王昌龍等人提出病斑灰度圖和LBP（local binary pattern）特征圖相結合的雙通道卷積神經網絡實現了對南瓜的病害識別。上述方法對植物病害識別均取得了較好的效果，但對于復雜背景環境和病斑相似性引起的類內、類間差距仍有進一步研究的空間。

為了更好地解決此問題，本文在雙線性卷積神經網絡B-CNN（bilinear CNN）基礎上，提出了一種新型蘋果葉部病害識別方法DBNet（dual branch network），用于識別蘋果葉部5 種較為常見、發病率較高的花葉病、銹病、灰斑病、斑點落葉病和褐斑病。DBNet 包含多尺度聯合分支（multi-scale branch，MS）以及多維度注意力分支（multi-dimensional attention branch，DA）。多尺度聯合分支（MS）通過對Inception結構進行改進，從而提取不同感受野的圖像特征，并通過跨層連接從而融合不同層級的特征信息。多維度注意力分支（DA）是在SENet的基礎上，提出的一種新型注意力機制，該機制能夠提取3個不同維度的注意力特征。然后DBNet 將兩個分支的多尺度特征和多維度特征進行融合，并在西北農林大學發布的蘋果葉部病害數據集上取得了較高的識別精度。

1 雙分支網絡的蘋果葉部病害識別方法

由于復雜背景和病斑相似性的影響，給蘋果葉部病害識別造成了較大困難，本文提出了一種新型雙分支網絡的蘋果葉部病害識別方法（DBNet）。接下來對DBNet 網絡結構、多尺度聯合分支（MS）的模型構建、多維度注意力分支（DA）的原理進行詳細研究。

1.1 DBNet網絡結構

蘋果葉部病害識別是對同一基礎類別進行更加細致的子類劃分。受病斑相似性影響子類與子類之間的類間差距細微，并且受復雜背景環境的影響，導致子類的類內差距較大。如圖1 可知，銹病、灰斑病和斑點落葉病的病斑間顏色、紋理相似，導致類間差距較小，并由于不同的拍攝條件以及背景的復雜性，同種子類間會受到單張葉片和一簇葉片的影響，導致類內差距較大。使卷積神經網絡在識別過程中有較大概率出現誤判的情況。

圖1 蘋果葉部病害圖像Fig.1 Leaf disease diagram of apple

B-CNN 主要用于細粒度圖像分類任務，與傳統的卷積神經網絡相比，其特殊之處在于該架構采用分流結構，具有兩個分支，每個分支采用基礎卷積神經網絡作為特征提取器，兩分支為對稱結構或不對稱結構均可。特征提取結束后，采用雙線性池化操作實現特征融合。B-CNN 采用雙分支的結構能夠提取到更多物體特征和局部特征，但并未考慮到注意力機制以及多尺度信息對網絡性能的影響。本文在B-CNN 的基礎上，提出了一種新型雙分支卷積神經網絡模型（DBNet）。DBNet 網絡設計的出發點是緩解復雜背景環境和病斑相似性對病害識別造成的不良影響，因此設計了雙分支結構，且各分支的權值不共享。其網絡結構的關鍵在于采用雙分支網絡提取更多有效的病斑的特征，且由于各分支網絡結構不同，提取到的特征也不盡相同。多尺度聯合分支（MS）采用標準卷積與空洞卷積等不同卷積核并行的方式獲得不同的感受野，從而既可以提取全局的整體信息，又可以提取局部的細節信息。多維度注意力分支（DA）采用標準卷積和注意力機制相結合的方式，在病害識別時，使網絡更加關注圖像的病斑區域，關注病害之間存在的微小差異，從而提升網絡識別的準確率。DBNet 網絡結構如圖2 所示，其中?表示Concat 連接，?表示“*”，⊕表示“+”，FC 表示全連接層，Softmax 表示一種激活函數。

圖2 DBNet網絡結構圖Fig.2 DBNet network structure

DBNet網絡結構可以分為三部分，多尺度聯合分支（MS）、多維度注意力分支（DA）以及最后的特征融合部分。輸入一張尺寸為3×224×224 的病害圖像，該圖像分別通過MS 分支和DA 分支提取特征。兩分支均采用VGG-16 作為基礎網絡，并根據兩分支在DBNet 中的不同功能，對VGG-16 網絡進行調整。MS 分支通過不同尺寸的卷積核來獲取不同感受野下的圖像特征，并將提取到的特征進行聚合，同時通過跨層連接與淺層網絡的低等級圖像信息連接，獲取多級特征，從而達到多尺度信息融合的目的。DA分支是通過在通道、寬、高三個維度的注意力機制，將空間注意力和通道注意力相結合，對特征圖每個位置進行三維的注意力調整，使卷積神經網絡能夠更好地關注到圖像的顯著性病斑區域。最后，MS 分支和DA 分支提取到的特征經過全局平均池化，在減少模型參數的同時，采用Concat 方式進行特征融合，最終采用Softmax 函數實現蘋果葉部病害識別。

1.2 多尺度聯合分支（MS）

由于植物不同病害的病斑圖像會有所差異，例如蘋果葉部的花葉病、褐斑病與銹病、灰斑病、斑點落葉病有所區別，前兩者的病斑區域遍布整張葉片，而后三者的病斑區域只占據葉片中的一小部分。并且由于單張葉片和一簇葉片等復雜背景的影響，對同種類病害圖像識別也會造成較大困難。僅在一個卷積分支下來獲取多尺度物體的特征并不是最優的方法。因此構建MS 分支最主要的目的是通過使用不同尺寸的卷積核，獲取不同的感受野，當圖像中病斑信息分布比較分散時，大核卷積能夠獲得更多的全局特征，而病斑信息分布比較集中時，小核卷積能夠獲得更多的局部特征。MS 分支模塊結構如圖3 所示，表示通道數，表示寬度，表示高度，表示空洞率，?表示Concat連接，⊕表示“+”。MS 分支可以分為多尺寸卷積和跨層連接兩部分。多尺寸卷積部分由6 個不同大小的卷積核組成，分別由1×1 和3×3 卷積，空洞率為2、3 的空洞卷積以及1×3、3×1不對稱卷積組成。

圖3 MS 分支結構圖Fig.3 MS branch structure

其中，空洞卷積是在標準卷積基礎上添加了一個空洞率的超參，在實現時可采用數字0 對卷積核進行填充。如圖4（a）所示：3×3 的標準卷積空洞率為1，感受野為3×3；空洞率為2 的卷積是在3×3 標準卷積中用一個0 進行填充，感受野為5×5；空洞率為3 的卷積是在3×3 標準卷積中用兩個0 進行填充，感受野為7×7。深度卷積神經網絡中通常會采用下采樣的方式增加感受野，但會降低圖像分辨率，造成空間細節信息的丟失。而空洞卷積通過設置空洞率來擴大感受野，并且設置不同的空洞率還能夠捕獲多尺度的上下文信息。由圖4（a）可知，空洞率為2、3 的空洞卷積在不增加額外參數的基礎上，將3×3 卷積的感受野擴大為5×5 和7×7，捕獲了圖像的多尺度信息。

標準的×卷積可以分解成為兩個1×和×1 不對稱卷積，×標準卷積計算量為×，分解為不對稱卷積后計算量變為2×。不對稱卷積1×3 和3×1 最初是為了減少計算量而設計，但會存在少量的精度損失，于是將3×3 卷積與1×3、3×1 卷積的結果相加，在原來3×3 卷積的基礎上，又額外學習了水平核和垂直核，如圖4（b）所示。其核心思想是采用3 個并行層，將輸入特征與標準卷積和兩個不對稱卷積進行運算，再利用卷積的可加性，將不對稱卷積等效地融合到標準卷積中，可以將3 個卷積核視為一個增強的卷積核，即通過不對稱卷積增強標準卷積的核骨架。

圖4 空洞卷積和非對稱卷積Fig.4 Dilated convolution and asymmetric convolutions

多尺寸卷積部分的具體操作如下所示：

式中，表示不同類型卷積操作；表示輸入；sum 表示加和操作；?表示Concat連接。

MS 分支的輸入圖像尺寸為××，通道數為，通過6 種不同大小的卷積核生成4 組特征圖，考慮到計算量以及多尺度信息冗余的影響，將每種卷積核的數量設置為/4，然后經過Concat 連接，將4 組通道數為/4 的特征圖聚合，得到特征圖的通道數為，與原輸入尺寸相同。

跨層連接是將卷積神經網絡低層和高層的信息相結合，既保留了低等級的紋理信息，也提升了卷積神經網絡高等級的語義信息。如圖5 所示，跨層連接將卷積神經網絡上層輸出的特征圖與卷積神經網絡下層輸出的特征圖連接，通道數會變為原來的2 倍，并將此特征圖做為下一層的輸入。

圖5 跨層連接Fig.5 Skip connections

1.3 多維度注意力分支（DA）

與傳統圖像分類相比，部分植物不同種類病害之間的差距僅包含在微小的局部細節當中，同時又受到背景和病斑形狀的影響，使識別難度增強。MS分支通過多尺度信息的融合，能夠處理復雜背景、病斑分布不均等產生的類內差距，對于部分病斑之間微小的類間差距，作用效果并不明顯，而且在下采樣的過程中還會造成重要的局部信息丟失。本文在SENet 的基礎上，提出了一種新型注意力機制——多維度注意力，并通過多維度注意力機制構建了多維度注意力分支（DA）。DA 分支采用注意力機制來對圖像中病斑區域進行定位，從而得到更多有效的病斑特征，也可緩解因圖像尺寸改變帶來的不利影響。多維度注意力模塊結構如圖6 所示。其中，表示通道數，表示高度，表示寬度，1×1 conv 表示1×1 卷積，Softmax()表示對某一維度進行Softmax 激活操作，?表示“*”，⊕表示“+”。

圖6 DA 分支注意力模塊結構圖Fig.6 DA branch attention module structure

DA 分支模塊輸入尺寸為××的特征圖，經過1×1 卷積后，分別在通道、高度、寬度3 個維度進行Softmax 操作，如式（2）所示，x表示不同狀態下輸入，表示卷積操作，Softmax()表示對某一維度進行Softmax 運算：

在經過Softmax 運算后分別乘以一個維度比重系數，該系數表示各自維度所占的比重，從而得到各維度注意力所占總體的比重。式（3）中A表示不同維度注意力，sum 表示加和操作：

然后，將不同維度注意力相加，與輸入圖像相乘，獲得注意力特征，最終與輸入圖像累加得到更顯著的圖像特征：

DA 分支注意力模塊原理如圖7 所示。其中，輸入矩陣(××)大小為2×3×4，各元素值為：

圖7 多維度注意力原理圖Fig.7 Diagram of multi-dimensional attention

空間注意力是將特征圖在(,)兩個維度的每個位置進行調整，通道注意力是對通道維度進行調整。多維度注意力模塊則是將卷積神經網絡中特征圖視為一個三維矩陣，且各位置元素間相互獨立。通過對Softmax 函數分別計算3 個維度、、的注意力矩陣，但由于3 個維度、、尺寸并不相同，使得各維度所占總體的比重也并不相同，并且隨著卷積神經網絡層數的不斷加深，3 個維度、、還會變化，因此還需乘以一個維度比重系數如式（3）所示。在淺層卷積神經網絡中，由于圖像的寬度、高度較大，通道數較少，寬、高兩個維度起主要作用。隨著卷積神經網絡下采樣的進行，通道數不斷增多，寬度、高度不斷減小，因此在深層卷積神經網絡中通道維度起主要作用。因此，DA 分支的注意力機制還能夠隨著網絡層數的不斷加深，而改變各維度注意力所占比重。

2 實驗結果及分析

2.1 實驗準備

實驗采用西北農林大學開源的蘋果葉部病害數據集如圖1 所示，數據集采用BM-500GE 彩色相機，在室外環境和實驗室環境進行拍攝，共26 377 張圖片，其中花葉病4 875 張、褐斑病5 655 張、銹病5 694張、灰斑病4 810 張、斑點落葉病5 343 張。將數據集的70%作為訓練，30%作為測試，訓練集與測試集之比為7∶3，并保持訓練集與測試集數據分布相同，具體數據分布如表1 所示，訓練集18 462 張圖片，驗證集7 915 張圖片。實驗環境具體配置如表2 所示，采用32 GB 顯存NVIDIA Tesla V100 顯卡，深度學習框架采用PaddlePaddle 1.8.4 版本。

表1 數據分布表Table 1 Data distribution

表2 實驗環境配置表Table 2 Experiment environment

實驗參數設置如表3 所示。輸入圖像尺寸為224×224，采用GPU 加快神經網絡訓練速度，選擇自適應矩估計算法（adaptive moment estimation，Adam）作為模型參數優化器（optimizer），學習率（learningrate）為0.001，損失函數采用交叉熵損失（cross entropy loss），神經網絡每批次（batchsize）訓練60 張圖片，訓練周期（epoch)為30 輪。

表3 實驗參數表Table 3 Experiment parameters

2.2 實驗結果及分析

為驗證所提DBNet 方法的有效性，將此方法與常用的卷積神經網絡模型AlexNet、VGG-16、ResNet-50、B-CNN 進行對比分析。在蘋果葉部病害數據集上，對每個模型從頭開始訓練，直至模型收斂，并保證每個模型的訓練條件相同。模型訓練過程中，訓練集每完成一次訓練迭代，對驗證集進行一次測試，能夠更直觀地顯示模型在訓練過程中的性能的變化。圖8 表示不同網絡模型在蘋果葉部病害數據集上損失函數及準確率的變化情況。其中Loss 表示損失函數，Epoch 表示訓練周期，Accuracy（acc）代表準確率。

圖8 不同網絡模型訓練結果Fig.8 Results of different network models

由圖8 可知，DBNet、AlexNet、VGG-16、ResNet-50、B-CNN 在30 輪訓練周期內，模型均達到收斂。雖然DBNet 模型相較于其他模型具有更多的注意力模塊以及多尺度部分，但并沒有影響到模型損失函數的下降速度和收斂速度。通過訓練集和驗證集的訓練結果可知，在蘋果葉部病害數據中，DBNet 并沒有因自身模型結構產生嚴重的過擬合現象。

DBNet、AlexNet、VGG-16、ResNet-50、B-CNN 網絡模型準確率如表4 所示。本文提出的DBNet 在蘋果葉部病害數據集上取得了最高97.662%的識別精度，與AlexNet、VGG-16、ResNet-50、B-CNN 相比識別精度分別提升了0.107 64、0.054 07、0.046 49、0.031 2。驗證了DBNet 方法在蘋果葉部病害識別方面的有效性。

表4 網絡模型準確率Table 4 Accuracy of network models

圖9 表示不同模型在蘋果葉部病害數據上準確率變化情況。圖中各網絡模型整體呈上升趨勢，在前20 個訓練周期內，各網絡模型準確率波動幅度較大，在后10 個訓練周期內，準確度明顯提高，并逐漸趨于穩定。AlexNet 包含5 個卷積層和3 個全連接層，網絡深度為8 層，在數據集上準確率僅為86.898%。VGG-16網絡深度為16層，與AlexNet準確率相比提升了0.053 57，說明網絡深度對準確率影響較大。實驗更深的ResNet-50 網絡，準確率與VGG-16 相比提升了0.007 58，提升幅度不高，因此網絡深度達到一定層次后，再次加深神經網絡，效果并沒有預計的可觀，但隨著網絡模型深度的增加，模型會更加復雜。實驗兩條VGG-16 組成的B-CNN 網絡，與準確率最高的單分支網絡ResNet-50 相比，提升了0.015 29，說明雙分支網絡在蘋果葉部病害識別任務上，要優于單分支網絡。雙分支網絡能夠提取到更多的圖像特征。實驗本文提出的DBNet，其包含MS分支和DA 分支，與B-CNN 的兩條VGG-16 分支相比，能夠更好地緩解復雜背景環境和病斑相似性帶來的不利影響，準確率也達到了97.662%。

圖9 不同網絡模型準確率變化對比Fig.9 Comparison of accuracy changes of different network models

同時為驗證DBNet 模型的復雜程度，本文從模型參數（Params）、浮點運算次數（FLOPs）以及CPU 預測時間三方面對其進行分析，如表5 所示。AlexNet受網絡深度影響，模型參數、浮點運算次數、預測時間都是最少的，但其準確率也受到了影響。ResNet-50 采用了瓶頸模塊，與VGG-16 相比減少了參數量，B-CNN 則由于雙分支網絡以及雙線性池化使模型過于復雜。本文的DBNet 雖采用兩個VGG-16 作為基礎網絡，但DBNet 中的DA 分支將VGG-16 中的普通卷積替換為深度可分離卷積，MS 分支則采用淺層信息與深層信息相結合的跨層連接，極大減少了模型參數以及浮點運算次數，降低了預測時間。

表5 網絡復雜度Table 5 Network complexity

2.3 消融實驗

為驗證不同組合的卷積類型對MS 分支的影響，設置9 組消融實驗，結果如表6 所示：當單個3×3 卷積核增加至多卷積核，MS 分支中網絡寬度的增加，準確率呈上升趨勢；并設置3 種不同空洞率的空洞卷積實驗對網絡的影響，當空洞率=4 時，準確率有所下降，最終選擇空洞率=2,3 的空洞卷積；3×1 和1×3的不對稱卷積增加網絡的非線性，提高了模型的表達能力，并額外學習了水平核與垂直核的特征，增加了捕獲特征的多樣性，從而提高了分類精度。

表6 MS 消融實驗Table 6 MS ablation experiments

為驗證MS 分支和DA 分支對DBNet網絡性能的影響，分別設置四種網絡結構VGG+VGG、VGG+MS、VGG+DA、MS+DA 的消融實驗。經過30 輪訓練，四種網絡結構在驗證集準確率變化如圖10 所示。VGG+MS 結構和VGG+DA 結構準確率均優于VGG+VGG 結構，MS+DA 結構準確率最高，說明MS分支和DA 分支對蘋果葉部病害識別具有促進作用。

圖10 四種結構準確率變化Fig.10 Accuracy of four structures

VGG+VGG、VGG+MS、VGG+DA、MS+DA 四種網絡結構對不同蘋果葉部病害識別情況如表7 所示。VGG+MS 結構對五種蘋果葉部病害識別的準確度均高于VGG+VGG 結構，說明MS 分支能夠提取多尺度特征，有效緩解復雜背景環境以及病斑形狀分布不均帶來的不利影響。VGG+DA 結構對于銹病、灰斑病、斑點落葉病識別精度較高，說明DA 分支能夠運用多維注意力機制，有效緩解病斑相似性帶來的不利影響。因此，本文最終結合MS 分支和DA 分支構成了DBNet，能夠有效地提升識別精度，并緩解復雜背景環境和病斑相似性帶來的不利影響。

表7 消融實驗Table 7 Ablation experiments %

為驗證DBNet 網絡性能，與其他葉部病害識別模型進行對比，如表8 所示，其準確率相較于其他四種方法分別提升了0.028 43、0.024 12、0.014 4、0.012 5。結果顯示，本文提出的DBNet 模型在蘋果葉部病害識別方面具有一定先進性。

表8 模型對比實驗Table 8 Contrast experiment of models

3 結束語

本文提出了一種雙分支網絡的蘋果葉部病害識別方法，該方法能夠有效結合病斑圖像的多尺度特征以及多維注意力特征，從而有效緩解復雜背景環境以及病斑相似性給蘋果葉部病害識別帶來的不利影響。并通過實驗驗證該方法具有較高的識別精度。同時在研究過程中提出了一種新型注意力機制，能夠提取通道、寬、高三個維度的注意力特征。并考慮在未來工作中，將多維注意力機制引入語義分割等其他計算機視覺任務中。