基于卷積循環神經網絡的桃樹葉部病害圖像識別

孫文杰,牟少敏,董萌萍,周子豪,李 頎

山東農業大學信息科學與工程學院,山東 泰安271018

我國是世界桃生產第一大國[1]，由于受各種葉部病害的影響，桃的產量和品質下降,造成了巨大的經濟損失。因此，準確、高效地識別早期桃樹葉部病害至關重要，而桃樹葉部病害的識別主要是憑借植保技術人員和桃農的經驗判斷，誤差大且費時費力。

近年來，隨著深度學習技術的深入研究，卷積神經網絡（Convolutional Neural Network，CNN）在農作物病害圖像識別中的應用不斷深入。龍滿生等[2]利用深度卷積神經網絡學習油茶病害特征，并借助遷移學習將AlexNet 模型在ImageNet 數據集上學習的參數遷移到油茶病害識別中。Hu GS 等[3]提出一種多尺度的深度卷積神經網絡用于茶葉病害圖像識別，縮短了訓練時間且具有較高的準確率。王昌龍等[4]提出了一種基于雙通道卷積神經網絡的南瓜葉片病害識別算法，提取了病斑的全局特征與細節特征。Zeng WH 等[5]提出了一種基于自注意力的卷積神經網絡用于農作物病害圖像識別，具有較高的識別準確率和較強的魯棒性。任守綱等[6]提出了一種基于反卷積引導的VGG 網絡模型用于番茄葉部病害圖像識別，在遮擋和弱光等環境下具有良好的魯棒性。目前，基于深度學習的桃樹葉部病害圖像識別的研究較少。雖然CNN 在農作物病害圖像識別中取得了顯著效果，但未考慮病害區域間的上下文相關信息和位置信息。

桃樹葉部病斑具有相似度高和關聯度高的特點，而不同的病害發生的部位不同，如圖1 所示，炭疽病和褐斑病的病斑特征非常相似，但炭疽病多數發生在葉尖、葉柄基部和葉緣位置[7]，而褐斑病一般發生在葉緣以內的任何位置[8]。CNN 在識別桃樹葉部病害圖像時，卷積層中多個卷積核獨立地對局部病害區域進行卷積操作并對局部特征進行組合，池化層對卷積層提取的病害特征進行池化操作，忽略了各病害區域間的上下文相關信息[9]和位置信息。雙向長短期記憶網絡（Bidirectional Long Short Term Memory，BiLSTM）由兩個正向和反向的LSTM 組成，且各循環單元之間具有反饋連接，具有記憶性[10]，可以記憶病害區域的位置信息和挖掘各病害區域間的上下文相關信息。為提高桃樹葉部病害圖像的識別準確率，本文提出了基于VGGNet-BiLSTM 的桃葉部病害圖像識別算法，該算法融合了各病害區域間的上下文相關信息和位置信息。

1 數據采集與處理

1.1 數據采集

本文實驗所用的桃樹葉部病害圖像在山東省泰安市道朗鎮、濟南市萊蕪區雪野鎮南欒宮村和萊西市沽河街道桃園采集，以3024×4032 的像素進行拍攝，并按病害種類進行人工標注。共采集桃樹褐斑病421 張、炭疽病263 張和花葉病191 張。桃樹葉部病害圖像示例如表1 所示。

表1 桃樹葉部病害圖像示例Table 1 Image samples of peach leaf disease

1.2 數據預處理

由于本文實驗選用VGG16 作為網絡改進基礎，其輸入維度需要固定，所以首先對桃樹葉部病害圖像進行歸一化處理，將圖像裁剪為224×224 像素大小。其次，由于受到溫濕度等各種自然界因素影響，桃樹葉部病害并非每年都發生，圖像獲取難度大且獲取周期長，為減少因數據集中圖像數量較少造成模型泛化能力差的影響，對病害圖像進行了圖像增強。由于受光照影響，拍攝的圖像亮度較低，使得病斑不明顯，所以對圖像進行亮度增強處理，在亮度增強的基礎上，進行色度增強、翻轉和3 個角度（90°、180°和270°）的旋轉等預處理方式擴充數據集，擴充后數據集總數為6125張，并按7:3 劃分訓練集和測試集。數據增強后如表2 所示。

表2 桃樹葉部病害圖像預處理Table 2 Image preprocessing of peach leaf diseases

2 VGGNet-BiLSTM 網絡

本文提出的模型以VGG16[11]為基礎構架，由卷積神經網絡層、循環神經網絡層和多層全連接層組成。其中卷積神經網絡層包括五個卷積模塊，用于提取桃樹葉部病害的特征。循環神經網絡層由一個雙向長短期記憶網絡組成，用于挖掘和記憶各病害區域間的上下文相關信息和位置信息。多層全連接層含有兩個全連接層和一個Softmax 層，兩個全連接層匯總全局病害圖像特征，Softmax 層用于病害識別。VGGNet-BiLSTM 網絡結構如圖2 所示。

圖2 VGGNet-BiLSTM 網絡結構Fig.2 Structure of VGGNet-BiLSTM

2.1 卷積神經網絡層

VGG16 結構簡潔，整個網絡有13 個卷積層和5 個最大池化層，其中卷積核尺寸大小為3×3，最大池化尺寸大小為2×2。本文在VGG16 模型的基礎上進行改進，在每一卷積層后面加入了批標準化（Batch Normalization，BN）層，激活函數替換為PReLU 函數。卷積神經網絡層結構如圖3 所示。

圖3 卷積神經網絡層結構Fig.3 Structure of convolutional neural network layer

2.1.1 批標準化 為了解決網絡訓練過程中的梯度消失問題并加快訓練速度，本文在每個卷積層后面引入了批標準化層[12]。批標準化算法通過一定的規范化手段將分散的輸入分布強制拉回到標準正態分布，使得非線性變換函數的輸入值落入敏感區域，避免了梯度消失且加快了訓練速度。

輸入批處理數據為X={x1,x2,…,xn}，λ和β是訓練參數，批標準化過程如公式（1）～（4）所示。

式（1）中μ為X的均值，公式（2）中σ為X的方差，式（3）對xi進行標準化，所得的均值為0，方差為1，式（4）對進行反標準化，通過自我調節λ和β的值達到更好的值，即輸出數據y。

2.1.2 激活函數ReLU 函數和PReLU 函數如圖4 所示。

圖4 ReLU 與PReLU 對比Fig.4 Comparison of ReLU and PReLU

由圖4 可以看出，ReLU 函數在負區間梯度為0，相應權重不再更新，導致神經元激活失敗。而PReLU 函數在負區間增加了一個動態變化的參數ai，解決了ReLU 函數在負區間神經元激活失敗的問題，所以本文選用PReLU 函數替換ReLU 函數。PReLU 函數定義如公式（5）所示。

其中，i表示不同的通道，xi表示在第i通道上的輸入，ai表示負區間上的自學習參數。

2.2 循環神經網絡層

通過卷積神經網絡層提取桃樹葉部病害局部特征，將512 維度7×7 特征矩陣作為循環神經網絡層的輸入。由于桃樹炭疽病和褐斑病的病斑位置信息不同，所以將7×7 的特征矩陣進行降維，得到一維病害區域序列。又因各桃樹病害區域不僅與先前的區域有相關性，且與之后的區域有相關性，所以選用BiLSTM[13]作為該層的基礎網絡結構。

BiLSTM 由兩個正向和反向的LSTM 組成，不僅能夠利用過去時刻的信息，也能訪問未來時刻的信息，使網絡可以同時處理正向和反向的數據，得到序列數據的上下文整合信息且具有記憶性，所以能夠記憶病害區域的位置信息和挖掘各病害區域間的上下文相關信息。為避免過擬合問題，本文在BiLSTM 結構內部，加入了dropout 層。結構如圖5 所示。

圖5 BiLSTM 網絡結構Fig.5 Structure of BiLSTM

BiLSTM 中LSTM 為解決RNN 梯度消失和梯度爆炸問題設置了輸入門、遺忘門和輸出門三種類型的門控結構。其中輸入門決定t時刻記憶單元保存哪些輸入數據；遺忘門控制信息的保存和遺忘，并決定丟棄哪些歷史信息；輸出門決定t時刻輸出記憶單元中的哪一部分。

BiLSTM 中前向和后向的LSTM 結構相同，但不共享參數，輸入序列由卷積神經網絡層提取到的特征矩陣降維得到，用X={x1,x2,…,xt,…,xs)表示，t時刻在處理輸入數據X的過程中，前向LSTM隱藏層更新公式如（6）所示，反向LSTM 隱藏層更新公式如（7）所示。

加入dropout 層后前向和反向結果疊加后的最終輸出結果如公式（8）所示。

公式（8）中Bernoulli(p)表示生成概率向量，隨機刪除p比例的神經元，防止過擬合。

2.3 多層全連接層

循環神經網絡層挖掘到的各病害區域間的上下文信息和位置信息輸入到多層全連接層，為避免梯度消失，首先經BN 層進行批標準處理，多層全連接層匯總循環神經網絡層提取的全局病害特性信息，為避免過擬合在兩個全連接層后加入了dropout 層，最后由Softmax 進行病害識別（圖6）。

圖6 多層全連接層結構Fig.6 Structure of multi-layer fully connected layer

計算公式如（9）～（12）所示。

其中，公式（9）中的H 表示循環神經網絡層的輸出結果，公式（10）對H進行批標準化處理。公式（11）表示加入dropout 后全連接計算公式，σ為PReLU 函數，Wh為的權重矩陣，bh為偏置項。公式（12）為分類層計算公式，δ為Softmax 函數，Wy為c的權重矩陣，by為偏置項。

3 實驗結果及分析

3.1 評價標準

本實驗選擇平均準確率作為評價指標，如公式（13）所示。

nepoch為迭代的次數，nai為每次迭代中預測正確的樣本數，ni為每次迭代中輸入的樣本總數。

3.2 參數設置

為驗證本文提出方法的有效性，選擇CNN、AlexNet 和VGG16 網絡在桃樹葉部病害圖像數據集上進行對比實驗。本文所有實驗的硬件環境為Intel Corei7 3.70GHz 處理器、16GB 運行內存和NVIDIA GeForce GXT 1080 Ti GPU；軟件環境為Windows 7 64bit 操作系統、Python 3.6.4 和TensorFlow1.8 深度學習框架。

本文采用有監督的方式對模型進行訓練，訓練前通過置零法對網絡參數進行初始化。VGGNet-BiLSTM 網絡參數設置如表3 所示。

表3 VGGNet-BiLSTM 網絡參數設置Table 3 Parameters of VGGNet-BiLSTM

3.3 結果及分析

3.3.1 自對比實驗 本文首先將基礎網絡VGG16 和VGGNet-BiLSTM 進行自對比實驗，實驗結果如圖7 所示。

圖7 VGG16 和VGGNet-BiLSTM 準確率曲線Fig.7 Precision curves of VGG16 and VGGNet-BiLSTM

由圖7（a）可知，VGG16 迭代50 次趨于收斂，最終的訓練準確率為99.78%，而VGGNet-BiLSTM迭代45 次趨于收斂，最終的訓練準確率為99.96%，準確率高于VGG16，因本文提出的VGGNet-BiLSTM 算法中加入了BN 層，所以能夠加快模型的收斂速度。VGG16 測試集上準確率為91.72%，VGGNet-BiLSTM 測試集上準確率為93.73%，比VGG16 的準確率高2.01%，由于本文提出的算法融合了桃樹葉部病害區域間的上下文相關信息和位置信息，所以在測試集上的準確率高于VGG16。

3.3.2 與其他模型對比實驗 本文選擇CNN 和AlexNet 進行對比實驗，實驗結果如表4 所示。

表4 模型訓練結果Table 4 Training results of models

由表4 可知，CNN 對桃樹葉部病害圖像的識別準確率較低，因為在識別過程中忽略了病害區域間的上下文信息和位置信息，因此識別效果較差。AlexNet 測試集上的準確率為90.03%，AlexNet作為CNN 的變體具有更深的網絡結構，能夠提取深層次的病害特征，但仍未考慮病害區域間的上下文信息和位置信息。本文提出的算法融合了病害區域間的上下文相關信息和位置信息，在測試集上的準確率可達93.73%，相較于CNN 和AlexNet 具有更高的識別準確率。

4 結論

為解決CNN 未考慮桃樹葉部病害區域間的上下文信息和位置信息導致降低了病害圖像識別準確率的問題，本文提出了一種基于VGGNet-BiLSTM 的桃樹葉部病害圖像識別算法。首先，通過卷積神經網絡層對桃樹葉部病害特征進行提取，其次對病害特征矩陣進行降維，將其作為輸入進入循環神經網絡層，挖掘病害區域間的上下文相關信息和位置信息，最后，多層全連接層根據全局病害圖像特征進行病害識別。結果表明，本文提出的算法在相同測試集上具有更高的識別精度。