CNN與BiLSTM相結合的水稻病害識別新方法

路陽　劉婉婷　林立媛　張欣夢　管闖

摘要：針對水稻病害圖像識別中淺層特征無法記憶、深層特征提取不充分、序列特征魯棒性較弱等問題，提出一種將CNN與BiLSTM相結合的水稻病害識別新方法。首先，利用卷積神經網絡自動提取水稻病害的淺層特征；然后，利用BiLSTM中各個循環單元之間的反饋鏈接可以充分挖掘和記憶水稻特征序列數據中的上下文相關信息和位置信息的優勢，將淺層特征與序列特征結合形成一個新的特征序列，解決了特征無法記憶、提取不足的問題；最后，使用全局平均池化層代替全連接層，以減少參數、防止過擬合。針對自建的水稻病害數據庫，試驗結果顯示：所提出模型的水稻病害平均識別精確率達到了99.38%，與CNN和CNN-LSTM模型相比，所提出模型分別提高0.63、1.38百分點。同時，在召回率和F1值上也顯現出了優勢，分別達到99.42%、99.39%。因此，所提出的方法提升了水稻病害識別精確率，可應用于實際的水稻病害診斷中。

關鍵詞：水稻病害；圖像識別；長短期記憶神經網絡；卷積神經網絡；深度學習

中圖分類號：TP391.41文獻標志碼：A

文章編號：1002-1302（2023）20-0211-07

水稻是重要的糧食作物之一，我國有60%以上的人口以大米為主食［1］。在水稻生長過程中會發生許多病害，影響水稻的產量，因此對這些病害的正確識別，進一步掌握其發生的規律和動態，才能達到精確的預測和防治。而傳統識別方式主要依靠專家的經驗，或是肉眼觀察，或是在實驗室進行鑒別，費時費力，成本昂貴，無法普及。

隨著機器學習技術的發展，許多學者利用人工智能的方法對水稻病害分類識別進行研究，通過使用支持向量機、神經網絡等方法檢測和分類病害，為水稻病害識別提供了技術基礎。陳宇等利用交換粒子群優化算法優化支持向量機徑向基函數的參數和懲罰因子，通過支持向量機模型對3種水稻葉部病害進行識別，平均識別準確率達到了93.2%［2］。陳悅寧等提出了一種基于優化BP神經網絡的水稻病害識別方法，對稻瘟病、白葉枯病以及細菌性條斑病3種水稻病害進行識別，準確率分別達到98.5%、96.0%、92.5%［3］。但機器學習在病害特征提取方面是需要人工提取的，人工提取耗時耗力，出現錯誤的可能性也大。近年來，深度學習在圖像識別和分類的研究中取得了巨大的進步，尤其是卷積神經網絡（convolutional neural network，簡稱CNN），由于其能夠從輸入的大量水稻病害圖像中自主學習、提取出病害特征，因此在水稻病害圖像識別的應用中不斷深入。劉婷婷等采用AlexNet深度卷積神經網絡模型對水稻紋枯病進行識別，試驗結果證明ALexNet模型達到了97%的識別率［4］。Saeed等提出了ResNet152的變體，用于檢測水稻和玉米等基本作物的疾病，對主要和次要疾病亞群的準確率分別達到99.10%、82.20%［5］。雖然CNN在水稻病害圖像識別中取得了顯著的效果，但由于CNN內部有循環單元，使CNN在學習提取特征時，往往會丟掉在初始層學習到的淺層細粒度細節，一些重要的細節沒有傳遞到網絡的深層。

現階段一些研究人員將循環神經網絡（recurrent neural network，簡稱RNN）中的模塊結合CNN識別圖像，取得了不錯的效果。David等提出了一種 CNN-RNN 混合深度學習模型，對番茄葉部病害進行檢測分類，利用時間序列數據實現早期病害檢測，檢測分類準確率最高達到了98.25%［6］。Banzi等提出一種將長短期記憶網絡（long short-term memory，簡稱LSTM）嵌入到CNN層中的組合結構對100種不同類型的植物物種進行分類識別，所提出的模型能夠以95%的準確率對每幅圖像的特定類別進行分類［7］。

為深度挖掘水稻病害特征，提高水稻病害圖像的識別準確率，提出一種結合了CNN與雙向LSTM的水稻病害識別新方法，即雙向長短期記憶網絡（bidirectional long and short-term memory，簡稱BiLSTM），。該系統能夠檢測和識別5種水稻病害類別，其中包括3種常見的水稻病害類型紋枯病、稻瘟病、白葉枯病，以及與稻瘟病和白葉枯病分別有著高相似度的胡麻斑病和東格魯病。首先通過CNN提取淺層病害特征，再由BiLSTM模型進行前后信息相關性的建立，同時篩選、存儲病害特征序列以及病害位置信息，挖掘各個病害區域間的上下文相關信息，從而進一步加深對特征信息的提取。最后通過比較、分析模型的訓練效果和評價性能指標，驗證所提出模型的優異性，為水稻病害識別提供新的、有效的方法。

1 相關工作

1.1 Inception v1模塊

Inception v1模塊是GoogLeNet模型的一個重要的組成部分，其基本結構如圖1所示［8］。原始的Inception結構將卷積核尺度為1×1、3×3和5×5的卷積層以及最大池化層4個部分堆疊在一起，并通過ReLU激活函數增加網絡的非線性特征。由圖1可知，基于稀疏網絡結構的Inception v1分別在卷積核尺度為3×3和5×5的卷積層之前以及最大池化層之后加入了尺度為1×1的卷積層，在多個尺度上同時進行卷積，這使得其能夠在提取到更豐富特征的同時降低計算復雜度［9］。Inception v1中4個部分的卷積層可以獨立完成，每個部分的運算之間沒有依賴，可以實現并行計算，極大地加快了模型的訓練速度，最后將各個卷積運算輸出結果連接為一個高維的特征圖，可以獲得更好的圖像表征。從而實現在有限的資源和內存下得到更好的訓練結果，是性能和資源利用率較好的選擇。

1.2 長短期記憶神經網絡

RNN作為神經網絡的一個重要分支，相較于CNN最大的特點是具有循環神經單元，具有記憶功能，可以很好地利用輸入間隱含的依賴關系。而傳統的RNN存在梯度消失和梯度爆炸等問題，導致無法解決長時依賴的問題，為解決這些問題［10］，Hochreiter和Schmidhuber（1997）提出了LSTM［11］。

LSTM基本單元如圖2所示。LSTM由輸入門（input gate，簡稱IG）、遺忘門（forget gate，簡稱FG）和輸出門（output gate，簡稱OG）組成［12］，特別的是，隱藏狀態和單元狀態的使用使LSTM擁有短時間和長時間的記憶能力。簡單來說LSTM的工作原理就是保留重要的信息，遺忘不重要的信息。LSTM解決了RNN在實際應用中出現的梯度消失和梯度爆炸等問題，需要的參數少，學習速度快［11］。

LSTM網絡結構中包含遺忘門、輸入門和輸出門。遺忘門決定了來自上一個時間步的單元狀態中有多少信息被丟棄，有多少信息需要被繼承；輸入門決定了當前處理的時間步中有多少輸入信息添加到當前的單元狀態中；輸出門決定當前單元狀態中將會有多少信息作為處理當前時間步的輸出值，用于下一層網絡的更新中。計算公式如 （1）～（6）所示：

yt=ht=tanh（ct）ot。（6）

式中：xt、ft、it、ct′、ct、ot和yt分別為輸入量、遺忘門、輸入門、輸入節點、狀態單元、輸出門和中間輸入的狀態；W為對應門與輸入xt和中間輸出ht相乘的權重矩陣；b為對應門的偏差；σ表示sigmoid函數變化。

1.3 雙向長短期記憶神經網絡

BiLSTM是LSTM的一種擴展。LSTM解決了特征信息無法記憶的問題，但忽略了對病害區域間的上下文相關信息和位置信息。BiLSTM由正向LSTM層和反向LSTM層融合而成，它既能捕獲過去的信息，也能捕獲未來的信息。BiLSTM各循環單元之間具有反饋連接，具有記憶性和進一步挖掘的能力［13］，同時考慮到了序列過去的特征和未來的特征，進而提高模型處理序列問題的性能。BiLSTM結構如圖3所示。

2 CNN-BiLSTM混合深度學習模型

本研究設計了一種在卷積神經網絡中融入雙向長短期記憶網絡的水稻病害識別模型。將CNN挖掘特征的能力與BiLSTM整合特征序列未來、過去相關信息的能力相結合。在設計的模型中，水稻病害的識別分為3個部分：第1部分是初級特征提取模塊，實現對水稻病害圖像中病害特征的初步提?。坏?部分是深度特征提取模塊，通過該模塊實現對水稻病害特征的進一步挖掘和處理；第3部分是降維識別模塊，實現對水稻病害的分類識別。 CNN-BiLSTM 網絡模型的結構如圖4所示，并且給出了每個模塊輸出的特征圖的寬度、高度和通道數目。

2.1 初級特征提取模塊

第1部分的淺層特征提取模塊是由卷積層+最大池化層+BN層的組合組成，對病害特征進行局部特征提取。

對于深度網絡的訓練是一個復雜的過程，只要網絡的前面幾層發生微小的改變，那么后面幾層就會被累積放大下去。一旦網絡某一層輸入數據的分布發生改變，那么這一層網絡就需要去適應學習這個新的數據分布，所以如果訓練過程中，訓練數據的分布一直在發生變化，將會影響網絡的訓練速度。

BN算法是一種旨在解決在訓練過程中中間層數據分布發生改變的算法［14］，在該模塊中使用BN層可以讓梯度變大，以此避免梯度消失問題的產生，提高模型穩定性，提高學習收斂速度，加快訓練速度。

2.2 深度特征提取模塊

第2部分的深層特征提取模塊是由Inception模塊+BiLSTM模塊的組合組成。通過Inception模塊的多特征融合特性實現對水稻病害的高維特征融合，通過BiLSTM模塊對特征序列信息的提取、整合過去、未來特征信息的能力實現對病害特征的深度提取。

2.2.1 Inception模塊

由于現有的水稻葉部病害圖像數據集中各類病害所包含的圖像數量較少，不利于葉部病害的特征提取，而Inception模塊正好可以解決資源有限的問題，同時防止由于訓練集數據不足而產生的特征提取偏差。設計3個Inception模塊，這些模塊能夠增加網絡的寬度，也能降低feature map的厚度。為了保證Inception 模塊中3個尺寸的卷積操作和最大池化操作能夠進行維度上的連接，將卷積操作的步長設為1、Padding方式設為same，池化操作的步長設為1，最后將這4個部分得到的特征圖通過Concatenate（）拼接在一起，作為下一層的輸入。由于Inception v1自身的稀疏性，可以在很大程度上解決因為增加網絡的深度和寬度而導致的計算量劇增、參數量爆炸甚至過擬合等問題，從而提高深度網絡模型質量［15］。為了可以更進一步地挖掘水稻病害特征，在每個Inception 模塊之后加入BiLSTM模塊。

2.2.2 BiLSTM模塊

本研究設計的模型選擇使用BiLSTM作為特征學習存儲單元與Inception模塊相結合，是因為相較于LSTM只能單向進行特征學習，BiLSTM可以實現雙向特征學習，能夠更好地獲取水稻葉部病害特征信息之間的相關性，提供了處理序列數據的全新角度，能夠捕捉到可能被單向LSTM忽略的信息，挖掘并記憶特征序列上下文的相關信息以及病害區域的位置信息。

在經過TimeDistributed（）處理后，將特征序列傳入BiLSTM中，首先將輸入數據輸入到一個LSTM層，然后通過另一個反向的LSTM層重復訓練，從而進行雙向特征學習，提高模型的依賴性，提高模型的精度，使其實現更深層次特征信息的挖掘并且對特征序列中的有用信息進行存儲。

2.3 降維識別模塊

第3部分的降維識別模塊是由Global Average Pooling（GAP）層+Softmax層的組合組成。

使用GAP替代全連接層（fully connected，FC）基于2點：一是GAP在特征圖與最終的分類間轉換更加簡單自然；二是不像FC層需要大量訓練調優的參數，降低了空間參數會使模型更加“健壯”［16］，有效防止第2部分產生過擬合現象；三是GAP整合了全局空間信息，對于輸入圖像的spatial translation更加魯棒［17］。GAP圖解如圖5所示。

2.4 模型參數

創建的CNN-BiLSTM網絡模型每一層的內核大小、參數個數及輸出尺寸如表1所示。

3 基于CNN-BiLSTM的水稻病害診斷

3.1 水稻病害圖像數據庫的建立

在本研究中，一部分水稻病害圖像數據于2021年8月采集自黑龍江八一農墾大學水稻試驗田，在自然光照條件下使用1 600萬像素的OPPO N3手機拍攝獲取的水稻病害圖像。另一部分水稻病害圖像數據取自Kaggle公開數據集。將每張圖像按照病害類型命名，存儲到對應病害名稱的文件夾中，共同組成水稻病害圖像數據集。

數據集中包括紋枯病、稻瘟病、白葉枯病、胡麻斑病、東格魯病5類水稻病害圖像，其中既有真實田間環境下復雜背景的病害圖像數據，也包含將含有病害的葉片單獨裁剪出的圖像數據。通過對圖像進行圖像增強處理來擴充數據集，由于樣本數量不足且不均衡，采用了水平翻轉、垂直翻轉、隨機水平平移和隨機垂直平移等圖像增強技術對每種病害樣本進行擴充，擴大數據集的數量。數據量被擴充至2 550幅圖像，每種病害各含有510幅圖像，每幅圖像的大小統一調整至256×256。水稻病害示例圖像如圖6所示。

3.2 數據預處理

3.2.1 圖像歸一化

在模型反向傳播時，梯度值更新與學習率一樣，當學習率較小時，梯度值較小會導致更新緩慢，當學習率較大時，梯度值較大會導致模型不易收斂，因此為了使模型訓練收斂平穩，對圖像進行歸一化操作，把不同維度的特征值調整到相近的范圍內，這樣就可以采用統一的學習率加速模型訓練。

采用min-max標準化通過對原始圖像數據進行線性變換，使其對應的像素值均能縮放在［0，1］的范圍內，具有保留原始數據關系、消除量綱和數據取值范圍的影響等優點［18］。min-max標準化的公式如式（7）所示。

（7）

式中：X′是歸一化后的值；X是原始圖像像素值；Xmin表示原始圖像像素值中的最小值；Xmax表示原始圖像像素值中的最大值。

3.2.2 獨熱編碼

在分類機器學習任務中，特征之間距離或相似度的計算是非常重要的，并且常用的距離或相似度的計算都是基于歐氏空間的相似度計算。

水稻病害特征的取值是［blast，blight，…］即病害對應的名稱，其之間沒有大小的意義，但分類器往往默認數據是連續的，并且是有序的［19］，因此進行獨熱編碼處理，將離散特征的取值擴展到了歐氏空間，離散特征的某個取值就對應歐氏空間的某個點。解決了分類器不好處理屬性數據的問題，并且在一定程度上起到了擴充特征的作用。數據庫

中含有5類水稻病害類別，使用5位狀態寄存器來對5個狀態進行編碼，每個狀態都有它獨立的寄存器位，并且在任意時候其中只有1位有效。

4 結果與分析

在本研究中的試驗環境為windows10、64位操作系統，CPU型號為 Intel Xeon CPU E5-2678 v3 @ 2.50 GHz，GPU型號為NVIDIA GeForce RTX 2080 Ti，顯卡內存為11 G。采用Python編程語言和Tensorflow深度學習框架。

試驗時按照8 ∶2的比例將數據集隨機劃分為訓練集和測試集。將初始學習率lr設置為0.000 1，損失函數loss為多分類交叉熵損失函數，迭代次數epoch為50。應用構造的水稻病害樣本集分別對CNN模型、CNN-LSTM模型、CNN-BiLSTM模型進行訓練，訓練過程中3個模型隨著迭代次數的增加準確率和損失率的收斂曲線如圖7、圖8所示。3種模型對水稻病害分類識別的結果如表2所示。

4.1 模型評價指標

水稻病害分類可劃分為5種二分類情況，當將稻瘟病作為正類時，紋枯病、白葉枯病、胡麻斑病以及東格魯病4種病害作為負類。那么在訓練過程中正確判定為正類的數量記為TP，實際為正類但判斷為負類的總數量記為FN，實際為負類但判定為正類的總數量記為FP。為了評估提出的水稻病害識別模型的準確性和穩定性，本研究使用精確率P（precision）、召回率R（recall）以及F1值（F1 score）3項指標進行模型的評價。

精確率表示正確判定為正類的個數占模型分類為正類的個數的比例，計算公式如式（8）所示：

（8）

召回率表示模型判定正確的正類個數占實際中正類的個數的比例，計算公式如式（9）所示：

（9）

正常情況下，精確率和召回率是相互影響的，理想狀態下是期望2個指標都高，但是實際兩者是相互制約的，精確率高召回率便低，反之，精確率低召回率便高。這就需要綜合考慮，最常見的便是引入F1值，表示準確率和召回率的調和均值，用來權衡精確率和召回率，F1值越大說明模型的質量越高。計算公式如式（10）所示：

（10）

3種模型的精確率、召回率以及F1值如表3所示。

4.2 討論與分析

由圖7中的訓練曲線可以看出，CNN-BiLSTM模型的準確率上升速度最快。由圖8中的收斂曲線可以看出，CNN-BiLSTM模型的損失率在經過9次迭代之后開始趨于平穩，并沒有明細的波動，相較于CNN-LSTM模型在經過22次迭代之后開始平穩，以及CNN模型直至訓練結束也未平穩、波動較大，CNN-BiLSTM模型的損失率在這3種識別模型中下降最快、穩定性最好。因此，CNN-BiLSTM模型的收斂效果更好。由表2可知，CNN-BiLSTM 模型的訓練集損失率只有0.08%，是這3類模型中損失率最小的，CNN-BiLSTM模型訓練集準確率比CNN模型高1.27百分點。在測試集上，CNN-BiLSTM模型的測試準確率比CNN-LSTM模型的測試準確率高出0.62百分點，比CNN模型的準確率高1.43百分點，相對的損失率比CNN-LSTM模型低出0.92百分點，比CNN模型低出1.56百分點。所以無論是從準確率、損失率還是從穩定性來看，CNN-BiLSTM模型的訓練結果都要比其他2種模型的效果好。 因此從訓練結果來看，CNN-BiLSTM模型比其他2種模型更具優勢。

由表3可知，CNN-BiLSTM模型的精確率、召回率和F1值分別達到99.38%、99.42%、99.39%。精確率比CNN模型高出1.38百分點，比CNN-LSTM模型高出0.63百分點；召回率比CNN模型高出1.67百分點，比CNN-LSTM模型高出0.63百分點；F1值比CNN模型高出1.52百分點，比 CNN-LSTM 模型高出0.63百分點。因此從模型的評價指標來看CNN-BiLSTM模型比其他2種模型都要好。

綜合試驗結果表明，無論是從訓練結果還是評估指標上看，CNN-BiLSTM都明顯優于CNN-LSTM模型和CNN模型。CNN-BiLSTM模型加快了模型的收斂速度、訓練速度，提高了識別準確率，減少了過擬合的風險，使模型更具有魯棒性，訓練效果更好，是這3種模型中最具優勢的。

5 結束語

根據BiLSTM可以聯系病害區域間的上下文相關信息和位置信息，提出一種CNN與BiLSTM相結合的水稻病害識別新方法。應用CNN模型、CNN-LSTM模型和CNN-BiLSTM模型，分別對水稻病害圖像數據集進行訓練、測試。結果表明，所設計的CNN-BiLSTM模型水稻病害圖像識別率最高，平均識別率達到了99.38%。結果證明，在CNN模型中加入BiLSTM對于水稻病害識別診斷的準確性具有一定的提高作用，同時也增加了模型的穩定性并且加快了模型的收斂速度，因此本研究提出的將CNN與BiLSTM結合的這種新方法對于水稻病害診斷方面具有一定的可行性。

參考文獻：

［1］胡培松，圣忠華. 水稻種植業的昨天、今天和明天［EB/OL］. （2021-04-22）［2022-10-20］. http：www.zys.moa.gov.cn/mhsh/202104/t20210422_6366373.htm.

［2］陳 宇，路 陽，蔡 娣，等. 基于SPSO+SVM的水稻葉部病害識別方法研究［J］. 上海農業學報，2021，37（6）：136-142.

［3］陳悅寧，郭士增，張佳巖，等. 基于優化BP神經網絡的水稻病害識別算法研究［J］. 電子技術應用，2020，46（9）：85-87，93.

［4］劉婷婷，王 婷，胡 林. 基于卷積神經網絡的水稻紋枯病圖像識別［J］. 中國水稻科學，2019，33（1）：90-94.

［5］Saeed Z，Raza A，Qureshi A H，et al. A multi-crop disease detection and classification approach using CNN［C］//2021 International Conference on Robotics and Automation in Industry （ICRAI）.October 26-27，2021，Rawalpindi，Pakistan.IEEE，2021：1-6.

［6］David H E，Ramalakshmi K，Gunasekaran H，et al. Literature review of disease detection in tomato leaf using deep learning techniques［C］//2021 7th International Conference on Advanced Computing and Communication Systems （ICACCS）.March 19-20，2021，Coimbatore，India.IEEE，2021：274-278.

［7］Banzi J，Abayo T. Plant species identification from leaf images using deep learning models （CNN-LSTM architecture）［J］. Tanzania Journal of Forestry and Nature Conservation，2021，90（3）：93-103.

［8］Szegedy C，Liu W，Jia Y Q，et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 7-12，2015，Boston，MA，USA.IEEE，2015：1-9.

［9］薛文龍，于 炯，郭志琦，等. 基于特征融合卷積神經網絡的端到端加密流量分類［J］. 計算機工程與應用，2021，57（18）：114-121.

［10］Hua Y S，Mou L C，Zhu X X.Recurrently exploring class-wise attention in a hybrid convolutional and bidirectional LSTM network for multi-label aerial image classification［J］. ISPRS Journal of Photogrammetry and Remote Sensing，2019，149（3）：188-199.

［11］Hochreiter S，Schmidhuber J. Long short-term memory［J］. Neural Computation，1997，9（8）：1735-1780.

［12］李豐君，王 磊，趙 健，等. 基于天氣融合和LSTM網絡的分布式光伏短期功率預測方法［J］. 中國電力，2022，55（11）：149-154.

［13］Cui Z，Ke R，Pu Z，et al. Deep bidirectional and unidirectional LSTM recurrent neural network for network-wide traffic speed prediction［EB/OL］. （2018-01-07）［2022-10-26］. https：//arxiv.53yu.com/abs/1801.02143.

［14］Ioffe S，Szegedy C. Batch normalization：accelerating deep network training by reducing internal covariate shift［EB/OL］. （2015-02-11）［2022-10-26］. https：//arxiv.org/abs/1502.03167.

［15］黃雙萍，孫 超，齊 龍，等. 基于深度卷積神經網絡的水稻穗瘟病檢測方法［J］. 農業工程學報，2017，33（20）：169-176.

［16］陳綺丹. 基于卷積神經網絡的電驅動總成故障數據分類識別研究［D］. 重慶：重慶理工大學，2020.

［17］Lin M，Chen Q，Yan S C. Network in Network［EB/OL］. （2013-12-16）［2022-10-28］. https：//arxiv.org/abs/1312.4400.

［18］梅 瑩，尹藝璐，石稱華，等. 基于改進VGG卷積神經網絡的葉菜霜霉病智能識別算法研究［J］. 上海蔬菜，2021（6）：76-84.

［19］梁 杰，陳嘉豪，張雪芹，等. 基于獨熱編碼和卷積神經網絡的異常檢測［J］. 清華大學學報（自然科學版），2019，59（7）：523-529.

收稿日期：2023-01-27

基金項目：國家自然科學基金（編號：U21A2019、61873058、61933007）；黑龍江省自然科學基金聯合引導資助項目（編號：LH2022C061）；黑龍江省博士后科研啟動基金（編號：LBH-Q17134）；海南省科技專項（編號：ZDYF2022SHFZ105）；黑龍江省省屬高等學?；究蒲谢穑ň幪枺篫RCPY202020）。

作者簡介：路 陽（1976—），男，黑龍江雙城人，博士，教授，博士生導師，從事復雜系統智能故障診斷及模式識別技術研究。E-mail：luyanga@sina.com。