基于跨深度學習模型的作物病害檢測方法

李萍 邵彧 齊國紅 張善文

摘要：作物病害葉片癥狀是病害類型識別的依據，與作物病害發生相關的環境信息是作物病害預測的依據。由于病害葉片癥狀和環境信息的復雜多樣性，使很多作物病害檢測方法的準確率不高。針對大田作物病害檢測難題，提出一種基于卷積神經網絡（convolutional neural networks，簡稱CNN）和雙向長短時記憶網絡（BiLSTM）相結合的跨深度學習模型的作物病害檢測方法。首先，利用CNN提取作物病害葉片圖像的分類特征，利用BiLSTM提取病害發生的環境信息的特征;然后，利用注意力機制對2種特征進行融合;最后，利用Softmax分類器進行病害檢測。在作物病害相關數據庫上進行試驗，識別準確率為92.35%。結果表明，該方法優于傳統的病害檢測方法和基于長短時記憶神經網絡（LSTM）的檢測方法。該方法能夠準確檢測出作物病害，有助于提高大田作物病害檢測系統的準確率和魯棒性。

關鍵詞：作物病害檢測;卷積神經網絡;雙向長短時記憶;注意力機制;跨深度學習模型

中圖分類號：TP391.41 ??文獻標志碼： A

文章編號：1002-1302（2022）08-0193-06

多年來，我國作物病害防治主要依靠農藥。盡管農藥防治最簡便、有效、快速，但造成土壤、水和環境嚴重污染[1-2]。一般來說，病害發生初期容易防治，若發現不及時不僅防治困難，而且需要大量農藥。但是，由于引起作物病害的因素多且復雜，病害初期癥狀不明顯，很難被發現，導致對病害分析存在一定難度，往往出現病害檢測不及時和誤判現象，從而導致農藥誤用、濫用[3]。作物病害葉片癥狀是病害類型識別的依據，與作物病害發生相關的環境信息是作物病害預測的依據[4-6]。將病害葉片圖像和環境因子相結合進行作物葉部病害早期檢測，有望提高病害檢測的準確率。但檢測方法一直是人工智能和農業等領域的一項應用性強、難度大、具有挑戰性的研究課題[7-9]。主要原因是：（1）病害葉片復雜多樣無規則（圖1-A），早期病斑不明顯、類間差異小（圖1-B、圖1-C）、且時變（圖1-D、圖1-E），所以僅利用葉片檢測病害不準確，可能誤判;（2）作物病害發生原因復雜多變，主要與溫濕度、光照、降水量、CO2等環境因子相關，各種因子相互關聯、相互影響，所以難以預測病害發生規律;（3）物聯網采集的病害葉片圖像和環境因子是海量、多源、異構、時變的大數據，傳統的人工智能方法不能有效處理和利用這些數據進行作物病害檢測;（4）盡管從書籍、電視、農科站、搜農網等能獲得大量病害檢測和防治的先驗知識，但格式多樣、描述差異大等，很難整合、有效管理和利用;（5）基于深度網絡的病害檢測方法效果顯著，但參數多、計算復雜度大、對算力要求高，解釋性較差，難以應用于大田作物病害檢測系統;（6）將符號化的知識表達為深度網絡能處理的數值后，大量的語義信息被丟棄，難以實現環境因子和病害圖像內容與對應的語義信息有機結合，檢測效果低。導致作物病害早期檢測方法研究面臨病害發生原因多且復雜，多源異構、早期病害癥狀不明顯，深度網絡對算力要求高、可解釋性差等難題[10]。

計算機、農業物聯網、衛星遙感以及機器學習等技術不斷發展，為作物病情監測預測帶來新的機遇，也出現很多作物病害自動檢測方法和技術。一些學者將環境因子和病害葉片圖像特征相融合進行作物病害早期檢測，取得了較高的識別率[2，11]。該類方法符合人們的思維方式，但現有方法僅將環境因子與病害葉片特征簡單堆積成特征向量，很少考慮各種環境因子之間的相互聯系和相互影響，所以這些方法在實際作物病害早期檢測中的識別率有限。研究表明，環境信息是作物病害預測的依據，作物病害的發生和發展與氣候、氣象和生長環境等因素有關，其中與溫度、濕度、風、雨、光照、CO2等關系最為密切[12-13]。王標等研發了一種農作物重大病蟲害監測預警信息系統[14]。該系統具備病蟲監測數據采集、管理、統計、圖形化分析、網頁信息推送、可視化展示等功能模塊，實現了與農業農村部農作物重大病蟲害數字化監測預警系統無縫對接。張競成等綜述了作物病害識別、嚴重度監測和損失評估等方面所使用的算法，指出了目前作物病害遙感監測中尚需解決的關鍵技術問題和如何實現大面積作物病害遙感監測的研究思路[15]。魯軍景等總結了目前基于遙感的作物病害預測研究現狀，探討了作物病害遙感檢測研究中存在的問題和未來的發展趨勢[2]。利用農業物聯網各種傳感器（圖2）和云平臺容易采集和存儲與作物病害檢測相關的溫濕度、風、光照以及病害葉片圖像等數據，為實現遠程大田作物病害自動檢測提供了基礎[2，12]。但這些數據是多源、異構、含噪聲和冗余大的數據，而且實際病害發生原因多、病害葉片多種多樣、無規律，因此如何有效結合病害葉片圖像和環境因子對作物病害進行早期檢測仍然是一個重要的難題。

卷積神經網絡（convolutional neural networks，簡稱CNN）廣泛應用于作物病害檢測方法地研究中，并取得了顯著的成果[16-17]。張善文等針對AlexNet模型參數多、特征尺度單一等問題，提出了一種將擴展卷積與全局卷積相結合的全局CNN，并在黃瓜病害葉片圖像數據庫上進行了驗證[18]。長短時記憶神經網絡（LSTM）廣泛應用于各種長時程依賴性的預測問題[19]。Xiao等將病蟲害發生問題表述為時間序列預測，利用長短時記憶網絡預測棉花病蟲害的發生，取得了較好的預測效果，進一步驗證了天氣因素對病蟲害的發生有很強的影響[20]。肖晴欣提出了一種基于LSTM的棉花病蟲害的發生預測方法。通過對LSTM網絡的不斷訓練和迭代優化，并利用1981—2011年間印度地區棉花病蟲害數據、天氣因素變化數據和部分大氣環流數據，驗證了該方法的有效性[21]。注意力機制（attention mechanism）被廣泛應用于在自然語言處理、圖像識別及語音識別等各種不同類型的深度學習任務中，在深度學習中得到了普遍關注和深入研究[22]。在此基礎上，本研究利用注意力機制將CNN與雙向長短時記憶神經網絡（BiLSTM）相結合，提出一種作物病害檢測方法，并進行試驗驗證。其中，BiLSTM能夠提取環境因子特征，CNN能夠提取病害葉片圖像較強的分類特征，注意力機制用于將CNN和BiLSTM相融合進行病害檢測。

1 材料與方法

1.1 試驗材料

在陜西楊凌農業示范區采集小麥2種常見病害發病時的葉片圖像及其對應的環境信息和氣象數據。這2種病害與環境和氣象信息緊密相關，空氣溫濕度和日照對病害影響最大，病原生物的繁殖、傳播等與氣象因素相關度很大，在長時間低溫、陰雨、缺少陽光等環境下發病率較高，在多雨天會快速產生分裂孢子，在適宜的環境條件下會引起小麥這2種病。土壤類型和溫濕度及其酸堿性對病害發生有一定影響。利用數碼相機、智能手機和物聯網等采集2種病害葉片圖像各500幅，利用物聯網傳感器記錄對應的日均影響因子各500條。圖3為病害葉片圖像，表1為對應的環境信息和氣象數據。

將每幅病害葉片圖像對應表1中的各個日均因子進行歸一化處理，然后利用主因子分析方法選擇30個主因子，構成一個因子特征向量;然后由日均因子特征向量構建成一個矩陣，其中矩陣的行為 1 000 ，表示特征向量的數量，列為30，表示每個樣本的日均因子（用數值表示）。將整理好的數據文件data.xls通過xlsread函數導入MATLAB中。

1.2 試驗方法

1.2.1 長短期記憶模型

LSTM是一種特殊的遞歸神經網絡（recursive neural network，簡稱RNN）[23]。與RNN的區別在于，LSTM的3個控制門為輸入門、輸出門、遺忘門。其中，輸入門控制保存長期狀態c;輸出門控制把即時狀態輸入到長期狀態c;遺忘門控制是否把長期狀態c作為當前LSTM的輸出。LSTM通過加入的3個控制門學習長期依賴的信息，使其能夠保存長期狀態，解決只有一個隱藏層狀態h的RNN模型所存在的問題。在t時刻，LSTM有3個輸入，即當前時刻網絡狀態的輸入xt、上一時刻的輸入ht-1和上一時刻的單元狀態ct-1;LSTM有2個輸出，即當前時刻輸出ht和當前時刻的單元狀態ct。其中，x、c、h都為向量。LSTM的關鍵為如何控制長期狀態c。

假設W是門的權重向量，b是偏置項，則門控

制表示為

g（x）=σ（Wx+b）。（1）

式中：σ為sigmoid函數，其值域為（0，1）。

遺忘門、輸入門和輸出門分別表示如下：

ft=σ（Wf·[ht-1，xt]+bf）

it=σ（Wi·[ht-1，xt]+bi）

ot=σ（Wo·[ht-1，xt]+bo）。（2）

式中：Wf為遺忘門的權重矩陣;ht-1為t-1時刻狀態向量;[ht-1，xt]為把2個向量連接成一個更長的向量;bf為遺忘門的偏置項。

根據上一次的輸出和本次輸入計算用于描述當前輸入的單元狀態ct′：

ct′=tanh（Wc·[ht-1，xt]+bc）。（3）

計算當前t時刻的單元狀態ct：

ct=ft·ct-1+it·ct′。（4）

由式（4）把當前的記憶ct′與長期的記憶ct-1結合起來，作為新的單元狀態ct。LSTM最后的輸出由輸出門和單元狀態共同決定，表示為

ht=ot·tanh（ct）。（5）

反向傳播算法訓練LSTM的主要步驟為：（1）前向計算每個神經元的輸出值ft、it、ot、ct、xt、ht;（2）反向計算每個神經元的誤差項，包括2個方向：一個是沿時間的反向傳播，即從當前時刻t開始，計算每個時刻的誤差項;另一個是將誤差項向上一層傳播;（3）根據相應的誤差項，計算每個權重的梯度;（4）用梯度下降的誤差后向傳播算法更新權重。

1.2.2 卷積神經網絡

由于病害葉片圖像及其病斑圖像的復雜、多樣性，以及同一幅病害葉片或果實在不同情況下拍攝的病害圖像之間可能存在視角、亮度、平移、噪聲、擾動等差異，使得很難從病害圖像或病斑圖像中提取出有效的分類特征。針對現有CNN的訓練收斂時間長、模型參數龐大等問題，提出一種改進的CNN模型，描述如下：計算每個批次n個樣本的均值與方差，μ=1n∑ni=1xi，σ=1n∑ni=1（xi-μ）2，其中μ和σ分別為批次均值和方差;再將圖像歸一化，x～i=xi-μσ2+ε，其中ε為一個很小正數，保證表達式有意義，默認取為0.001。因為簡單地將數據歸一化可能影響原始生態的特征分布，所以通過變換重構來恢復原始的特征分布：yi=γix～i+βi，其中γi和βi分別為方差和均值，通過訓練得到。在模型訓練過程中，使用批次樣本的歸一化均值與方差，測試時則使用全體樣本的均值和方差。

為減少參數和克服過擬合問題，利用全局池化操作代替全連接操作，該操作是將最后一個卷積層的每個特征圖的所有值融合為一個特征值。與一般CNN模型中的全連接層相比，全局池化能夠增強特征圖與類別的關系、防止過擬合、對輸入的數據空間變換不變性、可避免Dropout參數尋優。改進的CNN模型結構，包括批歸一化處理、卷積和池化操作、全局池化操作、激活操作和分類識別。改進CNN模型的架構如圖4所示。

1.2.3 跨深度學習模型的作物病害檢測方法

雖然物聯網實時采集的作物視頻圖像和環境信息是2個完全不同的復雜數據模態，但他們之間存在著內在的必然關聯：若作物生長環境條件滿足某種病害發生的條件，則該病害發生;病害發生則會引起作物葉片出現病斑癥狀;病害圖像出現，則表明有病害發生;若病害圖像的病斑逐漸增大，則表明該病害有發展趨勢，所以作物病害圖像和環境信息都與病害發生有著緊密聯系，將兩者綜合考慮能夠更準確地檢測作物病害及其發展趨勢。在CNN和BiLSTM的基礎上，提出一種跨深度學習模型，并應用于作物病害檢測中，其基本架構如圖5所示。

在注意力機制層使用注意力機制計算CNN和BiLSTM的每個特征ai在當前時刻t的權重αt，i：

αt，i=exp（eti）/∑Lk=1exp（etk）。（6）

式中：eti=fatt（ai，ht-1），etk=fatt（ak，hk-1）為多層感知器;fatt（·）為中間變量;ht-1為最后時刻的隱藏狀態。

通過權值的測量，可以使網絡聚焦于最具鑒別性的區域和特征圖。分類層將注意力機制層輸出的結果，輸入Softmax分類器進行病害分類。損失函數J（θ）定義為

J（θ）=-∑x（i），y（i）∈Dlog[p（y=y（i）|x（i），θ）]。（7）

式中：θ為模型參數;D表示樣本數據構成的訓練集;[x（i），y（i）]表示訓練集中第i個樣本數據，x（i）是10維的向量，y（i）為病害類別;p[y=y（i）|x（i），θ]表示樣本[x（i），y（i）]病害檢測的概率。

2 結果與分析

為驗證基于跨深度學習模型的作物病害預測方法的可行性，以小麥白粉病為例，利用小麥病害發生期間的環境信息進行病害預測試驗，并對2種傳統方法和2種深度學習方法進行試驗比較。2種傳統方法為基于顏色、形狀、紋理特征的植物葉片病害圖像檢索分析（CST）[7]和基于葉片圖像和環境因子方法（LIEI）[12]，2種深度學習方法為基于LSTM作物病害檢測方法[20]和基于知識圖譜與雙向長短時記憶網絡（KGBiLSTM）[23]。試驗的硬件環境為內存 32 G、CPU Intel（R） Core（TM） i7-4790 8×3.60 GHz、GPU GeForce GTX Titan X，訓練速度使用單核Intel 3.47 GHz的15倍以上，深度學習架構為Keras，編程語言為python。

利用5折交差驗證法進行試驗，并進行50次交差驗證試驗，對病害葉片圖像和選擇的環境信息經過歸一化、分組和劃分數據集后，分別輸入CNN和輸入BiLSTM模型進行訓練。訓練時每次將1組數據輸入模型進行訓練，然后將模型預測結果與實際結果相比得到錯誤率，再使用一種合適的優化算法更新權重矩陣，以此提高模型的預測準確率。直到所有數據都輸入模型進行預測與權重調整后，完成對網絡的一輪訓練。試驗結果為50次試驗的平均值。利用Keras實現基于CNN和BiLSTM神經網絡的小麥病害預測模型，權重初始化選用均值為0、方差為1的高斯分布，隱藏層激活函數選用ReLU函數，輸出層激活函數選用SoftMax，選用交叉熵損失函數binary_crossentropy，即logloss，隱藏層節點數設置為32，優化算法選用Adam算法。以上這些參數作為默認參數。影響CNN和BiLSTM模型預測準確率的主要因素是batch_size與是否使用Dropout等。

由于使用Dropout抑制了部分節點，所以隨著迭代次數增加，準確率出現抖動情況，但驗證集準確率高于訓練集，未出現明顯的過擬合現象。CNN和BiLSTM模型在訓練集上的最高準確率達90.27%，在測試集上的最高準確率達94.38%（圖6）。

由表2可知，CNN與BiLSTM相結合的跨模型準確率最高，遠高于其他4種方法，其原因是跨模型方法利用了病害葉片圖像和環境信息，并利用注意力機制對得到的特征進行融合;LIEI方法次之，其原因是LIEI方法也利用了病害葉片圖像和環境信息進行病害檢測;KGBiLSTM方法的識別率比LSTM方法高，其原因是KGBiLSTM能將多源異構環境信息和氣象信息等關聯起來， 得到病害發生的主要因素;CST方法的識別率最低，其原因是該方法很難從病害葉片圖像中提取魯棒性的分類特征。傳統方法的訓練時間較短，其原因是傳統方法需要訓練的參數很少;跨模型方法的訓練時間很長，其原因是該方法涉及到的訓練參數很多，但當模型訓練好后，識別時間與一般深度學習模型基本一樣。跨模型在學習大量病害葉片圖像和環境信息后，能總結出一系列病害發生和發展的變化規律，由此可以預測環境信息對作物病害檢測和識別的影響，提出的作物檢測方法不具有該功能。因此，跨模型在作物病害檢測方面具有較好的準確率和穩定性。

3 結論

作物病害葉片圖像與病害發生相關的環境信息是病害識別與檢測的依據，但這2類數據是高度異構、冗余的，跨模型深度學習方法能夠通過在2類深度學習模型得到的特征進行融合，解決了基于病害圖像和病害環境信息相結合的病害識別與檢測問題。針對基于環境因子的作物病害檢測難題，在CNN、LSTM的基礎上，本研究提出了一種基于CNN和LSTM相結合的作物病害檢測方法。該方法為基于物聯網的作物病害檢測方法研究提供了一個新思路。結果表明，該模型能有效過濾缺失數據和噪聲數據，學習一系列環境因子序列的變化規律及其對作物病害檢測的影響，有助于提高大田作物病害檢測的準確率和可靠性。由于跨模型方法的參數很多，所以模型的訓練時間很長。下一步研究將對跨模型進行優化，提高訓練效率。

參考文獻：

[1]陳 潔. 農藥暴露與腫瘤的關系及非職業暴露人群農藥水平的評估與干預初探[D]. 廣州：南方醫科大學，2017.

[2]魯軍景，孫雷剛，黃文江. 作物病蟲害遙感監測和預測研究進展[J]. 遙感技術與應用，2019，34（1）：21-32.

[3]Andreotti G，Hou L F，Beane Freeman L E，et al. Body mass index，agricultural pesticide use，and cancer incidence in the agricultural health study cohort[J]. Cancer Causes & Control，2010，21（11）：1759-1775.

[4]李 紅，丁麗麗，田 英，等. 2019年新疆兵團棉花病蟲害發生趨勢預測及防治對策[J]. 中國棉花，2019，46（3）：42-43，46.

[5]刁智華，袁萬賓，刁春迎，等. 病害特征在作物病害識別中的應用研究綜述[J]. 江蘇農業科學，2019，47（5）：71-74.

[6]Barbedo J G A. A review on the main challenges in automatic plant disease identification based on visible range images[J]. Biosystems Engineering，2016，144：52-60.

[7]Patil J K，Kumar R. Analysis of content based image retrieval for plant leaf diseases using color，shape and texture features[J]. Engineering in Agriculture，Environment and Food，2016，10：69-78.

[8]Singh V，Misra A K. Detection of plant leaf diseases using image segmentation and soft computing techniques[J]. Information Processing in Agriculture，2017，4（1）：41-49.

[9]Ganatra N，Patel A.A survey on diseases detection and classification of agriculture products using image processing and machine learning[J]. International Journal of Computer Applications，2018，180（13）：7-12.

[10]Ashourloo D，Mobasheri M，Huete A.Evaluating the effect of different wheat rust disease symptoms on vegetation indices using hyperspectral measurements[J]. Remote Sensing，2014，6（6）：5107-5123.

[11]Zhang J C，Pu R L，Yuan L，et al. Integrating remotely sensed and meteorological observations to forecast wheat powdery mildew at a regional scale[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2014，7（11）：4328-4339.

[12]王獻鋒， 張善文，王 震，等. 基于葉片圖像和環境信息的黃瓜病害識別方法[J]. 農業工程學報，2014，30（14）：148-153.

[13]馬慧琴. 基于多源數據的小麥白粉病遙感監測與預測模型研究[D]. 南京：南京信息工程大學，2017.

[14]王 標，譚小平，尹 麗，等. 湖南省農作物重大病蟲害監測預警信息系統的研發與應用[J]. 中國植保導刊，2018，38（1）：37-43.

[15]張競成，袁 琳，王紀華，等. 作物病蟲害遙感監測研究進展[J]. 農業工程學報，2012，28（20）：1-11.

[16]邱 靖，劉繼榮，曹志勇，等. 基于卷積神經網絡的水稻病害圖像識別研究[J]. 云南農業大學學報（自然科學），2019，34（5）：884-888.

[17]孫文杰，牟少敏，董萌萍，等. 基于卷積循環神經網絡的桃樹葉部病害圖像識別[J]. 山東農業大學學報（自然科學版），2020，51（6）：998-1003.

[18]張善文，黃文準，尤著宏. 基于物聯網和深度卷積神經網絡的冬棗病害識別方法[J]. 浙江農業學報，2017，29（11）：1868-1874.

[19]王獻鋒，張傳雷，張善文，等. 基于自適應判別深度置信網絡的棉花病害預測[J]. 農業工程學報，2018，34（14）：157-164.

[20]Xiao Q X，Li W L，Chen P，et al. Prediction of crop pests and diseases in cotton by long short term memory network[M]//Huang D S，Jo K H，Zhang X L，et al. Intelligent computing theories and application. Cham：Springer International Publishing，2018：11-16.

[21]肖晴欣. 基于長短時記憶網絡的棉花病蟲害發生預測研究[D]. 合肥：安徽大學，2019.

[22]Mi Z J，Jiang X H，Sun T F，et al. GAN-generated image detection with self-attention mechanism against GAN generator defect[J]. IEEE Journal of Selected Topics in Signal Processing，2020，14（5）：969-981.

[23]張善文，王 振，王祖良. 結合知識圖譜與雙向長短時記憶網絡的小麥條銹病預測[J]. 農業工程學報，2020，36（12）：172-178.