基于卷積神經網絡的農業病蟲害識別研究綜述

李子涵, 周省邦, 趙 戈, 張克智, 曾 倩, 吳夢濤

(南寧師范大學物理與電子學院,廣西南寧 530299)

農作物病蟲害是農業生產的重要災害之一,嚴重影響農業持續穩定發展。中國是一個農業大國,農業收益一直深受病蟲害嚴重影響。據統計,我國每年農作物有害生物發生面積超過4億hm2[1]。近年來,隨著我國植物保護能力的明顯提高,通過采取各種病蟲害預防與治理手段,我國每年可減少糧食損失8.7×1010～1.1×1011kg,占全國糧食總產量的16.0%～19.5%[2]。識別農作物病蟲害的傳統方式,需要農業專家現場鑒定農作物具體病癥,才能對癥下藥,這種方法不僅費時費力,而且效率低下。

隨著計算機圖像識別與處理技術不斷創新發展,病蟲害智能識別技術進入了農戶們的生活,運用機器學習技術識別農作物病蟲害已成為可能[3]。由于手機和移動互聯網的普及,市場上已經出現一些農業圖像識別軟件,用戶可以將發生病蟲害的作物圖像上傳軟件,軟件程序對用戶上傳的照片進行分析,反饋病蟲害識別診斷結果,可幫助用戶及時采取正確的措施,最大化減少病蟲害帶來的損失。

為了更進一步探索計算機圖像識別技術在農業病蟲害方向的研究,本文對此領域的相關技術進行了總結。提出其各項研究技術,分析其技術架構與優劣,并從數據源的選擇、數據的預處理、神經網絡模型選擇與優化幾個方面進行對比,提出現階段存在的問題與挑戰,最后提出該領域可開展的相關工作。

1 農業病蟲害識別方法

1.1 傳統農業病蟲害檢測

對于農作物來說,感染了疾病或者遭遇了蟲害的作物均會產生一些明顯的標記或者損傷。早期專業研究人員和經驗豐富的老農可通過目視或者將植物樣本送入實驗室檢測等手段來檢測病蟲害發生原因[4]。傳統防治通常會根據經驗進行預控,但預防只能起到控制和減少的作用,并不能徹底消除病蟲害。但是這些傳統人工手段均有著相當的局限性:(1)對于病蟲害的診斷需要專業知識儲備,普通農民往往不具備這種能力從而導致使用錯誤的補救措施;即使專業的診斷人員,也會因個人經驗水平和能力因素的差異性,不能準確地辨別出所有病蟲害類型。(2)部分蟲害的特征在視覺上有著極高的相似度,即使是專業人員也有可能會因為視覺疲勞、光線不足而做出誤判。(3)對早期疾病進行檢測和防止疾病傳播,需要持續不斷地對植株進行監控檢測。但是田間環境復雜,人力容易遺漏或忽視不明顯的患病植株,這一過程非常耗費人力物力,而且效率低下。

1.2 基于機器學習的病蟲害識別技術

圖像識別技術目的是利用計算機代替人力去處理大量的物理信息。圖像識別技術在識別圖片過程中,利用數據分析、數據挖掘等技術,掃描得到圖像特點,從數據庫中找出具有相同、類似的圖像,從而完成識別處理工作[5]。計算機技術的發展使得圖像數據量越來越大。相關學者使用機器學習方法對害蟲圖像進行識別和分類。用于圖像識別和分類的機器學習方法可以分為無監督學習和監督學習2種:(1)采用無監督學習的k-means算法對圖像特征進行自動分類。(2)利用支持向量機(support vector machine,簡稱SVM)進行監督學習識別圖像。利用灰度圖像特征和區域特征對感染病蟲害葉片和健康葉片進行分類?；跈C器學習的病蟲害圖像識別技術過程分為信息獲取、特征抽取、模式分類和分類決策4個部分,其技術流程見圖1。

雖然相較于人工手段識別有了巨大的提升,但是該方法依舊存在著一些問題?；跈C器學習的病蟲害識別技術是由程序員或專家來實現特征提取過程,然后將特征列表輸入傳統神經元網絡,對輸入數據進行分類。這一過程相當復雜且同樣耗費大量人力物力。

1.3 基于深度學習的病蟲害識別技術

由于基于機器學習的分類技術需要復雜的數據集來進行分析,不易操作,因此現階段大多數圖像數據分類方法使用的是深度學習算法,而不是傳統的機器學習方法。其中,特征自動提取過程是深度學習的關鍵。計算機技術的進步使得使用深度學習技術代替其他技術成為可能。

在深度學習出現之前,人工智能很難對圖像進行很好的處理,主要原因有2點:(1)因為圖像都由像素構成,一張普通圖片就會包含上百萬個參數,而需要處理的圖片則可能會有上萬張,如此大量的數據處理起來非常消耗資源。(2)將一張圖像數字化過程中很難存其原本的特征,這樣會極大降低圖像處理的準確率。

卷積神經網絡(convolutional neural networks,簡稱CNN)是一類包含卷積計算且具有深度結構的前饋神經網絡,是深度學習的代表算法之一[6-7]。卷積神經網絡可以利用其卷積核與池化操作,對數據進行降維,對原圖像的大量數據進行壓縮提取。同時,它采用了特征提取的方式,保留了圖片最關鍵信息,即像素與像素之間的關系。從像素的角度判斷對圖片進行分割對比,因此圖片無論是旋轉、裁剪、放縮,都仍然會被視作是類似圖片。

卷積神經網絡中提出了一階段的非線性特征變換。其中,單個特征集是通過使用每一個隱藏層的神經元組來訓練的,它依賴于前一層的輸出。具有隱含層的可訓練分類器實現了特征提取過程從低級到高級。淺層卷積層提取了圖片基礎特征,比如葉片的邊角,植株的輪廓等基礎特征。深層卷積層提取了高級特征,比如昆蟲形狀等抽象特征。卷積神經網絡特征提取過程見圖2。

近年來,國內外大量人員嘗試將卷積神經網絡與農業領域結合起來,并利用卷積神經網絡模型,在病蟲害識別領域取得了巨大的成功,這些網絡模型在大規模識別任務中,已能實現優于相關專家的識別準確度[8]。

2 基于卷積神經網絡的病蟲害識別關鍵技術

基于卷積神經網絡的農業病蟲害識別技術應遵循數據源選擇、數據預處理、數據增強、數據預訓練、神經網絡模型架構、網絡模型優化這6個主要步驟。本文通過對國內外病蟲害識別成果的調研,分別從數據規模與獲取方式2個方面歸納總結獲取農作物病蟲害數據的方式。再從數據預處理、數據增強、數據預訓練3個方面介紹進行病蟲害識別的必要準備。最后對比各個文獻中卷積神經網絡模型選擇的優劣之處,并總結出網絡模型優化方法。

2.1 數據源選擇

深度學習依賴于大數據驅動,適當的數據準備有助于模型找到最優參數,因此高質量、大規模、高標注的數據集對于神經網絡的訓練有著極大幫助。

在農業病蟲害識別方面,數據源主要獲取方式有3種:第一類是利用現有的公共數據集,或是由相關研究所提供數據,使用較為廣泛的數據集有Plant Village、農業病蟲害研究圖庫(IDADP)等。第二類是自主獲取所需數據,研究人員使用手機、攝像機、無人機、農業傳感器、農業機器人等設備去田間拍攝,又或是直接從互聯網上收集所需圖像數據。本文總計所研究文章的數據集選擇情況見表1。

表1 數據集選擇

2.2 數據預處理

目前,對病蟲害開放的數據集很少,研究者通常通過比較不同的訓練集和測試集比例,使用不同的網絡模型來找到最優的解決方案[39]。然而,這些圖像的內容很容易受到無關信息的干擾,照片所包含內容不一定能夠代表真實情況,利用手機等移動設備進行拍攝的圖像也會由于像素不足、鏡面變形等原因與實際場景有所不同。這時需要研究人員對獲得的數據進行預處理,使原始數據更適于網絡的計算,通過對數據的處理變換,提高模型訓練表現和泛化能力。具體預處理方式及其說明見表2。

表2 數據預處理方式

數據預處理后,深度學習檢測方法通常需要使用標注后的數據來訓練模型。標注越準確、標注的數據量越大,算法的性能就越好。病蟲害識別方面常用的數據標注軟件有labelimg、labelme,所調研文獻中對數據標注工具的使用情況見表3。

表3 標注工具

2.3 數據增強

數據增強也叫數據擴增,是在不實質性增加數據的情況下創建相同數據的不同變體,增加數據集的多樣性。數據增強可以增強數據的泛化能力,能夠有效避免模型出現過擬合的情況。擁有一個更大、更均勻的數據集的顯著優點是可以削弱特征不明顯圖片在整個數據集中所占比重,從而大大減弱了數據集中存在的不合理偽元素對識別效果的不利影響。

數據增強可以分為有監督的數據增強和無監督的數據增強方法。有監督的數據增強包括幾何變換、空間變化、顏色變換等。無監督的數據增強包括Goodfellow等提出的GAN[43],Cubuk等提出的Auto Augment[44]。GAN可以通過學習模型的特征,生成可以以假亂真的圖片,Auto Augment則可以自動搜索合適的數據增強策略,自行增強數據。

在進行數據增強時,研究人員往往采取多種增強方式,而并非單獨一種。文章所涉及數據增強方式見表4。

表4 數據增強方式

Duan等通過在倍率為0.2的范圍內對圖像進行剪切和縮放,將原始圖像分離成多個增強圖像[31]。從而降低了圖像的復雜性,促進了波動圖像的表示并通過由原始圖像生成各種形狀和不同角度來擴大了原先的數據集。Sladojevic等通過對單幅圖像進行仿射變換與透視變換,在圖像中人為增加輕微失真,用以減少過擬合[23]。Liu等通過隨機增加或減少像素的RGB值來調整每個圖像的亮度值[17]。根據亮度的中值,通過增大較大的RGB值,減小較小的RGB值來調整圖像的對比度值來獲得新的圖像。

用數據增強技術擴充數據集,往往會得到比擴充前更好的識別結果,其原因有2點:(1)使用更多的真實圖像增加了神經網絡的容錯率,從而神經網絡更容易提取到實際特征。(2)通過分割過程消除冗余元素(如復雜背景等),使生成的圖像具有更精確的特征,使神經網絡能夠聚焦在正確的元素上。

2.4 遷移學習與預訓練

卷積神經網絡在圖像識別領域固然有著得天獨厚的優勢,但也有著顯著缺點。卷積神經網絡的深度架構帶來了優越的特征提取能力,但是會花費巨大的計算資源。從零開始訓練的卷積神經網絡需要大量的注釋數據集,即使有專家的意見,也很難將每張圖片歸類為作物病害。

為了在有限的數據量下達到良好的分類精度,許多研究人員選擇了遷移學習的方式來訓練自己的模型,從而節約成本、加快網絡收斂速度。神經網絡對海量數據進行訓練的最終目的就是將它們轉化為相應的權重參數。而遷移學習可以將訓練所獲得的參數遷移到其他神經網絡中。這樣避免了從零開始訓練一個神經網絡,極大地節約了資源與時間。

Yosinski等進行遷移學習試驗證明了小數據集也可以通過遷移學習達到良好的訓練效果[46]。

在計算機視覺領域中,遷移學習通常是通過加載預訓練模型來實現的。預訓練模型是在大型基準數據集上訓練的模型,此類模型是一些已經由別人訓練完善的模型,用于解決相似的問題。

遷移學習過程如圖3所示。

Singh等使用了Keras深度學習模型[VGGNet,InceptionV3,DenseNet,InceptionResNetV2,Mob-ileNet,NASNetMobile]在ImageNet數據集上進行預訓練[30]。根據其應用的需要,將所有模型的頂層全連接層、SoftMax層和輸出層替換為全局平均池化層,隨后用k-means分割后的椰子圖像目標數據對頂層進行訓練。并在對從卷積層總數的9/10進行微調時,達到了最高的精度。其中,MobileNet的初始驗證準確率最高,為82.10%,微調之后驗證準確率達到了96.94%。

Tahir等使用了Inception V3作為遷移學習模型,并實現了一種名為方差控制Na?ve 貝葉斯的方法提取特征[15]。該方法用于發現每個像素與相鄰像素之間的差異,并用于對不同區域進行分類。

Liu等提出運用混合訓練與遷移學習相結合的前訓練模型對模型進行微調。與傳統方法相比,遷移學習顯著影響模型的改進[38]?；旌嫌柧毰c遷移學習相結合時,模型F1評分提高了3.73%,AP值提高了2.64%,平均IoU值提高了2.64%。

Sladojevic等刪除了caffeNet中的softmax分類器,并使用隨機值初始化新的分類器,同時為了解決數據集規模較小,通過對參數的實驗調整,得到最適合植物病害檢測的模型[23]。

2.5 網絡結構模型選擇

在深度學習網絡中,特征提取是一個重要的組成部分。特征提取器通常是由多個卷積層和池化層組成的復雜網絡結構。它可以提取圖像的深層特征,用于目標識別和定位。特征提取的深度和層次類型將影響系統的速度、識別和定位精度。選擇合適的特征提取網絡模型對提高系統性能非常重要。

本研究是基于卷積神經網絡的圖像識別技術,因此所涉及的研究模型無論是自訓練模型或是通過遷移學習進行訓練,均是卷積神經網絡模型,如用于物體分類領域的網絡模型:AlexNet、VGG、Inception、ResNet、MobileNet等和目標檢測領域的網絡模型如R-CNN、YOLO等。本研究具體所涉及主要模型網絡結構特點及其優缺點見表5。

表5 各模型網絡結構特點及其優缺點

除了表5所述模型之外,相關研究人員采取了其他模型進行試驗。

Singh等考慮到Faster R-CNN架構中的錨點操作中任何微小的位置錯誤都會導致一些事件(如微小害蟲的發生)被忽視[30]。于是Singh增加候選對象的位置精度,利用雙線性插值的方法計算采樣點的像素值,從而避免位置錯誤帶來的影響。Turkohlu等提出了一種基于n×n大小劃分方法的多分割卷積神經網絡(MD-CNN)模型,用于植物物種分類[22]。利用2×2、3×3、4×4、5×5等窗口大小將植物圖像分成若干部分,并對每一部分進行深度特征提取。最后,將分割得到的突出特征進行組合,取得了十分優秀的效果。Liu等專門為葡萄病害檢測而設計了UnitedModel,該模型由多個CNN組合,能夠提取互補的判別特征,對葡萄葉片病害識別實現了96.58%的準確率[17]。Thenmozhi等在他們的模型中在每個卷積層和ReLU層之間使用了批處理歸一化層,最大限度地提高了訓練效率,減少了過擬合[24]。Cubuk等在CNN基礎上將其改進提出DCNN模型,新模型改變了ReLU層的順序,將ReLU層放在2個卷積層之間,并在每個block的末尾設置1個池化層,減少了輸入信息的丟失,有利于深度網絡的收斂[44]。

2.6 神經網絡模型優化

如果卷積神經網絡訓練的效果并不夠好,就需要對網絡模型進行優化。需要使用各種優化策略和算法,來更新和計算影響模型訓練和模型輸出的網絡參數。進行算法優化的目的是為了通過改善訓練方式,來最小化(或最大化)損失函數。常見優化器算法如表6所示。

表6 常見優化器算法

Saleem等使用了多種優化器對CNN模型進行訓練,使用Adam優化器訓練的Xception模型獲得了最高的驗證精度和F1得分,分別為99.81%和0.997 8,表明了Adam優化器的有效性[25]。然而,當針對Xception和級聯模型分別將優化函數從SGD更改為Adagrad和RMSProp時,也觀察到了性能的下降。

除了算法優化之外,Jiang等使用了批處理歸一化。由于一開始使用了較低的學習率和保守的參數初始化,減慢了訓練速度,從而使得訓練具有飽和非線性的模型變得非常困難[14]。但是批處理歸一化可以使用更高的學習率和面臨更少的初始化問題,使得模型擁有更快學習速度和更高整體準確性。

Goodfellow等對權重和偏倚學習率進行了修正,他們發現隨著偏置和學習率從網絡全局學習率的10倍增加到40倍,使用VGG16網絡時,分類準確率從97.33%下降到96.19%[43],得出快速學習率降低了VGG16網絡的準確率這一結論。

學習率是影響卷積神經網絡模型效率的一個重要因素。較高的學習率加速了學習過程,導致損失函數增加,而較低的學習率則使損失函數緩慢下降。Thenmozhi等以0.000 05、0.000 1、0.000 5和0.001的學習率訓練他們提出的模型[24],結果表明,當學習率設置為0.000 1時,分類準確率得到了較好的結果。He等通過調整Faster R-CNN中錨點的大小,來提升網絡訓練結果的質量,同時調整batch_size的大小,得出當base_size值為4時即錨節點大小分別為32×32、64×64和128×128時訓練效果最好[33]。

3 卷積神經網絡在病蟲害識別應用中的挑戰與展望

3.1 面臨的挑戰

雖然卷積神經網絡技術是當下最熱門的深度學習技術,近年來,基于卷積神經網絡的農業病蟲害識別技術在研究上取得了良好的效果。但是,該技術在農作物病蟲害識別領域的應用尚處于起步階段。此外,因為農業病蟲害問題有著一定程度的復雜性,在實際場景中,病蟲害識別依舊有著相當程度上的缺點與局限性。

3.1.1 數據獲取困難 目前,對于農業病蟲害數據,我國并沒有建立起足夠大型和豐富的數據庫,研究人員需要耗費大量人力物力和時間去自行采集數據。且研究人員所研究的病種和農業作物往往并不相同,彼此之間也無法進行數據交換,極大地降低了研究效率。當然研究人員可以利用數據增強手段擴大自己的數據集,但是在這一過程中不可避免地會發生信息損失的情況。如針對某些病害,葉片大面積潰爛,枝葉部位覆蓋大量蟲卵等。圖像裁剪會導致葉片潰爛面積的不準確,以及蟲卵密度信息失衡,造成關鍵信息丟失。

3.1.2 圖像檢測困難 對于農業病蟲害來說,收集到的圖片往往會存在一些問題。(1)病蟲害發生情況并不唯一。有些病蟲害無法識別,因為在發生危害之初無法觀測到病/蟲源。絕大多數能夠識別出來的病蟲害,等可以識別的時候又已經太晚了。(2)光源問題。自然環境下光線是不穩定的,即使使用人工照明,葉片或樹枝也會遮擋光線,導致照明不均勻,對圖像造成偏差。(3)圖片背景復雜。對于病蟲害圖片來說,它們的取材通常是來自農田或者人工大棚,圖片背景是不確定的土壤類型[47](泥濘、紅土、高堿)和植物殘留物,極大提高了檢測難度。(4)害蟲的偽裝。為了生存,許多害蟲都偽裝起來,它們具有與生存環境相同的顏色和形態特征,甚至可以極其相似地模擬植物的枝葉[48]。這些情況對識別算法有著不同程度的影響,從而導致圖像識別錯誤。

3.1.3 卷積網絡模型泛化能力差 研究人員所選取的數據集往往只是從某一個農場或是某一地區取得。對于農作物而言,不同的地理環境、氣候環境,往往會帶來很大的影響。本研究訓練和測試數據集大多取自同一個數據源,它只包含了試驗中可能發現的所有可能性的一個非常有限的子集。對于這些研究來說,或許他們取得了相當優秀的結果,準確率高達90%甚至95%。但是如果將他們的網絡應用到不同源數據集時,不能斷言它們一定會依舊獲得同樣優秀的結果。

3.1.4 卷積模型訓練過程無法確定 在本文所研究的論文中,數據規模最低的僅有200個樣本,最高的則高達80 000個樣本。但沒有任何試驗給出了一個明確地答案,即需要多少張圖像足以讓神經網絡正確地學習其數據集的特征。由于卷積神經網絡的黑盒性質,其訓練過程無法被觀測到,人們無法得知具體訓練過程是如何進行的,只能根據經驗設置超參數,進而一步步摸索模型最優解。

3.1.5 訓練過程緩慢且需要消耗大量資源 卷積神經網絡的深度架構帶來了優越的特征提取能力,但是高復雜的網絡結構使得訓練過程十分緩慢,同時會花費巨大的計算資源,它需要配備擁有圖形處理單元(graphics processing unit,簡稱GPU)和大量隨機存取存儲器(Random Access Memory,簡稱RAM)的昂貴系統來訓練模型。同時,由于嵌入式平臺的GPU性能遠低于計算機。一些依賴高性能GPU來實現實時目標檢測的深度神經網絡在嵌入式平臺的目標檢測速度會明顯下降。

3.2 展望

自卷積神經網絡理論被提出以來,其表征學習能力一直受到大范圍的關注。隨著計算機硬件設備的發展,卷積神經網絡在圖像識別上面展現出的巨大潛力,通過總結國內外研究現狀可以得知,基于卷積網絡的病蟲害識別技術極大地提升了農業生產效率。因此,進一步推進病蟲害識別技術,解決病蟲害識別應用中的困難與局限性對于保障農業生產、推動農業經濟發展具有重要意義?？傮w而言,現階段利用卷積神經網絡解決病蟲害識別的難點可分為病蟲害數據處理與神經網絡模型的性能優化2個方面。

為了克服這些困難,首先需要構建充實豐富的病蟲害數據庫。構建充實豐富的病蟲害數據庫,可以考慮開發一種基于5G的實時自動檢測系統,利用無人機,或是地面機器人,對作物上的害蟲進行近距離實時檢測,以進行大面積疾病害蟲管理與拍攝,再由專家正確地標記。同時進行世界范圍內數據共享,讓世界各地的研究小組在不同地區收集具有非常不同特征的圖像。對相應的數據集進行適當的整合,以取得特征更為明顯、噪音更加簡單的圖像,得到的圖像集將更具代表性,研究結果將更有意義,更適用于農業生產的條件。其次應研發性能更加優越的神經網絡模型。可從性能、效率、可視化、可移植性多方面考慮,解決模型泛化能力差、訓練速度慢、訓練過程不清晰、識別精度不穩定等方面的問題,形成可對抗復雜環境、多種病蟲害特征、可大規模應用于嵌入式設備的網絡模型。

除了圖像分析之外,還要結合環境因素、水肥供給、農事操作記錄等,從多方面與農業理論相結合。需要專業的農業研究人員與計算機視覺研究人員之間相互配合,進一步提高病蟲害識別技術的實際應用效率。

4 結論

本文綜述了利用卷積網絡模型進行病蟲害識別這項技術在國內外的研究進展。討論了文獻中病蟲害識別關鍵技術中如數據源選擇、數據預處理手段、神經網絡模型的不同與相似之處。從結果對比上來看,越豐富、越真實、種類越多的數據源以及經過初始化處理了無關信息的圖片,對病蟲害識別準確率有著極大的提升。對于神經網絡模型的選擇,針對不同的任務可以選擇不同的類型,如追求速度與效率的MobileNet,用以處理大量特征參數的ResNet,以及需要對目標進行定位的YOLO。最后提出了該項技術現階段的不足之處和未來的發展趨勢,從短期看來,農業病蟲害識別上的卷積網絡應用短時間內無法達到真正解決病蟲害問題,現階段依舊存在著數據獲取困難、模型訓練消耗太大等諸多困難。雖然離實際應用還需要一段時間,但是不可否認的是,卷積神經網絡在農業方面有著光明的前景,而現在的很多經驗,以后也將成為其背后大數據的一部分。