基于深度殘差網絡與遷移學習的水稻蟲害圖像識別*

汪健，梁興建，雷剛

(1. 四川工程職業技術學院軟件工程系,四川德陽,618000; 2. 四川輕化工大學計算機科學與工程學院,四川宜賓,644005; 3. 四川工程職業技術學院電氣信息工程系,四川德陽,618000)

0 引言

計算機視覺和模式識別技術越來越多地被運用于解決昆蟲分類的問題,即通過田間圖像來識別昆蟲以及它們對應的種類。據估計,世界上有超過500萬種的昆蟲,對昆蟲的分類是一項艱巨的任務。并且圖像和物體的變化會導致在顏色、姿勢、紋理、變形和背景雜波等方面的變化,從而使得模式識別的任務中增加了更多的不確定因素。

昆蟲的分類一直是一個極具挑戰性的研究課題。而隨著高分辨率數碼相機的出現,以及一些新的模式分類算法和機器學習算法的應用,這個問題也逐漸變得不再那么棘手。Martineau等[1]調查概述了44個最新的關于昆蟲圖像分類的研究文獻。其中,大部分的研究使用的圖像都是基于實驗室環境的,只有三篇論文報告使用了基于野外田間的圖像。圖像采集的條件對于昆蟲分類的結果影響很大,因為露天的圖像在背景、自然光照、昆蟲姿勢、密度和變形方面的變化比實驗室圖像要大。此外,考慮到分類樹自上而下有序地進行物種分類時需要更高的精度,因此物種分類的效果也很重要。

水稻是世界上最主要的糧食作物之一,為了達到提高水稻作物產量的目的,需要使用大量的殺蟲劑,這就需要對害蟲進行準確識別,并對害蟲危害程度進行精準預測。水稻作物(谷類)原產于中國和印度,七千年前中國長江流域的先民們就曾種植水稻,世界上有一百多個國家種植水稻,世界上近一半人口以大米為主食[2]。水稻主要生長于熱帶和亞熱帶地區,適宜的生長溫度為12～40 ℃,最適28～32 ℃。從播種到成熟,水稻的生長周期為90～100 d。與其他的農業產品一樣,蟲害是影響水稻作物產量的一個主要問題。如果沒有對害蟲進行恰當的管理,那么40%的水稻產量將遭受到影響。因此,在早期對水稻田中的害蟲進行精準識別將有助于在后續對水稻作物進行可持續的管理。

水稻蟲害的發生率和嚴重程度因國家地區而異。本文列出了15種最常見的且被普遍認為對水稻作物有危害的害蟲。這些害蟲可被分為兩類,第一類是對水稻作物有主要威脅的害蟲,有稻縱卷葉螟、二化螟、稻水象甲、麻皮蝽、東方螻蛄、稻蝗和稻綠蝽。第二類屬于次要害蟲,主要是稻棘緣蝽、水稻大螟、甜菜白帶野螟、中華劍角蝗和稻飛虱等。在這些所有的害蟲中,稻蝗被設定為需要被最優先識別,因為一旦這種害蟲在水稻種植園中出現,那么它們將會在水稻種植全周期的各個階段造成最為嚴重的損害。

為了解決水稻害蟲的識別問題,本文設計一個新的改進深度殘差學習模型,并將該模型與其他有效的卷積神經網絡(Convolutional Neural Networks, CNN)模型進行了對比測試,測試基于遷移學習方法進行,首先從ImageNet[3]處獲取初始的權重,然后基于交叉驗證方案,以原圖加增強圖像的方式利用病蟲害研究圖像數據集來訓練網絡。

1 水稻病蟲害圖像識別現狀

害蟲分類識別是解決精準農業中昆蟲學問題的要點之一。在全世界的水稻生態系統中,可能出現了多達一千種的昆蟲。但估計,其中大約只有20～60種昆蟲是害蟲,且這些害蟲中有5～10種會對農作物造成十分嚴重的危害[4]。

識別圖像中的活體昆蟲,特別是對其所屬的物種進行分類是一個在許多應用場景中都亟待解決的重要任務。在農業方面,識別出種植園中的昆蟲和一般害蟲可以有助于人們采取相應的控制方法和判斷害蟲損害產量的程度。通過手持相機的方式來監測種植園中的昆蟲是一種有效的檢查方法,尤其是當以這些圖像為輸入的算法能夠被證明它在自動分類過程中取得的結果是盡可能準確的。

Martineau等[1]就昆蟲分類的問題進行了研究,發現在已發表的44篇研究論文中僅有3篇(即約7%)在昆蟲的分類問題中使用了基于田間現場的圖像。Mayo等[5]收集了774張隸屬于35個不同物種的活體飛蛾的圖像,蛾子首先被誘捕,然后在純色背景下被拍攝照片;接著,昆蟲的圖像被轉換為二進制碼(背景、前景),并在僅其中提取特征項,即像素數、比率、內部密度、標準差、傾斜度和彎曲度;最后通過采用支持向量機算法對這些昆蟲進行分類識別,結果顯示對昆蟲類別的識別精度平均達到了85%。Fina等[6]通過使用彩色圖像分割法在K-Means聚類過程中將昆蟲與葉子的綠色像素分開,然后將多個屬于相同物種的昆蟲放在不同的二維旋轉位置上來訓練過濾器,最后通過數據集模板與各個已被分割過的輸入圖像之間的相關性來完成匹配。結果顯示,該方法基于30張不同作物的圖像進行了測試,并取得了成功。Xie等[7]提出在稀疏編碼方案中使用多組特征(顏色、形狀、紋理、SIFT、HOG)來表示在不同作物上的24種屬于不同物種的昆蟲圖像,然后采用多核學習作為分類方法來根據田間現場圖像判斷昆蟲的類別。在該模型中,針對每個不同昆蟲的種類都使用了60張圖像進行訓練,且針對每個昆蟲種類平均采用了25張圖像進行了測試。結果顯示,該方法可達到85.5%的識別準確性。在Xie等[7]創建的數據集中,昆蟲的特寫鏡頭約占所有圖像的85%～90%。

目前,很少有文獻是基于田間現場圖像進行害蟲的分類與識別。Gassoumi等[8]選擇了經常出現在種植園中的12種昆蟲,并在它們的二元分割圖像中提取了10個形態學形狀特征。然后針對每個類別采用人工神經網絡的決策樹方法來進行昆蟲分類。然而,Gassoumi等[8]在研究中并沒有提到所使用的圖像的數量。

自2014年以來,許多文獻在解決關于視覺物體識別達到問題時都采用了深度學習技術[9]。深度學習技術具有多層處理的計算模型,能夠從數據中學習其固有的結構,并在困難的情況下對模式進行精確分類。圖像分析和深度學習技術也逐漸開始在農業領域運用[10]。深度學習技術在農業領域最常見的應用是關于葉基病害、植物識別、作物和產量估計[10]。最近也有一些研究開始利用深度網絡來解決害蟲的分類問題[11-12]。

Cheng等[11]使用了基于田間現場的圖像和深度學習模型來解決昆蟲分類的問題。并從Xie等[7]創建的子集中選擇了10種不同類別的昆蟲,且設置了每個類別的昆蟲有55張圖像,分別利用AlexNet模型和兩個深度殘差網絡(ResNet-50、ResNet-101)計算得出了分類結果。上述三種方法針對這10種參與了測試的昆蟲進行了分類,識別準確率分別為86.67%、94.67%和98.67%。但是,選擇的昆蟲的物種彼此之間的差異較大,且它們一般會出現在不同的生態系統中。Lim等[12]提出了一種名為AlexNet的架構,基于ImageNet數據庫針對27種昆蟲進行了分類,并對分類結果進行了分析。研究結果發現,模型中卷積核的數量以及昆蟲圖像的大小都會影響分類的性能。結果顯示,昆蟲識別的平均準確率最高可達81.82%。

2 試驗數據集的采用

試驗采用的數據集來源于農業病蟲害研究圖像數據庫(Image Database for Agricultural Diseases and Pests Research,IDADP) http:∥www.icgroupcas.cn/website_bchtk/index.html,IDADP中幾乎涵蓋了各種農作物病害圖像,每個圖像的分辨率幾乎都超過了1 000萬像素,完全能夠滿足研究使用。其建立了一個可為機器學習建模提供訓練和測試樣本的農作物病蟲害識別研究圖像數據集。如圖1所示,本次研究以水稻作為具體對象,同時將借助于該數據庫進行分析。

為了在訓練和測試分類器的過程中能夠運用到更多的圖像,本文采用了一系列的變換操作來產生更多的圖像,包括將初始圖像進行90°、-90°和180°的旋轉,將圖像在10°范圍內進行額外地隨機旋轉,變化像素強度,部分隨機滑動,以及隨機放大圖像到1.5倍,或隨機的拉伸。訓練集和測試集中圖像數量的最終比例被設定為8∶2,所有的圖像都被調整為224×224、PNG格式的彩色3(RGB)通道。總體而言,由16種不同類別的昆蟲組成,其中有15種害蟲(3個幼蟲階段和12個成蟲階段)和一種僅有植物而沒有昆蟲的類別。每個類別(共12個類別)都有15張原始圖像,以及200張增強的圖像。因此,該數據集中總計共有180張原始圖像和2 400張增強圖像。

3 圖像識別方法

3.1 CNN與深度殘差學習

在計算機視覺領域,CNN和深度學習技術的出現使得物體的識別和分類能夠取得較高的適用性和精確性[11]。一個典型的CNN由一系列階段組成,其中依次包括卷積層、非線性整流層和池化層。為了分層提取和選擇特征,CNN最后將全連接層作為分類器進行決策,一個典型的CNN的架構如圖2所示。反向傳播算法一般被應用于權重的學習。雖然絕大多數的架構需要大量的訓練來優化其權重,但微調方案允許通過導入由大量類似數據(如彩色圖像)訓練得出的初始權重來設置權重,并以此基于問題數據集進一步設計一個分類器。

圖2 典型CNN模型示意圖Fig. 2 Schematic diagram of typical CNN model

圖3為常規CNN的網絡與深度殘差網絡對比。

(a) 常規CNN網絡

(b) 深度殘差網絡圖3 常規CNN的網絡與深度殘差網絡對比Fig. 3 Comparison between conventional CNN network and deep residual network

在大多數的圖像識別任務中,CNN都設定了最高的比率。在第一批CNN取得巨大成功后,人們提出了新的體系結構,增加網絡深度是提高準確性的有用策略。然而,隨著層數的增加,網絡飽和的精度會迅速降低[13]。解決這個問題的辦法之一是通過在某些層之間添加快捷連接,將網絡映射重新構建為剩余網絡。圖3(a)顯示了常規CNN的網絡層,圖3(b)顯示了具有不同映射方案的深度殘差網絡。從開始僅有五層結構的LeNet,發展到后面達到了19層結構,直至今天已經超過100層,這也代表了未來CNN的趨勢是要不斷深化網絡層[13]。

3.2 深度殘差模型

本文提出一個改進的深度殘差模型,即對ResNet34網絡進行改進,通過轉換池化的方法并且將其結構進行調整,將1×1卷積完全替換原來的結構。而原結構中的全連接層則主要搜集分析全局信息,并且獲得整圖的特征,再將其進行降維。卷積層則主要用于在有效范圍內獲得特征,從而得到從感受野覆蓋到全圖的卷積核,作用和連接全連接層類似,計算過程等效。1×1的卷積能夠有效抓取特征圖中的卷積核數量,如果特征圖的卷積核數量明顯減少,那么參數量也會相應地出現明顯減少。如此改進能夠增加其判別能力,然后使用批量歸一化方法可以讓景觀背景更加平滑,得以優化,從而達到獲得更大的學習速率和更快收斂的目的[14-15]。改進后的網絡模型結構如圖4所示。

圖4 改進的網絡結構Fig. 4 Improved network structure

以Res Net34為基本網絡,將殘差結構輸出結果送入一個14×14,步長為3的反卷積層,增加一個反卷積,對特征矩陣上采樣,增加特征維度,結合標準平均池化操作完成二維特征池化,代替自適應平均池化操作;再經過一個7×7的平均池化層進行下采樣;最后分類層由1×1卷積層完成,輸出分類概率。

本文提出的改進模型在訓練模型階段即使進行完整訓練的時期數量較少也不會降低準確率。事實上,改進的模型從整體上提高了識別準確率,這將在下一節的實驗中進行驗證與展示。

3.3 基于遷移學習的分類模型

遷移學習[16]屬于機器學習算法的領域。當明確假設訓練和測試分類器時所使用的任務、域和分布不同時,遷移學習可以用于對未來數據的預測。遷移學習的核心思想是從大量的早期實驗中提取的知識和特征,可以通過轉移的方式將一些知識運用到相關的問題中。而在這個過程中,應該有一種方法用于微調在不同的數據集中進行訓練的網絡權重,以適應新的域和數據分布。在CNN模型中,這一策略已被證明是有效的,特別是當新的域中的數據量相對較少時。

圖5顯示了本文水稻害蟲圖像識別遷移學習模型結構框圖,其中突出了對所提模型的微調過程。首先,原始的ResNet34模型基于ImageNet的120萬張圖片訓練得出模型的權重,且該權重被加載至最后的全連接層;然后,基于IDADP數據庫原始圖像和增強圖像,采用80%數據用于進行訓練和20%數據用于進行測試的交叉驗證方案,對用于水稻害蟲分類的改進ResNet34模型進行微調。在現階段,學習率是一個重要的超參數值,其目的是盡可能減少新網絡的訓練工作量,以達到最高精度。事實證明,合理范圍之內的步長變化有利于對所有類型的CNN進行微調[17]。

圖5 水稻害蟲圖像識別遷移學習模型結構Fig. 5 Structure of rice pest image recognition migration learning model

在本文中,對學習率進行調整的過程分為以下幾個步驟。首先,初始速率被設定為0,并逐步以正負0.01的步長進行調整,即0.1+0.01、0.1-0.01,以此類推進行1 000次迭代,且每次訓練中最小的誤差都會被記錄在其中。使用Adam優化算法動態調整每個參數的學習率,這種差異化的學習率已被證明比基于步長降低學習率的方式能夠更快地得到結果[18-19]。找到這個值后,將最終選擇的速率設定為更低的一個量級(×10-1),并以此作為啟發的方向在訓練過程中靠近下降的斜度。激活函數為Relu函數,通過Softmax做出具體分類,求得的概率如式(1)所示。

(1)

式中:K——類別總數:

αj——上一層節點輸入全連接層后將會得到第j類的值;

Sj——通過Softmax后第j類樣本得到的概率大小。

通過交叉熵損失函數計算真實值與預測值二者的差距,具體如式(2)所示。

(2)

式中:m——目前輸入網絡的樣本數量的值;

n——類別數量;

yji——真實的標簽;

Closs——損失值。

4 試驗與分析

4.1 試驗設置

本文針對兩種不同情況的分類問題進行了實驗:第一組包括了6種主要害蟲與1種無害昆蟲的圖像;第二組針對13個種類的分類任務,包括了無害昆蟲和本文選擇的主要害蟲和次要害蟲。本文所使用操作系統為Ubuntu 16.04,64位系統,深度學習框架TensorFlow-GPU V1.4.0,編程語言Python3.5,集成開發環境PyCharm 2018.2.2(Community Edition)。所提改進ResNet34模型的權重均采用來自ImageNet類的預訓練權重。

為了進行比較,本文也采用了局部二進制支持向量機(LBP-SVM)模型[20]在8個像素的局部鄰域和以24為半徑的范圍內進行訓練。在支持向量機訓練中,所有圖像都被轉換為灰度圖以提取直方圖,并后續將直方圖輸入到模型中。所有的CNN模型都配備有批量的圖像。

在第一個試驗中,網絡對初始的6種害蟲進行了分類(稻縱卷葉螟、二化螟、稻水象甲、麻皮蝽、東方螻蛄、稻蝗),并增加了一種無害蟲類。在第一個試驗中,每個種類的害蟲都配備了圖像。試驗中,數據集被隨機地分成80%的訓練子集和20%的驗證子集。試驗針對LBP-SVM模型[19]以及典型的CNN模型(AlexNet)進行了測試,并將其作為基準模型與一些深度殘差模型進行了比較,例如:ResNet34模型、本文提出的改進ResNet34模型以及ResNet101模型。

4.2 結果與分析

改進ResNet34模型在兩次試驗中的迭代變化如圖6、圖7所示。在第一個試驗中,識別主要害蟲的訓練過程持續了20個完整訓練的時期,而第二個試驗中,識別所有的害蟲進行了40個完整訓練的時期。從圖6、圖7中可以看出,隨著迭代變化,分類準確率都超過了96%。

圖6 第一個試驗過程Fig. 6 Experimental process one

圖7 第二個試驗過程Fig. 7 Experimental process two

所有模型針對主要害蟲進行分類時的準確率如表1所示。從表1中可以看出,所有的CNN模型的分類性能都遠高于LBP-SVM模型,而本文提出的改進ResNet34模型取得的平均準確率最高(96.7%)。在第一個試驗中,無害蟲和麻皮蝽平均來看是最難以識別的,兩者的分類準確率最低。雖然這兩個類別的最高的識別準確率都達到了95.0%以上,但要把它們進行分類還具有一定困難。

表1 各類模型針對主要害蟲以及無害蟲分類的準確率Tab. 1 Accuracy rate of various models for the classification of major pests and no pests %

圖8展示了各個模型的F1-score,可體現出兩個試驗的綜合效果。如圖8所示,本文提出的改進ResNet34模型很好地平衡和滿足了數量和準確度兩方面的要求,取得了最優結果。在本文實施的兩個試驗中,只選取分類器的第一選擇作為結果。兩個試驗均只針對特定作物的害蟲,且分類器的識別目標僅是水稻害蟲,并不是其他昆蟲,所以識別分類結果是非常準確的。

圖8 兩次分類試驗的F1-scoreFig. 8 F1-score of two classification experiments

總的來說,上述網絡模型在預測方面體現了較高的準確性。本文采用的IDADP數據集已經足夠大,為了更進一步提高某些類別的準確性,數據量更大的數據集可對識別的性能更有助力。正如日常所觀察到的,特別是在熱帶的種植園中,昆蟲的種類可能相當多。因此,模型需要在昆蟲種類的數量和識別準確度方面進行權衡。

第二個試驗中使用的數據庫中配置了9種不同害蟲和1種無害蟲,并對四種CNN模型進行了評估,分別為:AlexNet、ResNet34、ResNet101以及本文提出改進ResNet34模型。所有模型的識別準確率情況如表2所示。所有的CNN模型都取得了較高的準確率,殘差模型(ResNet34、改進ResNet34、ResNet101)比AlexNet稍有優勢。其中,分類性能最好的是所提改進ResNet34模型(96.8%)。

表2 各類模型針對所有害蟲以及無害蟲分類的準確性Tab. 2 Accuracy of various models for classification of all pests and no pests %

5 結論

1) 基于田間圖像來針對某種特定的農作物進行害蟲分類是一個極具挑戰性的基于視覺的分類問題,不同種類的害蟲給同一種作物造成的危害也是不一樣的。首先,由于背景看起來更加相似,分類器將被要求區分它們是一般的昆蟲或是害蟲。其次,將找到影響一個種植園或生態系統的害蟲設置為主要目標是更合適的,因為這有助于將最終的識別結果應用到真實環境中,從而達到管理農作物的目的。

2) 本文提出了一種改進的深度殘差學習模型。與其他所有的在遷移學習環境下使用ImageNet預訓練權重的測試模型相比,本文提出的模型的總體準確率更高,平均準確率超過96.0%。此外,提出的新模型可以進一步應用于擴展數據集的分析。

3) 本文提出的改進ResNet34模型很好地平衡和滿足了數量和準確度兩方面的要求,取得了最優結果。未來的研究工作需要驗證更多的數據集,因此本文將后續增加新的樣本和其他種類的昆蟲和害蟲,從而使得該方法可以應用于其他作物及其相關生態系統。