基于遷移學習的棉花葉部病蟲害圖像識別

趙立新，侯發東，呂正超，朱慧超，丁筱玲

（1. 山東農業大學機械與電子工程學院，泰安 271018；2. 山東省園藝機械與裝備重點實驗室，泰安 271018）

0 引 言

棉花是世界上最主要的農作物之一，與民生息息相關。棉花的整個生長周期受到40 多種病蟲害的侵襲，嚴重影響其產量[1]。因此能快速準確的識別出棉花病害的種類并給予及時準確防治對于避免病害進一步擴散進而提高棉花產量至關重要。

隨著計算機視覺以及人工智能的發展，特別是海量數據、計算機運算能力和算法等加速了深度學習技術的發展，深度學習技術在圖像識別領域開始占據越來越重要的地位。而卷積神經網絡（Convolutional Neural Network，CNN）作為深度學習技術的一種具有很強的自學習能力，通過對數據的抽象分析學到大量知識，從而快速準確實現分類，CNN 具有很強的適應能力和泛化能力，相比較全連接的傳統神經網絡，卷積神經網絡采用權值共享的方式減少了參數量，從而極大降低了計算量[2]。傳統圖像識別方法依賴先驗知識，需要對特征手工提取，然后進行分類，而卷積神經網絡只需要把圖片數據輸入到網絡，網絡通過對卷積核的自學習就能達到分類效果。本研究采用的研究方法即為卷積神經網絡。

近年來，智能識別技術逐漸開始用于農業領域。Barbedo[3]提出一種算法結合 HSV 顏色空間（Hue Saturation Value，HSV）的H 通道和Lab 顏色空間（Lab Color Space，Lab）的a 通道以區分植物葉片無癥狀組織和病害體征。王春雷等[4]提出一種基于遺傳算法和閾值濾噪的玉米根茬行圖像分割方法，準確分割出玉米根茬行。吳露露等[5]利用傳統圖像處理方法，對水稻圖像進行閾值分割等步驟，對葉片特征進行提取。李文勇等[6]提出一種基于顏色、紋理與形態無關特征結合并利用多類支持向量機分類器的多姿態害蟲分類方法。張善文和張傳雷[7]采用區域增長分割算法分割病害葉片病斑圖像，然后把病斑圖像重組為一維向量，利用局部判別映射算法對玉米病害進行識別。毛罕平等[8]提出基于模糊C 均值聚類的作物病害葉片圖像分割方法，能較好將病斑部分和正常部分分開，平均誤差小于5%。Li 等[9]利用半監督學習算法對蔬菜病害進行預測，取得了支持向量機方法更好的效果。田有文等[10]利用計算機圖像處理技術和支持向量機識別方法研究了葡萄葉部病害的識別，試驗結果表明支持向量機識別方法比神經網絡方法獲得了更好的識別效果。張建華等[11]提出一種基于粗糙集和BP 神經網絡的棉花病害識別方法，粗糙集減少特征維數，使BP 神經網絡訓練時間縮短，達到92.72%的平均識別正確率。早期的識別分類方法識別率很低，需要對農作物病害圖像進行分割、邊緣檢測等預處理，然后手工特征提取，最后分類，費時費力，得到的分類準確率卻不高。

隨著人工智能時代的到來，深度學習技術的發展，特別是卷積神經網絡的出現，圖像識別技術得到了進一步發展。Kunihiko Fukushima[12]首先把生物神經元識別物體具有旋轉不變性應用到卷積神經網絡中。至此卷積神經網絡技術開始快速發展，應用于手寫數字識別[13]，準確率達到了99.77%，卷積神經網已經在各個領域得到廣泛應用，人臉識別、語音識別和行人檢測等[14-17]。卷積神經網絡也開始應用在農作物病害識別，趙德安等[18]為適應復雜背景問題，構建了基于YOLO 深度卷積神經網絡的機器人采摘蘋果定位。Oppenheim 等[19]使用卷積神經網絡對馬鈴薯疾病進行了分類，該算法成功應用于農作物病害的識別，顯示了深度學習技術在農業任務中的潛力。黃雙萍等[20]提出基于深度卷積神經網絡GoogLeNet模型的水稻穗瘟病檢測方法，在驗證集上最高準確率為92%。傅隆生等[21]提出一種基于LeNet 的卷積神經網絡模型以對多簇獼猴桃果實進行圖像識別。

目前利用卷積神經網絡研究棉花的有張建華等[22]，研究了7 種棉花葉片類型（包括正常葉），采用改進VGG模型利用在ImageNet 數據集上訓練得到的預訓練模型，微調以適應棉花病蟲害數據集，比較了原始圖像像素對識別準確率的影響，由于ImageNet 數據集與本研究的植物病蟲害數據集相似程度不大，遷移學習的知識不能很好地適應于棉花病害數據集，存在域遷移問題，因此該試驗達到的最好的平均準確率為89.51%。本試驗以棉花的枯萎病、黃萎病、棉鈴疫病、褐斑病、角斑病、棉葉螨為試驗對象構造的數據集進行訓練，采用相似度較高的PlantVillage 數據集訓練得到預訓練模型，利用棉花病害數據集微調模型，取得了更好的效果。

1 材料與方法

1.1 試驗數據準備與數據集構建

本研究以棉花枯萎病、黃萎病、棉鈴疫病、褐斑病、角斑病、棉葉螨這6 種常見病蟲害為研究對象。因農業領域數據圖片較少不好獲取，各種病害發病與生態、氣候和棉花品種等諸多因素有關[23]，因此試驗在山東農業大學試驗棉田近年采集的基礎上還通過網絡渠道獲取了部分數據，圖片類別由相關專家確認。本試驗共采集原始圖像1 186 張，其中棉花枯萎病210 張，黃萎病190 張，棉鈴疫病183 張，褐斑病196 張，角斑病187 張，棉葉螨220 張。這6 類圖片被放在6 個不同的文件夾中，每個文件夾代表一個類別標簽。標簽0 為枯萎病，標簽1為黃萎病，標簽2 為棉鈴疫病，標簽3 為褐斑病，標簽4為角斑病，標簽5 棉葉螨。本研究還從PlantVillage 大數據集獲取了一些圖片，用于遷移學習獲得預訓練模型，玉米灰斑病1 642 張，葡萄葉枯病1 722 張，南瓜白粉病1 736 張，草莓蕉葉病1 774 張，馬鈴薯晚疫病1 939 張，蘋果黑腐病1 987 張，總共6 類10 800 張。采集的原始圖像以及PlantVillage 數據集圖像的分辨率大小不等，而本模型要求輸入固定維度，圖像的像素過多，包含過多的冗余信息，本試驗將圖片的的尺寸統一轉換為224×224×3 像素，然后才能輸入網絡進行訓練。圖1 為采集的棉花病蟲害圖像集，圖 2 是來自公共數據集PlantVillage 的玉米灰斑病、葡萄葉枯病、南瓜白粉病、草莓蕉葉病、馬鈴薯晚疫病和蘋果黑腐病圖片。

圖1 棉花病害樣本圖像 Fig. 1 Sample image of cotton disease

圖2 公共數據集PlantVillage 的樣本圖像 Fig. 2 Sample image of PlantVillage public dataset

棉花病蟲害數據集劃分為訓練數據集、驗證集與測試數據集，比例為6∶2∶2，而本研究從公共數據集PlantVillage獲得的圖片采用8∶2的比例來分割訓練數據集和測試數據集。

1.2 模型結構設計

CNN 相比較全連接層（Fully-Connected Layer，F）的神經網絡新出現了卷積層（Convolution Layer，C）、激勵層（Relu Layer，R）、池化層（Pooling Layer，P），CNN的層一般連接順序是“Convolution-Relu-Pooling”，池化層有時會被省略，本試驗采用最大池化。總體結構包括輸入層、卷積層、池化層、全連接層和輸出層，其中除輸出層其他層的激活函數都是線性整流單元（Rectified Linear Units，ReLU）即relu 函數，輸出Softmax 層實現分類。圖3 為仿照AlexNet 模型設計的CNN 網絡結構。由于經典的AlexNet 模型用于識別1 000 種分類，本試驗是6 分類問題，故采用Softmax 分類層有6 個神經元，卷積核是4 維的其中表示卷積核尺寸， n4表示卷積核個數，S 為步長（Stride），全連接n則表示該層神經元個數。由于本試驗中，輸入圖片數據的尺寸為224×224×3，圖片輸入網絡，第1 個卷積層記為C1，其過濾器尺寸是11×11 像素，S 為4，過濾器個數為64，即（11×11×3×64/4）；第1 個池化層記為P1，其大小為3×3像素，步長為2 即（3×3/2）；第2 個卷積層記為C2，其卷積核尺寸為5×5 像素，S 為1，即（5×5×64×256/1），為避免卷積提取特征圖越來越小采用padding，即像素填充（補0 策略），在該層輸入像素矩陣周圍補2 個0，過濾器個數256；第2 個最大池化層記為P2，其尺寸2×2， S 為2 即（3×3/2）；第3、4、5 個卷積層記為C3、C4、C5，它們的尺寸都是3×3，過濾器個數為256，即都為（3×3×256×256/1）；接著是第3 個池化層記為P3，尺寸是3×3，S 為2；然后是2 個全連接層記為F6 和F7，神經元個數依次是4 096、1 000；Softmax 分類層6 個神經元。

圖3 模型結構圖 Fig. 3 Model structure diagram

1.3 試驗環境

試驗在山東農業大學高性能計算平臺上進行，平臺操作系統redhat6.9，提交tensorflow-gpu 作業腳本，其中指定隊列名稱為圖形處理器（Graphics Processing Unit，GPU），指定一個節點來進行該任務，加載軟件環境有gcc、cuda9.0 和python3.6.6。CPU 核心數32，內存128 GB，GPU 為NVIDIA Tesla k80。模型通過TensorFlow 框架調用keras 庫搭建。

1.4 基于遷移學習的試驗方法

深度學習模型可以劃分為訓練和預測2 個階段，訓練分為2 種策略，一種是在搭建的模型上從頭開始訓練，另一種是通過預訓練模型進行訓練，即遷移學習（Transfer Learning，TL）。遷移學習減少了構建深度學習模型所需的訓練數據、計算力，能很好解決小數據集容易在復雜網絡結構上的過擬合問題[24-25]。首先對PlantVillage 大數據集來獲得預訓練模型，然后用棉花病蟲害數據集基于預訓練模型進行遷移學習。

1.4.1 數據預處理

對試驗圖片預處理包括對圖片尺寸重定義、對樣本每個批次（使用訓練集中的一部分樣本對模型權重進行一次反向傳播的參數更新，這部分樣本稱為一批次，即batch）進行歸一化處理、圖片去均值化等。本試驗把圖片重定義為224×224×3，減少了像素值，去除了大量冗余信息，從而減少計算量。

對圖片進行去均值化是為了對圖像進行標準化，可以移除圖像的平均亮度值，具體操作為：對于給定的進行了尺寸重定義后的圖像，每個樣本的各像素值上減去整個訓練樣本的像素值平均值。在很多情況下對圖像的亮度不敏感，而更多地關注其內容，在本試驗中圖片分類任務中，圖像的整體亮度并不影響圖像中存在什么物體，這時對每個數據點移除像素的均值是有意義的。

對CNN 而言對數據歸一化是梯度下降所需要的，數據歸一化后也能防止梯度爆炸，以便加速網絡收斂，進一步縮減特征圖數目[26]，現有的梯度下降的一些超參數是在歸一化之后的輸入數據范圍內搜索到的，試驗參考了經典AlexNet 結構的一些超參數，只有數值計算的范圍一致，才能達到相同的效果，本試驗采用批量歸一化方法，需對批次中的每個樣本圖像進行歸一化處理。對一個樣本的處理方法如式（1）和式（2）所示

式中ix 表示該樣本第i 個像素點的值；n 為該樣本像素點總數；μ表示均值；σ 表示方差。歸一化方式如式（3）所示

1.4.2 識別模型中的優化算法

1.2 節設計的網絡結構包括2 個全連接層，網絡結構的參數數量很大，相對比較小的數據集而言該網絡結構較復雜容易出現過擬合問題，因此加入L2 正則化和Dropout 優化算法以避免過擬合。L2 正則化是由代價函數與正則化項相加來實現的。原始代價函數0J 由式（4）表示

式中w 表示權重；b 表示偏置；m 表示樣本數量；L 表示損失函數；表示神經元的實際輸出值， y（i）表示神經元的期望輸出值。

L2 正則化后的代價函數J 由式（5）和式（6）表示

式中λ 是一個超參數，即正則化參數；l 表示全連接層層數；k 表示每層的神經元個數；表示該層第j 表示神經元權值的平方。權值更新過程由式（7）所示

由式（7）看出，只對權值w 進行了衰減，沒有偏置b 進行衰減，因為參數b 的數量相對于w 而言太少了，對整個網絡的影響很小，一般不對b 進行衰減。L2 正則化降低了網絡模型的復雜度，因此在一定程度上改善了模型的過擬合問題。2012 年由Ashiquzzaman 等[27]提出Dropout 優化算法的基本原理，即在前向傳播中隨機失活一些神經元，為每層設置一個概率數用以控制每層有多少神經元應該被保留。如0.6 意味著該層神經元有60%被保留，其余的40%神經元失活不再發揮作用，概率為1.0則全部保留。值得注意的是，在反向傳播時必須失活和前向傳播相同的神經元。

根據上述說明試驗在模型的全連接層F6 和全連接層F7 后都加了L2 正則化和Dropout 優化算法以避免過擬合，分類層則只使用L2 正則化。

1.4.3 超參數的設計

為了使網絡訓練更好，本試驗的超參數根據參考文獻和在本研究數據集上進行的一系列試驗對超參數進行了統一化。一般來說按照首先對學習率，每個batch 中訓練樣本的數量（batch size），然后是其他參數的調參順序進行調參。對于學習率采用指數標尺選取0.001、0.01、0.1 和1 幾組學習率做試驗，最終學習率設置為0.001 最為合適。學習率是一個很重要的超參數，它表示模型權重更新的速度，學習率設置太大代價函數波動太大，訓練結果不精確，太小則網絡收斂很慢，訓練時間會很長。每次試驗運行50 epochs，1 次epochs 即一個完整的數據集通過了神經網絡一次且返回一次，在每個epochs 中所有訓練集圖片都被輸入到網絡一次，習慣上選擇batch size 為2 的次冪可以加快二進制的計算，試驗選擇batch size 為16、32、64、128 和256 分別做了比較發現batch size太小收斂太慢，太大則也容易使其泛化能力變差，最終batch size設置為128。模型訓練中使用了Adam優化算法，該算法應用在非凸優化問題中有計算高效、所需內存少、適應于非穩態目標以及適合解決大規模數據和參數優化問題等諸多優勢，Adam 優化算法超參數采用框架默認參數[28]。經過交叉驗證，隱含節點Dropout 率等于0.5，L2正則化參數設置為0.000 5 的時候效果最好。

1.4.4 遷移學習訓練機制

首先使用PlantVillage 數據集加載進構建的網絡中，來獲得預訓練模型并保存模型，然后把原始棉花病蟲害數據集加載進網絡，微調以適應原始棉花病蟲害數據集，具體方法是：在保存的模型基礎上，采用凍結預訓練模型參數的方式，凍結該層即該層參數不參與訓練，則分別凍結①卷積層C1、C2、C3、C4、C5②卷積層C1、C2、C3、C4、C5 和全連接層F6，③卷積層C1、C2、C3、C4、C5 和全連接層F6、F7。圖4 為遷移學習訓練機制，圖中除全連接層F6、F7 和卷積層C1、C2、C3、C4、C5外其他層沒有可訓練參數，圖中未畫出。

圖4 遷移學習訓練機制 Fig. 4 Transfer learning training mechanism

1.5 基于數據增強的遷移學習試驗方法

針對試驗搜集的原始圖片數據集小而仿照AleNet 的網絡結構復雜容易產生過擬合問題，采用數據增強技術擴充數據集，數據增強讓有限的數據產生更多的數據，增加樣本的數量以及多樣性，提升模型魯棒性，隨機改變樣本可以降低對某些屬性的依賴，從而提高模型的泛化能力[29-30]。

數據增強分為2 類：離線增強和在線增強。離線增強即直接對原始數據集進行處理，新數據數目會變成原始數據的n 倍（n 為增強因子），此方法適用于數據集較小的情況；在線增強即獲batch 數據之后，然后對這個batch 的數據進行增強，如旋轉、平移、翻折等變化，此方法更適應于較大數據集，許多機器學習框架支持在線數據增強，并且可以使用GPU 優化計算。

本研究采用離線增強的方式（圖5），對圖片執行色彩調整、隨機裁剪、旋轉、加噪的操作，得到新的訓練集圖片為原來訓練集的6 倍。然后把得到的新數據集按6∶2∶2 的比例劃分為訓練集、驗證集和測試集。用新得到的數據集代替1.4 節的原始數據集重新按1.4.1 節至1.4.3 節的試驗步驟進行基于數據增強試驗部分。

圖5 數據增強操作 Fig. 5 Data enhancement operations

1.5.1 基于數據增強的遷移學習訓練機制

把通過數據增強的新數據集加載進網絡，通過微調遷移學習的方式以適應我們的數據集，具體做法：在保存模型的基礎上，分別凍結①卷積層C1、C2、C3、C4、C5，②卷積層C1、C2、C3、C4、C5 和全連接層F6。

2 試驗結果與分析

2.1 基于遷移學習的訓練結果及分析

表1 展示了遷移學習不同訓練機制下，對于原始數據集進行訓練，得到的訓練集、驗證集、測試集的準確率，可以看出在3 種不同的訓練機制下所得到的驗證準確率與測試準確率相符，但是3 種訓練機制下，訓練集準確率都大于驗證準確率，表明出現了過擬合，對于①②2 種情況應著重解決過擬合問題；同時看到方式③情況下，在訓練集、驗證集、以及測試集下的錯誤率是12.00%、13.35%和14.62%。既存在欠擬合也存在過擬合，正常情況下，植物保護專家能達到1%以內的識別錯誤率。對于訓練集的12%的誤差相對于專家的1%誤差來說，說明神經網絡學習不夠，對訓練集的擬合度不夠，存在欠擬合現象。有約11%的可避免誤差，而訓練集誤差和測試集誤差相錯2.62%，此時應該著重解決欠擬合問題。

由以上分析可知，由于原始數據集小，而構造的網絡結構比較復雜，故發生了過擬合現象，更深的模型，意味著更好的非線性表達能力，可以學習到更復雜的變換，從而可以擬合更加復雜的特征，但是也容易在小數據集上發生過擬合，在訓練集上表現很好，但是卻在測試集上泛化性較差。對于①②的訓練方式，由于PlantVillage 數據集圖片大多是室內固定背景下拍攝，而棉花病蟲害數據集背景比較復雜，需要更深的模型來適應數據集，即需要更多的可訓練層，方式①比方式②可訓練層多故能學習到更多的關于棉花病蟲害數據集的知識，所以方式①泛化能力更強些。對于方式③，只有一個分類層可訓練，可訓練網絡的深度與廣度都不足以適應棉花病蟲害數據集，發生了欠擬合現象。

表1 基于遷移學習不同訓練機制的結果 Table 1 Results of different training mechanisms based on transfer learning

2.2 基于數據增強的遷移學習訓練結果及分析

表2 是基于數據增強的試驗結果，由結果可知，2 組訓練驗證集和測試集的結果相符。在只有遷移學習的試驗結果基礎上對數據增強試驗做了改進后，去掉了方式③，使可訓練層數增多，以解決欠擬合問題，方式①和方式②的驗證集準確率和測試集準確率都比在較小數據集上進行遷移學習的準確率大幅提高，降低了可避免誤差，使得在驗證集和測試集的準確率相比較只有遷移學習的方式提高了4%，有效緩解了過擬合。

表2 基于數據增強的遷移學習不同訓練機制的結果 Table 2 Results of different training mechanisms based on data-enhanced transfer learning

2.3 識別模型對比試驗

為進一步驗證模型的識別效果，相同試驗條件下試驗對比了支持向量機（Support Vector Machine，SVM）和BP（Back Propagation，BP）神經網絡的傳統方法以及VGG-19、GoogLeNet Inception v2 深度卷積神經網絡標準模型對棉花6 種病蟲害的識別效果。

對于傳統方法首先對棉花病蟲害數據集圖片進行了預處理，采用提取HSV 顏色直方圖特征、RGB 顏色矩陣特征、GLCM 灰度共生矩陣紋理特征、HOG 特征幾種方式分別對每種病蟲害圖片進行了人工特征提取，然后分別利用支持向量機和BP 神經網絡作分類器，實現棉花病蟲害的識別分類。

對比深度卷積神經網絡經典模型的試驗結果，雖然VGG-19 采用16 層卷積層，3 個全連接層，整個網絡采用相對本試驗模型較小的卷積核尺寸（3×3），和最大池化尺寸（2×2），小的濾波器組合一定程度上保證了感受野的同時，提取了細粒度特征，一定程度上可以擬合更加復雜的特征，但是VGG-19 模型的參數量接近于AlexNet 模型的3 倍，且大部分參數集中在第一個全連接層，耗費了大量的計算資源，也占用了更多的內存（140 M），對于本試驗環境負載過大，最終造成模型收斂很慢，過擬合現象嚴重。GoogLeNet Inception v2 深度卷積神經模型同本試驗模型一樣采用了5 個卷積層并加入了Incepetion 模塊，使模型輕量化，Inception 結構的主要思路是用密集成分來近似最優的局部稀疏結構。相比VGG-19 模型采用3×3的濾波器組合得到準確率稍微遜色。

試驗結果表明不論是在單個病蟲害識別準確率方面還是在平均準確率本研究的基于遷移學習并輔以數據增強技術的方法都優于支持向量機和BP 神經網絡的方法。本研究改進的AlexNet 模型較深度卷積模型VGG-19，GoogLeNet Inception v2 資源占有率低，能更快收斂，且平均識別準確率也較高。表3 為各模型對比結果。

表3 試驗模型對比結果 Table 3 Comparison results of model test

3 結 論

本研究在仿照AlexNet 模型結構的基礎上，改進了全連接層結構，并用6 分類SoftMax 分類層取代了原來AlexNet 模型的1 000 分類層，對棉花的枯萎病、黃萎病、棉鈴疫病、褐斑病、角斑病、棉葉螨這6 種病蟲害進行研究，先利用在PlantVillage 大數據集上訓練學習得到預訓練模型，用棉花病蟲害數據集通過3 種訓練機制方式進行遷移學習，然后采用數據增強擴充數據集然后采用2種訓練機制進行遷移學習，得到以下結論：

1）AlexNet 模型是對ImageNet 數據集進行的1 000分類問題，針對本研究的棉花病蟲害小數據集，采用PlantVillage 大數據集訓練得到的預訓練模型，PlantVillage 大數據集與試驗棉花病蟲害數據集圖像的紋理，形狀等特征相似程度更大，即源領域與目標領域擬合度更高，PlantVillage 數據集數據集比ImageNet 數據集等其他數據集更適合本試驗的棉花病蟲害數據集，源領域數據集與目標領域數據量10 倍差距也得到了很好的遷移效果。

2）使用不同的遷移學習訓練機制，分別比較了原始棉花病蟲害數據集和數據擴充后的病蟲害數據集的試驗結果，進而適當變更遷移學習訓練機制以應對欠擬合和過擬合問題，取得了良好的效果。數據集劃分為訓練集，驗證集，測試集使試驗更加嚴謹，驗證集扮演的就是一個輔助模型增加泛化能力的作用，而測試集僅僅用于最后評估模型的性能，兩者結合能很好觀察試驗的效果，以解決欠擬合或過擬合問題。

3）基于遷移學習的識別模型訓練的試驗結果表明，采用遷移學習的方式一定程度上能解決小數據集在復雜模型上產生的過擬合問題。在相似領域學習的基礎上開展研究，節約了訓練時間，能讓模型訓練更快，同時可以看到針對復雜背景的小數據集，相對預留更多的可訓練層，可得到更高的識別率，只訓練分類層即產生了欠擬合也有過擬合問題。

4）基于數據增強的遷移學習識別模型的試驗結果表明，適當增大了可訓練層數，有效避免了欠擬合問題，同時對于小數據集產生的過擬合問題，使用數據增強技術能在一定程度上緩解過擬合問題。

5）識別模型的對比試驗表明，本研究改進的AlexNet模型與VGG-19 和GoogLeNet Inception v2 深度卷積模型比較能對棉花病蟲害達到較好的識別率，相比較傳統的支持向量機和BP 神經網絡無論是單個病害還是平均識別準確率都大幅提高。相比較深度卷積神經網路模型VGG-19 和GoogLeNe Inception v2，本改進模型能更快收斂，一定程度上緩解過擬合問題，且平均準確率較好。