基于遷移學(xué)習(xí)的蘋果樹葉片病蟲害識別方法研究*

周宏威，沈恒宇，袁新佩，李曉冬

(1.東北林業(yè)大學(xué)機(jī)電工程學(xué)院，哈爾濱市，150000；2.國家林業(yè)和草原局森林和草原病蟲害防治總站，沈陽市，110034)

0 引言

中國是世界上最大的蘋果生產(chǎn)國和消費(fèi)國，蘋果種植面積和產(chǎn)量均占世界總量的40%以上，在世界蘋果產(chǎn)業(yè)中占有重要地位[1]。蘋果樹病蟲害對蘋果的產(chǎn)量有重要影響，如果能快速準(zhǔn)確地識別病蟲害就能有針對性的對病蟲害進(jìn)行及時控制，將病蟲害對蘋果樹的影響降到最低[2]。目前蘋果樹病蟲害識別主要是靠專家識別和種植戶的經(jīng)驗(yàn)，這種方法效率低下，不適合大面積快速識別，不能夠滿足現(xiàn)實(shí)需求。

隨著深度學(xué)習(xí)和計算機(jī)視覺技術(shù)的不斷發(fā)展，神經(jīng)網(wǎng)絡(luò)模型在各個領(lǐng)域都得到了廣泛運(yùn)用，包括人臉識別、語音識別、自動駕駛等[3-5]。在農(nóng)林業(yè)方面，學(xué)者也對此進(jìn)行了深入的研究[6-9]。牛沖等[10]通過提取直方圖的8個特征(平均灰度、標(biāo)準(zhǔn)偏差、三階中心矩、平滑度、均勻性、平均信息量、最大概率灰度級、灰度范圍)并進(jìn)行歸一化處理利用支持向量機(jī)等方法對草莓病蟲害識別，平均準(zhǔn)確率達(dá)到90%以上。蘇鴻等[11]利用區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型對廣西柑橘病蟲害識別進(jìn)行研究，對幾種典型的柑橘病蟲害的識別準(zhǔn)確率較高。孫鵬等[12]利用注意力神經(jīng)網(wǎng)絡(luò)對大豆害蟲圖像進(jìn)行特征提取，識別準(zhǔn)確率達(dá)到96.85%。山東農(nóng)業(yè)大學(xué)趙立新等[13]在CNN算法的基礎(chǔ)上，利用各種優(yōu)化逐步提升6種棉花葉片病蟲害圖像的分類準(zhǔn)確率，重點(diǎn)從網(wǎng)絡(luò)結(jié)構(gòu)擇優(yōu)、面對識別模型進(jìn)行逐步研究分析和改進(jìn)，取得不錯的效果。

早期的識別分類方法識別率很低，需要對農(nóng)作物病害圖像進(jìn)行分割、邊緣檢測等預(yù)處理，然后手工特征提取后分類，費(fèi)時費(fèi)力，得到的分類準(zhǔn)確率卻不高[14]。與傳統(tǒng)圖像識別分類方法相比，使用神經(jīng)網(wǎng)絡(luò)可以大大降低前期對于圖像處理的工作，降低工作量，提升準(zhǔn)確度[15]。遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)技術(shù)，將一個任務(wù)上訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型通過簡單的調(diào)整使其適用于一個新的任務(wù)[16]。神經(jīng)網(wǎng)絡(luò)需要從數(shù)據(jù)中獲得信息來進(jìn)行訓(xùn)練并將數(shù)據(jù)轉(zhuǎn)換成相應(yīng)的權(quán)重，這些權(quán)重能夠被提取出來遷移到其他的神經(jīng)網(wǎng)絡(luò)中，通過遷移這些學(xué)來的特征不需要從0開始訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)。本文采用遷移學(xué)習(xí)的方法，通過將已經(jīng)在ImageNet上訓(xùn)練好的模型權(quán)重遷移到重新設(shè)計了輸出層的新模型上，再使用蘋果樹葉片病蟲害樣本數(shù)據(jù)訓(xùn)練新模型。

1 試驗(yàn)數(shù)據(jù)與方法

1.1 試驗(yàn)數(shù)據(jù)

本研究以蘋果黑星病葉片，蘋果黑腐病葉片，蘋果銹病葉片以及健康蘋果葉片4種不同的蘋果葉片作為研究對象。因?yàn)檗r(nóng)林業(yè)類圖片數(shù)據(jù)較少且不易獲取。因此本試驗(yàn)所需要的數(shù)據(jù)均由Plant Village公開數(shù)據(jù)集上獲取，所有圖片標(biāo)簽由農(nóng)林類專家標(biāo)注。本次試驗(yàn)共有圖片860張，其中蘋果黑星病葉片180張，蘋果黑腐病葉片270張，蘋果銹病葉片130以及健康蘋果葉片280張(圖1)。將4類圖片放在4個不同的文件夾內(nèi)，每個文件夾的名稱為該類別圖片的標(biāo)簽。

蘋果樹葉片病蟲害數(shù)據(jù)集分為訓(xùn)練集(Train Set)，驗(yàn)證集(Validation Set)和測試集(Test Set)，比例為8∶1∶1。其中訓(xùn)練集是用于訓(xùn)練模型以及確定模型權(quán)重的數(shù)據(jù)集；驗(yàn)證集是訓(xùn)練模型過程中單獨(dú)留出的樣本集，驗(yàn)證集的結(jié)果可以用于調(diào)整模型的超參數(shù)以及確定網(wǎng)絡(luò)的結(jié)構(gòu)并對模型的效果進(jìn)行初步評估；測試集用于檢驗(yàn)最終模型的泛化能力，結(jié)果不能用于調(diào)參等算法相關(guān)的依據(jù)。

(a)蘋果黑星病

1.2 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)形式，它和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)一樣依然是層級網(wǎng)絡(luò)結(jié)構(gòu)，只是在層的功能和形式上有改變，常用來分析視覺圖像[17]。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，在CNN上新出現(xiàn)了卷積層和池化層。通常卷積神經(jīng)網(wǎng)絡(luò)由輸入層(Input Layer)、卷積層(Conv Layer)、池化層(Pooling Layer)、全連接層(FC Layer)以及輸出層(Output Layer)這5部分組成。

ImageNet視覺識別比賽，這個圖片分類比賽是訓(xùn)練一個能夠?qū)⑤斎雸D片正確分類到1 000個類別中的某個類別的模型。訓(xùn)練集120萬，驗(yàn)證集5萬，測試集10萬。用于訓(xùn)練分類的1 000個類別都是我們?nèi)粘Ｉ钪谐Ｒ姷陌▌游铩⒓译姟④囕v等等。在過去幾年的ImageNet比賽中，有幾個表現(xiàn)最好的卷積神經(jīng)網(wǎng)絡(luò)模型包括VGG16、ResNet50和InceptionV3等。

深度學(xué)習(xí)的基本思路是利用已有的數(shù)據(jù)集訓(xùn)練出一個神經(jīng)網(wǎng)絡(luò)模型，且該模型能夠盡量擬合所需要的預(yù)測結(jié)果。在數(shù)據(jù)量不是很大的情況下可以通過預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，這就是遷移學(xué)習(xí)[18]。遷移學(xué)習(xí)的特點(diǎn)：(1)復(fù)用現(xiàn)有知識域數(shù)據(jù)，已有的大量工作不至于完全丟棄；(2)不需要再去花費(fèi)巨大代價去重新采集和標(biāo)定龐大的新數(shù)據(jù)集，也有可能數(shù)據(jù)根本無法獲取；(3)對于出現(xiàn)的新領(lǐng)域，能夠快速遷移和應(yīng)用，體現(xiàn)時效性優(yōu)勢。

本文分別以這三種模型通過遷移學(xué)習(xí)技術(shù)(特征提取)構(gòu)建蘋果樹葉片病蟲害識別模型，實(shí)現(xiàn)對蘋果樹病蟲害的快速識別。

1.2.1 VGG16網(wǎng)絡(luò)結(jié)構(gòu)

VGG16模型結(jié)構(gòu)如表1所示。

表1 VGG16模型結(jié)構(gòu)Tab.1 Model instruction of VGG16

在2014年，VGG模型架構(gòu)由Simonyan和Zisserman[19]提出，VGG模型結(jié)構(gòu)簡單有效，前幾層僅使用3×3卷積核來增加網(wǎng)絡(luò)深度，通過Max pooling(最大池化)依次減少每層的神經(jīng)元數(shù)量，最后幾層分別是兩個有4 096個神經(jīng)元的全連接層，一個1 000個神經(jīng)元的全連接層和一個Softmax層。VGG16共包含13個卷積層(Conv Layer)，3個全連接層(FC Layer)，5個池化層(Pooling layer)，其中，卷積層和全連接層具有權(quán)重系數(shù)，因此也被稱為權(quán)重層，總數(shù)目為13+3=16(池化層不涉及權(quán)重，不計數(shù))。

1.2.2 ResNet50網(wǎng)絡(luò)結(jié)構(gòu)

在2015年He等[20]發(fā)現(xiàn)隨著網(wǎng)絡(luò)結(jié)構(gòu)越來越深，導(dǎo)致的梯度消失問題會使模型的學(xué)習(xí)愈加艱難，提出ResNet網(wǎng)絡(luò)模型。ResNet網(wǎng)絡(luò)模型利用殘差模塊和常規(guī)SGD(隨機(jī)梯度下降)可以訓(xùn)練極深的神經(jīng)網(wǎng)絡(luò)。使用Global Average Pooling(全局平均水平池)代替全連接層。ResNet50模型結(jié)構(gòu)如表2所示。

表2 ResNet50模型結(jié)構(gòu)Tab.2 Model instruction of ResNet50

1.2.3 Inception V3網(wǎng)絡(luò)結(jié)構(gòu)

“Inception”微架構(gòu)由Szegedy等[21]在2014年首次提出。Inception V3架構(gòu)實(shí)現(xiàn)基于Szegedy等[22]后來寫的論文《計算機(jī)視覺的初始架構(gòu)反思》(Rethinking the Inception Architecture for Computer Vision)，其中提出了對Inception模塊的更新，進(jìn)一步提高了ImageNet分類效果。Inception v3模型結(jié)構(gòu)如表3所示。模型中使用的3×Inception，5×Inception和2×Inception模塊如圖2～圖4所示。

圖2 3×Inception結(jié)構(gòu)圖Fig.2 3×Inception

圖3 5×Inception結(jié)構(gòu)圖Fig.3 5×Inception

圖4 2×Inception結(jié)構(gòu)圖Fig.4 2×Inception

表3 Inception模型結(jié)構(gòu)Tab.3 Model instruction of Inception

VGG16、ResNet50以及Inception V3是近年來在圖像領(lǐng)域取得良好成績的經(jīng)典卷積網(wǎng)絡(luò)模型。因此本文分別以VGG 16、ResNet50和Inception V3這三種模型為基礎(chǔ)構(gòu)建蘋果樹葉片病蟲害識別模型。

1.3 模型訓(xùn)練

1.3.1 試驗(yàn)環(huán)境

本試驗(yàn)的軟件環(huán)境為Python3.6.7，通過Tensorflow-GPU調(diào)用Keras庫構(gòu)建模型，使用cuda加速運(yùn)算。CPU為Intel Xeon E5-2660 v2 2.2 GHz 4核，內(nèi)存為32 GB，顯卡為兩張Nvidia P102-100，顯存為20 GB。

1.3.2 數(shù)據(jù)預(yù)處理

在利用不同的神經(jīng)網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)時，根據(jù)模型結(jié)構(gòu)的不同需要對輸入數(shù)據(jù)進(jìn)行預(yù)處理[23]。VGG16和ResNet50要求輸入圖片的大小為224×224×3，而Inception V3所需要的輸入圖片大小為299×299×3。因此在進(jìn)行試驗(yàn)前要對輸入數(shù)據(jù)進(jìn)行預(yù)處理，調(diào)整圖片的尺寸。

1.3.3 模型結(jié)構(gòu)的調(diào)整

改進(jìn)后的模型結(jié)構(gòu)如圖5所示。

圖5 重新設(shè)計后的模型結(jié)構(gòu)Fig.5 Redesigned model structure

本次遷移學(xué)習(xí)所使用的3種模型結(jié)構(gòu)均是為ImageNet(1 000種不同物體識別)所設(shè)計，利用上述模型進(jìn)行遷移學(xué)習(xí)來訓(xùn)練蘋果樹葉片病蟲害識別的網(wǎng)絡(luò)時勢必要對原來的模型進(jìn)行調(diào)整。本次試驗(yàn)一共要對4種不同的葉片進(jìn)行識別分類，因此全連接層的個數(shù)應(yīng)該為4。在重新設(shè)計的模型結(jié)構(gòu)中對原模型的最后一層進(jìn)行改進(jìn)：增加一層256維的全連接層，一層ReLU激活層，一層Dropout層，一層4維的全連接層以及一層Softmax層。

1.3.4 超參數(shù)的設(shè)計

參數(shù)(parameters)是指由模型通過學(xué)習(xí)得到的變量，不需要手動設(shè)定，比如權(quán)重w和偏置b。超參數(shù)(hyperparameters)通常根據(jù)模型設(shè)計者的經(jīng)驗(yàn)進(jìn)行設(shè)定，比如迭代次數(shù)、隱藏層的個數(shù)、每層神經(jīng)元的個數(shù)、學(xué)習(xí)速率、每個batch中訓(xùn)練樣本的數(shù)量等，超參數(shù)的設(shè)定將會影響到權(quán)重w和偏置b在迭代過程中的值。在1.3.3小節(jié)中已經(jīng)設(shè)定了隱含層的個數(shù)和每層神經(jīng)元的個數(shù)。學(xué)習(xí)率是一個很重要的參數(shù)，如果學(xué)習(xí)率設(shè)定的太大學(xué)習(xí)速度會加快，但是損失函數(shù)會在極小值點(diǎn)不停震蕩甚至偏離。而如果學(xué)習(xí)率設(shè)定的太小網(wǎng)絡(luò)收斂將會很慢。為了平衡學(xué)習(xí)速率和準(zhǔn)確率這兩點(diǎn)，本試驗(yàn)設(shè)置初始學(xué)習(xí)率為0.1，每隔10個epoch，學(xué)習(xí)率減小為原來的1/10，這樣可以動態(tài)調(diào)整學(xué)習(xí)率讓預(yù)測結(jié)果達(dá)到最佳。Batch size設(shè)置為10，一般來說如果運(yùn)算平臺的內(nèi)存越大，這個值可以設(shè)置得越高。Epoch為運(yùn)行的輪次，一個epoch代表一個完整的數(shù)據(jù)集經(jīng)過神經(jīng)網(wǎng)絡(luò)并返回。Epoch值越大代表訓(xùn)練次數(shù)越多，這里統(tǒng)一設(shè)定為30次。模型優(yōu)化器選擇Adam優(yōu)化器。Adam優(yōu)化器是Kingma和Ba[24]兩位學(xué)者在2014年提出，結(jié)合AdaGrad和RMSProp兩種優(yōu)化算法的優(yōu)點(diǎn)。對梯度的一階矩估計(First Moment Estimation，即梯度的均值)和二階矩估計(Second Moment Estimation，即梯度的未中心化的方差)進(jìn)行綜合考慮，計算出更新步長。

Adam優(yōu)化器更新規(guī)則

gt=?θJ(θt-1)

(1)

式中：gt——第t步時梯度；

J(θt-1)——使用隨機(jī)目標(biāo)函數(shù)對上一時刻的參數(shù)θt-1進(jìn)行計算。

mt=β1mt-1+(1-β1)gt

(2)

式中：mt——一階矩估計；

β1——指數(shù)衰減率，用于控制梯度動量和當(dāng)前梯度的權(quán)重分配，一般取值為0.9。

vt=β2vt-1+(1-β2)gt2

(3)

式中：vt——二階矩估計；

β2——指數(shù)衰減率，控制之前的梯度平方的影響情況，默認(rèn)為0.999。

(4)

因?yàn)閙0初始化為0，會導(dǎo)致mt偏向于0，尤其是在訓(xùn)練初期，所以要對mt進(jìn)行偏差糾正，降低偏差對訓(xùn)練初期的影響。

(5)

與m0類似，v0初始化為0會導(dǎo)致訓(xùn)練初期vt偏向于0，對其進(jìn)行糾正。

(6)

式中：θt——更新參數(shù)；

α——學(xué)習(xí)率；

ε——10-8。

1.4 試驗(yàn)流程

使用已有的4類蘋果樹葉片圖像，將圖像分為訓(xùn)練集、驗(yàn)證集和測試集后，用新設(shè)計的全連接層代替VGG16，ResNet50和Inception V3的全連接層模塊構(gòu)成一個新的網(wǎng)絡(luò)模型。之后利用已經(jīng)在ImageNet上訓(xùn)練好的3個網(wǎng)絡(luò)的卷積層權(quán)重遷移到新構(gòu)建模型的卷積層中，最后用圖像的訓(xùn)練集訓(xùn)練新模型并用測試集對模型的準(zhǔn)確度進(jìn)行檢驗(yàn)。訓(xùn)練完成后的模型就可以對蘋果樹葉片病蟲害進(jìn)行識別。試驗(yàn)流程如圖6所示。

圖6 遷移學(xué)習(xí)實(shí)驗(yàn)流程圖Fig.6 Flow chart of the experiment on transfer learning

2 試驗(yàn)結(jié)果與分析

本次試驗(yàn)選擇VGG16，ResNet50和InceptionV3這3種卷積網(wǎng)絡(luò)神經(jīng)結(jié)構(gòu)。直接搭建VGG16，ResNet50和InceptionV3模型病蟲害識別準(zhǔn)確率曲線變化如圖7、圖9、圖11所示；使用VGG16，ResNet50和InceptionV3模型遷移學(xué)習(xí)后病蟲害識別準(zhǔn)確率曲線變化如圖8、圖10、圖12所示。模型訓(xùn)練集，驗(yàn)證集和測試集準(zhǔn)確率如表4所示。

圖7 VGG16模型運(yùn)行結(jié)果Fig.7 Results of VGG16 model

圖8 VGG16模型遷移學(xué)習(xí)運(yùn)行結(jié)果Fig.8 Results of VGG16 model on transfer learning

圖9 ResNet50模型運(yùn)行結(jié)果Fig.9 Results of ResNet50 model

圖10 ResNet50模型遷移學(xué)習(xí)運(yùn)行結(jié)果Fig.10 Results of ResNet50 model on transfer learning

圖11 Inception V3模型運(yùn)行結(jié)果Fig.11 Results of Inception V3 model

圖12 Inception V3模型遷移學(xué)習(xí)運(yùn)行結(jié)果Fig.12 Results of Inception V3 model on transfer learning

由表4可知，遷移學(xué)習(xí)模型具有很強(qiáng)的魯棒性和泛化能力，這三種模型在使用遷移學(xué)習(xí)方法的情況下對蘋果樹葉片病蟲害識別的準(zhǔn)確率均達(dá)到了95%以上。相較于未使用遷移學(xué)習(xí)，在訓(xùn)練相同輪次的情況下，準(zhǔn)確度有較大提升，試驗(yàn)效果較為理想。VGG16網(wǎng)絡(luò)因?yàn)榫W(wǎng)絡(luò)層數(shù)較淺，訓(xùn)練時需要占用的內(nèi)存空間較小，其訓(xùn)練速度很快，在使用遷移學(xué)習(xí)方法后在測試集上的準(zhǔn)確度由72.09%提升到97.67%。ResNet50網(wǎng)絡(luò)層數(shù)很深，訓(xùn)練時需要占用大量內(nèi)存，訓(xùn)練速度較慢，在使用遷移學(xué)習(xí)方法后在測試集上的準(zhǔn)確度由48.83%提升到95.34%。

表4 3種模型準(zhǔn)確率對比Tab.4 Comparison of accuracy of three models

Inception V3結(jié)構(gòu)最為復(fù)雜，運(yùn)算消耗的時間最長但分類效果也最好且在測試集上準(zhǔn)確度最高。使用遷移學(xué)習(xí)后模型相較于未使用的模型收斂速度明顯加快，三種模型均在訓(xùn)練20輪左右達(dá)到穩(wěn)定且分類準(zhǔn)確度明顯提高，這表明利用經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)在保證準(zhǔn)確率和快速性的情況下對病蟲害識別的可行性，在識別前期不需要對圖像進(jìn)行過多的預(yù)處理，大大降低了訓(xùn)練時間和操作成本。

3 結(jié)論

本次試驗(yàn)使用遷移學(xué)習(xí)的方法，通過改進(jìn)原模型全連接層的結(jié)構(gòu)，將VGG16，ResNet50和Inception V3這3種卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到蘋果樹葉片病蟲害識別問題上。證明遷移學(xué)習(xí)在蘋果樹病蟲害識別上的有效性。

1)使用卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)對蘋果病害識別具有較好的應(yīng)用效果，豐富了現(xiàn)有的識別手段，為蘋果樹病蟲害識別提供了全新的思路。

2)和重新訓(xùn)練一個CNN網(wǎng)絡(luò)相比，利用遷移學(xué)習(xí)的方法能夠在訓(xùn)練20輪左右時精度就達(dá)到90%以上并趨于穩(wěn)定，而重新訓(xùn)練相同的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練次數(shù)在30輪的情況下驗(yàn)證集結(jié)果仍在反復(fù)波動，且平均準(zhǔn)確率只有70%左右。這說明使用遷移學(xué)習(xí)能大大縮短訓(xùn)練時間，提升識別精度，在蘋果樹葉片病蟲害識別的方面效果更好。

3)通過遷移學(xué)習(xí)識別模型訓(xùn)練的試驗(yàn)結(jié)果，可以看出使用遷移學(xué)習(xí)能夠在訓(xùn)練集樣本量偏少的情況下仍然達(dá)到較好的識別效果。說明遷移學(xué)習(xí)弱化了使用大數(shù)據(jù)集樣本的必要性，一定程度上能解決小數(shù)據(jù)集在復(fù)雜模型上產(chǎn)生的過擬合問題。