基于遷移學習ResNet網(wǎng)絡的櫻桃葉片白粉病的圖像識別

劉亞恒　張鵬超　徐鵬飛　咼生富

摘要：針對在復雜環(huán)境下櫻桃葉片病害識別準確率低的問題。本文在ResNet-50網(wǎng)絡的基礎上提出了一種改進方法，以AVE-pooling為下采樣層，Dropout、Dense層減少過擬合和增強分類效果，并采用Softmax分類器進行分類，利用遷移學習方法進行網(wǎng)絡微調，從而提高了白粉病的識別率。結果表明，這種改進方法的遷移學習獲得了99.98%的準確率，相比未改進遷移學習的97.42%提高了2.56%。實驗表明，本文提出的網(wǎng)絡改進方法和遷移方式可以提高櫻桃白粉病識別的準確率。

關鍵詞：櫻桃白粉病;遷移學習;深度學習;ResNet-50網(wǎng)絡;圖像識別

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）08-0012-04

1引言

櫻桃白粉病是櫻桃早期的病害，對櫻桃的產(chǎn)量、質量都會有巨大影響。準確識別是防治白粉病的基礎。傳統(tǒng)的識別方法主要依靠專家或者經(jīng)驗豐富的果農(nóng)田間辨識，不僅費時、費力，而且識別效率低。也有學者通過傳統(tǒng)機器學習方法改善這一問題[1]，但仍迫切需要一種高效、準確的識別方案。

自2012年AlexNet贏得ImageNet挑戰(zhàn)賽以來，卷積神經(jīng)網(wǎng)絡得到飛速發(fā)展，很多學者將其應用在農(nóng)業(yè)領域，孫俊等[2]、MOHANTY等[3]采用卷積神經(jīng)網(wǎng)絡對多種植物進行識別，準確率得到很大的提高。BRAHIMI等基于AlexNet網(wǎng)絡進行西紅柿病害識別[4]。黃雙萍等采用GoogLeNet對水稻穗瘟病進行檢測，準確率高達92%[5]。也有學者發(fā)現(xiàn)大數(shù)據(jù)集訓練時間長、小數(shù)據(jù)集訓練的網(wǎng)絡泛化能力低的問題，于是遷移學習方法得到了廣大學者青睞。龍滿生[6]、鄭一力[7]、趙立新[8]、許景輝[9]等學者利用遷移學習的方式在小數(shù)據(jù)集上分別實現(xiàn)了油茶、玉米、棉花等作物的病害識別，且獲得較高的準確率。

CNN在圖像處理方面具有自學習能力強的優(yōu)點，通過對數(shù)據(jù)的抽象分析，獲取大量的數(shù)據(jù)特征，進而快速準確將數(shù)據(jù)實現(xiàn)分類。因此，本文利用卷積神經(jīng)網(wǎng)絡進行櫻桃的白粉病害識別，特別是在ResNet-50網(wǎng)絡基礎上進行改進，并利用遷移學習在小樣本數(shù)據(jù)上微調。

2理論基礎

2.1殘差網(wǎng)絡

ResNet[10]在2015年贏得ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ImageNet Large Scale Visual Recognition Challenge， ILSVRC）冠軍而聞名，它完美解決了深度神經(jīng)網(wǎng)絡中“梯度消失”的問題，得到廣大學者的引用。殘差單元可表示為：

公式（4）中，[?loss?xL]為第L個殘差單元的損失函數(shù)，若不通過權重層的傳遞為：[?loss?xL];通過權重層的傳遞為：[?loss?xL??xLi=lL-1F（xi，Wi）]，前者公式保證了參數(shù)信號可以直接傳遞到淺層的[xl]，也保證了梯度不會出現(xiàn)梯度消失的現(xiàn)象，因為后者公式結果不可能為-1。

2.2遷移學習

遷移學習是通過將一個訓練好的神經(jīng)網(wǎng)絡初始化另一個訓練任務的方法[11-13]。具體做法為，將預訓練的卷積層作為圖像特征提取層，全連接層接收特征向量，進行識別分類[14]。于是，將預訓練卷積層與適合的全連接層組合為新的網(wǎng)絡模型，進行處理新任務[15]。

遷移學習需要保持模型中卷積層的結構不變，將訓練好的權重載入卷積層[13]。接下來，設計適合新任務的全連接層，用新任務的全連接層取代原來的全連接層，并與先前的卷積層構成新任務的訓練模型[12]。訓練模型的方式可分為兩種：第一種是把前[n]層凍結，使前[n]層的權重信息不參與到訓練中，只使用后面幾層的權重信息進行訓練，這種方法的優(yōu)點是需要的樣本數(shù)據(jù)集少，缺點是隨著層凍結[n]數(shù)值增大、訓練的效果卻逐步降低，這種方法是最基本的遷移學習;第二種是不凍結前[n]層、全程參與訓練但不斷調整他們的參數(shù)，實現(xiàn)更好的網(wǎng)絡性能，這種方法為遷移學習+fine-tuning[16]。

3模型構建

3.1 搭建ResNet-50網(wǎng)絡

ResNet-50網(wǎng)絡與ResNet其他網(wǎng)絡結構類似，圖像數(shù)據(jù)先進入input stem提取特征，接著進入重復16次的殘差塊，深度提取特征，最后經(jīng)由平均池化層、激活函數(shù)Softmax輸出結果，其結構如圖2所示。

在圖2中，conv_1層的輸入尺寸為：7*7*64，經(jīng)過最大池化層進入conv_2，conv_2是由三個殘差塊構成，其輸入和輸出的尺寸為：1*1*64，1*1*256，conv_3是由四個殘差塊構成，其輸入尺寸為1*1*128，輸出尺寸為：1*1*512，conv_4是由六個殘差塊構成，其輸入尺寸為：1*1*256，輸出尺寸為：1*1*1024，conv_5是由三個殘差塊構成，其輸入尺寸為：1*1*512，輸出尺寸為：1*1*2048。其中，conv_2、conv_3、conv_4、conv_5每個殘差塊之間都是由激活函數(shù)連接。

3.2改進方案

收集的櫻桃白粉病圖片數(shù)據(jù)集小，ResNet-50網(wǎng)絡模型訓練的分類效果非常不理想。因此，使用基于ResNet-50網(wǎng)絡的遷移學習的方法實現(xiàn)櫻桃病害的小數(shù)據(jù)集分類。本次遷移學習保存ResNet-50模型的卷積塊，設計全新的連接與分類模塊，改進后模型如圖3所示。

如圖3所示，圖像進入卷積層提取特征后，進入平均池化層池化，減小卷積層的參數(shù)誤差，接著進入Dropout層進行正則優(yōu)化，減小過擬合，再進入Dense層進行稠密化分類，使提取的特征經(jīng)過非線性變化，最后映射到輸出上，再用Relu函數(shù)激活，然后再次進入Dropout層、Dense層;兩次經(jīng)過Dropout、Dense層，可以進一步減少過擬合，加快收斂，最后用Softmax激活分類。其中ReLU激活函數(shù)具有計算簡單、收斂速度快等優(yōu)點[10]，其表達式為：65E71114-E2A4-42E9-96FB-4A0F5E09D398

用凍結的Conv_1、2、3層與新設計的全連接模塊代替原本的ResNet-50網(wǎng)絡，再把訓練好的卷積層權重遷移到上述新構建模型的卷積層中，最后用收集到的櫻桃圖像對新模型進行訓練，訓練完成的新模型即可對櫻桃病害圖像進行檢測與識別。

4模型構建與試驗結果分析

4.1圖像采集

試驗所需要的數(shù)據(jù)來自陜西省漢中市西鄉(xiāng)縣櫻桃溝櫻桃園，為了體驗復雜的背景環(huán)境，采集過程中，從不同的角度進行拍攝;拍攝的時間段為三個時間段，分別是早上、中午、傍晚。利用華為手機攝像頭，設置正常的拍照模式，分辨率為640像素×480像素，采集櫻桃白粉病葉片和健康葉片1050幅和850幅。

4.2圖像預處理

首先將采集的數(shù)據(jù)隨機處理為8：2的訓練集和測試集，然后將訓練集圖片進行數(shù)據(jù)擴充，分別包括圖片旋轉、平移、翻轉、顏色增強等處理方式，將原來的圖像擴充到5700幅，作為訓練集使用。同時縮放圖像數(shù)據(jù)到訓練所需要的像素：224像素*224像素。

4.3實驗環(huán)境

實驗需要的環(huán)境如表1所示。

4.4實驗訓練

由于設備的影響，在實驗中，設置每批次參與訓練和測試的圖像數(shù)量都為16，即batchsize為16，為了增強訓練效果，將動量參數(shù)設為0.9，學習率設為0.0001，分別訓練未改進網(wǎng)絡的遷移學習、改進的全新學習、改進遷移學習三種情況，其具體的情況如表2，其結果如圖4所示，其訓練和驗證最高準確率如表3所示。

4.5結果分析

4.5.1三種方式結果對比

圖5是三種情況下訓練的準確率，由圖5可知，改進遷移學習可以提高白粉病的訓練準確度，最高達到100%。美中不足的是，圖4所示的改進全新學習的擬合波動比較大，擬合效果較差。

圖6所示驗證集準確率與訓練準確結構相同，改進遷移學習、改進全新學習、未改進遷移學習三種不同情況驗證集的準確率最高為99.98%、98.94%、97.42%。改進遷移學習相比未改進遷移學習的驗證準確率提高2.56%，改進全新學習相比未改進遷移學習提高1.52%，改進遷移學習相比改進全新學習提高較少，僅有1.04%。由此可也得出改進遷移學習提高了白粉病的識別率。

4.5.2模型檢驗

為了方便觀察，用Python將測驗腳本程序可視化，通過OpenCV庫將測驗圖像的種類以及準確率都展示在圖片上，便于對比以及分析研究。現(xiàn)選擇改進遷移學習的訓練方式，選擇兩幅櫻桃葉片進行測驗，其預測結果如圖7所示，上半部分為櫻桃健康和白粉病的葉片，下半部分為櫻桃葉片測驗的分類和準確率，結果表明櫻桃白粉病的概率為99.997%，接近100%，健康葉片的概率為99.50%。通過實驗表明，本文提出的改進遷移學習的訓練機制對白粉病識別的準確率得到提高，可以推廣到在線診斷，目標識別等其他領域。

5結論

針對櫻桃白粉病的識別準確率低的問題，本文提出的改進ResNet的方法，提高了白粉病的識別率，并基于遷移學習微調的方法對白粉病的識別，準確率高達99.98%，接近100%。本文的創(chuàng)新點在于全連接部分雙層密集化處理，提高分類的精度，雙層Dropout減少訓練過程發(fā)生的過擬合現(xiàn)象，提高識別的精度。相比于未改進的ResNet網(wǎng)絡，在小數(shù)據(jù)上減少發(fā)生過擬合現(xiàn)象，識別的準確率更高、效果更好。

參考文獻：

[1] Gassoumi H，Prasad N R，Ellington J J. Neural Network based om approach for insect classification in cotton ecosystems[C].Proc of International Conference on Intelligent Technologies，2007：1.

[2] 孫俊，譚文軍，毛罕平，等.基于改進卷積神經(jīng)網(wǎng)絡的多種植物葉片病害識別[J].農(nóng)業(yè)工程學報，2017，33（19）：209-215.

[3] Mohanty S P，Hughes D P，Salathé M.Using deep learning for image-based plant disease detection[J].Frontiers in Plant Science，2016，7：1419.

[4] Brahimi M，Boukhalfa K，Moussaoui A.Deep learning for tomato diseases：classification and symptoms visualization[J].Applied Artificial Intelligence，2017，31（4）：299-315.

[5] 黃雙萍，孫超，齊龍，等.基于深度卷積神經(jīng)網(wǎng)絡的水稻穗瘟病檢測方法[J].農(nóng)業(yè)工程學報，2017，33（20）：169-176.

[6] 龍滿生，歐陽春娟，劉歡，等.基于卷積神經(jīng)網(wǎng)絡與遷移學習的油茶病害圖像識別[J].農(nóng)業(yè)工程學報，2018，34（18）：194-201.

[7] 鄭一力，張露.基于遷移學習的卷積神經(jīng)網(wǎng)絡植物葉片圖像識別方法[J].農(nóng)業(yè)機械學報，2018，49（S1）：354-359.

[8] 趙立新，侯發(fā)東，呂正超，等.基于遷移學習的棉花葉部病蟲害圖像識別[J].農(nóng)業(yè)工程學報，2020，36（7）：184-191.

[9] 許景輝，邵明燁，王一琛，等.基于遷移學習的卷積神經(jīng)網(wǎng)絡玉米病害圖像識別[J].農(nóng)業(yè)機械學報，2020，51（2）：230-236，253.

[10] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[11] 石祥濱，房雪鍵，張德園，等.基于深度學習混合模型遷移學習的圖像分類[J].系統(tǒng)仿真學報，2016，28（1）：167-173，182.

[12] 莊福振，羅平，何清，等.遷移學習研究進展[J].軟件學報，2015，26（1）：26-39.

[13] 黃家才，舒奇，朱曉春，等.基于遷移學習的機器人視覺識別與分揀策略[J].計算機工程與應用，2019，55（8）：232-237.

[14] 劉嘉政.基于深度遷移學習模型的花卉種類識別[J].江蘇農(nóng)業(yè)科學，2019，47（20）：231-236.

[15] 鄭澤宇，顧思宇.TensorFlow：實戰(zhàn)Google深度學習框架[M].北京：電子工業(yè)出版社，2017.

[16] 鄭遠攀，李廣陽，李曄.深度學習在圖像識別中的應用研究綜述[J].計算機工程與應用，2019，55（12）：20-36.

【通聯(lián)編輯：唐一東】65E71114-E2A4-42E9-96FB-4A0F5E09D398