基于改進Multi-Scale AlexNet的番茄葉部病害圖像識別

郭小清，范濤杰，舒 欣

基于改進Multi-Scale AlexNet的番茄葉部病害圖像識別

郭小清，范濤杰，舒 欣

（南京農業大學信息科技學院，南京 210095）

番茄同種病害在不同發病階段表征差異明顯，不同病害又表現出一定的相似性，傳統模式識別方法不能體現病害病理表征的動態變化，實用性較差。針對該問題，基于卷積神經網絡提出一種適用于移動平臺的多尺度識別模型，并基于此模型開發了面向農業生產人員的番茄葉部病害圖像識別系統。該文詳細描述了AlexNet的結構，分析其不足，結合番茄病害葉片圖像特點，去除局部響應歸一化層、修改全連接層、設置不同尺度卷積核提取特征，設計了基于AlexNet的多感受野識別模型，并基于Android實現了使用此模型的番茄葉部病害圖像識別系統。Multi-ScaleAlexNet模型運行所耗內存為29.9MB，比原始AlexNet的內存需求652MB降低了95.4%，該模型對番茄葉部病害及每種病害早中晚期的平均識別準確率達到92.7%，基于此模型的Andriod端識別系統在田間的識別率達到89.2%，能夠滿足生產實踐中移動平臺下的病害圖像識別需求。研究結果可為基于卷積神經網絡的作物病害圖像識別提供參考，為作物病害的自動化識別和工程化應用參考。

圖像處理；病害；圖像識別；算法；卷積神經網絡；番茄病害；多尺度

0 引 言

番茄葉部發生病害會嚴重影響產量與品質，且諸多病害都是從葉部開始發病，進而蔓延到整個植株[1]，及時準確地識別出葉部病害類型是病害綜合防治的關鍵。近年來，基于圖像的模式識別技術在農作物病害診斷領域取得廣泛應用[2-4]。傳統針對作物病害識別的算法是通過提取、篩選顏色、紋理、形狀等特征來進行的，但同種病害在不同發病階段病癥差異明顯，多種病害可能表現出相似的病理表征，這些復雜的自然因素使傳統的模式識別方法在解決番茄病害識別問題時普適性較差。基于圖像的病害識別本質上是圖像分類問題，深度卷積神經網絡在圖像識別領域的應用是新的研究熱點[5-12]。楊國國等[13]利用圖像的顯著性分析定位茶園害蟲的位置，通過縮減網絡層數、減少卷積核數目等改進AlexNet[14]模型，并結合Dropout等優化方法提升了模型的準確性與效率，優化后的模型對茶園23種害蟲平均識別準確率達到88.1%。孫俊等[15]通過使用Batch Normalization、Global Average Pooling[16]、縮小卷積核尺寸等方法改進AlexNet網絡模型，提升了準確率，減少了模型所需參數，對簡單背景下14種作物的26種病害識別平均準確率達到99.56%，對田間的復雜背景識別率較低。王艷玲等[17]將遷移學習應用于原始AlexNet網絡中，對10種類別番茄葉片的平均識別準確率達到95.62%。Aravind等[18]利用原始AlexNet、VGG16網絡，結合遷移學習分別在識別7種分割后的番茄葉片上取得97.29%、97.49%的準確率。采用遷移學習雖然可以使模型快速收斂，達到較好地識別效果，但也受限于必須使用原始的網絡結構，原始AlexNet和VGG16模型結構復雜，參數眾多，極大的限制了模型的實際應用和部署。

相較于傳統的模式識別方法，基于深度卷積網絡（convolutional neural network, CNN）的病害識別方法摒棄了復雜的圖像預處理和特征提取操作，采用端到端的結構簡化了識別流程。在ILSVRC競賽中涌現的AlexNet、VGG[19]、ResNet[20]、Incept-io-n[21-24]等不斷刷新通用目標識別的準確率。也有學者根據移動設備和嵌入式設備的應用需求，改進設計了輕量化的卷積模型，典型的代表有MobileNet[25]、Squ-eezeNet[26]等，但鮮少相關實踐應用的報道。本文將依據最新的CNN理論研究成果與番茄葉部病害圖像本身的特點，研究并開發面向農戶的番茄葉部典型病害識別系統，以期為作物病害的自動化識別和工程化應用提供參考。

1 數據來源

1.1 樣本數據

本文的番茄葉部圖像數據，一部分(5 127張)取自PlantVillage(http://www.plantvillage.org)數據庫，該數據庫收錄了大量的植物病害圖像。一部分(639張)拍攝于南京農業大學牌樓基地，采用索尼DSC-WX350，分辨率4 896×3 672像素，自動白平衡、光學對焦，在戶外晴天對番茄葉部正面主體進行拍攝，從番茄種植到收獲完畢的整個生育期內共采集到8種類別的番茄葉部圖像樣本(健康樣本和7種病害樣本)，且每種病害圖像樣本包含不同的發病階段。

從獲取的番茄病害樣本可知，番茄病害的識別主要有以下2個難點：1）不同病害的表征具有一定的相似性; 2）同種病害不同的發育階段表征差異明顯。

1.2 數據增強

獲取的各類病害樣本分布極不均勻，細菌性斑點病989張，斑枯病243張，黃曲病373張，早疫病586張，晚疫病953張，花葉病952張，輪斑病1 036張，健康樣本634張。在深度學習中，樣本分布不均勻會影響模型識別的準確率[27-28]，故對數量較少的樣本數據進行增強處理。數據增強時要符合實際應用條件，不能隨意擴增，例如顏色是不同病害的主要表征之一，在做圖像增強時不能改變原來圖像的顏色。為模擬自然拍攝條件下的復雜環境影響，在Tensorflow框架下結合opencv完成樣本圖像數據增強。主要采用如下數據增強手段：1）隨機裁剪(Random Crop)：在較大圖像的不同區域隨機裁剪出局部圖像從而得到更多的數據。2）翻轉(Flip)：沿著圖像的水平方向和垂直方向進行翻轉，不會改變病斑部分與健康部分的相對位置，模擬自然條件下的拍攝角度的隨機性。3）旋轉(Rotation)：以圖像中心為原點旋轉一定的角度獲取新的圖像。4）顏色抖動(Color Jittering)：改變圖像的亮度、飽和度、對比度、色調等。由于色調是區分番茄不同病斑的重要指標，模擬自然環境下拍攝時的亮度差異，僅改變圖像的亮度。5）縮換變化(Zoom)：按照一定比例放大或縮小圖像，有助于識別多種尺度下的目標。6）添加噪聲(Add Noise)：對圖像添加一定的噪聲可以得到新的圖像，本文對圖像添加椒鹽噪聲和高斯噪聲，模擬拍攝不同清晰條件的樣本。增強后的樣本數據集為：細菌性斑點病989張，斑枯病945張，黃曲病1 086張，早疫病1 129張，晚疫病953張，花葉病952張，輪斑病1 036張，健康1 259張。

1.3 試驗環境

本文所使用的試驗平臺為Ubuntu 16.04LTS，內存為16GB，搭載Intel? Core? i7-6700hq，@ 2.4GHz x8 處理器，顯卡NVIDIA GeForce 960m(4G)，采用深度學習框架Tensorflow1.4[19]和Keras2.1[21]。

2 改進Multi-scale AlexNet模型

2.1 AlexNet結構與不足

AlxeNet發表于2012年，并以顯著優勢獲得了年度ILSVRC競賽冠軍。AlexNet網絡要求輸入圖像的尺寸為(224×224×3)，共計8層。第一層接受圖像輸入后，經過卷積層、局部響應歸一化層和最大池化層，輸出形狀為(27×27×96)的張量并向下傳遞；第二層的數據流向依次為卷積層、最大池化層和局部響應歸一化層，輸出張量形狀為(13×13×256)；第三層和第四層分別只包含一個卷積層，經過2層的卷積操作后輸出形狀為(13×13×384)；第五層的數據流向依次為卷積層和最大池化層，輸出形狀為(6×6×256)；第六層和第七層為全連接層，每層各有神經單元4 096個(6×6×256=4 096)，文獻[29]中作者為減輕過擬合，在第六層和第七層設置了dropout，取值為0.5；第八層為輸出層。

AlexNet用到的諸多技巧為卷積神經網絡的工業化應用奠定了基礎，但AlexNet整個網絡模型包含6億3000萬個連接，6 000萬個參數和近65萬個神經元，過多的參數使模型在訓練中極易出現過擬合現象。采用Tensorflow框架訓練完畢后的模型文件652 MB，嚴重限制了AlexNet在移動平臺的應用。

2.2 多尺度AlexNet模型設計

針對AlexNet模型的局限性、番茄病害識別的難點及移動平臺存儲空間和運算速度有限的應用需求，在保證病害識別模型準確率的前提下，盡可能縮減模型大小、提升運行效率。

2.2.1 改進設計步驟

1）去除局部響應歸一化層

局部響應歸一化(local response normalization, LRN)來源于神經生物學中的側抑制機制，即被激活的神經元會抑制相鄰的神經元，歸一化的目的是起到“抑制”作用。在卷積神經網絡的發展中，LRN逐漸被摒棄，經典的卷積模型VGGNet、ResNet、GoogleNet等都去除了LRN結構。VGGNet作者在其2014年的論文中指出：LRN沒有提升卷積網絡在ILSVRC數據集上的性能，卻增加了運算時間。基于上述原因Multi-Scale AlexNet模型去除了LRN結構。

2）修改全連接層

全連接層通常置于卷積神經網絡的后端，起到分類的作用。在用于圖像識別時，會使得特征權值過于密集，從而造成模型的過擬合，增加模型訓練的難度。近年來的研究[20-24]表明，通過對網絡結構的高效設計，可以通過簡化全連接層減少模型的參數。參考已有研究成果[13]，對Multi-Scale AlexNet全連接層做了去除fc6、fc7，添加平均池化的結構設計。

3）添加多種感受野尺寸

對輸入圖像用不同尺寸的卷積核進行卷積，可以同時提取多種局部特征，得到不同特征上的響應。深度卷積神經網絡中，底層卷積提取邊緣、顏色、紋理等簡單信息，高層卷積完成特征的抽象，卷積層越靠后，提取的信息越接近目標對象[30]。

AlexNet模型中的第一層采用了11×11的大尺寸卷積核，通常認為在底層設置大尺寸卷積更趨向于響應粗粒度特征 (如邊緣、輪廓特征)[15]。識別番茄葉部的不同病害時，需要考慮如下問題: 1)病害發病初期，病斑微小，捕捉細節紋理困難，造成模型的過擬合，增加模型訓練難度。微小的顏色差異(細粒度特征)是區分不同病害的關鍵。圖1中分別代表發病早期的番茄細菌性斑點病、輪斑病、早疫病、晚疫病、斑枯病、花葉病、黃曲病和健康葉片，每幅圖像中圓圈部分代表葉片的發病部位，病斑微小，與健康葉片的差異不大，病斑的邊緣、輪廓等信息不明顯，肉眼難以區分。2)不同病害在發病的某個階段表現出相似的顏色、紋理、輪廓特征。圖2表示細菌性斑點病、早疫病、斑枯病3種病害發病圖中晚期。3種病害的病斑中心都呈現出棕色的斑點，斑點外圍變黃并向四周蔓延。3種病害在顏色、輪廓和紋理等方面表現出一定的相似性。3)同一種病害在不同發病階段，病癥差異明顯。圖3代表番茄花葉病的早、中、晚發病圖，和番茄早疫病的早、中、晚發病圖。隨著病情持續，病斑輪廓、邊緣差異加大，葉片在輪廓、顏色、紋理等方面均表現出明顯的差異。已有的相關病害識別文獻[2-4,13,15,29,31]在識別多種病害時，鮮少考慮以上問題。

綜上所述，識別番茄葉部病害類別，既要考慮不同病害的細粒度特征，又要考慮不同病害的粗粒度特征，綜合提取多種特征是表征病害動態變化的關鍵。因此在Multi-Scale AlexNet模型第一層設置不同尺寸的卷積核，以改善網絡底層對不同粒度特征的響應。

圖1 番茄典型病害早期發病葉部圖像

圖2 番茄細菌性斑點病、早疫病、斑枯病葉部圖像

圖3 番茄花葉病、早疫病在不同階段的發病圖

采用4種不同尺度 (1×1)、(3×3)、(5×5)和(7×7)，個數分別為32、32、16和16的卷積核并行提取樣本圖像特征，然后合并為同一個張量繼續向下傳遞。這四種尺寸的卷積核在VGGNet、Inception系列、ResNet中被廣泛使用，充分驗證了其在圖像識別、目標定位中的優越性。因采用了多尺寸卷積結構。

2.2.2 模型結構與參數設置

Multi-Scale AlexNet共計6層，部分參數設置參考原AlexNet模型，整個網絡模型的詳細結構和參數如圖4所示。

圖4 Multi-Scale AlexNet結構與參數

2.3 評價指標

移動平臺的性能約束，要求識別模型在保證精度的同時快速響應用戶的操作，并盡可能壓縮模型運行的內存需求，以便于提供良好的用戶體驗。因此采用移動端較敏感的3個指標評價識別系統的性能。

2.3.1 平均識別準確率

平均識別準確率(average accuracy, AA)是檢驗模型性能的最重要指標。

2.3.2 前向傳播速率和反向傳播速率

模型的運行速率是影響模型應用的重要指標。前向傳播速率(forward propagation rate, FPR)指樣本數據從輸入網絡到輸出結果所用的時間，前向傳播速率越短，表示模型識別速度越快。反向傳播速率(backward propaga-ti-on rate, BPR)指網絡權重與偏置從輸出層到輸入層更新一輪所用的時間，反向傳播速率越短，表示模型更新迭代的速度越快，有利于模型的訓練和更新。

2.3.3 內存需求

內存需求是影響模型在移動平臺應用的重要指標。移動平臺內存空間有限，運行消耗的內存過大會導致應用啟動慢、后臺易殺死、系統更新耗費流量等問題，嚴重影響用戶的使用體驗。因此在保證精度的同時，盡可能壓縮模型大小，是模型在移動平臺應用的關鍵。

2.4 試驗分析

對比試驗均采用AdamOptimizer優化更新參數，初始學習率設定為0.003，損失函數為交叉熵(cross-en-tropy)，權值初始化方法采用Xavier，偏置全部初始化為0，分類層采用softmax函數，每個模型更新迭代(epo-ch)1 200次，每個批次(BatchSize)32個樣本，訓練過程中，每次迭代輸入之前會隨機打亂(shuffle)。以增強后的8 349張圖像為基準數據集，訓練集、驗證集、測試集比例為7:2:1。

本文設計了5種試驗方案（表1所示）進行性能分析。

表1 試驗方案

2.4.1 改進后性能分析

1）局部響應歸一化層對模型的影響

由表2可知，去除LRN層后，模型大小無變化，識別準確性僅下降0.6個百分點，但前向傳播速率和反向傳播速率顯著加快。因此后續對比試驗以方案2為基礎去除LRN層。

表2 各試驗方案性能對比

2）全連接層設計對模型的影響

去除LRN層后，分別將全連接層修改為全局平均池化和全局最大池化后的試驗對比。

由方案2、3、4可知，AlexNet模型的參數幾乎全部集中于全連接層，重新設計全連接層后，模型大小僅相當于原來的4.3%，模型大小縮減為30.2 MB。方案5的內存需求比原始AlexNet的內存需求652 MB降低了95.4%。簡化全連接層不僅提升了準確性，也提升了模型的前向傳播速率和反向傳播速率，適于模型在移動平臺的應用。由表2可知，添加全局平均池化后的模型準確率最高，故后續改進以方案3為基礎在全連接層采用全局平均池化。

3）多尺度感受野對模型的影響

引入多尺度感受野后的AlexNet模型在測試集上的準確率提升了3.2個百分點，表明引入多尺度感受野后模型提取的特征更能準確的表征不同病害。由于采用了多個較小尺寸的卷積核，模型參數減少，模型運行所需的內存需求降低，但多個卷積操作稍微增加了模型的運行時間。

2.4.2 與其他識別模型對比

選取2類識別模型進行對照試驗。一類是基于傳統模式識別的方法[31]，該方法在病害診斷領域應用廣泛。另一類是基于深度學習的方法，近年來已在病害識別、分割等領域初步應用。

1）與傳統模式識別方法的對比與分析

對照試驗的設計過程參考文獻[31]，該文獻設計了一種基于顏色、紋理加SVM的病害識別方法。數據集包含7種病害樣本早、中、晚3個不同的發病階段，訓練集、驗證集、測試集比例為7:2:1。由于傳統模式識別方法在特征提取、圖像分割部分不支持GPU加速，2種方法的對比試驗在相同的CPU上進行，識別時間表示識別單張圖像的平均用時，重復600輪。試驗結果（表3）表明：Multi-Sc-ale AlexNet對圖像的輸入要求低，能在更短的時間內完成病害識別任務，在保留背景且不進行病斑分割的條件下，其在識別早、中、晚3個不同發病階段的病害葉片時，均取得較高的識別準確率，且整體識別準確率達到92.7%。

表3 Multi-Scale AlexNet與傳統模式識別方法的試驗對比

傳統模式識別方法對圖像的輸入要求苛刻，在進行分類之前，圖像需要經過去背景、病斑分割等復雜流程，這些預處理流程嚴重影響了模型的識別速度和識別精度，且提取有限的顏色、紋理、形狀特征不能準確地反映病害特征的動態變化。同種病害在不同的發病階段其顏色、紋理、形狀差異明顯，導致傳統模式識別方法在識別不同發病階段的病害時，準確性存在較大差異；而不同病害又具有一定的相似性，因此其整體識別準確率偏低。

2) 與其他卷積神經神經網絡的對比與分析

目前采用卷積神經網絡進行病害識別的文獻較少，本文選取了3種具有代表性的卷積結構進行對比試驗。第一種是基于MobileNet的識別方法，該方法谷歌于2017年發布，是一種小尺寸、高精度的卷積模型，能夠滿足移動平臺的圖像識別需求；第二種是基于彈性動量的卷積神經網絡方法[29]，該方法在LeNet-5[32]的基礎上改進得來，其在識別果體病害圖像方面取得了較好的效果；第3種是基于SequeezeNet的識別方法，該方法通過高效的卷積設計，在保證精度的同時極大的縮減了模型大小。對比試驗在相同的GPU上測試輸入單張圖像(Batch-Si-ze=1)的平均耗時，共測試600輪，對比后果見表4。

表4 Multi-Scale AlexNet與其他卷積網絡模型的試驗對比

試驗結果表明，LeNet-5準確性最差，原因在于LeNet-5要求圖像的輸入尺寸較低，病害圖像在壓縮后大量的有用信息被丟棄導致其準確率只有27.4%。MobileNet在未經任何優化的前提下，依然得到了91.9%的準確率，表明其所采用的深度可分卷積(Depthwise Convolutional)單元具有一定的泛化性。番茄病斑在中晚期開始擴大和蔓延，由于MobileNet和SequeezeNet大量采用1×1和3×3的小尺寸卷積核，因此其在識別發病中期和晚期的圖片時準確率均低于Multi-Scale AlexNet, 表明增加多種尺度感受野有利于識別不同發病階段的病害。由于MobileNet采用的深度可分離卷積單元和SequeezeNet采用的fire model結構，網絡內部均涉及數量眾多的小尺寸卷積操作和頻繁的特征拼接，故耗時較長。Multi-Scale AlexNet相比與MobileNet和SequeezeNet，圖像輸入尺寸一致，識別時間更短，準確率最高，綜合三種評價指標，更適合在移動平臺識別不同發病階段的番茄病害。

3 基于Multi-Scale AlexNet模型的番茄葉部病害識別系統

以Multi-Scale AlexNet模型為基礎，開發基于Android平臺的番茄葉部病害識別系統。系統的設計流程如圖5所示。Multi-Scale AlexNet要求輸入格式為彩色圖像，用戶采集任意尺寸上傳后，系統通過縮放將圖像尺寸統一為224×224×3。由于Multi-Scale AlexNet模型分類層采用的是softmax函數，該函數會輸出各類別的概率分布，系統會把最大概率值所對應的標簽作為結果向用戶返回。由于在圖像輸入環節存在諸多不確定性，此處設定閾值為0.5，當最大類別標簽的概率值大于或等于0.5時，向用戶返回識別結果，概率值小于0.5時，請求用戶重新輸入一張圖片。出于交互友好性考慮，圖像的輸入提供現場拍攝和本地上傳2種方式，識別結果除了向用戶直接展示，也可以將識別結果以截圖的形式保存于本地，方便用戶查看，系統運行界面如圖6所示。

圖5 番茄病害識別系統流程設計

圖6 基于Android的病害識別系統界面

系統完成后用自采集樣本(87張，取自測試集)進行工程化測試，測試結果如表5所示。

表5 Android平臺番茄葉部病害識別系統應用測試

識別系統能夠在普通安卓平臺完成5幀/s左右的識別速度，由于自采集樣本較開源數據集背景復雜，因此測試結果準確率偏低。后續將加入基于深度學習的快速定位、分割等算法，排除背景干擾，提升實踐性能。

4 結 論

本文在分析AlexNet結構和詳細參數的基礎上指出其存在的不足，結合8種番茄葉部圖像樣本的識別難點及移動端對病害圖像識別模型的運行要求，設計了Multi-Scale AlexNet模型，并基于此模型實現Android端的識別系統。去除局部響應歸一化層LRN、簡化全連接層的設計能夠加快識別模型的運行速率，縮減模型所需參數；引入多尺度感受野提取特征能更準確地表征不同病害，也有利于提升不同發病階段病害的識別準確率。與傳統模式識別方法及其他卷積神經網絡模型的對比試驗顯示，該模型能較好地平衡識別準確率和運行所耗的內存需求，運行效率高，模型的平均識別準確率達到92.7%。基于該模型實現的番茄病害識別系統，能夠在普通安卓平臺完成5幀/s的識別速度，并在自采集樣本上達到89.2%的識別準確性，初步滿足移動平臺番茄病害識別的生產需求。

[1] 蘇春國. 番茄常見病蟲害綜合防治建議[J]. 農民致富之友, 2017(23): 155.

[2] 劉濤，仲曉春，孫成明，等. 基于計算機視覺的水稻葉部病害識別研究[J]. 中國農業科學，2014，47(4): 664－674.Liu Tao, Zhong Xiaochun, Sun Chengming, et al. Recognition of rice leaf diseases based on computer visi-on[J]. Scientia Agricultura Sinica, 2014, 47(4): 664－674. (in Chinese with English abstract)

[3] 王美麗，牛曉靜，張宏鳴，等. 小麥葉部常見病害特征提取及識別技術研究[J]. 計算機工程與應用，2014，50(7)：154－157.Wang Meili, Niu Xiaojing, Zhang Hongming, et al. Research on feature extraction and recognition of common diseases of wheat leaf[J]. Computer Engineering and Applications, 2014, 50(7): 154－157. (in Chinese with English abstract)

[4] 王獻鋒，張善文，王震，等. 基于葉片圖像和環境信息的黃瓜病害識別方法[J]. 農業工程學報嗎，2014，30(14)：148－153.Wang Xianfeng, Zhang Shanwen, Wang Zhen, et al. Recognition of cucumber diseases based on leaf image and environmental information[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(14): 148－153. (in Chinese with English abstract)

[5] Yi D, Lei Z, Li S Z. Age Estimation by multi-scale convolutional network[C]// Asian Conference on Computer Vision. Springer, Cham, 2014: 144－158.

[6] Yang H F, Lin B Y, Chang K Y, et al. Automatic age estimation from face images via deep ranking[C]// Proc. British Machine Vision Conference. 2015.

[7] Rothe R, Timofte R, Gool L V. DEX: Deep EXpectation of apparent age from a single image[C]// IEEE International Confe-rence on Computer Vision Workshop. IEEE, 2016: 252－257.

[8] Girshick R. Fast R-CNN[C]// IEEE International Conference on Computer Vision. IEEE, 2015:1440－1448.

[9] Ren S, Girshick R, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Trans Pattern Anal Mach Intell, 2015, 39(6):1137－1149.

[10] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]// Computer Vision and Pattern Recognition. IEEE, 2016:779－788.

[11] Liu W, Anguelov D, Erhan D, et al. SSD: Single Shot MultiBox Detector[C]// European Conference on Computer Vision. Springer, 2016:21－37.

[12] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C] // Conference on Computer Vision and Pattern Recognition.IEEE, 2017:6517－6525.

[13] 楊國國，鮑一丹，劉子毅. 基于圖像顯著性分析與卷積神經網絡的茶園害蟲定位與識別[J]. 農業工程學報，2017，33(6)：156－162.Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156－162. (in Chinese with English abstract)

[14] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012: 1097－1105.

[15] 孫俊，譚文軍，毛罕平，等. 基于改進卷積神經網絡的多種植物葉片病害識別[J]. 農業工程學報，2017，33(19)：209－215.Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209－215. (in Chinese with English abstract)

[16] Lin M, Chen Q, Yan S. Network In Network[C]//International Conference on Learning Representations. 2014:1－10.

[17] 王艷玲，張宏立，劉慶飛，等. 基于遷移學習的番茄葉片病害圖像分類[J]. 中國農業大學學報，2019，24(6)：124－130. Wang Yanling, Zhang Hongli, Liu Qingfei, et al. Image classification of tomato leaf diseases based on transfer learning[J]. Journal of China Agricultural University, 2019, 24(6): 124－130. (in Chinese with English abstract)

[18] Aravind K R, Raja P, Aniirudh R. Tomato crop disease classification using pre-trained deep learning algorithm[J]. Procedia Computer Science, 2018, 133: 1040－1047.

[19] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2014-12-19]. https://arxiv. org/abs/1409. 1556.

[20] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770－778.

[21] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2014:1－9.

[22] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]// International Conference on Machine Learning. 2015: 448－456.

[23] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[C]// Computer Vision and Pattern Recognition. IEEE, 2016:2818－2826.

[24] Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, Inception-ResNet and the impact of residual connections on learning[C]// Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, 2016:4278－4284.

[25] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[EB/OL]. [2017-01-17]. https://arxiv. org/abs/1704. 04861.

[26] Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size[EB/OL]. [2016-11-4]. https://arxiv. org/abs/1602. 07360.

[27] Bruzzone L, Serpico S B. Classification of imbalanced remote-sensing data by neural networks[J]. Pattern Recognition Letters, 1997, 18(11): 1323－1328.

[28] Pulgar F J, Rivera A J, Charte F, et al. On the impact of imbalanced data in convolutional neural networks performance[C]// International Conference on Hybrid Artificial Intelligence Systems. Springer, Cham, 2017: 220－232.

[29] 譚文學，趙春江，吳華瑞，等. 基于彈性動量深度學習神經網絡的果體病理圖像識別[J]. 農業機械學報，2015，46(1)：20－25.Tan Wenxue, Zhao Chunjiang, Wu Huarui, et al. A deep learning network for recognizing fruit pathologic images based on flexible momentum[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(1): 20－25. (in Chinese with English abstract)

[30] 李松，魏中浩，張冰塵，等. 深度卷積神經網絡在遷移學習模式下的SAR目標識別[J]. 中國科學院大學學報， 2018，35(1)：75－83.Li Song, Wei Zhonghao, Zhang Bingchen, et al. Target recognition using the transfer learning-based deep convolutional neural networks for SAR images[J]. Journal of University of Chinese Academy of Sciences, 2018, 35(1): 75－83. (in Chinese with English abstract)

[31] 秦豐，劉東霞，孫炳達，等. 基于圖像處理技術的四種苜蓿葉部病害的識別[J]. 中國農業大學學報，2016，21(10)：65－75. Qin Feng, Liu Dongxia, Sun Bingda, et al. Recognition of four different alfalfa leaf diseases based on image processing technology[J]. Journal of China Agricultural University, 2016, 21(10): 65－75. (in Chinese with English abstract)

[32] Lecun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 2014, 1(4): 541－551.

Tomato leaf diseases recognition based on improved Multi-Scale AlexNet

Guo Xiaoqing, Fan Taojie, Shu Xin

(,,210095,)

The symptoms of the same tomato disease in different stages are obviously different, and different diseases show some similarities. Traditional pattern recognition methods can not reflect the dynamic changes of the pathological characterization, and the practicability is poor. To solve this problem, this paper proposed a Multi-Scale AlexNet recognition model for mobile platform based on convolutional neural network (CNN), and implemented a tomato leaf disease image recognition system for agricultural workers based on Android. Many parameters and large memory utilization of traditional AlexNet model are unfit for mobile platform, this paper adjusted the network structure of the traditional model by removing the local response normalization(LRN) layer, modifying the full connection layer, setting up different convolution kernel extraction features, designed a multi- scale recognition model based on the AlexNet. The model consists of 6 layers. It can optimize the training time and memory utilization and achieve high precision. After removing the LRN layer, there was a 30% decrease in running time. Extending the single convolution kernel into multi-scale (1′1,3′3,5′5,7′7) convolution kernel then fused at the first layer, removing full connection layer 6 and 7, and taking the place of global average pooling layer, then the model size was only 30.2 M. The forward propagation rate (FRP) and backward propagation rate (BPR) were reduced, and the global average pooling is better than the global maximum pooling on recognition accuracy. So the Multi-Scale AlexNet model used global average pooling in the 5th layer. In image preprocessing phase, in order to avoiding over fitting of the trained model caused by the unbalanced distribution of sample numbers, we had zoomed, flipped, color jittering, add noise and rotated the original pictures of dataset randomly to get the augmented dataset, and used 70% of the pictures as the train dataset and the rest as the validation dataset(20%) and test dataset(10%). These pictures were quantized to 224′224 dpi for Multi-Scale AlexNet training, and the original dataset and augmented dataset were used to train models. In order to validate the performance of the proposed model, comparative tests were done between Multi-Scale AlexNet and traditional pattern recognition method. It repeated 600 tests. The results showed that the CNN model achieved 92.7%, the high average recognition accuracy of each disease and each disease in the early, middle and late stages. Compared with the other CNN Net model(MobileNet, SequeezeNet, LeNet-5), the Multi-Scale AlexNet achieved the highest recognition accuracy, and reached 95.8% on the late stage disease dataset, but the SequeezeNet model used less memory. The MobileNet and SequeezeNet model reached lower recognition accuracy on the middle and late stages dataset, that because their convolution size was small. The recognition system was implemented on Android platform, and then test was done on field dataset. The results showed that the average recognition accuracy was 89.2%, its less value was due to thecomplex background of image. Then the system can meet the requirements of disease image recognition on mobile platform in production practice. The research results provide a method for disease image recognition based on convolution neural network, and provide a reference for automatic identification of crop diseases and engineering applications.

image processing; disease; image recognition; algorithms; convolutional neural network; tomato diseases; multi-scale

10.11975/j.issn.1002-6819.2019.13.018

S511

A

1002-6819(2019)-13-0162-08

2018-09-24

2019-02-18

中央高校基本業務費項目(KYZ201547)；國家自然科學基金項目(61602248)；江蘇省自然科學青年基金項目(BK20160741)

郭小清，山西繁峙人，博士，講師，主要從事基于視覺的作物病害診斷、機器學習方面研究。Email：gxqing@njau.deu.cn

郭小清，范濤杰，舒 欣. 基于改進Multi-Scale AlexNet的番茄葉部病害圖像識別[J]. 農業工程學報，2019，35(13)：162－169. doi：10.11975/j.issn.1002-6819.2019.13.018 http://www.tcsae.org

Guo Xiaoqing, Fan Taojie, Shu Xin. Tomato leaf diseases recognition based on improved Multi-Scale AlexNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 162－169. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.13.018 http://www.tcsae.org