基于TACNN的玉露香梨葉蟲害識別

趙志焱，楊 華，胡志偉，宇海萍

山西農業大學 信息科學與工程學院，山西 晉中030801

玉露香梨作為中熟梨的“新秀”，在華北和西北種植面積超過了80 萬畝，種植面積有不斷擴張的趨勢。玉露香梨在生長過程中，容易受到蟲害的侵入且蟲害種類繁多，嚴重時直接影響果實的質量和產量，同時會引起周圍不同品種受害。梨葉蟲害的識別多數是通過人眼辨別或網上專家的診斷，容易產生誤判[1]，費時費力，識別結果不盡人意。因此玉露香梨葉蟲害識別模型的研究為輔助玉露香蟲害防治決策提供了幫助。

近年來許多學者采用機器學習的方法進行蟲害自動識別[2]，其中卷積神經網絡（Convolution Neural Network，CNN）因比傳統學習方法更具有特征表達能力而被廣泛應用到果蔬作物蟲害識別中。國內外學者通過不斷優化CNN 模型的參數和結構對不同果蔬病害進行識別。Amara 等[3]利用LeNet 模型對早期的香蕉葉病害進行識別，該模型對光線及背景有嚴格要求，普適性不夠。文獻[4]通過引進GoogLeNet Inception結構并改進AlexNet模型的卷積層、池化層、提升了模型收斂速度，提高了對蘋果病害的識別準確率。文獻[5-6]借助遷移學習方法將AlexNet 模型在ImageNet 圖像數據集上學習得到的知識遷移到油茶和玉米病害識別模型中，實現了對病害的有效識別，由于采用動態數據擴充方式，可在一定程度上避免模型過度擬合。Fuentes 等[7]通過將實驗模型的每個元架構與VGG 網絡和剩余網絡結合，成功地識別9種番茄蟲害和病害，提出了用于局部、全局類注釋和數據增強方法，減少訓練期間的誤報次數。Zhang 等[8]在CNN 的基礎上改進GoogLeNet 和Cifar10 模型，通過優化參數和結構實現了對9 種玉米病害圖像的準確識別。Cruz 等[9]通過對比6 種CNN 架構，采用ResNet-50模型是用于葡萄病害準確性和培訓成本的最佳方案。趙兵等[10]提出了全卷積網絡（FCN）的葡萄病害葉片圖像的自動分割算法，并應用于葡萄病害葉片，該模型是將CNN的3個連接層換成3個卷積層，改進后的模型能夠較精確地分割自然條件下拍攝的葡萄病害葉片圖像。文獻[11]第一次將CNN 應用于對馬鈴薯塊莖的識別，實現了對疾病塊莖和非疾病塊莖的區分，以及4 類病害的識別。Ha等[12]運用無人機對大田蘿卜進行拍攝，并通過CNN算法對被感染區域進行實時識別。楊晉丹等[13]通過改變CNN 網絡深度和卷積核大小，經實驗表明CNN-9 模型能夠較好地識別草莓葉部白粉病害，此模型對拍攝環境要求較低，普適性較好。綜上所述，采用CNN 對果蔬病害識別時往往采用不同的模型，其中Alexnet 模型對蘋果病害有著較高的識別率，通過改進Alexnet 模型對玉露香梨葉蟲害識別是切實可行的；另一方面，在山西玉露香梨栽植面積達到幾十萬畝，但對玉露香梨葉蟲害自動識別研究還沒有充分展開，因此進行玉露香梨葉蟲害自動識別的研究勢在必行且有著重大意義。

本文創新性地以玉露香梨葉為研究對象，研究有關玉露香梨葉蟲害識別的問題，由此提出基于TACNN玉露香梨葉蟲害識別模型的方法，對玉露香常見的三種蟲害進行訓練測試。為了減少Alexnet模型在實驗中出現空間語意信息丟失、過擬合現象發生，經兩次改變Alexnet 全連接層神經元節點得到了Mid-Alexnet 和TACNN 兩個模型，并對Alexnet、Mid-Alexnet、TACNN三組模型采取不同批次進行訓練，通過三組模型對比實驗數據可知，TACNN模型與其他兩個模型相比，TACNN在玉露香梨葉蟲害識別問題上有較強的識別能力，類別平均識別準確率最佳且達到81.18%，能夠實現在自然環境下對玉露香梨葉蟲害進行自動識別。

1 材料和方法

1.1 實驗環境

硬件環境：Inte?XEON?E5-2603v2@1.80 GHz 8 GB內存。

系統環境：anaconda下的jupder。

軟件環境：Python、TensorFlow等。

玉露香梨葉蟲害識別模型是在深度學習框架TensorFlow環境下進行訓練的，在TensorFlow框架下依賴的軟件有Karas、numpy、pycharm等。

1.2 玉露香病害圖像獲取及數據處理

（1）本文使用的數據來自于山西農業大學玉露香梨實驗田，采集時間集中在2019年5月至7月。考慮到戶外環境的干擾，把室外采摘的蟲害葉片放置在室內（溫度25 ℃）環境（自然光+日光燈）下進行圖像拍攝整理。拍攝設備為索尼數碼相機，型號為DSC-WX30，智能自動對焦，圖像分辨率為4 608像素×3 456像素。在距離葉片25～35 cm處，與葉片垂直90 ℃或傾斜角為20 ℃～50 ℃的情況下完成照片拍攝。采集蟲害種類為梨樹常見蟲害，共選取1 013張玉露香梨葉蟲害圖像，其中金龜子蟲害圖像410張，梨木虱蟲害圖像303張，梨癭蚊蟲害圖像300張。隨機抽取803張圖像用于模型訓練，剩余的202張圖像分別用于模型驗證和模型測試。病害圖像如圖1所示。

圖1 梨葉蟲害圖像

（2）由于拍攝圖像的尺寸不同，為了加快模型的運算效率和運算速度，在訓練和測試模型之前，對超出尺寸的區域進行裁剪壓縮，對尺寸不足的部分進行填補，處理后圖像分辨率為224像素×224像素大小。

1.3 實驗方法

1.3.1 卷積神經網絡

由圖1 梨葉蟲害圖像可以看出葉片蟲害部位形狀大小不一，顏色紋理各種各樣，被害部位分布各異，運用傳統的特征提取方法帶有局限性且效果不佳，因此運用自動提取特征的CNN更直接有效。

CNN 由若干卷積層、池化層、全連接層、輸出層組成，如圖2所示。

圖2 卷積網絡示意圖

（1）卷積層

卷積層是卷積神經網絡最重要的一層，是卷積核的計算過程。卷積核通過每次移動相同步長，將圖像像素和卷積核的對應權重相乘，最后將所有乘積和偏置值相加得到輸出，其運算過程是線性變換。

（2）池化層

對輸入的圖像進行壓縮，一方面使特征圖變小，簡化網絡計算復雜度；另一方面進行特征壓縮，提取主要特征。

（3）全連接層

全連接層在CNN 的尾部，兩層神經元都有權重相互連接，起到了將學習的“分布式特征表現”映射樣本標記空間的作用[14]，如圖3所示。

圖3 全連接層示意圖

（4）SoftMax分類器

在CNN中，最后一層經常使用softMax分類器進行多類別分類任務，softMax 分類器是logistic 回歸模型在多分類問題上的推廣，其實質是將分類問題轉化為概率問題。

1.3.2 Alexnet模型

Alexnet 作為CNN 的經典模型，在算法上有很大的提升，該模型引入了整流線性單元作為激活函數，應用dropout隨機性地忽略一些神經元來達到防止網絡過擬合，同時該模型還使用了兩個GPU 來加速神經網絡的訓練，因此相比其他模型Alexnet 在圖像分類和目標檢測等方面任務表現出色。Alexnet 為8 層深度網絡，有6 000萬個參數量，包含了5個卷積操作層和3個全連接操作層，特別是第五層卷積層與全連接層進行了信息交互，該模型結構如圖4所示。

模型第一個為卷積層，輸入224×224×3尺度大小的圖像，卷積核數量為96，卷積核大小為11×11×3、步長為4個像素。第二個卷積層需要將第一個卷積層的輸出作為輸入，且利用256 個大小為5×5×48 的核對其進行濾波，邊緣擴充為2，步長為1，第三、第四和第五個卷積層彼此相連。第三個卷積層有384 個大小為3×3×256 的核，第四個卷積層擁有384個大小為3×3×192的核，第五個卷積層擁有256個大小為3×3×192的核。全連接層為第六、第七、第八層，原全連接層每一層的神經元參數為4 096，其中最后一層全連接層是一個有1 000個輸出的分類器。

通過對Alexnet 模型的結構分析可以看出：僅全連接層參數就占整個網絡參數的80%左右，如何減少全連接層冗余現象的發生，是本次實驗優化模型結構的關鍵。因此本次實驗將對模型的全連接層部分作出改進。

圖4 Alexnet卷積神經網絡示意圖

1.3.3 模型改進設計

為了實現對玉露香梨葉蟲害識別，本次實驗將對Alexnet 模型的全連接層進行改進，實現對模型結構的高效設計。（1）保留原有全連接層數，兩層或兩層以上的Fully connected layer能有效地解決非線性問題；（2）減少全連接層神經元數目。在模型中全連接層將前面經過多次卷積后高度抽象化的特征進行整合、歸一化，將各特征值與權重的乘積求和，而Alexnet 的全連接層神經元節點數目為4 096，權重值個數占整個網絡參數相當大的比例，由此輸出加權目標數值也是相當大的，特別是與最后一個卷積層相連的全連接層。Alexnet在三分類場景中結構存在冗余，神經元個數過大時可能會出現空間語意信息丟失、過擬合現象發生、收斂速度減慢等問題[15-16]。由此可見改進Alexnet 全連接層神經元節點可以保證網絡結構緊湊，降低計算中的消耗，提高模型分類準確率與運算速度。

優化后的模型仍由卷積層和全連接層組成，為了達到模型優化的目的在保證原有全連接層個數的前提下，從全連接層神經元節點著手對L6、L7、L8三層進行改進如圖5 所示，分別得到Mid-Alexnet、TACNN 兩個不同的模型。

圖5 Alexnet模型全連接層示意圖

Mid-Alexnet、TACNN模型具體改進部分是在Alexnet模型的基礎上改變了第六、七層全連接層及第八層全連接層中的分類器個數，即改變了原有m、n、o的數值。其中Mid-Alexnet 模型是將Alexnet 全連接層L6、L7 原有的4 096 個神經元節點個數減少3 072 個，使改進的Mid-Alexnet 全連接層m為1 024、n值為1 024、分類器o為3。而TACNN模型全連接層m、n的值分別為512，分類器o為3。

總的來說，模型改進由Alexnet到Mid-Alexnet再到TACNN 是將全連接層神經元節點逐漸減少，用于后期模型實驗對比并篩選出表現最優的模型。全連接層節點數量的減少，有利于構建輕量級網絡模型，后期能夠將其遷移至移動端設備進行實時蟲害識別。

1.4 實驗參數說明

本次實驗中將數據集分為訓練集、驗證集以及測試集三部分，其中訓練集大小為803，驗證集大小為101，測試集大小為101。為避免內存溢出，采取批訓練方式對Alexnet、Mid-Alexnet、TACNN 模型在訓練集和驗證集上設置三組對比實驗，三組實驗中每個批次分別訓練16、32、64 張圖片，即train batch 設置為16、32、64，驗證集批大小與訓練集批大小同步。遍歷一次全部訓練集數據稱為一輪迭代，即一輪迭代會遍歷所有訓練集數據，而并不僅僅是一個批次數據。本文將迭代輪數設置為100輪，每輪迭代完成后在測試集上計算模型評價指標值。

實驗采用keras中損失函數categorical crossentropy作為代價函數，其定義如式（1）：

其中，n為樣本數量，m為分類數，該函數為多輸出的損失函數。

為解決反向傳播過程中梯度消失和爆炸問題，引入Batch Normalization 批規范化，對網絡隱藏層輸入進行標準化，引入dropout 機制[17]，以0.4 的概率抑制神經元節點參與反向傳播過程。為提高調參效率，采用自適應矩陣估計算法（Adaptive Moment Estimation，Adam）優化模型，初始學習率設置為0.000 1。為保存最優模型參數，引入keras中的Model Checkpoint機制，每輪迭代完成之后，通過觀察訓練集準確率是否發生提升決定是否保存當前模型。

圖6 同輸入圖像數量不同模型的準確率變化圖

2 結果與分析

2.1 模型穩定性

為了觀察訓練過程中不同模型的穩定性情況，圖6、圖7 展示了各模型在20 輪迭代過程中驗證集上準確率與損失函數變化情況。

圖6展現了3種模型在輸入圖像數量相等時對比不同模型準確率指標值。Alexnet 模型與其他模型相比，整體識別變化幅度最為明顯，識別準確率隨著輸入圖像個數逐漸減少表現出反增趨勢，且相比其他兩個模型整體識別準確率最高；當輸入圖像個數為64時，三類模型均在第15輪迭代后，折線變化趨于平緩，說明模型對葉片蟲害特征提取進入平穩階段；對比輸入圖像個數分別為32、16 時，在第15 輪迭代后都展現出小幅度增長，其中Mid-Alexnet 模型逐漸攀升趨勢表現最為明顯；但從整體變化趨勢對比發現，TACNN模型表現最為穩定。

圖7 同輸入圖像數量不同模型損失函數變化圖

圖7 展現了三類模型在輸入圖像數量相同不同模型損失函數的變化情況。Alexnet、Mid-Alexnet 模型隨著每次輸入圖像個數的遞減，損失指標發生下降，且兩模型損失值逐漸趨于一致；通過輸入圖像數量變化對比發現，TACNN模型相對其他兩個模型變化幅度較小，有較高穩定性，通過對比三個折線圖發現Alexnet、Mid-Alexnet兩個模型從迭代開始到第5次迭代區間內，損失值變化幅度較大，表明兩模型在前期識別錯誤風險較高，而導致模型識別穩定性不高。

綜合圖6、圖7 模型訓練過程中準確率與損失函數折線變化對比可得：在模型訓練過程中，改變模型全連接層神經元數值和輸入圖像數量的大小會直接影響模型識別準確率、模型識別風險及模型識別性能的穩定性；TACNN 模型相比其他模型表現最為穩定，但模型出現識別準確率提升而損失函數不減反增現象，原因是模型將大量共性特征進行有效遷移，而不能很好地獲取特定圖像特征，因此該模型過擬合問題還有待解決。

2.2 識別準確率

表1 反應了不同種類的蟲害在不同模型中的識別準確率，其中最后一列為該模型對三種蟲害的類別平均準確率。

通過表格對比發現：

（1）當Alexnet、Mid-Alexnet、TACNN三組模型批大小分別為64、32、16 時，對比觀察三組模型對玉露香梨葉的三種蟲害的識別準確率會隨著批值變小，識別準確率出現遞增趨勢，其中Alexnet 模型對梨癭蚊的識別準確率表現顯著，Alexnet-16 的識別準確率為93.10%，相比Alexnet-64識別準確率提升了34.84個百分點。

（2）其中TACNN-16對三種類別蟲害識別上均能取得較好的識別率，對金龜子蟲害識別表現最好，識別準確率達到87.5%，在對其他兩種蟲害識別上也能得到有競爭力的準確率。

（3）從對比類別平均準確率可以看出：模型TACNN-16的類別平均準確率表現最優比其他模型的平均準確率高出3.96～18.81個百分點。

表1 各模型不同輸入圖像數值識別準確率%

2.3 模型預測

混淆矩陣是機器學習中總結分類模型預測結果的分析，以矩陣形式將數據集中的記錄按照真實的類別與分類模型預測的類別判斷兩個標準進行匯總。圖8 展示了Alexnet-16、Mid-Alexnet-16、TACNN-16 三種模型在測試集上的混淆矩陣，其中矩陣的行表示真實值，每一行的數據總數表示該類別的實例的數目；矩陣的列表示預測值，其總數表示預測為該類別的數目，對角線位置的值表示預測正確的結果總和。

圖8 三種測試集混淆矩陣

通過圖8 對比分析得：TACNN-16 對金龜子蟲害識別表現最佳；Mid-Alexnet、Alexnet模型分別在梨木虱蟲害和梨癭蚊蟲害識別上有優勢；三種模型通過改進后識別準確率得到較大提升，其中TACNN-16 表現良好，其識別準確率能夠達到81.18%。說明TACNN-16 模型可為玉露香梨葉蟲害識別提供參考。

3 結束語

本研究在Alexnet 基礎上，經兩次優化全連接層并用3 標簽softMax 分類層替換原有Alexnet 網絡中的softMax 分類器，得到Mid-Alexnet、TACNN 模型。對玉露香梨葉常見的金龜子、梨木虱、梨癭蚊三種蟲害進行識別訓練實驗，得到以下結論：

（1）TACNN-16 模型具有較好的分類性能，類別平均準確率為81.18%，相比其他模型準確率提高3.96～18.81個百分點，可為玉露香蟲害防治決策提供幫助。

（2）模型中全連接層節點數量的減少有利于構建輕量級網絡模型，進而有利于將其遷移至移動端設備進行實時病害識別。

（3）本文Alexnet 模型識別準確率研究是將實地采集的3 類梨葉病害共計1 013 張圖像進行訓練測試，今后將會不斷擴充玉露香梨葉蟲害圖像的種類，不斷完善訓練樣本集，特別是對不同拍攝角度，不同蟲害程度，以及一片葉子多種蟲害等情況葉子的收集和完善，進一步提高模型對梨葉蟲害的識別性能。

（4）本次實驗Alexnet 模型對玉露香品種的梨葉蟲害有較好的分類功能，經實踐檢驗該模型對其他品種的梨葉蟲害有一定分類效果。本次模型以梨為研究對象做前期實驗，今后將在TACNN 模型結構基礎上對其他中熟果蔬病蟲害分類進行深入研究。