基于多尺度卷積神經網絡算法的番茄葉片病害識別

蔣清健 姚勇 王亞玲 蘇鈺杰

摘要：為提高卷積神經網絡識別番茄葉片病害準確率，提出多尺度卷積神經網絡算法。首先番茄葉片圖像分離為RGB通道，設計３個并行卷積層對番茄葉片圖像進行卷積，不同通道使用不同的卷積核，增加了感受野以及提取不同層次的特征，小尺度卷積核主要是提取病斑區域，大尺度卷積核主要是增強特征多樣性；接著混合池化方法即局部重要性池化和隨機池化，局部重要性池化判別特征信息，丟棄冗余信息，極大地保存了病害區域的局部細節，隨機池化增強了網絡的泛化能力；然后番茄葉片圖像通過中值濾波消噪，二維伽馬自適應算法進行亮度矯正；最后損失函數采用多類別交叉熵，構建最小化目標損失函數。試驗仿真結果顯示本研究算法泛化能力比較強，對番茄葉片病害晚疫病、斑枯病、蜘蛛螨、早疫病、葉霉病、褐斑病的識別準確率分別為95.8%、95.9%、96.3%、94.2%、94.8%、94.1%，優于其他算法。

關鍵詞：番茄；病害多尺度；卷積核；混合池化；矯正

中圖分類號：TP391.41 文獻標志碼：A

文章編號：1002-1302（2023）15-0211-05

基金項目：國家自然科學基金青年科學基金（編號：52203310）；河南省高等職業學校青年骨干教師培養計劃（編號：2019GZGG021）。

作者簡介：蔣清?。?981—），男，河南永城人，碩士，副教授，主要從事圖像處理、模式識別、農業物聯網和農業大數據挖掘等研究。E-mail：jqj946@qq.com。

番茄受到外界病害侵害后，大多數情況下會在葉片上表現出特征，如干枯、菌斑等，因此只有對病害種類及早檢測識別，才能夠提前采取防治措施、阻止病害傳播［1］。在生產過程中，番茄葉片病害識別主要依靠人工的實際經驗積累，時效性和準確性比較差。卷積神經網絡（convolutional neural network，CNN）能夠最大程度上對番茄葉片上各種病害特征進行提?。?］，目前研究方法主要有注意力結合卷積神經網絡（attention convolutional neural network，ACNN）算法，對病害信息增強表達同時抑制無關信息干擾，同時引入遷移學習，防止樣本數據量較少時出現過擬合的情況［3］。Inception-v3結合遷移學習算法（inception-V3 and migration learning，Inception-V3-ML）通過遷移學習把神經網絡進行細微的改造訓練，最終能夠快速、有效識別健康、患病番茄［4］。輕量級卷積神經網絡（lightweight convolutional neural network，ICNN）通過全局模塊提取番茄病害葉片的全局特征，計算特征圖各通道的重要程度，該算法穩定性強且占用內存小［5］。AlexNet卷積神經網絡通過遷移學習（AlexNet and migration learning，AlexNet-ML）對模型參數優化，縮短了訓練時間，對10種番茄葉片病害圖像進行識別，提高了平均準確率［6］。重影空間金字塔模型（ghost spatial pyramid pooling，GSPP）用Ghost模塊替換卷積層，空間金字塔算法對提取病害特征池化，通過合并卷積運算和歸一化提高識別準確率［7］。三通道注意力卷積神經網絡（three channel attention CNN，TCACNN）并行提取目標的通道特征，注意力嵌入殘差網絡，訓練階段設計雙損失函數和數據增強提升識別準確度［8］。

為了提高番茄葉片病害識別準確度，本研究提出多尺度卷積神經網絡（multi scale convolution neural network，MSCNN）算法對番茄葉片病害進行識別，３個并行卷積層對番茄葉片圖像分離的RGB通道進行卷積，每個層使用不同尺度的卷積核，通過局部重要性池化、隨機池化進行增強局部細節識別和網絡泛化能力，并驗證該算法的有效性。

1 多尺度卷積神經網絡

1.1 卷積層設計

在番茄葉片病害識別過程中，不同病害的特征在葉片上所占的面積與位置具有隨機性，因此病害特征存在復雜性［9-10］。為減少卷積神經網絡的深度，增加同一層級的通道數，每個通道使用不同尺度的卷積核，這樣增加了網絡寬度，能夠對番茄葉片病害特征進行多尺度提取。把輸入番茄葉片圖像分離為RGB通道，對不同通道卷積，因此設計３個并行卷積層對番茄葉片圖像進行卷積，每個層使用不同尺度的卷積核，為避免卷積過程中邊緣信息丟失將邊界進行填零補充；R通道對應的第１個卷積層的卷積核大小為3×3，步長為1，卷積核數量為60；G通道對應的第2個卷積層的卷積核大小為 5×5，步長為1，卷積核數量為40；B通道對應的第3個卷積層的卷積核大小為7×7，步長為2，卷積核數量為30，這樣通過不同尺寸的卷積核提取番茄葉片病害的特征，不但能夠增加特征圖數量，而且提取的葉片病害細節信息更加豐富，提高網絡計算效率，降低圖像的識別時間，不同卷積層提取圖像特征信息結果如圖1所示。每個卷積層設置激活函數層，激活函數統一選擇Leaky ReLU。不同卷積層的特征值直接連接它們很容易導致更小的值被更大的價值主導，因此通過歸一化操作進行連接，從而能有效地將不同卷積層的特征值最終保持在同一尺度上，使用級聯操作對得到的特征圖結果進行特征融合，最后3×3的卷積層將特征子圖輸出合并為同一個張量繼續向下傳遞，用Softmax函數對番茄葉片病害進行識別。

從圖1可以看出，不同層的卷積結果增加了感受野以及提取不同層次的特征，小尺度卷積核主要是提取病斑區域，大尺度卷積核主要是增強特征多樣性，這樣使網絡更適應圖像中目標的尺度，可以有效避免由于網絡太深而導致的過擬合現象。

1.2 混合池化操作

池化層主要目的降低數據維數、壓縮數據量，一般采用最大或者平均池化操作方法，最大池化能保留圖像的紋理信息，平均池化能保留圖像的背景信息，但是易發生過度擬合、降低分類精度現象［11-12］。為了提高網絡的性能，采用混合池化方法即局部重要性池化和隨機池化，局部重要性池化判別特征信息，丟棄冗余信息，極大地保存病害區域的局部細節，隨機池化增強網絡的泛化能力。

局部重要性池化為

式中：I為輸入像素點的特征信息；（Δx，Δy）為滑動池化窗口相對采樣位置；（x，y）為采樣位置；（x′，y′）為采樣形成的新位置；Ω為索引集合；g（I）為局部重要性函數。

局部重要性特征由較小的全卷積網絡實現，通過3×3卷積窗口在以步長為2的移動過程中生成，g（I）為

式中：al為第l個像素的特征數值，為局部區域。

隨機池化在最大池化的基礎上計算像素灰度值（D），灰度值越大的像素隨機選取的概率（U）越大：

為防止過擬合現象發生，將局部重要性池化和隨機池化進行混合池化操作：

式中：φ為混合池化分配因子；O為局部重要性池化結果；Q為隨機池化結果；t為迭代函數；tmax為最大迭代次數。

在迭代的初始階段，φ較小，此時主要進行局部重要性池化，以便獲得番茄葉片病害區域的局部細節；迭代的后期，此時主要進行隨機池化，以便提高網絡的泛化能力。

1.3 最小化分類損失函數

由于番茄葉片病害識別屬于多類別劃分問題，因此損失函數采用多類別交叉熵函數（L1）［13-14］。

式中：N為樣本總量；C為分類數量；i為第i個訓練樣本；j為訓練樣本的類別；Fij為第i個訓練樣本標注的真實病害類別；yij為輸出的第i個訓練樣本為第j個類別的概率值；ζ1為平衡參數；ε1為調節參數。當ζ1=0.25、ε1=2時分類效果最好。

番茄葉片存在各種噪聲，同時圖像亮度較暗將使圖像特征丟失，通過中值濾波對番茄葉片消噪，用二維伽馬自適應算法對圖像亮度進行矯正：

式中：F（x，y）是輸入圖像亮度值；H（x，y）是矯正后圖像的亮度值；γ是亮度調節指數；I（x，y）是光照分量；h是亮度均值。

經過消噪、亮度矯正后，番茄葉片只包括病害和背景2類，因此把圖像轉化為二值圖像，若像素灰度值大于圖像像素均值，則該像素設置為1，否則設置為0，通過二分類交叉熵函數（L2）計算損失：

式中：M為樣本總量；P為番茄葉片像素數量；m為第m個訓練樣本；p為像素點；Hmp=1時為第i個訓練樣本的第j個像素點的屬于病害像素；Hmp=0則為背景像素；hmp為第i個訓練樣本經過神經網絡輸出第p個像素的值；ζ2為平衡參數；ε2為調節參數。當ζ2=0.25、ε2=2時分類效果最好。

訓練時為減少數據量提高訓練精度，只對部分圖像的病害區域進行標注，最小化目標損失函數為

在算法運行初始階段λ取較大值，這時L1起主導性作用，在算法運行后期λ取較小值，L2起主導性作用，這樣便于番茄葉片病害識別。

1.4 識別算法流程

識別算法流程詳見圖2。

2 試驗仿真

硬件配置CPU：英特爾i5-12490F，內存：16 GB，圖形處理器NVDIA：GTX 1650，Python語言、PyTorch平臺搭建試驗仿真環境。番茄病害主要使用Plant Village數據集的7種病害圖像：晚疫病、斑枯病、花葉病、蜘蛛螨、早疫病、葉霉病、褐斑病，為了使模型的學習權重平均化，在每種病害類型圖像數量為300幅的基礎上，同時進行圖片垂直、水平翻轉、30°～90°范圍隨機旋轉將基礎數據集數量增加，這樣每種類型圖像擴充共計1 200幅，病害典型圖像如表1所示，圖像裁剪成統一大小為224×224像素，訓練集、測試集、驗證集圖像數量之比為 8 ∶1 ∶1。

2.1 訓練過程識別準確率和損失值

對訓練集進行訓練，每次訓練輪數（Epoch）首先使用訓練集訓練模型初始權值，再使用驗證集測試模型的識別率，最后保存模型的權值，并開始下一次Epoch，循環直至完成最大50次Epoch，訓練過程對比使用方法主要有CNN、ACNN、ICNN、GSPP、TCACNN、MSCNN，結果如圖3所示。

從圖3中結果可以看出，MSCNN算法只需要較少的訓練次數就能達到最優狀態，早于其他算法獲得較穩定的識別準確率、損失值，MSCNN算法訓練過程識別準確率平均值高于其他算法，損失值低于其他算法。

2.2 算法泛化能力分析

泛化能力分析主要對圖片垂直、水平翻轉、30°～90°范圍隨機旋轉進行測試，各種病害的識別準確率、損失值結果如圖4所示。

從圖4可以看出測試過程中MSCNN算法的識別準確率、損失值優于其他算法，因此MSCNN算法的泛化能力比較強。

2.3 各種算法對番茄葉片病害識別的準確率

對病害圖像驗證集進行驗證，每種算法通過50次蒙特卡羅試驗取平均值，各種算法對番茄葉片病害識別準確率如表2所示。

從表2中結果可以看出，MSCNN算法對各種病害的識別準確率高于其他算法，平均值為95.6%，它對晚疫病、斑枯病、花葉病、蜘蛛螨、早疫病、葉霉病、褐斑病的識別準確率分別為95.8%、95.9%、97.8%、96.3%、94.2%、94.8%、94.1%，這是因為MSCNN算法將病害圖像分離為不同的通道，同時不同通道使用不同的卷積核，能夠獲得圖像的細節和邊緣信息，便于番茄葉片病害識別。

3 總結

本研究算法對卷積神經網絡進行改進，把番茄葉片病害圖像進行分離后再使用不同的卷積層，不同層的卷積核增加了感受野以及提取了不同層次的特征，為防止過擬合現象發生，將局部重要性池化和隨機池化進行混合池化操作，試驗仿真結果顯示本研究算法對晚疫病、斑枯病、花葉病、蜘蛛螨、早疫病、葉霉病、褐斑病的識別準確率高于其他算法，因此為番茄葉片病害識別提供了一種新的方法。

參考文獻：

［1］趙廣猛，王衛兵. 基于U-Net模型和FCM算法的番茄穴盤苗重疊幼葉分割方法［J］. 江蘇農業科學，2022，50（2）：206-212.

［2］朱幸輝，周 勇. 基于卷積神經網絡的番茄葉片病斑識別仿真［J］. 計算機仿真，2021，38（7）：481-485.

［3］張 寧，吳華瑞，韓 笑，等. 基于多尺度和注意力機制的番茄病害識別方法［J］. 浙江農業學報，2021，33（7）：1329-1338.

［4］孔德鋒. 一種遷移學習算法在番茄病害檢測上的應用［J］. 湖北農業科學，2020，59（7）：199-203.

［5］胡玲艷，周 婷，劉 艷，等. 基于輕量級網絡自適應特征提取的番茄病害識別［J］. 江蘇農業學報，2022，38（3）：696-705.

［6］王艷玲，張宏立，劉慶飛，等. 基于遷移學習的番茄葉片病害圖像分類［J］. 中國農業大學學報，2019，24（6）：124-130.

［7］冀常鵬，陳浩楠，代 巍，等. 基于GSNet的番茄葉面病害識別研究［J］. 沈陽農業大學學報，2021，52（6）：751-757.

［8］馬 宇，單玉剛，袁 杰. 基于三通道注意力網絡的番茄葉部病害識別［J］. 科學技術與工程，2021，21（25）：10789-10795.

［9］卞景藝，劉秀麗，徐小力，等. 基于多尺度深度卷積神經網絡的故障診斷方法［J］. 振動與沖擊，2021，40（18）：204-211.

［10］胡勤偉，陶 慶，王妮妮，等. 用于穩態視覺誘發電位目標識別的多尺度特征融合卷積神經網絡方法［J］. 西安交通大學學報，2022，56（4）：185-193，202.

［11］Gao Z T，Wang L M，Wu G S. LIP：local importance-based pooling［C］//IEEE International Conference on Computer Vision （ICCV19）. Seoul，Korea，2019：3353-3364.

［12］周巧黎，馬 麗，曹麗英，等. 基于改進輕量級卷積神經網絡Mobile NetV3的番茄葉片病害識別［J］. 智慧農業（中英文），2022，4（1）：47-56.

［13］任守綱，賈馥瑋，顧興健，等. 反卷積引導的番茄葉部病害識別及病斑分割模型［J］. 農業工程學報，2020，36（12）：186-195.

［14］湯文亮，黃梓鋒. 基于知識蒸餾的輕量級番茄葉部病害識別模型［J］. 江蘇農業學報，2021，37（3）：570-578.