基于改進輕量化網絡MobileNeXt的蘋果葉片病害識別方法

劉小玲 崔艷榮

摘要：針對真實環境下蘋果葉片病害識別背景復雜、識別準確率不高的問題，提出了一種改進輕量化網絡MobileNeXt的蘋果葉片病害識別方法。首先收集了4類常見蘋果葉片病害圖像樣本，每類由簡單背景圖像與復雜背景圖像混合，通過多種數據增強方式對圖像進行處理，以增加樣本多樣性，提高模型的泛化能力。接著基于輕量化網絡MobileNeXt中的sandglass結構，引入協調注意力機制CA分配權重，以區分目標與背景，同時結合Inception模塊與Ghost模塊，設計了2種SCI（Sandglass-CA-Inception）結構，在參數增加量盡可能小的前提下，擴充網絡深度與寬度，增強模型對于背景復雜病害圖像的特征學習能力。試驗結果表明，改進后的模型相比于MobileNeXt，Top-1準確率提升了1.23百分點，平均精確率提升了1.18百分點，參數量只增加了0.62M，為真實場景下的蘋果葉片病害識別提供了一種有效的解決方案。

關鍵詞：蘋果病害識別；輕量化網絡；MobileNeXt；sandglass；協調注意力機制；Inception；Ghost

中圖分類號：TP391.41文獻標志碼：A

文章編號：1002-1302（2023）10-0185-08

蘋果富含維生素和礦物質，是最受歡迎的水果之一。我國是世界上最大的蘋果生產國與消費國［1］，據聯合國糧農組織統計，我國蘋果產量超過美國與波蘭，位列第一。在山東省、陜西省等以果樹產業為主的地區，發展蘋果種植產業是當地果農脫貧致富的重要手段，更是促進農業產業化與農村經濟發展的有效途徑［2］。然而，蘋果的質量與產量易受蘋果病害的影響，若能快速準確地識別蘋果病害，及時防控，便能減少經濟損失，保證蘋果產業的可持續健康發展［3］。

蘋果病害主要發生在葉部。傳統病害識別由人工現場觀測葉片，或者提取葉片病害圖像的淺層特征，如顏色特征、紋理特征等，準確率與效率都很低，難以準確快速地識別病害種類。隨著人工智能時代發展，以卷積神經網絡為代表的深度學習方法成為主流，廣泛應用于礦業［4］、電力工業［5］、農業［6］、醫學［7］等各個領域。深度學習方法大幅提高了農作物病害識別的準確率［8-9］，但較深的網絡結構產生了大量參數，增加了計算量，提高了模型對設備的內存要求，計算速度也隨之降低。為了平衡模型精度、尺寸與效率，研究者們提出了各種輕量化卷積神經網絡［10］模型，主要有SqueezeNet［11］、Xception［12］、ShuffleNet［13-14］系列、MobileNet［15-17］系列，在農作物病害識別方面取得了不錯的效果。洪惠群等利用遷移學習和番茄單作物數據集，比較訓練了Xception和ShuffleNetV20.5x模型，并將ReLU激活函數替換為LeakyReLU，識別準確率提高到86.5%［18］；孫俊等在MobileNetV2模型上嵌入坐標注意力機制，對不同尺寸特征圖進行上采樣融合，并使用分組卷積，在16類背景復雜農作物葉片病害數據集中識別準確率為92.20%，較改進前提高了2.91百分點［19］；李好等引入ECA注意力模塊與H-Swish激活函數，減少ShuffleNetV2模型中單元個數，使得參數量明顯減少，在PlantVillage數據集上識別平均準確率高達99.26%［20］。

本研究基于MobileNet系列輕量化網絡，尤其是新一代的MobileNeXt［21］模型，對蘋果葉片病害數據集進行分類識別，并做出相應改進使其適應真實環境，可將訓練好的模型部署于移動端，在戶外場景對蘋果葉片病害進行實時識別，便于果農及時采取措施，減少經濟損失。

1試驗材料

1.1數據來源

本次研究對象為由西北農林科技大學采集的蘋果葉片病害數據集，包括斑點落葉病、灰斑病、花葉病、銹斑病共4類常見蘋果葉片病害圖像，每類由簡單背景圖像與復雜背景圖像混合，在晴天和陰雨天條件下均有采集，使得數據集更具豐富性與多樣性。圖像大小為512×512像素，具體如圖1所示。

1.2數據預處理

為了防止樣本數據不足導致網絡訓練出現過擬合情況，在訓練之前，對蘋果葉片病害圖像進行了數據增強，擴充數據集的同時增加訓練樣本的多樣性。通過圖像旋轉、水平和垂直鏡像，亮度、對比度調整等完成對數據集的預處理，得到蘋果葉片病害數據集信息（表1），預處理過程如圖2所示。該數據集以訓練集∶測試集=8∶2劃分，訓練時將從訓練集中按0.2比例劃分出驗證集。

2試驗方法

2.1網絡結構

本研究基于輕量化網絡MobileNeXt。MobileNeXt中提出了新穎的sandglass結構，該結構根據MobileNetV2中的逆殘差結構設計，沿用了MobileNetV1的深度可分離卷積方式（即Dwise），更大程度上實現高效與輕量化。模型整體由sandglass

模塊簡單堆疊構成，如圖3所示，s表示步長，b表示sandglass模塊重復個數，步長為2只作用于每層的第一個模塊。本研究的蘋果葉片病害識別流程如圖4所示，通常在真實環境下采集的葉片病害圖像背景較為復雜、病斑大小與分布位置均有不同，為提高MobileNeXt在實際應用場景中的表現能力，將對其進行相應改進。

2.2sandglass結構

深度可分離卷積是一種常規卷積的替代方式，可以達到輕量化參數與計算量的需求，在MobileNetV1中實現，并貫穿于整個MobileNet系列網絡結構中。深度可分離卷積包含2個步驟：深度卷積與點卷積，深度卷積是指單獨對輸入圖像的每個通道進行卷積，卷積核大小一般為3×3，輸出通道數與輸入一致；點卷積則將上一步得到的特征圖組合生成新的特征圖，卷積核大小為1×1，輸出通道數與卷積核個數一致。常規卷積與深度可分離卷積過程如圖5所示，假設常規卷積核大小為k，深度卷積核大小為d，輸入圖像大小為H×W，輸入通道數與輸出通道數分別為Cin、Cout，則普通卷積參數量Nstd與計算量Cstd為

自2015年何凱明等提出了深度殘差神經網絡（ResNet）［22］以來，該模型中的殘差結構引起了研究者們極大的關注，且應用日益廣泛。殘差結構如圖6-a所示，采用跳躍連接，將淺層特征過渡至深層重復學習，解決了網絡加深時會出現的梯度爆炸或梯度消失問題。所學習的殘差函數可表示為F（），令激活函數為g（），則輸出函數為H（x）=g［F（x）+x］，當學習到的殘差F（x）=0時，H（x）=x表示恒等映射。

逆殘差結構是殘差結構的變體，如圖6-b所示，在MobileNetV2中提出。逆殘差結構將普通3×3卷積替換為深度可分離卷積，以減少計算量；采用升維-卷積-降維的方式，使得模型能在高維空間學習更多樣化的特征；同時使用非線性激活函數ReLU6與線性函數Linear，前者設置輸出邊界以滿足移動端的低精度需求，后者防止維度變換過程中的信息丟失。但是，逆殘差的輸入特征需要先降維，難以保留足夠的有效信息，且跳躍連接所跨維度較少，可能阻礙梯度回傳。

注意力機制即告知模型應該“看什么”與“看哪里”，可有效提高模型對重要信息的關注度。在輕量化網絡結構中，使用較多的注意力機制是SE［24］、CBAM［25］。SE利用了二維全局池化降低計算成本，但只考慮了通道間的信息編碼；CBAM結合了通道注意力與空間注意力，但通過卷積只能捕獲局部的位置信息，無法建立大范圍的空間依賴關系。協調注意力機制CA［26］在SE的基礎上，將位置信息嵌入通道信息中，實現了大范圍上的注意。具體是將通道注意力分解為2個并行的一維特征編碼過程，然后整合到生成的注意力特征圖上，從而緩解二維全局池化導致的位置信息丟失。具體結構如圖7所示，GAP表示全局平均池化。

CA模塊能夠捕獲特征跨通道信息、方向感知和位置敏感信息，有助于模型集中識別目標區域，且參數量較小，不會增加過多的計算開銷。本次研究所用數據集中包含背景復雜圖像，為了更好地區分目標與背景，本研究將CA模塊插入到sandglass模塊中第1個3×3深度卷積之后，通過注意力權重分配來幫助模型更好地定位感興趣的區域。

2.4Inception模塊

增加網絡深度與寬度是提升網絡性能最直接的方法，但因此也會產生大量參數，為解決這一問題，研究者們提出了Inception［27］模塊。受生物神經系統稀疏連接的啟發，Inception模塊將不同的卷積層并聯結合，并串聯拼接不同卷積層處理的結果矩陣得到更深的子矩陣，既保持了網絡結構的稀疏性，又通過將稀疏矩陣聚類為密集子矩陣提高了計算性能。由圖8可知，Inception模塊包含4個分支，分別使用了3種不同尺寸卷積核與1個最大池化核，提供了不同大小的感受野，增加了網絡對不同尺寸的適應性。

2.5Ghost模塊

Ghost模塊是GhostNet［28］模型的核心模塊，由華為諾亞方舟實驗室提出，旨在通過低成本操作來生成更多特征圖。由圖9可知，Ghost模塊可分為2個部分，首先使用普通卷積對輸入特征進行濃縮整合，生成本特征圖，接著對其進行線性變換φ生成Ghost特征圖，最終輸出特征圖由本特征圖與Ghost特征圖拼接而成。

2.6SCI結構

為了擴充網絡的深度和寬度，提高模型的特征學習能力，本研究在sandglass結構的基礎上結合協調注意力機制與Inception模塊，設計出2種SCI（Sandglass-CA-Inception）結構（圖10）。在SCI_1結構中，用Inception1模塊代替了sandglass結構中用于升維的第2個1×1卷積，設計思路是希望在升維的同時進行多尺度特征提取與融合，以獲取更為豐富的特征信息。SCI_2結構則是針對步長為2的情況設計，Inception2模塊代替第2個3×3深度卷積，利用不同卷積與池化分支提供不同大小的感受野，一定程度上減少特征圖分辨率降低帶來的信息損失。此外，為了防止參數增加量過多，將Inception模塊中的1×1卷積替換為Ghost模塊，其他尺寸卷積沿用深度可分離卷積方式。

3試驗結果與分析

3.1試驗環境

本研究均使用同一算力平臺OpenBayes，CPU型號為AMDEPYC7773×64-COREProcessor，GPU型號為RT×3090，顯存24GB。使用Linu×系統開發環境，深度學習框架為Pytorch1.7.1，Python環境3.6，Cuda11.0。

使用SGD優化器訓練所有模型，衰減和動量設置為0.9，權重衰減保持0.00004，初始學習率為0.00625，采用余弦退火學習率更新策略，batchsize為32，輸入圖像大小統一設置為224×224像素，模型迭代訓練100次。

3.2評估指標

本研究主要根據Top-1準確率（Top-1Accurcacy）、平均精確率（MeanPrecision）、平均召回率（MeanRecall）與MeanF1Scores這4個指標對模型進行評估。在混淆矩陣中，TP表示實例為正且被預測為正的樣本數量，FP表示實例為負但被預測為正的樣本數量，FN表示實例為正但被預測為負的樣本數量，TN表示實例為負且被預測為負的樣本數量。準確率指分類正確樣本占總樣本個數的比例，Accuracy=TP+TNTP+TN+FP+FN；精確率指模型預測與實際上都為正的樣本占被預測為正的樣本的比例，Precision=TPTP+FP；召回率指實際為正的樣本中被預測為正的樣本所占實際為正的樣本的比例，R=TPTP+FN；F1Score是精確率和召回率的調和平均值，F1=2+Precision+RPrecision+R。Top-1Acc表示使用最大概率值預測的結果與實際結果相符的準確率，根據每個類別相應計算結果取均值可獲得其余3個指標。

損失函數能夠反映模型預測數據與實際數據的差距。本研究模型中采用了分類任務中常見的交叉熵損失函數H（p，q）=-∑n[]i=1p（xi）log［q（xi）］，它表示真實概率分布與預測概率分布的差異，損失值越小，模型的預測效果越好。

模型參數量也是模型評估的一個指標，本研究借助flops-counter.pytorch完成模型參數量與浮點運算量的計算。對于輕量化卷積神經網絡，本研究改進遵循參數增加量盡可能少的原則，避免其帶來的存儲與效率問題，便于后續在移動端上進行應用。

3.3試驗結果與分析

首先，本研究對MobileNet系列輕量化網絡進行了對比試驗，以驗證MobileNe×t模型在蘋果葉片病害數據集上的表現能力。由表2可知，MobileNe×t模型在各個指標上的結果優于其余3個模型，與MobileNetV2相比參數量（Param）不變，是MobileNet系列輕量化網絡中的佼佼者。

其次是注意力機制的對比，本試驗在sandglass相同位置分別插入了SE、CBAM、CA注意力模塊，結果如表3所示。由于本試驗所用數據集包含復雜背景圖像，目標的位置信息影響著最終識別效果，而SE模塊只考慮通道信息，CBAM模塊帶來的參數量相對較大，因此選用CA模塊幫助模型定位目標區域。

為進一步提高MobileNe×t模型對于真實場景下背景復雜的蘋果葉片病害識別準確率，本研究通過設計2種SCI結構對其進行改進，在控制變量的情況下進行了消融試驗，結果如表4所示。與MobileNe×t相比，MobileNe×t_Inception1與MobileNe×t_SCI1各指標數據均下降，表明使用Inception1模塊代替升維部分并不合理，分析是由于分支中通道變換過程與非線性激活丟失了太多信息；而MobileNe×t_SCI2各指標數據有所增長，Top-1準確率達到96.16%，平均精確率達到了96.26%，因此確定MobileNe×t_SCI2為最終改進模型，訓練過程中的準確率、損失值變化與混淆矩陣如圖11所示。

4結論

針對真實場景下蘋果葉片病害識別背景環境復雜的情況，為了增強模型的泛化能力與魯棒性，提高識別準確率，本研究采用協調注意力CA模塊、Inception模塊、Ghost模塊對輕量化網絡MobileNe×t進行改進，在sandglass的基礎上設計了2種SCI結構，完成了對4類常見蘋果葉片病害的識別研究。試驗結果表明，改進后的模型MobileNe×t_SCI2更加適應真實環境，特征學習能力有所增強，與MobileNe×t相比，參數量只增加了0.62×106，但

Top-1準確率提高了1.23百分點，平均精確率提高了1.18百分點，驗證了改進的有效性。

對于實際應用場景，本研究存在一些不足之處，例如選取病害種類較少、實時性不高、識別準確率還有提升空間等。后期將導入更多種類的病害圖像用于模型訓練，不斷完善并部署于移動端，將其投入到生產實踐中，為農業發展貢獻一份力量。

參考文獻：

［1］常倩，李瑾.2000年以來中國蘋果產業發展趨勢分析［J］.北方園藝，2021（3）：155-160.

［2］翟衡，史大川，束懷瑞.我國蘋果產業發展現狀與趨勢［J］.果樹學報，2007，24（3）：355-360.

［3］王樹桐，王亞南，曹克強.近年我國重要蘋果病害發生概況及研究進展［J］.植物保護，2018，44（5）：13-25，50.

［4］袁森，邵春.基于卷積神經網絡的采煤機故障分類與預測研究［J］.煤炭技術，2022，41（11）：227-229.

［5］趙京鶴，修大元，王金龍，等.絕緣紙板典型缺陷局放特征的CNN識別［J］.哈爾濱理工大學學報，2022，27（5）：79-88.

［6］喬丹.基于深度圖像和卷積神經網絡的插秧機識別技術［J］.農機化研究，2023，45（7）：196-200.

［7］舒甜督，劉芳，蔡茂.基于卷積神經網絡的肺部CT圖像分類算法研究［J］.電子設計工程，2022，30（21）：170-174，179.

［8］李彧，余心杰，郭俊先.基于全卷積神經網絡方法的玉米田間雜草識別［J］.江蘇農業科學，2022，50（6）：93-100.

［9］于雪瑩，高繼勇，王首程，等.基于生成對抗網絡和混合注意力機制殘差網絡的蘋果病害識別［J］.中國農機化學報，2022，43（6）：166-174.

［10］畢鵬程，羅健欣，陳衛衛.輕量化卷積神經網絡技術研究［J］.計算機工程與應用，2019，55（16）：25-35.

［11］IandolaFN，HanS，MoskewiczMW，etal.SqueezeNet：AleNet-levelaccuracywith50fewerparametersand<0.5MBmodelsize［EB/OL］.（2016-06-01）［2022-11-11］.https：//ariv.org/abs/1602.07360.

［12］CholletF.ception：deeplearningwithdepthwiseseparableconvolutions［C］//2017IEEEConferenceonComputerVisionandPatternRecognition（CVPR）.July21-26，2017，Honolulu，HI，USA.IEEE，2017：1800-1807.

［13］ZhangY，ZhouY，LinM，etal.ShuffleNet：anetremelyefficientconvolutionalneuralnetworkformobiledevices［C］//2018IEEE/CVFConferenceonComputerVisionandPatternRecognition.June18-23，2018，SaltLakeCity，UT，USA.IEEE，2018：6848-6856.

［14］MaNN，ZhangY，ZhengHT，etal.ShuffleNetV2：practicalguidelinesforefficientCNNarchitecturedesign［C］//ComputerVision-ECCV2018：15thEuropeanConference，Munich，Germany，September8-14，2018，Proceedings，PartIV.NewYork：ACM，2018：122-138.

［15］HowardAG，ZhuML，ChenB，etal.MobileNets：efficientconvolutionalneuralnetworksformobilevisionapplications［EB/OL］.（2017-06-06）［2022-11-11］.https：//ariv.org/abs/1704.04861.

［16］SandlerM，HowardA，ZhuML，etal.MobileNetV2：invertedresidualsandlinearbottlenecks［EB/OL］.（2018-06-09）［2022-11-11］.https：//ariv.org/abs/1801.04381.

［17］HowardA，SandlerM，ChenB，etal.SearchingforMobileNetV3［C］//2019IEEE/CVFInternationalConferenceonComputerVision（ICCV）.October27-November2，2019，Seoul，Korea（South）.IEEE，2020：1314-1324.

［18］洪惠群，黃風華.基于輕量級神經網絡的農作物病害識別算法［J］.沈陽農業大學學報，2021，52（2）：239-245.

［19］孫俊，朱偉棟，羅元秋，等.基于改進MobileNet-V2的田間農作物葉片病害識別［J］.農業工程學報，2021，37（22）：161-169.

［20］李好，邱衛根，張立臣.改進ShuffleNetV2的輕量級農作物病害識別方法［J］.計算機工程與應用，2022，58（12）：260-268.

［21］ZhouDQ，HouQB，ChenYP，etal.RethinkingBottleneckStructureforEfficientMobileNetworkDesign［C］//VedaldiA，BischofH，BroT，etal.EuropeanConferenceonComputerVision.Cham：Springer，2020：680-697.

［22］HeKM，ZhangY，RenSQ，etal.Deepresiduallearningforimagerecognition［C］//2016IEEEConferenceonComputerVisionandPatternRecognition（CVPR）.June27-30，2016，LasVegas，NV，USA.IEEE，2016：770-778.

［23］張宸嘉，朱磊，俞璐.卷積神經網絡中的注意力機制綜述

［J］.計算機工程與應用，2021，57（20）：64-72.

［24］HuJ，ShenL，SunG.Squeeze-and-ecitationnetworks［C］//2018IEEE/CVFConferenceonComputerVisionandPatternRecognition.June18-23，2018，SaltLakeCity，UT，USA.IEEE，2018：7132-7141.

［25］WooS，ParkJ，LeeJY，etal.CBAM：ConvolutionalBlockAttentionModule［C］//EuropeanConferenceonComputerVision.Cham：Springer，2018：3-19.

［26］HouQB，ZhouDQ，FengJS.Coordinateattentionforefficientmobilenetworkdesign［C］//2021IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR）.June20-25，2021，Nashville，TN，USA.IEEE，2021：13708-13717.

［27］SzegedyC，LiuW，JiaYQ，etal.Goingdeeperwithconvolutions［C］//2015IEEEConferenceonComputerVisionandPatternRecognition（CVPR）.June7-12，2015.Boston，MA，USA.IEEE，2015：1-9.

［28］HanK，WangYH，TianQ，etal.GhostNet：morefeaturesfromcheapoperations［C］//2020IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR）.June13-19，2020.Seattle，WA，USA.IEEE，2020：1580-1589.