基于特征分離的小樣本蘋果病害葉片檢測

黃煒 王娟娟 殷學麗

摘要：準確檢測出蘋果葉片的病害有助于促進蘋果保質、增產，提高果農的經濟收益。針對現有蘋果病害葉片檢測模型精度不高的問題，提出一種基于特征分離的小樣本蘋果病害葉片檢測算法。首先，利用VGG-16和Swin Transformer網絡將蘋果病害葉片映射到全局和局部特征空間，并設計了一種特征交叉融合網絡來融合全局和局部特征；然后，提出一種復雜特征的細粒度特征分離方法，通過借助蘋果病害葉片的文本標簽和病害區域標簽將融合的深度特征分離為葉片病害分類特征和葉片病害區域特征；最后，采用對比損失實現復雜特征的分離和模型端到端的優化。通過在Plant Village開源數據集上進行試驗，結果表明，所提出方法可以實現96.35%的精準率、95.76%的召回率和96.02%的F1分數，相比當前經典的目標分類模型，所提出模型綜合性能表現良好。此外，該模型的提出為蘋果病害葉片的細粒度分類提供一種新的思路，并且可以為田間農作物病害檢測系統提供技術支撐。

關鍵詞：蘋果病害；病害葉片檢測；特征分離；特征交叉融合；全局和局部特征；小樣本

中圖分類號：TP391.41? 文獻標志碼：A

文章編號：1002-1302（2023）23-0195-08

蘋果是我國重要的農產品之一，具有很高的營養價值和經濟價值［1］。然而，在蘋果生長過程中，葉片極易受到天氣、光照、肥料等多種因素的影響而產生病變，導致蘋果的產量和質量難以保障，影響果農的經濟收益［2］。因此，如何快速識別蘋果葉片病害，對促進蘋果產業的發展具有重要的意義。

傳統蘋果葉片病害的識別主要借助果農長期積累的專家經驗［3-4］。然而，該類方法主觀性強，極易造成蘋果葉片病害識別錯誤，影響病害的最佳治療時間。近年來，隨著深度學習和計算機視覺技術在目標檢測、目標識別和圖像分割領域的廣泛應用，利用深度學習和計算機視覺的相關技術解決農作物葉片的病害檢測成為智慧農業領域新的研究方向［5-6］。如李鑫然等利用Faster R-CNN網絡搭建了一套蘋果葉片病害檢測模型，通過在傳統Faster R-CNN網絡的基礎上引入特征金字塔，提高了模型對于細節特征的捕獲能力［7］。劉斌等利用Inception v2網絡作為基線模型，并在此基礎上引入時空注意力機制，提升了模型對蘋果葉片病害區域的聚焦度，通過在AI農業病害挑戰賽開源的蘋果葉片病害數據集上進行測試，驗證了所設計模型的合理性［8］。類似地，Di等提出了一種輕量級的蘋果葉片病害檢測模型，以YOLO網絡為基線模型，并在此基礎上將稠密塊特征提取模塊嵌入到Yolo特征編碼層，在降低網絡檢測時間開銷的同時，提升了模型對蘋果葉片病害區域的識別精度［9］。Gong等針對蘋果病害葉片周圍環境復雜、病害區域小等因素造成的定位難問題，提出了一種基于改進Faster R-CNN的蘋果病害葉片檢測方法，通過在特征提取階段引入Res2Net網絡和特征金字塔網絡，強化了所提取特征的可靠性和魯棒性［10］。

雖然上述單一模型通過優化檢測框或提升特征表達的魯棒性和可靠性，有效提高了蘋果葉片病害區域的識別精度。然而，該類模型對于復雜場景下的蘋果葉片病害區域泛化性能局限，導致整體識別性能不佳。針對上述問題，孫長蘭等將多種模型進行集成，充分利用了模型間的優勢來緩解不足，進一步提升了蘋果葉片病害區域的識別精度，通過在開源的Plant Village數據集上進行測試，驗證了模型設計的有效性［11］。李昊等通過將VGG-16網絡和ResNet-50網絡并聯構造特征提取器，并設計了一種多尺度特征融合網絡，將并聯輸出特征進行深度融合，提升了特征的表達能力［12］。Tian等提出了一種新的多尺度稠密塊特征融合網絡，有效提高了11類蘋果葉片病害的檢測精度；此外，該方法通過生成對抗網絡，有效緩解了蘋果葉片病害圖片樣本數量有限的問題［13］。類似地，Luo等提出了一種改進多尺度特征融合網絡的蘋果葉片病害病識別與分類模型，通過利用多個對稱卷積核和非對稱卷積核，捕獲輸入特征圖的主體特征和邊緣紋理、細節特征，并將多個維度的特征進行深度融合，通過在開源數據集上進行測試，驗證了模型的優越性［14］。

綜上，單一模型和多種模型的集成模型雖然有效提升了蘋果病害葉片的識別性能，但該類方法仍然存在以下改進空間：（1）早期蘋果葉片的病害區域小、特征不明顯，導致傳統模型很難精準定位并識別出病害區域；（2）復雜場景下，多種相似性病害由于外觀、區域顏色值、紋理等類似，導致細粒度分類精度不佳。為此，本研究提出一種基于特征分離的小樣本蘋果病害葉片檢測方法，主要創新點如下：（1）通過提取蘋果葉片病害區域的全局和局部特征，構造多尺度特征，有助于提升特征的質量；（2）通過借助蘋果病害葉片的文本標簽和病害區域顏色標簽將融合的深度特征分離，提升模型細粒度分類的可靠性和魯棒性；（3）通過計算預測標簽和真實標簽之間的對比損失，提升類間的強區分能力和類內的親和能力，并實現模型端到端的優化。

1 數據集介紹

本研究的數據來自Plant Village官方開源數據集［15］，該數據集包含室內和室外拍攝的多角度蘋果病害葉片照片。表1提供了所研究蘋果病害葉片的類型與樣本個數。此外，將所有圖片的大小調整為224像素×224像素，并利用濾鏡、光照變化、旋轉、裁剪等數據增強操作擴充數據集樣本總數為17 300張，并按照7 ∶3的比例劃分為訓練集和測試集。圖1給出了數據集中的各類樣本及數據增強后的樣本可視化。

2 蘋果病害葉片檢測模型

2.1 模型結構

基于特征分離的小樣本蘋果病害葉片檢測模型結構如圖2所示，包括特征提取、特征交叉融合、特征分離和病害葉片檢測等模塊。其中，特征提取階段利用VGG-16和Swin Transformer網絡分別將輸入圖片映射到全局和局部特征空間；特征交叉融合模塊將全局和局部特征進行深度融合，緩解信息丟失的問題；特征分離模塊分別利用文本標簽和顏色區域標簽作為強監督信號，將融合特征分解為表示病害文本信息和顏色區域信息的特征，增強特征表達的可靠性；蘋果病害葉片檢測模塊利用全連接層將待檢測的葉片進行細粒度分類，并利用對比損失端到端優化網絡模型。

2.2 特征提取

2.2.1 全局特征提取 VGG-16網絡由于強大的特征提取能力，在目標檢測、圖像細粒度分類任務中得到了廣泛的應用［16］。本研究利用VGG-16網絡作為主干網絡，實現輸入圖片的全局特征映射。VGG-16網絡由13個卷積層、5個池化層和3個全連接層組成，此處，將全連接層分離，僅利用池化層后的特征作為蘋果葉片病害的全局特征。VGG-16網絡結構如圖3所示。全局特征的定義如公式（1）所示。

Fg=av_pool［conv2d（Fi）］。（1）

式中：conv2d表示卷積層操作，av_pool表示全局平均池化。

2.2.2 局部特征提取 蘋果葉片病害區域面積小、早期特征不明顯，僅利用全局特征表示葉片的病害區域特征， 極易造成信息丟失或語義歧義問題。為此，本研究采用Swin Transformer網絡將蘋果葉片病害區域映射到局部特征空間，通過在劃分后的小窗口內進行細粒度特征提取，緩解因全局平均池化造成的信息丟失問題［17］。Swin Transformer網絡特征提取流程如圖4所示。

Swin Transformer網絡的核心模塊由窗口內注意力機制和偏移窗口注意力2個部分組成［18］。其中，窗口內注意力機制主要捕獲特征的局部特征，然而像素之間具有一定的上下文語義關聯，僅利用窗口內注意力導致窗口與窗口之間的信息交流抑制。為此，偏移窗口注意力機制的主要作用是實現不同窗口間的信息交流。Swin Transformer進行局部特征提取的計算如公式（2）和公式（3）所示。

Ft=MLP{W-MSA［LN（Ft-1）］+Ft-1}+W-MSA［LN（Ft-1）］+Ft-1；（2）

Ft+1=MLP{SW-MSA［LN（Ft）］+Ft}+SW-MSA［LN（Ft）］+Ft。（3）

式中：LN（·）表示歸一化層；MLP（·）表示多層感知機；W-MSA表示窗口注意力；SW-MSA表示偏移窗口注意力；Ft表示窗口注意力機制的輸出特征；Ft-1表示串口注意力機制的輸入特征；Ft+1表示偏移窗口注意力機制的輸出特征，即蘋果病害葉片的局部特征。

2.3 特征交叉融合注意力

全局特征雖然可以表示蘋果病害葉片的整體信息，但病害區域小、早期病害區域不明顯，極易導致特征信息丟失；局部特征通過在蘋果葉片病害小區域面積內細粒度提取特征，有效彌補了全局特征信息丟失的問題。因此，本研究設計了一種特征交叉融合注意力，將蘋果葉片病害的全局和局部特征進行深度融合，特征交叉融合注意力流程如圖5所示。

圖5全局和局部特征交叉融合注意力計算中，首先將蘋果病害葉片的局部特征Ft+1和全局特征Fg進行連接；然后，利用全局平均池化獲得連接特征圖的全局表示，并利用softmax函數沿通道維度計算注意力權重［19］。計算如公式（4）和公式（5）所示。

式中：conv1×1（·）表示大小為1×1的卷積；av_pool（·）表示全局平均池化；表示連接操作。

類似地，在計算全局特征注意力權重時，首先利用余弦相似度計算全局和局部特征的特征關聯，并沿特征圖的通道維度計算注意力權重，全局注意力權重計算如公式（6）所示。

wgl=softmax（conv1×1（cos（av_pool（Ft+1），fg）））。（6）

然后，將全局交叉注意力權重wgl和局部交叉注意力權重wlg進行點乘，獲得最終的融合注意力交叉注意力權重w。最后，將全局特征與局部特征分別與注意力權重進行加權，獲得最終的融合特征Fs。詳細計算如公式（7）和公式（8）所示。

2.4 特征分離

融合后的深度特征包含多種語義信息，如蘋果葉片病害區域的紋理、顏色和病害文本信息等。如何將融合特征進行解耦，利用細粒度分離的特征表示蘋果葉片病害的單一特征，降低無關特征的干擾，可以有效提升模型對蘋果葉片病害區域的定位與識別［20］。融合特征的特征分離流程如圖6所示。

由于本研究所使用的蘋果葉片病害數據集僅包括病害區域和病害類型2種標簽，為此，利用病害區域和文本標簽將融合特征分離為區域相關特征Fc、文本標簽相關特征Fl和2個部分的共享特征Fcl。利用區域相關特征和共享特征預測蘋果葉片病害區域，利用文本標簽相關特征和共享特征預測葉片病害的文本標簽。最后，通過計算預測葉片病害區域、病害區域標簽與真實蘋果葉片病害數據集進行損失計算，根據損失值端到端優化模型。具體計算方法如公式（9）和公式（10）所示。

式中：pc表示預測的病害區域標簽；pl表示預測的文本標簽。

3 試驗設計

3.1 試驗環境與評價指標

蘋果病害葉片檢測試驗在Windows 10系統，搭載3090Ti 24 GB GPU，12 GB運行內存。編輯語言采用Python 11.3.2，編輯器選擇PyCharm 2020.3.2。

深度網絡的檢測性能極易受超參數的影響，本研究采用對比測試的方法選擇初始學習率為0.005，batch size為8，epoch為60。各項超參數的對比試驗如圖7所示。

為了驗證本研究模型的性能，采用精準率、召回率和F1分數（F1-score）作為評價指標。計算方法如公式（11）至公式（13）所示。

式中：TP表示正確預測的樣本數；FP表示誤報的樣本數；FN表示漏報的樣本數。

3.2 消融試驗

為研究不同模塊在蘋果病害葉片檢測模型性能提升中扮演的角色，進行了如表2所示的消融試驗。可以看出，相比利用單一局部或全局特征作為蘋果病害葉片檢測模型的基線特征，融合局部和全局特征的蘋果病害葉片檢測模型性能提升明顯，可以實現92.88%的精準率、93.05%的召回率和93.76%的F1分數。 然而，在全局和局部特征構造多尺度融合特征的基礎上，利用特征分離模塊，在病害區域的定位和病害識別性能提升上具有明顯的作用，精準率、召回率和F1分數進一步可以提升至96.35%、95.76%和96.02%。上述試驗結果也驗證了局部特征、全局特征和特征分離對于模型提升病害區域定位與識別具有積極的作用。

3.3 試驗結果與分析

為了驗證本研究所提出模型的先進性，在相同的數據集和評價指標下，與當前目標檢測領域主流的模型YOLO v5、Inception v4、Faster R-CNN、AlexNet、GoogleNet進行對比試驗，詳細結果如表3所示。

由表3可以看出，本研究模型可以實現96.35%的精準率、95.76%的召回率和96.02%的F1分數，綜合性能優勢明顯。具體地，在精準率評價指標下，本研究模型相比所有對比模型中表現最好的GoogleNet，提升了3.56百分點；在召回率指標下，相比Inception v4，提升了3.17百分點；在F1分數指標下，相比GoogleNet，提升了3.22百分點。性能提升明顯的主要原因是：（1）本研究所提出的模型結合了局部和全局特征，通過在不同子區域內細粒度地學習局部特征表達，彌補了全局特征因全局平尺池化導致信息丟失或語義破壞的問題；（2）提取高質量的特征是提升模型對病害區域定位和病害類型識別性能的有效方法，所提出模型通過將融合特征分離為單一病害區域表示特征和文本標簽特征，緩解了融合特征語義分布混亂導致模型性能不佳的問題。

為進一步驗證所提出模型對蘋果葉片病害區域定位與識別的魯棒性和泛化性能，分別利用YOLO v5、Inception v4、Faster R-CNN、AlexNet、GoogleNet與本研究所提出模型對健康葉片、銹病葉片、黑星病葉片、褐斑病葉片、白粉病葉片進行檢測試驗，圖8給出了不同模型對200張葉片的檢測混淆矩陣。

圖9展示了單一場景和多種混合場景下的蘋果葉片檢測結果可視化。可以看出，本研究所提出模型對于單一場景下的蘋果病害葉片區域的定位與識別精度較高；多種混合場景下的檢測性能有所下降，主要原因是多種混合場景包含葉片種類豐富、噪聲信息較多，極易導致模型出現漏報或誤報，但是本研究所提出模型仍然可以達到平均92.72%的精準率，可以在實際生產中為蘋果葉片病害區域的定位與識別提供一定的指導作用。

此外，為驗證本研究所提出模型在檢測時間開銷方面的優越性，與當前主流的YOLO v5、Inception v4、Faster R-CNN、AlexNet、GoogleNet等模型進行時間開銷對比試驗。詳細對比結果如圖10所示，可以看出，本研究所提出模型在檢測時間開銷方面與AlexNet、GoogleNet模型差距不明顯，但與Faster R-CNN 模型，YOLO v5模型相比，優勢明顯，究其原因是本研究所提出模型在前期特征提取階段，無論全局特征提取還是局部特征提取均選擇了預訓練的特征提取網絡，不進行任何的參數微調，有效降低了時間開銷。

4 結論

高質量的特征是提升蘋果病害葉片檢測模型定位與識別可靠性和魯棒性的基礎。針對現有基于深度學習的蘋果病害葉片檢測性能不佳、可解釋性不強的問題，本研究提出一種基于多特征分離的蘋果病害葉片檢測方法，主要結論包括：（1）相比單一利用局部或全局特征的蘋果病害葉片檢測模型，融合局部和全局特征構造的多尺度特征融合模型可以有效提升模型的檢測精準率；（2）融合多種語義的特征可解釋性不強，特征間的干擾因素較多，將融合特征分離成單一代表蘋果葉片病害區域和文本標簽的特征，可以有效提升本研究蘋果病害葉片檢測模型定位與識別的性能；（3）通過在開源數據集上進行測試，本研究所提出模型可以實現96.35%的精準率、95.76%的召回率和96.02%的F1分數。

參考文獻：

［1］Turkoglu M，Hanbay D，Sengur A.Multi-model LSTM-based convolutional neural networks for detection of apple diseases and pests［J］. Journal of Ambient Intelligence and Humanized Computing，2022，13（7）：3335-3345.

［2］Bansal P，Kumar R，Kumar S.Disease detection in apple leaves using deep convolutional neural network［J］. Agriculture，2021，11（7）：617.

［3］Khan A I，Quadri S M K，Banday S.Deep learning for apple diseases：classification and identification［J］. International Journal of Computational Intelligence Studies，2021，10（1）：1.

［4］Yan Q A，Yang B H，Wang W Y，et al. Apple leaf diseases recognition based on an improved convolutional neural network［J］. Sensors，2020，20（12）：3535.

［5］杜建軍，李大壯，廖生進，等. 基于CT圖像和RAUNet-3D的玉米籽粒三維結構測量［J］. 農業機械學報，2022，53（12）：244-253，289.

［6］Rehman Z U，Khan M A，Ahmed F，et al. Recognizing apple leaf diseases using a novel parallel real-time processing framework based on MASK RCNN and transfer learning：an application for smart agriculture［J］. IET Image Processing，2021，15（10）：2157-2168.

［7］李鑫然，李書琴，劉 斌. 基于改進Faster R-CNN的蘋果葉片病害檢測模型［J］. 計算機工程，2021，47（11）：298-304.

［8］劉 斌，徐皓瑋，李承澤，等. 基于快照集成卷積神經網絡的蘋果葉部病害程度識別［J］. 農業機械學報，2022，53（6）：286-294.

［9］Di J E，Li Q.A method of detecting apple leaf diseases based on improved convolutional neural network［J］. PLoS One，2022，17（2）：e0262629.

［10］Gong X L，Zhang S J.A high-precision detection method of apple leaf diseases using improved faster R-CNN［J］. Agriculture，2023，13（2）：240.

［11］孫長蘭，林海峰. 一種基于集成學習的蘋果葉片病害檢測方法［J］. 江蘇農業科學，2022，50（20）：41-47. [HJ2.1mm]

［12］李 昊，王 斌. 深度特征融合方法及其在葉片病害識別中的應用［J］. 計算機系統應用，2022，31（7）：349-355.

［13］Tian Y N，Li E，Liang Z Z，et al. Diagnosis of typical apple diseases：a deep learning method based on multi-scale dense classification network［J］. Frontiers in Plant Science，2021，12：698474.

［14］Luo Y Q，Sun J，Shen J F，et al. Apple leaf disease recognition and sub-class categorization based on improved multi-scale feature fusion network［J］. IEEE Access，2021，9：95517-95527.

［15］潘仁勇，張 欣，陳孝玉龍，等. 基于DTS-ResNet的蘋果葉片病害識別方法［J］. 國外電子測量技術，2022，41（9）：142-148.

［16］Thakur P S，Sheorey T，Ojha A.VGG-ICNN：a lightweight CNN model for crop disease identification［J］. Multimedia Tools and Applications，2023，82（1）：497-520.

［17］Guo Y F，Lan Y T，Chen X D.CST：Convolutional Swin Transformer for detecting the degree and types of plant diseases［J］. Computers and Electronics in Agriculture，2022，202：107407.

［18］Li X P，Li S Q.Transformer help CNN see better：a lightweight hybrid apple disease identification model based on transformers［J］. Agriculture，2022，12（6）：884.

［19］Mao B J，Wang L F，Xiang S M，et al. Task-aware adaptive attention learning for few-shot semantic segmentation［J］. Neurocomputing，2022，494：104-115.

［20］Lv Z H，Zhu S H，Wang D S，et al. Infrared-visible person re-identification via dual-channel attention mechanism［J］. Multimedia Tools and Applications，2023，82（15）：22631-22649.