基于弱監督學習的小樣本早期蘋果葉片病害檢測

摘要：針對現有蘋果葉片病害檢測方法的性能過度依賴標注數據集的問題，提出一種基于弱監督學習的小樣本早期蘋果葉片病害檢測算法。首先，利用一組共享權重的主干網絡將病害葉片映射到高維特征空間；其次，利用多層注意力機制建立雙分支特征語義關聯模塊，并在關聯語義特征圖上生成指導查詢圖片中新病害類型分類的原型集；再次，利用無參數的匹配方法計算原型集與查詢圖片中新病害葉片特征間的相似度，根據相似度值定位與識別病害區域；最后，利用虛線框標注建立弱監督學習機制，并借助標簽平滑交叉損失端到端優化模型。通過在開源的Plant Village數據集和自建的早期蘋果葉片病害數據集上進行試驗，所提出方法分別實現96.39%、94.81%的精準率，96.71%、94.67%的召回率和97.24%、95.20%的F1值，優于當前經典的目標識別算法。

關鍵詞：蘋果葉片病害檢測；小樣本學習；弱監督學習；多層注意力機制

中圖分類號：TP391；S436.611

文獻標識碼：A

文章編號：2095-5553（2024）12-0193-07收稿日期：2023年8月12日

修回日期：2023年8月28日

*基金項目：國家自然科學基金（62101021）

第一作者：王勇，男，1977年生，河南開封人，碩士，講師；研究方向為智能農業及其病害檢測。E-mail：yongww1977@sina.com

Early detection of apple leaf disease with few-shot based on weakly supervised learning

Wang Yong¹， Zhou Qiang²， Wu Kai³

（1. Modern Education Technology Center， Kaifeng Vocational College of Culture and Arts， Kaifeng， 475000， China; 2. School of Electronic Information， Xi’an Polytechnic University， Xi’an， 710048， China; 3. Chengdu Institute of Computer Application， Chinese Academy of Sciences， Chengdu， 610041， China）

Abstract： In order to address the problem of excessive reliance on annotated datasets in existing apple leaf disease detection methods， a few-shot early apple leaf disease detection algorithm based on weakly supervised learning was proposed. Firstly， a set of backbone networks with shared weights was used to map the diseased leaves into a high-dimensional feature space. Secondly， a dual-branch feature semantic correlation module was established by using a multi-layer attention mechanism， and prototype sets for classifying new disease types in query images were generated on the correlation semantic feature map. Thirdly， the similarity between the prototype sets and the features of diseased leaf in the query image was calculated by using a non-parametric matching method， and the disease regions were located and recognized based on the similarity values. Finally， a weakly supervised learning mechanism was established by using dashed rectangle annotations， and the model was optimized end-to-end with the help of label smooth cross-entropy loss. Experimental results on the open-source Plant Village dataset and a self-built early apple leaf disease dataset demonstrated that the proposed method achieved precision rates of 96.39%、94.81%， recall rates of 96.71%、94.67%， and F1 scores of 97.24%、95.20%.

Keywords： apple leaf disease detection; few-shot learning; weakly supervised learning; multi-layer attention mechanism

0 引言

蘋果樹是常見的果樹之一，盡管它們容易生長，但也面臨著許多病害威脅，其中最常見的是蘋果葉片的早期病害^［1］。這些疾病嚴重影響蘋果樹葉，如果未及時檢測和治療病害，可能會對蘋果的產量和質量產生很大影響，嚴重影響了果農的經濟收益。因此，蘋果葉片病害的早期預防對蘋果增產、保質和提升果農經濟效益至關重要。

傳統蘋果葉片病害檢測方法主要是人工檢測^{［2， 3］}，通過利用果農的經驗來判斷病害的類型。然而，這種僅依靠人工識別的方法過度依賴專家經驗，主觀性較強，誤檢或漏檢的概率較大^［4］。近年來，隨著深度學習在目標檢測和圖片分類等領域的成功應用，利用深度學習的相關技術識別植物葉片病害成為智慧農業領域的新型研究課題^［5-7］。如朱世松等^［8］利用語義分割和遷移學習實現了一種新的蘋果葉片病害檢測方法，主要通過減少網絡參數和提升模型對病害區域的關注度來提升檢測性能。

岳有軍等^［9］在YOLOv3中引入注意力機制，強化了模型對葉片斑點區域的注意力，有效提升了模型對小目標斑點區域的檢測性能。類似地，晁曉菲等^［10］針對小目標蘋果葉片病害區域檢測精度不高的問題，提出一種基于改進YOLOv的蘋果葉片病害檢測方法，在YOLO自帶的CSPDarknet53主干上引入金字塔壓縮注意力算法，強化模型對于小目標的感知能力。徐艷蕾等^［11］利用Transformer網絡和卷積神經網絡作為主干網絡，實現蘋果葉片病害的全局特征和局部特征的提取，并在此基礎上，將兩種特征進行尺度融合，以此強化特征的表達能力。

上述模型在開源的數據集上均取得了理想的識別精度，主要得益于逐像素標注的掩碼或框線建立強監督信號，并且逐像素的標注成本極高，不利于模型在實際生產中的應用。此外，當前模型主要聚焦于后期蘋果葉片病害的識別，對早期的葉片病害檢測工作極少。主要原因是后期階段蘋果葉片病害區域較大、顏色變化明顯，檢測相對容易。然而，前期病害區域小、紋理和顏色變化不明顯，特征提取難度較大。值得注意的是，早期的葉片病害檢測有助于及時發現病害區域，防止因病害加重導致蘋果產量、數量受到嚴重的影響。

針對上述問題，首先，提出一種基于弱監督學習的小樣本早期蘋果葉片病害檢測方法，利用共享權重的主干網絡將雙分支圖片映射到深層特征空間。其次，利用多層注意力機制建立跨分支間的特征交互模塊，并基于交互特征生成指導查詢圖片中未知病害分割的原型集。最后，根據原型集與查詢特征間的相似度值定位病害區域。

1 蘋果葉片病害數據集介紹

試驗數據集包括Plant Village官方開源數據集^［12］和自建的蘋果早期葉片病害數據集兩部分。其中，Plant Village官方開源數據集包括多角度拍攝的蘋果葉片病害，選擇其中的280張葉片作為模型的訓練和測試樣本；自建數據集主要為蘋果早期葉片病害，總共采集190張葉片作為模型的訓練和測試樣本。兩個數據詳細信息如表1所示，圖1提供了兩個數據集的部分可視化示例。

此外，為了便于計算，將所有圖像的大小統一調整為448像素×448像素，并按照7∶3的比例劃分為訓練集和測試集。

2 蘋果葉片病害檢測方法

2.1 模型結構

基于弱監督的小樣本早期蘋果葉片病害檢測模型的結構主要包括特征提取、多層注意力融合、原型生成和特征匹配4個模塊，如圖2所示。首先，將支持圖片和查詢圖片利用一組共享權重的ViT網絡映射到特征空間，分別構造支持特征圖和查詢特征圖；其次，設計一種多層注意力融合網絡，實現支持特征和查詢特征共有語義信息的深度挖掘，強化任務特征的表達能力；再次，利用全局平均池化生成任務特征對應的原型，并作為查詢圖片中病害類型的分類指導依據；最后，利用無參數的特征匹配算法實現指導特征集和查詢特征對應位置的相似度計算，并根據相似度值，快速給出病害區域和類型的識別與判定。

2.2 特征提取

Vision Transformer（ViT）^{［13， 14］}是近年來新提出的圖像特征提取網絡，相比傳統的卷積神經網絡，具有更好的可擴展性和解釋性。使用ViT作為蘋果葉片病害的特征提取器，使用ViT進行特征提取的流程如圖3所示。

在使用ViT進行特征提取時，將輸入的蘋果葉片病害圖像劃分成若干等大小的小塊圖像，并組合所有小塊圖像，形成圖片序列，送入至Transformer編碼器中。然而，將原始圖片劃分成多個小塊，極易造成圖片空間信息的破壞，為此，利用位置嵌入的方式將每個小塊圖片的位置信息引入到編碼器中，即利用Transformer編碼器對劃分后的序列塊進行注意力編碼和位置編碼，獲得圖像的全局特征表示。具體地，假設給定的蘋果葉片病害圖片為I，首先，將輸入圖像進行等大小的切割，即 I={p₁，p₂，…，p_k}； 然后，將每一個小塊圖像進行特征嵌入，具體計算如式（1）所示。

E_i=∑k/i=1Emb（p_i） （1）

式中： Emb（·） ——圖片嵌入函數，其作用是將分割后的小塊圖像映射為向量表示。

此外，為了記錄分割后的小塊圖像在原始圖像中的位置信息，引入位置編碼 pos={s₁，s₂，…，s_k}， 即每個小塊在送入Transformer編碼器之前可表示為 e_i=e_i+s_i。 最后，將帶有位置信息的小塊圖像送入至Transformer網絡中進行特征編碼，具體計算如式（2）所示。

F_i=TE（e_i）+e_i （2）

式中： TE（·） ——Transformer編碼器；

F_i ——經過Transformer編碼后的特征圖。

2.3 多層注意力融合

在小樣本元學習網絡中，支持分支的輸入和查詢分支的輸入共享相同的語義信息，即在深層空間表達中，支持分支和查詢分支的輸入是具有相同類標簽的不同圖片。因此，有效挖掘雙分支網絡輸入的共有語義信息，有助于提升任務特征表達的魯棒性?，F有多特征融合網絡僅考慮每一分支特征的全局或局部信息。然而，高維空間中，低層特征雖然包含很多的顏色、紋理等低層線索，但區分性不強；高層特征具有較強的區分能力，但由于下采樣操作，小目標特征丟失嚴重。為平衡不同層特征表達的泛化性能和魯棒性，設計一種支持特征和查詢特征的多層注意力融合網絡，將雙分支網絡的多層嵌入特征作為融合網絡的輸入，融合特征作為輸出。多層注意力融合網絡的結構如圖4所示。

假設支持圖片多層嵌入特征 Fs={fs_l，fs_m，fs_h}， 查詢圖片的多層嵌入特征 Fq={fq_l，fq_m，fq_h}。 首先，利用注意力機制實現雙分支網絡輸出特征圖中每一層特征之間的相似度計算，具體計算見式（3）。

式中： F_l、 F_m、 F_h ——支持特征和查詢特征的低層、中間層和高層融合特征；

d——特征維度。

Q、K和V的初始取值為支持特征和查詢特征的原始映射特征。

最后，將融合后的低層特征、中間層特征和高層特征進行拼接，獲得最終的融合特征圖Fu，具體計算如式（4）所示。

2.4 原型生成

通過將雙分支映射的多層融合特征壓縮成攜帶任務特定信息的抽象原型，并以此作為指導查詢圖片中未知病害的分類依據。此處，采用病害圖片的真實標注作為前景和背景分離的弱監督信息，并使用平均池化^［15］生成前景和背景原型，即在前景和背景區域提取對應區域的全局特征。具體前景原型和背景原型的計算如式（5）和式（6）所示。

式中： P_f、P_b ——病害圖片的前景和背景原型；

TF［·］ ——真值函數，即括號內滿足條件時，計算值為1，否則為0；

M^{（x，y）}_s ——支持圖片的真實標注；

c∈C ——病害類型；

（x，y） ——位置信息。

最后，將前景和背景原型合并成一個原型集，即 P={P_f，P_b}， 并利用下述的特征匹配模塊實現原型集的優化，旨在構造更緊湊和可靠性的原型。

2.5 特征匹配

為實現支持分支和查詢分支的上下文語義關聯，現有方法主要利用有參數的解碼器實現雙分支特征間的融合。然而，有參數的解碼器涉及的超參數較多，利用少量的標注圖片難以優化整個網絡模型，這極易造成模型子優化問題。為此，采用無參數的度量學習實現雙分支特征之間的匹配，計算流程如圖5所示。

此處，采用余弦相似度計算查詢特征和原型集上每一原型之間的相似度；然后，利用Argmax函數^［16］實現所有相似度值中最大值的比較，并利用最大相似度值作為當前位置像素的分類依據；最后，將所有位置處的分類結果拼接，得到最終圖片中葉片病害的分類結果。

為實現模型端到端的優化，采用一種標簽平滑交叉損失^［17］，計算預測值與真實值之間的損失值，并根據損失值實現原型的對齊。具體計算如式（7）所示。

式中：m——類別的數量；

y_ij、?_ij ——真實標簽和模型預測的類別標簽概率；

ε ——平滑真實標簽。

3 試驗

3.1 試驗環境與評價指標

本文所有試驗均在英偉達Tesla V100 32 GB GPU上進行，編程語言采用Python 3.9，編輯器采用PyCharm 2020，模型框架基于PyTorch深度學習框架。初始學習率為0.01，權重衰減項為0.009，Batch Size的大小為12，Epoch為200，真實標簽的平滑因子 ε 為0.11，各項超參數的對比試驗如圖6所示。

為驗證所提出方法的性能，選擇當前目標分類領域主流的評價指標^［18］：精準率P、召回率R和F1值。計算如式（8）～式（10）所示。

P=TP/TP+TP×100% （8）

R=TP/TP+FN×100% （9）

F1-Score=2×P×R/P+R×100% （10）

式中： TP ——正確預測的蘋果葉片病害總數；

FP ——錯誤預測的蘋果葉片病害總數；

FN ——沒有檢測出的蘋果葉片病害總數。

3.2 試驗結果與分析

1）

開源數據集。為驗證模型在開源蘋果葉片病害數據集上的識別性能，分別與當前經典的目標檢測模型ResNet-50、Inception v4、Transformer、Faster R-CNN、YOLOv3和YOLOv5模型進行對比試驗。所有對比模型均采用相同的評價指標和測試數據集。詳細試驗結果如表2所示。

由表2可知，基于弱監督的小樣本蘋果早期葉片病害檢測方法可以實現96.39%的精準率、96.71的召回率和97.24%的F1。相比近年來新提出的Transformer網絡，在精準率方面提升了0.58%；在召回率方面提升了0.69%；在F1值方面提升了0.9%，綜合性能優勢明顯。這也驗證了模型設計的合理性和有效性。究其原因是：（1）模型從不同的特征層進行特征融合，充分考慮了不同層攜帶信息的不一致性，有效改善了目標尺度、形態多樣性導致識別難度大的問題；（2）在特征提取階段采用了Vision Transformer網絡，在細粒度捕獲目標任務信息的同時，充分利用了不同塊之間的位置編碼信息。

2）自建數據集。為進一步驗證所提出模型的泛化性能，在自建的蘋果早期葉片病害數據集上進行測試，并與當前經典的目標檢測模型進行對比試驗，結果如表3所示?？梢钥闯觯Ｐ碗m然在自建數據集上的識別性能有所下降，但相比所有對比模型優勢依然存在。具體地，本文模型實現了94.81%的精準率、94.67%的召回率和95.20%的F1值。與最新提出的Transformer網絡相比，提升效果更加顯著。上述數據進一步驗證了所提出模型的魯棒性和泛化性能。究其下降原因是，自建數據集中包含更多早期葉片病害，病害區域小、特征不明顯，增加了檢測的難度。

3）時間開銷。為驗證模型在時間開銷方面的性能，在自建的蘋果葉片早期病害測試數據集上進行對比試驗，結果如表4所示?？梢钥闯?，雖然Transformer模型具有較好的識別性能，但多個Patch之間的信息交互和多頭注意力之間的協同機制導致模型需要學習大量的參數，增加了時間開銷。而所提出模型在度量階段采用無參數的余弦相似度，有效緩解時間開銷大的問題，這為實現輕量化的蘋果葉片病害檢測模型提供一種新的思路。

4）可視化結果。為了直觀展現所提出模型在開源數據集和自建數據集上的識別性能，給出如圖7所示的可視化識別結果。

從圖7可以看出，在開源數據集和自建的早期蘋果葉片上均可以實現令人滿意的識別結果。尤其對于健康葉片和病害葉片的二分類任務中，識別精準率效果顯著，為構建農業智能化提供了一種新的技術支撐。此外，在早期的蘋果葉片病害自建數據集上，對于病害區域較小、特征不明顯的病害，仍然可以實現較好的識別性能。

3.3 消融試驗

為分析多層注意力特征融合模塊對蘋果葉片病害的識別性能，設計如表5所示的消融試驗。可以看出，利用多層注意力融合網絡可以顯著提高模型對葉片病害的識別性能，這也驗證了本文模型選擇多層注意力融合網絡實現支持分支和查詢分支特征融合的合理性。

為了探究不同注意力對蘋果葉片病害區域的聚焦程度，分別選擇5種主流的注意力機制進行對比試驗。圖8是不同注意力機制捕獲蘋果葉片病害區域的熱力圖?？芍?，多層注意力可以精準定位蘋果葉片病害區域，并且存在較少的誤匹配和漏匹配，這進一步驗證了本文使用的多層注意力機制的有效性。

4 結論

及時準確地識別出蘋果葉片的病害對于促進蘋果的產量和質量具有重要的意義。提出一種基于弱監督學習的小樣本早期蘋果葉片病害檢測方法，利用小樣本學習網絡建立支持分支和查詢分支間的多層語義關聯，增強特征表達的可靠性和魯棒性；利用一種無參數的度量實現支持原型集和查詢特征之間的匹配，有效緩解模型參數量大，數據樣本不足導致模型難以優化的問題。

1）建立支持分支和查詢分支間的特征語義關聯有助于增強原型表達的魯棒性，提高模型對查詢圖片中未知新類的識別與定位能力。

2）無參數度量方法有助于降低模型的檢測時間開銷，并且有助于緩解因模型參數量大、有限標注樣本不足導致模型難以優化的問題。

3）通過在開源數據集和自建的蘋果葉片早期病害數據集上進行測試，本文模型可以實現96.39%、94.81%的精準率，96.71%、94.67%的召回率和97.24%、95.20%的F1值，同時在檢測時間開銷方面，相比所有對比模型，具有很強的競爭力。

參 考 文 獻

［1］ Yu Helong， Cheng Xianhe， Cheng Chen， et al. Apple leaf disease recognition method with improved residual network ［J］. Multimedia Tools and Applications， 2022， 81（6）： 7759-7782.

［2］ Singh S， Gupta I， Gupta S， et al. Deep learning based automated detection of diseases from apple leaf images ［J］. CMC-Computers， Materials and Continua， 2022， 71（1）： 1849-1866.

［3］ 孫長蘭， 林海峰. 一種基于集成學習的蘋果葉片病害檢測方法［J］. 江蘇農業科學， 2022， 50（20）： 41-47.

Sun Changlan， Lin Haifeng. An apple tree disease detection method based on ensemble learning ［J］. Jiangsu Agricultural Sciences， 2022， 50（20）： 41-47.

［4］ 潘仁勇， 張欣， 陳孝玉龍， 等. 基于DTS-ResNet的蘋果葉片病害識別方法［J］. 國外電子測量技術， 2022， 41（9）： 142-148.

Pan Renyong， Zhang Xin， Chen Xiaoyulong， et al. Recognition method of apple leaf disease based on DTS-ResNet ［J］. Foreign Electronic Measurement Technology， 2022， 41（9）： 142-148.

［5］ Khan A I， Quadri S M K， Banday S. Deep learning for apple diseases： Classification and identification ［J］. International Journal of Computational Intelligence Studies， 2021， 10（1）： 1-12.

［6］ Li Xiaopeng， Li Shuqin. Transformer help CNN see better： A lightweight hybrid apple disease identification model based on transformers ［J］. Agriculture， 2022， 12（6）： 884-890.

［7］ 劉斌， 徐皓瑋， 李承澤， 等. 基于快照集成卷積神經網絡的蘋果葉部病害程度識別［J］. 農業機械學報， 2022， 53（6）： 286-294.

Liu Bin， Xu Haowei， Li Chengze， et al. Apple leaf disease identification method based on snapshot ensemble CNN ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（6）： 286-294.

［8］ 朱世松， 馬婉麗， 趙理山， 等. 基于改進的LinkNet的蘋果葉片圖像分割算法［J］. 浙江農業學報， 2023， 35（1）： 202-214.

Zhu Shisong， Ma Wanli， Zhao Lishan， et al. Apple leaf image segmentation algorithm based on improved LinkNet ［J］. Acta Agriculturae Zhejiangensis， 2023， 35（1）： 202-214.

［9］ 岳有軍， 劉杰瓊， 王紅君， 等. 基于改進YOLOv3模型的蘋果樹葉片病斑檢測［J］. 中國科技論文， 2021， 16（11）： 1202-1208.

Yue Youjun， Liu Jieqiong， Wang Hongjun， et al. Detection of apple leaf diseased spots based on improved YOLOv3 model ［J］. China Sciencepaper， 2021， 16（11）： 1202-1208.

［10］ 晁曉菲， 池敬柯， 張繼偉， 等. 基于PSA-YOLO網絡的蘋果葉片病斑檢測［J］. 農業機械學報， 2022， 53（8）： 329-336.

Chao Xiaofei， Chi Jingke， Zhang Jiwei， et al. Apple leaf lesion detection based on PSA-YOLO network ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（8）： 329-336.

［11］ 徐艷蕾， 孔朔琳， 陳清源， 等. 基于Transformer的強泛化蘋果葉片病害識別模型［J］. 農業工程學報， 2022， 38（16）： 198-206.

Xu Yanlei， Kong Shuolin， Chen Qingyuan， et al. Model for identifying strong generalization apple leaf disease using transformer ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（16）： 198-206.

［12］ Hughes D P， Salathé M. An open access repository of images on plant health to enable the development of mobile disease diagnostics ［J］. Computer Science， 2015.

［13］ Jiang Zhencun， Wang Lingyang， Wu Qixin， et al. Computer-aided diagnosis of retinopathy based on vision transformer ［J］. Journal of Innovative Optical Health Sciences， 2022， 15（2）： 108-119.

［14］ Odusami M， Maskeliūnas R， Damasevicius R. Pixel-level fusion approach with vision transformer for early detection of alzheimer’s disease ［J］. Electronics， 2023， 12（5）： 12-18.

［15］ Tian Yunong， Li En， Liang Zize， et al. Diagnosis of typical apple diseases： A deep learning method based on multi-scale dense classification network ［J］. Frontiers in Plant Science， 2021， 12（1）： 69-82.

［16］ Rehman Z U， Khan M A， Ahmed F， et al. Recognizing apple leaf diseases using a novel parallel real-time processing framework based on Mask R-CNN and transfer learning： An application for smart agriculture ［J］. IET Image Processing， 2021， 15（10）： 2157-2168.

［17］ Di Jie， Li Qing. A method of detecting apple leaf diseases based on improved convolutional neural network ［J］. PloS One， 2022， 17（2）： 135-150.

［18］ Yan Qian， Yang Baohua， Wang Wenyan， et al. Apple leaf diseases recognition based on an improved convolutional neural network ［J］. Sensors， 2020， 20（12）： 35-52.