基于實(shí)例置信度推斷的半監(jiān)督小樣本植物病害圖像識(shí)別

孔江波 朱賀 張延文 黃建平

摘要：植物病害影響農(nóng)業(yè)生產(chǎn)的產(chǎn)量和質(zhì)量。針對(duì)現(xiàn)有小樣本植物病害識(shí)別方法大多數(shù)都是基于監(jiān)督式學(xué)習(xí)模型以及少數(shù)半監(jiān)督學(xué)習(xí)方法未判別偽標(biāo)注樣本的可信度的問(wèn)題，提出一種基于實(shí)例置信度推斷的半監(jiān)督學(xué)習(xí)小樣本植物病害圖像識(shí)別方法。首先構(gòu)建ResNet-12網(wǎng)絡(luò)提取有標(biāo)注樣本和無(wú)標(biāo)注樣本的特征;其次利用極少數(shù)有標(biāo)簽的植物病害樣本訓(xùn)練SVM分類(lèi)器，用分類(lèi)器推斷無(wú)標(biāo)注樣本的類(lèi)別并賦予偽標(biāo)簽;然后采用實(shí)例置信度推斷（ICI）算法獲取偽標(biāo)注樣本的置信度，迭代選擇可信的偽標(biāo)簽樣本加入訓(xùn)練拓展支持集;最后應(yīng)用訓(xùn)練后的網(wǎng)絡(luò)模型對(duì)植物病害圖像進(jìn)行識(shí)別。該方法能夠反映無(wú)標(biāo)注病害樣本的真實(shí)分布，迭代選擇最可信的偽標(biāo)注樣本進(jìn)行模型訓(xùn)練，從而提高模型的識(shí)別性能。試驗(yàn)采用Plant Village公開(kāi)數(shù)據(jù)集進(jìn)行10-way-5-shot試驗(yàn)。結(jié)果顯示：在unlabel= 50的情況下識(shí)別準(zhǔn)確率為89.34%，病害的各項(xiàng)評(píng)價(jià)指標(biāo)均隨著無(wú)標(biāo)注樣本數(shù)量的增加而增加。結(jié)果表明本研究提出的方法從無(wú)標(biāo)注樣本中獲取到的信息是魯棒的，且識(shí)別準(zhǔn)確率優(yōu)于傳統(tǒng)遷移學(xué)習(xí)，能有效提升小樣本條件下植物病害圖像的識(shí)別效果。

關(guān)鍵詞：植物病害;半監(jiān)督學(xué)習(xí);識(shí)別;小樣本學(xué)習(xí);深度學(xué)習(xí);置信度推斷

中圖分類(lèi)號(hào)： TP391.41;S126文獻(xiàn)標(biāo)志碼： A

文章編號(hào)：1002-1302（2022）12-0229-09

收稿日期：2021-11-16

基金項(xiàng)目：中央高校基本科研業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)（編號(hào)：2572019CP19）;黑龍江省自然科學(xué)基金（編號(hào)：TD2020C001）。

作者簡(jiǎn)介：孔江波（1997—），男，甘肅永靖人，碩士研究生，主要從事模式識(shí)別研究。E-mail：kjb1206612461@163.com。

通信作者：黃建平，博士，副教授，博士生導(dǎo)師，主要從事目標(biāo)檢測(cè)、圖像處理相關(guān)研究。E-mail：jphuang@nefu.edu.cn。

植物病害是影響農(nóng)業(yè)生產(chǎn)安全和生態(tài)環(huán)境安全的嚴(yán)重生物災(zāi)害，因此及時(shí)且準(zhǔn)確地發(fā)現(xiàn)并識(shí)別出病害的種類(lèi)，針對(duì)各個(gè)病害的特點(diǎn)采取相應(yīng)措施便能夠有效地減少病害帶來(lái)的危害[1-3]。

傳統(tǒng)的植物病害識(shí)別主要包括人工和儀器輔助的半自動(dòng)識(shí)別方法，但在識(shí)別效率和識(shí)別準(zhǔn)確率方面難以滿足科學(xué)研究和實(shí)際生產(chǎn)中的大面積、快速檢測(cè)植物病蟲(chóng)害的需要[4-5]。近年來(lái)，深度學(xué)習(xí)技術(shù)取得了長(zhǎng)足進(jìn)步，深度學(xué)習(xí)技術(shù)在植物物種分類(lèi)、林木圖像分割、植物病蟲(chóng)害圖像識(shí)別等方面得到了廣泛的應(yīng)用[6-9]。Srdjan等將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于植物病害圖像的識(shí)別領(lǐng)域，對(duì)健康葉片圖像及13類(lèi)病害葉片圖像的識(shí)別準(zhǔn)確率為96.3%[10];黃建平等提出一種能夠依據(jù)特定數(shù)據(jù)集自動(dòng)搜索出合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的植物病害圖像識(shí)別方法[11]。

訓(xùn)練深度學(xué)習(xí)模型需要大量的帶有標(biāo)簽的數(shù)據(jù)集來(lái)學(xué)習(xí)植物病害圖像的視覺(jué)特征以及不同植物間的視覺(jué)差異[12]。然而在現(xiàn)實(shí)中，標(biāo)注大規(guī)模植物病害樣本成本高昂，并且某些植物病害較為罕見(jiàn)，甚至很難采集到病害樣本。使用過(guò)少的標(biāo)注樣本訓(xùn)練深度學(xué)習(xí)模型很容易導(dǎo)致模型過(guò)擬合和泛化性能力差[13]。

近年來(lái)，基于小樣本學(xué)習(xí)（few-shot learning，F(xiàn)SL）[14-15] 的圖像識(shí)別方法得到了廣泛的關(guān)注。基于小樣本學(xué)習(xí)的圖像識(shí)別方法[16-17]主要包括數(shù)據(jù)增強(qiáng)（如半監(jiān)督學(xué)習(xí)[18]、GAN[19]）、遷移學(xué)習(xí)[20]（如基于特征[21]、基于共享參數(shù)[22]）、度量學(xué)習(xí)（如匹配網(wǎng)絡(luò)[14]、原型網(wǎng)絡(luò)[15]）、元學(xué)習(xí)（如MAML[23]、Meta-SGD[24]、Reptile[25]）等方式。Wang等[26]與Argüeso等[12]采用Siamese網(wǎng)絡(luò)框架解決小樣本植物病害圖像分類(lèi)問(wèn)題;Yu等提出一種特征分割子網(wǎng)絡(luò)和斑點(diǎn)感知子網(wǎng)絡(luò)相結(jié)合的注意力機(jī)制[27];Hu等利用C-DCGAN網(wǎng)絡(luò)對(duì)茶葉病害樣本進(jìn)行擴(kuò)充[28];謝軍等提出了基于2次遷移深度學(xué)習(xí)模型的小樣本茶樹(shù)病害識(shí)別方法[29];Li等首次將半監(jiān)督學(xué)習(xí)模型應(yīng)用于小樣本植物病害識(shí)別問(wèn)題，但僅僅通過(guò)fine-tuning來(lái)迭代選擇偽標(biāo)注樣本更新模型，并沒(méi)有對(duì)偽標(biāo)注的置信度進(jìn)行判別[13]。基于小樣本學(xué)習(xí)的植物病害識(shí)別方法在模型的泛化能力和準(zhǔn)確率方面取得了較好的性能，但依然存在以下2個(gè)問(wèn)題：一方面，現(xiàn)階段小樣本植物病害圖像識(shí)別的研究大多數(shù)都是基于監(jiān)督式學(xué)習(xí)模型，未充分挖掘無(wú)標(biāo)注樣本的有用信息。另一方面，少數(shù)方法僅通過(guò)Fine-tuning來(lái)迭代賦予無(wú)標(biāo)注病害樣本偽標(biāo)注，并未判別偽標(biāo)注植物病害樣本的可信度，錯(cuò)誤的偽標(biāo)注樣本加入訓(xùn)練會(huì)導(dǎo)致模型性能降低。

針對(duì)現(xiàn)有小樣本植物病害識(shí)別方法存在的問(wèn)題，本研究提出一種基于實(shí)例置信度推斷的半監(jiān)督學(xué)習(xí)小樣本植物病害圖像識(shí)別方法。該方法利用實(shí)例置信度推斷（ICI）算法獲取偽標(biāo)注樣本的置信度，選擇可信的偽標(biāo)簽樣本加入訓(xùn)練拓展支持集，通過(guò)迭代選擇最可信的偽標(biāo)注樣本進(jìn)行模型訓(xùn)練，實(shí)現(xiàn)少量樣本下植物病害圖像的準(zhǔn)確識(shí)別。

1 植物病害識(shí)別方法

1.1 實(shí)例置信度推斷（ICI）算法

半監(jiān)督學(xué)習(xí)（semi-supervised learning，SSL）[18，30]是一種常見(jiàn)的機(jī)器學(xué)習(xí)范式，能夠在有標(biāo)注數(shù)據(jù)昂貴或稀缺的情況下，自動(dòng)地利用現(xiàn)成的無(wú)標(biāo)注數(shù)據(jù)來(lái)改進(jìn)監(jiān)督式學(xué)習(xí)任務(wù)，從而提升學(xué)習(xí)性能，適用于含有少數(shù)的標(biāo)注數(shù)據(jù)及多數(shù)的未標(biāo)注數(shù)據(jù)的學(xué)習(xí)問(wèn)題，半監(jiān)督學(xué)習(xí)過(guò)程示意圖如圖1所示。半監(jiān)督學(xué)習(xí)模型通常是用有標(biāo)注的訓(xùn)練樣本來(lái)訓(xùn)練分類(lèi)器，然后由訓(xùn)練好的分類(lèi)器預(yù)測(cè)無(wú)標(biāo)注樣本的類(lèi)別標(biāo)簽，并選擇這些有偽標(biāo)簽的無(wú)標(biāo)注樣本加入訓(xùn)練來(lái)更新分類(lèi)器，起到數(shù)據(jù)增強(qiáng)的作用。但是倘若分類(lèi)器僅由極少數(shù)的標(biāo)注樣本來(lái)訓(xùn)練，此時(shí)分類(lèi)器對(duì)于無(wú)標(biāo)注樣本類(lèi)別的預(yù)測(cè)準(zhǔn)確率很低，若將預(yù)測(cè)錯(cuò)誤的偽標(biāo)注樣本加入訓(xùn)練將會(huì)降低分類(lèi)器的分類(lèi)性能。因此研究分類(lèi)器賦予每個(gè)無(wú)標(biāo)簽樣本的偽標(biāo)簽置信度將有助于提高最終分類(lèi)器的預(yù)測(cè)效果。D498D58D-9934-4195-8966-D0B98489D122

針對(duì)偽標(biāo)簽樣本置信度問(wèn)題，Wang等提出了一種基于統(tǒng)計(jì)學(xué)的實(shí)例置信度推斷的方案（instance credibility inference，ICI）[31]，該方案能夠反映無(wú)標(biāo)注樣本的真實(shí)分布，并且從無(wú)標(biāo)注樣本中獲得的信息是魯棒的。本研究使用該方法來(lái)推斷賦予無(wú)標(biāo)注植物病害圖像樣本偽標(biāo)簽的置信度。

針對(duì)N個(gè)類(lèi)、每類(lèi)n個(gè)樣本構(gòu)建的線性回歸模型如下：

yi=xTiβ+γi+i。（1）

式中：β∈Ed×N，為回歸系數(shù)矩陣;γi為與樣本有關(guān)的偶發(fā)參數(shù);xi∈Rd× 為樣本i對(duì)應(yīng)的特征向量;yi為樣本i的類(lèi)別標(biāo)簽。

傳統(tǒng)方法對(duì)回歸系數(shù)β進(jìn)行優(yōu)化，以獲得最佳的線性回歸模型來(lái)預(yù)測(cè)樣本i的類(lèi)別。受偶發(fā)參數(shù)問(wèn)題相關(guān)研究[32]的啟發(fā)，ICI算法假設(shè)當(dāng)對(duì)β的估計(jì)β^較弱時(shí)，γi的估計(jì)γi^可反映該樣本點(diǎn)的擬合程度，可將γi視為對(duì)線性回歸模型的修正，即‖γi‖越大，回歸模型對(duì)該樣本點(diǎn)的擬合程度越差，將樣本i歸屬為類(lèi)別yi的可能性越低，若該樣本為偽標(biāo)注樣本時(shí)，能反映該偽標(biāo)注樣本的可信程度。基于上述思想構(gòu)建含偶發(fā)參數(shù)的標(biāo)簽樣本和偽標(biāo)簽樣本的線性回歸模型如下：

（β^，γ^）=argminβ，γ‖Y-Xβ-γ‖2F+λR（γ）。（2）

損失函數(shù)定義為：

L（β，γ）=‖Y-Xβ-γ‖2F+λR（γ）。（3）

式中：‖·‖2F為Frobenius范數(shù);γ=[γi]∈Rn×N，為偶發(fā)參數(shù);Y、X分別指標(biāo)簽和特征輸入;R（γ）=∑ni=1‖γi‖2 為懲罰項(xiàng);λ為懲罰項(xiàng)系數(shù)。

ICI算法不關(guān)注β^的解，求公式（3）對(duì)β的偏導(dǎo)并令其為0，即Lβ=0：

β^=（XTX）+XT（Y-γ）。（4）

式中：（·）+為廣義逆矩陣。

利用γ來(lái)衡量每個(gè)偽標(biāo)簽樣本沿其正則化路徑的置信度，則可將問(wèn)題重新定義為：

argminγ‖Y-H（Y-γ）-γ‖2F+λR（γ）。（5）

式中：H=X（XTX）+XT。進(jìn)一步定義X～=（1-H），Y～=X～Y，則公式（5）可化簡(jiǎn)為：

argminγ‖Y～-X～γ‖2F+λR（γ）。（6）

由參考文獻(xiàn)[33]的理論值λmax=maxi‖X～TiY～‖2/n保證公式（6）的解全為0[33]，得到列表λ∈[0，λmax]。正則化系數(shù)λ從0逐漸增大時(shí)，γ逐漸減小，當(dāng)某一項(xiàng)γi率先降為0，說(shuō)明該樣本偽標(biāo)簽可信程度更高。因此可根據(jù)使γi變?yōu)?對(duì)應(yīng)的λ值對(duì)偽標(biāo)簽數(shù)據(jù)進(jìn)行排序，將低λ值下使γi變?yōu)?的樣本視為可信的偽標(biāo)簽樣本加入訓(xùn)練來(lái)更新分類(lèi)器。

1.2 病害識(shí)別模型

本研究中將數(shù)據(jù)劃分為源域和目標(biāo)域，源域中包含大量有標(biāo)注植物病害樣本，目標(biāo)域包含大量無(wú)標(biāo)注植物病害樣本和少量有標(biāo)注植物病害樣本。模型訓(xùn)練過(guò)程共包含2個(gè)階段，分別是預(yù)訓(xùn)練階段和半監(jiān)督學(xué)習(xí)階段。利用半監(jiān)督學(xué)習(xí)階段最終更新后的分類(lèi)器在小樣本植物病害目標(biāo)域的查詢(xún)集上測(cè)試分類(lèi)效果。

預(yù)訓(xùn)練階段在大量有標(biāo)注的植物病害源域上進(jìn)行，該階段目的是訓(xùn)練特征提取網(wǎng)絡(luò)ResNet-12，獲得最佳預(yù)訓(xùn)練模型，并將其遷移泛化到小樣本植物病害目標(biāo)域中。半監(jiān)督學(xué)習(xí)階段在少量有標(biāo)注及大量無(wú)標(biāo)注的植物病害目標(biāo)域上進(jìn)行，該階段采用ICI算法推斷偽標(biāo)簽樣本的置信度，選擇最可信的偽標(biāo)簽樣本加入訓(xùn)練拓展支持集，從而提升分類(lèi)器的分類(lèi)性能。半監(jiān)督學(xué)習(xí)階段方法結(jié)構(gòu)示意圖見(jiàn)圖2，模型在包含少量有標(biāo)注樣本的支持集上進(jìn)行學(xué)習(xí)，并在查詢(xún)集上測(cè)試分類(lèi)效果。按照小樣本學(xué)習(xí)策略采用標(biāo)準(zhǔn)的N-way-m-shot來(lái)表示單次識(shí)別任務(wù)，即支持集共包含N類(lèi)，每類(lèi)含有m個(gè)標(biāo)注樣本。具體步驟如下：（1）采用ResNet-12主干網(wǎng)絡(luò)提取有標(biāo)注樣本和無(wú)標(biāo)注樣本的特征，并用PCA對(duì)特征向量進(jìn)行降維;（2）采用PCA降維之后的有標(biāo)注植物病害特征訓(xùn)練SVM分類(lèi)器，用訓(xùn)練好的SVM分類(lèi)器推斷無(wú)標(biāo)注樣本的類(lèi)別并賦予偽標(biāo)注;（3）由“1.1”節(jié)所述ICI算法推斷偽標(biāo)注樣本的置信度，迭代選擇可信的偽標(biāo)注樣本加入訓(xùn)練拓展支持集，優(yōu)化SVM分類(lèi)器的性能;（4）不可信的偽標(biāo)簽樣本被返回并由逐步更新后的分類(lèi)器重新賦予新的偽標(biāo)注并繼續(xù)由ICI推斷置信度;（5）重復(fù)上述過(guò)程，直到所有無(wú)標(biāo)簽樣本都被選中，此時(shí)所有的無(wú)標(biāo)簽樣本的偽標(biāo)簽都已經(jīng)唯一確定;（6）由最終更新后的分類(lèi)器對(duì)查詢(xún)集中的測(cè)試樣本進(jìn)行預(yù)測(cè)。

本研究采用ReNet-12[3 34-35]作為特征提取網(wǎng)絡(luò)，該網(wǎng)絡(luò)屬于ResNet[36]的輕量級(jí)版本，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。該網(wǎng)絡(luò)包含4個(gè)殘差塊，每個(gè)殘差塊含有3個(gè)3×3的卷積層，每個(gè)卷積層后跟BatchNorm層并采用LeakRelu（0.1）激活函數(shù)，每個(gè)殘差塊后都跟1個(gè)2×2的最大池化層減少模型參數(shù)和計(jì)算量。各個(gè)block中的過(guò)濾器數(shù)量分別為64、128、256和512，最后再經(jīng)過(guò)一個(gè)自適應(yīng)平均池化層產(chǎn)生輸入特征，經(jīng)全連接層輸出一個(gè)512維的特征向量，由PCA方法將512維特征向量縮減至5維，所有輸入圖像的尺寸大小均被調(diào)整為168×168×3。

2 試驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集劃分

本研究利用植物病害研究常用的公共數(shù)據(jù)集PlantVillage中的24類(lèi)共46 340張健康植物樣本圖像以及病害植物樣本圖像進(jìn)行試驗(yàn)。其中，源域14類(lèi)共35 186張植物病害樣本，分別為健康蘋(píng)果、健康藍(lán)莓、橘子黃龍病、桃細(xì)菌性斑點(diǎn)病、健康辣椒、健康大豆、南瓜白粉病、番茄細(xì)菌性斑點(diǎn)病、健康番茄、番茄晚疫病、番茄斑枯病、番茄二斑葉螨病、番茄輪斑病、番茄黃曲病;目標(biāo)域10類(lèi)共11 154張植物病害樣本，分別為櫻桃白粉病、玉米銹病、健康玉米、葡萄黑腐病、葡萄黑痘病、葡萄葉枯病、馬鈴薯早疫病、馬鈴薯晚疫病、草莓葉焦病和番茄早疫病。圖4為目標(biāo)域每一類(lèi)病害圖像示例。D498D58D-9934-4195-8966-D0B98489D122

2.2 試驗(yàn)參數(shù)設(shè)置

本研究所有試驗(yàn)均在ubuntu 14.04平臺(tái)下完成，采用python語(yǔ)言及pytorch深度學(xué)習(xí)框架，計(jì)算機(jī)內(nèi)存16 GB，搭載CPU為ES-2650 v4，2.20 Hz×13;GPU為NVIDIA TITAN Xp，12 GB顯存。

預(yù)訓(xùn)練階段：本研究采用帶動(dòng)量的SGD優(yōu)化器訓(xùn)練預(yù)訓(xùn)練模型，動(dòng)量因子設(shè)置為0.9。采用交叉熵?fù)p失函數(shù)，L2權(quán)重衰減設(shè)為1×10-4，初始學(xué)習(xí)率為0. 每30個(gè)epochs衰減10倍，總共120個(gè)epochs。隨機(jī)抽取源域中每類(lèi)10%的樣本構(gòu)建驗(yàn)證集，取驗(yàn)證集驗(yàn)證準(zhǔn)確率最高的epoch對(duì)應(yīng)的預(yù)訓(xùn)練模型作為最佳遷移學(xué)習(xí)模型并遷移至目標(biāo)域中。

半監(jiān)督學(xué)習(xí)階段：固定全連接層前的所有卷積層并保留每一層的權(quán)重，僅由支持集訓(xùn)練分類(lèi)器。所有試驗(yàn)采用L2范數(shù)歸一化病害圖像特征并采用PCA降維和SVM分類(lèi)器進(jìn)行分類(lèi)。本研究通過(guò)隨機(jī)采樣多個(gè)小樣本環(huán)境驗(yàn)證所提出的基于實(shí)例置信度推斷半監(jiān)督學(xué)習(xí)模型的小樣本植物病害圖像的識(shí)別效果。單個(gè)小樣本環(huán)境下的測(cè)試任務(wù)為1個(gè)episode，所有試驗(yàn)均取500個(gè)episodes分類(lèi)效果的平均值來(lái)評(píng)估模型的性能。在N-ways-m-shot-unlabel-k任務(wù)中，每個(gè)episode選取支持集中的10類(lèi)植物病害，每類(lèi)5個(gè)標(biāo)注樣本及k個(gè)未標(biāo)注樣本，并在查詢(xún)集中的每類(lèi)15張樣本上進(jìn)行測(cè)試，即每個(gè)episode樣本共10×（5+k+15）張植物病害圖像。

2.3 量化評(píng)價(jià)指標(biāo)

為量化評(píng)估本研究提出模型的準(zhǔn)確性和有效性，本研究采用準(zhǔn)確率、查準(zhǔn)率、查全率及F1值4個(gè)評(píng)價(jià)指標(biāo)。評(píng)價(jià)指標(biāo)中的變量定義如表1所示。

準(zhǔn)確率（accuracy，Acc）表示正確分類(lèi)的樣本數(shù)量與總樣本數(shù)量的比值，定義如下：

Acc=TP+TNTP+TN+FP+FN×100%。（7）

查準(zhǔn)率（precision，P）表示預(yù)測(cè)為正樣本中預(yù)測(cè)正確的比值，定義如下：

P=TPTP+FP×100%。（8）

查全率（recall，R）表示正確分類(lèi)的正樣本數(shù)量與總的正樣本數(shù)量的比值，定義如下：

R=TPTP+FN×100%。（9）

F1值表示查準(zhǔn)率和查全率的調(diào)和平均數(shù)，定義如下：

F1=2×R×PR+P。（10）

本研究所有消融試驗(yàn)和對(duì)比試驗(yàn)采用準(zhǔn)確率作為評(píng)價(jià)指標(biāo)，而對(duì)于每類(lèi)植物病害的分類(lèi)效果采用查準(zhǔn)率、查全率及F1值這3項(xiàng)評(píng)價(jià)指標(biāo)。

2.4 試驗(yàn)結(jié)果與分析

本研究包含10類(lèi)植物病害（10-way），采用每類(lèi)僅有的5個(gè)有標(biāo)注樣本進(jìn)行試驗(yàn)（5-shot任務(wù)），測(cè)試所提出模型對(duì)小樣本植物病害圖像的分類(lèi)效果。所有試驗(yàn)采用迭代的方式加入無(wú)標(biāo)注樣本，每次迭代為每類(lèi)選擇5個(gè)無(wú)標(biāo)注樣本，每個(gè)測(cè)試任務(wù)無(wú)標(biāo)注樣本的數(shù)量分別為15、30、50時(shí)的分類(lèi)結(jié)果如表2所示，其中查全率、查準(zhǔn)率及F1值的測(cè)試結(jié)果均為500個(gè)episodes測(cè)試結(jié)果的平均值。

由表2對(duì)10-way-5-shot任務(wù)的分類(lèi)結(jié)果可知，隨著無(wú)標(biāo)注樣本的增加，用于評(píng)價(jià)本研究模型對(duì)10類(lèi)植物病害分類(lèi)效果的3項(xiàng)指標(biāo)均取得了不同程度的提高，每類(lèi)植物病害的無(wú)標(biāo)注樣本數(shù)量由15增加至50的過(guò)程中，查準(zhǔn)率、查全率及F1值的平均值分別提高了1.03%、1.09%、1.28%。證明本研究所采用的小樣本植物病害識(shí)別模型能夠獲得良好的識(shí)別效果，同時(shí)模型的性能隨著加入的無(wú)標(biāo)注樣本數(shù)量的增加而提高。

基于ICI算法的分析，本研究不設(shè)置具體的閾值來(lái)劃分可信和不可信的偽標(biāo)簽樣本，而是根據(jù)使γi變?yōu)?對(duì)應(yīng)的λ值對(duì)偽標(biāo)簽樣本進(jìn)行排序，ICI算法會(huì)迭代地選擇在低λ值下使γi變?yōu)?的樣本，這樣能夠以更高的概率得到分類(lèi)器判斷正確的偽標(biāo)注樣本，將更為可信的偽標(biāo)注樣本加入訓(xùn)練從而增強(qiáng)分類(lèi)器的分類(lèi)性能。為驗(yàn)證這一算法的有效性，本研究通過(guò)Sklearn庫(kù)可視化γi的正則化路徑如圖5所示。其中，紅線為ICI算法預(yù)測(cè)正確的樣本，黑線為預(yù)測(cè)錯(cuò)誤的樣本，可以看出大部分預(yù)測(cè)正確的植物病害樣本都集中在曲線下方且γi率先變?yōu)?，為保證以更高的概率將正確的偽標(biāo)注加入訓(xùn)練來(lái)拓展支持集，ICI算法會(huì)選擇黑線下方的偽標(biāo)注樣本。

2.5 消融試驗(yàn)

2.5.1 主干網(wǎng)絡(luò)對(duì)比

本研究對(duì)比了主干網(wǎng)絡(luò)ResNet-12、ConvNet、MobileNet、ResNet-18和DenseNet-121在unlabel=15、30條件下小樣本植物病害的分類(lèi)準(zhǔn)確率。準(zhǔn)確率和每一個(gè)episode的平均測(cè)試時(shí)間結(jié)果如表3所示。從表3可以看出，對(duì)于所有特征提取網(wǎng)絡(luò)，隨著為每類(lèi)隨機(jī)選取的無(wú)標(biāo)注樣本數(shù)量的增加，模型的分類(lèi)性能也得到提升。采用DenseNet-121特征提取網(wǎng)絡(luò)獲得了最好的識(shí)別效果，但其推斷時(shí)間也較長(zhǎng)。因此，本研究采用兼顧網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單且分類(lèi)準(zhǔn)確率較高的ResNet-12作為特征提取網(wǎng)絡(luò)。

2.5.2 episodes數(shù)確定

本研究隨機(jī)采樣多個(gè)不重復(fù)的episode，每個(gè)episode都能輸出1個(gè)分類(lèi)準(zhǔn)確率，取所有episode準(zhǔn)確率的平均值來(lái)評(píng)估模型的性能。在10-way-5-shot，無(wú)標(biāo)注樣本數(shù)分別為15、30、50時(shí)每一個(gè)episode下的平均準(zhǔn)確率如圖6所示。在500個(gè)episode左右時(shí)模型的平均準(zhǔn)確率均收斂于一個(gè)很小的區(qū)間之內(nèi)，此時(shí)平均準(zhǔn)確率的值能夠反映模型整體分類(lèi)性能，因此所有試驗(yàn)設(shè)置episode數(shù)為500。同時(shí)該圖還能直觀地反映出當(dāng)為每類(lèi)加入的無(wú)標(biāo)注樣本數(shù)量增加時(shí)，模型每一個(gè)episode對(duì)植物病害圖像的分類(lèi)準(zhǔn)確率也在增加。

2.5.3 降維影響

降維后的維數(shù)（dimension，d）在10-way-5-shot-15-unlabel情況下對(duì)植物病害測(cè)試準(zhǔn)確率的影響結(jié)果如表4所示。表4中顯示了降維到2、5、10、15、30、50、100、200及不降維（d=512）的分類(lèi)準(zhǔn)確率和每一個(gè)episode的平均測(cè)試時(shí)間。由表4中數(shù)據(jù)可以看出，168×168×3大小的病害樣本經(jīng)主干網(wǎng)絡(luò)提取特征并輸出512維的特征向量中所包含的特征參數(shù)是冗余的，當(dāng)d=100時(shí)本研究模型對(duì)植物病害樣本分類(lèi)的準(zhǔn)確率最高，為89.32%。但是隨著維數(shù)的增加，每一個(gè)episode測(cè)試時(shí)間也增加，當(dāng)d=100時(shí)每一個(gè)episode的平均測(cè)試時(shí)間為92.43 s，時(shí)間成本過(guò)高，因此為兼顧每一個(gè)episode平均測(cè)試時(shí)間短且分類(lèi)準(zhǔn)確率高的特征維數(shù)進(jìn)行試驗(yàn)，模型中采用d=5。當(dāng)d=5時(shí)準(zhǔn)確率為88.25%，每一個(gè)episode的測(cè)試時(shí)間最短，為20.69 s。D498D58D-9934-4195-8966-D0B98489D122

2.5.4 優(yōu)化器影響

本研究對(duì)比了深度學(xué)習(xí)中常用的3種優(yōu)化器訓(xùn)練特征提取網(wǎng)絡(luò)分析其對(duì)識(shí)別結(jié)果的影響，訓(xùn)練樣本為14類(lèi)植物病害共35 186張。圖7給出了Adam、Amsgrad、帶動(dòng)量因子的SGD的訓(xùn)練損失以及驗(yàn)證精度在訓(xùn)練過(guò)程中的對(duì)比，動(dòng)量因子設(shè)置為0.9。從圖7中可以看出，帶動(dòng)量的SGD優(yōu)化器無(wú)論是收斂速度還是驗(yàn)證集的準(zhǔn)確率都表現(xiàn)出了更為優(yōu)秀的性能。因此，本研究選擇了帶動(dòng)量因子的SGD優(yōu)化器訓(xùn)練遷移學(xué)習(xí)模型。

2.5.5 遷移學(xué)習(xí)對(duì)比

本研究方法迭代地選擇可信的偽標(biāo)注樣本來(lái)擴(kuò)充支持集，每次迭代為每類(lèi)選擇5個(gè)無(wú)標(biāo)注樣本。當(dāng)加入的無(wú)標(biāo)簽樣本數(shù)量分別為15、30、50時(shí)迭代次數(shù)與每次迭代的分類(lèi)準(zhǔn)確率如圖8所示。3條折線的起點(diǎn)準(zhǔn)確率均為86.68%，此時(shí)對(duì)應(yīng)遷移學(xué)習(xí)的準(zhǔn)確率。無(wú)標(biāo)注樣本數(shù)為15時(shí)，共經(jīng)歷3次迭代達(dá)到最高分類(lèi)準(zhǔn)確率88.25%;無(wú)標(biāo)注樣本數(shù)為30時(shí)經(jīng)歷6次迭代達(dá)到最高分類(lèi)準(zhǔn)確率88.58%;而無(wú)標(biāo)注樣本數(shù)為50時(shí)共經(jīng)歷10次迭代達(dá)到最高分類(lèi)準(zhǔn)確率89.34%。當(dāng)無(wú)標(biāo)注樣本數(shù)為50時(shí)，隨著迭代次數(shù)增加，本研究模型對(duì)植物病害圖像識(shí)別準(zhǔn)確率的提升會(huì)減慢，這符合邊際效應(yīng)遞減的規(guī)律。

本研究方法與單純采用遷移學(xué)習(xí)方式（transfer learning，TL）的小樣本植物病害圖像的分類(lèi)準(zhǔn)確率的對(duì)比結(jié)果如表5所示。當(dāng)每類(lèi)植物病害僅有5個(gè)有標(biāo)簽樣本參與訓(xùn)練時(shí)，單純的采用遷移學(xué)習(xí)方法只能達(dá)到86.68%的分類(lèi)準(zhǔn)確率，而本研究模型在每類(lèi)加入無(wú)標(biāo)注樣本數(shù)量為15、30和50時(shí)，分類(lèi)準(zhǔn)確率分別提高了1.57%、1.9%、2.66%。本研究提出的基于實(shí)例置信度推斷的半監(jiān)督學(xué)習(xí)的小樣本植物病害圖像識(shí)別方法優(yōu)于傳統(tǒng)的遷移學(xué)習(xí)方法。

2.5.6 數(shù)據(jù)增強(qiáng)方法對(duì)比

本研究方法采用ICI算法選擇可信的偽標(biāo)注病害樣本加入訓(xùn)練，起到數(shù)據(jù)增強(qiáng)的作用。在機(jī)器學(xué)習(xí)領(lǐng)域轉(zhuǎn)導(dǎo)推理（transductive inference，TI）[37-38]方法假設(shè)未標(biāo)注樣本就是測(cè)試樣本，也可達(dá)到數(shù)據(jù)增強(qiáng)的目的。轉(zhuǎn)導(dǎo)推理即預(yù)先觀察了所有樣本，包括支持集中的樣本（帶標(biāo)簽）以及查詢(xún)集中的樣本（不帶標(biāo)簽），從觀察到的樣本中進(jìn)行學(xué)習(xí)后對(duì)查詢(xún)集樣本進(jìn)行預(yù)測(cè)。盡管訓(xùn)練時(shí)不知道測(cè)試樣本的真實(shí)類(lèi)別，但可以從特征分布中學(xué)習(xí)到知識(shí)，取得最佳泛化能力，為模型帶來(lái)增益。本研究對(duì)比半監(jiān)督學(xué)習(xí)方法與轉(zhuǎn)導(dǎo)學(xué)習(xí)的小樣本植物病害分類(lèi)準(zhǔn)確率，對(duì)比試驗(yàn)滿足數(shù)據(jù)增強(qiáng)的樣本數(shù)一致，即半監(jiān)督設(shè)置unlabel=15，同時(shí)測(cè)試樣本為每類(lèi)15個(gè)，將每類(lèi)的15個(gè)測(cè)試樣本用于轉(zhuǎn)導(dǎo)學(xué)習(xí)獲取知識(shí)，試驗(yàn)結(jié)果如表6所示。

從表6可以看出，轉(zhuǎn)導(dǎo)學(xué)習(xí)與本研究所采用的半監(jiān)督學(xué)習(xí)方法在小樣本的植物病害圖像識(shí)別方面都表現(xiàn)出了較為優(yōu)秀的識(shí)別準(zhǔn)確率。由于轉(zhuǎn)導(dǎo)推理直接將測(cè)試樣本作為無(wú)標(biāo)注樣本幫助訓(xùn)練，效果比相同數(shù)量無(wú)標(biāo)注樣本下的半監(jiān)督學(xué)習(xí)模型準(zhǔn)確率高是符合預(yù)期的，但所提出的基于實(shí)例置信度推斷的半監(jiān)督學(xué)習(xí)模型用于小樣本植物病害識(shí)別性能僅僅略低于轉(zhuǎn)導(dǎo)學(xué)習(xí)，這表明模型從無(wú)標(biāo)注病害樣本中獲取到的信息是魯棒的。

2.5.7 分類(lèi)器對(duì)比

本研究基于10-way-5-shot-15-unlabel條件下對(duì)比了SVM、KNN、隨機(jī)森林、邏輯回歸4種常用的分類(lèi)器對(duì)小樣本植物病害圖像的分類(lèi)準(zhǔn)確率，結(jié)果如表7所示。由表7可得，SVM分類(lèi)器對(duì)小樣本植物病害圖像得識(shí)別準(zhǔn)確率最高，因此本研究選擇SVM分類(lèi)器進(jìn)行試驗(yàn)。

3 結(jié)論

本研究針對(duì)病害標(biāo)注樣本數(shù)量極少的情況下分類(lèi)準(zhǔn)確率過(guò)低及現(xiàn)有研究存在的問(wèn)題，提出一種基于實(shí)例置信度推斷的半監(jiān)督學(xué)習(xí)小樣本植物病害圖像識(shí)別方法，該方法能夠充分利用未標(biāo)注樣本為模型帶來(lái)增益，采用Plant Village數(shù)據(jù)集構(gòu)建10類(lèi)小樣本植物病害目標(biāo)域進(jìn)行了試驗(yàn)，主要結(jié)論如下：

（1）本研究方法能夠?qū)崿F(xiàn)小樣本植物病害較為精確的識(shí)別，在無(wú)標(biāo)注植物病害樣本數(shù)分別為15、30和50情況下每類(lèi)植物病害的各項(xiàng)評(píng)價(jià)指標(biāo)都隨無(wú)標(biāo)注樣本數(shù)量的增加而增加。

（2）本研究對(duì)半監(jiān)督學(xué)習(xí)模型進(jìn)行了優(yōu)化，通過(guò)對(duì)比試驗(yàn)證明該模型優(yōu)于傳統(tǒng)的遷移學(xué)習(xí)方法。且基于實(shí)例置信度推斷的半監(jiān)督學(xué)習(xí)模型能夠反映無(wú)標(biāo)注植物病害樣本的真實(shí)分布，從無(wú)標(biāo)注病害樣本中獲取到的信息是魯棒的，因此本研究方法能夠滿足在現(xiàn)實(shí)條件下的小樣本植物病害識(shí)別需要。

（3）本研究所提出的小樣本植物病害方法對(duì)于任何特征提取網(wǎng)絡(luò)均能體現(xiàn)出模型的有效性。

本研究方法為實(shí)現(xiàn)小樣本數(shù)據(jù)下植物病害圖像實(shí)時(shí)、準(zhǔn)確識(shí)別提供了技術(shù)手段。后續(xù)研究可進(jìn)一步擴(kuò)充遷移學(xué)習(xí)的訓(xùn)練樣本數(shù)量及類(lèi)別，提高特征提取能力;同時(shí)將細(xì)粒度網(wǎng)絡(luò)與半監(jiān)督學(xué)習(xí)模型相結(jié)合，提高植物病害細(xì)粒度圖像的識(shí)別效果。

參考文獻(xiàn)：

[1]Kaur S，Pandey S，Goel S. Plants disease identification and classification through leaf images：a survey[J]. Archives of Computational Methods in Engineering，2019，26（2）：507-530.

[2]翟肇裕，曹益飛，徐煥良，等. 農(nóng)作物病蟲(chóng)害識(shí)別關(guān)鍵技術(shù)研究綜述[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，202 52（7）：1-18.

[3]Strange R N，Scott P R. Plant disease：a threat to global food security[J]. Annual Review of Phytopathology，2005，43：83-116.

[4]Iqbal Z，Khan M A，Sharif M，et al. An automated detection and classification of citrus plant diseases using image processing techniques：a review[J]. Computers and Electronics in Agriculture，2018，153：12-32.D498D58D-9934-4195-8966-D0B98489D122

[5]Mahlein A K. Plant disease detection by imaging sensors-parallels and specific demands for precision agriculture and plant phenotyping[J]. Plant Disease，2016，100（2）：241-251.

[6]Liu J，Wang X W. Plant diseases and pests detection based on deep learning：a review[J]. Plant Methods，202 17（1）：22.

[7]孫 紅，李 松，李民贊，等. 農(nóng)業(yè)信息成像感知與深度學(xué)習(xí)應(yīng)用研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（5）：1-17.

[8]Abade A，F(xiàn)erreira P A，de Barros V F. Plant diseases recognition on images using convolutional neural networks：a systematic review[J]. Computers and Electronics in Agriculture，202 185：106125.

[9]Lu J Z，Tan L J，Jiang H Y. Review on convolutional neural network （CNN） applied to plant leaf disease classification[J]. Agriculture，202 11（8）：707.

[10]Sladojevic S，Arsenovic M，Anderla A，et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience，2016，2016：3289801.

[11]黃建平，陳鏡旭，李克新，等. 基于神經(jīng)結(jié)構(gòu)搜索的多種植物葉片病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36（16）：166-173.

[12]Argüeso D，Picon A，Irusta U，et al. Few-shot learning approach for plant disease classification using images taken in the field[J]. Computers and Electronics in Agriculture，2020，175：105542.

[13]Li Y，Chao X W. Semi-supervised few-shot learning approach for plant diseases recognition[J]. Plant Methods，202 17（1）：68.

[14]Vinyals O，Blundell C，Lillicrap T P，et al. Matching networks for one shot learning[C]//NeurIPS16：Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona，Spain：ACM，2016：3630-3638.

[15]Snell J，Swersky K，Zemel R S. Prototypical networks for few-shot learning[C]//NeurIPS17：Proceedings of the 31st International Conference on Neural Information Processing Systems（NeurIPS）. Long Beach：ACM，2017：4077-4087.

[16]劉 穎，雷研博，范九倫，等. 基于小樣本學(xué)習(xí)的圖像分類(lèi)技術(shù)綜述[J]. 自動(dòng)化學(xué)報(bào)，202 47（2）：297-315.

[17]趙凱琳，靳小龍，王元卓. 小樣本學(xué)習(xí)研究綜述[J]. 軟件學(xué)報(bào)，202 32（2）：349-369.

[18]Zhu X J，Goldberg A B. Introduction to semi-supervised learning[J]. Synthesis Lectures on Artificial Intelligence and Machine Learning，2009，3（1）：1-130.

[19]Goodfellow I，Pouget-Abadie J，Mirza M，et al. Generative adversarial networks[J]. Communications of the ACM，2020，63（11）：139-144.

[20]Pan S J，Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering，2010，22（10）：1345-1359.

[21]Hariharan B，Girshick R. Low-shot visual recognition by shrinking and hallucinating features[C]//2017 IEEE International Conference on Computer Vision（ICCV）.Venice：IEEE，2017：3037-3046.D498D58D-9934-4195-8966-D0B98489D122

[22]Qi H，Brown M，Lowe D G. Low-shot learning with imprinted weights[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：5822-5830.

[23]Finn C，Abbeel P，Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[C]//ICML17：Proceedings of the 34th International Conference on Machine Learning-Volume 70.2017：1126-1135.

[24]Li Z G，Zhou F W，Chen F，et al. Meta-SGD：learning to learn quickly for few-shot learning[EB/OL]. [2021-04-07]. https：//arxiv.org/abs/1707.09835.

[25]Nichol A，Achiam J，Schulman J. On first-order meta-learning algorithms[EB/OL]. [2021-04-07]. https：//arxiv.org/abs/1803.02999.

[26]Wang B，Wang D. Plant leaves classification：a few-shot learning method based on Siamese network[J]. IEEE Access，2019，7：151754-151763.

[27]Yu H J，Son C H. Leaf spot attention network for apple leaf disease identification[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Seattle：IEEE，2020：229-237.

[28]Hu G S，Wu H Y，Zhang Y，et al. A low shot learning method for tea leafs disease identification[J]. Computers and Electronics in Agriculture，2019，163：104852.

[29]謝 軍，江朝暉，李 博，等. 基于二次遷移模型的小樣本茶樹(shù)病害識(shí)別[J]. 江蘇農(nóng)業(yè)科學(xué)，202 49（6）：176-182.

[30]周志華. 機(jī)器學(xué)習(xí) [M]. 北京：清華大學(xué)出版社，2016.

[31]Wang Y K，Xu C M，Liu C，et al. Instance credibility inference for few-shot learning[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle：IEEE，2020：12833-12842.

[32]Fan J Q，Tang R L，Shi X F.Partial consistency with sparse incidental parameters[J]. Statistica Sinica，2018，28：2633-2655.

[33]Simon N，F(xiàn)riedman J，Hastie T. A blockwise descent algorithm for group-penalized multiresponse and multinomial regression[EB/OL]. [2021-04-07]. https：//arxiv.org/abs/1311.6529.

[34]Oreshkin B N，Rodriguez P，Lacoste A. Tadam：Task dependent adaptive metric for improved few-shot learning[C]//NeurIPS 18：Proceedings of the 32st International Conference on Neural Information Processing Systems. Montréal：ACM，2018：719-729.

[35]Mishra N，Rohaninejad M，Chen X，et al. A simple neural attentive meta-learner[C]//ICLR 018. Vancouver，2018.

[36]He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：770-778.

[37]Joachims T. Transductive inference for text classification using support vector machines[C]//ICML 1999：Proceedings of the 16th International Conference on Machine Learning. Bled，1999：200-209.

[38]Vapnik V. Transductive inference and semi-supervised learning [J]. Semi-Supervised Learning. Cambridge：MIT Press，2006：453-472.D498D58D-9934-4195-8966-D0B98489D122