針對蘋果樹葉病害圖像分類的小樣本學(xué)習(xí)方法

李 蛟, 王紫薇, 范麗麗, 趙宏偉

(1. 吉林大學(xué) 圖書館, 長春 130012； 2. 吉林省商務(wù)信息中心, 長春 130061；3. 吉林大學(xué) 計算機科學(xué)與技術(shù)學(xué)院, 長春 130012)

病原體和昆蟲是威脅蘋果園安全的主要因素. 目前, 蘋果園的病蟲害檢測主要依賴于農(nóng)作物顧問的人工檢查[1-2], 而使用人力進行觀察既慢又提高了生產(chǎn)成本， 且在大田間區(qū)域連續(xù)監(jiān)視所有植物效率較低. 因此, 自動檢測植物病害目前已被廣泛關(guān)注.

計算機成像技術(shù)和機器學(xué)習(xí)的發(fā)展在加快植物病害診斷方面顯示了極大的潛力[3]. 數(shù)碼相機可捕捉具有疾病癥狀的高質(zhì)量圖像, 計算機視覺方法可利用有癥狀的數(shù)字圖像對疾病進行分類[4-5]. 隨著深度學(xué)習(xí)在計算機視覺領(lǐng)域內(nèi)的發(fā)展, 基于圖像的植物病害檢測已引起廣泛關(guān)注. 深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)[6]在圖像分類和檢測問題上性能較好. 利用該網(wǎng)絡(luò)對圖像特征進行提取, 已實現(xiàn)了均勻設(shè)置下拍攝的農(nóng)作物病葉圖像的分類[7-8]. 目前， 使用計算機視覺在更復(fù)雜的攝影條件下進行農(nóng)作物病害的識別研究已有很多成果[9-10]. Amara 等[11]利用LeNet 卷積神經(jīng)網(wǎng)絡(luò)作為基本架構(gòu)從健康的葉片中檢測和區(qū)分了香蕉斑點病； Dubey等[12]使用K-means聚類算法檢測蘋果樹葉受感染的部分, 并利用支持向量機根據(jù)顏色、 紋理和形狀對健康和受感染的蘋果樹葉進行分類, 此外, 還設(shè)計了多種支持向量機提取特征, 在植物病害分類中具有巨大潛力. 卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)相結(jié)合可獲得良好的性能, 該學(xué)習(xí)使用如AlexNet[3]，VGG[13]，ResNet[4]等預(yù)先訓(xùn)練的模型, 然后更新參數(shù). 目前， 基于遷移學(xué)習(xí)的蘋果樹葉病害檢測已有很多方法[14-16]， 但遷移學(xué)習(xí)方法之間的差異很小, 并且這些方法的設(shè)計, 尤其是利用深度卷積神經(jīng)網(wǎng)絡(luò)方法, 在很大程度上依賴于豐富的標(biāo)簽數(shù)據(jù), 但對于蘋果樹葉病害識別, 病害種類多且形態(tài)各異, 數(shù)據(jù)集的獲取和標(biāo)記需大量的人力和生產(chǎn)成本.

本文以常見特征相似的蘋果樹葉銹病、 黑星病以及混合病害為研究對象, 考察卷積神經(jīng)網(wǎng)絡(luò)在小樣本下的分類問題. 首先， 使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入圖像在特征空間的非線性映射, 獲得每個圖像的特征向量； 其次， 根據(jù)特征向量求出中心點、 所有點距離中心點的平均距離及幾個簇的半徑； 再次， 根據(jù)點到簇中心的距離與半徑的關(guān)系, 找出離群候選集, 計算離群候選集中因子的局部可達密度, 并根據(jù)密度值確認(rèn)離群因子進行剔除； 最后， 將剩余的特征點作為支持集, 并求取嵌入空間中支持集的平均值, 根據(jù)查找最近的類原型, 即可對嵌入式查詢點進行分類.

1 算法實現(xiàn)

1.1 符號表示

在小樣本分類中, 將n個類別的樣本定義為s={(x1,y1),(x2,y2),…,(xn,yn)}, 其中每個x1∈D表示每個樣本的D維特征向量, 而yi∈{1,2，…,K}表示相應(yīng)的標(biāo)簽,Sk表示類別為k的一組樣本.

1.2 模 型

網(wǎng)絡(luò)利用嵌入函數(shù)f?:D→M計算每個類別的M維表示ck∈M, 其中?為嵌入函數(shù)中的可學(xué)習(xí)參數(shù).根據(jù)類中所有樣本的特征表示, 計算得到每一類中心點的均值向量：

(1)

其中|Sk|表示類別為k的一組樣本的樣本數(shù)目,f?(xi)表示樣本xi的特征表示.以ck為類中心點, 分別求出每個類別中其他點與中心點距離的平均值為

(2)

其中d(·,·)表示兩個樣本特征向量之間的歐氏距離.在每一類別中, 計算每個樣本與中間點之間的距離d(ck,xi), 并將d(ck,xi)與Ri進行比較.如果d(ck,xi)>Ri, 則將該樣本放入離群點候選集.

為方便表示, 將樣本和每一類的中心都視為點.將中心點定義為O, 其他樣本點定義為x.dw(O)為點O的第w距離,dw(O)=d(O,x), 其表示點x是距離O最近的第w個點.圖1為第w距離示意圖.由圖1可見， 點x6為距離中心O最近的第6個點,w=6.定義Nw(O)為點O的第w距離鄰域,Nw(O)={x′∈D{O}|d(O,x′)≤dw(O)}, 即Nw(O)包含所有到點O第w鄰域距離的點, 易得Nw(O)≥w, 圖1中點O的第6距離鄰域為N6(O)={x1,x2,x3,x4,x5,x6,x7}.

圖1 第w距離示意圖Fig.1 Schematic diagram of w-th distance

根據(jù)以上定義, 計算點O的第w鄰域內(nèi)所有點到O的平均可達距離, 即局部可達密度為

(3)

其中dw(O,x)為點x到點O的第w可達距離, 其至少是點O的第w距離.如果點O與鄰域點屬于同一類別, 則可達距離為較小的dw(O), 局部可達密度大； 反之, 局部可達密度小.根據(jù)局部可達密度, 可計算局部離群因子, 其計算公式為

(4)

局部離群因子表示點O的鄰域Nw(O)內(nèi)其他點的局部可達密度與點O的局部可達密度之比的平均數(shù).如果該值接近1, 說明O的鄰域點密度相似,O可能與鄰域?qū)儆谕活悇e, 如果該值小于1, 說明O的密度高于其鄰域點密度,O為密集點； 如果該值大于1, 說明O的密度小于其鄰域點密度,O可能是異常點.找到異常點后, 將異常點剔除.

在每一類別中, 對剔除異常點的其他特征向量根據(jù)式(1)再次求取中心點的均值向量.對于每個需要分類的樣本點x, 計算其屬于類別k的概率為

(5)

這里取距離的相反數(shù)是因為相距最小的最優(yōu)可能是該樣本對應(yīng)的類.此分布是基于查詢集中樣本的嵌入與該類重構(gòu)特征之間距離上的Softmax.小樣本學(xué)習(xí)階段的損失函數(shù)為

(6)

2 實驗與分析

2.1 實驗數(shù)據(jù)

數(shù)據(jù)集MiniImageNet是評估小樣本學(xué)習(xí)方法性能的基準(zhǔn). 該數(shù)據(jù)集是從ImageNet中隨機選擇的子集， 僅包含100個類別的60 000張圖像, 每個類別有600張圖像. 本文參照文獻[17]中的數(shù)據(jù)分割策略, 使用其進行網(wǎng)絡(luò)預(yù)訓(xùn)練.

蘋果樹葉病數(shù)據(jù)集[18]是在美國紐約州未噴灑農(nóng)藥的商業(yè)種植園中, 利用佳能Rebel T5i DSLR相機和智能手機在各種光照、 角度、 表面和噪聲條件下拍攝的, 數(shù)據(jù)集的復(fù)雜度較高. 其包含3 651張高質(zhì)量的帶標(biāo)簽RGB圖像, 分別為雪松蘋果樹葉銹病、 蘋果樹葉黑星病、 復(fù)雜疾病(同一片樹葉中有一種以上疾病)和健康的蘋果樹葉. 其中雪松蘋果樹葉銹病圖片1 200張、 黑星病圖片1 399張、 復(fù)雜疾病圖片187張、 健康樹葉圖片865張, 樣本的不平衡增加了數(shù)據(jù)集的復(fù)雜性. 數(shù)據(jù)集的類別圖片如圖2所示. 為進行分類評估, 本文將80%的數(shù)據(jù)集進行訓(xùn)練, 剩余的20%用于測試.

圖2 數(shù)據(jù)集中4種類型的樣本圖像示例Fig.2 Examples of four types of sample images in data set

2.2 實驗平臺和參數(shù)設(shè)置

本文實驗環(huán)境為Xeon(R)CPU E5-2620 V3, NVIDIA(R)Titan X顯卡, GPU的內(nèi)存為12 GB, 驅(qū)動程序為418.67, CUDA為10.1版本, 操作系統(tǒng)為Ubuntu 18.04 LTS, Pytorch版本為v1.0.0. 主體網(wǎng)絡(luò)為AMDIM(ndf=192, ndepth=8, nrkhs=1 536), 維度設(shè)為1 536, 學(xué)習(xí)率為0.000 2.

2.3 實驗結(jié)果

2.3.1 剔除離群點

為驗證剔除離群點對分類效果的影響, 在訓(xùn)練時進行對比實驗, 分別在存在離群點和剔除離群點時對網(wǎng)絡(luò)進行訓(xùn)練, 實驗結(jié)果列于表1. 由表1中損失值和準(zhǔn)確率的變化易見, 剔除離群點后網(wǎng)絡(luò)更容易收斂, 并且分類準(zhǔn)確率更高.

表1 剔除離群點與未剔除離群點的性能比較

2.3.2 分類性能

利用支持向量機(SVM)[19]，AlexNet，GoogLeNet[20]，VGGNet-16和ResNet學(xué)習(xí)模型, 對蘋果樹葉病害數(shù)據(jù)集進行訓(xùn)練, 學(xué)習(xí)率設(shè)為0.001, 選擇SGD作為優(yōu)化算法， 實驗結(jié)果列于表2.

表2 不同方法的性能比較

由表2可見： 本文方法能充分利用信息量大的樣本, 在測試集上的準(zhǔn)確率達97.62%, 高于其他模型； AlexNet模型具有良好的分類能力, 平均準(zhǔn)確率為92.30%； GoogLeNet具有多個Inceptions, 并具有多維特征提取的能力, 但其網(wǎng)絡(luò)不受蘋果樹葉病理圖像特征的調(diào)節(jié), 最終分類準(zhǔn)確率達94.17%； ResNet-20作為殘差神經(jīng)網(wǎng)絡(luò), 其準(zhǔn)確率為94.42%； VGGNet-16通過遷移學(xué)習(xí)實現(xiàn)了96.50%的準(zhǔn)確率； 帶有SGD優(yōu)化器的SVM模型的準(zhǔn)確率為55.23%. 實驗結(jié)果表明, 傳統(tǒng)方法在很大程度上依賴專家設(shè)計的分類特征提高識別精度, 而專家經(jīng)驗水平對分類特征的選擇有較大影響. 與傳統(tǒng)方法相比, 本文小樣本學(xué)習(xí)網(wǎng)絡(luò)可從多個維度自動提取最佳分類特征, 而且還可以學(xué)習(xí)從邊緣、 角和顏色等低層特征到高層語義的分層特征.

綜上所述, 本文針對傳統(tǒng)分類方法中存在蘋果樹葉病害樣本數(shù)量少和缺乏標(biāo)簽的問題, 利用小樣本學(xué)習(xí)方法和卷積神經(jīng)網(wǎng)絡(luò)對蘋果樹葉病害圖像進行了分類實驗. 首先， 使用LOF將離群因子選出并剔除, 對剩余的樣本求得特征均值, 根據(jù)查詢樣本與均值的關(guān)系確立樣本類別. 其次， 將本文模型與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型進行性能對比, 結(jié)果表明： 本文模型不需要大量有標(biāo)簽的樣本, 避免了樣本不平衡和背景不均勻?qū)Ψ诸惤Y(jié)果的影響, 魯棒性強； 對光照、 焦點等變化的適應(yīng)性較好； 訓(xùn)練模型容易遷移, 可用于其他小樣本的識別.