基于稀疏表示字典學習的植物分類方法

張善文，孔韋韋，王 震

(西京學院 信息工程學院， 陜西 西安 710123)

基于稀疏表示字典學習的植物分類方法

張善文，孔韋韋，王 震

(西京學院 信息工程學院， 陜西 西安 710123)

基于葉片圖像的植物分類方法研究是植物分類學的一個重要研究方向。由于葉片圖像的復雜性和對季節(jié)、光照等條件比較敏感，使得現(xiàn)有的植物分類方法的分類效果不佳。該文提出了一種基于稀疏表示字典學習的植物物種識別方法，該方法將植物分類問題轉化為求解待分類葉片圖像對于訓練樣本植物葉片圖像的稀疏表示問題；再利用面向植物葉片圖像類別的字典學習，尋求一個較小的、并經過優(yōu)化的超完備字典來計算待識別葉片圖像的稀疏表示。與已有植物分類方法比較，該方法的創(chuàng)新點為直接對原始葉片圖像進行處理，不需要從每幅葉片圖像中提取顏色、紋理和形狀等分類特征，從而極大降低了植物分類方法的復雜度，提高了分類方法的實時性和魯棒性。在公開的植物葉片圖像數(shù)據庫中對50類植物葉片圖像進行了分類實驗，識別率高達92%以上。

植物分類；葉片圖像；稀疏表示；字典學習

無論對于農業(yè)信息化還是對于生態(tài)保護，研究植物分類都是非常必要的。相對于植物的根、莖、花、果和皮而言，植物葉片的形狀結構一般較為穩(wěn)定，且基本上處于平面狀態(tài)，適合進行二維圖像處理，而且葉片的數(shù)字圖像在一年的大部分時間內都方便采集，因此，植物葉片是植物自動分類的重要依據[1-3]。近10年來，隨著計算機視覺與模式識別技術的發(fā)展，人們對植物自動分類展開了大量研究，提出了很多基于葉片的形狀、紋理和顏色等特征的植物識別方法。這些方法的原理和流程基本相似：首先，提取和選擇葉片圖像的分類特征，然后利用這些特征訓練分類器，最后利用該分類器對待識別樣本進行分類。其關鍵步驟是選擇具有重要分類意義的分類特征[4-5]。但許多實際葉片特征并不能在葉片圖像上反映出來；也有一些特征(如葉尖的形狀等)雖能反映植物類別，卻難以用數(shù)學模型描述；還有一些特征，如葉片的面積和葉片的長、短軸等隨著拍攝設備與葉片距離和角度的不同而變化，利用這些特征時需要在葉片邊上放置參照物。子空間學習方法已經被應用于植物分類中，但該類方法不容易構建鄰近圖[6-8]。研究表明，由于葉片圖像的復雜性，使得許多植物識別方法存在一些不足。例如，基于葉片輪廓特征的分類算法識別率不高，紋理和顏色特征對光照等變化較為敏感，得到的分類結果不穩(wěn)定[9-10]。近年來，稀疏表示(SR)在圖像處理、模式識別與機器學習等領域得到了廣泛研究[11-14]。肖玲等[15]提出了一種基于自學習稀疏表示的動態(tài)手勢識別方法，取得了較好的識別效果。Wright等[16]提出了基于SR分類(sparse representation classification，SRC)的人臉識別方法。由于SRC將所有的訓練圖像構建成一個冗余字典，導致冗余字典的尺寸很大，使得SRC的稀疏求解比較耗時[17]。字典學習是近年來SR領域中的熱點問題，其原理是從字典中找到具有最佳線性組合的原子來表示數(shù)據樣本。SR算法利用訓練樣本學習過完備字典，獲得數(shù)據的冗余SR。如何設計簡單、高效、通用性強的字典學習算法是目前的主要研究方向之一[18]。

基于SR的字典學習方法已經廣泛應用于圖像的分類、去噪、超分辨率成像等領域。由于植物葉片圖像在季節(jié)、位置和光照等條件下的表現(xiàn)特征類似于人臉在表情、位置和光照等條件下的表現(xiàn)特征，如果把葉片看成是植物的“臉”，SR方法也可以應用到基于葉片圖像的植物分類中[19]。本文在SR字典學習的基礎上，提出一種植物分類方法，該方法由每個類訓練集樣本構建子字典，從多個子字典中優(yōu)化學習，可有效解決植物分類中的實時性和魯棒性問題。

1 基于稀疏表示字典學習的植物分類方法

從幾何角度看，植物葉片蘊含著豐富的植物物種信息，不同種類植物葉片的形狀各有特點。常見的葉片形狀有矩圓形、橢圓形、寬橢圓形、線形、披針形、針形、鐮刀形、心形、卵形，如圖1所示[19]。植物分類可以由不同葉片形狀的子空間刻畫，每個子空間代表一個類別。對于植物分類問題，相同或不同樹上的植物葉片近似分布在不同的子空間中。假設多種不同的葉片圖像空間分布滿足混合子空間模型，對于植物分類問題，只要選擇適當?shù)娜~片形狀滿足混合子空間模型，每個子空間代表一種植物葉片類別，則植物葉片分類問題就轉化為SR分類模型。

基于稀疏表示的植物分類問題可描述為：設有C類若干幅二維葉片圖像，將所有圖像拉長為維數(shù)為m的一維列向量，再劃分為訓練集和測試集；訓練集構建過完備字典m×n維矩陣G∈Rm×n，n為訓練圖像數(shù)目，y∈Rm是任意一幅待識別測試圖像。為了判別測試集中的圖像所屬的類別，將訓練集中所有C類葉片圖像向量作為基向量，組成冗余字典矩陣G：

圖1 植物葉片的形狀Fig.1 Shapes of the plant leaves

G=[G1，G2，…，GC]∈Rm×n。

(1)

式中：Gi=[gi，1，gi，2，…，gi，ni]T∈Rm×ni表示第i類訓練樣本矩陣；ni為訓練集中第i類植物葉片圖像數(shù)目；i=1，2，…，C;n=n1+n2+…+nC。

則任意一個第i類測試樣本y可利用字典G表示為

y=Gα。

(2)

式中，α=[α1，1，…，αi，1，αi，2，…，αi，ni，αi+1，1，…，αC，nC]T∈Rn是輸入圖像在過完備字典上的n維稀疏表示，即稀疏系數(shù)。在理想情況下，α分量中大部分系數(shù)為0或接近0，α的系數(shù)中只有與第i類對應的項不為0，所以α是稀疏向量。考慮到實際問題中可能會出現(xiàn)誤差，所以一般用下式(3)修正：

y=Gα+ε。

(3)

式中，ε∈Rm為觀測噪聲，由光照變化、位置變化、遮擋等非理想情況下輸入葉片圖像與訓練葉片圖像之間的誤差引起。

求解式(3)待測試圖像在過完備字典上的稀疏表示是一個稀疏編碼問題：

(4)

若ai=[αi，1，αi，2，…，αi，ni]T是與第i類相關的系數(shù)子向量，對應于第i類ni個樣本，則將輸入圖像y歸為L(y)類：

(5)

式中，e表示沒有光照、位置變化、遮擋等理想情況下，測試圖像與訓練圖像之間的誤差。

由于直接利用訓練集樣本構造字典的方法容易引入樣本噪聲，而且可能造成字典集過大，使得學習效率較低，所以一些學者采用字典學習方法對每個類別學習優(yōu)化的字典，從而有效地表示字典，提高數(shù)據分類效率，其優(yōu)點是每個類別的訓練過程可并行進行。特別地，當識別類中增加一個新的類別時，不需要對前期的訓練樣本重新進行訓練。K-SVD是一種字典訓練方法[19]，通過迭代不斷修正樣本的稀疏編碼，能夠實現(xiàn)字典的動態(tài)更新，得到更好的表示樣本的字典。針對C類植物葉片圖像，通過K-SVD算法構建C類圖像對應的C個字典D1，D2，…，DC，則字典學習可以用下面優(yōu)化問題表述：

(6)

利用迭代方法求解式(6)，即在得到的字典D上求稀疏矩陣X，然后由X找到更好的字典D，字典的更新是逐列進行，直到最后收斂。超完備字典D的迭代求解過程描述如下。

第1步：設置初始字典矩陣D(0)，且其列向量已歸一化，設迭代次數(shù)p=1；

第4步：若滿足收斂條件則停止，否則p=p+1，轉到步驟2。

輸出：超完備字典D=[D1，D2，…，DC]。

得到超完備字典后，在子字典Di表示y，并計算殘差ei為

y =DiXi

ei=y-DiXi。

(7)

根據式(7)將稀疏化后的每個測試圖像經過所屬類別的過完備字典進行變換，根據ei的最小值判斷測試圖像的類別。

2 方法驗證

2.1 數(shù)據準備和預處理

為了驗證本文提出的植物葉片分類方法的有效性，在中國科學院合肥智能機械研究所智能計算實驗室的植物葉片圖像數(shù)據集1.0 (http://www.intelengine.cn/dataset/index.html)上進行實驗。從該數(shù)據庫中選擇50類植物(圖2)，每種植物選擇不同季節(jié)、光照和姿態(tài)等拍攝條件下的30幅圖像。利用MATLAB7.0進行編程，利用MATLAB7.0的稀疏表示工具包[20]和K-SVD字典學習的工具包[21]求解最優(yōu)化問題。

由圖3可以看出，不同季節(jié)、不同光照、不同姿態(tài)下各個圖像的顏色、紋理、形狀和大小之間存在很大差異，所以進行植物葉片分類之前需要對葉片圖像進行預處理，包括剪切、對齊、平滑濾波、消除葉柄和灰度化等[1，19，22]。獲取的葉片圖像是RGB彩色圖像，葉片在不同季節(jié)顏色會有不同，而且同一張葉片圖像因光照角度不同顏色也會存在很大的差別，所以先對采集的葉片圖像進行5階平滑濾波來濾除干擾噪聲，再將彩色圖像轉換為灰度圖像，消除顏色對分類的干擾：

Y=0.2989R+0.5870G+0.1141B。

(8)

式中，R、G和B分別表示紅、綠、藍3個分量，Y表示灰度值。

再把每幅灰度圖像(即矩陣)變成向量，作為植物識別算法的輸入數(shù)據。由于冗余字典集中要求所有列向量具有相同的長度m，但數(shù)據庫中不同葉片圖像的維數(shù)可能不同，變成向量后的長度可能不同。本文采用線性插值方法，先把每幅灰度化的葉片圖像(即矩陣)拉長為向量，且對于葉片圖像向量化后長度小于lmax(lmax為所有圖像向量化后長度的最大維數(shù))的樣本分別進行長度歸一化插值計算，使得所有灰度圖像向量化后的長度相同。最后，將預處理后的向量化圖像劃分為訓練集和測試集。

2.2 實驗過程

通過以上分析，基于SR字典學習的植物分類方法描述如下。

(1)隨機選取每類圖像的20幅組成訓練集，剩下10幅作為測試集，這時n=1 000；

(2)初始化參數(shù)：設置每種類字典包含樣本數(shù)K=20，任意一幅待識別圖像記為y，實驗得到參數(shù)初始值稀疏限定因子δ =0.1，誤差容忍參數(shù)ε =0.01；

(3)對每類20幅圖像的訓練樣本，利用K-SVD算法得到每類葉片圖像的超完備字典；

圖2 五十種植物葉片F(xiàn)ig.2 Fifty kinds of plant leaf

圖3 不同季節(jié)、不同光照、不同姿態(tài)下的30幅紫薇葉片F(xiàn)ig.3 Thirty myrtle leaves in different seasons， lights and attitudes

(7)對每一個測試樣本，重復步驟(5)和(6)，得到所有測試樣本的識別率。最后，計算每類10幅圖像的所有測試集的識別率的平均值，即為本次實驗的識別率。

為了可視化地說明本文植物識別方法的效果，給出了一幅紫薇葉片圖像在訓練集上的投影系數(shù)和殘差。將1 000幅葉片圖像按照類別進行排序編號，然后計算測試集中的紫薇葉片圖像的稀疏表示。圖4分別為紫薇葉片圖像的投影系數(shù)和殘差。其中，圖4-A為一幅紫薇葉片圖像的投影系數(shù)，其中，橫軸為50類共1 000幅葉片圖像的編號，縱軸為y在訓練樣本上的投影系數(shù)x。可以看出，y在其所屬紫薇類別的訓練樣本上的投影系數(shù)較大，而在其他類別上僅有少數(shù)投影系數(shù)不為0，而且系數(shù)值都較小，由此表明，得到的x是稀疏的。利用x在每個類別上的投影系數(shù)近似表示y，得到重建殘差，如圖4-B所示。該訓練樣本的投影殘差最小，由此可判定其所屬的類別，得到分類結果。

實驗過程中需要確定每種類字典的大小K和稀疏限定因子δ、誤差容忍參數(shù)ε。實際上，K取值越小，所構建的冗余字典也越小，越有利于實時識別，分類時間極大降低，但分類率有所下降。為了實驗簡單化，我們取K=20。δ和ε取不同值，可以得到不同的分類結果，記錄每次劃分后對于不同參數(shù)實驗的分類率的最大值。

圖4 基于SR的紫薇葉片圖像的稀疏系數(shù)(A)和殘差(B)Fig.4 The sparse coefficients (A) and residual (B) of a myrtle leaf image by SR

為了說明本文方法的有效性，給出了其他3種不同的植物分類方法的分類結果：基于集成神經網絡方法(integrated neural network，INN)[19]、基于加權局部線性嵌入方法(weighted locally linear embedding，WLLE)[20]和基于稀疏表示的方法(SR)[13]。INN、WLLE、SR和本文方法的分類率分別為80.38%、87.65%、90.66%、92.41%，識別時間分別為16.2、13.4、12.8、9.5 s。由于本文方法只要求不同種類的葉片圖像具有一定的區(qū)分度，即不同種葉片圖像近似分布在不同的子空間，就能正確地識別，所以SR和本文方法的分類率最高。與SR相比，本文方法所用時間極大縮短，有利于實時分類，表明經過稀疏化的葉片分類特征具有較好的區(qū)分性，識別率更高。使用INN和WLLE進行識別的本質是根據測試樣本與訓練樣本的相似性進行分類，而使用SR和本文方法是利用稀疏化后的特征進行識別，得到的識別率較高，說明稀疏化后的數(shù)據具有明顯的分類布局。

3 結論

本文針對植物分類中的葉片圖像復雜、特征提取與選擇對植物葉片分類率影響大和分類的實時性問題，提出了一種基于稀疏表示字典學習的植物分類方法。該方法將植物分類問題轉化為求解待識別植物葉片圖像對于整體訓練植物葉片圖像的稀疏表示問題，直接將拉長后的葉片圖像向量作為訓練集，省去了植物分類中的特征提取和選擇過程。其特點是通過字典學習得到一個較小的超完備字典，用來計算待測試樣本的稀疏表示。其中的字典學習在葉片圖像訓練階段可以離線進行，訓練的字典可在植物葉片分類階段降低分類算法的計算復雜度，適應實時性要求。下一步的工作是進行實時的動態(tài)植物葉片圖像分類，構建更好的冗余字典，探索字典學習中的參數(shù)選取與分類準確率之間的關系。該方法識別率更高，且所用時間極大縮短，有利于對植物葉片進行實時分類。

[1] 張寧， 劉文萍. 基于圖像分析的植物葉片識別技術綜述[J]. 計算機應用研究， 2011， 28(11): 4001-4007. ZHANG N， LIU W P. Plant leaf recognition technology based on image analysis [J].ApplicationResearchofComputers， 2011， 28(11): 4001-4007. (in Chinese with English abstract)

[2] CHAKI J， PAREKH R. Plant leaf recognition using shape based features and neural network classifiers [J].InternationalJournalofAdvancedComputerSciences&Applications， 2011， 2(10): 41-47.

[3] 高翔， 王正， 丁見亞， 等. 基于復合葉片特征的計算機植物識別方法[J]. 植物學報， 2014， 49(4): 450-461. GAO X， WANG Z， DING J Y， et al. Plant recognition based on compound leaf features [J].ChineseBulletinofBotany， 2014， 49(4): 450-461. (in Chinese with English abstract)

[4] NETO J C， MEYER G E， JONES D D， et al. Plant species identification using Elliptic Fourier leaf shape analysis [J].ComputersandElectronicsinAgriculture， 2006， 50(2): 121-134.

[5] DU J X， HUANG D S， WANG X F， et al. Computer-aided plant species identification (CAPSI) based on leaf shape matching technique [J].TransactionsoftheInstituteofMeasurementandControl， 2006， 28(3): 275-284.

[6] ZHANG S W， LEI Y K， WU Y H. Semi-supervised locally discriminant projection for classification and recognition [J].Knowledge-BasedSystems， 2011， 24(2): 341-346.

[7] ZHANG S W， LEI Y K. Modified locally linear discriminant embedding for plant leaf recognition [J].Neurocomputing， 2011， 74(14): 2284-2290.

[8] 張善文， 張傳雷， 程雷. 基于監(jiān)督正交局部保持映射的植物葉片圖像分類方法[J]. 農業(yè)工程學報， 2013， 29(5): 125-131. ZHANG S W， ZHANG C L， CHENG L. Plant leaf image classification based on supervised orthogonal locality preserving projections [J].TransactionsoftheChineseSocietyofAgriculturalEngineering， 2013， 29(5): 125-131. (in Chinese with English abstract)

[9] COPE J S， CORNEY D， CLARY J Y， et al. Plant species identification using digital morphometrics: A review [J].ExpertSystemswithApplications， 2012， 39(39): 7562-7573.

[10] 杜吉祥. 植物物種機器識別技術的研究[D]. 合肥: 中國科學技術大學， 2005. DU J X. Research on machine identification technology of plant species [D]. Hefei: University of Science & Technology China， 2005. (in Chinese with English abstract)

[11] WRIGHT J， MA Y， MAIRAL J， et al. Sparse representation for computer vision and pattern recognition [J].ProceedingsoftheIEEE， 2009， 98(6): 1031-1044.

[12] JIN W， WANG L， ZENG X B， et al. Classification of clouds in satellite imagery using over-complete dictionary via sparse representation [J].PatternRecognitionLetters， 2014， 49(33): 193-200.

[13] 蒲國林， 邱玉輝. 基于稀疏表示全局字典學習的圖像分類方法[J]. 計算機應用， 2015， 35(2): 499-501， 514. PU G L， QIU Y H. Image classification based on global dictionary learning method with sparse representation [J].JournalofComputerApplications， 2015， 35(2): 499-501， 514. (in Chinese with English abstract)

[14] LI Y， NGOM A. Sparse representation approaches for the classification of high-dimensional biological data [J].BMCSystemsBiology， 2013， 7(4): 1-14.

[15] 肖玲， 李仁發(fā)， 曾凡， 等.基于自學習稀疏表示的動態(tài)手勢識別方法[J]. 通信學報， 2013， 34(6): 128-135. XIAO L， LI R F， ZENG F， et al. Gesture recognition approach based on learning sparse representation [J].JournalonCommunications， 2013， 34(6): 128-135. (in Chinese with English abstract)

[16] WRIGHT J， YANG A Y， GANESH Y， et al. Robust face recognition via sparse representation [J].IEEETransactiononPatternAnalysisandMachineIntelligence， 2009， 31(2): 210-227.

[17] AHARON M， ELAD M， BRUCKSTEIN A.-SVD: An algorithm for designing overcomplete dictionaries for sparse representation [J].IEEETransactionsonSignalProcessing， 2006， 54(11): 4311-4322.

[18] XU Y， ZHU Q， FAN Z， et al. Using the idea of the sparse representation to perform coarse-to-fine face recognition [J].InformationSciences， 2013， 238(7): 138-148.

[19] 李建武. 基于稀疏表示的植物葉片分類識別研究[D]. 西安: 長安大學， 2014. LI J W. Research on classification and identification of plant leaf based on sparse representation [D]. Xi’an: Chang’an University， 2014. (in Chinese with English abstract)

[20] Sparse Representation toolbox [CP/OL]. https://sites.google.comsitesparsereptool.

[21] KARL S. Dictionary learning tools for Matlab [CP/OL]. http://www.ux.uis.no/～karlsk/dle/.

[22] 恩德， 忽勝強. 基于集成神經網絡的植物葉片識別方法[J]. 浙江農業(yè)學報， 2015， 27(12): 2225-2233. EN D， HU S Q. Plant leaf recognition based on artificial neural network ensemble [J].ActaAgriculturaeZhejiangensis， 2015， 27(12): 2225-2233. (in Chinese with English abstract)

[23] 張善文， 張傳雷， 王旭啟， 等. 基于葉片圖像和監(jiān)督正交最大差異伸展的植物識別方法[J]. 林業(yè)科學， 2013， 49(6): 184-188. ZHANG S W， ZHANG C L， WANG X Q， et al. Plant recognition based on leaf image and supervised orthogonal maximum variance unfolding[J].ScientiaSilvaeSinicae， 2013， 49(6): 184-188. (in Chinese with English abstract)

(責任編輯 侯春曉)

Plant classification method based on dictionary learning with sparse representation

ZHANG Shanwen， KONG Weiwei， WANG Zhen

(CollegeofInformationEngineering，XijingUniversity，Xi’an710123，China)

Plant classification based on leaf image is an important research area in plant taxonomy. Because the leaf image is complex and is sensitive to the season and illumination， the classification results of the existing plant classification methods are not robust. Based on the dictionary learning with sparse representation， a plant classification method was proposed in this paper. The plant classification problem was transformed to solve the sparse representation problem of the test sample to the training samples. A small optimal over-complete dictionary was designed to calculate the sparse representation of the leaf image by using the class-specific dictionary learning. Comparing to the other methods， the proposed method didn’t need to extract the features of color， texture and shape of the leaf image. So the computing complexity was reduced and the robustness and the real-time performance of the automatic identification of plant were improved. The experimental results on the real-world database of 50 kinds of the plant leaf images showed the feasibleness of the proposed algorithm. The recognition rate was more than 92%.

plant classification; leaf image; sparse representation; dictionary learning

10.3969/j.issn.1004-1524.2017.02.22

2016-07-12

國家自然科學基金項目(61473237)；陜西省自然科學基礎研究計劃(2016GY-141)；西京學院科研啟動專項基金項目(XJ16T03)；陜西省教育廳專項項目(16JK2246)

張善文(1965—)，男，陜西西安人，博士，教授，研究方向為模式識別及其應用。E-mail: wjdw716@163.com

TP391.41

A

1004-1524(2017)02-0338-07