基于多特征融合與極限學習機的植物葉片分類方法*

火元蓮,李俞利

(西北師范大學物理與電子工程學院,甘肅 蘭州 730070)

1 引言

植物作為生態系統的重要組成部分，與人類的生命活動息息相關。對植物類別的精準分類，有利于加速農業自動化發展，同時也可為生態學研究做出很大貢獻。葉片作為植物的重要器官之一，包含有形狀、紋理和顏色等多種具有辨識度的信息，因此通過對植物葉片的分類來判斷植物的種類，成為一種形象有效且可行性高的分類方法。

對于植物葉片的分類，由于計算機無法理解圖像，因此需要通過分析圖像的形狀、紋理和顏色等來將其轉化為葉片圖像特征[1]。基于葉片的形狀特征SF(Shape Feature)，Lee等人[2]提出了一種基于葉片輪廓和質心的植物分類和葉片識別系統的實現方法。Mahdikhanlou等人[3]提出了一種利用質心距離和最小慣性軸法的葉片分類方法，從對質心與葉輪廓上所有點之間的距離的快速傅里葉變換中提取10個特征和相位，再結合4種基本幾何特征和5種葉脈特征共同組成特征向量，分類準確率達到95.44%，但是葉片圖像的基本幾何特征對放縮后圖像形狀特征的表達效果會低于相對幾何特征。張善文等人[4]提出一種基于傅里葉描述子和局部二值模式LBP(Local Binary Patterns)相結合的方法，提高了分類準確率，通過葉片圖像提取傅里葉描述子，再結合LBP特征進行分類。在公開葉片圖像數據集上進行實驗，實驗的分類準確率達到了94%，但是由于特征類型單一，在一定程度上對相似圖像的分類效果不夠好。基于葉片的紋理特征TF(Texture Feature)，張寧等人[5]提出了基于克隆選擇算法和K近鄰的植物葉片識別方法，證實了紋理特征在葉片分類任務中的重要性。 Kolivand等人[6]提出了一種基于新的葉脈檢測技術的分類方法，實驗結果表明了所提出的方法在高精度形狀分類中的有效性。Codizar等人[7]提出一種基于脈序和形狀的人工神經網絡植物葉片識別方法，有效地提高了識別準確率。基于分類器的改進，陳筱勇等人[8]提出了基于Gabor特征多分類器融合的植物葉片識別方法，利用多個分類器的識別結果構造D-S分配函數并通過D-S融合輸出最后結果，識別準確率可以達到91.7%。近年來使用深度學習方法進行植物葉片分類取得了傲人的成果，Tan等人[9]利用葉脈形態計量學對植物物種分類進行了深入研究，利用預訓練的卷積神經網絡模型對葉片圖像進行預處理和特征提取，然后利用機器學習技術對這些特征進行分類，分類準確率達到93%。

單一的特征種類不能準確地描述葉片特征，也不利于相似葉片的準確分類；復雜多維特征在一定程度上會增加準確降維處理的難度，同時也會增加分類計算的難度。本文提出了一種基于極限學習機的多特征融合的植物葉片分類方法。首先，對植物葉片彩色樣本圖像進行預處理獲得二值圖像和灰度圖像；然后從二值圖像中提取葉片的形狀特征和不變矩特征MF(invariant Moment Feature)，計算灰度圖像的灰度共生矩陣GLCM(Gray Level Co-occurrence Matrix)參數并將其作為葉片的紋理特征，共得到28維的特征參數；最后，采用極限學習機對特征參數進行訓練和測試，實現對植物葉片的有效分類。

2 圖像預處理

在植物葉片分類過程中，葉片圖像的預處理是葉片分類過程的重要基礎，是特征提取的必要準備工作。通過圖像預處理過程，可以保留或增強有效信息，同時削弱或去除無用信息，保證在后續的特征提取過程中提取到更準確的特征信息。

植物葉片的顏色會隨著季節或環境的變化而不同，因此葉片的顏色特征是一個不穩定的特征，為了在去除葉片顏色特征的同時盡可能保留原始葉片圖像的其它特征信息，本文對葉片圖像分別進行二值化和灰度化處理，預處理過程的輸出為用于特征提取的二值圖像和灰度圖像，預處理過程如圖1所示。

Figure 1 Process of image preprocessing

首先對原始RGB圖像提取其G分量，通過設置合適的閾值將葉片圖像二值化，從而得到二值圖像。二值圖像可以將葉片區域與背景區域區分開來，可以有效表示葉片圖像區域。其次利用加權平均法在去除顏色特征的同時對原始RGB圖像進行灰度轉換處理得到灰度圖像。

3 特征提取

對于輸入的植物葉片圖像，計算機并不能直接對葉片圖像進行分類，所以需要對葉片圖像進行特征提取，將提取出來的特征組合作為葉片圖像的代表，由計算機進行分類。因此，提取出最具有代表性和辨識度高的特征是提高分類準確率的直接途徑。本文對圖像進行多特征提取，包括形狀特征、紋理特征和不變矩特征。

3.1 形狀特征提取

同類植物葉片的形狀具有極高的相似性，而不同類葉片之間在形狀方面存在不同程度上的差異，所以植物葉片的形狀是葉片最形象、最直接、最具有辨識度的代表特征，而且葉片的形狀不會因為季節和生長周期的不同而變化，是一種非常穩定的特征。

本文對預處理得到的二值圖像提取11個形狀特征參數，其中包括4個基本形狀特征：長軸(M)、短軸(N)、邊界區域周長(P)、面積(A)和7個推算形狀特征:高寬比(R)、形狀因子(F)、邊軸和比(S)、隨機性(E)、邊軸比(G)、矩形度(T)、不規則性(I)。推算形狀特征參數計算公式分別如式(1)～式(7)所示：

(1)

(2)

(3)

(4)

(5)

(6)

(7)

式(7)中的W和L分別代表圖像區域的包圍半徑和內圓半徑。因此，葉片的推算形狀特征是一個相對值，對于不同大小的同類葉片圖像，推算形狀特征參數值不會受到影響。表1為實驗數據集中13類標簽樣本的11個形狀特征參數值。

3.2 紋理特征提取

紋理特征是植物識別系統的重要特征之一，它可以根據植物葉片的表面結構來表征植物葉片，是不同圖像強度的非一致空間分布模式，需要在包含多個像素點的區域中進行統計計算。紋理特征提取的主要目的是通過計算來表達對紋理的直觀感知，對圖像的灰度變化的特征進行量化，紋理特征能夠很好地描述圖像內容的表面特征信息。本文采用灰度共生矩陣特征來表示對葉片圖像預處理得到的灰度圖像的紋理特征。

灰度共生矩陣GLCM定義為像素對的聯合分布概率，是一個對稱矩陣，能夠反映圖像灰度在相鄰方向、相鄰間隔以及變化幅度上的綜合信息，同時能夠反映相同灰度級像素之間的位置分布特征，在此基礎之上計算紋理特征量，刻畫紋理的假設是所有的紋理信息都包含在灰度共生矩陣中[10,11]。本文采用在灰度共生矩陣基礎上定義的5個描述能力強的特征統計量(對比度、齊次性、相關性、能量和熵)來組成紋理特征，以上5個紋理特征參數計算公式分別如式(8)～式(15)所示，式中P(i，j)表示灰度共生矩陣第i行、第j列元素的值，k為灰度級。

對比度主要反映圖像紋理的清晰度和紋理線的深淺：

(8)

齊次性主要反映圖像紋理局部變化程度：

(9)

Table 1 Shape feature values of experimental leaf samples

相關性用來度量圖像的灰度級在行或列方向上的相似程度：

(10)

其中，μi,μj分別為矩陣第i行、第j列元素的均值；σi,σj分別為矩陣第i行、第j列元素的標準差，其計算如式(11)～式(13)所示：

(11)

(12)

(13)

能量是矩陣元素值的平方和，反映圖像紋理的灰度變化穩定程度：

(14)

熵是對圖像包含信息的隨機性度量，對應地反映出圖像紋理的復雜程度：

(15)

圖2表示歸一化后的13類標簽樣本的紋理特征的特征值分布，圖中縱坐標為13類標簽樣本的紋理特征的特征值，橫坐標1～5號特征序列依次代表對比度、齊次性、相關性、能量和熵5個特征參數。

Figure 2 Texture feature distribution of experimental leaf samples

3.3 不變矩特征提取

在植物葉片分類過程中，對葉片的形狀輪廓信息的描述十分重要，不變矩特征最大的優點就是能夠全面表達葉片的輪廓特點。為了保證圖像在旋轉、平移和縮放后仍然具有較高的可識別度，本文采用Zernike矩和hu矩來表示葉片圖像的不變矩特征。

3.3.1 Zernike矩特征

Zernike矩是一種正交矩，具有旋轉和縮放不變性。 Zernike矩可以看作是圖像B(i,j)在一組Zernike多項式核函數上的投影。對于歸一化到單位圓上的離散化圖像函數B(i,j)，它的m階n次Zernike矩可以表示為[12,13]：

(16)

其中，Vmn(i,j)為核函數，*為共軛符號，m和n為整數，且m≥0,滿足(m-|n|)為偶數。

本文對葉片二值圖像計算9個Zernike矩參數，分別包括Z00,Z11,Z20,Z22,Z31,Z33,Z40,Z42和Z44，經過歸一化處理后得到的參數值如圖3中1～9號特征序列所示。

3.3.2 hu矩特征

hu矩具有旋轉、平移和縮放不變性，利用二階和三階歸一化中心矩構造了7個矩不變量[14]，歸一化中心距定義為：

(17)

其中，p表示x方向對應的階數，q表示y方向對應的階數，ρ=1+(p+q)/2。

本文計算葉片圖像的前3個hu矩參數，經過歸一化處理后得到的參數值如圖3中10～12號特征序列所示。

Figure 3 Invariant moment feature distribution of experimental leaf samples

綜上所述，本文從葉片二值圖像中提取了11個形狀特征SF和12個不變矩特征MF，從葉片灰度圖像提取了5個紋理特征TF；然后對這些特征分別進行歸一化處理并融合組成植物葉片的28維的鑒別特征[15]。本文采用早期融合的方法對提取的特征進行連接形成融合特征，特征融合過程如圖4所示。

Figure 4 Schematic diagram of feature fusion

4 基于極限學習機的分類策略

極限學習機ELM(Extreme Learning Machine)是一種基于單隱含層的前饋神經網絡構建的機器學習方法，其工作效率高、結果準確率高且泛化能力強，結構與BP等傳統神經網絡結構相似[16]。與傳統網絡不同的是：極限學習機輸入層到隱含層的權重以及隱含層的偏置可以隨機初始化，不需要迭代修正，因此可以減少一般的運算量；而隱含層到輸出層的權重通過求解矩陣方程得到。通過這樣的規則，模型的泛化性能很好，速度也會有所提高。極限學習機由輸入層、隱含層和輸出層組成，如圖5所示。

Figure 5 Structure of extreme learning machine

4.1 ELM原理

假設一個帶標簽的有N個任意樣本的樣本集為(X,T)={(Xi,Ti)|1≤i≤N},此處X定義為輸入樣本矩陣，T為X對應的期望輸出矩陣，Xi=[xi1,…,xi2,…,xin]T表示X中第i個輸入樣本，n表示輸入樣本維數(與葉片特征維數相等)。ti=[ti1,ti2,…,tim]T表示第i個輸入樣本的期望輸出，m表示期望的輸出向量維數(與葉片的類別數相等)。一個有L個隱含層節點的單隱層神經網絡的輸出可以表示為：

(18)

其中，G(x)為激活函數，Wi=[wi,1,wi,2,…wi,n]T為輸入權重，βi為輸出層權重，Bi是第i個隱含層單元的偏置，Wi*Xj表示Wi和Xj的內積，oj為網絡輸出。單隱含層神經網絡學習的目標是使得輸出的誤差最小，即存在βi,Wi和Bi使得：

Hβ=T

(19)

其中，

H(W1,…,WL,B1,…,BL,X1,…,XN)=

H是隱含層節點的輸出，T為期望輸出。

在分類過程中，一旦Wi和Bi被隨機確定，那么隱含層的輸出矩陣H就被唯一確定，并且有：

(20)

其中H+是矩陣的Moore-penrose廣義逆[17]。因此，可以得到極限學習機的數學模型為：

(21)

其中，W是輸入權重，B是隱含層偏置。

4.2 分類方法流程

本文采用ELM進行分類的方法主要包含特征數據集的處理與分類器的訓練2個部分，流程如下所示：

輸入：特征數據集，隱含層神經元個數和激活函數。

輸出：訓練準確率和測試準確率。

步驟1特征數據集載入與預處理，確定隱含層神經元個數，隨機產生輸入權重和隱含層偏置。

步驟2分類任務前數據編碼。

步驟3預定義期望輸出矩陣。行是分類類別，列是分類對象，每個對象(列)所在真實類(行)置1，其余為-1。

步驟4計算隱含層輸出。

步驟5計算輸出層權重。

步驟6計算輸出。若輸出類別標簽與真實標簽相等，正確計數加1。

步驟7計算準確率。

本文實驗的激活函數選用Sigmoid函數，Sigmoid函數的數學圖像如圖6所示。由圖6可以看出Sigmoid函數的輸出有界，所以數據在傳遞過程中不容易發散。另外，Sigmoid能有效地將范圍內的信號光滑地映射到(0，1)，并且對于中間值信號的增益大，對極端值信號的增益不明顯。本文在訓練極限學習機分類模型時，對實驗葉片數據進行參數尋優，得到在隱含層節點數為200時，分類結果為最佳。

Figure 6 Sigmoid function image

5 實驗與結果分析

5.1 實驗環境與數據集

本文的仿真環境為Matlab 2017，所使用的電腦CPU配置為Intel(R) Core(TM) i5-3770，內存為1 GB，操作系統為Windows 10。實驗數據集是公開的Flavia數據集[18]，該數據集中共有32種植物葉片，每一種葉片圖像有50～77幅，并且都是以白色為背景。本文選取其中的13種葉片圖像進行實驗，為了豐富實驗數據集，對其中的一些圖像進行了旋轉處理，使得每一種葉片圖像有100幅，13種共1 300幅葉片圖像組成本文實驗的數據集，其中的80%作為訓練集，剩下的20%作為測試集。數據集中的葉片種類如圖7所示。

Figure 7 13 samples for leaf classification

本文采用準確率來對分類方法性能進行評價，其計算方法如式(22)所示：

(22)

5.2 實驗過程與結果分析

首先采用ELM分類器對本文提取的單一特征和融合特征的不同情況分別進行實驗，結果如圖8所示。圖8中SF+ELM為形狀特征方法，TF+ELM為紋理特征方法，MF+ELM為不變矩特征方法，SF+TF+MF+ELM為多特征融合方法。由圖8可以看出，多特征融合的方法對葉片的訓練集分類準確率和測試集分類準確率都是最高的。

Figure 8 Classification accuracy of different feature combinations

然后將本文多特征融合分類方法和文獻[2,4,8,9,19,20]共6種較新的分類方法進行比較，結果如表2所示。

Table 2 Classification results of different methods

由表2可知，本文方法的分類準確率是最高的，準確率達到了98%以上。其中，本文方法與文獻[19，20]方法的提取特征種類較為接近，文獻[19]通過提取葉片圖像的幾何、結構、hu矩和GLCM等6種共2 183維特征向量對葉片進行特征描述，再對特征向量降維處理至31維后使用支持向量機實現分類。但是，數據降維時需要設置或調整方差的閾值，如果閾值不合適，可能導致降維處理過程中存在有效信息丟失的問題。所以，本文方法在提取的特征向量的維數略少于文獻[19]方法降維后特征向量維數的情況下，分類準確率卻有所提高。文獻[20]對實驗葉片提取幾何、hu矩2類共15維的特征向量，使用移動中心超球分類器實現分類。文獻[20]中的幾何特征多為基本形狀特征的簡單比值，欠缺對特征表達的準確性，而本文方法分類的準確率更高，表明本文分類方法提取的特征能夠更好地表達葉片的特征信息，分類效果更佳。

表3為基于本文方法對選取的13種植物葉片的分類結果，從中可以看出容易出現分類錯誤的有2種葉片，這2種葉片的錯誤分類結果如表4所示。結合表3和表4可以看出：錯誤分類次數最多的是第11類葉片，錯誤次數一共是4次，其中被錯誤分類為第2類3次，被錯誤分類為第7類1次，分析其錯誤的原因是以上3類葉片在形狀上非常相似，都屬于心形輪廓葉片，導致計算的形狀相對參數存在極大的相似性。另外，以上3種葉片的紋理都屬于較為清晰又非常均勻的形狀，導致在紋理上的區分性也不高。而第9類葉片被錯誤分類為第6類1次，可以看出第9類葉片的邊緣多有微小的波動形狀，而第6類葉片的鋸齒邊狀較為明顯，究其原因為本文方法對鋸齒形邊緣形狀的描述不夠準確，所以本文提取的特征對鋸齒邊緣形狀方面的表達能力還需進一步改進。

Table 3 Classification results of each experimental leaf

Table 4 Types of classification errors

6 結束語

在植物葉片的分類方法中，圖像特征向量的構成多種多樣，如何能提取出植物葉片表征性能較好的特征信息，是提高植物葉片分類準確率的關鍵。本文提出了一種基于多特征融合與極限學習機的植物葉片分類方法，首先提取了植物葉片包括形狀、紋理和不變矩共28維的特征參數作為特征向量；然后采用特征向量對極限學習機的分類策略進行訓練和測試，在公開的植物葉片圖像數據集Flavia上進行實驗，并就不同特征融合的分類效果、不同方法的分類效果分別進行了對比分析，結果表明本文所提方法能有效提高植物葉片圖像分類的準確率。