基于Bagging-PNN 算法的樹葉分類方法優(yōu)化

田詩晨，徐玉丹，李瑀馨

（1.武漢理工大學(xué) 汽車工程學(xué)院，武漢430070；2.武漢理工大學(xué) 信息工程學(xué)院，武漢430070；3.武漢理工大學(xué) 自動化學(xué)院，武漢430070）

植物在地球上是一種種類數(shù)量繁多、存在范圍很廣的生命形式， 是大自然中不可或缺的一部分，植物對人類活動的重要性不言而喻，因此吸引了許多研究者的目光。 關(guān)于植物分類的研究方法中，形態(tài)學(xué)方法是研究時(shí)間最早、應(yīng)用范圍最廣的一種分類識別方法[1]，它通過區(qū)分植物器官的不同形態(tài)來進(jìn)行分類，由于葉片容易獲得，且呈扁平狀，在進(jìn)行形狀分析時(shí)較為方便，比較起其他器官，對葉片的研究在植物分類中使用得更為廣泛。 基于葉片形狀的分類研究一直是圖像處理、模式識別領(lǐng)域的一個(gè)重要方向，目前已經(jīng)涌現(xiàn)出許多樹葉分類模型和特征提取方法[2-4]。

文獻(xiàn)[5]中提取出葉片的8 項(xiàng)特征，提出一種新的移動中心超球分類器， 實(shí)現(xiàn)了對20 多種葉片的快速識別，平均準(zhǔn)確率達(dá)到92%；文獻(xiàn)[6]選取10 個(gè)特征參數(shù)，使用SVM 分類器對木瓜、女貞、三角楓和五角楓4 種葉片進(jìn)行識別，平均準(zhǔn)確率達(dá)到95.8%；文獻(xiàn)[7]使用基于卷積神經(jīng)網(wǎng)絡(luò)的方法在Swedish 葉片數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，該方法可以直接在圖像上自動進(jìn)行特征學(xué)習(xí)和分類， 識別準(zhǔn)確率高達(dá)99.56%；文獻(xiàn)[8]提出一種新的識別特性，利用這種特性可以獨(dú)立地捕獲全局和局部形狀信息，并在5 個(gè)葉片數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，在識別精度、效率和存儲需求方面表現(xiàn)優(yōu)秀。 然而，傳統(tǒng)的葉片識別方法常常存在識別種類少或訓(xùn)練過程復(fù)雜的問題，比如文獻(xiàn)[5]的方法僅在20 多類葉片的數(shù)據(jù)集上實(shí)驗(yàn)，文獻(xiàn)[6]僅對4 種葉片進(jìn)行識別，文獻(xiàn)[7]使用的Swidish 數(shù)據(jù)集也僅包含9 類葉片，雖然準(zhǔn)確率高，但是所使用的卷積神經(jīng)網(wǎng)絡(luò)需要復(fù)雜的訓(xùn)練過程。

針對植物葉片的形狀分類問題，本文將Bagging算法應(yīng)用于概率神經(jīng)網(wǎng)絡(luò)（PNN），將多個(gè)PNN 分類器的投票結(jié)果作為最終分類結(jié)果輸出， 在83 類葉片的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，訓(xùn)練過程中不需要設(shè)置復(fù)雜的參數(shù)，并且能在一定程度上提高識別準(zhǔn)確率。

1 圖像預(yù)處理

圖1 是部分葉片數(shù)據(jù)庫中的圖片，這些葉片都來自不同的類別。 葉片數(shù)據(jù)庫中的原始圖像是二值圖， 因此不需要進(jìn)行復(fù)雜的背景識別和分割處理，只需去除圖像中的噪聲點(diǎn)。 本文基于Matlab 平臺，采取的去噪方法是提取圖像中所有輪廓，選取其中長度最大的輪廓作為所需的葉片輪廓，這一輪廓確定的形狀即為葉片的形狀。

圖1 部分樣本葉片F(xiàn)ig.1 Few sample leaf images

2 特征指標(biāo)的提取

根據(jù)葉片的輪廓可以提取出下列參數(shù)；

（1）面積（Area）：樹葉的面積用二值圖中樹葉部分包含的像素點(diǎn)的個(gè)數(shù)表示；

（2）周長（Perimeter）：樹葉的周長是用從二值圖中所提取的樹葉輪廓上相鄰的像素點(diǎn)間的距離之和來表示的；

（3）質(zhì)心坐標(biāo)（Xc，Yc）：質(zhì)心即葉片的重心，利用下式求得：

式中：xi，yi為二值圖像中葉片部分對應(yīng)的像素坐標(biāo)；n 為葉片包含的像素點(diǎn)的數(shù)量；

（4）長軸（Long Axis）：葉片輪廓上最遠(yuǎn)兩點(diǎn)之間的連線；

（5）短軸（Short Axis）：兩端在葉片輪廓上，連線與長軸垂直、且距離最遠(yuǎn)的兩個(gè)點(diǎn)之間的連線；

（6）最小外接圓（Excircle）：與樹葉輪廓相接且面積最小的圓；

（7）最大內(nèi)切圓（Inscribed Circle）：與樹葉輪廓相切且面積最大的圓；

（8）凸包（Convex Hull）：能包含整片樹葉且面積最小的凸區(qū)域；

（9）外接矩形（Bounding-Box）：物體的外接矩形有許多個(gè)，這里選擇長寬比最大且四邊均與葉片相接的矩形進(jìn)行計(jì)算；

（10）骨架（Skeleton）：葉片的核心骨架；

（11）角點(diǎn)數(shù)（Cornor Number）：使用Harris 角點(diǎn)檢測方法提取出的葉片角點(diǎn)數(shù)；

（12）Hu 矩：Hu 矩包含7 個(gè)不變矩（φ1，φ2，…，φ7），都具有平移、縮放、旋轉(zhuǎn)不變的性質(zhì)實(shí)際應(yīng)用中常使用前兩個(gè)作為特征指標(biāo)。

圖2 為從某樣本圖片中提取出的特征參數(shù)的示意圖。

考慮到拍攝時(shí)角度、 距離等可能會有所不同，若指標(biāo)選取不當(dāng)，則會導(dǎo)致同一形狀的葉片計(jì)算得出的特征指標(biāo)值不相等，因此，選取的指標(biāo)應(yīng)具有旋轉(zhuǎn)、縮放、平移不變性，我們選取了以下幾個(gè)特征指標(biāo)：

（1）長寬比：長寬比是樹葉外接矩形的長邊與短邊的比值；

（2）矩形度：矩形度體現(xiàn)葉片對其外接矩形的充滿程度，用樹葉面積與其外接矩形的面積之比表示；

（3）圓形度（Circularity）：用圓形度表示形狀與圓形的相似程度，按照下式進(jìn)行計(jì)算：

（4）偏心率：最小外接圓半徑與最大內(nèi)切圓半徑之比；

（5）周徑比：葉片周長與長軸之比；

（6）長短軸比：長軸與短軸長度之比；

（7）面積凹凸度：葉片面積與凸包面積之比；

（8）周長凹凸度：葉片周長與凸包周長之比；

（9）葉狀度：質(zhì)心到輪廓最短距離與短軸長度之比；

（10）骨架節(jié)點(diǎn)數(shù)：骨架上節(jié)點(diǎn)的數(shù)量；

（11）角點(diǎn)數(shù)；

（12）Hu 矩（φ1，φ2）。

3 基于Bagging 算法的概率神經(jīng)網(wǎng)絡(luò)模型

3.1 概率神經(jīng)網(wǎng)絡(luò)

概率神經(jīng)網(wǎng)絡(luò)PNN 是一種前饋型神經(jīng)網(wǎng)絡(luò)，是徑向基神經(jīng)網(wǎng)絡(luò)的一個(gè)分支[8-9]，具有如下優(yōu)點(diǎn)：①操作簡單，容易設(shè)計(jì)，具有高魯棒性；②結(jié)構(gòu)靈活，容錯(cuò)性好；③能用線性算法實(shí)現(xiàn)非線性算法的功能，且具有高精度；④網(wǎng)絡(luò)不需要訓(xùn)練，運(yùn)行時(shí)間短。

概率神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)拓?fù)鋱D如圖3 所示，共有4 層，分別為輸入層，模式層，求和層和輸出層。

輸入層用于接收樹葉的各項(xiàng)特征指標(biāo)，并將其傳遞到模式層，輸入層的神經(jīng)元數(shù)量n 等于樹葉樣本特征指標(biāo)的數(shù)量。

模式層接收來自輸入層的指標(biāo)，它的神經(jīng)元數(shù)量等于訓(xùn)練集選用的樹葉圖片的總數(shù)量，本層可以按照下式計(jì)算待測樣本與每個(gè)訓(xùn)練樣本的相似程度，相似程度越高，本層輸出越大：

圖3 概率神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖Fig.3 Structure diagram of PNN

式中：X 為待測樣本的輸入指標(biāo)；Wi為各個(gè)訓(xùn)練樣本的輸入指標(biāo)；δ 為平滑因子。

求和層將同類葉片的模式層輸出求和，它的神經(jīng)元數(shù)量m 等于樹葉類別數(shù)量， 該層的輸出fi（X）表示待測樣本X 屬于類別i 的概率密度估計(jì)值，按照下式進(jìn)行計(jì)算，待測葉片與某類訓(xùn)練樣本中的大部分葉片相似程度較高時(shí)，該層的輸出較大。

式中：i=1，2，…，m；P 為訓(xùn)練樣本的維數(shù)；Qi為類別i中訓(xùn)練樣本的數(shù)量；Xij為類別i 中第j 個(gè)訓(xùn)練樣本。

輸出層是競爭層，該層的神經(jīng)元數(shù)量m 等于樹葉類別數(shù)量，它在求和層中尋找輸出值最大的神經(jīng)元，即所有樹葉類別中找出估計(jì)概率密度最大的類別， 該神經(jīng)元輸出為1， 即對應(yīng)輸入樣本的預(yù)測類別，其他神經(jīng)元均輸出0。

3.2 集成學(xué)習(xí)

集成學(xué)習(xí)理論是在概率近似正確理論上發(fā)展而來的，他是將多個(gè)弱分類器的識別結(jié)果通過一定方式組合起來，構(gòu)成一個(gè)強(qiáng)分類器，這樣可以有效提高預(yù)測準(zhǔn)確率和模型的泛化能力，常用的算法有Boosting 算法和Bagging 算法，其中Bagging 算法[10]是通過重采樣方法[11]從訓(xùn)練集中抽取一部分樣本作為子訓(xùn)練集，從而構(gòu)建多個(gè)弱分類器，再通過投票的方法決定預(yù)測結(jié)果。

3.3 Bagging-PNN 模型

本次研究將概率神經(jīng)網(wǎng)絡(luò)作為弱分類器，使用Bagging-PNN 算法對樹葉樣本進(jìn)行分類測試， 算法流程如圖4 所示。

圖4 Bagging-PNN 算法流程Fig.4 Bagging-PNN algorithm flow chart

葉片分類測試計(jì)算過程如下：

（1）從所有葉片樣本中劃分出訓(xùn)練集和測試集，并確定弱分類器的數(shù)量k；

（2）在訓(xùn)練集中按照一定比例進(jìn)行可放回的隨機(jī)抽樣，并重復(fù)k 次，即可得到k 個(gè)子訓(xùn)練集；

（3）針對每個(gè)子訓(xùn)練集，分別使用概率神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到k 個(gè)弱分類器的識別結(jié)果Yi（X）；

（4）將所有弱分類器的識別結(jié)果進(jìn)行投票，得票最多的類別即為最終的分類結(jié)果Y（X）。

相比于傳統(tǒng)的PNN 算法，Bagging-PNN 通過重采樣技術(shù)增加了樣本間的差異度，能有效提高模型的泛化能力和識別準(zhǔn)確率，從而獲得更穩(wěn)定和更高的識別準(zhǔn)確率。

4 結(jié)果分析

本文采用Matlab 作為實(shí)驗(yàn)平臺，共選取83 類葉片樣本進(jìn)行實(shí)驗(yàn)， 其中每類都包含16 張不同的樹葉圖片。 基于第三節(jié)中描述的特征指標(biāo)提取方法，對所有樹葉進(jìn)行了特征提取，該過程獲得了1328份樹葉樣本的12 維特征指標(biāo)，其中部分指標(biāo)如圖5所示。 在實(shí)際訓(xùn)練時(shí)，還需對指標(biāo)數(shù)據(jù)進(jìn)行歸一化處理。

在每一類樹葉樣本中按照13∶3 劃分訓(xùn)練集和測試集，在訓(xùn)練集中再按照8/13 的比例隨機(jī)抽取一部分樣本，作為弱分類器的訓(xùn)練樣本。使用Bagging-PNN 算法進(jìn)行樹葉類別預(yù)測，圖6 為k=20 時(shí)，本模型的預(yù)測結(jié)果圖，本次預(yù)測準(zhǔn)確率為90.76%。

圖5 部分指標(biāo)數(shù)據(jù)在類間的分布情況Fig.5 Distribution of some indicator data among classes

圖6 預(yù)測結(jié)果圖Fig.6 Forecast results graph

圖7 顯示了弱分類器數(shù)量對識別準(zhǔn)確率的影響，當(dāng)k<10 時(shí)，隨著弱分類器數(shù)量k 的提升，本模型的識別準(zhǔn)確率也有一定提升；當(dāng)k=10 時(shí)，識別準(zhǔn)確率達(dá)到較大值；當(dāng)k＞10 時(shí)，隨著k 增大，模型的識別準(zhǔn)確率在89.8%～90.9%之間波動，k 的持續(xù)增大對準(zhǔn)確率的提升并無明顯效果。

圖7 弱分類器數(shù)量對識別準(zhǔn)確率的影響Fig.7 Influence of the number of weak classifiers on recognition accuracy

基于第三節(jié)中提取的特征指標(biāo)數(shù)據(jù)，分別使用廣義回歸神經(jīng)網(wǎng)絡(luò)（GRNN）、概率神經(jīng)網(wǎng)絡(luò)（PNN）、基于Bagging 改進(jìn)的概率神經(jīng)網(wǎng)絡(luò)（Bagging-PNN）對葉片形狀進(jìn)行了分類實(shí)驗(yàn)，識別準(zhǔn)確率如表1 所示：

表1 識別準(zhǔn)確率比較Tab.1 Comparison of recognition accuracy

從上表可以看出，Bagging-PNN 的識別準(zhǔn)確率在三種算法中最高，因此，本分類模型對提高識別準(zhǔn)確率具有一定的效果。

5 結(jié)語

本文針對樹葉分類問題進(jìn)行研究，使用了長寬比、矩形度、圓形度等13 項(xiàng)參數(shù)作為葉片形狀的描述符，結(jié)合集成學(xué)習(xí)方法和概率神經(jīng)網(wǎng)絡(luò)來進(jìn)行葉片分類預(yù)測，在83 種葉片的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，識別準(zhǔn)確率達(dá)到90.3%，相比傳統(tǒng)的概率神經(jīng)網(wǎng)絡(luò)，識別準(zhǔn)確率有一定提高。