一種基于三支決策的花卉圖像分類

武慧瓊，張素蘭，張繼福，胡立華

(太原科技大學 計算機科學與技術學院，太原 030024)

1 引 言

花卉圖像分類是根據花卉所具有的屬性特征將其劃分到不同類別的過程，有效的分類對于花卉圖像分析和檢索是非常重要的.隨著數碼技術的普及，網絡花卉圖像資源與日俱增，花卉因其種類繁多、不同類別的花卉之間具有很大的類間相似性以及同一類別的花卉之間具有很大的類內差異性，使得花卉圖像分類成為植物學領域和圖像研究領域的一個極具挑戰的研究課題.

三支決策[1，2](Three-Way Decisions，3WD)由加拿大學者Yao首次提出，是一種在不確定或不完整信息條件下的決策方式，它來源于決策粗糙集理論(Decision Theoretic Rough Sets，DTRS)，其主要目的是將粗糙集模型的正域、負域和邊界域解釋為接受、拒絕和不承諾(延遲決策)三種決策的結果.為將三支決策理論拓展到更廣泛地領域，Yao給出了三支決策的基本框架[3]，它的基本思想是“三分而治”，即按照分治法將復雜問題轉化為三個規模較小的問題，有針對性的解決三個小問題，從而提高決策質量，減少決策成本和降低決策時間[4].本文針對花卉圖像分類中存在的圖像信息不完整和不確定而造成分類精度不高的問題，給出了一種基于三支決策的花卉圖像分類方法.該方法首先利用單一特征對花卉圖像進行分類，并依據分類結果的決策狀態值選取適當的閾值(α1，β1)將圖像集三分為POS1域、BND1域和NEG1域；其次定義域之間的轉移規則，并分別對BND1域和NEG1域所包含的花卉圖像提取新特征；接著融合新特征后再對BND1域和NEG1域所包含的花卉圖像進行分類，并依據分類結果的決策狀態值選取適當的閾值(α2，β2)和(α3，β3)繼續進行三分，進而實現多層“三分-治略”，提高花卉圖像分類精度；最后采用牛津大學VGG(Visual Geometry Group)小組的Oxford-17-flowers和Oxford-102-flowers花卉圖像集，實驗驗證了該方法的有效性.

2 相關工作

傳統的花卉圖像分類方法是基于精度敏感的二支決策模式，在決策圖像類別時，只有接受與拒絕兩種選項.Guru D S等[5]提出了一種基于概率神經網絡(PNN)的花卉圖像分類方法，該方法在花卉主體圖的基礎上提取三種紋理特征，使用PNN進行分類時，以貝葉斯最小風險準則為理論基礎，依據后驗概率的大小立即做出接受或拒絕的決策.Nilsback M E等[6]提取花卉圖像顏色、形狀、紋理特征，融合三種特征后使用K-最近鄰(KNN)對花卉圖像進行分類，該方法依據最鄰近的一個或幾個樣本的類別來對待分類樣本做出接受或拒絕的決策.Nilsback M E等[7]在102類花卉圖像集上提取四種花卉特征，并使用支持向量機(SVM)對花卉圖像進行分類，該方法依據樣本和劃分超平面的距離來做出接受或拒絕的決策，對最靠近超平面的樣本做出接受的決策.周偉等[8]提出一種新的基于顯著圖的花卉圖像分類算法，該方法首先將顯著圖融入到特征提取的過程中，然后提取顏色特征和局部特征后進行SVM分類.柯逍等[9]在基于多特征融合的花卉圖像檢索中，對分割后的花卉圖像采用基于SVM的多特征融合方法進行分類檢索.林思思等[10]提出融合深度特征和人工特征的花卉圖像特征提取方法并在此基礎上實現了花卉圖像分類，該方法首先構建基于卷積神經網絡(CNN)的特征提取框架，然后利用CNN模型提取多種特征并與人工特征融合后進行分類.這些分類方法現有的圖像信息進行分類決策，而沒有考慮當前所獲取信息的不確定與不完整.

三支決策在傳統二支決策的基礎上增加了更符合人類認知的第三個決策選項，即延遲決策，不再嚴格要求決策者即時做出接受或拒絕的決策，它允許決策者收集更多的信息后再給出更準確的判斷，因此可以很好地解決延遲決策的問題[11].例如，在垃圾郵件過濾中[12]，除了確定屬于正常和確定屬于垃圾的郵件，還包括需要獲取更多信息才能確定類別的郵件(延遲決策)；在醫療診斷中，對于一些小病，醫生可以直接給出是否患病的結論，而對于一些疑難雜癥，則需要進一步診斷(延遲決策)；Li H等[13-15]考慮到信息的不確定與不完整，依據誤分類代價的不平衡性，提出代價敏感序貫三支決策人臉識別方法，在人臉圖像識別過程中，從粗粒度到細粒度，隨著信息的更新和補充，在不同粒度的圖像下做出一系列決策，而不是立即做出決策，這種序貫三支決策的方法可以很好地解決人臉識別過程中延遲決策的問題，降低決策的總代價.

綜上所述，當決策花卉圖像類別時，如果采用基于精度敏感的二支決策模式，即要求給出即時判斷，則當花卉圖像信息不完整和不確定時，如果立即做出接受或拒絕的決策，很容易會導致錯誤決策，從而影響圖像分類精度.代價敏感的三支決策模式雖然考慮到當前信息的不完整與不確定，但同樣需要考慮分類代價的不平衡性，并不適用于花卉圖像分類.因此，基于三支決策的花卉圖像分類方法既考慮到花卉圖像信息的不完整與不確定，又不需要考慮分類代價的不平衡性，是一種有效的花卉圖像分類方法.

3 三支決策描述

定義 1[16].設U={x1，x2，…，xn}是有限、非空實體集，C是有限條件集.基于條件集C，三支決策通過映射f將實體集U分為三個兩兩互不相交的區域，分別為：POS域、BND域和NEG域，即：

(1)

POS域、BND域和NEG域是U的子集，它們并不嚴格要求為非空，之間具有如下關系：

POS∩BND=φ

POS∩NEG=φ

BND∩NEG=φ

U=POS∪BND∪NEG

(2)

映射f可以基于條件集量化，用評價函數來刻畫.評價函數又稱為決策函數，它的值稱為決策狀態值.評價函數的構造因具體應用需求的不同而有所不同，本文使用單評價函數，即f=v(x).引入一對閾值(α，β)將決策狀態值映射到三個域，不失一般性，假設α≥β，邊界域的大小可由閾值(α，β)來決定.這樣基于評價函數和一對閾值就可以將所有實體劃分到三個域中.一種簡單的三支決策規則可以構造如下：若實體的決策狀態值大于閾值α，即v(x)≥α，則其屬于POS域；若實體的決策狀態值介于兩個閾值之間，即β

POS(α，β)(v)={x∈U|v(x)≥α}

BND(α，β)(v)={x∈U|β

(3)

NEG(α，β)(v)={x∈U|v(x)≤β}

Yao在文獻[17]中給出了三支決策的“三分-治略”模型(“trisecting-and-acting” model)，可以看出，Yao將一個整體集三分為三個區域，分別對不同的區域采取不同的策略，從而將一個復雜的問題轉化為幾個簡單的問題.

4 本文方法

本文結合三支決策的定義和“三分-治略”模型，在“治略”階段分別對BND域和NEG域采取繼續“三分”的策略，首先定義了多層“三分-治略”模型，然后給出了相應的轉移規則，并將其應用在花卉圖像分類中.

4.1 多層“三分-治略”模型

多層“三分-治略”模型按照分治法的思想，進行多次“三分”和“治略”，將全局多次劃分為三個獨立的部分，從而將一個復雜問題多次轉化為三個規模較小的問題，有針對性的解決這些問題，達到決策質量的提高，決策成本和決策時間的降低.具體多層“三分-治略”模型如圖1所示，其中閾值(α，β)通過三分后的決策狀態值人為進行設定.

4.2 轉移規則

圖1多層“三分-治略”模型每一次三分為三個域之后，域之間都遵循一種簡單的轉移規則，本文定義了如下一種P-B-N(NEGtoBNDtoPOS)轉移規則：

定義 2.P-B-N轉移規則是一種實現三支決策域之間轉移的規則，即：

規則P：對于POS域，第一次分類后，它所包含的決策狀態值大于等于閾值α，可以簡單認為POS域是正確分類的域，不再進行處理；

規則B-N：為達到分類結果的最優化，要盡量將BND域包含的類別向靠近POS域的方向轉移；同時盡量將NEG域包含的類別向靠近BND域或者靠近POS域的方向轉移.最終目的是實現BND域和NEG域所包含的類別向POS域轉移，從而提高分類精度.

圖1 多層“三分-治略”模型Fig.1 Multi-Level “trisecting-and-acting” model

實現域之間的轉移，即將BND域向靠近POS域的方向轉移，將NEG域向靠近BND或者POS域的方向轉移，就要想辦法增大BND域和NEG域決策狀態值的大小，即將v(x)≤β和β

1.提取新特征.利用一種特征進行分類，假設分類后決策狀態值小于等于β，處于NEG域，那么融合兩種或者多種特征后，獲取到的花卉圖像信息將增加，此時再進行分類，決策狀態值將增大向靠近BND域或者POS域的方向靠近，從而實現域之間的轉移.本文所提方法使用新特征的提取來實現域之間的轉移.

2.增加視覺詞典維數.利用某一特征維度為V的視覺詞典進行分類，假設分類后決策狀態值小于等于β，處于NEG域，那么隨著視覺詞典維數的增加，對花卉圖像獲取的信息將增加，對應分類后的決策狀態值將增大，從而實現NEG域向靠近BND域或者POS域的轉移.但增加到一定程度可能產生“過猶不及”的效果.

4.3 花卉圖像分類方法

結合上述多層“三分-治略”模型以及該模型域之間的轉移規則，給出本文所提花卉圖像分類方法的具體步驟：

第1步.由于SVM能較好地解決小樣本、非線性和高維等分類問題，因此首先利用SVM針對單一特征(特征d1)對花卉圖像進行分類，并依據特征d1進行的分類結果選取適當的閾值(α1，β1)將花卉圖像集U三分為三部分，分別為POS1域、BND1域和NEG1域；

第2步.分別對BND1域和NEG1域所包含的圖像提取新特征(特征d2)，融合兩種特征(特征d1+特征d2)，依據特征d1和特征d2進行的分類結果選取適當的閾值(α2，β2)將NEG1域三分為POS2域、BND2域和NEG2域，同樣的，選取適當的閾值(α3，β3)將BND1域三分為POS3域、BND3域和NEG3域；

第3步.分別對BND2和BND3以及NEG2和NEG3取并集，即：BND2∪BND3和NEG2∪NEG3，繼續進行新特征提取，依此進行多層“三分-治略”，第n步閾值為(αn，βn)，特征為d(n+1)/2；

第4步.分別得到POS域、BND域和NEG域所包含的花卉圖像類別，如公式(4)所示，POS域包含每一步三分后的POS域，而BND域和NEG域只包含最后兩步三分到BND域和NEG域的結果；

POS={POS1(α1，β1)，…，POS(n-1)(αn-1，βn-1)，POSn(αn，βn)}

BND={BND(n-1)(αn-1，βn-1)，BNDn(αn，βn)}

NEG={NEG(n-1)(αn-1，βn-1)，NEGn(αn，βn)}

(4)

此外花卉圖像的分類精度average_precision求取如公式(5)所示.

(5)

5 實驗結果及分析

本文應用多層“三分-治略”模型的前兩層來驗證所提方法的有效性，第一層利用HSV顏色特征進行SVM分類，第二層融合HSV顏色特征和SIFT特征進行SVM分類.

SVM分類函數作為評價函數f，其分類結果用混淆矩陣表示，混淆矩陣對角線元素的值為決策狀態值，閾值(α，β)依據決策狀態值來人為設定，三分到POS域、BND域和NEG域的花卉圖像類別如公式(6)所示，精度的求取如公式(7)所示.

POS={POS1(α1，β1)，POS2(α2，β2)，POS3(α3，β3)}

BND={BND2(α2，β2)，BND3(α3，β3)}

NEG={NEG2(α2，β2)，NEG3(α3，β3)}

(6)

average_precision=(sum(max(POS1))+sum(diag(BND1))

+sum(diag(NEG1)))/nclasses

(7)

5.1 花卉圖像集

為便于實驗結果的對比分析，本文采用牛津大學VGG小組的Oxford-17-flowers和Oxford-102-flowers花卉圖像集進行實驗.Oxford-17-flowers包括17類花卉，每類有80幅圖像，共1360幅.Oxford-102-flowers包含102類花卉，共8189幅圖像，其中訓練集每類10幅圖像，共1020幅圖像；驗證集每類10幅圖像，共1020幅圖像；測試集每類最少20幅圖像，共6149幅圖像.

由于花卉圖像屬于精細圖像的范疇，背景的復雜性會直接影響其分類效果，因此，首先對花卉圖像進行了主體分割，去掉了復雜的背景區域.本文采用的花卉主體分割方法如下[18]：1)對花卉原圖使用SLIC算法進行超像素劃分得到超像素圖；2)在超像素圖的基礎上利用基于圖的流形排序顯著性計算思想得到顯著圖；3)將得到顯著圖轉化為二值圖；4)在花卉原圖的基礎上填充二值圖的白色部分得到主體圖.然后在主體圖的基礎上進行特征的提取并分類.

5.2 13類花卉實驗結果

5.2.1 閾值對分類精度的影響

文獻[19]考慮到Oxford-17-flowers中的Bluebell、Cowslip、LilyVallery和Snowdrop這四類花卉圖像分割效果差，因此采用除此之外的13類花卉進行實驗.本文參照文獻[19]，隨機選取三組花卉圖像進行實驗，每類隨機選取30幅圖像作為訓練集，15幅圖像作為測試集.選取不同的閾值(α1，β1)，對應的分類精度不同，如圖2所示.

圖2 Oxford-13-flowers不同的閾值對應的分類精度 Fig.2 Classification precision of Oxford-13-flowers corresponding to different threshold(α1，β1)

圖2中α1=0，β1=0時，即直接融合HSV顏色特征和SIFT特征進行分類，精度為83.59%，但基于三支決策，在多組不同的閾值(α1，β1)取值情況下，分類精度均明顯高于直接分類的精度83.59%，最高達到89.23%，證明了本文所提方法的有效性.

5.2.2 類別數對分類精度的影響

選取不同的閾值(α1，β1)，三分到三個域的花卉圖像類別數不同，如表1所示為參照文獻[19]進行的三組實驗中，選取不同閾值的情況下，三分到POS1域、BND1域和NEG1域的花卉圖像類別數.由表1和圖2可知，三分到三個域的類別數影響分類精度，BND1域的類別數大于或者等于NEG1域的類別數時，分類精度相對高.這是因為特征的可區分性不同，相對而言，本文所提取的HSV顏色特征和SIFT特征對POS1域的圖像可區分性最高，BND1域次之，NEG1域最差.其他實驗情況類似，不再贅述.

表1 不同閾值(α1，β1)對應的花卉圖像類別數Table1 Number of classes of flower images corresponding to different threshold(α1，β1)

5.2.3 域之間轉移分析

1)提取新特征實現域之間轉移

表1第一組花卉圖像實驗中，利用HSV顏色特征進行SVM分類，當(α1，β1)取(0.9，0.5)時，對應的決策狀態值如表2所示.由表2可知，利用HSV特征分類三分到POS1域中的花卉為Fritillary和Winderflower共2類，三分到BND1 域的花卉為Buttercup、ColtsFoot、Crocus、Daisy、Dandelion、Iris、Pansy、Sunflower和Tigerlily共9類；三分到NEG1域的花卉類別為Daffodil和WildTulip共2類，即：POS1={Fritillary，Winderflower}，BND1={Crocus，Buttercup，ColtsFoot，Daisy，Dandelion，Iris，Pansy，Sunflower，Tigerlily}，NEG1={Daffodil，WildTulip}.

表2 HSV特征分類結果Table 2 Classification results of HSV feature

為了證明域之間的轉移，此處(α2，β2)和(α3，β3)都取(0.9，0.5).融合HSV特征和SIFT特征后，NEG1域三分到POS2域中的花卉為Daffodil共1類，三分到BND2域中的花卉為WildTulip共1類，三分到NEG2域中0類，即：POS2={Daffodil}，BND2={WildTulip}，NEG2=?.BND1域三分到POS3域中的花卉為Daisy和Sunflower共2類，三分到BND3域中的花卉為Buttercup、ColtsFoot、Crocus、Dandelion、Iris、Pansy和Tigerlily共7類，三分到NEG3域0類，即：POS3={Daisy，Sunflower}，BND3={Buttercup，ColtsFoot，Crocus，Dandelion，Iris，Pansy，Tigerlily}，NEG3=?.依據P-B-N轉移規則，POS1域的花卉是正確分類的花卉，不再進行處理，NEG1域由于新特征的提取向靠近POS2域和BND2域的方向轉移，而BND1域向靠近POS3域的方向轉移.最終POS域的類別數由2類變為5類，BND域的類別數由9類變為8類，NEG域的類別數由3類變為0類，即：POS={POS1，POS2，POS3}={Daisy，Daffodil，Winderflower，Fritillary，Sunflower}，BND={BND1，BND2，BND3}={Iris，Buttercup，ColtsFoot，Crocus，Dandelion，Tigerlily，WildTulip，Pansy}，NEG={NEG1，NEG2，NEG3}=?.

2)增加視覺詞典維數實現域之間轉移

利用HSV顏色特征分類，顏色詞典維度與分類精度關系如圖3所示，以表1第一組實驗為例，(α1，β1)取(0.9，0.5).當顏色詞典維度V=5時，三分到三個域的類別數分別為：POS1域0類，BND1域5類，NEG1域8類，即：POS1=?，BND1={ColtsFoot，Iris，Sunflower，Tigerlily，Winderflowr}，NEG1={Buttercup，Crocus，Daffodil，Daisy，Dandelion，Fritillary，Pansy，WildTulip}.顏色詞典維度V=60時，精度隨詞典維度的變化趨于穩定，此時三分到三個域的類別數分別為：POS1域2類，BND1域9類，NEG1域2類，即：POS1={Fritillary，Winderflower}，BND1={Iris，Buttercup，ColtsFoot，Dandelion，Sunflower，Tigerlily，Crocus，Daisy，Pansy}，NEG1={Daffodil，WildTulip}.此時，POS1域由0類變為2類，BND1域由5類變為9類，NEG1域由8類變為2類.NEG1域和BND1域由于顏色詞典維度的增加，獲取到的圖像信息增加，從而向靠近POS1域的方向轉移，實現了域之間的轉移.其他閾值情況類似，不再贅述.

圖3 精度與顏色詞典維度關系Fig.3 Relationship between the precision and thecolor dictionary dimension

5.3 16類花卉實驗結果

文獻[20]使用Oxford-17-flowers中除Dandelion外的16類花卉進行實驗，每類選取50幅圖像作為訓練集，25幅圖像作為測試集.不同的閾值對應的分類精度如圖4所示.

圖4 Oxford-16-flowers不同的閾值對應的分類精度 Fig.4 Classification precision of Oxford-16-flowers corresponding to different threshold(α1，β1)

圖4中α1=0，β1=0時，即直接融合HSV顏色特征和SIFT特征進行分類，精度為78%，而基于三支決策，在多組不同的閾值(α1，β1)取值情況下，分類精度均明顯高于直接分類的精度78%，分類精度最高達到83.5%.證明了本文所提方法的有效性.閾值(α1，β1)取不同的值，三分到三個域的圖像類別數如表3所示.

表3 不同閾值(α1，β1)對應的花卉圖像類別數Table 3 Number of classes of flower images corresponding to different threshold(α1，β1)

5.4 102類花卉實驗結果

Oxford-102-flowers已經將訓練集和測試集分類，直接調用即可.訓練集和驗證集共2040幅圖像作為訓練集，其余6149幅圖像作為測試集.由于每類測試圖像的數量不同，本文選用類精度的平均值作為最終分類結果(而不是正確分類圖像數目的平均值).不同的閾值對應的分類精度如圖5所示.

圖5 Oxford-102-flowers不同的閾值對應的分類精度 Fig.5 Classification precision of Oxford-102-flowers corresponding to different threshold(α1，β1)

圖5中α1=0，β1=0時，即直接融合HSV顏色特征和SIFT特征進行分類，精度為54.46%，而基于三支決策，選取多組不同的閾值，分類精度均明顯高于直接分類的精度，分類精度最高達到62.89%.證明了本文所提方法的有效性.閾值(α1，β1)取不同的值，三分到三個域的圖像類別數如表4所示.

表4 不同閾值(α1，β1)對應的花卉圖像類別數Table 4 Number of classes of flower images corresponding to different threshold(α1，β1)

5.5 實驗對比

綜合以上在13類花卉、16類花卉以及102類花卉三組數據集中進行的實驗，如圖6所示，清晰地表明本文所提基于三支決策的花卉圖像分類方法相比于直接融合特征進行分類均有5%左右精度的提高，具有一定的優勢.

圖6 三支分類與直接分類對比Fig.6 Three-way classification compared with the direct classification

為驗證本文所提方法的優勢，將本文實驗結果與其它文獻實驗結果進行比較分析.如表5所示，文獻[19]在13類花卉圖像集上基于一種新的顏色特征提取的方法，對花卉圖像提取的Lab特征和SURF特征進行加權融合，并用SVM作為分類器，分類精度達到84.01%；文獻[20]對各種梯度和二元描述符在平移、旋轉和縮放等方面的效率和魯棒性進行經驗性評估，并在16類花卉圖像集上使用SVM分類器，提取SIFT特征后分類精度為78.06%；文獻[21]在102類花卉圖像集上首先進行花卉主體分割，其次使用兩種不同的卷積神經網絡結構GoogleNet和AlexNet進行分類，GoogleNet的top-1精度為47.15%，top-5精度為69.17%，AlexNet的top-1精度為43.39%，top-5精度為68.68%.

表5 本文方法與其它文獻方法實驗結果對比Table 5 Method in the paper compared with the methods of other papers

本文在13類花卉、16類花卉以及102類花卉圖像集上分別提取HSV特征和SIFT特征，使用SVM作為分類器，基于三支決策進行分類，分類精度分別達到89.23%、83.50%和62.89%，相比于文獻[19-21]具有一定的優勢.

6 結束語

本文提出了一種基于三支決策的花卉圖像分類方法，通過延遲決策，獲取了更多的圖像信息，有效地提高了花卉圖像的分類精度.下一步的工作是研究該方法中閾值(α，β)的取值，以及構建新的轉移規則，從而達到POS域、BND域和NEG域的最優劃分，進一步提高花卉圖像分類精度.