一種圖像多級分類方法

翟艷東，于 明，王 巖，韓淑珍

(河北工業大學 計算機科學與軟件學院，天津300401)

責任編輯:時 雯

目前，互聯網上的圖像數量迅速增長。如果不按一定的規則對這些圖像進行管理，那么必將給用戶的使用帶來諸多不便。圖像分類以分類速度快、節省人力等優勢有助于克服海量圖像帶來的難關。

在對圖像進行分類時，不同用戶有不同的需求，即使是同一個用戶在不同的時期也可能會有不同的需求。針對這種需求變化，為了滿足不同的圖像管理需要，提出一種適用性更強的圖像分類方法迫在眉睫。另外，考慮到某一顯著的單一特征通常能夠快速且準確地分類差別非常大的圖像，因此將這一思想引進到圖像自動分類管理中，首先按照不同的單一顯著特征對圖像進行粗分類，粗分類之后再融合其余的底層特征對圖像進行更細一層的分類。每一層分類時選擇的圖像特征不同，分類結果也會有所不同，這樣就可以按照不同需求將圖像分為多種不同的類別。

本文通過分析對比實驗結果，研究不同特征向量對圖像分類的影響。并根據圖像之間存在的不同顯著特征，實現一種新的多級分類方法。該分類方法具有更好的適用性，也更加符合人們通過計算機自動管理圖像的實際需要。

1 不同圖像特征提取方法研究

通過分析確定最能凸顯圖像內容的底層特征包括顏色[1]、紋理和邊緣，完成圖像底層特征的提取。重點研究各底層特征的不同提取方法，通過比對不同特征提取方法提取的特征向量對圖像分類結果的影響以及維數的大小等因素，確定顏色特征、紋理特征和邊緣特征的最終提取方法。

1.1 基于HSV空間的顏色矩特征提取

常用的顏色特征主要包括空間顏色直方圖、顏色集、顏色聚合向量和顏色相關圖等。但這些算法都需要事先對圖像進行相應的量化處理，容易導致圖像的誤分類。此外，在提取特征時并沒有將像素之間的關聯考慮在內，而且特征向量維數較高。1996年Stricker和Orengo對顏色直方圖的提取進行了改進，提出新的概念顏色矩(color moments)[2]。這種方法建立在圖像中任何的顏色分布都可以用它的矩來表示的數學基礎之上。圖像的信息主要集中在圖像的低階矩中，僅用一階矩(mean)、二階矩(variance)和三階矩(skewness)就能夠充分表達整幅圖像的顏色分布。圖1為實驗所用的6類圖像的示例圖，計算了6幅圖像在H，S和V通道的9個顏色矩特征，結果如表1示。

圖1 實驗圖像類別示例

1.2 紋理特征提取

常見的方法中Gabor濾波對圖像的紋理特征具有良好的選擇性，可以很好地捕捉到與空間位置、空間頻率相對應的紋理信息，所提取圖像紋理特征最為有效，因此采用Gabor變換進行紋理特征提取。本文在提取紋理特征向量時需要對4個方向的紋理特征圖進行量化處理，這里首先將生成的每一幅特征圖像都劃分為固定的4×4共16個子塊，再對每個子塊區域的所有像素值求取平均值[3]，這樣就得到4×4×4=64維的紋理特征向量，用于下面的圖像分類實驗。

表1 示例圖像顏色矩結果值

1.3 基于Canny算子的邊緣方向直方圖特征提取

常用的邊緣檢測算子有Sobel算子、Prewitt算子和Laplacian算子等。Canny算子是一類非常優秀的邊緣檢測算子，計算流程主要包括濾波、增強和檢測。

圖像的邊緣方向直方圖特征是一種基于圖像邊緣的統計特征，由于其不僅可以很好地反映圖像的形狀信息以及方向信息，而且具有較高的運算速度等優點在圖像處理領域得到廣泛應用，見圖2。

圖2 圖像邊緣方向直方圖

邊緣方向直方圖特征[4]的提取過程如下:

1)將圖像進行灰度化，得到灰度圖像I;

2)對圖像用邊緣算子Canny進行運算，并得到(x，y)點的dx和dy;

3)計算各像素點的邊緣方向θ(x，y)=arctan(dx/dy);

4)將邊緣方向的角度值進行量化，將[-180°，180°]每10°分一組量化為36級;

5)對邊緣方向θ進行直方圖統計。

圖2左上圖為原始的256×256像素的標準Lena圖像，左下圖為原始圖像采用Canny算子提取的邊緣特征圖。右圖為對邊緣方向的角度進行量化后的直方圖統計結果。從圖中可以看出各角度的統計值之間存在很大的差別，不同類別的圖像之間也存在著很大差異。因此，將其應用到圖像分類中是一種非常有效的特征。考慮到計算簡單、維數少且分類有效等優點，本文采用邊緣方向直方圖來表示邊緣特征。

圖像的顏色、紋理和邊緣特征的提取為實現圖像的自動分類提供了必要的數據準備。每一種圖像的底層特征都影響著人類依靠自身視覺分辨圖像的能力，起著至關重要的作用。因此，依據圖像的底層特征來實現對圖像的自動分類管理是一項非常有意義的研究工作。

2 圖像分類結果與分析

2.1 基于單一特征的分類結果與分析

按照第1節中介紹的方法隨機選取訓練樣本和測試樣本，將不同的單一特征分別作為SVM的輸入向量對圖像進行分類實驗[5-7]。這里隨機選取了6組數據進行分類實驗，統計的分類正確率為6組正確率的算數平均值。分類結果統計表如表2所示。

表2 單一特征分類結果統計表

從表2的數據對比可以看出3種單一特征作為SVM的輸入進行分類時的優劣:Gabor紋理特征的整體分類效果要優于顏色矩特征和邊緣方向直方圖特征，尤其是樹木類和花朵類圖像相對于其他兩種特征均有很顯著的提高，可以得出Gabor紋理針對自然類圖像的分類具有很好的區分效果;邊緣方向直方圖特征的整體分類效果最差。但是對巴士類圖像卻具有最佳的識別效果，由于巴士類圖像的邊緣特征十分顯著。除此之外，建筑類圖像的分類效果也得到了一定的改善，因此邊緣方向直方圖特征適用于區分人造場景與其余類別的圖像;顏色矩特征相對于Gabor紋理和邊緣方向直方圖特征，對每一類圖像的分類正確率相對平均，整體的分類正確率也介于Gabor紋理和邊緣方向直方圖之間，但因其計算簡單、維數小等特點仍然是分類中經常選用的分類特征。

2.2 基于組合特征的分類結果與分析

將不同的組合特征作為SVM的輸入向量按照2.1節中介紹的方法對圖像進行分類實驗。分類結果統計表如表3所示。對比表2與表3可以看出，采用組合特征進行圖像分類的分類正確率要明顯優于僅采用單一特征進行分類。尤其是建筑類和山脈類圖像，較單一特征分類正確率得到明顯提高。但具有顯著邊緣特征的巴士類圖像和具有顯著紋理特征的樹木類圖像在采用不包含其顯著特征的其余兩種特征組合后的分類正確率卻比僅采用單一顯著特征有一定幅度的下降，剩下的兩類圖像的分類正確率均有不同程度的提升。

表3 組合特征分類結果統計表

3 多級圖像分類

3.1 多級分類的提出

通過表2可以看出將Gabor紋理作為SVM分類器的輸入向量進行分類實驗時，樹木類圖像的分類準確率能達到很高。當采用邊緣方向直方圖進行圖像分類實驗時，巴士類圖像能夠得到非常高的分類正確率。

考慮到單一顯著特征通常能夠快速且準確地分類差別非常大的圖像[8]，例如實驗圖像中辦公場所、建筑、巴士同屬于人造物體構成的圖像，樹木、山脈和花朵同屬于自然物體構成的圖像。人造物體與自然物體的邊緣特征差別很大，大多數人造物體含有比較規則的邊緣，而自然物體的邊緣卻非常復雜，沒有特定的規律。所以，僅使用邊緣特征就能很快地區分出人造物體構成的圖像和自然物體構成的圖像。但僅采用單一特征，卻不能夠很好地區分各類圖像之間存在的細微差別。因此，提出一種按照用戶的需求選擇不同的圖像特征對圖像進行粗分類，再利用第二級分類器融合其余的圖像特征對圖像進行細分類的多級分類方法。利用這種思想在達到更符合人類主觀判斷的分類結果的同時，得到更高的分類正確率。

輸入圖像之后，將圖像轉化為相同大小并且統一轉換為JPEG格式，以排除格式以及大小不同對分類結果造成的影響。圖像規范化之后提取圖像的底層視覺特征，包括顏色、紋理和邊緣以備后續分類時使用。提取特征之后，用戶可以按照自己的需求選擇某一特征對圖像進行粗分類。粗分類后的圖像如果沒有達到預期的結果可以選擇其他圖像特征對圖像進行粗分類。如果達到預期結果，則判斷是否需要組合其余的底層特征進行細分類，不需要的情況下直接返回分類結果。如果需要細分則按照細分類的實際需要融合其余的底層特征(這里可以是一種特征也可以是其余的幾種特征)，利用第二級分類器對圖像進行細分類處理，返回最終的分類結果。

3.2 實驗分析

針對人造物體構成的圖像和自然物體構成的圖像存在顯著的邊緣差異這一特點，首先按照邊緣特征將現有的圖像庫分成人造物體構成的圖像和自然物體構成的圖像兩類，人造物體構成的圖像包括辦公場所、建筑、巴士，自然物體構成的圖像包括樹木、山脈和花朵。按照如圖3所示的層次重新組織實驗中的6類圖像。重新組織后的圖像共進行以下實驗:

圖3 類別層次圖

第一層粗分類:人造物體圖像和自然物體圖像。

由于人造物體的邊緣比較規則而自然物體的邊緣相對復雜，因此邊緣特征對于人造物體構成的圖像和自然物體構成的圖像是一種非常顯著的分類特征。依據邊緣這一顯著特征，首先將圖庫中的6類圖像分為兩類:人造物體圖像和自然物體圖像。隨機選取每類圖像的3/4做為訓練集，剩余的1/4做為測試集。經實驗得到這兩類圖像的總的分類正確率為91.333 3%。

第二層細分類:

由上一節中的實驗數據對比分析可以看出，三類特征融合進行分類的效果比單一特征和任意兩種組合特征進行分類的正確率都要高。因此，在細分類的實驗中采取融合其余兩種特征的方法對圖像進行分類，以達到最好的分類效果，對多級分類方法的分類正確率進行研究。在此，本文分別對6類圖像采用單級分類和多級分類兩種方法進行分類實驗，并對每類圖像的分類正確率進行統計。分類正確率的對比結果如表4所示。

表4 兩種方法的分類結果對比表

通過表4的分類結果比較，可以看出利用本文多級分類方法后，辦公場所、建筑和花朵的分類正確率都有了顯著提高。樹木和山脈的分類正確率和單級分類相比基本持平。只有巴士類圖像的分類正確率有小幅度的降低。即采用多級分類方法后，多類圖像的分類正確率得到一定程度的提高，雖然個別類圖像分類正確率有小幅度降低，但整體的分類正確率依然較單級分類方法有所提高。經實驗分析，由于粗分類后縮小了再進行細分類的圖像的范圍，因此，避免了許多不相關圖像對其分類的影響，有助于提高細分類的正確率。

從實驗中可以看出多級分類與單級分類相比在分類正確率上表現出一定的優越性。而在實際應用中，由于待分類的圖像尚不確定，所以分類者可以根據具體情況選擇任意突出的顯著特征對圖像進行粗分類，再融合其余的底層特征對圖像進行細分類，以達到更高的分類正確率。該方法的按需選擇特征可以滿足分類者的不同分類需求，更加符合人類通過計算機來管理圖像的需要。

4 結論

多級分類可以廣泛應用于實際圖像分類中，對圖像源進行組織。這樣利用兩級分類器對圖像進行分類，使圖像具有更高的分類正確率，例如，可以按照顏色特征將互聯網上的圖像源進行粗分類，分成白天、夜晚和日出、日落，將白天的圖像再按邊緣特征分為室內和室外;也可以按照紋理特征將圖像組織為紋理圖像和非紋理圖像，再將非紋理圖像進行更細一層的分類。

除了具有更高的正確率之外，還可以應用于快速圖像分類。每層分類時的特征都是可選的，分類者可以按照自己的需求選取盡量少的顯著特征對圖像進行分類。這樣就縮短了特征提取的時間，能在一定程度上提高圖像分類的速度。

除此之外，多級分類的思想還可以應用到場景識別的研究工作中。在場景識別時可以首先按照顯著的特征區分差別比較大的場景，例如臥室和山脈、客廳和海岸線等。再利用可以反映圖像之間細微差別的紋理特征來區分相似類別的圖像，例如臥室和客廳、郊區和街道等，以期使場景圖像達到更高的分類正確率。

[1]龍清.基于顏色特征的電視圖像檢索[J].電視技術，2012，36(8):74-77.

[2]STRICKER M，ORENGO M.Similarity of color images[C]//Proc.SPIE Storage and Retrieval for Image and Video DatabasesⅢ.[S.l.]:SPIE Press，1995:381-392.

[3]邢慧強，王國宇.SVM用于基于塊劃分特征提取的圖像分類[J].微計算機信息，2006，22(5):210-212.

[4]孔英會，蘇亮.基于層次語義的圖像分類方法[J].計算機應用，2011，31(10):3045-3047.

[5]高錦.基于SVM的圖像分類[M].西安:西北大學，2010.

[6]羅會蘭，杜連平.一種SVM集成的圖像分類方法研究[J].電視技術，2012，36(23):45-48.

[7]MENG Xianglin，WANG Zhengzhi，WU Lizhen.Building global image features for scene recognition[J].Patter Recognition，2012(45):373-380.

[8]FLICKNER M.Query by image and video content:the QBIC project:querying images by content using color，texture，and shape[C]//Proc.SPIE Conf.on Storage and Retrieval for Image and Video Datacases.[S.l.]:SPIE Press，1993:173-187.