特征選擇和聚類分析的圖像分類模型

彭娟

摘 要： 針對當前圖像分類模型無法滿足實際應用要求的難題，為了得到更優的圖像分類效果，提出特征選擇和聚類分析相融合的圖像分類模型。首先提取圖像的原始特征，采用主成分分析對圖像特征進行選擇，然后采用聚類分析算法對圖像樣本進行處理，選擇與待分類圖像相關的樣本，減少訓練樣本的規模，最后采用支持向量機建立圖像分類器，對標準圖像庫中的圖像進行分類實驗。實驗結果表明，該模型減少了圖像分類的特征和圖像分類的訓練樣本，加快了圖像分類建模的速度，同時圖像分類正確率明顯高于其他圖像分類模型。

關鍵詞： 圖像處理； 原始特征； 聚類分析算法； 圖像分類器

中圖分類號： TN911.73?34； TP181 文獻標識碼： A 文章編號： 1004?373X（2017）19?0079?04

Image classification model based on feature selection and clustering analysis

PENG Juan

（Chongqing Institute of Engineering， Chongqing 400056， China）

Abstract： Aiming at the problem that the current image classification model cannot meet the requirements of practical application， an image classification model based on feature selection and clustering analysis is proposed to obtain better results of image classification. First， the original image features are extracted and the principal component analysis （PCA） is used to select the image features. Then， the clustering analysis algorithm is adopted to process image samples， select samples relevant to the images waiting for classification， and reduce the scale of training samples. Finally， the support vector machine is used to construct the image classifier and classification experiments are carried out for images in the standard image database. The results show that， by using this model， the features and training samples of image classification are reduced， the image classification modeling is sped up， and the correctness of image classification is obviously higher than that of other image classification models.

Keywords： image processing； original feature； clustering analysis algorithm； image classifier

0 引 言

圖像分類是圖像處理研究領域中一個重要方向，廣泛應用于軍事、工業生產、圖像分析、醫學以及環境保護等領域[1]。圖像分類過程十分復雜，到目前為止，圖像分類過程還存在一些待解決的難題，獲得理想的圖像分類效果面臨巨大挑戰[2?3]。

特征提取和選擇是獲得理想圖像分類結果的基礎[4]。當前圖像分類特征很多，如紋理特征、顏色特征等，為了更好地描述圖像類別信息，人們盡可能多的提取圖像特征，使得圖像的特征數量急劇增加[5]。圖像特征數量大給圖像分類帶來兩個方面的難題：一是圖像分類器的輸入維數高，結構十分復雜，設計合理結構的圖像分類器難度增加，使圖像分類速度急劇變慢；二是特征數量增加，特征之間不可避免地存在一定的線性或者非線性關系，特征之間的信息冗余更加嚴重[6?7]。為了解決特征數量大的難題，通常情況下對圖像進行降維處理，當前特征降維方法眾多，如判別分析[8]，由于判別分析只能選擇圖像分類的線性特征，特征選擇的速度慢，應用效果不太明顯[9]。主成分分析（PCA）是一種性能優異的特征降維算法，在有效降低特征維數的同時，去除了圖像特征之間的相關性，成為當前圖像分類特征主要選擇的算法。訓練樣本選擇是保證獲得分類正確率高的關鍵技術，訓練樣本數量太多，圖像分類訓練時間增加，而且一些無效訓練樣本對圖像分類結果產生干擾，反而使得圖像分類正確率下降[10?11]。聚類分析算法可將訓練樣本劃分為不同的類別，根據每一種類別與待分類圖像樣本間的關系，選擇最優樣本組成訓練樣本，降低訓練樣本的規模，改善圖像分類的效率[12]。

針對當前圖像分類模型無法滿足實際應用要求的難題，為了得到更優的圖像分類效果，提出特征選擇和聚類分析相融合的圖像分類模型。實驗結果表明，該模型減少了圖像分類的特征和圖像分類的訓練樣本，加快了圖像分類建模速度。

1 圖像分類模型的結構

基于特征和聚類分析的圖像分類思想：采用主成分分析算法解決圖像分類特征選擇問題，采用聚類算法解決圖像分類訓練樣本的選擇問題，最后采用支持向量機設計圖像分類器，該模型的結構如圖1所示。

2 圖像分類模型的詳細描述

2.1 圖像特征

方向梯度直方圖可以很好地描述圖像信息，工作步驟如下：

Step1：由于采集圖像大小、顏色空間不一樣，首先對圖像大小進行標準化處理，使它們的大小、尺寸相同，然后將全部圖像均轉換成為灰度圖像。

Step2：計算圖像的梯度，圖像梯度對提取圖像特征十分重要，通常采用Sobel算子計算圖像的差分，作為圖像梯度值。

Step3：計算圖像梯度方向的權值，具體為：

[x（i）=cosθ] （1）

[y（i）=sinθ] （2）

[θ=θ+πNdirection+1] （3）

式中：[i]表示方向編號；[θ]表示角度；[x（i）]和[y（i）]表示[x]軸和[y]軸上[i]方向權值。

Step4：所有特征組合成一個特征向量，則有：

[B（x）=C（x）-B（size）+1B（step）] （4）

式中：[B（x）]和[B（size）]分別為[x]軸方向的塊數和大小；[C（x）]為單元格[x]軸的數值；[B（step）]表示塊變化步長。

Step5：將不同方向和塊上的特征值相加，得到梯度直方圖，特征具體如圖2所示。

方向梯度直方圖特征在空間中高度耦合，需要對方向梯度直方圖特征進行處理，消除它們的關聯性。對[d]維、[n]行的特征[X]進行如下變換：

[Y=WX] （5）

式中：[Y]為變換后的特征；[W]是矩陣。

為了消除[W]的關聯度，必需滿足如下條件：

[YYT=（n-1）I] （6）

設[W=WT]，那么[W]的計算公式為：

[W=n-1（XXT）-12] （7）

由于圖像尺度不相同，因此需要進行隨機采樣，即有：

[Z=subsample（Y，m）] （8）

式中：[Z]表示采樣后的特征；[m]表示特征維數；subsample表示采集函數。

2.2 PCA選擇特征

主成分分析通過K?L變換對信息量少的特征進行抑制，有效減少特征的維數，得到圖像特征的主成分，它們包含了圖像的原始信息，加快圖像分類速度。設[N]個特征為[{x1，x2，…，xN}，]每個特征只屬于[C]類中的一類。對原始特征進行線性變換，得到[m]維特征，且滿足[yk∈Rm，]線性變換具體為：

[yn=WTxk， k=1，2，…，N] （9）

式中[W]表示一個正交矩陣。

全部樣本的散點矩陣為：

[ST=k=1N（xk-μ）（xk-μ）T] （10）

式中[μ∈Rn]表示全部樣本的均值。

采用線性變換對特征降維結果進行描述：

[Wopt=argmaxWWTSTW=[w1，w2，…，wm]] （11）

式中[wii=1，2，…，m]表示原始特征空間的[m]個特征向量。

2.3 訓練樣本的選擇

均值聚類算法是一種性能較好的數據聚類分析算法，根據樣本與聚類中心之間的相似性度，確定最優聚類，選擇最優的圖像分類訓練樣本。設圖像[I=f（x，y），0≤x

[J（Q，P）=i=1Ck=1nqik（x，y）mDx（x，y）2] （12）

式中：[Q=qik（x，u）]表示分類矩陣；[P=[p1，p2，…，pC]]表示聚類中心；[m∈[1，∞）]表示權指數；[Dx（x，y）]為[f（x，y）]與[pk]之間的距離，計算公式為：

[Dx（x，y）2=f（x，y）-pk2] （13）

2.4 圖像分類器

采用支持向量機建立圖像分類器，最優分類面可以描述為：

[yiψ（xi），ω+b≥1， i=1，2，…，n] （14）

式中[n]為樣本的規模。

要確定最優分類面，必須確定參數[ω，b]的值，引入負松弛變量，式（14）可以變為：

[yiψ（xi），ω+b≥1-ζi， i=1，2，…，n] （15）

式中[ζi（i=1，2，…，n）]表示負松弛變量。

引入懲罰因子[C>0]加快分類面的構建，那么可以得到：

[minψ（ω）=12ω2+Ci=1nζis.t. yiψ（xi），ω+b≥1-ζii=1，2，…，n] （16）

引入Lagrange算子[αi]得到：

[maxW（α）=i=1nαi-12i，j=1nαiαjyiyjψ（xi）ψ（yj）s.t. 0≤αi≤Ci=1nαiyi=0] （17）

圖像分類的判別函數為：

[f（x）=ωψ（x）+b=i∈SVαiψ（xi）ψ（x）+b] （18）

采用核函數代表內積，[K（x，xi）=ψ（xi）ψ（x）]，選擇RBF函數，其為：

[K（x，y）=exp-x-y22σ2] （19）

式中[σ]為核參數。

圖像分類為一個多分類問題，采用“一對一”建立圖像分類器。設經過樣本選擇和特征選擇的圖像訓練集為[y1，x1，μx1，…，yn，xn，μxn，]圖像分類的最終分類面的解為：

[Φ（ω，ξ）=12ω2+Ci=1nμ（xi）ξis.t. yiωT，zi+b-1+ξi≥0ξi≥0] （20）

引入核函數，得到最優分類面的判斷方程為：

[f（x）=sgnxi∈SVαiyiK（xi，x）+bs.t. 0≤αi≤μ（xi）Ci=1，2，…，n] （21）

3 圖像分類的實驗結果與分析

為了分析特征選擇和聚類分析的圖像分類模型的性能，采用VC++進行圖像分類程序。選擇PASCAL VOC 2012圖像數據中的圖像進行仿真實驗，其包含20種圖像，它們的樣本分布如表1所示。

采用圖像分類的誤分率、正確率和拒分率的平均值對分類結果進行分析，選擇沒有特征選擇+聚類分析（model1），主成分分析選擇特征+沒有聚類分析（model2）進行對比測試，本文模型記為model3，每一種模型均進行5次實驗，實驗結果如圖3～圖5所示。對它們進行對比和分析，可以得到：

（1） model1的圖像分類時間要多于model3，而且分類效果要差于model3，這是因為model1只是采用主成分分析對特征進行選擇和優化，減少了分類器的輸入向量數，但由于采用聚類分析處理訓練樣本，導致訓練樣本數量太大，增加了分類器的訓練時間，再加上樣本之間的互相影響，對圖像分類結果產生干擾，導致圖像分類結果不理想。

（2） 相對于model2，model3（本文模型）提高了圖像分類的正確率，誤分率和拒分率也相應得到了降低，這是因為model2只對訓練樣本進行了選擇，沒有實現特征降維操作，而model3從特征降維和訓練樣本兩個方面進行了處理，減少了特征和訓練樣本的規模，加快了圖像分類的速度，獲得了正確率更高的圖像分類結果。

4 結 論

在圖像分類的建模過程中，首先要解決圖像特征提取和選擇問題，針對圖像特征數量大，對圖像分類效率和分類結果產生負面影響的難題，引入主成分分析對圖像分類特征進行降維操作，減少特征數，并保留一些重要特征實現圖像分類，然后針對訓練樣本對圖像分類過程的影響，引入聚類分析算法對訓練樣本進行聚類，選取與分類圖像類別最相近的樣本組成訓練集，大幅度減少訓練樣本的規模，降低圖像分類的計算時間復雜度，最后通過支持向量機實現圖像分類，圖像分類結果表明，該模型的分類性能要明顯優于其他圖像分類模型，驗證了本文模型的優越性。

在圖像分類過程中，由于分類器參數設計對圖像的分類結果也產生影響，因此如何對圖像分類器進行優化，進一步提高圖像分類的效果是將來進行研究的方向。

參考文獻

[1] LU D， WENG Q. A survey of image classification methods and techniques for improving classification performance [J]. International journal of remote sensing， 2007， 28（5）： 823?870.

[2] 何友松，吳煒，陳默，等.基于Bag of Features算法的車輛圖像識別研究[J].電視技術，2009，12（33）：104?107.

[3] 陳凱，肖國強，潘珍，等.單尺度詞袋模型圖像分類方法[J].計算機應用研究，2011，28（10）：3986?3988.

[4] 張江，王年，梁棟，等.基于非負矩陣分解與鄰接譜的圖像分類[J].中國科學技術大學學報，2008，38（3）：247?251.

[5] GOULD S. DARWIN： a framework for machine learning and computer vision research and development [J]. Journal of machine learning research， 2012， 13（1）： 3533?3537.

[6] EVERINGHAM M， GOOL L V， WILLIAMS C K I， et al. The PASCAL visual object classes （VOC） challenge [J]. International journal of computer vision， 2010， 88（2）： 303?338.

[7] 楊國慶，崔榮一.基于紋理特征的自然圖像鑒別方法[J].計算機應用研究，2010，27（7）：2784?2785.

[8] 朱飛，王興起.基于SIFT 算法的體育類圖像分類與應用研究[J].計算機應用與軟件，2011，28（10）：232?234.

[9] 吳健，盛勝利，趙朋朋，等.最小采樣差異的主動學習圖像分類方法[J].通信學報，2014，35（1）：107?114.

[10] 李大湘，彭進業，賀靜芳.基于EMD?CkNN多示例學習算法的圖像分類[J].光電子·激光，2010，21（2）：304?306.

[11] 狄文羽，何明一，梅少輝.基于快速非負矩陣分解和RBF網絡的高光譜圖像分類算法[J].遙感技術與應用，2009（3）：385?390.

[12] 付巖，王耀威，王偉強，等.SVM用于基于內容的自然圖像分類和檢索[J].計算機學報，2003，26（10）：1261?1265.

[13] 謝文蘭，石躍祥，肖平.應用BP神經網絡對自然圖像分類[J].計算機工程與應用，2010，46（2）：163?166.