一種改進的圖像場景識別算法*

申龍斌，李 臻，魏志強**，劉 昊

(1.中國海洋大學信息科學與工程學院，山東 青島 266100;2.中國石化勝利油田分公司物探研究院，山東 東營 257022)

?

一種改進的圖像場景識別算法*

申龍斌1,2，李 臻1，魏志強1**，劉 昊1

(1.中國海洋大學信息科學與工程學院，山東 青島 266100;2.中國石化勝利油田分公司物探研究院，山東 東營 257022)

基于圖像的場景識別是目前計算機視覺研究的熱點之一，然而此前的場景識別算法存在分類結果準確率不高的問題。針對圖像場景識別首先提出一種改進的高斯差分采樣特征，在對圖像進行高斯差分濾波的基礎上，根據預先設定的模板進行采樣并作為圖像的基本特征，之后通過詞袋模型和空間金字塔算法生成圖像的特征直方圖。其次，提出了一種基于K近鄰修正的模糊支持向量機圖像場景分類算法，算法對現有的支持向量機算法進行改進，引入K近鄰算法對結果進行修正，實驗結果證明提出的特征的分類準確率較高，而且改進分類算法的結果也優于現有的算法。

高斯差分；支持向量機；場景識別；K近鄰算法

基于內容的圖像場景識別算法近年來受到了廣泛的關注，隨著圖像捕捉設備的日益普及，基于圖像的場景識別方法的應用范圍也在逐步擴大，包括醫療，監控，智能交通，視頻結構化等方面具有廣泛的應用價值。很多研究機構都對場景識別算法，尤其是其中的特征提取方法進行了專門的研究，并提出了多種特征。

基于RGB通道的彩色直方圖是最基本的圖像特征之一，基于色度的直方圖[1]，適應光線變化的可變性RGB直方圖[2]都為場景檢測提供了有效的特征。CEDD[3]特征合并了顏色和邊緣信息用于靜態圖像的檢索。SIFT[4]是目前最著名的圖像特征并被廣泛應用在了場景識別，對應點匹配等領域。針對SIFT算法也衍生出了許多相關的特征提取算法例如HSV-SIFT[5]，HueSIFT[1]，C-SIFT[6]等。LAPTEV等人[7]提出了一種聯合HOG和HOF特征的針對動態圖像的運動場景識別的算法。然而目前現有的特征也都存在對光照敏感，運算方法較為復雜或者計算量大等問題。

針對圖像的場景識別，本文首先提出了一種改進的高斯差分采樣(DS)特征進行圖像的低層特征的提取。原始的高斯差分采樣特征是基于灰度圖像的，本文將彩色信息加入到DS特征中，產生新的彩色DS特征，使特征能夠適應復雜光照，并且所包含的信息量更大。同時采用詞袋模型對所提取的彩色DS特征進行優化，生成在對應詞袋上的特征分布直方圖，并利用空間金字塔方法對直方圖進行分割，以確保局部信息不會丟失。最后提出了基于K近鄰(K-Nearest neighbor)算法修正的模糊支持向量機分類方法(KNN-FSVM)對圖像場景進行識別。整體算法流程見圖1。

圖1 算法流程

1 場景識別特征提取

1.1 高斯差分采樣(DoG Sampling)特征

對于場景識別的圖像特征，本文采用的高斯差分采樣(DS)特征[8]是基于高斯差分進行特征提取的方法。該方法類似于LBP[9]采樣算法，首先定義了以采樣點為中心，半徑為r的圓。對經過了高斯差分濾波之后的圖像在圓上采集r×8個點作為最終的特征，r一般取值為1,2或3。同時也可以選擇多個模板結合進行采樣，因此最終特征的維度為8～48維不等。對圖像選擇一個適合的模板，然后對圖像上的每個點根據模板采點，并將采樣到的點整合成一個特征。采樣模板如圖2所示，上面的3個模板分別表示為采樣半徑為1，2，3的采樣模板，下面3個模板則為復合模板。根據模板對經過高斯差分過濾的圖像進行特征提取，則可以得到高斯差分采樣(DS)特征。

圖2 采樣模板

1.2 改進的彩色DS特征提取算法

由于原始的DS特征提取算法僅考慮了灰度圖像的信息，并沒有融合顏色信息，會導致這些信息的缺失。因此本文提出了一種改進的彩色DS的特征提取算法。該特征考慮到了顏色對于場景識別的作用，將原始圖像分為RGB 3個通道分別進行DS特征提取，同時為了減少光照對于彩色圖像的影響，借鑒了Color SIFT的思想[10]對3個顏色通道進行歸一化，歸一化計算如式(1)所示：

(1)

其中：μR,μG,μB為圖像的RGB 3個通道的均值；σR,σG,σB為對應的3個通道的標準差。對于歸一化后的3個通道的顏色值分別進行高斯差分得到R'DoG，G'DoG，B'DoG，模板按照圖2所示提取r=1和r=2的復合模板進行采樣點的特征提取，由于當r為1時可以采樣8個點，r為2是可以采樣16個點，因此每個通道的特征為24維。將3個通道的特征拼接起來形成一個新的彩色DS特征，對于原始圖像上每一個點共有72維的彩色DS特征。

1.3 特征直方圖生成

對于一幅像素大小為480×640圖像，每一個點提取72維的特征并將所有點的特征連接起來會導致最終的特征維數十分巨大，對于分類算法的速度會有很大的影響。因此本文采用詞袋模型[11](Bag of Words)來簡化特征，該模型最初被應用在信息檢索領域，它忽略了一個文檔的單詞語序，語法等條件，僅僅計算每個單詞出現的次數，并且每個單詞的出現不依賴于其他單詞。對于圖像而言，一幅圖像可以被看作含有多個單詞的一份文檔，通過詞袋模型可以計算出每一個單詞出現的次數，將他們連接起來形成一個新的圖像的特征向量。

由于圖像中并不存在現成詞典，而且不同的特征所構建的詞典也是不同的，因此詞袋模型的關鍵問題就是如何生成詞典，一般采用K-均值(K-mean)算法[12]，首先設定詞典的大小，之后對低層特征進行k類的聚類，聚類后每一簇的中心作為一個詞典中的一個單詞。

由于直接通過詞袋模型產生的直方圖僅僅考慮了全局信息，而忽略了圖像內部布局的信息，會導致識別率的下降。因此本文采用了空間金字塔(Spatial pyramid)[13]的方法對圖像特征直方圖進行多解析度的分割，從而加入局部信息，以保證場景識別算法的魯棒性。

空間金字塔算法的核心在于計算不同網格尺度下的特征分布直方圖，并將不同網格尺度下獲得到的直方圖按照一定權重相加從而得到最終的合并直方圖來進行特征的提取。直方圖在不同尺度下的權重不同，網格越細密，則權重值越大。一般尺度取為2(見圖3)，第0層為全局直方圖，第一層將圖像分割為2×2的分塊，分別提取直方圖，第二層則將圖像分為4×4的分塊。每一層針對所有分塊分別提取直方圖，再將該層的所有直方圖連接起來。

圖3 空間金字塔模型

每一層的直方圖記為Ln,其中n為層級，則最終圖像的金字塔直方圖由式(2)得出

(2)

式中：N為金字塔總共的層數，對于圖像I，其SP特征記為SP(I)。通過空間金字塔算法可以將全局以及局部的特征信息融合在一起，更具有區分性以及統計性。

2 基于KNN修正的FSVM圖像場景分類器

2.1 傳統支持向量機(SVM)

在完成特征提取之后，需要采用機器學習的方法對場景進行分類，本文采用支持向量機(SVM)進行分類。支持向量機由統計學習理論發展[14]出來，是一種二類的判別式分類器，它基于結構風險最小化以及統計學理論中的VC維理論，構建出一個可以平衡學習能力與模型復雜度之間關系的分類器。它利用核方法將原本的特征通過非線性變換映射到另一個高維空間。并通過此種映射使得在原始空間中線性不可分的問題在變換后的空間中得到解決，并找到對應的最優的分界超平面。SVM的泛化能力較強，分類速度比較快，并且對訓練樣本的數量要求不高，能較為有效的解決傳統機器學習中的過擬合以及維數災難等問題，因此在大量的模式識別[15-16]應用中得到廣泛的利用。

由于SVM只能被用來進行二類問題的分類，而多類問題的分類需要通過多個分類器進行轉化。通常采用以下2種方法構建多個分類器。

(1)一對余方法(One Versus Rest)。對于n類問題，構建n個分類器，每個分類器將第n類與其他的各類區分開，第n類作為正類，其余的數據作為負類。進行判定時，將待識別樣本分別輸入n個分類器，若只有一個分類器的輸出值大于零則將該類作為樣本的類別，若有多個分類器的輸出值大于零則選取值最大的分類器所對應的類別。

(2)一對一方法(One Versus One) 。與OVR不同，一對一方法需要構建n(n-1)/2個分類器，所有類別兩兩之間都要訓練一個分類器，然后通過投票的方法進行判別。對于一個樣本經過所有的分類器判別之后，得到票數最多的類別就被認為是最終類別。

然而這2種方法都有許多不足，OVR方法的每個分類器所需要的樣本數量大，訓練時間長。而且兩類之間的樣本數量差別也很大，會導致過擬合問題的發生，同時也會存在某一個樣本不屬于任何分類的情況。而OVO的缺點在于會出現一個樣本同時屬于多個類別的情況。

為了解決SVM處理多類分類的情況，本文采用了基于模糊理論的多類SVM分類器(FSVM)，并提出了基于K近鄰修正的KNN-FSVM分類算法。

2.2 模糊SVM分類器

由于SVM分類過程中出現的噪音點及孤立點會對結果產生影響，Inoue T等人提出了模糊SVM[17]的算法，對每一類引入一個隸屬度mi，轉而通過計算mi來解決多類SVM分類中遇到的上述問題。

該方法定義了一個與第i類和第j類分界平面垂直的一維隸屬度函數為

(3)

其中:N為所有分類類別;Dij(x)為二類分類器的決策函數，則對于第i類其隸屬度則為mi(x)。

(4)

對于所有的類別計算得到其對應的隸屬度之后，可通過式(5)來計算一個待識別的樣本x的歸屬的類別。

(5)

隸屬度函數對不同的采樣點會取得不同的懲罰函數，與傳統SVM相比更加精確，準確率更高。

2.3 基于K近鄰修正的FSVM(KNN-FSVM)多類分類算法

K近鄰分類器[18]是模式識別算法中最基本的方法之一，該方法計算待識別樣本x與周圍最近的K個訓練樣本的類別情況，在這K個樣本中，屬于哪一個類的樣本的個數最多，則將待識別樣本標記為該類別，如公式(6)所示

(6)

(7)

本文將KNN算法應用在OVO的多類FSVM分類算法中，具體流程如圖4所示首先將訓練數據映射到高維空間，并采用基于OVO的多類FSVM分類器，對每一類獲得其對應的隸屬度值。同時提取出所有的分類器中的支持向量及其對應的類別作為KNN算法的訓練點，在此計算的是樣本與支持向量在高維特征空間中的距離，并采用KNN算法判斷待識別樣本的分類，并通過式(8)將KNN的算法結果與FSVM得到的隸屬度進行合并從而得到最終的分類結果。

(8)

其中:a為權重參數，基于OVO的FSVM分類器僅僅考慮了類別兩兩之間的關系，而沒有將所有類別融合到一起進行比較。因此KNN的引入可以看作是對原始結果的修正。同時，由于原始樣本數量較大，會導致KNN算法的不準確，通過FSVM僅提取分類的特征向量作為KNN的訓練集會大大減小KNN算法的時空復雜度，并提高算法效率。

圖4 KNN-FSVM算法

3 實驗結果

本文使用3000張圖片作為實驗數據對所提出的算法進行測試，同時與其他圖像場景分類算法進行對比實驗。

3.1 實驗數據

為了實現場景識別，本文選取了10個場景作為實驗用的場景，每個場景選取300張圖像作為測試集和訓練集，所有的數據都是由可穿戴設備進行捕捉。這10個場景見圖5,分別為：臥室(BD)，辦公室(OF)，實驗室(LB)，走廊(CR)，會議室(MR)，戶外(OD)，餐廳(DR)，商場(MA)，車內(IC)，廚房(KT)，圖像由10個被檢測者在佩戴可穿戴設備獲得。驗證方法同樣采用10次交叉驗證的方法，對于每一類場景的300張圖片隨機分成10份，每次選取其中的9份作為訓練集，另外一份作為測試集進行實驗，總計重復10次。

圖5 實驗數據

3.2 本文算法的實驗結果

表1為本文提出的場景識別算法的實驗結果，表中每一行表示每一類圖像場景的識別結果。算法檢測辦公室場景的識別率最高，而對于廚房，餐廳，走廊的識別率相對較低。這是由于這些場景下佩戴者的運動幅度較大，并且由于室內光線較暗導致圖像清晰度降低，從而影響圖像場景的識別率。例如廚房的場景會被會識別為餐廳或者實驗室。本算法的整體識別率可以達到89.32%。

表1 本文算法的實驗結果

3.3 與其他圖像特征的比較結果

本節比較了彩色DS特征與基于其它圖像特征如BoW-SIFT特征，GIST和原始的DS特征的場景識別結果(見表2)。其中彩色DS特征的識別率最高，其次，BoW-SIFT對本文構建的訓練數據庫的識別率也可以達到87.97%。但是SIFT算法的時間復雜度相比彩色DS特征復雜的多。未提取彩色信息的DS特征也同樣能夠取得較高的識別率，但是比彩色DS特征低，這說明改進的彩色DS特征所包含的信息更加全面，從而保證識別率更加準確。

表2 彩色DS特征與其他圖像特征的比較結果

3.4 與其他分類方法的比較結果

為了驗證本文提出的改進的KNN-FSVM分類器分類算法，本小節對不同的分類方法進行了比較。其中有標準SVM，FSVM，人工神經網絡。其結果如圖6所示，本文提出的算法的識別率最高，未經過KNN修正的算法識別率次之。因此經過KNN修正后可以提高FSVM算法識別的準確率及魯棒性。人工神經網絡方法在場景識別算法的表現并不理想。

圖6 與其他分類方法的比較結果

4 結語

為了提高基于圖像的場景識別的準確率，本文提出了一種基于彩色DS的特征提取算法，將彩色圖像的3個通道進行DoG濾波之后，對每一個通道的每一個點的周圍區域按照一定的順序進行采樣，并生成新的特征。并采用詞袋模型對特征進行簡化以加快運算速度，同時引入了金字塔直方圖以確保最終的圖像特征既包含全局信息，又包含局部信息，從而提高提取特征的可區分性和魯棒性。此外還提出了基于KNN修正的模糊SVM場景分類算法，將原有的模糊SVM分類器與K鄰近算法結合，在多類分類的問題上，首先采用FSVM分類器進行基于OVO的多類分類，同時對于所有的在分類過程中獲得的支持向量采用K近鄰算法進行二次分類，并將該分類結果與之前的結果相融合，從而提高分類算法的準確性。通過實驗結果證明基于彩色DS特征及KNN-FSVM分類器的場景識別算法都取得了較高的識別率，彩色DS特征的準確率高于目前常用的BoW-SIFT,Gist等特征,而基于KNN修正的FSVM分類算法所獲得的識別率也優于其他識別算法的獲得的結果。

[1] WEIJER J Van De, GEVERS T, BAGDANOV A D. Boosting color saliency in image feature detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(1): 150-156.

[2] REDDY S, PARKER A, HYMAN J, et al. Image browsing, processing, and clustering for participatory sensing: lessons from a DietSense prototype [C]// Proceedings of the 4th workshop on Embedded networked sensors. New York: ACM Press, 2007: 13-17.

[3] Chatzichristofis S A, Boutalis Y S. CEDD: Color and Edge Directivity Descriptor: A Compact Descriptor for Image Indexing and Retrieval [C]//Proceedings of the 6th International Conference on Computer Vision Systems. Berlin, Heidelberg: Springer-Verlag, 2008: 312-322.

[4] DUAN L, XU D, TSANG I W-H, et al. Visual event recognition in videos by learning from Web data [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(9): 1667-1680.

[5] BOSCH A, ZISSERMAN A, MUOZ X. Scene classification using a hybrid generative/discriminative approach [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(4): 712-727.

[6] ABDEL-HAKIM A E, FARAG A A. CSIFT: A SIFT descriptor with color invariant characteristics [C]//2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2006, 2: 1978-1983.

[7] LAPTEV I, MARSZALEK M, SCHMID C, et al. Learning realistic human actions from movies [C]//IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, Alaska: IEEE, 2008: 1-8.

[8] CAO Z, YIN Q, TANG X, et al. Face recognition with learning-based descriptor [C]//2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco, California: IEEE, 2010: 2707-2714.

[9] OJALA T, PIETIKINEN M, HARWOOD D. A comparative study of texture measures with classification based on featured distributions [J]. Pattern Recognition, 1996, 29(1): 51-59.

[10] VAN DE SANDE K E A, GEVERS T, SNOEK C G M. Evaluating color descriptors for object and scene recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1582-1596.

[11] FEI-FEI L, PERONA P. A bayesian hierarchical model for learning natural scene categories [C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2005, 2: 524-531.

[12] LEUNG T, MALIK J. Representing and recognizing the visual appearance of materials using three-dimensional textons [J]. International Journal of Computer Vision, Springer, 2001, 43(1): 29-44.

[13] LAZEBNIK S, SCHMID C, PONCE J. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories [C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2006, 2: 2169-2178.

[14] VN VN. Statistical learning theory[M]. New York: Wiley-Inter Science, 1998.

[15] CUMANI S, LAFACE P. Analysis of large-scale SVM training algorithms for language and speaker recognition [J]. IEEE Transactions on Audio, Speech, and Language Processing, 2012, 20(5): 1585-1596.

[16] LIU Y-H, CHEN Y-T. Face recognition using total margin-based adaptive fuzzy support vector machines [J]. IEEE Transactions on Neural Networks, 2007, 18(1): 178-192.

[17] INOUE T, ABE S. Fuzzy support vector machines for pattern classification [C]//International Joint Conference on Neural Networks. Washington DC: IEEE, 2001, 2: 1449-1454.

[18] 李蓉，葉世偉，史忠植. SVM_KNN分類器一種提高SVM分類精度的新方法 [J]. 電子學報, 2002(5): 745-748.

責任編輯 陳呈超

Research on Scene Recognition Based onK-Nearest Neighbor and Fuzzy Support Vector Machine

SHEN Long-Bin1, 2, LI Zhen1, WEI Zhi-Qiang1, LIU Hao1

(1 College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China; 2 Geophysical Research Institute, Shengli Oilfield Limited Company, Dongying 257022, China)

Scene recognition is one of the hotspot of computer vision.However, the accuracy of current scene recognition methods is not good.An improved feature based on Difference of Gaussian sampling is proposed for scene recognition in this paper.Through this feature, the image is filtered based on DoG，then features are sampled according to a predefined template, the bag of word and Spatial Pyramid are utilized to generate a feature histogram. Then, an improved KNN-FSVM classifier is proposed for scene recognition. The SVM is improved and the KNN is introduced to correct the results. Through experiments, it is demonstratedthat the proposed features extraction method improve the performance of scene recognition and the results of KNN-FSVM method is more accurate than other methods.

difference of Gaussian; support vector machine; scene recognition;K-nearest neighbor

國家自然科學基金項目(61202208)；青島市科技發展計劃項目(11-2-1-16-hy)資助

2013-08-17；

2013-09-16

申龍斌(1971-)，男，高級工程師。E-mail:slofslb@qq.com

** 通訊作者： E-mail:weizhiqiang@ouc.edu.cn

TP391

A

1672-5174(2015)04-116-06

10.16441/j.cnki.hdxb.20130327