一種用于圖像分類的語義增強線性編碼方法

肖文華包衛東 陳立棟 王 煒 張茂軍

(國防科技大學信息系統與管理學院 長沙 410073)

一種用于圖像分類的語義增強線性編碼方法

肖文華*包衛東 陳立棟 王 煒 張茂軍

(國防科技大學信息系統與管理學院 長沙 410073)

針對傳統編碼模型中存在的編碼歧義性問題，該文提出一種考慮特征上下文的語義增強線性編碼方法。首先，通過學習局部鄰域中特征共生關系矩陣來表示上下文信息。然后，在編碼過程中同時引入學習而得的上下文信息與特征上下文匹配權重得到語義增強編碼模型。由于上下文信息與上下文匹配權重的功能，使得此編碼方法不僅豐富了編碼的語義信息，還能夠有效避免噪聲帶來的影響。在3個基準數據集(Scene15, Caltech101以及 Caltech256)上充分的實驗驗證了該方法的有效性。

圖像分類；特征編碼；上下文約束；歧義性

1 引言

由于在機器人[1]，衛星與遙感[2,3]，醫學[4]等領域應用前景廣泛，自動圖像分類技術已受到全世界學者們持續增長的關注。在最近的圖像分類研究工作中，特征袋[5](Bag of Featue，BoF)是最流行也是最有效的模型。BoF主要包含以下通用步驟：特征提取，字典學習，特征編碼，池處理以及分類。在以上步驟中，特征編碼聯系了特征提取與池處理，是方法的核心部分，對圖像分類的精度以及速度都有很大影響[6]。由于特征編碼的關鍵作用，近年來對其編碼策略的研究已受到越來越廣泛的關注。

特征編碼可以被認為是選擇少量字典基并賦予相應的權重來表示特征的過程, 已有不少文章提出了不同的編碼方法。文獻[5,7]采用向量量化(Vector Quantization, VQ)方法，僅將特征編碼到離其最近的基上，簡單有效但是會產生較大的量化誤差。為了克服此缺點，文獻[8]提出一種更魯棒的軟向量量化 (Soft Vector Quantization, SVQ)方法，將特征編碼到所有字典基上，并以距離的高斯核函數作為分配權重，以減小量化誤差。其更進一步的改進是局部軟向量量化[9](Localized Soft Vector Quantization, LSVQ)，不同于SVQ將權重分布在所有基上，此方法將權重的分布限定在局部臨域。為了減小VQ方法存在的量化誤差， 文獻[10]提出了稀疏編碼(Sparse Coding, SC) 方法, 即通過稀疏約束將少量的字典基分配給特征，但其缺點是計算復雜度高并且對相似特征編碼時容易產生編碼不一致問題。此后，對SC的改進不斷涌現。文獻[11] 提出了一種局部約束線性編碼(Locality-constrained Linear Coding, LLC)方法，在保證稀疏性的同時克服SC方法復雜度高的問題。文獻[12] 提出了一種拉普拉斯稀疏編碼(Laplacian Sparse Coding, LSC)方法，解決了相似特征編碼的結果不一致問題。 然而，由于其中特征關系矩陣維數非常高，導致計算復雜度非常高。文獻[13]提出了空間金字塔魯棒稀疏編碼(Spatial Pyramid Robust Sparse Coding, SP-RSC)方法，克服了編碼時空間關系丟失問題, 而且還提出了拉普拉斯仿射稀疏編碼(Laplacian Affine Sparse Coding, LASC)方法[14]，將傾斜度與方向因子引入目標函數中，解決了成像時造成的特征判別性不強問題。

雖然，學者們對編碼模型提出了諸多改進，但編碼中存在的歧義性問題仍未得到解決。針對此問題，本文對LLC編碼方法進行改進，通過將上下文約束引入編碼過程中，提出一種語義增強線性編碼(Semantic enhanced Linear Coding, SLC)方法。本文的主要貢獻在于：(1)與傳統方法通過上下文思想學習高層特征不同，本文將上下文思想引入特征編碼中，并以共生矩陣對其進行描述，旨在解決編碼歧義問題。(2)通過在LLC模型上引入上下文約束和權重匹配，提出了語義增強的線性編碼模型。

2 編碼歧義問題

編碼歧義問題是由相似特征表示不同圖像而產生的。如圖1所示，A1與B1分別代表兩幅圖像中的正方形角點，具有相似特征F，但代表不同語義(表示不同圖像)。顯然，A1與B1應該采用不同的基進行編碼以更好地區分這兩幅圖像。而當利用前述方法(如VQ, SVQ, SC以及LLC)編碼時會得到相似編碼結果，達不到區分A1與B1的目的, 本文稱此問題為編碼歧義問題。

3 本文方法

圖1 編碼歧義示例

上下文思想是一種通過考慮特征鄰域增強判別性的思想，本文亦采用此思想解決以上問題。如圖1，當對A1與B1進行編碼時考慮其鄰近特征A2與 B2，判別性顯然增強了, 從而有利于區分A1與B1。上下文思想已在機器視覺領域(如圖像分類[15]和動作識別[16])廣泛應用，本文與其不同之處在于：傳統上下文思想主要利用上下文思想提取高層語義特征，而本文則將其引入特征編碼過程中。另外，鑒于LLC編碼的高效性以及其二范式約束項與上下文約束有著良好的契合性，本文選擇在此模型基礎上進行改進。基于以上思想，本文所提方法主要由兩個部分組成：描述上下文信息的共生矩陣構建以及語義增強線性編碼模型的建立，下面對這兩個方面作詳細介紹。

3.1 共生矩陣的構建

本文通過構建特征間共生關系矩陣描述上下文信息。方法基于如此觀測現象：對于一類特定場景或圖像來說，在其局部臨域，各圖像常常表現出相似的共生模式。例如，在臥室場景中，床、衣柜和枕頭往往呈現出共生關系。就特征層來講，作者認為這種模式能由圖像中局部臨域中特征之間的共生關系反映。本節，提出一種新穎而簡單的方法來描述這種關系，對于單副圖像共生關系矩陣的構建流程如圖2所示, 其詳細步驟所述為：

給定一訓練集，首先利用K均值算法[17](K-Means)構建大小為D的字典。對于一特定圖像類，記X ={xi∈RM, i∈1,2,…,Nt}為從此類選取的訓練特征集，其中xi為特征描述子，M為特征維數，Nt為特征個數。然后，基于字典D，通過K近鄰(KNearest Neighbor, K-NN)算法對這些特征進行標簽。記fi={xi,li,pi}為第i個特征，其中，li(1≤li≤D)對應于字典中基的索引號，pi={xi,yi}記錄了此特征中心所處的像素位置。因此，所有的特征可以被分成D個集合，記此集合為S={S1,S2,…,SD}，其中包含了所有標簽為i的特征，Ni為Si中特征個數。為了獲取局部特征間關系，定義特征fi的上下文域為

其中，?(pi)表示特征fi的局部臨域，本文以中心為pi，半徑為r的圓表示(如圖2中的圓)。顯然，fi的上下文域Ci包含了其局部臨域?(pi)中的所有特征。因而，對于集合Si中的第j個特征Sij，在其上下文域中，可以統計得到一D維的向量，其中(l=1,2,…,D)為Sij上下文中標簽為l的特征個數。對Si中所有特征得到的向量進行累加后，即可獲得第i個字典基的臨域分布直方圖hi

圖2 共生矩陣構造流程

不同關系矩陣，其灰度分布的顯著區別說明了

“Background_google”與 “accordion”局部上下文的差異性。作者認為這就是上下文信息能解決編碼歧義問題的原因所在。對所有類重復以上步驟后，就可以構建所有類的關系矩陣，記之為{H1,H2,…,Hnc}, nc為圖像類別數。

3.2 語義增強線性編碼

通過共生矩陣獲得上下文信息之后，將其集成到LLC[11]編碼模型中并對其進行改進。記=[x1, X x2,…,xN]∈RM×N為一從圖像中提取的M維特征集合。給定一維度為D的字典B=[b1,b2,…,bD]∈RM×D， (其中bi(i=1,2,…,D)為第i個字典基)以及所有類的關系矩陣[H1,H2,…,Hnc]，則可根據模板矩陣Hp,(p=1,2,…,nc)通過建立如式(3)所示的目標函數從而將上下文信息引入到編碼過程中

圖3 以深度圖表示的關系矩陣

其中，ci∈RD為xi的編碼結果，dfi表示xi與B在特征空間的距離，這與LLC[11]表示相同。不同之處在于dci和w的引入。dci表示xi與B的連接權重。詳細地,

其中，conn(xi,B)=[conn(xi,b1),conn(xi,b2),…, conn(xi,bD)]T，且conn(xi,bj)表示xi與bj之間的連接權重。σ為調整上下文空間局部權重因子下降速度的參數。λ為控制特征空間與上下文空間約束程度的參數。α代表了特征空間的局部約束權重而β代表了上下文空間的局部約束權重。實際上，α與β可以通過參數λ進行調節。本文引入這兩個參數的原因主要是為了在實驗階段研究dfi與dci對模型的性能的影響。假若xi的標簽為l，則conn(xi,bj)可以近似地計算如下：

為降低噪聲對模型性能的影響，式(3)中引入因子w，其測量了被編碼特征xi的上下文共生模式與模板矩陣pH中相應共生模式的匹配程度。其詳細計算過程如表1所示。即首先獲得xi上下文域Ci，然后對Ci所有特征從模板矩陣pH獲得與xi的共生強度值，并將獲得的共生強度平均值作為當前特征xi的上下文與第p個圖像類的上下文擬合程度，記為。對每一Hp(p=1,2,…,nc)，則可獲得,,…,。最后，為將歸一化至[0 1]，設=exp(2(?max_w ))，其中max_w代表(p=1,2,…,nc)的最大值，n為xi上下文域特征個數。 顯然，若xi是從第p類的圖像中提取的特征，由于其局部上下文與第p類的上下文相似，因而的值會較大。否則，由于其上下文差距較大，的值就會較小。另外，從式(3)的解析解(見式(6))，可以得出如下結論：的值越大，編碼系數的值也越大，反之亦然。由于噪聲特征常常不與任何模板的上下文匹配，導致噪聲特征編碼系數會非常小。因而，當利用Max Pooling[10]來獲取最終圖像表示時，噪聲則可被剔除。

對每一個Hp,p=1,2,…,nc，通過以上方法對特征xi進行編碼，得到編碼系數[,,…,]。其中代表對應于第p類的關系矩陣Hp的編碼系數。給定一個擁有N個描述子X={xi∈RM,i ∈1,2,…,N}的圖像，對應于關系矩陣{H1,H2,…,Hnc}的編碼系數為由于Max Pooling被廣泛應用于模式識別任務[10?13]中，并且被證明與大腦視覺皮層的特性一致，本文在系數矩陣c上進行Max Pooling操作，得到圖像的最終表示。

表1 因子w計算過程

4 模型分析

此節對模型性能進行了分析并闡述了其優點。

4.1 模型進化

當控制參數w, α 以及 β時，本文編碼模式會退化成兩種特殊的情況。(1)當w=1 以及α=1, β=0時，模型只考慮了在特征空間的局部約束性，因而SLC退化成LLC模型。(2)當w=1 以及 α=0, β=1時，SLC退化為只考慮上下文空間局部約束的編碼模型。

4.2 模型優點

與傳統的VQ, SVQ, SC, LSC以及 LLC等編碼方式相比，SLC編碼模式有以下優點。

(1)避免了編碼的歧義性。SLC同時在特征空間和上下文空間進行局部約束編碼。在特征空間的局部性保證了重構誤差的精度，而在上下文空間的局部性確保了編碼的語義性。因此，通過將上下文信息引入到編碼模型中，本文在解決編碼的歧義性問題同時又保證了重構精度。

(2)有去噪能力。對此，分別從Caltech101選取了類別Wild_cat, Panda, pagoda以及從Caltech256選取了類別American-flag, Sunflower-101進行實驗。實驗時每隔8個像素進行稠密采樣提取局部特征，并通過表1中算法1計算每個特征對應w值。結果如圖4所示，圓圈代表在條件w＞0.4下保存的特征。通常，每幅圖片中都有許多特征(比如從圖4(a)美國國旗復雜背景中提取的特征)不僅對描述圖像無用而且還影響了圖像描述的準確性，本文稱這些特征為噪聲。由于這些噪聲的上下文不與任何模板上下文匹配(w值很小)，當利用SLC編碼時，會導致其編碼系數非常小。進一步，當采用Max Pooling策略獲取最終圖像表示時，將導致這些噪聲不會對最終的圖像表示有任何影響。如圖4所示，大部分描述背景的特征去除了而每類描述目標本身的特征保留了。

圖4 w的去噪功能實驗結果

(3) 快速系數求解。由于其目標函數的凸性，SLC繼承了LLC的獨特優點：目標函數具有解析解。通過推導可得其解析解為

其中

Ψ=2(Q+λdiag(di)2),Q=(xi1T?B)T(xi1T?B)其他變量意義與上文相同，且

此外，與LSC對所有特征同時進行編碼不同，SLC對特征獨立地進行編碼且能保持他們的相互關系。這使得在分布式計算模型Mapreduce[19]下，即使處理海量數據，都能達到實時的速度。因而，對實際應用有非常重要的意義。

5 實驗及結果分析

本節在3個廣泛采用的圖像數據庫Scene15[7], Catech101[19]and Caltech256[20]上進行實驗以驗證所提方法的有效性。首先，通過比較LLC與SLC來驗證考慮上下文信息的有效性。然后，將SLC在3個數據庫上的測試結果與當前最好結果進行了對比。

5.1 實驗設置

為實驗對比時公平起見，在所有進行的實驗中，均采用以下相同的實驗設置。對于所有數據集，首先縮放圖像使其寬與高不超過300像素。在所有數據集上采用單層的16×16塊，間隔為8像素方式提取稠密尺度不變特征轉換(Scale-Invariant Feature Transform, SIFT)特征[21]。通過隨機選擇約510特征并利用K-Means[17]訓練得到字典。在數據集Caltech101, Caltech256, Scene15上分別在每類中隨機選擇30, 30, 100幅圖像作為訓練數據，其他剩余的作為測試數據。為了獲得最終的圖像表示，采用3層的空間金字塔[7]以及Max Pooling方法[10]。在分類階段采用Linear SVM package[22]，所有的實驗都進行了10次，并以平均值作為最終的實驗結果。

5.2 上下文信息的有效性

為了驗證本文考慮上下文因子的有效性，本文基于LLC[11]作者提供的代碼對其重新實現并與原有算法進行對比。此對比實驗在Caltech101上進行，實驗中，通過多次試驗分析選擇最佳參數組合(α=0.6, β=0.4, r=17)。實驗將LLC方法誤分率最大的10類與本文SLC算法進行了詳細對比。如圖5, SLC相比LLC在大多數圖像類上都顯著(在“鴨嘴獸”上最大改進了12%)提高了分類準確率，甚至在易混淆的類如“龍蝦”，“蟹” 以及 “小龍蝦”亦是如此。作者認為此改進主要是由于上下文信息的考慮。因為，易混淆的類在細節上可能很相似，對于LLC編碼來說，編碼歧義性問題未能解決，因而會產生較大的誤分率；然而，對SLC編碼方法來說，由于其考慮上下文解決了編碼歧義性問題，使易混淆的類更易區分。

5.3 與其他算法對比

圖5 在最易錯分10類的詳細對比

表2 與已發布的編碼方法對比(%)

本節，將本文方法與一些已發布的方法在3個數據集上進行對比。比較主要聚焦于以下兩種編碼策略：LSVQ與LLC，因為這兩種編碼方法是當前綜合性能最好方法的代表。需要提及的是文獻[9,11]所獲得的結果是在與本文不同設置下產生的。比如，LLC[11]方法中每個8像素提取多尺度特征，LSVQ方法[9]中采用mix-order Max-Pooling，并且字典大小也不盡相同。為公平比較，作者重寫了這兩種方法并按照本文的設置進行實驗。同時，也與這些方法的其他實現方式進行了對比以更充分地評估本文方法。在此試驗中，在所有數據集上采用相同的參數設置α=0.6,β=0.4,r=17。根據LLC的設置方法，實驗利用K-Means方法分別在Scene15, Caltech101 和 Caltech256訓練大小為1024, 2048和4096的字典。如表2所示，本文SLC算法在3種不同數據庫不同設置下都優于大部分已發布的方法，部分設置只比文獻[14]稍差。但是，由于文獻[14]包含復雜的拉普拉斯矩陣運算，本文方法相比文獻[14]在計算速度上有較大優勢。同時，注意到本文的LLC版本結果比文獻[11]中的LLC結果稍差。這可能是由于本文采用單尺度的特征而文獻[11]中采用多尺度特征的原故。同樣值得注意的是本文實現的LSVQ在Sence15上獲得了比原始LSVQ[9]更好的效果，這可能歸功于本文所采用字典大于原始文獻[9]所采用的字典。另外，本文方法在數據集Caltech101與Caltech256上優于所有列出的大部分方法，而在數據集Scene15并不是表現最好的。就此方面而言，本文方法更適合于目標識別而非場景圖像分類。作者認為可能是由于這樣一個事實：在局部區域中對象圖像通常比場景圖像具有更相似的上下文，因而在對象圖像中考慮上下文信息比場景圖像中考慮上下文更有效。盡管如此，在數據集Scene15上，本文SLC方法計算更快，并比LLC方法有所提高而且達到了與大部分列出的方法相近的結果。

6 結束語

為緩解編碼的歧義性問題，本文通過考慮上下文信息提出了一種新穎的改進LLC的SLC方法。由于考慮了上下文信息以及特征匹配權重w，該方法不僅能幫助解決編碼歧義性問題，而且能夠克服噪聲特征所產生的數據變形問題，從而能提高分類準確率。在Caltech101與Caltech256數據集上的實驗結果證明了本文方法的有效性。同時，在Scene15數據集上實驗結果表明，相比場景圖像分類來說，此方法更適用于目標圖像分類。

[1] Espinace P, Kollar T, Roy N, et al.. Indoor scene recognition by a mobile robot through adaptive object detection[J]. Robotics and Autonomous Systems, 2013, 61(9): 932-947.

[2] 蔣飛云, 孫銳, 張旭東, 等. 基于二次表示的空間目標圖像分類[J]. 電子與信息學報, 2013, 35(5): 1247-1251. Jiang Fei-yun, Sun Rui, Zhang Xu-dong, et al.. Space target image categorization based on the second representation[J]. Journal of Electronics & Information Technology, 2013, 35(5): 1247-1251.

[3] Zhang Y, Zheng X W, Liu G, et al.. Semi-supervised manifold learning based multigraph fusion for high-resolution remote sensing image classiffication[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(2): 464-468.

[4] Zhang Y, Zhang B, Coenen F, et al.. One-class kernel subspace ensemble for medical image classification[J]. EURASIP Journal on Advances in Signal Processing, 2014, (17): 1-13.

[5] Csurka G, Dance C, Fan L, et al.. Visual categorization with bags of keypoints[C]. Proceedings of the European Conference on Computer Vision on Statistical Learning in Computer Vision, Prague, Czech Republic, 2004: 59-74.

[6] Huang Y, Wu Z, Wang L, et al.. Feature coding in image classiffication: a comprehensive study[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(3): 493-506.

[7] Lazebnik S, Schmid C, and Ponce J. Beyond bags of features: spatial pyramid matching for recognizing natural scenecategories[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, New York, USA, 2006: 2169-2178.

[8] Gemert J C, Geusebroek J, Veenman C J, et al.. Kernel codebooks for scene categorization[C]. Proceedings of the European Conference on Computer Vision, Marseille, France, 2008(5304): 696-709.

[9] Liu L, Wang L, and Liu X. In defense of soft-assignment coding[C]. Proceedings of the International Conference on Computer Vision, Barcelona, Spain, 2011: 2486-2493

[10] Yang J, Yu K, Gong Y, et al.. Linear spatial pyramid matching using sparse coding for image classification[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Miami, Florida, USA, 2009: 1794-1801.

[11] Wang J Yang J, Yu K, et al.. Locality-constrained linear coding for image classification[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010: 3360-3367.

[12] Gao S, Tsang I W, Chia L, et al.. Laplacian sparse coding, hypergraph Laplacian sparse coding, and applications[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 92-104.

[13] Zhang C, Wang S, Huang Q, et al.. Image classification using spatial pyramid robust sparse coding[J]. Pattern Recognition Letters, 2013, 34(9): 1046-1052.

[14] Zhang C, Wang S, Huang Q, et al.. Laplacian affine sparse coding with tilt and orientation consistency for image classification[J]. Journal of Visual Communication and Image Representation, 2013, 24(7): 786-793.

[15] Qi G J, Hua X S, Rui Y, et al.. Image classification with Kernelized spatial-context[J]. IEEE Transactions on Multimedia, 2010, 12(4): 278-287.

[16] Wu X, Xu D, and Duan L. Action recognition using context and appearance distribution features[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, 2011: 489-496.

[17] Sivic J and Zisserman A. Video google: a text retrieval approach to object matching in videos[C]. Proceedings of the International Conference on Computer Vision, Nice, France, 2003: 1470-1477.

[18] Li F, Fergus R, and Perona P. Learning generative visual models from few training examples: an incremental Bayesian approach tested on 101 object categories[J]. Computer Vision and Image Understanding, 2007, 10(1): 59-70.

[19] Dean J and Ghemawat S. MapReduce: simplified data processing on large clusters[J]. Communications of the ACM, 2008, 51(1): 107-113.

[20] Griffin G, Holub A, and Perona P. Caltech-256 Object Category Dataset[R]. Technical Report, California Institute of Technology, 2007.

[21] Lowe D G. Distinctive image features from scale invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[22] Fan R E, Chang K W, Hsieh C J, et al.. LIBLINEAR-a library for large linear classification[OL]. http://www.csie. ntu.edu.tw/～cjlin/liblinear/. 2014.7.

肖文華： 男，1988年生，博士生，研究方向為多媒體技術、指揮信息系統.

包衛東： 男，1971年生，教授，博士生導師，研究方向為多媒體技術、指揮信息系統.

陳立棟： 男，1985年生，講師，研究方向為多媒體技術.

A Semantic Enhanced Linear Coding for Image Classification

Xiao Wen-hua Bao Wei-dong Chen Li-dong Wang Wei Zhang Mao-jun
(Information System and Management College, National University of Defense Technology, Changsha 410073, China)

Considering the ambiguity problem in the traditional feature coding model, a feature context-aware semantic enhanced linear coding method is proposed. At first, the context information is represented by the concurrence matrix learnt from local area of the features. Then, the context information and a context matching weight are introduced into the coding model to form a new semantic enhanced coding model. Owning to the functions of context information and the context matching weight, this model not only enriches the semantic meaning of coding, but also efficiently avoids the affects of noise. Experiments on the baselines (Scene15, Caltech101, and Caltech256) demonstrate the effectiveness of the proposed method.

Image classification; Feature coding; Context constraint; Ambiguity

TP391

： A

：1009-5896(2015)04-0791-07

10.11999/JEIT140743

2014-06-05收到，2014-08-29改回

國家自然科學基金(61175006)和博士學科點專項科研基金(20134307110029)資助課題

*通信作者：肖文華 wenhuaxiao@nudt.edu.cn