基于視覺注意機制和條件隨機場的圖像標注

孫慶美，金聰

(華中師范大學 計算機學院，湖北 武漢 430079)

?

基于視覺注意機制和條件隨機場的圖像標注

孫慶美，金聰

(華中師范大學 計算機學院，湖北 武漢 430079)

傳統的圖像標注方法對圖像各個區域同等標注，忽視了人們對圖像的理解方式。為此提出了基于視覺注意機制和條件隨機場的圖像標注方法。 首先，由于人們在對圖像認識的過程中，對顯著區域會有較多的關注，因此通過視覺注意機制來取得圖像的顯著區域，用支持向量機對顯著區域賦予語義標簽；再利用k-NN聚類算法對非顯著區域進行標注；最后，又由于顯著區域的標注詞與非顯著區域的標注詞在邏輯上存在一定的關聯性，因此條件隨機場模型可以根據標注詞的關聯性校正并確定圖像的最終標注向量。在Corel5k、IAPR TC-12和ESP Game圖像庫上進行實驗并且和其他方法進行比較，從平均查準率、平均查全率和F1的實驗結果驗證了本文方法的有效性。

自動圖像標注；視覺注意；詞相關性；條件隨機場

中文引用格式：孫慶美，金聰. 基于視覺注意機制和條件隨機場的圖像標注[J]. 智能系統學報， 2016, 11(4): 442-448.

英文引用格式：SUN Qingmei, JIN Cong. Image annotation method based on visual attention mechanism and conditional random field[J]. CAAI Transactions on Intelligent Systems, 2016, 11(4): 442-448.

隨著互聯網的不斷發展以及移動終端的迅速發展，圖像數據不斷擴大。圖像數據大規模的增長對圖像理解技術提出了更高的要求。如何從巨大的圖像庫中快速有效地找到想要的圖像，已經成為了一個亟待解決且具有很大挑戰性的任務。而圖像標注技術是數字圖像語義文本信息的關鍵技術，在數字圖像處理的各個方面有著廣泛的應用[1]。

圖像標注技術就是為給定的圖像分配相對應的語義關鍵詞以反映其內容[2]。早些年的圖像標注技術需要專業人員根據每幅圖像的語義給出關鍵詞，但那樣的方法會消耗大量時間并且帶有一定的主觀性。因此近幾年來，有不少的研究者將注意力轉移到圖像的自動標注技術上來。就當下的自動標注方法而言大致可以分為兩類：1)基于生成式的圖像自動標注方法[3-4]；2)基于判別式的圖像自動標注方法[5-6]。前者主要是先對后驗概率建模，然后依據統計的角度表示數據的分布情況，以此來反映同類數據本身的相似度。文獻[3]就屬于該模型，它將標注問題轉化成一個將視覺語言翻譯為文本的過程，再收集圖像與概念之間的關系以此來計算圖像各個區域的翻譯概率。文獻[4]提出的跨媒體相關模型，將分割得到的團塊進行聚類，得到可視化詞匯，然后建立圖像和語義關鍵詞之間的概率相關模型，估計圖像區域集合與關鍵詞集合總體的聯合分布。與此類似的方法還包括基于連續圖像特征的相關模型，該類方法也存在一定的問題，如當遇到圖像過分割和欠分割的時候標注性能大大降低，雖然可以通過改進算法來提高標注結果，但這樣增加了計算的復雜性，不具備在真實環境應用的條件。另外，可以構建圖像特征與標注詞之間的關系模型，然而該模型一般情況下復雜度較高，而且無法確定主題的個數。而后者則是通過尋找不同類別之間的最優分類超平面，從而反映異構數據之間的不同。也就是說，該模型為每個類訓練一個分類器，以此來判斷測試圖像是否屬于這個類。文獻[2]提出了MRESVM算法，即一個基于映射化簡的可擴展的分布式集成支持向量機算法的圖像標注。為了克服單一支持向量機的局限性，利用重采樣對訓練集進行訓練，建立了一種支持向量機集成方法。在文獻[5-6]中提到的方法也屬于判別模型。這兩者既有優點又有缺點。相比之下，判別式模型可以實現更好的性能。已有的圖像標注方法沒有得到較好的標注準確率，主要是由于它們使用的圖像內容描述方法和人們對圖像的理解方式相距甚遠。實際上，當人們看一幅圖像的時候，不會把注意力平均分配到圖像的各個區域，而是會有選擇地把注意力集中到顯著區域。由此本文提出了一種基于視覺注意機制和條件隨機場的圖像自動標注方法。

1　顯著區域的標注過程

本文使用的圖像標注算法，主要是將傳統依據底層特征的標注方法和人們認識圖像的方式結合在一起，然后又利用標簽之間的共生關系對標注詞進行校正，得到最終標注詞。

在使用本文所提算法之前要先對圖像進行預處理，然后使用基于視覺注意機制和條件隨機場算法對圖像進行標注。算法主要流程如下：

輸入訓練圖像和測試圖像的混合圖像集；

輸出所有圖像對應的標簽集。

1)使用支持向量機對顯著區域進行識別并標注；

2)對于非顯著區域，結合訓練圖像庫的圖像與標簽關系進行標注；

3)使用條件隨機場模型對每幅圖像的標簽進行優化。

1.1顯著區域的提取

當人們看一幅圖像時，注意力更多地放在顯著區域而不是非顯著區域。圖像的顯著區域指的是在一幅圖像中最能引起人們視覺興趣的部分，圖像的顯著區域和圖像要表達的含義往往一致。充分利用這一點能提高圖像標注的準確率。基于此，本文選擇先對顯著區域進行標注，然后標注非顯著區域。這種方法可以消除非顯著區域對顯著區域的影響，由此獲得更好的標注效果。

在圖像處理方面，很多獲取圖像顯著區域的模型已被提出。例如，文獻[7]提出了一種顯著區域的獲取方法，它主要結合像素特征和貝葉斯算法。文獻[8]提出了一種視覺顯著性檢測算法，它將生成性和區分性兩種模型結合在一個統一的框架中。這些區域通常具有較大的共同特征，面積相對較大且亮度更高。因此本文提出一個新的方法來提取顯著區域，也就是視覺注意機制。定義如下：

在利用N-cut算法對圖像分割后，根據視覺注意機制求得圖像的每個區域的權重。視覺注意機制模型為

W=ω·Area+(1-ω)·Brightness

(1)

式中：W表示圖像中每個區域的顯著度；ω表示權重。為獲得圖像的顯著區域，本文通過大量實驗來得到ω。計算并比較各個區域的顯著度W的大小，W值最大的區域就是該圖像的顯著區域。模型(1)中各參數的意義如下：

a)面積參數Area。在該模型中，Area是參數之一，一般情況下，面積越大的區域越能引起人們的注意，但是不能過大，過大面積的區域會使得顯著度降低。具體計算式為

Area=Si/S

(2)

式中：Si表示每幅圖像中第i個區域的像素個數；S表示整幅圖像的像素個數。

b)亮度參數Brightness。亮度參數是獲得顯著區域最重要的參數。HSV顏色模型比較直觀，在圖像處理方面是一種比較常見的模型。定義一個區域的亮度為該區域和圖像其他區域HSV值的方差，用式(3)計算。也就是說，先計算圖像中所有區域HSV的平均值，然后計算每個區域HSV的值，最后取得各個區域的亮度值。具體公式為

(3)

1.2顯著區域的標注

每一幅圖像中都包含不等個數的區域，這些區域或簡單或復雜、或大或小，而它們都有不一樣的語義。傳統的標注方法中，對圖像的各個區域同等對待，而事實上人們往往把更多的注意力集中在顯著區域。所以可以利用式(1)求出每幅圖像的顯著區域進行單獨標注，對非顯著區域的區域在后續的步驟中進行標注。

在對顯著區域進行標注時，用一組訓練圖像訓練N個支持向量機分類器C= {c1,c2, …,cn}。具體來說，對一組訓練圖像利用視覺注意機制提取顯著區域，再對每個顯著區域提取它們的底層特征構成特征向量，并作為輸入訓練支持向量機。

近年來支持向量機已經被廣泛地應用于圖像標注中，像文獻[2]和[9]。在最簡單的情況下，支持向量機是線性可分的支持向量機，這時必須滿足數據是線性可分的。但是在實際應用中，線性可分的情況很少，絕大多數問題都是線性不可分的。在遇到線性不可分的問題時，可以通過非線性變換將它映射到高維空間中，從而轉化為線性可分問題。SVM的學習策略就是最大間隔法，可以表示為一個求解凸二次規劃的問題。設線性可分樣本集為(xi,yi)，i=1,2，…,n,，i= 1,2，…,n，xi∈Rn,yi∈{+1, -1}是類別標號。通過間隔最大化或等價地求解相應的凸二次規劃問題學習得到的分離超平面為wT·x+b=0，線性判別函數為g(x)=wT·x+b。然后將判別函數進行歸一化，使兩類中的所有樣本都必須滿足條件|g(x)|≥1，即讓距離分類面最近的樣本的|g(x)|值等于1，這樣分類間隔就等于 2/‖wT‖，因此使間隔最大等價于使‖wT‖最小；分類線若要對所有樣本都能正確分類，那么它必須滿足以下條件：

(4)

(5)

通過對w和b求解，計算出拉格朗日函數的極小值。再利用KKT條件對分類決策函數求出最優解，最終結果為

(6)

式中：α*為最優解，b*為分類的閾值。

分類時先提取測試圖像的顯著區域，然后提取圖像顯著區域的特征值，構成特征向量輸入到訓練好的支持向量機分類器中，得到每個顯著區域的標注詞。

2　非顯著區域的標注過程

對圖像的非顯著區域進行標注時，本文將帶有標簽的圖像區域引入對其進行標注。本文將未被標注的非顯著區域和帶有標注詞的圖像區域混合在一起，使用k近鄰法(k-nearestneighbor, k-NN)聚類算法進行聚類，最終求得非顯著區域的標注詞。k-NN算法的思路：假設給定一個訓練數據集，里面的實例都有確定的類別，對測試實例，根據其k個最近鄰的訓練實例的類別，通過多數表決方式進行預測。具體的流程如下:

輸入待標注的非顯著區域和帶標簽的圖像區域;

輸出非顯著區域的標注詞。

1)在帶有標簽的圖像區域中找出與每個待標注的非顯著區域相似的K個樣本，計算公式為

(7)

2)在每個非顯著區域的k個近鄰中，分別計算出每個類的權重，計算公式為

(8)

式中：x為待標注區域的特征向量，Sim(x,di)為相似性度量計算公式，與上一步驟的計算公式相同，而y(di,Cj)為類別屬性函數，即如果di屬于類Cj，那么函數值為 1，否則為0。

3)比較類的權重，將待標注區域劃分到權重最大的那個類別中。這樣非顯著區域就得到了相應的標注詞，同時也得到了獲得該標注詞的概率。

3　標注詞校正

設每一幅待標注圖像分割為n個子區域Di(i = 1, 2，…, n)。在得到一幅圖像的顯著區域標簽和非顯著區域標簽集合后，將這些標簽整合成圖像的標簽向量：

式中：p(an)表示該圖像的第n個區域獲得標注詞an的概率。本文使用條件隨機場對圖像已獲取的標注向量進行校正，最終獲得圖像的標注詞。自從條件隨機場被提出以來，已有很多研究者把它引入圖像標注問題的研究中[10]，為了提高圖像標注性能，本文根據標注詞之間的關系構建合適的條件隨機場模型。條件隨機場可以用在很多不同的預測問題上。圖像標注問題屬于線性鏈條件隨機場。本文條件隨機場模型是一個無向圖模型，圖中的每一個點代表一個標注詞，而兩個點之間的邊則代表兩個標注詞之間的關系。

條件隨機場算法對標注詞的校正除了涉及到標注詞之間的共生關系之外，還將標注詞的概率向量作為標注詞的先驗知識，然后建立標注詞關系圖并重新計算圖像的標注詞概率向量。該算法構建所有標注詞的關系無向圖，在該無向圖中除了包含有邊勢函數(即式(9))之外還包含有點勢函數(即式(10))，其中標注詞概率向量確定圖中點的勢函數，而邊的勢函數則由學習訓練集中標注詞的關系所得到。例如標注詞“馬”出現了k1次，標注詞“草地”出現了k2次，兩者同時出現在同一幅圖像的次數為k3次。那么兩個標注詞的聯合概率為式(11)。

(9)

(10)

(11)

式中p(ai)是前面得到的圖像被標注為ai的概率。

獲得無向圖中所有點勢和邊勢之后，求取最優的圖結構就能得到最終的圖像標注集{afocus,a1,…,an-1}。當圖勢函數值達到最小時，就得到了最優圖結構，即式(12)中M的值最小的圖結構：

(12)

式中：λ表示點勢函數和邊勢函數的權重關系，本文通過交叉驗證的方法確定λ=0.3。

4 　實驗結果

4.1圖像庫

為了驗證本文算法的圖像標注性能，使用3個圖像庫。第1個圖像庫是Corel5K，該庫被許多圖像處理研究人員使用。它在許多文獻中都有提及。Corel5k數據集有5 000幅圖像，其中包括4 500個訓練樣本和500測試樣本。每一幅圖像平均有3.5個關鍵詞。在訓練數據集中有371個標簽，在測試數據集中有263個標簽。另一個數據集是IAPRTC-12。刪除一部分圖像后，留有100類的10 000幅圖像。在實驗過程中，使用80%幅圖像用于訓練，20%幅圖像用于測試。所使用的第3個數據集是ESPGame。總共包含21 844幅圖像。其中，19 659張圖像用作訓練集，2 185張圖像用作測試集。

4.2實驗設置

為了驗證圖像標注性能，采取3種評估方法：召回率、查準率和F-measure值。假設一個給定的標簽的圖像數量是|W1|，|W2|為有正確標注詞w的圖像數量，|W3|是由圖像標注方法得到標簽的圖像的數量。召回率和查準率可計算如下：

平均查準率(AP)和查全率(AR)可以反映整體標注性能。F-measure可以定義為

在本文實驗中選擇了3種視底層覺特征進行測試，它們分別為顏色直方圖、紋理特征和SIFT。這3種底層特征從不同的角度描述圖像的底層信息，同時使用會使標注性能更好。然后在3個數據庫Corel5k、IAPRTC-12 和ESPGame上，將VAMCRF算法和其他著名算法進行比較。這些算法已表現出了良好的性能，并且取得了很好的標注結果。因此與它們的比較將能證明VAMCRF算法的性能。表1列出了這些算法和相應的標引。

表 1　實驗中用到的算法

4.3 實驗結果和比較

4.3.1參數影響

在視覺注意機制中有一個參數ω。該參數對顯著區域的提取有著重要的影響，需要通過實驗來確定它的值。

首先從圖像庫中選取100幅有代表性圖像，根據經驗人眼對亮度的敏感度比面積大一些，所以對ω取這樣不同的一組值{0.30, 0.32, 0.34, 0.36, 0.38,0.40, 0.42, 0.44, 0.46, 0.48, 0.50}。通過實驗發現當ω = 0.42時，提取圖像顯著區域效果最好。圖1說明了當ω = 0.42時一些類的顯著區域提取的實例。從表中可以看到，VAM算法能夠預測并很好地提取圖像的顯著區域。

圖1　用VAM算法提取顯著區域的例子Fig.1　Some examples using our proposed VAM

在對圖像的非顯著區域進行標注時，采用了k-NN聚類算法。k-NN聚類算法是最簡單的機器學習算法之一，其中k值的選擇對結果至關重要。實驗測試了參數k取不同值時對標注結果的影響。圖2展示的是用k-NN聚類算法在3個圖像庫上對非顯著區域標注的性能。橫坐標表示參數k取值的范圍，縱坐標代表對應k值時F1的變化。可以看到，當k=100時F1達到最大值，也就是此時標注效果最好。所以，在下面的實驗當中k取100。

圖2　在3個圖像庫上k取不同值的標注結果Fig.2　The results of k-NN with different k in the image datasets 1～3

4.3.2標簽數目對標注的影響

標注性能的好壞有很多影響因素，標簽數目就是其中一種因素，為了驗證標簽數目對標注性能的影響，選取了不同的標簽數進行實驗。圖3分別顯示了在3個數據庫上不同的標簽數目對標注的影響。橫坐標表示所取標簽的個數從1～8，縱坐標代表對應標簽數時F1的變化。這是在兩種方法下所做的實驗，方法1是使用視覺注意機制和SVM求得顯著區域的標注詞，然后利用k-NN求得非顯著區域的標注詞；方法2是在方法1的基礎上利用條件隨機場對所獲得的標注詞進行校正。

(a) Corel5k數據庫

(b) IAPR TC-12數據庫

(c)ESP Games數據庫圖3　 不同標簽數對標注的影響Fig.3　The effect of different tag numbers on annotation

從圖3可以看出，當只給圖像一個標簽時，標注結果夠不好，隨著使用標簽數目的增加，標注的準確度都在增加。但是使用的標簽數不易過多，如果過多反而會使標注準確度下降。方法2比方法1的效果更好些，說明標注詞之間的共生關系對標注效果也是十分重要的。標簽相關性的引入使得標注結果更符合實際的標簽集，由此證明了本文算法的優勢。

4.3.3比較和結果分析

為了驗證本文所提出算法的標注性能，在Corel5k、IAPR TC-12和 ESP Game 3個圖像庫中的測試圖像集進行了實驗，并對AR、AP和F1的值進行對比。在表2～4給出了比較結果。

表2顯示了VAMCRF算法在Corel5k上得到的AR、AP和F1的值。從表中數據可見，VAMCRF算法取得了最高AR值0.48，AP最高值為0.45，F1最大值為0.464。與其他6種算法F1最高值0.439比較，VAMCRF的最大值0.464至少高出了0.014。

表2　在Corel5k數據庫上和其他算法標注性能的比較

表3顯示了VAMCRF算法在IAPR TC-12上得到的AR、AP和F1的值。從表中數據可見，2PKNN+ML算法和VAMCRF算法取得了最高AR值0.37，AP最高值0.56，F1最大值0.445。與其他6種算法F1最高值0.450比較，VAMCRF的最大值0.445至少高出了0.006。

表4顯示了VAMCRF算法在ESP Game上得到的AR、AP和F1的值。從表中數據可見，VAMCRF算法取得了最高AR值0.28，2PKNN+ML最高AP值0.53，F1最大值0.358。與其他6種算法F1最高值0.357比較，VAMCRF的最大值0.358至少高出了0.001。

表3　在IAPR TC-12數據庫上與其他算法標注性能的比較

表4　在ESP Game數據庫上和其他算法標注性能的比較

5　結論

本文提出了一種基于視覺注意機制和條件隨機場的算法進行圖像的標注，并在Corel5k, IAPR TC-12 和 ESP Game圖像庫上進行實驗。首先，用視覺注意機制提取圖像的顯著區域，然后利用SVM進行標注，之后使用k-NN聚類算法對圖像的非顯著區域進行標注，最后利用條件隨機場對圖像的標注詞向量進行校正。實驗結果表明，與傳統方法相比，本文所提出的算法在標注性能上取得了很好的效果，但是從時間復雜度方面來看還需要很多的改進工作，在未來的研究中可以對算法進行進一步改進以期降低時間復雜度。

[1]WANG Meng, NI Bingbing, HUA Xiansheng, et al. Assistive tagging: a survey of multimedia tagging with human-computer joint exploration[J]. ACM computing surveys, 2012, 44(4): 25.

[2]JIN Cong, JIN Shuwei. Image distance metric learning based on neighborhood sets for automatic image annotation[J]. Journal of visual communication and image representation, 2016, 34: 167-175.

[3]DUYGULU P, BARNARD K, DE FREITAS J F G, et al. Object recognition as machine translation: learning a lexicon for a fixed image vocabulary[C]//Proceedings of the 7th European Conference on Computer Vision. Berlin Heidelberg: Springer-Verlag, 2002: 97-112.

[4]JEON J, LAVRENKO V, MANMATHA R. Automatic image annotation and retrieval using cross-media relevance models[C]//Proceedings of the 26th annual International ACM SIGIR Conference on Research and Development in Information Retrieval. New York, NY, USA: ACM, 2003: 119-126.

[5]LOOG M. Semi-supervised linear discriminant analysis through moment-constraint parameter estimation[J]. Pattern recognition letters, 2014, 37: 24-31.

[6]FU Hong, CHI Zheru, FENG Dagan. Recognition of attentive objects with a concept association network for image annotation[J]. Pattern recognition, 2010, 43(10): 3539-3547.

[7]FAREED M M S, AHMED G, CHUN Qi. Salient region detection through sparse reconstruction and graph-based ranking[J]. Journal of visual communication and image representation, 2015, 32: 144-155.

[8]JIA Cong, QI Jinqing, LI Xiaohui, et al. Saliency detection via a unified generative and discriminative model[J]. Neurocomputing, 2016, 173: 406-417.

[9]KHANDOKER A H, PALANISWAMI M, KARMAKAR C K. Support vector machines for automated recognition of obstructive sleep apnea syndrome from ECG recordings[J]. IEEE transactions on information technology in biomedicine, 2009, 13(1): 37-48.

[10]PRUTEANU-MALINICI I, MAJOROS W H, OHLER U. Automated annotation of gene expression image sequences via non-parametric factor analysis and conditional random fields[J]. Bioinformatics, 2013, 29(13): i27-i35.

[11]VERMA Y, JAWAHAR C V. Image annotation using metric learning in semantic neighbourhoods[C]//Proceedings of the 12th European Conference on Computer Vision. Berlin Heidelberg: Springer, 2012: 836-849.

[12]NAKAYAMA H. Linear distance metric learning for large-scale generic image recognition[D]. Tokyo, Japan: The University of Tokyo, 2011.

[13]FENG S L, MANMATHA R, LAVRENKO V. Multiple Bernoulli relevance models for image and video annotation[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC, USA: IEEE, 2004, 2: II-1002-II-1009.

[14]MAKADIA A, PAVLOVIC V, KUMAR S. A new baseline for image annotation[C]//Proceedings of the European Conference on Computer Vision. Berlin Heidelberg: Springer-Verlag, 2008: 316-329.

[15]GUILLAUMIN M, MENSINK T, VERBEEK J, et al. TagProp: discriminative metric learning in nearest neighbor models for image auto-annotation[C]//Proceedings of the 2009 IEEE 12th International Conference on Computer Vision. Kyoto: IEEE, 2009: 309-316.

孫慶美 ，女，1989年生，碩士研究生，主要研究方向為數字圖像處理

金聰，女，1960年生，教授，博士。主要研究方向為數字圖像處理

Image annotation method based on visual attention mechanism and conditional random field

SUN Qingmei, JIN Cong

(School of Computer, Central China Normal University, Wuhan 430079, China)

Traditional image annotation methods interpret all image regions equally, neglecting any understanding of the image. Therefore, an image annotation method based on the visual attention mechanism and conditional random field, called VAMCRF, is proposed. Firstly, people pay more attention to image salient regions during the process of image recognition; this can be achieved through the visual attention mechanism and the support vector machine is then used to assign semantic labels. It then labels the non-salient regions using a k-NN clustering algorithm. Finally, as the annotations of salient and non-salient regions are logically related, the ultimate label vector of the image can be corrected and determined by a conditional random field (CRF) model and inter-word correlation. From the values of average precision, average recall, and F1, the experimental results on Corel5k, IAPR TC-12, and ESP Game confirm that the proposed method is efficient compared with traditional annotation methods.

automatic image annotation; visual attention mechanism; inter-word correlation; conditional random fields

10.11992/tis.201606004

網絡出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20160808.0831.024.html

2016-06-02. 網絡出版日期：2016-08-08.

國家社會科學基金項目(13BTQ050).

金聰. E-mail: jinc26@aliyun.com.

TP391

A

1673-4785(2016)04-0442-07