基于多標簽判別字典學習的圖像自動標注

楊曉玲，李志清，劉雨桐

(湘潭大學智能計算與信息處理教育部重點實驗室，湖南湘潭411100)(*通信作者電子郵箱xq086515@163．com)

0 引言

數字采集技術、計算機硬件、存儲技術和互聯網技術的快速發展，使得成千上萬的圖像資源能夠被大眾所獲取。為了方便有效地獲取和檢索如此大規模的數字圖像資源，圖像檢索技術成為了近年來的重要研究課題。當前圖像檢索技術主要分為兩類:基于文本的圖像檢索(Text-Based Image Retrieval，TBIR)技術和基于內容的圖像檢索(Content-Based Image Retrieval，CBIR)技術。TBIR需要利用人工對圖像進行標注，建立文本索引，然后通過傳統的文本搜索引擎來實現圖像的檢索。但是，面對當前快速增長的圖像數據庫，手工標注需要消耗大量的人力物力，不適用于大的圖像數據庫。而CBIR是根據圖像本身所包含的視覺內容建立檢索依據，圖像的“視覺內容”是指圖像的低層視覺信息，如顏色、紋理和形狀等。CBIR通過提取每幅圖像的低層視覺特征，并將提取到的特征以高維向量的形式存入數據庫，針對不同的應用情況，TBIR可以采用不同的特征或特征組合來描述圖像的視覺內容［1］。以CBIR為代表的圖像檢索技術在近年來取得了很大的進展，但是其檢索效果和其檢索方式仍然不能滿足人們的要求，其主要原因是計算機獲取圖像的低層視覺信息與用戶理解的高層語義信息之間存在巨大的語義鴻溝。因此，為了獲得更好的檢索結果，同時解決人工標注帶來的問題，圖像自動標注技術應運而生。

隨著多媒體技術和計算機視覺領域的蓬勃發展，圖像自動標注吸引了越來越多的研究者的關注。圖像自動標注的目標是自動地為某一幅圖像添加恰當的一個或多個能表示該圖像的視覺內容的關鍵詞(標簽)。在進行圖像檢索時，自動圖像標注是一個關鍵的步驟，它在縮小圖像的低層視覺特征與高層語義標簽之間的語義鴻溝之間扮演了一個重要的角色［2－3］。在圖像標注的工作中，有時候由于一幅圖像的內容比較復雜，使得其往往具有多個標簽，據此許多判別方法被提出并將圖像標注視為一個多標簽分類問題，如文獻［4］將其分解成一個獨立的二分類問題，每個可能的標簽是一個分類器，然而，在這種方法中不同類標簽之間的相關性會被忽略［5］。文獻［6－9］方法對稀疏編碼的研究促進了圖像標注中標簽傳播技術的發展。

本文提出了一種新的基于多標簽判別詞典學習的圖像自動標注方法:1)在經過特征提取后，將判別字典學習技術應用在多標簽學習中，同時加入標簽一致性正則化項，使得字典學習過程中能夠融入標簽信息;2)將訓練圖像樣本空間中學習到的一個完整的具有判別性的字典用于新圖像的預測。在Corel 5K數據集上進行測試和比較分析，實驗結果表明，與當前流行的幾個圖像標注方法進行比較，本方法具有較好的標注性能。

1 相關工作

圖像自動標注的目的是為圖像分配若干能描述其內容的標簽，這通常被看作是一個典型的多標簽學習問題。現在的方法大致可以分為三類:以分類為基礎圖像自動標注［10］、以概率模型為基礎的圖像自動標注方法［11］和以重構方法為基礎的圖像自動標注方法［12］。

分類方法是將自動圖像標注看作是多分類的問題。每個語義關鍵詞作為一個獨立的圖像類別標記，通過訓練學習語義標簽分類器來預測待標注圖像是否屬于某個特定的語義關鍵詞類別。每個語義分類器的決策經過融合得到測試圖像的最終標注結果。Cusano等［5］通過求解多分類問題來實現標注問題;吳偉等［13］通過利用距離測度學習方法來改進最近鄰分類模型，將語義距離融入到模型的構建中，有效改善了標注效果。基于分類方法的主要局限是需要訓練圖像的監督標簽信息來訓練分類模型。

基于概率建模的方法是從概率統計角度出發，通過在視覺特征的基礎上建模圖像特征和圖像標簽之間的共生概率關系，并試圖推斷圖像或注釋關鍵字之間的相關性或聯合概率概率分布，并以此進行圖像標注。Xia等［11］提出一種基于雙層聚類標簽優化算法(Tag Refinement based on Bi-Layer Clustering，TR-BLC)算法。首先融合視覺相似性和語義相似性相似的圖像，將其分為更小的組;然后對每一組圖像使用共現頻率和標簽間的相關性建立標簽與圖像子集的概率關系;最后利用改進的Fisher準則判斷與圖像內容無關的標簽完成圖像標簽的修正，該算法增強了低頻詞匯的相關度，從而提高了圖像標注的性能。

基于重構方法利用語義概念或視覺圖像的稀疏重建模型來完成圖像標注任務。Wang等［12］采用稀疏編碼框架得到重構系數，利用多標簽信息去降低輸入特征空間的維度，它包含了兩個稀疏編碼時期:多標簽稀疏重構和圖像特征稀疏重構，通過將標簽轉移到測試圖像中得到最終的標注詞。此外，臧淼等［14］將語義之間的相關性融入到稀疏/組稀疏編碼模型中，通過標簽轉移尋找測試圖像的 K最近鄰(K-Nearest Neighbor，KNN)圖像來實現圖像自動標注;Gao等［8］充分利用了圖像類標簽和標記之間的依賴關系，提出了基于多層次組稀疏的并行單標簽圖像分類和標注方法，并取得了較好的標注效果;Tang等［15］提出了一種基于圖的半監督KNN-sparse(K-Nearest Neighbor-sparse)學習方法。這些稀疏編碼方法的提出促進了字典學習在圖像標注方面的應用。

為了增強原始圖像標簽和視覺特征之間的相關性，本文提出一種基于多標簽判別字典學習的圖像自動標注(Automatic Image Annotation based on Multi-Label Discriminative Dictionary Learning，MLDDL)，通過在字典學習的初始輸入空間中加入標簽的相關信息，增強字典的判別性，從而改善標注性能，提高標注準確度。

2 字典學習

設 {(x1，Y1)，(x2，Y2)，…，(xN，YN)} 為訓練數據，xi∈Rp是訓練集中的圖像，Yi是圖像相應的標簽，xi∈X，X∈Rp×N，X為訓練集，p是每個圖像的特征維數，N是訓練集中的圖片數量，Yi= ［y1，y2，…，yL］T是 xi的所有可能標簽，L是標簽數量，如果第l個標簽在圖像xi的標簽集合中，則yl=1，否則yl=0。

2．1 傳統字典學習

字典學習可以稱之為簡單的稀疏編碼，傳統的基于逼近的稀疏表示字典訓練模型:

2．2 標簽一致性判別字典

標簽一致性判別詞典LC-KSVD(Label Consistent KSVD)［17］是通過在K-SVD的基礎上加入圖像的標簽信息來獲得一個判別稀疏編碼矩陣A和字典D，它使得擁有相同標簽集的樣本特征有非常相似的稀疏表示。被賦予標簽正則化項的標簽一致性判別字典學習的目標函數為:

式中:第一項是重構誤差，第二項是標簽正則化項，第三項是A的稀疏度。λ，β＞0控制著重構誤差、標簽一致性正則化和稀疏度三項之間的相對貢獻，Q= ［q1，q2，…，qN］∈RK×N是輸入樣本 X 的判別稀疏編碼，qi= ［0，0，…，1，1，…，0，0］T∈ RK是輸入樣本xi對應的判別稀疏編碼。首先假設第i個詞典元素di(i=1，2，…，N) 與第i個樣本xi(i=1，2，…，N) 擁有相同的標簽集。如果xi與詞典元素dk共享相同的標簽集，則設qik=1;否則qik=0。W∈RK×K表示一個線性變換矩陣，確定一個線性變換矩陣g(a;W)=Wa，轉換原始稀疏編碼A使得在稀疏特征空間RK中具有更好的識別度。標簽一致性正則化項‖QWA‖2F表示判別稀疏編碼誤差，使得轉換稀疏編碼WA更好地接近判別稀疏編碼Q，增強學習字典的判別性。

2．3 多標簽判別字典學習

受文獻［12］的啟發，在LC-KSVD的基礎上，由于多標簽具有良好的協同表達能力，為了使字典D更好地表示原始特征集X，引入線性轉換矩陣P∈ Rp×p，得到多標簽判別字典學習(Multi-Label Discriminative Dictionary Learning，MDDL)。對于一個原始的輸入特征xi，有ci=PTxi(ci∈ Rp)，即，C=PTX(C ∈ Rp×N)，則式(2)可表示為:

轉換矩陣P能夠將原始樣本特征信息轉換成更具有識別度的特征空間，其中具有相同標簽集的樣本被聚類在一起，而具有部分相同標簽集的能夠協作地表示彼此，線性轉換矩陣目標函數包括兩個部分:

一方面，完全相同的標簽集有相似的轉換特征空間，目標函數如下:

W1是一個語義表:如果樣本圖像xi和樣本圖像xj有完全相同的標簽集，也就是Yi=Yj，認為是完全語義相關的，則設

另一方面，具有部分相同標簽樣本之間能夠更好協作地表示對方，其目標函數為:

W2是一個語義表:如果樣本圖像xi和樣本圖像的xj標簽集中有一個或多個相同的標簽，則它們有部分語義相關，則設最后聯合兩個目標函數:

通過聯合目標函數求解轉換矩陣P:

這里M被定義為:

這里D1是一個對角矩陣i。結合式(3)化簡求解后得到式(9):

求得轉換矩陣P:

2．4 自動圖像標注流程

如圖1所示，本文的標注算法分為訓練算法和測試算法兩部分。訓練算法用于建模訓練集中的訓練數據X和相應標簽信息Y，最后得到字典D、標簽信息有關的轉換矩陣P和稀疏編碼系數矩陣Α。測試算法用于處理訓練集之外的新圖像dnew，并為其指定特定的相應標簽。

圖1 本文圖像標注基本框架Fig．1 Basic framework of the proposed image annotation

訓練算法:

輸入:訓練樣本集 X=［x1，x2，…，xN］和相應的標簽集合 Y= ［y1，y2，…，yN］，收斂閾值 ε，迭代最大數 T;

1)以隨機向量初始化字典D，以隨機矩陣初始化P和W;

2)更新稀疏編碼系數矩陣 Α，即固定 D，P和W，利用FSSA(Feature-Sign Search Algorithm)［18］求解 Α;

3)更新字典D，即固定Α，P和W，利用式(2)求解字典D;

4)更新轉換矩陣P，即固定Α，D和W，利用式(10)求解轉換矩陣P;

5)更新線性變換矩陣W，即固定Α，P和D，利用式(3)中的判別稀疏編碼誤差項求解得 W =QAT(AAT)－1;

6)目標函數相鄰兩次迭代誤差小于閾值ε時，或迭代次數達到最大值T時，則算法停止，否則轉向2)繼續執行;

輸出:稀疏編碼系數矩陣Α，更新后的字典D，線性轉換矩陣P和線性變換矩陣W。

測試算法:

1)輸入:訓練集的標簽集合 Y= ［y1，y2，…，yN］，學習到的字典D，編碼系數矩陣A，轉換矩陣P和新圖像dnew。

2)新圖像dnew的標簽編碼系數向量aq可由式(11)得到:

式中χ1，χ2＞0是常量，用于平衡重構誤差項與稀疏編碼系數項。

3)新圖像dnew的標簽向量yt可由式(12)得到:

4)從標簽項向量yt選擇前若干個值最大標注新圖像dnew。

5)輸出:測試圖像dnew的若干預測關鍵詞。

3 實驗結果分析

3．1 數據集和實驗設置

為了測試本文方法的精度和性能，實驗在標準圖像庫Corel5K上進行測試，該數據集是現今圖像標注方法的通用數據集。該數據集包含4999幅圖像，圖片大小為192×128，其中4500幅作為訓練集，499幅作為測試集。所有圖像分為50個語義類別，每個語義類別中包含100幅圖像，每幅圖像已經被標注1～5個關鍵詞，其中將至少標注了8幅圖像的關鍵詞入選詞匯表，合計260個關鍵詞。

為了評價圖像標注方法的性能，本文的標注性能通過精度(查準率，P)、召回率(查全率，R)和F1值來衡量。對于一個給定的標注詞wi，查準率P=A/B，查全率R=A/C，F1=2*P*R/(P+R)。這里A表示測試集中通過算法正確標注wi的圖像個數，B表示測試集中通過算法自動標注了wi的圖像個數，C表示原始標注中包含wi的圖像個數。最后，通過計算查準率與查全率的平均值來評價算法的標注性能，此外，也要考慮查全率大于0的關鍵詞個數，用N+來表示。

在同樣的測試集上，為保證研究的一致性和方法比較的公平性，本文的方法MLDDL采用與文獻［19］相同的特征表示方法，特征空間中集成了一系列的局部特征和全局特征。局部特征包括SIFT(Scale-Invariant Feature Transform)和Hue顏色描述符，特征是在多尺度網格上或拉普拉斯興趣點上提取的。每一個局部特征通過k-means聚類算法進行量化得到對應的BOW(Bag of Words)表示。全局特征包括Gist特征和在 RGB(Red-Green-Blue)、HSV(Hue-Saturation-Value)、Lab顏色空間上的顏色直方圖。除了Gist特征外，所有的特征通過L1規范進項進行歸一化處理，最后聯合成一個矩陣作為字典學習的輸入信號進行實驗。其中，字典大小與訓練樣本數量相同，參數 λ =0．01，β =0．001，χ1=0．01，χ2=0．1。最后將本文方法與不同的圖像自動標注方法進行比較，其中包括MSC(Multi-lable Sparse Coding)［12］、DCGSC(Distance Constraint Group Sparse Coding)［14］、TagProp［19］、SC(Sparse Coding)［20］、 VGSSL (Voronoi Graph Semi-Supervised Learning)［21］、JEC(Joint Equal Contribution)［22］、FastTag［23］、SFR(Sparse Factor Representation)［24］等。

3．2 實驗結果

1)不同標簽數目對圖像標注的影響。

為了能夠了解不同標簽數目對圖像自動標注的影響，本文給出了不同標簽數目下的查準率，召回率和F1值的變化曲線，并將結果與TagProp和FastTag進行比較，如圖2所示。從圖2中可以看出，首先本文的標注方法MLDDL在評價圖像自動標注性能的三個指標上隨著標簽數目的增加，其查準率、召回率和F1值不斷上升;其次，與TagProp和FastTag比較，在標簽數目為1時，本文的標注性能低于FastTag而優于TagProp，隨著標簽數目的增加，本文的標注性在三個指標上都優于TagProp和FastTag。

圖2中的曲線變化表明，當標簽數目為5時效果最好，這是因為標簽數目較少時，圖像的視覺特征與圖像標簽信息之間的相關性較弱，這樣一來加入標簽線性轉換矩陣的效果將受到影響。而數據集中每幅圖像的最大標注詞為5個，當標簽個數大于5時，圖像的無關標簽數目將會增加，降低了圖像自動標注的性能和準確度，而且目前大部分標注方法均采用5個作為最終的標注個數，為了便于比較和分析，本文同樣選擇5標簽來進行最終的圖像標注。

圖2 不同標簽數目下與TagProp和FastTag的查準率、召回率和F1值的比較Fig．2 Comparison of precision，recall and F1with TagProp and FastTag at different tag numbers

2)不同圖像標注算法的比較與分析。

表1給出了本文的標注方法MLDDL與其他方法標注的結果比較，其他相關方法的實驗數據來自其方法對應的參考文獻(參考文獻詳情見實驗設置部分)，其中方法SC中N+的值在原文獻中沒有給出。通過比較結果可以看出，與傳統的稀疏編碼方法MSC、距離約束稀疏/組稀疏編碼方法(DCSC/DCGSC)相比，本文通過在字典學習的初始輸入空間中加入原始樣本的標簽信息，并融合多種類型的視覺特征作為字典學習的輸入信息，以此來增強字典的判別性，最后使得標注準確度得到了提升。平均查準率比MSC提高了10個百分點，比DCGSC提高了3個百分點，比VGSSL提高了10個百分點。在平均召回率方面，本文的算法比MSC提高了16個百分點，比DCGSC提高了14個百分點，比VGSSL提高了20個百分點。除此之外，F1和N+也較其他算法有相應的提高。

表1 標注結果對比Tab．1 Comparison of annotation results

圖3給出了通過使用MLDDL方法進行標注后，部分圖像的標注結果示例。從圖中可見，與人工標注相比，本文的標注方法完善了對圖像內容的描述，部分所添加的標注詞雖然沒有出現在人工標注中，但是該標注詞也能夠正確表達圖像的部分內容(如第1幅圖像中的sky和第2幅圖像中的grass等)，由此可見，該標注詞也是屬于正確的標注詞。對于某些圖像內容比較復雜的圖像(如第4幅圖)，也存在錯誤的標注詞(如第4幅自動標注的beach)，但是總體而言標注效果較好。

圖3 標注結果對比Fig．3 Comparison of annotation results

4 結語

本文在LC-KSVD的基礎上，提出了基于多標簽判別字典學習的圖像自動標注方法。通過在字典學習的初始特征輸入空間中加入標簽信息，并融合多種類型的圖像視覺特征，以此來增強圖像的底層視覺與高層語義之間的相關性，從而使得所學習到的字典具有更強的判別能力，降低語義鴻溝的影響。在Corel5K數據集上的實驗結果表明，本文方法與其他經典的標注方法相比，具有較好的標注性能，但由于語義鴻溝的存在，對于背景比較復雜的圖像而言，標注效果仍有待提高，所以下一步的工作是改善特征提取方法，使用不同類型的特征組合方式，使得所提取的底層視覺特征能夠更好地表示圖像的視覺內容，提高標注準確度。