基于雙模語義空間的圖像標(biāo)注

曹瑛

摘要：本文著眼于圖像底層視覺和文本標(biāo)簽這兩種模態(tài)信息，探討基于雙模語義空間的圖像標(biāo)注技術(shù)。將視覺特征與文本標(biāo)注表示為同一對(duì)象的兩種視圖方式，考慮兩個(gè)特征空間之間的語義對(duì)偶關(guān)系，在雙模主題構(gòu)成的對(duì)稱空間上構(gòu)建一個(gè)非概率主題標(biāo)注模型，為圖像標(biāo)注研究提供新思路和理論依據(jù)。

關(guān)鍵詞：圖像標(biāo)注；雙模；語義

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）10-0098-01

隨著網(wǎng)絡(luò)多媒體數(shù)據(jù)的劇增，圖片正呈爆炸式增長，人們?nèi)绾螐暮Ａ康膱D像中找到自己想要的圖像是當(dāng)前研究的熱點(diǎn)。如果能將圖片用若干文本進(jìn)行標(biāo)注，就能將圖像的檢索問題轉(zhuǎn)換成更為成熟的文本檢索問題來處理，所以實(shí)現(xiàn)圖像語義檢索的關(guān)鍵便是自動(dòng)圖像標(biāo)注技術(shù)，即給未知圖像添加能描述其內(nèi)容的文本關(guān)鍵詞的方法。

1 自動(dòng)標(biāo)注常用算法

圖像自動(dòng)標(biāo)注方法大概可以分成兩類：有監(jiān)督分類的方法和關(guān)聯(lián)建模的方法。其中有監(jiān)督分類的方法是將各個(gè)語義類別看作獨(dú)立的概念，為每個(gè)語義類別建立單獨(dú)的分類器[3]。新進(jìn)一幅圖片，通過計(jì)算視覺特征相似度，將相應(yīng)的文本關(guān)鍵詞傳播給新圖片。

關(guān)聯(lián)模型這類方法利用現(xiàn)有的已標(biāo)注好的圖像數(shù)據(jù)集，試圖在無監(jiān)督的基礎(chǔ)上學(xué)習(xí)圖像的視覺特征和文本關(guān)鍵詞之間的關(guān)聯(lián)，再將這種關(guān)聯(lián)應(yīng)用于未標(biāo)注的新圖像，通過統(tǒng)計(jì)推理來預(yù)測(cè)新圖像的語義信息。

借助有標(biāo)注的圖像訓(xùn)練集，運(yùn)用無監(jiān)督學(xué)習(xí)的方法對(duì)圖像視覺特征和標(biāo)簽關(guān)鍵詞之間的語義關(guān)聯(lián)進(jìn)行建模，對(duì)于新的未標(biāo)注圖像，通過這種關(guān)聯(lián)再進(jìn)行統(tǒng)計(jì)推理得到標(biāo)注詞匯。這種基于概率關(guān)聯(lián)的模型方法最早提出的有機(jī)器翻譯模型、跨媒體相關(guān)模型、對(duì)偶跨媒體相關(guān)模型[2]。近年來LDA模型[3]取得了更好的成效，首先在圖像的視覺特征空間和文本特征空間分別生成潛在主題，選擇一個(gè)子集形成混合的LDA模型來實(shí)現(xiàn)語義標(biāo)注。基于概率的PLSA-MIXED模型[4]，則是將視覺特征和文本特征串聯(lián)組合成一個(gè)混合的特征空間，完成基于潛在語義分析的圖像標(biāo)注。PLSA-FUSION模型[5]則是通過分別建立視覺潛在語義空間和文本潛在語義空間，然后采用動(dòng)態(tài)自適應(yīng)的方法進(jìn)行融合，形成它們共同的潛在主題空間。

這些提取圖像不同模態(tài)潛在主題的統(tǒng)計(jì)模型在圖像標(biāo)注領(lǐng)域已取得成功的應(yīng)用，但是在這些基于PLSA的圖像標(biāo)注模型中，既沒有考慮文本關(guān)鍵詞之間的語義關(guān)聯(lián)，也沒有考慮視覺特征之間的語義關(guān)聯(lián)，如果能將這兩種因素都進(jìn)行考慮，必然會(huì)提升圖像標(biāo)注的性能。

本文著力于構(gòu)建一個(gè)語義空間能夠很好的反映圖像與圖像、標(biāo)注與標(biāo)注、圖像與標(biāo)注之間的語義對(duì)應(yīng)關(guān)系，提出基于雙模語義空間的圖像標(biāo)注技術(shù)。首先將視覺特征與文本標(biāo)注表示為同一對(duì)象的兩種視圖方式，運(yùn)用偏最小二乘（PLS）的多元統(tǒng)計(jì)分析理論，考慮兩個(gè)特征空間之間的語義對(duì)偶關(guān)系，抽取得到雙模態(tài)共有語義信息，在雙模主題構(gòu)成的對(duì)稱空間上構(gòu)建一個(gè)非概率主題標(biāo)注模型，為圖像標(biāo)注研究提供新思路和理論依據(jù)。

2 雙模語義的圖像標(biāo)注

我們擬在數(shù)據(jù)集上，將視覺特征與對(duì)應(yīng)的標(biāo)注看成是從同一表示層面描述相同對(duì)象形成的不同視圖，提取同一對(duì)象在各表示層面上的語義表示，綜合考慮圖像與圖像、標(biāo)注與標(biāo)注、圖像與標(biāo)注之間的語義對(duì)應(yīng)關(guān)系，構(gòu)建雙模態(tài)的潛在語義主題空間。圖像集中的m幅圖像的兩種模態(tài)特征分別表示為視覺特征和文本特征，使用偏最小二乘（PLS）從數(shù)據(jù)集中為圖像視覺特征和標(biāo)簽文本特征抽取對(duì)偶主題空間，通過模型化語義相關(guān)性的統(tǒng)計(jì)依賴關(guān)系來建立雙模主題的語義對(duì)應(yīng)關(guān)系。圖像投影到雙模主題空間計(jì)算圖像與圖像的相似度，標(biāo)注與標(biāo)注的相似度進(jìn)一步改善圖像的標(biāo)注。

新來一幅未標(biāo)注圖像，視覺特征表示為

，經(jīng)變換得到：

（1）

其中，，然后根據(jù)訓(xùn)練得到的ξi，按照下面的公式，遞推出未標(biāo)注圖像在視覺主題空間的投影向量：

（2）

（3）

其中，pk是回歸系數(shù)，tk0是中間變量，最終圖像的標(biāo)注屬性可以這樣計(jì)算出來：

（4）

可以看到矩陣y方便的表示圖像的標(biāo)簽屬性，而對(duì)于每一幅待標(biāo)注圖像最終得到預(yù)測(cè)向量，它的每個(gè)分量代表對(duì)應(yīng)標(biāo)簽的預(yù)測(cè)結(jié)果，預(yù)測(cè)結(jié)果越接近，分配該標(biāo)簽關(guān)鍵詞的可能性越大。我們通過對(duì)每一個(gè)標(biāo)簽關(guān)鍵詞預(yù)設(shè)一個(gè)闡值來判斷它是否作為圖像的標(biāo)注信息。

參考文獻(xiàn)

[1]Blei DM， Jordan MI. Modeling annotated data. In： Proc. of the 26th Intl ACM SIGIR Conf. on Research and Development in Information Retrieval. New York： ACM Press， 2003. 127-134.

[2]Jeon J， Lavrenko V， Manmatha R. Automatic image annotation and retrieval using cross-media relevance models. In： Proc. of the 26th Intl ACM SIGIR Conf. on Research and Development in Information Retrieval. New York： ACM Press， 2013. 119-126.

[3]Lavrenko V， Manmatha R， Jeon J. A model for learning the semantics of pictures. In： Thrun S， Saul LK， Scholkopf B， eds. Advances in Neural Information Processing Systems 16. Cambridge： MIT Press， 2004. 553-560.

[4]Monay F， Gatica-Perez D. Modeling semantic aspects for cross-media image indexing. IEEE Trans. on Pattern Analysis and Machine Intelligence， 2009，29（10）：1802-1817.

[5]李志欣，施智平，李志清， 史忠植. 融合語義主題的圖像自動(dòng)標(biāo).Journal of Software，2011，22（4）：801-812endprint