基于依存關(guān)系注意力增強(qiáng)的跨模態(tài)檢索研究

曾 輝，胡 蓉，淦修修，彭志穎，熊李艷

（華東交通大學(xué)信息工程學(xué)院，江西 南昌330013）

在信息時(shí)代，為了便于人們獲取感興趣的視覺數(shù)據(jù)，從一個(gè)大規(guī)模數(shù)據(jù)庫(kù)中快速地找到和查詢圖像內(nèi)容相關(guān)或相似的圖像，并按相關(guān)的排序返回給用戶是很常見的需求。 但是隨著多媒體數(shù)據(jù)，特別是圖像視頻文字?jǐn)?shù)據(jù)，呈爆炸式增長(zhǎng)，單純使用圖像來(lái)檢索圖像的單模態(tài)檢索方式已經(jīng)難以滿足當(dāng)前用戶的需求[1]，以互聯(lián)網(wǎng)上龐大數(shù)目的圖像視頻以及描述性文本等數(shù)據(jù)為基礎(chǔ)的多模態(tài)數(shù)據(jù)研究已經(jīng)成為當(dāng)前檢索系統(tǒng)領(lǐng)域的研究熱點(diǎn)。

目前相關(guān)的研究大多利用數(shù)據(jù)間的共存與互補(bǔ)特征來(lái)分析多模態(tài)之間的語(yǔ)義理解與關(guān)聯(lián)性表示。 其中典型相關(guān)分析（canonical correlation analysis，CCA）[2]是跨模態(tài)檢索研究中最常用的方法，通過(guò)尋找一個(gè)線性映射向量能夠?qū)⒂成渲料嗤涌臻g后的兩類模態(tài)數(shù)據(jù)相關(guān)系數(shù)最大化來(lái)實(shí)現(xiàn)跨模態(tài)檢索。Tenenbaum J B 等[3]為跨模態(tài)識(shí)別提出雙線性因子模型（bilinear model，BLM），能夠?qū)σ蜃咏换ミM(jìn)行充分表達(dá)，并基于奇異值分解算法來(lái)擬合數(shù)據(jù)。Akaho S[4]就運(yùn)用了改進(jìn)的非線性CCA 算法KCCA，即核典型相關(guān)分析算法，把核函數(shù)的思想引入CCA 中。 Gong Y[5]使用改進(jìn)的KCCA 算法，但是增加了圖像和文本之外的第三類特征—語(yǔ)義關(guān)鍵詞。 語(yǔ)義相關(guān)匹配[6]（semantic correlation matching，SCM）將文本語(yǔ)義抽象化并融合入典型相關(guān)分析學(xué)習(xí)過(guò)程中，提高了跨模態(tài)檢索的準(zhǔn)確性。 Jacobs D W 等[7]提出廣義多視判別分析方法（generalized multiview analysis,GMA），將特征提取轉(zhuǎn)化為求解廣義特征值問(wèn)題，解決在不同特征空間的聯(lián)合表示，獲得有效的潛在子空間表示，這是CCA 方法的有監(jiān)督擴(kuò)展。Kan M[8]在研究中基于神經(jīng)網(wǎng)絡(luò)架構(gòu)而改進(jìn)典型相關(guān)分析CCA 算法，通過(guò)多分支的多層神經(jīng)網(wǎng)絡(luò)對(duì)圖像和文本數(shù)據(jù)進(jìn)行特征提取， 并將CCA 的優(yōu)化目標(biāo)設(shè)計(jì)成為雙分支網(wǎng)絡(luò)的優(yōu)化函數(shù)。 Wang L[9]設(shè)計(jì)一個(gè)雙分支的全連接神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）來(lái)對(duì)圖像和文本特征信息分別進(jìn)行表示學(xué)習(xí)，進(jìn)而進(jìn)行總體的聯(lián)合嵌入空間表示，作者新穎地使用類間距離和類內(nèi)距離作為優(yōu)化目標(biāo)。 深度學(xué)習(xí)算法對(duì)這類包含位置、色彩、時(shí)序性的結(jié)構(gòu)數(shù)據(jù)擁有很好的特征學(xué)習(xí)能力，其中卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于圖像表征的學(xué)習(xí)。 Diaz-chito K[10]使用CNN 和LSTM 網(wǎng)絡(luò)對(duì)圖片和文本進(jìn)行編碼，再嵌入聯(lián)合空間表示，并通過(guò)解碼網(wǎng)絡(luò)來(lái)保證各自的信息的重構(gòu)性。 Karpathy A[11]通過(guò)多目標(biāo)識(shí)別算法RCNN對(duì)圖片樣本進(jìn)行區(qū)域切割和文本識(shí)別，利用句法依賴樹對(duì)文本句子樣本進(jìn)行詞語(yǔ)切割。 最后比對(duì)各片段相似度和整體相似度，通過(guò)保證類內(nèi)差異小，類間差異大來(lái)進(jìn)行模型學(xué)習(xí)。 然而對(duì)于描述圖像內(nèi)容的文本數(shù)據(jù)來(lái)說(shuō)，真正能夠代表圖像主要語(yǔ)義內(nèi)容的只有一個(gè)或幾個(gè)詞，即不同的詞在語(yǔ)義表達(dá)中的重要程度存在差異性。 本文參考注意力機(jī)制在機(jī)器翻譯、圖文理解任務(wù)中的廣泛應(yīng)用模式，通過(guò)對(duì)句子依存樹結(jié)構(gòu)的片段化處理，添加關(guān)于依存關(guān)系元組注意力機(jī)制，使關(guān)鍵詞組片段在文本數(shù)據(jù)表示時(shí)具有更加重要的影響作用，并基于雙分支網(wǎng)絡(luò)結(jié)構(gòu)模型訓(xùn)練，實(shí)現(xiàn)跨模態(tài)檢索任務(wù)。

1 模型方法

1.1 模型結(jié)構(gòu)

本文所提的模型框架主要包含3 部分，雙分支網(wǎng)絡(luò)、注意力機(jī)制嵌入和聯(lián)合空間表示。 如圖1 所示，雙分支網(wǎng)絡(luò)分別由圖像特征輸入部分和文本特征表示部分組成，每個(gè)分支都存在3 個(gè)全連接隱含層，其中使用relu 函數(shù)作為全連接層之間對(duì)各層輸出作非線性映射；注意力機(jī)制嵌入部分通過(guò)學(xué)習(xí)基于句子依存關(guān)系拆分的不同詞組的權(quán)重分布，使重要的詞組在特征表示中占更多的權(quán)重；而聯(lián)合嵌入表示空間將圖像和文本在相同的維度空間內(nèi)進(jìn)行表示，從而計(jì)算相似性，并通過(guò)hinge loss 目標(biāo)函數(shù)來(lái)對(duì)整個(gè)模型進(jìn)行訓(xùn)練，使對(duì)應(yīng)的圖片—句子組合具有更高的相似度。

圖1 跨模態(tài)檢索模型框架Fig.1 Cross-modal retrieval model framework

1.2 注意力機(jī)制嵌入

1.2.1 圖像表示

現(xiàn)實(shí)的圖像是通過(guò)無(wú)數(shù)像素點(diǎn)的集合來(lái)表示，而單純的像素點(diǎn)的灰度值無(wú)法有效表達(dá)圖像的高層語(yǔ)義特征，故需要進(jìn)行圖像數(shù)據(jù)特征向量化。 對(duì)于圖像數(shù)據(jù)，本文采用遷移學(xué)習(xí)的思想，選擇當(dāng)前圖像表征效果卓越的卷積神經(jīng)網(wǎng)絡(luò)CNN 模型，使用基于CNN 網(wǎng)絡(luò)架構(gòu)的VGG 預(yù)訓(xùn)練模型[12]，從原始圖像I 中提取圖像特征VI，VGG 模型是由牛津大學(xué)計(jì)算機(jī)視覺組合和Google DeepMind 公司研發(fā)的一種16～19 層深度的卷積神經(jīng)網(wǎng)絡(luò)，并在2014 年的機(jī)器視覺領(lǐng)域頂級(jí)學(xué)術(shù)競(jìng)賽（imagenet large scale visual recognition challenge，ILSVRC）中獲得分類項(xiàng)目第二名以及圖像定位比賽的第一名，目前為止被廣泛運(yùn)用于深度學(xué)習(xí)中提取圖像特征。

如圖2 所示，VGG 模型能夠有效對(duì)圖像做特征表示， 而VGG 模型需要輸入圖像的維度是224×224，本文首先進(jìn)行圖像增強(qiáng)操，用于增加數(shù)據(jù)量，將圖像先統(tǒng)一放縮成256×256 大小，然后分別裁剪左上角、左下角、右上角、右下角和中部5 個(gè)位置224×224 大小的圖像擴(kuò)充數(shù)據(jù)，選擇VGG 模型最后一層池化層輸出作為圖像表示特征向量， 每張圖片向量維度為4 096 維。

圖像特征提取過(guò)程用公式（1）表示，其中I表示原始圖像，VI表示提取的圖像特征

圖2 VGG 預(yù)訓(xùn)練模型提取特征Fig.2 VGG pre-training model extraction feature

1.2.2 文本表示與句子依存結(jié)構(gòu)構(gòu)建

對(duì)于文本數(shù)據(jù)的表示，分為兩個(gè)方面，一方面需要對(duì)句子文本自身作句子向量表示；另一方面需要將句子進(jìn)行結(jié)構(gòu)拆分，構(gòu)造出多個(gè)子結(jié)構(gòu)區(qū)域，用于注意力機(jī)制嵌入計(jì)算。 文本數(shù)據(jù)集合用UT表示。

1） 句子向量表示。 對(duì)于單個(gè)句子文本S（S∈UT），由于句中副詞等詞語(yǔ)出現(xiàn)的頻次較高，會(huì)影響句子的語(yǔ)義表達(dá)。本文首先對(duì)句子進(jìn)行去停用詞處理。句子是由多個(gè)詞組成，要對(duì)句子進(jìn)行表示首先需要進(jìn)行詞表示，本文使用基于word2vec[13]模型改進(jìn)的GLOVE 方法訓(xùn)練的詞向量來(lái)對(duì)每個(gè)詞作詞向量表示，經(jīng)GLOVE訓(xùn)練好的詞向量表示維度分別有50 維、100 維、200 維和300 維等，能夠根據(jù)不同的需求選擇不同的向量維度。 本文考慮模型結(jié)構(gòu)和計(jì)算的復(fù)雜性，選擇300 維的GLOVE 詞向量來(lái)表示每個(gè)詞vt，然后以整個(gè)訓(xùn)練集文本為集合，計(jì)算句子中每個(gè)詞在整個(gè)訓(xùn)練集中的TF-IDF 值WTF-IDFt（t∈S），并以每個(gè)詞的TF-IDF 值作為GLOVE 詞向量的權(quán)重進(jìn)行加權(quán)求和，如公式（2）所示，最終得到300 維的向量即代表此句子表示向量VS。WTFt表示對(duì)應(yīng)單個(gè)句子文本中的某一個(gè)詞t 在整個(gè)訓(xùn)練集中的TF－IDF 值。

2） 基于依存語(yǔ)法拆分句子。 句子結(jié)構(gòu)拆分的目的是將句子拆分成多個(gè)元組，每個(gè)元組由多個(gè)詞組成，并且分別代表了某種詞組結(jié)構(gòu)關(guān)系，這樣就能夠?qū)⒕渥悠位Ｒ虼耸紫刃枰獙?duì)句子作句法結(jié)構(gòu)分析，并確定句子中詞匯之間的依賴關(guān)系，本文選擇當(dāng)前廣泛使用的句法解析工具斯坦福分析器（Stanford Parser）來(lái)處理英文文本，獲得有效的句子依存結(jié)構(gòu)關(guān)系。

圖3 短語(yǔ)結(jié)構(gòu)樹Fig.3 Phrase tree

句法結(jié)構(gòu)普遍分成兩種表現(xiàn)形式，經(jīng)過(guò)分詞和詞性分析過(guò)程后，生成如圖3 的樹結(jié)構(gòu)，稱為短語(yǔ)句法結(jié)構(gòu)樹。 短語(yǔ)結(jié)構(gòu)樹能夠表達(dá)句子的句法結(jié)構(gòu)，源自傳統(tǒng)的句子圖解法，把句子分割成各個(gè)組成部分，較大的組成成分能夠由較小的組成成分合并得到，由此逐級(jí)傳遞分解。 只有葉子結(jié)點(diǎn)代表句子中各個(gè)詞本身，而其他的中間結(jié)點(diǎn)是短語(yǔ)成分的標(biāo)記，短語(yǔ)結(jié)構(gòu)樹能夠表示每個(gè)詞在句子中的所屬成分和位置，但是無(wú)法直接處理詞與詞之間的依賴關(guān)系。 圖4 是簡(jiǎn)化的圖結(jié)構(gòu)。 依存關(guān)系樹用于表達(dá)句子詞與詞之間的依存關(guān)系，依存結(jié)構(gòu)中每個(gè)結(jié)點(diǎn)都是一個(gè)詞，通過(guò)詞之間的連接弧表示詞之間的“主謂賓”和“定狀補(bǔ)”語(yǔ)法修飾關(guān)系，同時(shí)由于總體的節(jié)點(diǎn)數(shù)大大減少，使結(jié)構(gòu)更加簡(jiǎn)潔清晰。 本文通過(guò)Stanford Parser 生成句子依存關(guān)系樹，獲得如圖4 中右框中所示的依存關(guān)系元組，以TF-IDF 作為詞權(quán)重加權(quán)求和獲得句子依存關(guān)系元組表示矩陣VQ。

1.2.3 句子依存關(guān)系的注意力機(jī)制嵌入

不同的詞匯依存關(guān)系組合對(duì)于句子語(yǔ)義表達(dá)的重要程度是存在差異的，因此本文在模型中加入注意力機(jī)制來(lái)學(xué)習(xí)每個(gè)詞匯組合表示的權(quán)重分布[14]，以此反映出句子各片段區(qū)域的偏重性，并將其加入句子表征向量中。 如公式（3）所示，首先通過(guò)一個(gè)單層神經(jīng)網(wǎng)絡(luò)對(duì)句子表示向量VS和句子依存關(guān)系元組表示矩陣VQ進(jìn)行非線性變換來(lái)激活組合，然后通過(guò)公式（4）的softmax 函數(shù)獲得關(guān)于各依存關(guān)系元組的關(guān)注度概率分布。

式中：VQ∈Rd×m，d 代表每個(gè)依存關(guān)系元組向量的維度，m 是句子元組的數(shù)目，即句子經(jīng)過(guò)依存語(yǔ)法拆分后保留的詞語(yǔ)組合的個(gè)數(shù)；VS∈Rd是d 維句子表示向量。 設(shè)定映射參數(shù)矩陣WQ，A，WS，A∈Rk×d以及WP∈Rl×k，通過(guò)softmax 函數(shù)計(jì)算后得到PI∈Rm的m 維向量，表示此句子每個(gè)依存關(guān)系組合片段的注意力概率值。 由于WQ，AVQ∈Rk×d是k×m 的矩陣而WS，AVS∈Rk是k 維向量，故將矩陣的每一列分別與該向量進(jìn)行求和，得到hA∈Rk×m。 WQ，A，WS，A，WP，bA，bP是通過(guò)模型學(xué)習(xí)得到的參數(shù)。 PQ表示每個(gè)依存關(guān)系詞組對(duì)于句子語(yǔ)義內(nèi)容的重要性度量。

1.3 目標(biāo)函數(shù)

圖像、文本數(shù)據(jù)分別用X，Y 表示，對(duì)于給定的訓(xùn)練集圖像樣本xi，設(shè)定文本樣本yi和yi-，它們分別表示與圖像xi正確匹配的文本和不正確對(duì)應(yīng)的文本，E（xi），E（yi），E（yi-）分別代表各自的嵌入空間的最終輸出向量。 跨模態(tài)檢索的目標(biāo)是期望E（xi）與正確文本E（yi）之間的相似度比E（xi）和E（yi-）之間的相似度更高，如公式（6）所示

其中m 是閾值參數(shù)，表示兩者相似度期望的差值，設(shè)m=0.3。 Sim（·）表示兩者相似性計(jì)算函數(shù)，本文采用余弦函數(shù)作為相似度計(jì)算方式，通過(guò)計(jì)算向量之間的余弦夾角體現(xiàn)相似程度。 如公式（7）所示

同樣，對(duì)于給定的文本數(shù)據(jù)yi來(lái)檢索相關(guān)圖像，如公式（8）所示

對(duì)于圖像檢索文本過(guò)程，三元組{xi，yi，yi-}損失函數(shù)L（xi，yi，yi-）定義如下

對(duì)于文本檢索圖像過(guò)程，損失函數(shù)計(jì)算方式定義

因此，使用hinge loss 函數(shù)方法定義圖像分支xi與文本分支yi聯(lián)合損失，如公式（11）所示

故定義模型的總損失LX，Y如下

其中N 是測(cè)試集樣本數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文選擇公共數(shù)據(jù)集Flickr8K 和Flickr30K 用來(lái)對(duì)所提算法進(jìn)行實(shí)驗(yàn)評(píng)估，F(xiàn)lickr8K 和Flickr30K 是圖片分享網(wǎng)站Flickr 上篩選出的專門用于圖像研究的公共數(shù)據(jù)集，分別包含8 000 和30 000 幅圖像，每幅圖像使用標(biāo)5 個(gè)獨(dú)立的描述句子標(biāo)注，數(shù)據(jù)集樣本的內(nèi)容如圖5 所示。

圖5 數(shù)據(jù)集表示Fig.5 Dataset representation

2.2 評(píng)估方法

本文采用排序問(wèn)題評(píng)價(jià)指標(biāo)P@K 對(duì)算法性能進(jìn)行評(píng)估，計(jì)算方式如下

P@K 用于判斷檢索排在前k 位的相關(guān)性，N 是測(cè)試集樣本數(shù)， 若在檢索結(jié)果中排序前k 個(gè)中有正確對(duì)應(yīng)的樣本，則δ（k）=1 表示檢索正確。

2.3 實(shí)驗(yàn)設(shè)置

在模型訓(xùn)練過(guò)程時(shí)通過(guò)交叉驗(yàn)證方式選取最優(yōu)實(shí)驗(yàn)參數(shù)設(shè)置，選擇隨機(jī)梯度下降方法（stochastic gradient descent，SGD）優(yōu)化目標(biāo)函數(shù)，學(xué)習(xí)率設(shè)置為0.01，隱含網(wǎng)絡(luò)層激活函數(shù)選擇relu 函數(shù)。 嵌入表示空間維度為300， 即將每類模態(tài)數(shù)據(jù)最終使用300 維的向量進(jìn)行特征表示， 從而計(jì)算相似度。 每層隱含層之后的dropout 方法的節(jié)點(diǎn)丟棄率設(shè)為0.5，以分批度訓(xùn)練的方式訓(xùn)練樣本，每個(gè)批度數(shù)據(jù)數(shù)目設(shè)為100，每個(gè)單分支網(wǎng)絡(luò)的3 層全連接網(wǎng)絡(luò)層的神經(jīng)元節(jié)點(diǎn)數(shù)設(shè)置為1 000*1 000*1 000。

2.4 實(shí)驗(yàn)結(jié)果分析

本文分別使用4 種算法與所提算法VSDA 進(jìn)行實(shí)驗(yàn)對(duì)比，其中“CCA”是典型相關(guān)分析算法，是一種經(jīng)典的無(wú)監(jiān)督關(guān)聯(lián)學(xué)習(xí)方法，通過(guò)最大化不同模態(tài)間在投影子空間的相關(guān)性實(shí)現(xiàn)匹配。 “SCM”是語(yǔ)義關(guān)聯(lián)匹配方法，基于CCA 方法學(xué)習(xí)子空間映射，再基于多標(biāo)簽的邏輯回歸方法學(xué)習(xí)不同模態(tài)間的語(yǔ)義匹配。 “KCCA”是一種將核函數(shù)思想引入CCA 進(jìn)行高維映射的方法。 “DCCA”是基于典型相關(guān)分析理論的深度網(wǎng)絡(luò)改進(jìn)模型。 結(jié)果如表1 所示。

表1 各算法實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of various algorithms

表1 是各類算法在Flicker8K 和Flicker30K 數(shù)據(jù)集下的P@K 指標(biāo)的實(shí)驗(yàn)結(jié)果，分別對(duì)給定文本的情況下檢索與文本內(nèi)容匹配的圖像，和給定圖像的情況下查找與圖像內(nèi)容匹配的相關(guān)文本。 整體來(lái)說(shuō)，本文所提的VSDA 算法相較于其他對(duì)比方法無(wú)論是P@1、P@5 還是P@10 的檢索準(zhǔn)確率都有一定程度的提高， 尤其是相比于CCA、SCM、KCCA 算法，在P@5 和P@10 指標(biāo)上效果提升顯著，可能是神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)數(shù)據(jù)之間具有復(fù)雜關(guān)系情況下對(duì)比于傳統(tǒng)理論模型擁有更強(qiáng)大的學(xué)習(xí)能力。 其次，檢索準(zhǔn)確率普遍非常低，但是對(duì)于檢索任務(wù)來(lái)說(shuō)，其目的類似于推薦系統(tǒng)形式是為用戶提供合理的檢索結(jié)果集合，對(duì)于Top1 即正確對(duì)應(yīng)的樣本一定要排序在首位的需求并不是必須， 故P@1 的結(jié)果偏低是可以接受的。 隨著數(shù)據(jù)量的增加，由Flicker8K 的8 000 張圖片到Flicker30K 的30 000 張圖片， 本文的VSDA 算法和DCCA 方法的Text 檢索Image、Image 檢索Text 的檢索準(zhǔn)確率都有可觀的提高，然而其他方法的檢索準(zhǔn)確率普遍都有相對(duì)應(yīng)的降低，說(shuō)明VSDA 算法在大數(shù)據(jù)集情形下同樣可以獲得好的性能。 對(duì)比VSDA 算法和DCCA 方法，F(xiàn)licker8K 數(shù)據(jù)集和Flicker30K 數(shù)據(jù)集的各項(xiàng)指標(biāo)都高于DCCA 方法，而DCCA 方法同樣是使用雙分支網(wǎng)絡(luò)結(jié)構(gòu)，說(shuō)明本文所提的VSDA 算法針對(duì)句子依存關(guān)系注意力機(jī)制的嵌入改進(jìn)是具有可行性的。

3 結(jié)論

本文針對(duì)跨模態(tài)多媒體檢索領(lǐng)域中圖像與文本之間的互檢任務(wù)，考量句子文本的不同片段對(duì)于整體語(yǔ)義表達(dá)具有不同的偏重性，通過(guò)基于依存關(guān)系結(jié)構(gòu)的句子拆解，嵌入注意力機(jī)制從而學(xué)習(xí)各片段元組的權(quán)重分布，并設(shè)計(jì)雙分支神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)跨模態(tài)檢索。 實(shí)驗(yàn)結(jié)果表明該方法的檢索準(zhǔn)確率相比于其他算法有著顯著的提高。 未來(lái)的研究工作將從以下兩個(gè)方面去考慮：①模型學(xué)習(xí)主要采用的是全連接網(wǎng)絡(luò)，可以考慮替換成其他更優(yōu)越的模型架構(gòu)，可能獲得更好的效果；②可以考慮圖像和文本之間是否存在其他聯(lián)系。