結合全局-局部特征和注意力的圖像描述方法

謝琦彬，陳平華

廣東工業大學 計算機學院，廣州 510006

近年來，圖像描述（Image Caption）任務在計算機科學領域受到了很多關注，逐漸成為熱門話題。圖像描述任務是計算機視覺技術和自然語言處理技術結合的產物，其本質是計算機對輸入圖像的內容進行識別和理解，并自動生成一段用人類語言描述的文本。這項任務不僅節省了對海量的圖像進行人工標注花費的時間，還可以應用于盲人導航、兒童早教等多個方面，具有重要的研究意義。圖像描述生成任務作為一種跨領域任務，一方面需要模型提取圖片中的對象以及對象間的關系，另一方面還需要高度理解圖像特征并生成描述正確且邏輯清晰的語句。傳統的研究圖像描述生成任務的算法主要有以下兩大類：基于模板的圖像描述方法[1-3]，該類方法首先會捕捉圖像中的對象、動作、場景，然后把它們填入到固定的句子模板中生成圖像的標注，這類方法特點是操作簡單，但生成的語句缺乏一定的多樣性，與人工標注句子的表述風格相差過大；基于檢索的方法[4-5]，該類方法將目標圖像與經過人工標注圖像數據庫中的圖像進行相似度排序，檢索最佳表述，但該方法生成的文本嚴重依賴圖像數據庫當中的人工標注，無法生成新穎的語句，缺乏靈活性。近年來隨著深度學習的成功，基于編碼器-解碼器的模型解決了輸入輸出序列必須等長的限制條件，自然語言領域中的機器翻譯、機器寫作等任務中大量使用該模型進行研究，且取得了十分優異的效果。研究學者將其應用在圖像描述生成任務當中，使用編碼器對輸入的圖像進行特征提取，再通過解碼的方法生成最終的文本描述。Mao等在文獻[6]中提出使用卷積神經網絡（convolutional neural networks，CNN）作為編碼器將圖像轉換為固定長度的向量表示，然后傳入到循環神經網絡（recurrent neural networks，RNN）中輸出相應的文本描述。文獻[7]提出了一種端到端訓練的神經圖像字幕生成器（Google NIC），該模型使用深度卷積神經網絡提取目標圖像的視覺特征表示，使用長短期記憶神經網絡[8]（long short-term memory，LSTM）替代RNN生成文本描述，改善了RNN在長文本序列上的梯度彌散問題，提升了描述文本的質量。文獻[9]對LSTM進行了改進，將編碼器從圖像中獲取的信息添加到LSTM中進行訓練，用于指導描述文本的生成。為了進一步增強模型對圖像重要區域信息的捕捉，文獻[10]提出了將注意力機制融入到圖像描述生成任務中，并提出了兩種不同的注意力機制，分別是軟注意力（softattention）機制和硬注意力（hard-attention）機制，軟注意力機制針對每個劃分的圖像區域學習注意力權重后進行加權求和，權重系數總和固定為1；在硬注意力機制中，將某一個圖像區域的權重設為1，其他區域設置為0，從而達到僅關注某一個區域的目的。文獻[11]提出了視覺哨兵的概念，哨兵向量決定模型在每個時間步上生成單詞時選擇依賴圖像信息還是語義信息，以提高描述的正確性。與基于模板和基于檢索的方法相比，基于編碼器-解碼器的方法泛化能力強，所生成的描述文本表達自然。上述方法對圖像描述任務做了大量的工作，但是該任務仍然面臨著一些急需重點解決的問題：（1）大多數基于神經網絡的方法并沒有對圖像特征進行充分的利用，往往只使用圖像全局特征去生成描述文本，在訓練過程中會出現對象丟失和預測錯誤的問題，編碼器提取的圖像特征與注意力機制沒有實時結合，模型只考慮到上一時刻編碼器的圖像上下文向量而忽略了當前時刻下的圖像信息；（2）傳統的注意力機制僅使用隱藏層狀態去選取合適的圖像特征信息，而沒有對內部信息做進一步的檢驗，存在同一時刻下語義特征與圖像特征不一致的問題。

針對以上方法存在的問題，本文以增強圖像特征提取、改進注意力機制為研究內容，提出了一種結合圖像全局-局部特征和注意力機制的圖像描述方法，本文的主要特點如下：

（1）分別利用殘差網絡ResNet101的全連接層和最后一層卷積層分別提取圖像的全局特征和局部特征，對兩種圖像特征在編碼階段做不同的利用。

（2）提出一種實時注意力模型，在每一時刻下根據圖像特征和語義特征之間的相似度來計算注意力得分，使得圖像特征信息與文本描述信息能具有最大的相關性。

（3）在解碼過程中使用雙向門控循環單元（gated recurrent unit，GRU）結構替代LSTM，在生成文本時考慮到雙向語義，使目標區域與生成語言之間的對齊更加合理，提高圖像描述的準確度。

1 結合全局-局部特征和注意力機制的圖像描述方法

本文的模型整體結構如圖1所示，主要分為圖像特征提取模塊和文本生成模型兩個部分，首先利用特征提取模塊對圖像進行處理，將編碼好的圖像向量饋入到文本生成模塊生成圖像描述文本序列。在測試階段，本文隨機選擇若干張圖片輸入到模型得到對應的描述文本，再與人工標注的句子進行比較，最后得出結論。

圖1 圖像描述生成模型Fig.1 Image caption model

1.1 圖像特征提取

隨著計算能力的提高，深度卷積神經網絡在計算機視覺任務當中取得了優異的表現，這些模型最大的優勢就是在大型數據集上進行訓練后可以直接當作圖像的特征提取器，使用深度卷積網絡的全連接層提取的特征通常是一維向量，包含的僅是圖像的全局語義信息，很容易丟失圖像對象間的細節信息，為了使每個特征向量與圖像的內容相關聯，從預訓練的深度卷積神經網絡的卷積層中提取特征，將其定義為局部特征，這些局部特征可以幫助模型選擇性地使用圖像中的對象信息生成對應的字幕。將兩種不同粒度的特征作為輸入，可以使得目標之間的關系表述得更加合理，更加準確。

在本文中，采用經過預訓練的ResNet101作為模型的圖像特征提取器，ResNet[12]網絡最大的特點就是在每層網絡之間添加了殘差塊，殘差塊有助于解決隨著網絡層數的不斷增加而造成的梯度消失問題。

ResNet結構如圖2所示，其在每一層的輸出與下一層輸入之間添加了直接映射，將恒等映射關系H(x)=F(x)轉化為F(x)=H(x)-x，避免在反向傳播過程中梯度趨近于0，有利于訓練更深的模型，從而學習到更多的信息。與另一種時下應用廣泛的深度卷積神經網絡VGG16相比，ResNet網絡在性能方面表現更為優異，可以顯著提升效果[13]。在本文中，對于給定的圖像I，首先抽取ResNet101全連接層提取的特征作為全局特征Vgf，特征向量Vgf會作為整個圖像信息直接輸入到解碼器模塊中，將ResNet最后一層卷積層的輸出抽取表示為局部特征Vlf={vlf1,vlf2,…,vlfL}，其中L代表總共生成的向量個數，局部特征用于注意力機制去訓練注意力權重系數，使得模型在每一時刻下的側重關注區域都有所不同。

圖2 殘差結構圖Fig.2 Residual structure diagram

1.2 GRU

在圖像描述任務中通常使用長短期記憶網絡LSTM作為解碼器來實現對序列的非線性特征學習，LSTM由一個記憶單元（constant error carrousel，CEC）和三個門（gate）組成，其核心思想是引入了自適應門控機制，記憶單元用于幫助模型保存當前時刻生成的有關圖像的隱式信息并傳遞給下一時刻使用，使得第N個單詞的生成不僅與前一個單詞相關，而是和前面N-1個單詞都相關，這樣本文生成準確率就會大幅提高。為了簡化LSTM結構，研究學者進而提出了GRU網絡結構，GRU原理與LSTM相似，但與LSTM相比最大的特點是將遺忘門和輸入門合并為一個更新門，減少了1/3的訓練參數，在保證效果相同的情況下加速反向傳播算法的效率，提升整個實驗的訓練性能。圖3是GRU的結構圖。

在圖3中，xt代表t時刻輸入的文字信息，序列表示為x={x1,x2,…,xn},ht是更新后的隱藏層狀態，r表示控制重置的門控，重置門的作用是判斷前一時刻狀態ht-1對當前狀態ht的重要程度，當rt的值越小時允許模型遺忘更多的信息；z為控制更新的門控，其輸出的值始終在(0,1)之間，表示前一時刻隱藏層輸出信息被保留到當前狀態中的程度，當zt的值越大時，代表記憶前一時刻隱藏層帶入的信息越多。具體公式如式（1）～（4）所示：

圖3 GRU模型Fig.3 GRU model

h?t表示當前時刻候選隱藏層狀態信息，也稱為記憶信息，由重置門與前一時刻的隱藏層狀態信息計算得出。zt?h?t表示對當前時刻候選隱藏層狀態信息進行選擇性儲存，(1-zt)?ht-1表示遺忘上一時刻的隱藏狀態ht-1中某些維度信息，σ是sigmoid非線性激活函數，tanh是雙曲正切S型函數，wz、wr、wh分別表示訓練過程當中學習到的一些參數。

單向GRU網絡只能通過獲取過去序列信息來預測當前的單詞，但如果想準確地獲取一個語句所表達的意思，未來的序列信息同樣是十分重要的。例如在中文文本序列中“重慶市長江大橋視察工作”，當順序讀取語句可以獲得“重慶/市長/江大橋”以及“重慶市/長江大橋”兩種語義，當反向獲取語義信息時，會首先得到“視察工作”這個詞組，進而可以推斷前面出現的應該是人名而不是物名，最后得出該句子的意思是“重慶/市長/江大橋/視察工作”。因此在獲得文本時需要考慮到雙向語義才能避免產生歧義，雙向GRU包括前向傳播和反向傳播兩種方式，對于每一時刻t，都會訓練兩個方向相反的GRU，最終輸出的向量是前向學習和反向學習拼接的結果：ht=[ht-F,ht-B]其中，ht-F、ht-B分別表示t時刻下GRU前向學習和反向學習的隱藏層狀態。

1.3 實時注意力機制

注意力機制參考了人類神經視覺行為特點，例如人類在觀察某幅圖像的時候首先會將視覺能力聚焦在整幅圖像中最顯眼的部分，再去觀察圖像中的其他細節。在某種程度上，可以將注意力模型當作一種資源分配模型，假設在生成描述文本時對圖像中所有區域中的信息進行同等程度的處理，就會忽略掉圖像中重要的焦點信息，注意力機制的本質是為不同的圖像區域賦予不同的權重系數，權重越大表示該圖像區域對于生成最終的描述文本有著更重要的意義。在文本中提出了一種新的注意力機制，該機制通過循環結構獲取長序列語義，計算語義向量和圖像特征向量之間的相似度來獲得注意力權重，使得注意力機制在生成圖像上下文信息時會考慮到實時的背景信息。實時注意力機制如圖4所示。

圖4 實時注意力機制Fig.4 Real-time attention mechanism

st是表示t時刻輸入的單詞，它是一個獨熱編碼形式的向量，由于詞匯表的維度過于稀疏，因此乘上一個單詞嵌入矩陣WE將其轉化為到一個較為稠密的向量xt，即xt=WE*st，語義向量at表示在傳遞過程中保存下來的信息，在t=0時刻初始化為全0的矩陣，at更新公式如式（5）所示：

注意力權重系數是通過對語義信息at和圖像局部特征Vlf求相似度計算得來的，根據注意力機制的定義可知，當注意力權重越大時，表示語義信息與圖像特征信息之間的關聯度越大，在式（6）中Wv、Wa分別表示向量的參數矩陣：

αti表示的是第i個圖像區域在t時刻下的注意力權重，最后對圖像特征與注意力權重做一個加權整合，得到圖像上下文信息：

1.4 全局-局部特征和注意力機制模型的融合

傳統的基于注意力網絡的圖像描述模型如圖5所示，圖像首先經過卷積神經網絡提取得到特征V，將V與長短期記憶網絡的隱藏層狀態ht-1作為注意力機制網絡的輸入，注意力結構對圖像特征進行權重系數分配后輸出圖像上下文向量信息Ct，再結合當前時刻的隱藏層狀態ht饋入到感知機當中生成單詞yt，整個文本序列的生成過程就是對上述過程進行一個不斷的循環。

圖5 傳統的基于注意力的圖像描述模型Fig.5 Traditional attention-based image caption model

但是需要注意的是，傳統的基于注意力機制的圖像描述模型并沒有充分利用圖像特征，其提取的僅是圖像的全局特征而沒有利用到圖像的局部特征；同時鑒于圖像的上下文信息與當前時刻的隱藏層狀態應該是緊密相關，本文在傳統圖像描述生成網絡上進行改進，進一步提出結合全局-局部特征和注意力機制的模型，模型如圖6所示。

圖6 結合全局-局部特征和注意力機制的模型Fig.6 Model combining global-local features and attention

考慮到需要提取細粒度更高的圖像視覺信息，本文模型中的注意力機制結構與圖5所示方法有所不同，在圖6中，注意力機制利用圖像局部特征向量和文字特征向量的相似度計算注意力權重，輸出的上下文向量ct每時刻都在特定位置利用圖像局部特征，因此可以利用ct指導圖像的全局特征去生成隱藏層狀態向量，GRU以注意力機制的輸出ct和圖像全局特征Vgf作為輸入，公式（1）～（4）是單向GRU更新的過程，雙向GRU的輸出為前向網絡的輸出與后向網絡輸出的一個拼接：ht=[ht-F,ht-B]，同時為了加強圖像特征與描述文本之間的映射關系，在GRU輸出的部分加入了殘差模塊，避免在訓練過程中部分信息的丟失。

文本的算法步驟可以具體表示為：

輸入 圖像

輸出 圖像的描述文本

1.for i in[1,N]

2.利用ResNet101網絡提取圖像的局部特征Vlf，并將圖像局部特征向量Vlf與詞向量xt輸入到注意力機制當中；

3.注意力機制通過計算圖像局部特征向量Vlf與詞向量xt之間的相似度獲取注意力權重，然后將注意力權重與圖像特征結合獲取上下文向量ct；

4.將獲取的上下文向量ct、ResNet101提取的圖像全局特征Vgf以及上一時刻的解碼器隱藏狀態ht-1饋入到雙向GRU中，去更新解碼器當前時刻下的隱藏層狀態ht；

5.利用殘差結構將t時刻的隱藏層狀態ht和上下文向量ct輸入到softmax層得到生成詞yt；

6.end

7.獲得描述文本

1.5 損失函數

本文模型采用圖像描述生成任務中常用的交叉熵進行訓練，損失函數形式如下所示：

2 實驗及結果分析

2.1 評價指標

為了對生成的圖像描述句子的質量進行精確評估，實驗需要采用不同的客觀量化方法進行驗證，本文使用的一些評估指標包括BLEU（bilingual evaluation understudy）[14]、METEOR（metric for evaluation of translation with explicit ordering）[15]、CIDEr（consensus-based image description evaluation）[16]，對于所有指標，越高的分數表示性能越好。

BLEU：最初是為機器翻譯任務設計的，現在廣泛應用于圖像描述任務，它通過N-gram計算輸出文本和人工標注的一個或多個句子之間的匹配分數，輸出值始終在0～1，BLEU又細分為BLEU-1、BLEU-2、BLEU-3、BLEU-4。BLEU-1表示原文有多少詞被單獨翻譯出來，可以用來反映譯文的充分性，其余三個指標用于反映譯文的流暢性。

METEOR：用于評價機器翻譯輸出的標準，該方法不僅考慮了準確率，還涉及了召回率。

CIDEr：專門設計用于測量圖像描述文本與人類標注的參考語句之間的一致性，它是通過對每個n元組進行TF-IDF權重計算，更能反映所生成句子的質量。

2.2 數據集和參數設置

本文實驗部分使用的數據集是微軟公司構建的MSCOCO2014[17]數據集。MSCOCO2014數據集由自然場景和人類生活中的常見圖像組成，它具有背景復雜、類型較多的特點，常用于圖像識別、圖像分割、圖像描述等任務，其中包含113 287張訓練集，5 000張驗證集和5 000張測試集，每張圖像均有人工添加的5個注解，由JSON格式提供，文本序列長度分布如圖7所示。在本文實驗中，通過訓練集和驗證集來調試實驗中的參數設置，然后在測試集上進行訓練獲取指標分數，與其他主流模型比較對比。

圖7 MSCOCO數據集長度分布Fig.7 MSCOCO data set length distribution

在模型訓練之前，對輸入的文本數據進行如下預處理：將詞匯量限制在前5 000個單詞，將所有單詞全部轉化成小寫，去掉空格和特殊字符，如“?”和“！”等，設定描述文本的最大長度為16，同時為每個描述都添加和標記。在模型訓練的過程中，設定的一些超參數如表1所示：實驗使用Adam[18]優化器作為主要的訓練算法，α和β的值分別設定為0.9和0.999，學習率的初始值為0.001。實驗過程中為了進一步增強模型的訓練效果和魯棒性，引入Beam Search[19]算法進行優化。Beam Search算法是一種啟發式搜索算法，通常用于文本生成任務，其主要思想是根據每個分支的頻率生成k（k為超參數，表示集束尺寸）個單詞，再與文本中的已生成單詞做一個組合，最后選取得分最高的前k個序列為答案，在本實驗中將k的值設定為3，同時為了防止過度擬合的問題，在實驗中使用Dropout方法，從循環神經網絡層中按照一定概率丟棄神經元，實驗中Dropout的值取0.5。

表1 訓練超參數Table 1 Training hyperparameters

2.3 實驗結果及分析

為了使實驗結果體現得較為直觀，表2顯示的是本文算法與mRNN[6]、GoogleNIC[7]、Soft-Attention[11]、Hard-Attention[11]以及近年來有關于圖像全局-局部特征的描述模型[20-21]在MSCOCO數據集下的評估結果。

表2 不同算法在MSCOCO數據集上評價指標得分對比Table 2 Different algorithms evaluate comparison of index scores on MSCOCO dataset %

從實驗模型分析，性能提升的原因有以下幾點：使用基于殘差網絡的深度卷積神經網絡提取圖像特征可以有效減少在訓練過程當中由于網絡層數增加帶來的梯度消失問題，其次采用了實時注意力機制能夠更好地表征每一時刻下圖像特征信息與文字向量信息間的關系，解碼時采用的雙向GRU網絡可以攜帶不同訓練方向的語義信息，能夠有效生成通順、合理的語句。最后在訓練過程當中，利用Dropout和Beam Search幫助模型進一步優化模型，提升魯棒性，獲得更好的效果。本文工作也與文獻[20-21]進行了比較，文獻[20]中提出的是使用InceptionV3和VGG16網絡分別去提取圖像的局部特征和全局特征，在獲得兩種特征后拉伸成同一維度，拼接成最終的圖像特征向量進行解碼，并沒有使用注意力機制取處理圖像特征與文字向量之間的映射關系；文獻[21]則是選用VGG16提取全局特征，Faster R-CNN提取局部特征，通過注意力機制可以選擇地關注不同時刻下的顯著對象，考慮它們的圖像上下文信息。以上兩種模型并沒有考慮到注意力機制的改進以及解碼器輸出時的雙向語義，因此本文相較于以上的模型有了更進一步的改進，在以上的評價指標中，有一定程度的提升。

為了更直觀地證明模型的有效性，在MSCOCO數據集上的一些圖像描述結果如圖8所示，這些圖像定性的分析了文獻[7]和本文提出模型的性能。圖8（a）是使用文獻[7]生成的描述，圖8（b）是使用本文算法實現的圖像描述。圖8（b）不僅對（1）圖識別出了大象站在柵欄前的這一動作，而且識別出了“metal fence”對細節的描述更為豐富；圖8（b）準確檢測出了（2）圖中的“the pink house”，而圖8（a）則只識別到了建筑物“building”；圖8（a）對（3）圖僅僅識別出了“a woman”，而忽略了圖中的另一個小女孩，對物體“frisbee”錯誤識別成“kite”；圖8（b）對（5）圖片的男人和女人并沒有準確表達，而只是模糊識別出了“a couple of people”。從上面的結果可以看出，本文算法在描述結果上不僅準確率更高，而且細節表現更佳。

圖8 生成圖像描述對比結果Fig.8 Generate image caption comparison results

為進一步測試本文模型的效果，在測試集隨機選取若干張圖像，使用本文提出的算法模型生成描述文本，結果如圖9所示。圖9中的圖片包含有動物、食物、風景、運動等不同風格，通過對這些圖片測試的結果可以看出，本文算法在最后的生成描述上具有較為優異的表現，能夠準確地表達圖片所包含的內容，在細節處理上也較為細致，但是也有極少數圖片上存在一些缺陷：例如圖9的（2）中沒有將花瓶中的假鵝識別出來，僅識別出了花瓶與花這兩個物體，而圖9的（7）更是錯誤地將人的手識別為了繩子，提升生成字幕的穩定性、降低錯誤識別率是后續工作中會繼續研究并解決的重點問題。

圖9 隨機選取圖像生成結果Fig.9 Randomly select image caption generation results

3 總結與展望

本文提出一種結合全局-局部特征和注意力機制的圖像描述方法，利用圖像的局部特征與詞向量之間的相似度去計算注意力權重，使注意力機制能夠準確捕獲圖像中的對象以及對象之間的關聯，最后利用圖像的全局特征和注意力上下文指導單詞序列的生成。在MSCOCO2014數據集上的實驗結果表明，結合全局-局部特征和注意力的模型取得了較為優秀的評估分數，證明了模型的有效性。本文的主要不足之處在于，模型訓練過程中有一些圖像生成的字幕并不穩定，表述得不夠清楚，下一步將設計更為有效的注意力機制，對全局特征與局部特征做更為緊密的結合，提升模型的泛化能力，以生成表達更為豐富的圖像描述字幕。