基于改進的視覺注意力機制的圖像描述方法

王耀葛，文瑞森，龐貴杰

（廣東工業大學 信息工程學院，廣東 廣州510006）

0 引 言

大數據時代，圖像描述所用到的技術包括計算機視覺與自然語言處理，這是人工智能的兩個主要研究領域。圖像描述任務就是給計算機一張圖像，讓計算機自動生成一句符合圖像內容的描述語句。圖像描述任務在盲人視障、兒童早教、人機交互、游客導航等多方面有著不可估量的應用前景。

圖像描述任務的生成算法主要有三類：基于模板的圖像描述生成方法、基于檢索的圖像描述生成方法和基于深度學習的圖像描述生成方法。目前用得最多的方法是基于深度學習的圖像描述生成方法，該方法采用卷積神經網絡（Convolution Neural Network, CNN）獲取圖像特征信息，采用循環神經網絡（Recurrent Neural Networks, RNN）生成描述語句。2015年，Vinyals等提出了神經圖像字幕（Neural Image Captioning, NIC）模型，Decoder使用帶有記憶功能的長短期記憶網絡（Long Short-Term Memory, LSTM）來生成描述語句。Xu等對NIC模型進行了改進，第一次在圖像描述任務中引入機器翻譯中常用的注意力機制。2018年，Anderson等提出了一個自底向上與自頂向下相結合的注意力模型，使用Faster R-CNN獲取圖像的特征信息。2020年，Wu等提出了用于圖像描述的層次注意融合模型，將多級視覺特征與層次注意力整合在一起生成描述。Wei等通過結合語句級注意和單詞級注意生成圖像描述。

以上模型的解碼器大多數是通過單層或雙層LSTM網絡實現的，對于復雜的圖像描述任務來說解碼能力有限。同時模型使用交叉熵損失進行訓練，這會存在曝光偏差和損失評估失配等問題。為了解決上述問題，本文提出一種基于注意力機制和強化學習的三層LSTM網絡圖像描述模型。本文進行了以下研究工作：

（1）提出一種改進的結合注意力機制的三層LSTM網絡解碼器，其中每兩層LSTM網絡間使用空間注意力模型進行連接，以增強注意力機制的效果。

（2）采用強化學習的訓練策略來解決曝光偏差和損失評估失配等問題，提升模型在評價指標中的得分，進一步提高模型的性能。

1 基于編碼器-解碼器的圖像描述模型

在編碼器-解碼器框架中，編碼器將圖像作為輸入。該圖像的真實描述語句為= {,, . . . ,} ，S為One-hot向量，表示每個單詞。模型訓練的目標是使生成下一個預測單詞的概率值最大，即：

其中，為模型參數。因為描述語句由不同單詞組成，故上式可以分解為：

上式中(|,, . . . ,;) 的計算是一個序列問題，故可以使用LSTM網絡作為解碼器，可以表示為：

其中，（·）為S概率的非線性輸出，h為LSTM的隱藏層狀態，c為上下文向量。使用LSTM網絡求得+1時刻生成單詞的概率分布，即：

其中，x，h分別為LSTM網絡當前時刻的輸入和前一時刻的隱藏層狀態，m為前一時刻的記憶細胞狀態，W為要訓練的參數，b為偏置參數。

2 改進的圖像描述解碼器模型

本文提出的解碼器模型為三層LSTM網絡結構，其模型結構圖如圖1所示。圖1中用上標表示每一層，用表示圖像特征。

圖1 改進的三層LSTM網絡模型結構圖

2.1 第一層注意力LSTM模型

2.2 中間層注意力LSTM模型

第二個LSTM層為中間層注意力模型。在這一層中，當前時刻中間層注意力LSTM的輸入向量由下式給出：

2.3 語言模型

第三個LSTM層為語言模型。在這一層中，第步的語言注意力LSTM的輸入向量由下式給出：

3 實驗及結果分析

3.1 數據預處理與實驗環境

本文使用的訓練數據集為MS-COCO數據集，MSCOCO圖像集含有113 287張訓練圖片，5 000張驗證圖片，5 000張測試圖片，圖像集中每張圖像對應于5個人工生成的描述信息。對于人工標注描述，計算每個單詞出現的次數，保留出現次數大于5次的單詞，＜START＞標記生成語句的開頭，＜END＞標記生成語句的結尾，最終得到的單詞表包含9 489個單詞。

實驗平臺為Ubuntu16.04.7，使用Pytorch深度學習框架，GPU為顯存為11 G的GeForce RTX 2080 Ti，CUDA版本為11.0，CPU為英特爾E5-2609，內存為32 GB。

3.2 圖像描述模型訓練

模型訓練階段使用ResNet-101網絡作為編碼器，使用改進的三層LSTM網絡作為解碼器。選用Adam優化器，學習率設置為5，每隔3epoch就會漸進式地減小學習率為原來的0.8倍。實驗Resnet101(XE)采用交叉熵損失函數，設置batch_size為192，并進行多達100 epoch的訓練。實驗Resnet101 (RL)在訓練集上總共訓練了100個epoch，前50個epoch使用交叉熵損失函數進行訓練，設置batch_size為192；后50個epoch使用強化學習損失函數進行訓練，設置batch_size為64。為了避免出現過擬合，采用Dropout方法來優化訓練，beam_size設置為3。

3.3 實驗結果與分析

本文采用BLEU-1、BLEU-4、METEOR、ROUGE和CIDEr共5種評價指標，評價得分越高表示生成描述語句的質量越好。與其他學者提出的模型相比，將本文模型Ours(XE)、強化學習優化后的本文模型Ours(RL)分別與Up-Down、HAF和DAIC模型在MS-COCO數據集上進行對比，結果如表1所示。表中加粗的為最高評分，“—”表示未在文獻中找到其數據。

表1 本文圖像描述模型與其他模型在MS-COCO數據集上的得分對比

從上表中的實驗數據可以看出，本文提出的基于三層LSTM網絡的圖像描述生成模型的評價指標得分大都優于目前流行的圖像描述生成模型。通過對比Ours(XE)和近期提出的HAF圖像描述生成模型獲得的評價指標得分，除了BLEU-1，本文提出模型的其他評價指標均持平或有所提升。通過強化學習策略優化模型Ours(RL)后的各項評價指標的得分均優于目前流行的模型，能生成更有效的圖像描述語句。

圖2為本文模型與Up-Down模型生成描述語句的對比示例。本文Ours(RL)模型生成的描述語句比Up-Down模型和未進行強化學習的Ours(XE)模型更準確。例如圖2的第一幅圖像，Up-Down模型給出的描述為A man riding on the back of a horse，而本文提出的Ours(XE)模型給出的描述為A man riding on the back of a brown horse，把馬匹的顏色都描述出來了。再看一下本文提出的用強化學習策略優化的Ours(RL)模型，其給出的描述為A man riding a horse with a group of dogs，不僅準確描述了主體事件——男人騎馬，還把后面跟著的一群小狗也表達出來了，所描述的語句更加具體生動，更加符合圖像所展示的內容，展現了本文模型的良好性能。

圖2 Updown模型、Ours(XE)模型和Ours(RL)生成圖像描述對比

4 結 論

本文提出了一種基于視覺注意力機制和強化學習的三層LSTM網絡圖像描述模型，在編碼器階段采用ResNet-101網絡提取圖像的特征信息，在解碼器階段使用三層LSTM網絡模型對提取到的圖像特征進行解碼，生成圖像描述。MSCOCO數據集上的評價指標對比結果表明，本文模型可以生成更具體、更全面的描述語句，同時利用強化學習優化后的模型生成的描述語句更加準確。