中文圖像描述的自動生成與模型分析

北京市延慶區第一中學　曹　斌

1.概述

自動圖像描述功能從表面上來看，機器不僅要識別出圖像中包括哪些物體，同時還必須能夠理解并描述物體之間的聯系以及它們各自的基本屬性和參與的活動，這屬于機器高級智能形態的表現了。

從具體實現機制上來看，自動圖像描述從信息輸入到輸出經歷了信息的編碼和解碼兩個部分，在機器翻譯中，信息編碼把輸入圖像變成特征數據，解碼部分再將特征數據轉換成目標語言。所以圖像描述結合了智能系統兩個領域的發展成果：“看”和“語言表達”，分別對應人工智能最重要的兩個領域： 機器視覺和自然語言處理。

圖像描述的任務是通過一定的訓練，讓機器自動生成一句話S，來描述給定的二維圖像I。句子中的第t個單詞記為，其中N是句子的長度。是一個特殊的單詞，表示句子結束。注意句子是變長的。單詞來自于事先給定的詞典，對詞典中的單詞進行編碼后，可以用一個P維向量表示單詞。一種常用的編碼方式是one-hot編碼，它的編碼的長度P等于詞典中的單詞個數，如果單詞只有第p個元素為，其余元素全為，那么就可以表示詞典中的第p個單詞。但是one-hot編碼的效率比較低。而且，在使用one-hot編碼的情況下，所有的單詞都是獨立的，距離也是固定的。而在實際情況中，一些意義比較相近的字詞，它們在空間的表示應該比較接近。因此可以進一步對單詞進行word embedding處理。Embedding編碼把單詞映射為空間中的實向量，可以更好地表示單詞之間的相似性。

2.中文圖像描述模型的建立

要對圖像進行描述，可以先對圖像中的物體進行檢測與識別，從中提取出有效特征。卷積神經網絡(Convolutional Neural Networks,CNN)是一種有效的圖像識別方法。因為句子中的單詞是有順序的，所以可以使用循環神經網絡(Recurrent Neural Networks, RNN)學習語言模型，把圖像識別的結果轉換為自然語言。中文圖像描述的基本模型是把CNN的最后一個隱含層的狀態作為LSTM的輸入。而且中文標注具有其特殊性，可以直接把句子中的單個的字作為單詞，也可以通過分詞的方法，把句子中的語素提取出來作為單詞。

本模型主要有兩個重要部分組成：特征提取層和語言生成層。

（1）特征提取層。特征提取層是基于DCNN（Deep Convolutional Neural Network）深度卷積網絡對輸入的圖像進行編程，輸出一個N維特征向量，來提取每個特征中所包含的信息量。本模型中DCNN采用的是VGG網絡。VGG網絡架構于2014年出現在Simonyan和Zisserman中的論文中[3]。它把網絡分為5組（模仿AlexNet的五層），使用的卷積核大小為 3 x 3，并把它們組合起來作為一個卷積序列進行處理。VGG網絡的特點是：VGG網絡非常深，一般有16～19層；由于它采用多個3 x 3的卷積，模仿出更大的感受野的效果。這些思想也被用在了后續的網絡架構中，如 Inception 與 ResNet。VGG網絡也有一些不足：1）訓練很慢；2）weights很大。

（2）語言生成層。利用VGG網絡提取完圖像特征之后就可以使用LSTM來學習和生成相應標注。LSTM的初始輸入是用CNN做圖像特征提取后的輸出向量。LSTM節點內部運算可以表示為：

其中變量ct表示節點內部記憶，變量ft表示是否遺忘節點當前記憶，變量it表示是否讀取新的輸入，變量ot表示是否輸出節點記憶，變量mt表示隱含狀態。W是待訓練的網絡參數，以后用θ來表示。非線性變換表示sigmoid函數，表示雙曲正切函數。符號表示Hadamard積。

網絡的輸出Pt是P維向量，表示對每個單詞出現在句子的第t個位置的概率的預測。LSTM網絡的訓練過程為，學習最佳的模型參數θ，使得最大化在給定圖片下其生成正確描述的概率最大：

其中I表示訓練集中的一個圖像，而S表示描述該圖像的一個合適的標注（即正確的句子），θ為網絡需要學習的參數。

由于訓練集不夠大，對整個數據集進行分布估計的效果不足，所以本模型容易出現過擬合問題。針對該缺點，可采取多種解決方法：如正則化、 early stopping、dropout、利用驗證集進行交叉檢驗、權值衰減等方式。其中，正則化是在目標函數或代價函數后面增加一個正則項，降低模型的復雜度，增強模型對噪聲的抗干擾能力。Early stopping方法在模型對訓練集迭代收斂前截斷迭代次數，停止迭代，具體思路是在訓練的過程的同時，記錄驗證集上的正確率，記錄驗證集的正確率達到最佳時的epoch數，之后驗證集的正確率開始下降則停止訓練；本實驗有驗證數據，可以使用該方法。dropout方法是修改神經網絡本身的結構來防止過擬合，在每次迭代中設置一定的比例隨機刪除一些隱藏層的神經元，假設這些神經元不存在，同時保持輸入層與輸出層的神經元的個數，這樣便得到新的神經網絡。這些方式都可以降低模型對訓練集的過度依賴，防止過擬合問題，提高模型的泛化能力。

3.中文圖像描述模型的分析

這里基于python語言建立一個基礎的中文圖像描述模型。本模型使用VGG19網絡的第一個全連接層fc1的特征，維數為4096，訓練集有8000張圖片，每個圖片配有3～5句標注，一共有38445句標注。

首先構造feature和caption之間的一一對應向量，由于caption個數比feature多，所以按照caption排列成一個38445×1的向量，根據它生成相應的大小為38445×4096的特征矩陣。然后對所有caption中出現的單詞個數進行計數：如果不對中文進行分詞，則一共有2591個不同的單詞，其中出現頻數大于3的單詞只有1885個；如果使用Jieba庫 對中文進行分詞處理，則基本單元的組合數變多， 一共有11552個不同的單詞組合，其中出現頻數大于3的單詞組合只有3786個。根據找到的頻數大于3的單詞構造詞典，并計算每一個單詞的出現概率。用于LSTM的語言生成模型中，其中，word embedding的結果x_t的維數為256，LSTM的隱含層的維數等于256，且LSTM模型參數優化方法是Adam，設置學習率為0.001。為防止過擬合，訓練時利用驗證集測試結果。實驗平臺為Ubuntu 14.04, 配置的GPU為Nvidia TITANX，使用Tensorflow 1.1.0版本。在該配置下，模型需要迭代約6個epoch，總共訓練用時小于半小時。

圖1　草地上的斑馬

本模型的訓練結果為：

由此可見本模型在一定程度上可以學習出語句中漢字之間的聯系。但是模型一也存在很大的局限性，只適合于處理一些比較普通而且變化不大的句子，不適合區分相似的事物。比如上一個例子中本模型無法精確識別斑馬數量上的特征。下表1為本模型在不同測試集上的指標。

表1　所建模型在測試集上的指標

4.全文總結

經過調試，本模型達到了較好效果，這與我們的預期以及人類進行圖片描述的行為方式表現基本一致。此外，本實驗還比較了分詞與不分詞對模型效果的影響：不分詞的結果要略優于分詞，這與我們的直覺相反，原因可能是分詞不準確引入了噪聲，以及我們的訓練集樣本量相對較小，分詞后產生的詞典更大，解空間的復雜度增加，模型更大概率收斂到效果較差的局部最優解。

[1]高永英,章毓晉.基于多級描述模型的漸進式圖像內容理解[J].電子學報,2001,29(10):1376-1380.

[2]鄭永哲.基于深度學習的圖像語義標注與描述研究[D].廣西師范大學,2017.

[3]蔡曉龍.深度學習在圖像描述中的應用[J].電腦知識與技術,2017,13(24).

[4]雷國偉,呂迎陽,紀安妮等.圖像特征的CNN提取方法及其應用[J].計算機工程與應用, 2004,40(14):204-206.