結合生成式對抗網絡的神經機器翻譯研究?

陳 煒 汪 洋 鐘 敏，

（1.武漢郵電科學研究院 武漢 430070）（2.南京烽火天地通信科技有限公司 南京 210019）

1 引言

隨著互聯網和人工智能技術的快速發展，利用單一神經網絡將源句轉換為目標句的神經機器翻譯［1～2］模型在學術界和工業界引起了越來越多的關注［3］，通常這種端對端的神經機器翻譯模型由兩個子神經網絡組成。編碼器網絡讀取源句子，并將其編碼為上下文向量表示。解碼器網絡通過編碼器生成的上下文向量，生成詞語并形成目標句子。在編碼器-解碼器的網絡框架下，Gehring等［4］提出了卷積神經網絡（CNN）的機器翻譯模型，Cho等［5］提出了循環神經網絡（RNN）的神經機器翻譯模型。最近，谷歌 Vaswani［6］提出了 Transformer，是第一個完全基于注意力機制的序列轉換模型，該模型在英-德和英-法翻譯任務上，取得了目前最好的翻譯效果。盡管Transformer取得了成功，但是該模型仍然與傳統的神經機器翻譯模型類似，在每一個時間步內，最大化單詞的似然估計。這樣就會存在一定隱藏的風險，也就是說，模型可以為當前時間步驟生成最佳候選詞語，但長遠來看，該詞可能不是整個句子中最好選擇。最低風險訓練被提出用來緩解這種現象，但是仍然不能保證翻譯結果的自然性。自從Papineni等［7］提出通過計算n-gram精度的幾何平均值作為BLEU分數后，幾乎現在所有的神經機器翻譯模型都以生成盡可能高的n-gram精度句子作為目標。雖然n-gram精度在很大程度上可以區分好壞句子，但是人們普遍認為更高的n-gram精度并不能保證更好的句子［8～9］。

近年來，隨著深度學習和強化學習的興起，深度學習和強化學習的方法逐漸成為自然語言處理領域的熱門。2014年Goodfellow［10］提出生成式對抗網絡（GAN），引起了重大反響。國內對GAN也進行了一定的研究［11］。生成式對抗網絡主要有兩部分組成：生成器和判別器。當生成器和判別器達到納什均衡［12］時，這種對抗性訓練實現雙贏。生成式對抗網絡開始是應用在計算機視覺中，如：人臉識別［13］等，取得了重大成果。人們逐漸開始將生成式對抗網絡與自然語言處理聯系起來。Jiwei LI等［14］將生成式對抗網絡用語對話系統的生成，并取得了不錯的效果。

綜上所述，本文提出了將生成式對抗網絡應用于神經機器翻譯，建立一個條件序列生成對抗網，聯合訓練兩個子對抗模型：生成器，根據輸入的源語言句子生成目標語言句子；判別器，以源語言句子為條件，預測目標語言句子是人類生成的句子的概率。在訓練的過程中，我們使用動態判別器和靜態BLEU值來評估生成的句子，并將評估結果反饋給生成器，指導生成器的學習，來提升生成器的翻譯效果。

2 結合生成式對抗網絡的神經機器翻譯模型

結合生成式對抗網絡的神經機器翻譯模型分成兩部分，模型的總體架構如圖1所示，左半部分是由生成器G和判別器D構成，其中，G是我們的神經機器翻譯模型，生成目標句子，D對G生成的句子和人工翻譯句子進行判別，產生反饋結果。右半部分是對G進行策略梯度訓練，最終的反饋由D和Q提供，其中Q是BLEU值。

圖1 總體網絡結構圖

2.1 生成器G

生成器G采用基于循環神經網絡（RNN）的傳統神經機器翻譯模型RNNSearch。由編碼器和解碼器兩部分組成。編碼器采用雙向循環門控制單元，對輸入序列式x=(x1，…，xm)進行編碼，并計算前向和后向傳播的隱藏狀態，如式（1）和式（2）所示：

其中，最終的注釋向量hp由和共同計算得到。

編碼器采用循環神經網絡來預測目標序列y=(y1，…，yn)，當前每個詞語yi的預測是根據當前的隱藏狀態si和上一時刻的預測yi-1，以及上下文向量ci共同計算而來。其中，ci是通過注釋向量hp加權求和而來。

2.2 判別器D

判別器采用卷積神經網絡結構，對生成器生成的結果進行判別。由于生成器生成的序列長度是可變的，因此會對序列進行填充處理，長度固定設置為T。對源序列和目標序列分別建立源矩陣X1:T和目標矩陣Y1:T，如式（3）和式（4）所示：

xt，yt∈Rk，均為k維詞向量，卷積核W1∈Rl×k，卷積計算公式如式（5）所示：

其中，W1為卷積核的權值，Xi:i+l-1為從i到i+l-1窗口內詞向量矩陣，b為偏置項，f為激活函數，本文采用ReLu函數。

我們使用不同的卷積核進行卷積運算之后，對每一個卷積核的特征向量cji進行最大池化（Max）操作，即提出每個特征向量的最大值，對池化結果進行拼接，得到源序列的特征向量，如式（6）所示：

同樣地，從目標矩陣Y1:T中提取目標序列特征向量cy，通過cx和cy來計算目標序列是真實存在的概率，計算公式如式（7）：

其中，V是參數矩陣，將cx和cy轉換成2維向量，φ是softmax函數。

2.3 強化目標反饋

雙語互譯質量評估BLEU值Q作為強化目標，指導生成器能夠生成更高的BLEU值。Q是靜態函數，在訓練期間不會更新。

我們將BLEU值應用為生成器的特定目標，給定生成器生成的句子yg和人工真實翻譯的句子yd，通過計算yg的n-gram精度，來得到目標Q的反饋Q（yg，yd）。與判別器D的輸出相同，Q（yg，yd）的范圍也是從0到1，這樣可以讓Q和D能夠更容易的融合。

2.4 策略梯度訓練

Lantao Yu等［15］提出，生成器G的目標定義為從生成序列的開始狀態起，最大化我們預期的反饋。在形式上，目標函數如式（8）：

其中，θ為生成器G中的參數。

判別器為采樣的N種句子提供N個反饋，最終形成的反饋為這些反饋的求和平均值。對于長度為T的目標句子，對yt的反饋計算如式（9）：

目標函數J(θ)對生成器G的參數θ的梯度計算如式（10）：

3 試驗

3.1 數據集和試驗環境

本文試驗是在Ubuntu 16.04系統下進行的，CPU為Intel Core i7-7700K 4.20GHz×8，顯卡為Ge?Force GTX 1080，內存大小為16G，試驗使用的是GPU。使用Python3.5編程，開發工具為TensorFlow 1.4.0版本。本文試驗采用的是斯坦福自然語言處理實驗室公開的英-德雙語翻譯數據集，我們從WMT'14 En-De中隨機選擇100萬條句子對作為訓練集，該數據集經過字節對編碼處理［16］，并提供了37000個源語言和目標語言的詞匯表。選取newst?est2014，newstest2015 分 別 作 為 測 試 集 ，newst?est2013作為驗證集。

3.2 試驗設置與方法

3.2.1 數據預處理

本文從WMT'14 En-De數據集中隨機選取100萬條句子對作為訓練集，我們對訓練集進行標記和字節對編碼的預處理，并通過預處理后構建詞匯表。其中，對于標記，我們使用相關腳本處理；字節對編碼采用的是subword-toolkit。

3.2.2 試驗方法

本來是在傳統的神經機器翻譯模型RNN?Search的基礎上，引入生成式對抗網絡GAN，為了考察生成式對抗網絡引入對神經機器翻譯的影響，將本文引入生成式對抗網絡后的翻譯模型和原始的RNNSearch模型的翻譯結果通過雙語互譯質量評估輔助工具BLEU［17］進行評估。同時為了加快訓練過程，根據別人處理效果［18］，我們將長度超過50個單詞的句子刪掉。深度學習網絡采用Adam［19］優化方法對網絡進行優化，學習率設置為0.00005。

3.2.3 試驗結果分析

表1所示的是傳統的RNNSearch模型和加入生成式對抗網絡模型的在不同測試集上得到的BLEU值。從表1中可以看出：引入生成式對抗網絡后，翻譯效果普遍要好于單一的RNNSearch模型，而對引入生成式對抗網絡的模型，參數λ的不同取值，也會對翻譯結果產生一定的影響，可以看到，本實驗中，當λ=0.7時，翻譯效果最好。

表1 不同翻譯模型翻譯結果的BLEU值

4 結語

本文提出了一種結合生成式對抗網絡的神經機器翻譯的方法。利用BLEU值來強化生成對抗網，通過判別器D的判別結果和我們構建的BLEU值，作為反饋，來提升生成器G的訓練，使生成器G能夠生成出更接近人工翻譯的真實句子，從而提高翻譯效果。在以后的工作中，我們可能會嘗試將更多的神經機器翻譯模型與生成式對抗網絡結合，或嘗試多對抗網絡框架，采用不同的參數，構建不同的強化反饋，來進行試驗，提升翻譯效果。