基于transformer 的維漢神經機器翻譯

杜志昊

（1.武漢郵電科學研究院，湖北武漢 430070；2.南京烽火天地通信科技有限公司，江蘇 南京 210019）

機器翻譯是自然語言處理領域的一個重要研究方向，具體是指通過計算機將源語言句子翻譯成與之語義等價的目標語言句子的過程[1]。第一臺現代電子計算機ENIAC 誕生不久后，美國科學家韋弗在《翻譯》備忘錄中正式提出機器翻譯的基本思想[2]。機器翻譯的發展主要可以分為三個階段。第一階段：規則時期，其基本方法是利用手寫大量的語法解析規則對源語言進行解析，然后用語法轉寫規則生成目標語言文法，再通過生成規則產生最終文本。第二階段：統計機器學習時期，Peter F.Brown 提出了基于詞對齊的翻譯模型，標志著現代統計機器翻譯方法的誕生[3]。Franz Och 在2003 年的兩篇文章中分別提出了對數線性模型及其權重訓練方法以及基于短語的翻譯模型和最小錯誤率訓練方法[4]。這兩篇文章的發表標志著統計機器翻譯的真正崛起。第三階段：神經網絡機器翻譯時期，Nal Kalchbrenner 和Phil Blunsom 提出了一種用于機器翻譯的新型端到端編碼器-解碼器結構[5-6]，他們的研究成果標志著神經機器翻譯的誕生。

1 相關工作

1.1 seq2seq結構

seq2seq 框架主要由編碼器和解碼器兩部分組成，在神經機器翻譯任務中將編碼器和解碼器進行聯合訓練，進而提高模型的性能和泛化能力。

seq2seq 具體包含詞嵌入層、編碼器、中間向量和解碼器四部分。詞嵌入層一般有兩個，一個用于將源文本轉換為詞向量，另一個則是將詞向量轉換為目標語言文本；編碼器則能夠將詞嵌入層所生成的詞向量進行改變，使得該向量能夠更好地對源語言信息進行表征；中間向量實際上是包含語義信息的上下文向量，其將作為解碼器的輸入向量；解碼器能將輸入的上下文向量轉化為目標語言的文本。在seq2seq 框架中的編碼器和解碼器要盡可能的不同，以此來增加模型的參數量，增強模型的性能，提高最終翻譯的質量[7]。

1.2 自注意力機制

為了解決seq2seq 機器翻譯模型中對長文本處理效果不佳的問題，Bahdanau[8]等人于2014 年借鑒了在圖像處理中使用的注意力機制，首次將注意力機制應用在自然語言處理方向上。自注意力機制提出后，加入注意力機制的seq2seq 模型在各個任務上都有了提升，2017 年Google 團隊提出了transformer模型，用全注意力機制的結構帶來了LSTM，在翻譯任務上取得了更好的成績[9-10]。該模型引入了自注意力機制（self-attention）對輸入序列進行編碼，圖1為self-attention 結構圖。

圖1 self-attention結構

圖2 循環機制結構圖

圖3 維漢翻譯模型架構圖

2 模型的構建

2.1 基于transformer的機器翻譯模型

transformer 只考慮了特征的位置信息，而該文加入了時間維度，每循環一次就會做一次位置坐標的嵌入，Embedding 公式為：

2.2 輸出結果優化

在機器翻譯任務中，需要利用語言模型來判斷模型輸出句子的優劣。由于機器翻譯模型不會考慮所有可能的輸出，只保留最可能的k個解，同時模型輸出的長度又是可預測的，因此，利用beam search 優化算法得到最優的輸出結果[11]。得到輸出最優結果的計算過程為：

2.3 懲罰短句和懲罰重復

由條件概率公式可知，beam search 傾向于選擇長度最短的句子，同時當多個小于1 的條件概率相乘時容易出現數值下溢及k參數自適應等問題。因此，該文加入懲罰短句[12]來緩解這一問題。

由于注意力機制的覆蓋會導致過度翻譯或翻譯不全的問題，針對這一問題該文加入了懲罰重復項來防止一些token 獲得過多的attention[13]，這樣便可以得到一個新的beam search 得分。

懲罰短句和懲罰重復的具體計算方法如下，其中α用于懲罰短句，β用于懲罰重復：

3 數據處理

3.1 數據增強

神經機器翻譯很大程度上需要大規模的平行語料，而對于低資源語料獲取平行語料卻十分困難[14]，為了獲得更多的平行語料進行訓練，需對數據進行數據增強。目前在機器翻譯領域最主要的數據增強方法有兩種，分別是詞匯替換和回譯[9]。該文利用回譯的方法進行數據增強來擴充平行語料，其主要思想是首先訓練一個反向翻譯模型，即漢語到維語的模型來生成偽平行語料，并將得到的偽平行語料應用于維語到漢語的翻譯模型。圖4 為回譯流程圖。

圖4 回譯流程圖

3.2 BPE編碼

在訓練模型前，構建詞表是極其重要的一項工作，傳統方法一般用訓練語料中所有出現過的單詞來構建詞表或基于單個字符來構建詞表。如果采用基于訓練語料的方法，則很難處理未登錄詞，且若訓練語料中的單詞數目很多會導致構建的詞表龐大，進而影響訓練速率。若采用字符構建詞表，由于粒度太細，則會丟失很多語義信息。而BPE 算法通過將詞劃分為子詞的方式，分詞的粒度在字符和單詞之間，這樣既減小了詞表的大小又能盡可能得到語義信息[15]。

3.3 輸出檢測與糾正

在模型訓練完成得到模型輸出后，對測試集數據進行分析，發現部分維語到漢語使用音譯的方法，可能存在諧音字詞、混淆音字詞以及形似字錯誤等情況。為了檢測這些類型的錯誤，該文從字粒度的角度構建語言模型來計算困惑度，對輸出的結果進行評判，檢測某字的似然概率值是否低于句子的文本平均值，若低于均值則判定該字可能是錯別字[16]。通過錯誤檢測定位所有疑似錯誤后，選取所有疑似有誤的候選詞，使用候選詞進行替換，基于語言模型得到類似翻譯模型的候選排序結果，得到最優糾正詞。但可能由于出現該問題的數據占比較少，對結果的優化及最終BLUE 結果提升并不明顯。輸出文本優化流程如圖5 所示。

圖5 輸出文本優化流程圖

4 實驗設計與分析

4.1 實驗環境和評價指標

該文實驗是在Linux 系統下進行的，CPU 為Intel Core i5-12400F 4.4 GHz×12，顯卡為四張GeForce GTX 2080Ti，實驗是在GPU環境中運行的。編程環境為Python3.6，深度學習開發工具框架為Pytorch1.10.0版本。

為了能夠及時有效地評價維漢翻譯模型，在綜合考慮已有的機器翻譯性能評價方法后，該文選用應用最為廣泛的BLEU（Bilingual Evaluation Understudy）評價方法作為評價指標。具體算法為：

數加權和。

4.2 數據增強實驗

實驗的訓練語料有25 萬對平行語料和20 萬條漢語單語語料，回譯數據增強階段使用了開源的fairseq，以transformer 為基線模型進行測評，同時還對比了是否使用BPE 編碼的結果。transformer 模型參數中設置句子最大長度為50 詞，詞向量的維度為512 維，訓練時的batch_size 大小為32。網絡層數為6 層，多頭注意力機制設置為8，dropout 為0.1。訓練時選用Adam 優化算法[17]，學習率初始值為2.0，模型迭代步數為8 000 步。

實驗結果如表1 所示。從表1 可以看出回譯的數據增強方式和加入BPE 編碼的結果均優于基線模型，利用回譯模型BLUE 增加了0.59%，引入BPE 編碼則增加約2.21%，同時使用BPE 編碼和數據增強能夠提升約5.4%。

表1 不同數據處理方式BLEU大小

4.3 改進的transformer實驗結果分析

改進的transformer模型參數中設置同transformer基線模型相同。同時還選用了RNN、CNN+attention與transfomer 基線模型和改進的transformer 模型進行對比實驗，實驗結果如表2 所示，可以很明顯看出基于transformer 模型的BLUE 值相較于CNN+attention和RNN 模型有著明顯的提升，同時該文提出的改進的transformer 模型的BLUE 也提升了0.93%。

表2 測試集BLEU對比結果

4.4 實驗結果展示

利用測試集在已訓練好的改進transformer 模型上實際翻譯效果的對比如表3 所示。

表3 翻譯效果展示

5 結論

該文利用改進的transformer 維漢翻譯模型，在transformer 的基礎上引入了循環機制和時間編碼，使得除了第一次是以原始信息作為輸入，之后都是由前一個時間步的輸出作為后一個的輸入，并在輸出端對模型的輸出結果利用語言模型進行糾正。同時還引入了回譯和BPE 編碼對數據進行預處理。根據實驗結果顯示，加入數據預處理后，transformer 模型有了明顯的提升。將transformer 維漢翻譯模型對比改進的transformer 維漢翻譯模型，效果又有了明顯的提升，BLUE 值在transformer 的基礎上提升0.93%。