基于神經網絡的統計機器翻譯的預調序模型

楊南，李沐

(1.中國科學技術大學信息科學技術學院，安徽合肥 230026；2. 微軟亞洲研究院，北京 100080)

基于神經網絡的統計機器翻譯的預調序模型

楊南1，李沐2

(1.中國科學技術大學信息科學技術學院，安徽合肥 230026；2. 微軟亞洲研究院，北京 100080)

長距離調序是統計機器翻譯的一個主要挑戰。之前的研究工作表明預調序是解決這個問題的一個可能的途徑。在該工作中，我們沿著預調序這個研究方向，將神經網絡建模結合到線性排序的框架之下，提出了一個基于神經網絡的預調序模型。這個的預調序模型能夠利用從海量未標注數據中抽取的句法和語意信息，從而更好的對不同語言之間的語序差異進行預測。我們在中文到英文以及日文到英文的機器翻譯任務上進行了實驗，實驗結果表明了該方法的有效性。

統計機器翻譯；預調序；神經網絡

1 引言

對源語言和目標語言之間語序的差異進行建模是統計機器翻譯研究的一個主要問題。基于短語的統計機器翻譯模型[1]將短語對作為一個基本的翻譯單元，自動的記錄了局部的調序現象，但對于長距離的調序現象缺乏有效的描述。為了解決長距離調序的問題，研究人員進行了多種嘗試，提出了不同的方法。例如，Xiong等[2]提出了基于最大熵的詞匯化的調序模型，利用詞匯信息對語序進行更好的刻畫；Chiang[3]等考慮語言的層級結構對調序進行建模。

在語序差異顯著的語言對之間，例如，主—謂—賓(S-V-O)結構的英文與主—賓—謂(S-O-V)結構的日文，長距離調序的問題更加明顯，在基于短語的翻譯系統中難以得到很好的解決。基于句法的語法系統，例如，Liu等[4]的工作，將源語言句法樹的信息直接放入翻譯模型，能在一定程度上對長距離調序進行描述，但同時也帶來了翻譯模型中翻譯規則數量巨大，翻譯解碼時間較長等問題。另一種方法稱為預調序，它只用源語言段的詞匯或者句法的信息，在翻譯解碼之前將輸入源語言的句子調整為接近目標語言的語序，然后用一個標準的基于短語的機器翻譯系統對調序之后的句子進行翻譯。這種預調序方法，一方面能夠有效的利用源語言的詞匯和句法信息幫助解決調序問題；另一方面又保留了基于短語的翻譯系統的簡潔性，在實踐中得到了較好的效果。基于預調序的主要工作有Tromble和Eisner[5]等。

本工作沿著預調序這一研究方向，提出了一種基于神經網絡的統計機器翻譯預調序模型。本方法利用神經網絡語言模型[6]的方法，從未標注文本學習詞匯的抽象表示，然后利用一個多層神經網絡，將這個詞匯表示和其他特征結合起來，融入到一個線性排序的模型中；我們從自動對齊或者人工標注對齊的雙語平行語料獲取詞排序模型需要的訓練樣本，用隨機梯度下降的方法進行判別訓練。為了驗證此方法的有效性，我們在中文到英文以及日文到英文的機器翻譯任務上進行了實驗。實驗結果表明，相比于基準系統，本文提出的基于神經網絡的預調序模型在測試數據集上能顯著提高機器翻譯系統性能。

2 相關工作

調序問題一直是機器翻譯研究的重難點[7-8]。在機器翻譯預調序方向上，一些工作提出了基于句法樹手寫調序規則的方法，例如，Collins等[9]針對德語和英語之間的詞序問題定制了一系列規則。Xu等[10]設計了一種基于優先級概念的調序規則，處理了英語到幾種SOV語言的調序問題。手工規則的缺點是它依賴于專家知識，對于不同的語言對需要特別的制定對應的規則。

部分研究人員也探討過從數據自動學習預調序模型。其中，Tromble和Eisner[5]提出了一種基于線性排序的預調序模型；Yang等[11]提出了基于排序的預調序模型；Visweswariah等[12]將預調序問題看成是一個非對稱旅行商 (ATS) 問題。這些工作中的模型采用基于稀疏特征的線性模型，可能遇到數據稀疏的問題。

利用神經網絡處理機器翻譯調序問題的主要工作是Li等[13]。此工作提出用遞歸神經網絡對機器翻譯的調序過程進行描述。與這個工作不同的是，我們是在預調序的框架下利用神經網絡解決翻譯調序問題的。

3 模型

在本章中，我們首先介紹用神經網絡學習詞匯的向量表示；然后闡述線性排序模型；最后提出基于神經網絡的預調序模型。

3.1 詞匯的向量表示

為了改善這一問題，Bengio等[6]提出了基于神經網絡的語言模型。在他們的工作中，一個神經網絡模型將高維的詞匯特征轉化為低維的、稠密的向量表示；通過在大量文本上進行判別訓練，該模型能將上下文相似的詞匯映射到低維向量空間上相近的點。沿著這一方向，Collobert等[14]提出了一種基于負抽樣(negative-sampling)的更快速的學習方法，有效的在大規模的語料上學習到了大量詞匯的向量表示。Collobert等的神經網絡的結構如圖1所示。

圖1 學習詞匯向量表示的神經網絡結構圖

s(w-n,…,w0,…,wn)=l2·tanh·

l1·LOOKUP(w-n,…,w0,…,wn)

(1)

其中:

(2)

Mikolov等[15]提出了另一種基于Skip-ngram快速學習詞匯表示的方法。在這種方法中，一個前饋神經網絡被用來建立詞w和它上下文中的詞c(w)的條件概率模型，如式(3)所示。

(3)

其中l是一個線性層，輸入長度為詞匯表示的長度，輸出長度為詞表的大小；softmax將l的輸出歸一化為概率。為了加速歸一化，Mikolov提出了采用基于哈夫曼樹的層級softmax方法進行加速。Skip-ngram的訓練采用隨機梯度下降對此條件概率做訓練數據的最大似然估計。

以上學習詞匯表示的方法還可以推廣到對詞匯n元(n-gram)進行學習。我們將詞匯n元x看成一個整體，用神經網絡建立它和上下文的詞匯c(w)(上下文依然是詞匯，不是詞匯n元)的條件概率模型，如式(4)所示。

(4)

詞匯n元表示的訓練方法與詞匯表示訓練方法完全相同。由于我們的模型上下文依然是詞匯，訓練詞匯n元的低維表示與訓練詞匯表示的計算量是相同的；不同的是n元數量遠多于詞匯，需要更多的數據才能進行準確估計。詞匯n元能夠包含無法用詞匯表示組合出的信息。

通過在大量文本上進行訓練，神經網絡學到的詞匯向量表示能將語法、語意上相近的詞映射到低維空間相近的位置。將這種詞匯向量表示作為特征作為調序模型的輸入，我們能自動的利用其中蘊含的信息，學到更好的調序模型。

3.2 線性排序模型

(5)

(6)

也就是說，(i,j)在置換中保持相對順序不變，那么它們的分數是s(i,j,0)；如果他們的相對順序倒轉，則分數是s(i,j,1)。

(7)

(8)

其中f是一個特征向量，θ是對應的特征權重向量。

在這個調序模型的框架下，機器翻譯預調序的問題被轉化為了一個尋找最高分置換的搜索過程，如式(9)所示。

(9)

影響此模型性能的一個關鍵因素是能否設計合適的特征f。在Tromble的工作中，他采用了大量的高維詞匯特征。由于詞匯特征難以推廣，他們又引入了詞類，詞性標注等粗粒度特征進行平滑。

3.3 基于神經網絡的預調序模型

神經網絡學習到的詞匯向量表示蘊含豐富的語法、語意信息；我們認為，這種信息能夠幫助預測機器翻譯的詞序。為此，我們提出以下基于神經網絡的預調序模型。此模型是建立在線性調序的框架下，將詞匯調序問題分解為句子中詞的兩兩排序問題，對于其中每一對詞的排序，我們用一個多層神經網絡對它進行打分。

(10)

ssparse是普通的稀疏特征計算出的分數，sNN是一個神經網絡計算的分數，如式(11)所示。

(11)

神經網絡將第i詞和第j詞的上下文窗口中的詞匯和詞匯n元(n-gram)作為輸入，通過查找層LOOKUP將他們轉化為向量化表示，再依次通過線性層l1，雙曲正切層tanh以及第二個線性層l2得到輸出sNN。輸出結果sNN是一個二維向量，sNN[0]表示(i,j)在置換中保持相對順序不變的分數，sNN[1]表示(i,j)在置換中相對順序倒轉的分數。圖2給出了這個神經網絡的結構。

圖2 預調序模型中的神經網絡結構圖

此外，我們可以在sNN的最后輸出層加入稀疏特征，用以補充神經網絡中由向量化詞匯表示難以描述的信息，如兩個詞之間的距離等。

在應用這個模型進行預調序的時候，我們將搜索如下的模型最優解作為輸出，如式(12)所示。

(12)

4 訓練

訓練我們的模型有兩個工作，一是從雙語平行語料中獲取排序模型所需的訓練數據；二是基于獲得的訓練數據，對模型進行統計參數學習。

4.1 調序訓練數據的獲取

我們的模型的訓練樣本從有詞對齊的雙語平行語料中獲取。 對于一個有詞對齊信息的雙語句對(e,f,a)，其中e是源語言句子，f是目標語言句子，a是它們之間的詞對齊關系，e的長度是n。我們想得到一個源語言句子e的重排序π*，使它和目標語言句子的語序最相似。在這里，我們沿用Yang等[11]法，采用一個叫做交叉連接數 (crosslink) 的標準作為衡量調序結果好壞的標準。我們用一個數對(i,j)表示一個詞對齊連接，它表示從源語言第i個詞連接到目標語言第j個詞。我們稱兩個詞對齊鏈接(i1,j1)和(i2,j2)是交叉的，如果它們滿足:

如果我們定義:

那么源語言一種重排序π的交叉連接數如式(13)所示。

(13)

我們采用交叉連接數最少的重排序π*作為訓練時的目標排序，如式(14)所示。

(14)

4.2 參數學習

(15)

其中π-是不同于π*的所有排序中分數最高的一個重排序。此損失函數是一種帶邊界的合頁損失，促使模型對目標重排序π*給出更高的分數。

我們采用標準的隨機梯度下降算法對此進行優化。對于雙語語料中的所有句對，我們依次抽取其中一個句對，用當前的參數值對它進行CKY解碼,取得π-，并和最優的π*進行對比。如果對比之下損失不為0，那么我們將針對此損失求梯度，并對參數進行更新:

其中γ是一個大于0的學習率，L(θ)是對應的梯度。稀疏特征的特征權重的參數的梯度如式(16)所示。

(16)

其中fsparse是稀疏特征的特征向量。對于神經網絡中的參數，我們可以通過標準的反向傳播算法(back-propagation)[6]計算得到。

在模型參數初始化的時候，我們將從大量文本學習到的詞匯向量化表示作為神經網絡的查找層參數的初始值；對神經網絡中兩個線性層的參數，我們隨機的把它們初始化到一個小的區間；對于稀疏特征的特征權重，我們統一初始化為0。

5 實驗及分析

為了驗證基于神經網絡的預調序方法的有效性，我們在中文到英文以及日文到英文上進行了實驗。

5.1 實驗數據

我們的實驗數據分為三個部分: 一是用于訓練詞匯向量表示和語言模型的單語文本；二是用于進行預調序模型和翻譯模型訓練的雙語數據；三是用于評測翻譯效果的測試數據。

(1) 單語語料: 我們的單語文本是從互聯網上抓取的單語文本。經過正規化、去重等處理，我們得到了約十億句英文文本，四億句中文文本，兩億句日文文本。其中，英文作為目標語言，用于訓練語言模型；中文和日文作為源語言，用于訓練詞匯的向量化表示。

(2) 雙語平行語料: 我們的平行語料是從互聯網上自動抓取的。在本次實驗中，我們使用的中文到英文數據包含約2 600萬句對，日文到英文數據包含約1 500萬句對。我們使用這些語料訓練預調序模型以及翻譯模型。

(3) 機器翻譯實驗測試數據: 對于中文到英文，我們采用標準的NIST機器翻譯評測測試集，其中NIST05作為開發集，NIST06和NIST08作為測試集。對于日文到英文的實驗，我們采用自己人工翻譯的5 000句新聞語料，其中2 500句作為開發集，2 500句作為測試集。

5.2 實現細節和基準系統

本工作的翻譯系統是一個基于最大熵的詞匯化調序的BTG短語機器翻譯系統[2]。除了詞匯化的調序特征外，它還具有一般短語翻譯系統的主要特征，例如，正向反向短語、詞匯翻譯概率，4-gram語言模型，詞匯、短語懲罰等。我們的4-gram語言模型是自己基于Trie樹實現的Katz-backoff[17]的語言模型。

本工作的基準系統有兩個: 一個是未經過預調序的翻譯系統，它用于驗證使用預調序技術對于翻譯系統的影響；第二個是對于輸入做基于稀疏特征的預調序的翻譯系統，它用于驗證使用向量化詞匯表示的神經網絡預調序模型對于翻譯結果的影響。

本文中使用的稀疏特征包括詞匯特征，詞性標記，詞與詞之間距離，詞與詞之間依存句法關系等。

對神經網絡模型，我們使用的詞匯向量表示的長度是100，神經網絡輸入層的窗口大小是5，中間隱含層的長度是50。在學習的過程中，初始的學習率設置為0.1，并隨著訓練的進行逐漸減小。我們在單語數據上學習詞匯向量的方法是按照Mikolov等[14]的方法實現的，并使用AdaptiveGradient方法加速訓練過程。我們的實驗中，中文和日文是源語言，因此我們只需對中文和日文的表示進行學習。對中文和日文，我們都只保留詞匯表中最高頻的50萬個詞。對于詞匯n元，我們采用長度為64的低維表示；我們對單語語料中頻率高于50的2—4元學習低維表示，其中中文約有1.2億個n元，而日文有0.6億個n元。

對于使用預調序的系統，我們會在未預調序的系統上進行詞對齊，在此基礎上訓練預調序模型；預調序模型訓練好后，我們用它對整個訓練語料的源語言進行預調序，然后再在調整之后的雙語句對上進行詞對齊，翻譯模型抽取等工作。這樣，我們能保持訓練和測試時使用的翻譯模型的一致性，從而取得更好的效果[10]。我們的詞對齊是使用GIZA++[18]生成的IBM-4詞對齊，使用grow-diag-final[1]的啟發式規則進行雙向合并。由于自動生成的詞對齊有噪聲，會影響預調序模型的訓練，我們手工定制了一些規則去除了關于一些停用詞 (如“the”等) 的對齊。

5.3 機器翻譯實驗結果

我們在中英和日英的數據集上進行了實驗，實驗結果的評測采用大小寫無關的BLEU-4[19]作為評價標準(表1、表2)。我們用“NoPR”表示沒有使用需調序的翻譯系統，“SparsePR”表示只使用稀疏特征預調序的翻譯系統，“NNPR”表示基于神經網絡預調序的翻譯系統。

表1 中文到英文翻譯結果

表2 日語到英語翻譯結果

可以看出，我們提出的預調序方法在兩種語言都比未使用預調序的翻譯系統取得了顯著的提高。

在日英數據集上，使用神經網絡的預調序模型和只使用稀疏特征的模型相比取得了相當的結果；而在中英數據集上，神經網絡的預調序模型比只使用稀疏特征的模型相比有一定的提高。出現這種現象的原因是，日英間的調序主要由語法決定，這些語法信息在詞性標記等特征上已經得到了一定的體現；而對于中英文間的翻譯，調序更依賴于一些詞匯化的模式，神經網絡模型使用的向量化的詞匯表示能夠發現這些模式之間的相似性，從而能更好的推廣到測試數據上。

5.4 預調序結果的衡量

除了機器翻譯的結果，我們想衡量預調序在調整語序這個任務上的性能。為此，我們采用源語言和目標語言間的詞對齊交叉連接數進行評價。調序過的源語言與目標語言的語序越一致，他們之間的詞對齊交叉連接數就應該越小，說明預調序的效果越好。由于自動生成的詞對齊可能會有錯誤，我們在中英和日英的數據集上各選擇了500個句對進行了詞對齊標注，然后在這500個句對上進行測試。

從表3、表4中可以看出，預調序能幫助減少詞對齊的交叉連接數。在日英數據集上，預調序對于語序的改善非常明顯。在中英數據集上，預調序也取得了一定的效果，并且基于神經網絡的預調序模型比基于稀疏特征的預調序模型取得了更好的效果。這些實驗結果與機器翻譯性能的實驗結果的趨勢是一致的: 詞對齊交叉連接數較小的系統，翻譯性能會相對好一些。

表3 中文到英文詞每個句對對齊交叉連接數平均值

表4 日文到英文詞每個句對對齊交叉連接數平均值

5.5 與其他預調序方法的比較

預調序看作線性排序(LO)問題外，還可以被形式化為非對稱旅行商(ATS)問題[12]或一般排序(Ranking)問題[11]。在這里，我們實現了基于稀疏特征的非對稱旅行商方法和一般排序方法的預調序系統，實驗結果如表5和表6所示。

表5 中文到英文不同預調序方法比較

表6 日語到英語不同預調序方法比較

從實驗結果中我們發現，不同形式化的預調序模型的結果非常接近。在日文到英文的實驗中，三種采用稀疏特征的預調序模型和神經網絡的預調序模型的結果相當；在中文到英文的實驗中，三種采用稀疏特征的預調序模型結果相當，而使用神經網絡的線性排序模型結果好于只采用稀疏特征的模型。這說明在我們的實驗中，預調序模型的不同形式化在輸入特征相同的情況下效果區別不大。

5.6 預訓練的作用

神經網絡模型的一個優勢是能通過預訓練，自動的從單語數據中學習特征表示。為了驗證單語數據預訓練的作用，我們在中文到英文上做了對比實驗。在對比實驗中，我們隨機的初始化詞匯和詞匯n元的低維表示，并直接在雙語數據上進行模型訓練(表7)。

表7 詞匯表示預訓練的作用

實驗結果表明，如果不做預訓練，神經網絡模型相較使用稀疏特征的線性模型并沒有顯著的優勢。我們認為這是由于我們的神經網絡模型采用了詞匯和詞匯n元的低維表示，它們數量巨大，只用雙語數據的源語言部分很難對他們進行準確的估計；而通過在單語數據的訓練，我們能更好的利用低頻n元和高頻n元的相似性，從而得到更好的效果。

為了進一步說明這一點，我們展示幾個詞匯n元在低維空間中的最近鄰的方式。表8列出了幾個詞匯n元在詞匯空間中的最近鄰。由于這些詞匯n元在雙語數據中出現次數很少，直接從雙語數據學習的低維表示不能很好的對它們進行聚類。但由于我們使用了大量的單語數據進行預訓練，這些低頻n元仍然能被很好的聚類。例如，對低頻二元“卡伊達 組織”，我們可以發現它與相對高頻的“基地 組織”非常接近；神經網絡的預調序模型能夠利用這樣的相似性，避免了將這個專有名詞在預調序時切割開來，而基于稀疏特征的模型沒有這樣的信息，難以對這樣的情況進行正確處理。

表8 詞匯n元在低維空間中的最近鄰

6 結論

本文提出了一種基于神經網絡的統計機器翻譯預調序模型。本方法利用神經語言模型的方法，從未標注文本學習詞匯的向量表示，然后利用一個多層神經網絡，將這個詞匯表示和其他特征結合起來，融入到一個線性排序的模型中。在中文到英文以及日文到英文的實驗結果表明，相比于基準系統，本文提出的基于神經網絡的預調序模型能顯著提高機器翻譯系統性能。

沿著現在的方向，我們在將來打算探索短語的向量表示方法，以及這種表示對機器翻譯預調序的作用。此外，我們計劃考察在基于句法系統中本文的方法的表現，以及研究如何對更加抽象的語法樹片段進行向量表示的學習。

[1] Philipp Koehn，Franz Josef Och，Daniel Marcu. Statistical phrase-based translation[C]//Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology.2003,1: 48-54.

[2] Deyi Xiong，Qun Liu，Shouxun Lin. Maximum entropy based phrase reordering model for statistical machine translation[C]//Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics.2006: 521-528.

[3] David Chiang. A hierarchical phrase-based model for statistical machine translation[C]//Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics.2005: 263-270.

[4] Yang Liu，Qun Liu，Shouxun Lin. Tree-to-string alignment template for statistical machine translation[C]// Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics.2006: 609-616.

[5] Roy Tromble，Jason Eisner. Learning linear ordering problems for better translation[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing.2009,1: 1007-1016.

[6] Yoshua Bengio，Holger Schwenk，Jean-Sébastien Senécal，et al. Neural probabilistic language models[J]. Innovations in Machine Learning，2006，194: 137-186.

[7] 馮洋，張冬冬，劉群. 層次短語翻譯模型的介詞短語調[J]. 中文信息學報，2012，26(1): 31-37.

[8] 肖欣延，劉洋，劉群，林守勛. 面向層次短語翻譯的詞匯化調序方法研究[J]. 中文信息學報，2012，26(1): 37-41.

[9] Michael Collins，Philipp Koehn，Ivona Kucerova. Clause restructuring for statistical machine translation[C]//Proceedings of the 43rd annual meeting on association for computational linguistics.2005: 531-540.

[10] Peng Xu，Jaeho Kang，Michael Ringgaard，et al. Using a dependency parser to improve SMT for subject-object-verb languages[C]//Proceedings of human language technologies: The 2009 annual conference of the North American chapter of the association for computational linguistics.2009: 245-253.

[11] Nan Yang，Mu Li，Dongdong Zhang et al. A ranking-based approach to word reordering for statistical machine translation[C]//Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics.2013,1: 912-920.

[12] Karthik Visweswariah，Rajakrishnan Rajkumar，Ankur Gandhe，et al. A word reordering model for improved machine translation[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing.2011: 486-496.

[13] Peng Li，Yang Liu，Maosong Sun. Recursive Autoencoders for ITG-based Translation[C]//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing.2013: 567-577.

[14] Ronan Collobert，Jason Weston，Léon Bottou，et al. Natural language processing (almost) from scratch[J]. The Journal of Machine Learning Research 2011,12(1): 2493-2537.

[15] Tomas Mikolov，Ilya Sutskever，Kai Chen，et al. Distributed representations of words and phrases and their compositionality[C]//Proceedings of Advances in Neural Information Processing Systems，2013: 3111-3119.

[16] Dekai Wu. Stochastic inversion transduction grammars and bilingual parsing of parallel corpora[J]. Computational linguistics,1997: 377-403.

[17] Franz Josef Och，Hermann Ney. GIZA++: Training of statistical translation models[Z]. 2000.

[18] Kishore Papineni，Salim Roukos，Todd Ward，et al. BLEU: a method for automatic evaluation of machine translation[C]//Proceedings of the 40th annual meeting on association for computational linguistics.2002: 311-318.

[19] Slava Katz. Estimation of probabilities from sparse data for the language model component of a speech recognizer[J]. IEEE Transactions on Acoustics，Speech and Signal Processing，1987,35(3): 400-401.

A Neural Pre-reordering Model for Statistical MT

YANG Nan1,LI Mu2

(1. School of Information Science and Technology,University of Science and Technology of China,Hefei,Anhui 230026,China;2. Microsoft Research Asia,Beijing 100080,China)

Long distance reordering is a major challenge in statistical machine translation. Previous work has shown that pre-reordering is a promising way to tackle this problem. In this work,we extend this line of research and propose a neural network based pre-reorder model,which integrates neural network modeling into a linear ordering framework. The neural network based model can leverage syntactic and semantic information extracted from unlabeled data to predict the word order difference between languages. Experiments on Chinese-English,and Japanese-English machine translation tasks show the effectiveness of our approach.

statistical machine translation; pre-reorder; neural network

楊南(1985—)，博士，主要研究領域為統計機器翻譯，自然語言處理，深度學習。E?mail：nyang．ustc@gmail．com李沐(1972—)，博士，主要研究領域為統計機器翻譯，自然語言處理，深度學習。E?mail：muli@microsoft．com

2014-04-07 定稿日期： 2014-08-10

1003-0077(2016)03-00103-08

TP391

A