基于語種相似性挖掘的神經機器翻譯語料庫擴充方法

李 燦，楊雅婷，馬玉鵬*，董瑞

（1.中國科學院新疆理化技術研究所，烏魯木齊 830000；2.中國科學院大學，北京 100049；3.新疆民族語音語言信息處理實驗室（中國科學院新疆理化技術研究所），烏魯木齊 830000）

0 引言

近年來，隨著長短期記憶（Long Short-Term Memory，LSTM）網絡［1-2］、注意力（Attention）機制［3-5］、Transformer模型［6-7］的出現，機器翻譯的水平取得了長足的進步。在英法、中英這樣資源豐富的翻譯任務上，機器翻譯已經取得了非常不錯的效果。然而，神經機器翻譯（Neural Machine Translation，NMT）的成功往往依賴于大量高質量的雙語語料作為訓練數據。但是，諸如維吾爾語、哈薩克語等這些小語種，提供足夠多的雙語數據比較困難。甚至有些語言對幾乎沒有任何機器翻譯雙語平行語料，這種情況下通用框架的NMT就顯得非常乏力。

隨著神經機器翻譯技術的不斷進步，學者們漸漸開始加強對低資源語言機器翻譯問題的探索與研究。Zoph等［8］用大量的英法雙語語料訓練出模型之后，在烏茲別克語-英語和土耳其語-英語雙語機器翻譯語料上分別進行進一步優化，成功提升了烏茲別克語到英語以及土耳其語到英語的翻譯質量。Nguyen等［9］將字節對編碼（Byte Pair Encoding，BPE）分詞方法用于遷移學習，使用土耳其語-英語、烏茲別克語-英語和維吾爾語-英語平行語料，進行BPE 處理之后以遷移學習的方法訓練出用于機器翻譯的模型，在土耳其語-英語、烏茲別克語-英語和維吾爾語-英語三者的機器翻譯上取得了顯著效果。Gu 等［10］提出了基于元學習的神經機器翻譯（Metalearning for Neural Machine Translation，MetaNMT），將元學習思維用于低資源語言機器翻譯，以18 種歐洲語言作為源語言，分別為保加利亞文（Bg）、捷克文（Cs）、丹麥文（Da）、德文（De）、希臘文（El）、加泰羅尼亞文（Es）、愛沙尼亞文（Et）、法文（Fr）、匈牙利文（Hu）、意大利文（It）、立陶宛文（Lt）、荷蘭文（Nl）、波蘭文（Pl）、葡萄牙文（Pt）、斯洛伐克文（Sk）、斯洛文尼亞文（Sl）、瑞典文（Sv）和俄文（Ru），以5 種不同語言作為目標語言，分別為羅馬尼亞文（Ro）、拉脫維亞文（Lv）、芬蘭文（Fi）、土耳其文（Tr）和朝鮮文（Ko），取得了優于遷移學習的效果。低資源語言機器翻譯發展到現階段，主要涉及到元學習和遷移學習的方法，然而低資源語言標注數據的貧乏問題，卻一直缺乏比較好的解決方案。在此種情況下，研究如何對低資源語言機器翻譯平行語料庫進行擴充則顯得尤為重要。

本文選取維吾爾語和哈薩克語作為相似語言對，對低資源語言相似語種的機器翻譯平行語料的擴充方法進行研究和探索。對維吾爾語-漢語（維-漢）、哈薩克語-漢語（哈-漢）平行語料和維吾爾語&哈薩克語混合-漢語平行語料分別使用詞級別切分、BPE、音節切分以及本文提出的基于音節切分的BPE 四種對語料的處理方式進行處理，以深度挖掘相似語種間的語言相似性；引入“開始-中部-結束（Begin-Middle-End，BME）”序列標注方法對切分的音節進行標注，以消除音節輸入所帶來的一些歧義；利用Sockeye開源神經機器翻譯框架［11］對NMT模型進行訓練；對訓練所得NMT模型的性能進行比較，以探求有效地挖掘語種間相似信息的方法，尋求有效的低資源語言相似語種的機器翻譯平行語料的擴充方法。

1 語料相似性挖掘方法

維吾爾語和哈薩克語同屬于阿爾泰語系中的突厥語族，二者非常相似；在詞級別上維語和哈語存在一定的相似表達，在字節級別和音節級別上二者更是幾乎完全相同。

基于以上理論基礎，本文采用字節對編碼（BPE）處理和音節切分處理兩種特殊的語料處理方案，并提出基于音節切分的BPE 處理的語料編解碼方案，以深度挖掘哈語與維語相似的信息，充分利用語料擴充所帶來的效果，對維漢神經機器翻譯和哈漢神經機器翻譯模型的訓練帶來增益。

另外，在實驗中對翻譯錯誤的語句對進行研究發現，當維語或哈語作為音節輸入時，會出現一些歧義問題，因此對單詞的音節進行了BME標記處理，以消除這些歧義。

圖1 展示了本文實驗中所用到的所有語料處理方案，以下對相關方法進行一一介紹。

1.1 字節對編碼

BPE 算法最早是一種數據壓縮算法，由Sennrich 等［12］引入到自然語言處理（Natural Language Processing，NLP）領域并很快得到推廣。BPE算法可以有效地平衡詞匯表大小和步數（編碼句子所需的token 數量），簡單有效，因而成為了目前NLP 領域最流行的字節編碼算法，其最基本的做法是將最常見的一對連續字節數據替換為該數據中不存在的字節，在后期使用時再使用一個替換表來重建原始數據。

BPE算法包含三個部分：獲取子詞詞表，編碼，解碼。

1.1.1 獲取子詞詞表

獲取子詞詞表的操作步驟如下：

1）準備足夠大的訓練語料；

2）確定期望的子詞詞表的大小；

3）將單詞拆分為字符序列并在末尾添加后綴“”，并統計單詞頻率；

4）統計每一個連續字節對的出現頻率，選擇最高頻者合并成新的子詞；

5）重復第4）步直到達到第2）步設定的子詞詞表大小或下一個最高頻的字節對出現頻率為1。

1.1.2 編碼

將得到的子詞詞表按照子詞長度由大到小排序。編碼時，對于每個單詞，遍歷排好序的子詞詞表尋找是否有token是當前單詞的子字符串，如果有，則該token 是表示單詞的tokens之一。從最長的token 迭代到最短的token，嘗試將每個單詞中的子字符串替換為token。最終，將迭代所有的tokens，并將所有子字符串替換為tokens。如果仍然有子字符串沒被替換但所有token都已迭代完畢，則將剩余的子詞替換為特殊token，如。圖2 展示了BPE 算法的編碼過程，圖中的數字表示子詞在詞表中的排序。

圖2 BPE算法編碼過程示意圖Fig.2 Schematic diagram of BPE algorithm coding process

編碼的計算量很大。在實踐中，可以pre-tokenize 所有單詞，并在詞典中保存單詞tokenize 的結果，如若發現字典中不存在的未知單詞，則應用上述編碼方法對單詞進行tokenize，然后將新單詞的tokenization添加到字典中備用。

1.1.3 解碼

解碼過程比較簡單，如果相鄰子詞間沒有中止符，則將兩子詞直接拼接，否則兩子詞之間添加分隔符。

1.2 音節自動切分

音節是最小的語音結構，是人的聽覺能夠自然感受到的最小語音片段。每一種語言都有自己的發音習慣和自己的語音特點［13］。漢語中的每一個漢字都對應一個音節，每個音節都是由聲調、韻母和聲母組成。在維吾爾語中，一個音節一般由一個元音音素單獨構成或與其他輔音音素結合構成。維吾爾語中，一共有32 個字母，其中包含24 個輔音和8 個元音，這32 個字母在詞語中的位置大概有130 種形式，另外包含一個特殊符號Hamze。當一個元音在詞中表示另一個音節的開始或者當其出現在詞首時，需要附加Hamze。Hamze 是一個新音節開始或切分的標志［14］。

維吾爾語固有的音節結構是（起音）-領音-（收音），其中領音必須是元音，音節中可以沒有起音和收音，但是不能沒有領音［15］。目前的研究結果表明，現代維吾爾語的音節類型一共有12種，如表1所示，其中，c（consonant）表示輔音，v（vowel）表示元音。

表1 維吾爾語音節類型Tab.1 Syllable types of Uyghur

如表1 所示，7～12 號音節結構用于記錄外來詞；其中10號和11 號音節結構都包含2 個元音，它們用于記錄來自漢語等語言中有2個元音的詞語。基于表1中的音節類型［14］，通過人工分析，可以大致總結出29種音節切分規則。

在本文的實驗中依照總結得出的29 種切分規則設計維吾爾語自動切分工具對語料進行自動音節切分。具體做法為：采用Hamze 對維吾爾語詞語進行切分→從維吾爾詞語的詞尾開始遍歷→查找詞語的邊界標志cv→檢查音節結構（有問題則進行修復）。把Hamze符號看成音節開始的標志，首先用Hamze對維吾爾文詞語進行切分；然后，再對切分之后的每一個分塊進行音節切分——從維吾爾文詞語的詞尾開始遍歷，每當遇到cv（先遇到v然后遇到c）時，把c作為音節邊界進行音節切分；最后，對音節結構進行檢查，依照規則庫和附加輔助音節庫對有問題的音節結構進行修復。

1.3 基于音節切分的BPE

為了探究有效的低資源語言相似語種的機器翻譯平行語料的擴充方法，本文將以上兩種語料處理方式結合到一起，稱之為基于音節切分的BPE。對BPE算法中獲取子詞詞表部分進行調整，不再統計每一個連續字節對的出現頻率，選擇最高頻者合并成新的子詞；而是統計每一個連續音節對的出現頻率，選擇最高頻者合并成新的子詞。

在基于音節切分的BPE方法中獲取子詞詞表的具體步驟如下：

1）準備足夠大的訓練語料；

2）確定期望的子詞詞表的大小；

3）對語料進行自動音節切分處理，將單詞拆分為音節序列并在末尾添加后綴“”，并統計單詞頻率；

4）統計每一個連續音節對的出現頻率，選擇最高頻者合并成新的子詞；

5）重復第4）步直到達到第2）步設定的子詞詞表大小或下一個最高頻的音節對出現頻率為1。

此方法的編碼和解碼部分與傳統的BPE算法思想及具體操作步驟相同。

1.4 BME標記方案

為消除音節作為輸入所帶來的歧義，本文引入了BME 標記方案對音節進行標記。如圖3 所示，將維吾爾語和哈薩克語的音節的開頭標記為“B”，音節的中間部分標記為“M”，音節的末尾部分標記為“E”，單獨的音節標記為“BE”；如圖4 所示，對漢語按照字級別進行處理，在漢語中，詞的開頭標記為“B”，詞的中間部分標記為“M”，詞的末尾部分標記為“E”，單獨的一個字標記為“BE”。

圖3 維吾爾語BME標記示例Fig.3 Examples of Uyghur BME tagging

圖4 漢語BME標記示例Fig.4 Examples of Chinese BME tagging

2 實驗與結果分析

2.1 數據集

如表2 所示，本文實驗用到的數據集包含兩部分：維-漢平行語料采用的是CWMT2015 提供的維漢雙語平行語料。對語料進行數據清洗、亂碼過濾，剔除帶有亂碼或不規則符號的語料。然后，將漢語按字切分，進行字級別的處理，并將語料劃分為訓練集、驗證集和測試集三部分。

由表2 可以看出，最終訓練集包含維漢雙語平行語句對331763 對，驗證集包含700 對，測試集包含1000 對。哈-漢平行語料進行同樣的處理之后得到哈漢雙語平行語句對訓練集346371對，驗證集700對，測試集1000對。

表2 數據集具體信息Tab.2 Specific information of datasets

2.2 實驗基礎設置

在本文的實驗中，使用亞馬遜公司基于Apache Mxnet 開發的神經網絡機器翻譯框架Sockeye。使用Transformer 模型，參數采用Transformer_base 的設置（Transformer 一個比較好的基線設置）。

如表3所示，編碼端和解碼端的層數都是6層，采用ReLU激活函數，dropout 均設置為0.1，學習率設置為0.0002，前饋神經網絡隱層維度設置為2048，詞向量維度設置為512，Attention Heads設置為8。

表3 實驗基本參數設置Tab.3 Basic parameter setting of experiment

在訓練過程中使用早停機制，以雙語評估替補（BiLingual Evaluation Understudy，BLEU）值為衡量值，當驗證集上的BLEU 值10 輪不再提升時就停止訓練。BLEU 值為目前使用最廣泛的機器翻譯自動評價指標，其具體計算式如式（1）：

其中BP為長度懲罰因子，其計算式如式（2）：

其中：c表示機器翻譯結果的長度；r表示參考譯文的有效長度；N表示參考譯文與翻譯結果進行匹配時設置的N-gram 最大長度，an為N-gram 匹配準確率所對應的權重，Pn表示N-gram匹配的比例。在本文的實驗中，N值設置為4。

在解碼過程中使用Beam-search策略，beam size設置為5。采用基于Moses 的multi-bleu-detok.perl 腳本［16］來計算BLEU值，并通過BLEU值來衡量翻譯質量的好壞。

2.3 基礎語料實驗

使用維漢機器翻譯平行語料和哈漢機器翻譯平行語料分別進行模型訓練。

2.3.1 維-漢機器翻譯基礎實驗

此部分實驗中，訓練集包含維漢雙語平行語句對331763對，驗證集包含700 對，測試集包含1000 對。對漢語語料進行字級別的處理，對維吾爾語語料分別進行詞級別處理、BPE處理、音節切分處理、基于音節切分的BPE 處理。實驗采用2.2節中的基礎設置，使用早停機制，以BLEU 值為衡量值，當驗證集上的BLEU 值10 輪不再提升時就停止訓練。表4 展示了實驗中參數以及實驗過程。

表4 維-漢機器翻譯基礎實驗參數Tab.4 Basic experimental parameters of Uyghur-Chinese machine translation

2.3.2 哈-漢機器翻譯基礎實驗

此部分實驗中，訓練集包含哈漢雙語平行語句對346371對，驗證集包含700 對，測試集包含1000 對。對漢語語料進行字級別的處理，對哈薩克語語料分別進行詞級別處理、BPE處理、音節切分處理、基于音節切分的BPE 處理。實驗采用2.2節中的基礎設置，使用早停機制，以BLEU 值為衡量值，當驗證集上的BLEU 值10 輪不再提升時就停止訓練。表5 給出了實驗中參數以及實驗過程。

表5 哈-漢機器翻譯基礎實驗參數Tab.5 Basic experimental parameters of Kazakh-Chinese machine translation

2.3.3 結果分析

基礎實驗部分訓練得到4 個維-漢機器翻譯模型和4 個哈-漢機器翻譯模型；使用基于Moses 的multi-bleu-detok.perl腳本在對應的測試集上計算BLEU值，結果如表6所示。

表6 基礎實驗BLEU值Tab.6 Basic experimental BLEU

從測試集上的BLEU 值來看，BPE 處理、音節切分處理和基于音節切分的BPE處理三種語料處理方案的表現效果差距不大，BPE處理方案的效果略優，音節切分處理方案的效果則略差一點。

2.4 BME標記實驗

此部分實驗使用跟基礎實驗部分相同的語料，針對音節切分和基于音節切分的BPE兩種處理方案進行改進。引入本文1.4節中的BME標記方案對語料進行進一步處理。實驗采用2.2節中的基礎設置，使用早停機制，以BLEU 值為衡量值，當驗證集上的BLEU 值10 輪不再提升時就停止訓練。表7 給出了實驗中參數以及實驗過程。

表7 BME標記實驗參數Tab.7 BME tagging experimental parameters

實驗訓練得到2 個維-漢機器翻譯模型和2 個哈-漢機器翻譯模型；使用基于Moses 的multi-bleu-detok.perl 腳本在對應的測試集上計算BLEU值，結果如表8所示。

表8 BME標記實驗BLEU值Tab.8 BME tagging experimental BLEU

從測試集上的BLEU 值來看，引入BME標記之后，翻譯質量有一個比較高的提升。維-漢翻譯部分音節切分處理的BLEU 值為50.65，在引入BME 標記之后BLEU 值為54.21，BLEU 值提升了3.56；基于音節切分的BPE 處理的BLEU 值為51.09，在引入BME 標記之后BLEU 值為54.32，BLEU 值提升了3.23。哈-漢翻譯部分音節切分處理的BLEU 值為50.91，在引入BME標記之后BLEU值為54.42，BLEU 值提升了3.51；基于音節切分的BPE 處理的BLEU 值為51.26，在引入BME標記之后BLEU值為54.57，BLEU值提升了3.31。

2.5 語料擴充實驗

在此部分實驗中，將維-漢和哈-漢平行語料的訓練集和驗證集分別進行混合，而后對語料分別進行詞級別處理、BPE處理、音節切分處理、基于音節切分的BPE 處理以及音節BME 標記處理。實驗采用2.2 節中的基礎設置，使用早停機制，以BLEU 值為衡量值，當驗證集上的BLEU 值10 輪不再提升時就停止訓練。表9展示了實驗中參數以及實驗過程。

表9 語料擴充實驗參數Tab.9 Corpus expansion experimental parameters

實驗訓練得到6 個維&哈-漢跨語言機器翻譯模型；使用基于Moses 的multi-bleu-detok.perl 腳本分別在維語和哈語對應的測試集上計算BLEU值，結果如表10所示。

表10 語料擴充實驗BLEU值Tab.10 Corpus expansion experimental BLEU

從測試集上的BLEU 值來看，使用詞級別處理方式處理語料無法充分挖掘維哈語料的相似信息，甚至會帶來噪聲，從而導致了相較于基礎實驗而言BLEU 值不升反降；使用其他語料處理方式時，能充分挖掘維哈語料的相似信息，因此BLEU值相較于基礎實驗而言都會有一定的提升。其中，本文提出的基于音節切分的BPE處理方式挖掘維哈語料的相似信息的效果最好，而且引入BME 標記進行音節輸入消歧對翻譯質量的提升也產生了很大的幫助。

2.6 實驗整體分析

表6 和表8 展示了維-漢機器翻譯和哈-漢機器翻譯基礎實驗的BLEU值，表10展示了語料擴充實驗的維-漢機器翻譯和哈-漢機器翻譯的BLEU值。

維-漢機器翻譯實驗中，詞級別處理基礎實驗BLEU 值為46.13，語料擴充實驗BLEU 值為45.02，進行語料擴充后BLEU 值降低了1.11；BPE 處理基礎實驗BLEU 值為51.24，語料擴充實驗BLEU 值為52.31，進行語料擴充后BLEU 值提升了1.07；音節切分處理基礎實驗BLEU 值為50.65，語料擴充實驗BLEU 值為52.45，進行語料擴充后BLEU 值提升了1.8；基于音節切分的BPE 處理基礎實驗BLEU 值為51.09，語料擴充實驗BLEU 值為53.18，進行語料擴充后BLEU 值提升了2.09；音節切分（BME）處理基礎實驗BLEU 值為54.21，語料擴充實驗BLEU 值為55.47，進行語料擴充后BLEU 值提升了1.26；基于音節切分的BPE 處理（BME）基礎實驗BLEU 值為54.32，語料擴充實驗BLEU 值為55.79，進行語料擴充后BLEU值提升了1.47。

哈-漢機器翻譯實驗中，詞級別處理基礎實驗BLEU 值為46.38，語料擴充實驗BLEU 值為45.07，進行語料擴充后BLEU 值降低了1.31；BPE 處理基礎實驗BLEU 值為51.46，語料擴充實驗BLEU 值為52.48，進行語料擴充后BLEU 值提升了1.02；音節切分處理基礎實驗BLEU 值為50.91，語料擴充實驗BLEU 值為52.51，進行語料擴充后BLEU 值提升了1.6；基于音節切分的BPE 處理基礎實驗BLEU 值為51.26，語料擴充實驗BLEU 值為53.23，進行語料擴充后BLEU 值提升了1.97；音節切分（BME）處理基礎實驗BLEU 值為54.42，語料擴充實驗BLEU 值為55.56，進行語料擴充后BLEU 值提升了1.14；基于音節切分的BPE 處理（BME）基礎實驗BLEU 值為54.57，語料擴充實驗BLEU 值為55.82，進行語料擴充后BLEU值提升了1.25。

綜合實驗效果來看，當僅采用詞級別處理時，擴充實驗中挖掘到的維語和哈語的相似信息較少，甚至都無法抵消語料混合所帶來的噪聲影響，從而導致BLEU 值不升反降；而采用特殊的語料處理方式時，語料擴充實驗中的BLEU 都有一定程度的提升，采用本文提出的基于音節切分的BPE 處理方案進行語料擴充實驗時BLEU 值提升最高；有效說明了本文提出的基于音節切分的BPE處理方案能最大限度地挖掘并利用維語和哈語的相似信息，從而為維&哈-漢跨語言機器翻譯模型的訓練帶來極大的增益；另外，根據2.4節中對BME標記實驗結果的分析可知引入BME 標記對切分的音節進行標注，能很好地消除音節輸入所帶來的一些歧義，從而能更有效地提升維-漢機器翻譯和哈-漢機器翻譯的翻譯質量。

3 結語

本文為解決維吾爾語、哈薩克語到漢語等低資源語言機器翻譯的任務上一直存在的標注數據資源匱乏的問題，對維&哈語料相似性挖掘的方法進行探究。采用BPE 處理、音節切分處理以及基于音節切分的BPE處理三種語料處理方式對語料進行處理以挖掘維語和哈語的相似信息并加以利用；引入BME 標記對切分的音節進行標注，以消除音節輸入所帶來的一些歧義。

通過對基礎實驗與語料擴充實驗中訓練所得的模型進行對比，驗證了本文提出的基于音節切分的BPE 處理方法的有效性以及引入BME標記所帶來的增益效果。

在后續的研究中，我們將基于當前實驗，探究BPE處理和基于音節切分的BPE處理兩種方案中子詞詞表大小對翻譯質量的影響。同時，后續也會引入烏茲別克語和土耳其語等語言，在本文研究的基礎上進行進一步的研究，以探究更多相似語種語料擴充的可能性。