結合BERT數據增強的基于詞切分的蒙漢神經機器翻譯系統

何烏云，秀 芝，包晶晶，陳美蘭，王斯日古楞

(內蒙古師范大學計算機科學技術學院,內蒙古 呼和浩特 011500)

蒙漢機器翻譯任務屬于資源稀缺的少數民族語言翻譯任務范疇，這些翻譯任務中普遍存在資源匱乏導致的數據稀疏和構詞多樣性而造成語言特征學習困難的問題.蒙古文形態變化繁雜，而且蒙古文的語序也和漢語語序有所不同，這都成為了蒙漢機器翻譯的難題.

自神經機器翻譯被提出以來，它就利用大規模的高質量平行語料庫來實現端到端的翻譯.在數據量充足時，神經機器翻譯可以得到良好的翻譯結果.但是，在一些資源稀缺的少數民族語言翻譯任務中，有時神經機器翻譯的性能還不如基于統計的機器翻譯.同時，由于訓練數據量有限，會導致模型的泛化能力下降.為解決這個問題，一種最直接有效的方法就是通過數據增強方法提高訓練數據的多樣性，從而提高模型的魯棒性，避免過擬合.另外，通過改變訓練數據，可以降低模型對某些特征或屬性的依賴，從而提高模型的泛化能力.

規模龐大的平行語料庫是神經機器翻譯方法能夠獲得良好效果的前提.在少數民族機器翻譯任務中，平行語料的獲取難度是極大的，但單語語料卻十分容易獲取.合理使用單語語料信息完善翻譯模型的翻譯能力也成了一種研究課題.其中,數據增強是一個非常重要的研究熱點[1].近年來，研究者們嘗試使用正向翻譯[2]和反向翻譯[3]構建偽平行語料庫，從而利用相對容易獲得的單語數據解決數據資源不足的問題[4].正向翻譯的基本思想是訓練從源語言到目標語言的翻譯模型，將源語言的單語數據翻譯成目標語言的句子，與源語言端句子組合成偽雙語句對，和真實的雙語句對混合作為訓練數據用于進一步的訓練.反向翻譯技術使用目標單語數據來提高模型的翻譯質量[5].將目標語言端句子反向翻譯后得到源語言端句子，與目標語言端句子組合成偽雙語句對，并和真實的雙語句對混合作為模型的訓練數據，目的是為了采樣多樣化的訓練數據，提升模型的泛化能力.

Sennrich等[6]在機器翻譯任務中，最先提出了回譯方法來進行數據增強，該方法操作簡單、具有很高的實用性.Fadaee等[7]和Sugiyama等[8]使用回譯方法，利用對目標端的單語數據進行反向翻譯，生成更多的源語言增強版本.Poncelas 等[9]對真實數據、合成數據、混合數據以及回譯數據的比例對于翻譯效果的影響進行了實證分析，實驗數據得出基于采樣和加入噪聲的束搜索合成數據對翻譯效果提升較大.Edunov 等[10]通過實驗也同樣論證在合成數據中添加噪聲數據可以有效提高翻譯質量.谷舒豪等[11]在不同領域的語料中利用了數據增強技術，并驗證了其方法的有效性.

基于回譯的方法可以不用修改神經機器翻譯模型就能有效地利用單語數據；但是當平行語料規模較小時，通過回譯生成的偽平行語料質量較差，而且大規模的偽數據和較小規模的平行語料混合使得真實的平行語料難以被有效地利用.針對這些問題，本文提出一種針對較小規模平行語料的解決方案.該方法在蒙古文進行詞切分的基礎上通過BERT數據增強的方法去擴充蒙漢機器翻譯訓練語料庫.該方法利用BERT模型可以通過詞的上下文信息去獲得更好的詞向量表示，從而可以針對多語義詞區分表示這一特點，進一步計算句子的語義相似度，提升偽平行語料的質量，有效擴充蒙漢機器翻譯訓練語料庫.

1 數據預處理

訓練語料來源是CCMT2021提供的蒙漢雙語平行語料庫，包含26.16萬句對.由于平行語料的質量會對翻譯的效果產生很大影響，因此需要對平行語料進行預處理.預處理中對傳統蒙古文語料庫中的非法符號、非Unicode字符及平行語料中含有亂碼句對進行了過濾處理，主要包括源語言端蒙古文語料里包含的漢語句對以及目標語言端漢語語料里包含的蒙古文句對；其后將改正后的傳統蒙古文語料用本實驗室開發的轉換工具轉換成蒙古文拉丁形式.

對目標語言端漢語數據，首先將語料庫中的所有字母和數字轉換成半角形式.然后利用中科院開源工具ICTCLAS2019對語料進行切分工作.評測實驗中對涉及到的所有語料，包括訓練集、開發集、測試集都做了相同的預處理工作.

1.1 蒙古文詞切分處理

蒙漢雙語語料庫非常稀缺，且蒙古文和漢語有著很大的語言差異化.蒙古文是主賓謂結構，漢語是主謂賓結構，兩者的語序有很大的不同.在蒙漢機器翻譯中，由于語法和句法結構的差異，源語言和目標語言的語序完全不同.蒙古文是一種形式豐富的黏著性語言.同詞根名詞和動詞的屈折變化較多，表達的概念相似，變形附加成分也具有豐富的詞性和時態信息，這些信息對分析機器翻譯有著重要的作用.詞級別機器翻譯無法捕捉到這些隱藏的含義，同時將同一個詞根的不同變體訓練成不同的單元，從而增加神經機器翻譯詞匯詞典的規模.因此，針對蒙古文形態豐富特征和神經機器翻譯的有限詞匯詞典問題，本文中對機器翻譯蒙古文語料進行了切分預處理工作.通過使用部分切分方法、BPE(byte-pair encoding)子詞切分方法、基于神經網絡的詞切分方法對蒙古文語料進行了多種粒度的切分工作.

1.1.1 蒙古文部分切分

對蒙古文語料進行部分切分處理指的是對蒙古文構形附加成分中的分寫附加成分的切分.分寫附加成分中包括格附加成分和領屬，以及一些名詞的復數附加成分.通過部分切分可以有效減少單頻詞的數量，會對緩解未登錄詞和罕見詞有很大的幫助，從而可以緩解數據稀疏問題.

1.1.2 蒙古文BPE子詞切分

BPE編碼技術是在2016年，Sennrich等[12]提出的一種處理文本切分粒度的方法.BPE算法在機器翻譯任務中的應用有兩種方法，一種是獨立的BPE，即建立兩個獨立的詞典，分別為源語言詞典和目標語言詞典.它的優點是處理后的語料非常的簡潔.另一種是聯合BPE，即源語言和目標語言共同生成一個詞典.它的優點是能夠保證源語言和目標語言切分粒度的一致性.在本研究中只對蒙古文語料進行BPE子詞切分，所以采用了獨立BPE.BPE子詞粒度切分是將蒙古文句子切分成介于詞和字符之間的粒度大小，這種切分方法在一定程度上既能保留蒙古文詞的局部特征，又能有效地減小詞粒度.通過BPE子詞切分方法可以徹底解決集外詞問題，任何一個詞都可以切分成子詞序列.

1.1.3 蒙古文神經網絡詞切分

傳統的蒙古文詞切分方法已經相對成熟，但也存在需人工提取文本特征、特征提取方面不夠充分，以及模型訓練時間過長等一系列問題.由于神經網絡模型有較強的泛化能力，能幫助研究者們從人工編寫特征工程中解放出來.因此，本文構建了一種基于BiLSTM-CNN-CRF神經網絡模型實現對蒙古文詞的切分，并將其應用在蒙漢機器翻譯任務當中.BiLSTM-CNN-CRF神經網絡詞切分實驗采用的數據為少數民族語言分詞技術評測MLWS2017(Minority Language Word Segmentation)活動提供的蒙古文訓練評測語料，規模大小為50 017句，共包含851 765個詞.數據集隨機劃分為訓練集、開發集和測試集，按8∶1∶1的比例去進行劃分.

詞切分模型中通過BiLSTM模型[13]可以有效地模擬遠距離依賴關系，提取輸入字符序列的上下文信息.CNN模型[14]一般由卷積層、池化層和全連接層組成.卷積層主要進行卷積運算；池化層利用數據局部信息重復的特征，對局部信息用總體特征來代表整個區域的輸出；全連接層是傳統的前饋神經網絡，主要是將多個輸出拓展為一層全連接形式.詞切分模型中通過CNN模型提取蒙古文字符的局部特征信息.CRF模型[15]是一種無向圖模型，它兼備了最大熵模型和隱馬爾可夫模型的特征，在序列標注任務中具有較高準確率.詞切分模型中通過CRF模型對整個序列進行評分，并加入一些約束條件，保證預測標簽的合理性.BiLSTM-CNN-CRF神經網絡模型對蒙古文詞進行切分，能夠使單頻詞總數明顯減少，有效解決了數據稀疏及未登錄詞的問題.通過詞切分可使訓練集語料總詞數減少，能有效降低神經網絡機器翻譯源語言詞匯詞典的規模.

1.2 過濾蒙古文語料中控制字符

蒙古文語料中除了代表詞邊界的天然空格以外，還存在蒙古文特殊控制字符.現行蒙古文Unicode編碼中使用控制字符表達字的不同變形.因此，蒙古文詞中會出現編碼為“180E”“202F”“180D”等的控制字符，但是在Transformer訓練工具抽取詞匯表時不能正確處理蒙古文詞中出現的控制字符，而是把帶有控制字符的詞分成多個字符串.為此，本文中在切分工作基礎上去掉了語料中出現次數較多的蒙古文Unicode編碼為“180E”“202F”“180D”的控制字符.其中，控制字符“180E”是蒙古文元音間隔符，用于詞尾的分寫元音字母A/E與它前面的輔音字母之間；控制字符“202F”是蒙古文窄寬度無間斷空格，用于字和附加成分之間，表示有空隙，雖然有空隙但不是詞的邊界；控制字符“180D”是蒙古文自由變體選擇符，用于區別在同一條件下出現的同一個字母的不同的自由變體[16].

2 基于BERT數據增強的蒙漢神經機器翻譯方法

2.1 蒙漢神經機器翻譯模型

神經機器翻譯的研究正處于快速發展階段，尤其是資源匱乏語種的神經機器翻譯研究.近年來，出現了許多不同類型的神經機器翻譯方法.例如，基于循環神經網絡[17]、基于卷積神經網絡[18]和基于Transformer[19]的神經機器翻譯方法等.

Transformer翻譯模型不再依賴循環神經網絡和卷積神經網絡，只需要注意力機制就能解決序列到序列的翻譯問題，并且能夠一步到位獲取全局信息.Transformer模型的整體架構仍然采用編碼器-解碼器結構，其最大的優點是可以實現高效地并行運算.且基于Transformer的神經機器翻譯模型是目前最主流的機器翻譯方法.因此，本研究中在基于BERT數據增強的基礎上采用Transformer進行蒙漢機器翻譯.

2.2 BERT數據增強的蒙漢神經機器翻譯系統實現

現有的蒙漢訓練語料規模較小，這種情況會直接影響神經網絡模型訓練的結果.為了增強蒙漢神經機器翻譯中的訓練數據規模，本研究在詞素切分及去掉語料控制字符預處理方法的基礎上采用BERT[20]數據增強方法去擴充訓練語料庫.具體的整體流程框架如圖1所示.

圖1 系統整體流程框架Fig.1 System overall process framework

第一步利用LCQMC(large-scale Chinese question matching corpus)數據集提供的訓練集去訓練BERT預訓練語言模型，得到BERT中文語義相似度計算模型，用于之后蒙漢機器翻譯語料的中文句子的語義相似度計算；第二步通過蒙漢初始的Transformer模型去翻譯CCMT2021提供的蒙漢機器翻譯訓練集中的蒙古文單語語料獲得相應的中文譯文；第三步使用第一步得到的BERT中文語義相似度計算模型去計算第二步得到的中文譯文和蒙漢機器翻譯訓練集中的真實中文語料之間的語義相似度.第四步將計算得到的語義相似度較高的中文譯文句子及對應的蒙古文句子構成一對偽蒙漢數據集，并擴充到CCMT2021提供的蒙漢機器翻譯訓練集中，訓練基于BERT數據增強的Transformer蒙漢神經機器翻譯模型.

2.2.1 BERT中文語義相似度計算模型

BERT的內部結構其實就是多個Transformer的編碼器，Transformer編碼器因為有自注意力機制，因此BERT自帶雙向功能.本研究中為了使獲得的偽平行語料具有更少的噪聲，選用了BERT訓練中文語義相似度計算模型.BERT中文語義相似度計算模型的框架如圖2所示.

圖2 BERT中文語義相似度計算模型結構圖Fig.2 BERT Chinese semantic similarity calculation model framework

從圖2可以看出，模型主要分為輸入層、特征提取層、sigmoid函數層以及輸出層.模型的輸入是一對中文句子.句子中的[CLS]是一個特殊分隔符，表示每個樣本的開頭，[SEP]是樣本中每個句子的結束標記符.得到輸入表示后，使用BERT模型的組成結構Transformer編碼器去提取句子的特征，通過多層Transformer編碼器逐層細化語義特征表示.接著，取BERT的輸出中[CLS]對應的輸出向量作為整個句子的語義表示.采用兩個語義信息向量的余弦距離表征語義相似度，然后將其傳遞給sigmoid函數進行預測計算得到兩個語義相似的概率.輸出結果是0到1之間的兩個浮點數，接近于1表示兩個句子的語義相似度高，接近0表示兩個句子的語義相似度比較低.余弦距離是從向量之間的角度的余弦得出的.設句子A和B的語義信息向量分別為W和S：

(1)

二者的夾角余弦值等于：

(2)

2.2.2 機器翻譯蒙漢訓練語料的擴充

利用BERT中文語義相似度計算模型進行相似度計算，最后會得到兩個概率值相加為1的浮點數.最終實驗得到的翻譯結果中共有36 636條與原訓練集不同的句子,因為當語義相似度為0.5以下時會使兩個句子語義出現相反或不同的現象，所以本文中相似度取值范圍選擇0.5，0.6，0.7，0.8和0.9.

當語義相似度大于0.8或0.9時，擴充語料庫規模并沒有明顯的增加.當語義相似度大于0.5時，擴充語料庫規模達到23 092句，說明可以有效擴充蒙漢機器翻譯訓練語料庫的規模，從而緩解蒙漢對齊語料的數據稀疏問題.通過對語義相似度在大于0.5，0.6，0.7，0.8，0.9的取值下進行語料庫擴充后的蒙漢機器翻譯對比實驗，發現語義相似度等于0.5時進行語料庫擴充的實驗效果最佳.所以根據不同語義相似度取值下擴充語料庫對蒙漢機器翻譯實驗BLEU值的大小選擇了相似度等于0.5概率值的句子.

3 蒙漢機器翻譯實驗及分析

3.1 實驗數據

本文中BERT中文語義相似度計算模型的訓練集為LCQMC (large-scale Chinese question matching corpus)數據集.LCQMC是哈爾濱工業大學為COLING2018自然語言處理國際會議構建的語義匹配數據集.它的目的是確定兩個句子是否具有相同的語義.數據集中訓練集和開發集均為兩個中文句子末尾帶有0和1標簽的數據.數據集中包括訓練集(251 266 句對)、開發集(8 800句對)和測試集(12 000萬句對).在本文實驗中沒有使用數據集中的測試集，而是選用了蒙漢機器翻譯數據集中的中文訓練集作為測試集，將中文譯文和真實的中文句子使用空格作為間隔放到一行中并在句子末尾添加標簽“1”作為測試集.

蒙漢機器翻譯實驗均采用了CCMT2021提供的訓練集和開發集.測試集選用了CCMT2019提供的離線測試集，共1 000個蒙古文句子，每個句子對應4個漢語參考答案，且對測試集語料進行了校正編碼工作.實驗數據預處理方法見本文第1節.

3.2 實驗參數設置

BERT中文語義相似度計算模型的實驗參數設置：損失函數選用交叉熵損失函數，Batch_size為32；Dropout為0.1，優化器使用Adam算法進行優化，激活函數使用relu；迭代訓練2.2×104輪.

蒙漢機器翻譯實驗參數設置：Transformer采用6層編碼器和6層解碼器，每個batch的最大token設置為2 048，學習率設置為0.001，dropout設置為0.3，優化器使用Adam算法進行優化.2.5×105輪迭代訓練，每1 000步保存一個翻譯模型.在完成2.5×105輪迭代翻譯訓練后，將最新的20個翻譯模型保存在檢查站中.

運行環境：操作系統為Ubuntu 16.04版的Linux平臺；CPU均為Intel(R) Core(TM) i7-8700k CPU @ 3.70 GHz；GPU為GTx1080Ti獨立顯卡、i7 8700k處理器和256 GB的硬盤；內存為32 GB，運行平臺是谷歌公司開發的GPU版本的Tensorflow.

3.3 實驗結果與分析

3.3.1 基于詞切分的蒙漢神經機器翻譯模型實驗及分析

蒙漢機器翻譯的基線實驗是在Transformer的神經網絡模型上不采用切分的實驗.對比實驗分別采用部分切分方法、BPE切分方法及BiLSTM-CNN-CRF神經網絡切分方法對蒙古文進行切分.基于不同粒度的詞切分實例對比，如表1所示.

表1 不同粒度詞切分實例對比

從表1中可以看出，拉丁轉寫不作任何切分處理，只以詞切分為準時：分寫構形附加成分與前面的詞未切分；格附加成分“DV”與前面的詞之間由“-”控制字符連接著，看成一個詞.部分切分方法中格附加成分“DV”的控制字符“-”與前面的詞之間用斜杠(/)切分，把格構形附加成分看成一個單獨的詞.BPE切分方法把蒙古文單詞“SVRTALCILAG_A”拆分成“SVR@@”“TAL”“CILAG_A”，其中“@@”標記是分隔符.BPE切分方法主要是統計每一個連續字節對的出現頻率，切分后的子詞并不符合蒙古文的構詞規則.神經網絡切分方法把“ARIHI/N/-DV”一詞切分成了詞干“ARIHI”和構形附加成分“N”和“-DV”.

機器翻譯評測指標選用了BLEU4[21]、BLEU4_SBP[22]和NIST5[23]值，不同的切分方法在CCMT2019測試集上的實驗結果如表2所示.

表2 蒙古文詞切分方法在Transformer機器翻譯中的實驗結果

從表2可以看出，對蒙古文語料做切分預處理工作與不做切分工作相比可以有效地提高機器翻譯質量，這是因為蒙古文有著特殊的構詞結構.如果不進行詞切分，基于詞的蒙古文訓練語料庫中單頻詞的數量會高達總詞數的一半，這是很嚴重的數據稀疏問題.因此，從不同的粒度去切分蒙古文，可以有效緩解數據稀疏的問題.

通過對蒙古文語料進行部分切分、BPE切分及基于神經網絡的詞干詞綴切分實驗對比發現，在Transformer神經機器翻譯系統上基于部分切分的方法要高于其他不同粒度的切分方法，且BLEU值能夠達到69.87%.通過分析得出，使用BPE進行切分時，因為BPE主要以詞頻統計為主要依據進行切分，所以會使蒙古文語料丟失掉原有的詞性及詞義.采用BiLSTM-CNN-CRF神經網絡切分后的蒙古文語料庫進行分析，發現該詞切分方法準確率很高，但在蒙漢機器翻譯任務中會使蒙古文句子變長、蒙古文詞的切分粒度過細且語料中出現大量單個的詞素.因此，后續實驗將在BLEU值最高的部分切分方法的基礎上進行.

3.3.2 蒙漢機器翻譯對比實驗及分析

在對蒙古文語料進行部分切分基礎上，本文中對蒙古文語料的控制字符進行了過濾處理.過濾掉控制字符后的蒙古語句子拉丁轉寫后的形式如下所示.

拉丁轉寫后的詞素切分形式: BI TAN -TAI 0CIGAD -CV NEMERI ALAG_A.

過濾掉控制字符以后形式: BI TAN TAI 0CIGAD CV NEMERI ALAG A.

即將格附加成分“-TAI”的控制字符“-”和“-CV”的控制字符“-”以及名詞復數附加成分“_A”的控制字符“_”替換為空格.

在對蒙古文進行部分切分且過濾掉控制字符的基礎上，使用BERT模型進行中文語義相似度計算，從而擴充訓練集平行語料.對蒙古文進行過濾控制字符預處理方法和BERT數據增強方法在Transformer神經機器翻譯系統上的實驗結果，如表3所示.

表3 蒙漢神經機器翻譯結果

從表3實驗結果可以看出，在蒙古文部分切分基礎上對蒙古文控制字符的過濾有效地提高了機器翻譯性能，與部分切分實驗結果相比，BLEU4值提高2.13 個百分點.通過分析得出，不過濾控制字符的情況，在模型訓練或標簽還原時可能會與正常的詞邊界空格混淆.通過過濾可以解決這一問題，使模型訓練任務變得簡單.

在過濾掉控制字符基礎上使用BERT模型進行數據增強，會進一步提升機器翻譯的質量，使蒙漢機器翻譯BLEU4值達到75.28%.通過對實驗結果分析得出，此方法可以有效擴充蒙漢雙語訓練語料庫，進一步提高了蒙漢神經機器翻譯模型的性能.基于BERT的數據增強方法對低資源語言機器翻譯任務質量提升至關重要.

4 總 結

本研究采用Transformer神經機器翻譯模型作為蒙漢翻譯的基線系統.針對低資源語種上神經機器翻譯面臨的訓練語料匱乏問題，首先采用部分切分方法、BPE切分方法及BiLSTM-CNN-CRF神經網絡切分方法對蒙古文進行切分工作.通過實驗結果發現部分切分的方法在基于Transformer神經機器翻譯系統上性能更優.在此基礎上，結合部分切分與過濾掉蒙古文語料控制字符方法，提出一種基于BERT數據增強的方法.該方法主要利用BERT模型計算得到語義相似度較高的中文句子去構建蒙漢偽平行語料以擴充訓練語料.本文在蒙漢語種上的機器翻譯實驗結果表明，BERT數據增強技術應對蒙漢機器翻譯任務的平行雙語數據稀疏問題，能有效提高神經機器翻譯對低資源語言的泛化能力.

在蒙漢雙語機器翻譯任務中，目前最嚴峻的是雙語數據稀疏問題，針對該問題后續可以使用遷移學習、譯文后處理等方法進行研究.