基于深度編碼注意力的XLNet-Transformer漢-馬低資源神經機器翻譯優化方法

占思琦 徐志展 楊威 謝搶來

摘 要：神經機器翻譯（NMT）在多個領域應用中已取得顯著成效，在大規模語料庫上已充分論證其優越性。然而，在語料庫資源不足的情形下，仍存在較大的改進空間。由于漢語-馬來語（漢-馬）平行語料的匱乏，直接導致了漢-馬機器翻譯的翻譯效果不佳。為解決漢-馬低資源機器翻譯不理想的問題，提出了一種基于深度編碼注意力和漸進式解凍的低資源神經機器翻譯方法。首先，利用XLNet預訓練模型重構編碼器，在編碼器中使用了XLNet動態聚合模塊替代了傳統編碼層的輸出方式，有效彌補了低資源漢-馬語料匱乏的瓶頸；其次，在解碼器中使用并行交叉注意力模塊對傳統編碼-解碼注意力進行了改進，提升了源詞和目標詞的潛在關系的捕獲能力；最后，對提出模型采用漸進式解凍訓練策略，最大化釋放了模型的性能。實驗結果表明，提出方法在小規模的漢-馬數據集上得到了顯著的性能提升，驗證了方法的有效性，對比其他的低資源NMT方法，所提方法結構更為精簡，并改進了編碼器和解碼器，翻譯效果提升更加顯著，為應對低資源機器翻譯提供了有效的策略與啟示。

關鍵詞：神經網絡； 漢-馬機器翻譯； 低資源； 漸進式解凍； 預訓練

中圖分類號：TP391?? 文獻標志碼：A

文章編號：1001-3695（2024）03-022-0799-06

doi：10.19734/j.issn.1001-3695.2023.08.0331

XLNet-Transformer optimization method for Chinese-Malay low-resource

neural machine translation based on deep coded attention

Zhan Siqia， Xu Zhizhana， Yang Weib， Xie Qianglaib

（a.College of Information Engineering， b.Big Data Laboratory of Collaborative Innovation Center， Jiangxi University of Technology， Nanchang 330098， China）

Abstract：Neural machine translation（NMT） has achieved remarkable results in applications in many fields， and it has fully demonstrated its superiority on large-scale corpora. However， there is still a huge room for improvement when there are insufficient corpus resources. The lack of a Chinese-Malay parallel corpus directly affects the translation effect of Chinese-Malay machine translation. In order to solve the problem of unsatisfactory Chinese-Malay low-resource machine translation， this paper proposed a low-resource neural machine translation method based on deep encoded attention and progressive unfreezing. Firstly， this method reconstructed the encoder using the XLNet pre-training model and replaced the output mode of the traditional encoding layer with the XLNet dynamic aggregation module in order to effectively compensate for the bottleneck caused by the lack of Chinese-Malay corpus. Secondly， it improved the traditional encoding-decoding attention by using a parallel cross-attention module in the decoder， which enhanced the ability to capture the potential relationship between the source word and the target word. Finally， it adopted a progressive unfreezing training strategy to maximize the release of the models perfor-mance. The experimental results demonstrate that the proposed method significantly improves the performance on a small-scale Chinese-Malay dataset， thus confirming its effectiveness. Compared with other low-resource NMT methods， this method had a simpler structure， and improved the encoder and decode， resulting in a more significant enhancement in the translation effect. The approach provides effective strategies and insights to cope with low-resource machine translation.

Key words：neural network; Chinese-Malay machine translation; low resource; progressive unfreezing； pre-training

0 引言

隨著“一帶一路”倡議的提出和中國－東盟自貿區的不斷發展，中國和東盟國家之間的經貿及文化交流日益頻繁［1］。據統計，“一帶一路”沿線連接了64個國家和地區，使用了約1/3的全球語言種類，包括許多小語種和方言［2］。由于這些語言的復雜性和多樣性，人工翻譯已經無法滿足當前規模巨大的翻譯需求，機器翻譯已成為自然語言處理（NLP）領域備受關注的研究領域。為了更好地支持漢語-馬來語的跨語言溝通和合作，小語種漢-馬機器翻譯技術變得尤為重要。

機器翻譯經歷了從規則到統計再到深度學習的多次迭代，相對于傳統的基于規則或統計模型的機器翻譯方法，神經機器翻譯模型具有更高的自適應性、更強的上下文理解能力以及更高的翻譯質量。當前，基于神經網絡的機器翻譯技術成為了機器翻譯領域的研究熱點。

NMT是一種數據驅動的機器翻譯方法，隨著訓練數據規模的增大，通?？梢垣@得更好的翻譯效果。然而，當神經機器翻譯模型的訓練數據規模較小時，其翻譯效果并不佳，特別是對于一些資源稀缺型語言對（如漢語-馬來語）。由于缺乏充足的訓練數據，漢-馬神經機器翻譯面臨著重大挑戰，導致目前漢-馬機器翻譯的翻譯效果受到了很大的限制，所以，研究如何改進神經機器翻譯技術以提高其在低資源場景下的翻譯效果是該領域亟待解決的問題之一。

基于此，針對低資源場景下的漢-馬神經機器翻譯的譯文質量不理想的問題，本文利用Transformer［3］和XLNet［4］預訓練模型提出了一種基于深度編碼注意力（XLNet-Transformer）和漸進式解凍的神經機器翻譯方法，該方法在少量漢-馬語料對（低資源）上表現出良好的性能。本文主要貢獻如下：a）提出使用XLNet重構Transformer編碼器，在長距離依賴建模方面相對于傳統Transformer模型，能學習到源語句的更多依賴關系，同時使用了預訓練權重初始化編碼器參數，能明顯提升漢-馬低資源機器翻譯的性能；b）提出動態聚合XLNet編碼模塊，能動態聚合XLNet各個編碼層的編碼信息，充分捕獲到源語言文本各個層面的信息，從而為解碼器提供更豐富的編碼特征；c）提出并行交叉注意力模塊，能夠有效地學習上下文特征，從而捕捉到源句子和目標句子之間潛在的語義關聯；d）提出“漸進式解凍”訓練優化策略，可以穩定模型的訓練過程，能更充分地整合源句子和目標句子的特征，提高了模型在編碼-解碼任務中的效果。

1 相關工作

機器翻譯已成為NLP備受關注的研究領域，然而在漢語-馬來語低資源神經翻譯領域，由于缺乏足夠的訓練數據，漢-馬神經機器翻譯模型的翻譯效果面臨嚴峻的挑戰。

當前，漢語-馬來語低資源神經機器翻譯領域所能夠依據的參考文獻相對匱乏，但是相對于其他語種低資源神經機器翻譯方法卻積累了大量的研究成果與經驗。文獻［5～8］通過實驗表明，相比傳統的基于大量平行語料訓練的機器翻譯方法（如基于RNN［9］、CNN［10］和Transformer等結構的神經機器翻譯），基于預訓練模型的低資源機器翻譯是一種有效且高效的方法。文獻［11，12］利用BERT［13］預訓練模型對Transformer進行改進，實驗結果顯示這種新架構比基線有明顯的提升。Wang等人［14］提出SimCSE和注意力學習句子嵌入和相應詞嵌入的關系，在低資源語料對的實驗表明了該方法的可行性。Guo等人［15］通過將源語言和目標語言領域的兩個預訓練BERT模型集成到一個序列到序列模型中，提出的模型在實驗結果中明顯優于基線模型。文獻［16，17］利用不同組合的BERT和GPT［18］改進編碼器和解碼器，實驗結果表現出良好的翻譯效果。文獻［19，20］利用BERT分別融合到編碼器和解碼器的特征表示，結果顯示均能顯著提升翻譯性能，表明了預訓練模型獲取知識表示的有效性。文獻［21，22］利用BERT和階段優化策略逐步解凍網絡，驗證了預訓練結合分步訓練的有效性。文獻［23～26］利用XLNet預訓練模型在各種NLP單語言任務中獲得了良好的表現，但XLNet應用在NMT的研究相對匱乏。

以上工作為本文研究如何改善漢-馬低資源機器翻譯性能不佳的現狀提供了理論和實驗基礎?；诖?，本文提出了一種基于深度編碼注意力和“漸進式解凍”的漢-馬低資源神經機器翻譯方法，采用性能優于BERT的XLNet預訓練模型，模型性能明顯優于文獻［22］提出的低資源NMT方法。相較于文獻［19，20］的方法，本文方法的結構更為精簡，并改進了編碼器和解碼器，翻譯的性能也得到了提升，最終的實驗驗證了本文方法在提升漢-馬低資源神經機器翻譯質量方面的有效性。

2 基于深度編碼注意力和漸進式解凍的XLNet-Transformer神經機器翻譯方法

本文提出的XLNet-Transformer模型的整體架構如圖1所示，從圖中可以直觀地理解本文方法的結構和各個組件之間的關系。模型由XLNet完全重構Transformer編碼器的六層堆疊，利用XLNet編碼器直接對源語言句子進行編碼，使得模型相對于傳統Transformer可以更好地捕捉源語言文本的信息，提高了其對輸入文本的表示能力。為了充分地利用XLNet模型中不同編碼層的特征，通過編碼動態聚合模塊有效地將各編碼層的深度編碼特征信息聚合，增強模型的表征能力。同時，在解碼器中，將第二個注意力子層改進為并行交叉注意力模塊，模型能夠更加關注源語言句子的上下文信息，從而更準確地捕捉句子的語義。本文模型的偽代碼如算法1所示。

3.4 不同學習率對本文模型的影響

本文提出的XLNet-Transformer模型在不同學習率下直接微調的對比結果如表4所示，粗體值表示最佳結果，#表示模型epoch數。

從實驗結果可以看出，直接采用XLNet默認的動態學習率進行訓練，BLEU為0，這反映了動態學習率在當前情景下未能充分發揮作用，由此對XLNet-Transformer模型的收斂性造成了限制。當學習率為5×10－5時，BLEU分數在第70個epoch達到最優23.92，自此之后，提高學習率反而導致分數下降。當學習率為1.5×10－4之后，學習率過大導致模型發生了梯度爆炸現象，模型無法收斂；設置學習率為1×10-5時，模型的BLEU分數比學習率為5×10-5時低6.80，說明學習率過小可能使模型發生局部最優和過擬合的現象，進而導致模型翻譯質量下降。因此，給予合適的學習率時，直接微調模型也可以得到較理想的翻譯性能。故在后續實驗中，將本文模型在未采用漸進式解凍策略訓練的學習率默認設置為5×10-5。

3.5 漢-馬低資源神經機器翻譯的對比實驗

為了驗證本文方法的有效性，進行了如表5所示的模型方法對比實驗，表中“+、-”表示相對于傳統Transformer模型的BLEU差值，粗體值表示最佳結果。其中：

a）XLNet-Decoder，本文提出的編碼器完全由XLNet（12-layer，768-hidden，12-heads）模型重構，解碼器為Transformer結構的參照模型。

b）BERT-Encoder［22］，編碼器完全由BERT（12-layer，768-hidden，12-heads）模型重構，解碼器為Transformer結構。

c）PhoBERT［20］，編碼器和解碼器分別融合了BERT（12-layer，768-hidden，12-heads）的輸出特征。

d）XLNet-Transformer，即XLNet-Decoder+編碼動態聚合模塊+并行交叉注意力模塊。

從表5可以看出，利用預訓練做編碼器的BERT-Encoder和XLNet-Decoder在低資源數據集上相比于傳統的Transformer模型，均有明顯提升，而本文模型相較于Transformer模型的BLEU可以達到6.41的提升；相較于BERT-Encoder和PhoBERT方法，本文模型也分別提升了0.97和0.25。通過實驗結果表明，本文方法在結構更加精簡的前提下，能夠在漢-馬低資源數據集上實現更好的低資源翻譯性能，也充分證明了通過引入XLNet預訓練模型、動態聚合編碼信息以及并行交叉注意力等關鍵組件，可以較好地克服低資源條件下的翻譯困難，實現了性能改進。

3.6 漢-馬低資源神經機器翻譯的消融實驗

為探究本文方法使用XLNet重構編碼器后使用編碼動態聚合模塊和在解碼器融合并行交叉注意力模塊的模型對翻譯模型性能的影響，進行了如表6所示的消融實驗。其中：

a）Transformer with XLNet size。Transformer的網絡結構，僅結構參數大小與XLNet一致（12-layer，768-hidden，12-heads）。

b）XLNet-Decoder+編碼動態聚合。在XLNet-Decoder的基礎上只對編碼器進行了動態聚合模塊改進。

c）XLNet-Decoder+并行交叉注意力。在XLNet-Decoder的基礎上只對解碼器進行了并行交叉注意力模塊的改進。

根據表6的實驗結果可知，雖然Transformer with XLNet size模型參數量有所增加，但最優BLEU仍比Transformer base size模型少1.56，說明模型容量對翻譯質量的影響不大，增加參數的數量并沒有帶來更好的翻譯質量，這也反映了XLNet-Transformer模型的優勢是模型的學習性能而不是模型參數的數量。

將編碼動態聚合模塊和并行交叉注意力模塊分別應用XLNet-Decoder模型后，均比XLNet-Decoder模型的BLEU值有一定的提高。當編碼動態聚合模塊與并行交叉注意力模塊同時應用于XLNet-Decoder模型（即XLNet-Transformer）后，實驗結果優于其他實驗組，比傳統Transformer模型提高了6.41，說明兩個模塊在聯合使用時的有效性，表明了編碼動態聚合模塊和并行交叉注意力模塊在低資源數據集下對提高翻譯模型性能都起到了重要的作用。

3.7 “漸進式解凍”策略的優化訓練

為探索提出的XLNet-Transformer模型在訓練過程中使用提出的“漸進式解凍”優化策略對翻譯模型性能的影響，設計了如表7所示的實驗。由表4可以得出，提出的XLNet-Transformer模型直接微調的較優學習率為5×10-5，基線模型Transformer的原始學習率為3×10-4，因此本文實驗主要對比的學習率為5×10-5和3×10-4。使用“漸進式解凍”的策略訓練XLNet-Transformer模型的實驗結果如表7所示，粗體值表示最佳結果，#表示epoch數。

由實驗結果可以看出，XLNet-Transformer模型先設置學習率為5×10-5進行凍結編碼器訓練模型至收斂，BLEU分數可以達到11.64，再設置學習率為3×10-4進行解凍微調，卻發現BLEU分數為0.21，模型不收斂，說明需要梯度更新的參數太多而不適合太大的學習率。而將學習率對調，先設置學習率為3×10-4進行凍結編碼器訓練模型至收斂得到10.98的BLEU，再設置學習率為5×10-5進行解凍微調，XLNet-Transformer的BLEU達到了23.78，而直接采用3×10-4進行訓練模型不收斂，這體現了在不同訓練階段需要適合的學習率，證明了使用漸進式解凍方法的有效性。當凍結或者解凍學習率都設置為5×10-5時，在第59（27+32）個epoch達到了最優的24.26，比直接微調減少了11個epoch，BLEU還提升了0.34。這表明在模型的分階段訓練中，經過逐步解凍凍結層，本文方法的性能得到了更為充分的釋放，驗證了“漸進式解凍”方法的有效性。

3.8 漢-馬機器翻譯在不同規模語料上的翻譯質量對比

為了研究本文方法在不同數量的漢-馬數據集上的翻譯質量，本文從現有17.4 W訓練集中分別隨機地抽取8W、11W、14W條漢-馬數據集作為獨立的實驗數據集，對比實驗結果如圖6所示。其中驗證集和測試集均保持一致。

從圖6不難看出，相較于基線Transformer模型，隨著訓練集數量的減少，本文方法提升的幅度越明顯，翻譯質量越高。證明通過本文方法能夠更好地補充在少量數據場景下缺乏的特征表示，從而提升了漢-馬低資源神經機器翻譯的性能，驗證了本文模型在低資源場景下的漢-馬NMT任務中的有效性。

3.9 模型翻譯效果的案例分析

為了更直觀地比較各個模型的翻譯效果，本實驗選取一個漢語和馬來語的待翻譯語句和參考譯文作為案例分析的實驗樣本。各個模型的翻譯效果對比如表8所示。其中，相同顏色的標注代表句子的語義相近（參見電子版）。

通過表8的案例分析可以清晰地看到各個模型的翻譯效果。RNN-NMT出現了重復翻譯（如perlu、enaman等）和大部分的少翻譯問題，導致翻譯結果不準確；CNN-NMT出現了少翻譯的問題（如缺少“健康的生活方式”和“共同影響”等翻譯），未能準確傳達句子的完整含義；Transformer基線模型雖然能產生大致準確的翻譯，但在表達流暢性上存在問題（如未表達出對“情緒健康”的影響）；PhoBERT與本文方法的翻譯效果相似，但在流暢性和完整性方面略有不足；本文方法在案例中幾乎能夠準確、流暢地傳達句子的含義（如相比PhoBERT表達出了“健康”是“一種生活方式”），在整體翻譯的流暢和完整性上具備優勢，充分驗證了本文方法在漢-馬低資源神經機器翻譯場景下的可行性和有效性。

4 結束語

本文介紹了一種基于深度編碼注意力和“漸進式解凍”的XLNet-Transformer漢-馬神經機器翻譯方法，旨在解決漢-馬低資源翻譯任務中性能不佳的問題。通過重構Transformer編碼器和動態聚合XLNet編碼模塊，有效地整合了各編碼層的特征，增強了模型的表征能力。在解碼器方面，引入了并行交叉注意力模塊進一步提高了對上下文信息的關注，從而改善了翻譯結果的語義準確性。此外，還采用“漸進式解凍”優化訓練策略穩定了模型的訓練過程，優化了源句和目標句特征的整合。實驗結果表明，本文方法在漢-馬低資源翻譯任務中性能提升顯著，驗證了本文方法的有效性和創新性。

為了更好地應對低資源語言對的挑戰，在未來的工作中將從探索預訓練模型和無監督進行有效結合，從而更進一步提升漢-馬神經機器翻譯模型的性能，為漢-馬低資源神經機器翻譯領域的發展帶來更多的貢獻。

參考文獻：

［1］黃家裕， 劉連芳， 鄧姿嫻， 等. 東南亞語言及信息處理研究進展［J］. 廣西科學院學報， 2018， 34（1）： 27-31. （Huang Jiayu， Liu Lianfang， Deng Zixian， et al. Progress of studies on southeast Asian languages and information processing thereof［J］. Journal of Guangxi Academy of Sciences， 2018，34（1）： 27-31.）

［2］王銘玉. “一帶一路”建設與語言戰略構建［J］. 中國外語教育， 2017（1）： 3-7，99. （Wang Mingyu. “Belt and Road” construction and language strategy construction［J］. Foreign Language Education in China， 2017（1）： 3-7，99. ）

［3］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.

［4］Yang Zhilin， Dai Zihang， Yang Yiming， et al. XLNet： generalized autoregressive pretraining for language understanding［C］//Proc of the 33rd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2019： 5753-5763.

［5］Hujon A V， Singh T D， Amitab K. Transfer learning based neural machine translation of English-Khasi on low-resource settings［J］. Procedia Computer Science， 2023，218： 1-8.

［6］Xing Xiaolin， Hong Yu， Xu Minhan， et al. Taking actions separately： a bidirectionally-adaptive transfer learning method for low-resource neural machine translation［C］//Proc of the 29th International Conference on Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2022： 4481-4491.

［7］Li Zhaocong， Liu Xuebo， Wong D F， et al. ConsistTL： modeling consistency in transfer learning for low-resource neural machine translation［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2022： 8383-8394.

［8］Zhuang Yimeng， Tu Mei. Pretrained bidirectional distillation for machine translation［C］//Proc of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2023：1132-1145.

［9］Bahdanau D， Cho K H， Bengio Y. Neural machine translation by jointly learning to align and translate［EB/OL］. （2016-05-19）. https：//arxiv.org/pdf/1409.0473.pdf.

［10］Gehring J， Auli M， Grangier D， et al. Convolutional sequence to sequence learning［C］//Proc of the 34th International Conference on Machine Learning.［S.l.］： JMLR.org， 2017： 1243-1252.

［11］Chen Xi， Wu Linhui， Zhang Yuanhao. Enhancing use of BERT information in neural machine translation with masking-BERT attention［C］//Proc of the 3rd International Conference on Artificial Intel-ligence， Automation， and High-Performance Computing.［S.l.］： SPIE， 2023： 795-808.

［12］Liu H I， Chen Weilin. X-Transformer： a machine translation model enhanced by the self-attention mechanism［J］. Applied Sciences， 2022，12（9）： 4502.

［13］Devlin J， Chang Mingwei， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［EB/OL］. （2019-05-24）. https：//arxiv.org/pdf/1810.04805.pdf.

［14］Wang Dongsheng， Wang Shaoyong. SE-Former： incorporating sentence embeddings into Transformer for low-resource NMT［J］. Electronics Letters， 2023，59（11）： e12840.

［15］Guo Junliang， Zhang Zhirui， Xu Linli， et al. Adaptive adapters： an efficient way to incorporate BERT into neural machine translation［J］. IEEE/ACM Trans on Audio， Speech， and Language Proces-sing， 2021， 29： 1740-1751.

［16］Weng Rongxiang， Yu Heng， Huang Shujian， et al. Acquiring know-ledge from pre-trained model to neural machine translation［C］//Proc of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 9266-9273.

［17］Rothe S， Narayan S， Severyn A. Leveraging pre-trained checkpoints for sequence generation tasks［J］. Trans of the Association for Computational Linguistics， 2020， 8： 264-280.

［18］Radford A， Wu J， Child R， et al. Language models are unsupervised multitask learners［EB/OL］. （2019）.https：//cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf.

［19］Zhu Jinhua， Xia Yingce， Wu Lijun， et al. Incorporating BERT into neural machine translation［EB/OL］. （2020-02-17）. https：//arxiv.org/pdf/2002.06823.pdf.

［20］Vu V H， Nguyen Q P， Tunyan E V， et al. Improving the perfor-mance of Vietnamese-Korean neural machine translation with contextual embedding［J］. Applied Sciences， 2021，11（23）： 11119.

［21］Yan Rong， Li Jiang， Su Xiangdong， et al. Boosting the Transformer with the BERT supervision in low-resource machine translation［J］. Applied Sciences， 2022，12（14）： 7195.

［22］Imamura K， Sumita E. Recycling a pre-trained BERT encoder for neural machine translation［C］//Proc of the 3rd Workshop on Neural Generation and Translation. Stroudsburg， PA： Association for Computational Linguistics， 2019： 23-31.

［23］Shi Fan， Kai Shaofeng， Zheng Jinghua， et al. XLNet-based prediction model for CVSS metric values［J］. Applied Sciences， 2022，12（18）： 8983.

［24］Wang Chenglong， Zhang Fenglei. The performance of improved XLNet on text classification［C］//Proc of the 3rd International Confe-rence on Artificial Intelligence and Electromechanical Automation.［S.l.］： SPIE， 2022： 154-159.

［25］Zamani N A M， Liew J S Y， Yusof A M. XLNET-GRU sentiment regression model for cryptocurrency news in English and Malay［C］//Proc of the 4th Financial Narrative Processing Workshop. Stroudsburg， PA： Association for Computational Linguistics， 2022： 36-42.

［26］Mohtaj S， Mller S. On the importance of word embedding in automated harmful information detection［C］//Proc of the 25th International Conference on Text， Speech， and Dialogue. Berlin： Springer-Verlag， 2022： 251-262.