基于NMT的RS10-CLOUD工業(yè)軟件生產(chǎn)全過程的業(yè)務標簽同步翻譯

楊英櫻，喬運華，趙怡靜

（1.北京機械工業(yè)自動化研究所，北京 100120；2.北京機械工業(yè)自動化研究所有限公司，北京 100120）

0 引言

RS10-CLOUD快速開發(fā)平臺

RS10-CLOUD快速開發(fā)平臺（RS10-CLOUD DEVELOPMENT PLATFORM）隸屬于國家重大項目RS10-CLOUD云平臺，是一個基于微服務開發(fā)的、容器化的前后臺代碼快速開發(fā)系統(tǒng)，具有可持續(xù)集成、獨立服務部署、自帶授權(quán)頁面、獨立于業(yè)務邏輯等特點。

該平臺可以為用戶提供可視化的業(yè)務數(shù)據(jù)管理以及基于配置項的頁面數(shù)據(jù)綁定，為匹配業(yè)務系統(tǒng)通用模板的開發(fā)以及特殊業(yè)務的個性化定制開發(fā)提供了匹配的配置方式、并且可以根據(jù)配置信息自動生成可供開發(fā)的代碼。實現(xiàn)了業(yè)務系統(tǒng)低代碼的開發(fā)，減少大量重復性工作，為企業(yè)節(jié)約開發(fā)過程中的人力成本時間成本。

快速開發(fā)平臺的后臺工具首先通過服務器獲取前臺文件，后臺開發(fā)工具根據(jù)頁面配置調(diào)用自動生成代碼服務后封裝代碼java文件存儲上傳到服務器中。快速開發(fā)平臺流程圖如圖1所示：

圖1

RS10-CLOUD中的業(yè)務標簽維護

業(yè)務標簽主要是對于數(shù)據(jù)表下字段的中文名稱，在不同的子系統(tǒng)下業(yè)務標簽名是不同的。

在RS10-CLOUD快速開發(fā)平臺中的頁面業(yè)務標簽維護，實現(xiàn)了業(yè)務類數(shù)據(jù)標簽的統(tǒng)一規(guī)范管理、并且維護后的所有頁面可及時動態(tài)生效。本文訓練翻譯模型旨在該滿足模塊的多語言翻譯功能，滿足該平臺智能化、高效率的特點，不需要手動輸入進行維護翻譯，而是調(diào)用翻譯模型的接口進行自動翻譯，滿足不同語種的需求，更加國際化。

業(yè)務標簽維護的邏輯流程圖如圖2所示。

圖2

針對中英的翻譯訓練，本文將在下面詳細介紹幾種針基于NMT的對平行語料進行處理的訓練模型方法并且進行對比分析。

1 神經(jīng)機器翻譯NMT

神經(jīng)機器翻譯NMT是一種不同于統(tǒng)計機器翻譯的方法，它是神經(jīng)網(wǎng)絡利用端到端的建模方式進行翻譯的過程，具有捕獲長距離依賴關系的能力。隨著2017年Transformer橫空出世后，NMT（Neural Machine Translation）領域得到了飛速的發(fā)展，注意力機制在NMT中起著至關重要的作用，因為它表明解碼器應該關注哪些源詞，以便預測下一個目標詞。

NMT仍然很大的發(fā)展空間，為了使訓練的模型翻譯更加準確，本文研究了將先驗知識融合到NMT模型中，即給模型加入人為設計的先驗信息會讓模型學習到一些關鍵的特征，主要是針對一些新詞術語的約束。

基于詞匯約束的NMT研究大致可分為硬約束和軟約束兩大類。

1.1 基于硬詞匯約束的NMT

硬約束通過修改解碼算法來確保所有約束都出現(xiàn)在輸出端中。

Hokamp和Liu[2017]引入了一種算法，用于強制某些單詞出現(xiàn)在輸出中，稱為網(wǎng)格波束搜索（GBS）。該算法在beam search的基礎上，beam擴展到grid的形式，多了約束的維度，可以保證某個詞一定會出現(xiàn)在最終輸出序列中.但是因為它的解碼復雜度在約束數(shù)量上是線性的，這導致它的解碼速度非常慢且計算時復雜度高。因為大多數(shù)解碼器會在模型加載時為了優(yōu)化計算圖形會指定波束大小，那每個句子的波束大小發(fā)生變化還會使增加吞吐量的波束搜索優(yōu)化變得復雜。

Post和Vilar[2018]提出了一種新的算法動態(tài)波束分配(DBA)算法，他的算法復雜度是恒定的。通過約束訓練或解碼方法調(diào)整NMT中的詞匯約束，將假設按滿足約束數(shù)量分組成bank，并在每個時間步將一個固定大小的波束（beam）動態(tài)的分配到不同的bank，他不再將波束大小K乘以約束的數(shù)量C，這樣降低了計算復雜度，從而加快了GBS的速度。并且，該算法能夠容易地縮放并擴展到使用例如BPE等技術處理產(chǎn)生的大詞或短語約束集。

這些硬約束的共同點是，它們以完全相同的形式將詞匯約束復制到輸出中，因此不適合使用噪聲約束進行解碼。也就是說，如果使用一種形式作為解碼的硬約束，那么另一種形式就不會出現(xiàn)在句子的翻譯中，硬約束缺少了對于根元素多種形式形態(tài)自然語言現(xiàn)象的考慮。

1.2 基于軟詞匯約束的NMT

相比之下，軟約束并不確保所有約束都出現(xiàn)在翻譯后的輸出中。軟約束通過修改NMT模型或者訓練過程來實現(xiàn)對于詞匯約束的翻譯。

Song等人（2019）根據(jù)雙語詞典，用目標術語約束替換成對應的源術語，通過混合初始的平行語料庫和合成的平行語料庫來增加NMT的訓練數(shù)據(jù)集。同時，Dinu等人(2019)提出了類似的方法，將字典中對應的目標術語替換源術語或追加到源術語后，即使用ETA（exact target annotations）來修改源術語進而準備訓練數(shù)據(jù)集。他們的方法都是只能做到有限的復制，在目標語言與源語言語態(tài)形式等復雜的情況下表現(xiàn)得并不好。并且這兩種方法都是使用雙語詞典構(gòu)建訓練數(shù)據(jù)，因此其翻譯性能在很大程度上取決于雙語詞典的質(zhì)量。此外，當術語約束沒有出現(xiàn)在雙語詞典中或?qū)脑凑Z言單詞不連續(xù)時，推理模型就會失效。

在此基礎上，Bergmanis and Pinnis (2021)做了一些修改。他們不使用ETA（exact target annotations）的目標術語來代替源術語，而是用TLA（target language lemmas）來約束源術語，這樣這些數(shù)據(jù)訓練的模型不會像Song等人（2019）和Dinu等人（2019）那樣簡單機械地學習復制詞匯的樣子，而是學習復制變化的行為過程，從而解決軟術語約束的需求和單詞輸出和上下文不一致的問題。Jon and Paulo Aires等人（2021）也做了類似的工作，他們并沒有像Bergmanis and Pinnis(2021)那樣進行源語言和目標語言的詞對齊以及標注動詞和名詞，而是直接將進行詞性還原的目標詞連接到源語言的后面，通過這種方式，不但簡化了訓練數(shù)據(jù)的準備工作，并且根據(jù)他們得到的實驗結(jié)果這樣做對訓練結(jié)果性能造成的影響微乎其微。

2 實驗

為了保證訓練效果可以包容更多復雜的詞匯形式，以及實驗的可行性考慮，本文采用Jon and Paulo Aires等人（2021）的方法來進行模型訓練。

在Bergmanis和Pinnis(2021)以及Jon and Paulo Aires等人（2021）的實驗中，為了減少對雙語詞典的依賴，他們都進行了隨機提取子序列的實驗。他們的隨機選擇策略不同，但本文經(jīng)過大量的實驗數(shù)據(jù)計算，目標詞被選中的概率趨于0.5左右。實驗過程中我認為這樣每個單詞被選中的概率有點大，所以本文改變了一下策略，在下文中會詳細介紹，本策略經(jīng)過大數(shù)據(jù)計算后每個詞被選中的概率為0.36。

2.1 實驗預處理

1）配置相關環(huán)境，下載相關數(shù)據(jù)：

下載雙語詞典；下載wiktionary詞典新詞術語庫和iate詞典新詞術語庫。

下載平行語料；從CSDN找的對齊的200w條英語和中文的平行語料庫，一部分作為訓練集，一部分作為測試集。其中80%作為訓練集數(shù)據(jù)，20%作為測試集的數(shù)據(jù)。

配置環(huán)境和參數(shù)；根據(jù)openNMT模型的官方文檔，修改toy_en_de.yaml配置文件。

2）對平行語料源語言和目標語言進行數(shù)據(jù)預處理，主要包括：

過濾處理；用正則表達式對下載的平行語料過濾，提取出干凈的語料內(nèi)容，去掉多余的空格以及一些特殊符號，如：$%^*等。

分詞處理；用正則表達式對英文中的標點符號進行分詞處理，即將標點符號單獨作為一個token處理。對中文采用jieba分詞對中文進行處理。這樣做是為了增加模型的魯棒性，因為現(xiàn)實中輸入的平行語料是含有標點符號的。

篩選處理；通過第二步的分詞處理后可以篩選出token大于10小于40的句子，這樣可以獲得比較干凈的平行語料，也能保證訓練的效果更好。

2.2 模型訓練

本文采用的是OpenNMT框架進行訓練，OpenNMT框架是一個開源的Torch神經(jīng)網(wǎng)絡機器翻譯系統(tǒng)，它的底層是Tensorflow。用到的是損失函數(shù)是Cross Entropy Loss，使用softmax函數(shù)將網(wǎng)絡的輸出轉(zhuǎn)化為概率值，即將輸出的結(jié)果進行處理，使其多個分類的預測值和為1，再通過交叉熵來計算損失。

本實驗訓練了三個翻譯模型：

模型一（Baseline）：沒有添加任何約束處理，直接用預處理后的平行語料進行訓練的模型，此模型作為基準模型。

模型二（Dictionary）：依賴雙語字典進行約束的翻譯模型。根據(jù)雙語字典匹配同時在源語言和目標語言都出現(xiàn)的token，如果匹配成功，則將對目標語言中的token用python中的spacy庫進行詞性還原，這與Jon and Paulo Aires等人（2021）中的方法略有不同，他們是先對平行語料和雙語字典進行還原，然后再去匹配。匹配和還原的部分完成后，則將選中的術語約束詞與源語言對應句子進行連接，連接規(guī)則如下：如果作為該句的第一個約束則用＜sep>進行連接，如果不是第一個約束則用＜c>進行連接。將連接處理后的句子作為源語言與目標語言形成平行語料，最后通過OpenNMT進行訓練。

模型三（Random）：隨機選取目標語言中的token作為約束，隨機選擇的策略如下：將第一個token被選中的概率設為0.2，后續(xù)的token依賴于上一個token是否被選中，如果沒被選中則后續(xù)token被選中的概率為0.56。將隨機選中的token進行詞性還原，并與源語言對應的句子進行連接。連接規(guī)則同模型二：即如果作為該句的第一個約束則用＜sep>進行連接，如果不是第一個約束則用＜c>進行連接。第三個模型和第二個模型的主要區(qū)別在于選取約束不同，選取約束后的處理方式是相同的。最后將處理完的源語言和目標語言合成平行語料，通過OpenNMT進行訓練得到第三個模型。

2.3 實驗結(jié)果

通過moses對BLEU值進行打分。BLEU 是IBM在2002年提出的機器翻譯評價指標，它的總體思想是比較候選譯文和參考譯文里的n-gram（其中n-gram指的是連續(xù)的單詞個數(shù)為n）重合程度，重合程度越高就認為譯文質(zhì)量越高。選不同長度的n-gram是因為，BLEU-1的準確率可以用于衡量單詞翻譯的準確性，更高階的n-gram的準確率可以用來衡量句子的流暢性。

訓練出的翻譯模型結(jié)果如下圖所示：

從實驗結(jié)果來看，依賴雙語詞典訓練的翻譯模型效果更好，在Jon and Paulo Aires等人（2021）的論文中也可以看出來，在newstest-2020的測試集中，無論測試集是否受到約束，是否進行了詞性還原，依賴雙語字典進行約束和隨機選擇子序列進行約束的訓練模型的BLEU值都優(yōu)于基準模型。這與本文的實驗結(jié)果一致。但是隨機選取術語的表現(xiàn)不夠好，可能與隨機選取token的策略有關。并且與不同語系之間的翻譯語法也有關系，他們是對英語（印歐語系）與捷克語（印歐語系）進行的翻譯訓練，而本文是對中文（屬于漢藏語系）到英文（印歐語系）進行訓練。

3 結(jié)語

本次實驗訓練出了中文到英文的翻譯模型，解決了RS10-CLOUD平臺模塊優(yōu)化的問題，即實現(xiàn)工業(yè)管理軟件生產(chǎn)全過程的中業(yè)務標簽同步自動翻譯，有利于自主掌握研發(fā)數(shù)據(jù)減少外資企業(yè)注入，為工業(yè)產(chǎn)業(yè)的生產(chǎn)管理成本提供考量。

從實驗數(shù)據(jù)結(jié)果進行分析來看效果不夠理想，尤其是針對產(chǎn)線專用、攜帶規(guī)格型號的物料翻譯效果有待提升。其原因可能為本次試驗中下載的平行語料非工業(yè)專用術語，現(xiàn)今工業(yè)領域的平行語料非常珍貴很難從網(wǎng)上下載到，后續(xù)會在研究過程中，參與到實際的工業(yè)軟件項目開發(fā)及測試生產(chǎn)過程中，以期用工業(yè)專用語料集獲得更收斂的結(jié)果，這樣訓練模型會更加完善，并且給出最終模型訓練效果，以便更好地應用到RS10-CLOUD 快速開發(fā)平臺業(yè)務標簽管理的支持多語言翻譯功能中。