基于移動端的神經網絡漢英翻譯模型

成 潔

(陜西國際商貿學院 基礎課部, 西安 712046)

0 引言

深度學習在自然語言處理的各個領域都得到了成功的應用，基于強化學習的神經網絡機器翻譯的研究也得到了迅速的發展[1-4]。近年來，基于神經網絡的機器翻譯與統計機器翻譯相比已經取得了很大的成就，因此研究者不斷地、逐步地改變方法，以利用神經網絡來改進機器翻譯[5-8]。盡管機器翻譯有很多方法和技術，但也存在一個問題。不同的機器翻譯方法或技術不能完整、準確地描述同一源語句子的翻譯信息，而源語句子中的表達必然會產生錯誤[9-12]。復述可以糾正和補充機器翻譯結果，以盡可能地彌補上述問題的錯誤，從而可以用源語言更全面地描述翻譯結果。針對以上問題，系統融合也提出了解決方案。對于不同的系統，系統融合將不同機器翻譯方法的輸出結果融合在一起，以生成輸出結果，由于其改進，該結果優于原始機器翻譯。

本文運用目前的主要機器翻譯方法來建立釋義模型，以完成提高漢英機器翻譯的任務。然后，它使用系統融合技術融合翻譯，以進一步提高翻譯質量。然后，在翻譯和釋義的基礎上，利用網絡和移動設備設計和開發漢英翻譯模型，并在神經機器翻譯和釋義漢英移動翻譯系統的基礎上初步完成了開發工作。

1 神經機器翻譯方法

1.1 基于遞歸神經網絡的翻譯模型

遞歸神經網絡(RNN)是神經網絡機器翻譯中最為廣泛的結構，而其它方法在編碼時只改變RNN的內部隱藏結構或固定向量計算[13-15]。與一般的前饋神經網絡FNN不同，RNN在其基礎上引入了循環機制[16-18]。這樣，RNN可以處理前后不相關的輸入，但它不像以前的神經網絡那樣需要一次性完成輸入特性。

圖1 RNN模型架構

圖1描述了RNN的展開架構。x和o分別表示輸入和輸出；h表示隱藏層；t表示時間；U表示參數從輸入層到隱藏層；V表示參數從隱藏層到輸出層；W表示隱藏層之間的遞歸參數。對于某一時刻的t，其輸出應考慮當前輸入xt和由某一狀態St-1發送的值。

對于xt。它是在整個網絡的時間t處輸入的字向量。對于st，它是時間t的狀態，也是網絡的存儲單元。它包含時間t之前的所有狀態，計算如下：

st=f(Uxt+Wst-1)

(1)

在公式(1)中，f是非線性激活函數。

對于ot它是在時間t時的輸出，通過公式(2)可以得到計算結果。

ot=softmax(Vst

(2)

1.2 編解碼模型

圖2 基于編碼解碼器的神經機器翻譯系統

基于神經網絡的機器翻譯系統的典型模型是編碼-解碼。其基本思想是：將給定的源語言句子映射成連續的密集向量。解碼是指它根據這個向量轉換成目標語言句子。一個編碼-解碼：基于結構的神經機器翻譯系統(NMT)如圖2所示。編碼和解碼通常使用RNN實現。由于普通RNN具有梯度消失和梯度爆炸的特性[19-21]，因此通常采用長短期記憶網絡(LSTM)。

1.2.1 LSTM的原理

長短期記憶網絡(LSTM)是遞歸神經網絡種的一種特殊網絡，這種網絡可以對長期依賴關系進行學習和獲取。Hochreiter等人提出了該網絡，并在接下來的數十年里，許多學者對該網絡模型進行了完善和改進。LSTM及相關變種網絡的被設計出來的目的是為了避免長期依賴及相關的問題。對于LSTM來說，記住長期信息是其本身的自發默認行為，是不需要通過大量學習就能夠實現的。

所有普通的循環神經網絡種，都有重復模塊，這些模塊以鏈式存在。在標準的RNN中，重復模塊非常簡單，例如只有一個 tanh層，如圖3所示。

圖3 標準RNN的重復模塊包含一個單層網絡

基于以上背景可知，在LSTM及相關變種網絡中，同樣存在這樣的鏈狀結構，但是與普通RNN中的區別在于，LSTM中的重復模塊的結構是不一樣的，具體如圖4所示。在LSTM中，原來的單層網絡被一個四層網絡所代替，并且他們之間的交互方式也十分特別。

圖4 LSTM網絡的重復模塊包含一個四層的交互網絡

cell狀態是LSTM及相關變種網絡的關鍵，圖5表示了一個橫穿整個cell頂端的水平線。

圖5 水平線橫穿cell示意圖

在長短期記憶網絡中中，cell狀態類似于傳送帶。為了保證承載的信息在傳送過程中保持不變，以及方便傳輸，cell狀態是直接穿過鏈，并且只在少數地方進行一些較小的線性交互。

在LSTM中，為了能夠改變cell狀態，如對信息的添加或刪除，所以引入一種叫做“門”的結構來對其進行操作。在這里，一個sigmoid神經網絡層和一個位乘操作組成了門，如圖6所示。門在LSTM中的作用是控制信息，有選擇的讓信息通過。

圖6 門結構示意圖

sigmoid層輸出數值是0或者1，這兩個值代表對應的信息是否允許通過。當數值為0時，當前不允許信息通過，而當數值為1時，則表示當前所有信息都能夠通過。一個LSTM中門有3個，從而實現對cell狀態的保護和控制。下面將具體介紹這3個門。

第一個門：首先在LSTM中需要決定哪些信息要從cell狀態中被拋棄。這個選擇是由一個被稱為“遺忘門”的sigmoid層控制。這個門的輸入是ht-1和xt，輸出為0或者1。1代表保留這個信息，0代表這個信息需要被拋棄。

第三個門：接著，在LSTM中，是需要對最終輸出做出決定。當前的cell狀態會影響輸出結果，但是為了使結果更加準確，將會對結果進行過濾。首先，建立一個輸出門，這個門是基于sigmoid神經網絡層，這個門的作用是用來決定哪一部分的cell狀態是可以輸出。然后，將cell狀態通過tanh函數后，乘以輸出門。最終就輸出了只允許被輸出的部分。

1.3 基于神經網絡的釋義模型

1) 擴展語料庫信息。釋義技術彌補了訓練集、開發集和測試集中句子信息的缺陷。

2) 改變句子表達。復述技術對機器翻譯的輸入句子進行復述，使翻譯系統能夠更好地理解或復述輸出的翻譯文本，使翻譯句子更符合目的語的語言習慣。

通過不同的釋義語料庫和不同的神經網絡建立不同的釋義模型，并通過第二種方法對機器翻譯結果進行復述，以提高機器翻譯的結果質量。釋義模型的生成需要幾個步驟來完成：

1)得到神經網絡翻譯模型；

2)得到釋義語料庫；

3)訓練并得到釋義模型。

2 基于釋義的機器翻譯融合模型

2.1 RNN編解碼器的改進分析

在改進方法的基礎上，引入了譯碼器中的對齊模型，使該模型能夠同時學習對齊和平移。與傳統的RNN編解碼器最大的區別是改進后的模型不將整個輸入序列變換成固定長度的中間矢量表達式，而是通過應用雙邊遞歸神經網絡將輸入序列變換成具有相同輸入長度的隱單元表達式。在此基礎上，解碼器可以在解碼過程中選擇一個或多個隱藏表達式進行對齊和翻譯。該模型在處理長句子時具有較好的處理能力。

2.1.1 編碼器：雙向RNN表達式輸入序列

科學家們推測，在38億年前，火星的大氣層比現在要更濃密，溫度也比現在更高，能夠允許大量的液態水存在于火星表面，甚至還形成了海洋。在火星表面，能夠找到不少可能由水的流動而形成的地貌特征。然而，在現今的火星上，除了零星出現的液態水特征外，很難見到像南北極冰蓋這樣大規模的液態水分布。

對于給定的輸入序列x=(x1,…，xT)，傳統的遞歸神經網絡模型將根據該序列從第一個序列到最后一個序列的順序依次輸入該模型，最終將整個序列轉化為一個中間向量表達式。為了使每個字的隱藏層都能在這個序列中攜帶其前、后信息，該模型采用雙向RNN模型來代替傳統的RNN模型。

這樣，隱藏的分層狀態表達式就包含了整個輸入序列的信息。RNN模型的隱層表達趨向于更大程度上的表達和該詞附近的信息。因此，隱藏的分層向量hj對于每個詞的信息主要集中在該詞附近的上下文信息上，每個詞都可以以給定詞的上下文信息為中心來表達。在此基礎上，解碼器引入對齊模型，對輸出序列進行更合理、更準確的解碼

2.1.2 解碼器：訓練對齊模型

在該模型中，重新定義了以下方程：

p(yi|y1,y2,...,yi-1,x)=g(yi-1,si,c)

(3)

其中:si是時間i時的隱藏層狀態，并且隱藏層狀態的計算可以通過式(4)得到：

si=f(si-1,yi-1,ci)

(4)

其中:ci可以由輸入序列的隱藏狀態向量表示。這種隱層狀態向量的實現依賴于上下文中雙向遞歸神經網絡模型表達式的輸入序列。這種隱層矢量計算是通過對每個輸入序列的隱層狀態進行矢量加權和來實現的。

(5)

每個向量hj的權重aij可以通過式(6)計算得到：

(6)

其中:eij是一個對準模型，用于估計對準概率，具體可以通過式(7)計算得出:

eij=a(si-1,hj

(7)

基于隱層狀態向量si-1和jth雙向遞歸神經網絡，獲得了這種對準概率。

2.2 對準模型

通過上下文中可以看出，在Tx×Ty的每一個時間段中，雙語句子都將與輸入模型保持一致。在模型訓練和解碼過程中，需要進行大量的運算。因此，為了降低計算復雜度，所以將使用感知器來完成這樣的功能。具體如式(8)所示:

(8)

2.3 釋義生成

在復述任務中，把復述語言的輸入和輸出作為不同的語義表達。與翻譯任務不同，釋義任務的輸入和輸出屬于同一種語言。基于這一思想，所以利用該模型對同一語言的復述系統進行訓練，并以機器翻譯結果為輸入，生成句子規模的復述結果，使每個句子語義一致。由于在同一語言中很難獲得大規模的平行釋義語料庫，因此采用機器翻譯文本和參考翻譯文本的平行語料庫來近似釋義語料庫。在系統融合任務中，更多希望得到的是機器翻譯結果的復述句，因此與機器翻譯文本和參考文本相比，并行復述語料庫在一定程度上具有更大的優勢。同時，在一定程度上提高了機器翻譯質量的效果。

當得到釋義語料庫時，釋義模型的生成相對簡單。釋義模型的生成過程與翻譯模型的訓練過程相似。在已有RNN網絡和CNN網絡的基礎上，利用釋義語料庫分別訓練模型，從機器翻譯文本和參考翻譯文本中獲得釋義模型。模型實現后，將機器翻譯結果輸入到“復述系統”中進行翻譯，從而為輸入的句子生成理想的句子級復述結果。

3 基于移動系統的模型應用與測試

3.1 系統設計與翻譯過程

本文的軟件設計框架采用MVC(model view controller)軟件構建模式[22]。MVC三層架構通過業務邏輯、數據和界面顯示的分離，促進系統組織代碼，減少耦合，提高可重用性。系統生命周期成本低，可維護性高。內容提供者主要用于管理共享數據，實現不同應用程序之間的數據共享。

圖7 系統工作流程

通過內容提供者提供的完整性機制，可以實現一個程序對另一個程序的數據訪問。如果內容提供商允許，它甚至可以更正數據。目前，Android提供的標準跨程序數據共享正在使用內容提供商。移動翻譯軟件系統的整體流程圖如圖7所示，在該系統中，移動終端視圖層用來告訴用戶輸入和收集源語言語句。控制器用于將句子傳輸到服務器。

當系統接收到需要翻譯的源句后，系統將該句子輸入到模型中，通過控制器，將源句傳輸到遠端服務器，然后服務器通過利用前文所提的基于遞歸神經網絡的翻譯模型對句子進行翻譯，然后根據基于釋義的機器翻譯融合模型對釋義進行優化，增加譯后句子的可讀性。然后遠端服務器將處理后的句子再次通過控制器傳輸回移動端，最后在移動端展示出結果。

3.2 系統展示

該軟件的主要功能是將英語翻譯成漢語。當軟件打開時，圖8中的初始界面將顯示在手機上。可以看到在打開軟件后，有一個友好的界面建議。

圖8 軟件初始界面

輸入要翻譯的句子時，單擊相應的按鈕翻譯該單詞或句子。點擊翻譯后，輸入的英文將被傳送到服務器進行翻譯。翻譯和釋義后，翻譯結果將顯示在圖9的界面中，供用戶檢查。

圖9 翻譯結果示意圖

3.3 性能評估

為了更好地評估所提出的翻譯模型的性能，本實驗基于NIST進行英文翻譯任務，使用的語料測試集為NIST05,NIST06,NIST08。開發集才用的是NIST02[8]。

接下來通過BLEU算法評價性能[23-24]。BLEU算法的計算公式為：

(9)

表1列出了在基線系統中的方法和轉換的結果。

表1 翻譯結果的對比

表1給列出了相應的實驗結果，ALL表示將所有的測試集放在一起，從表中結果可以發現，對于NIST08測試集，基線系統的BLEU值為30.07，是所有結果中最低的。相應的，提出的模型，在NIST08測試集上的BLEU值有所提高，為31.02，但同樣為所有測試集中的最低的，但結果提高了1.02。在3個測試集中，NIST05的結果最好，分別為35.98和37.33。從表中可知，使用釋義糾正短語概率的方法在一定程度上得到了改進。對于所有的測試集結果，基線系統的BLEU值為35.12，提出的模型的BLEU值為36.83，提高了1.71BLEU。結果表明，修正后的短語翻譯概率在一定程度上解決了訓練語料數據的稀疏性，修正后的短語翻譯概率更加準確合理。然而，通過短語向量提取的短語復述過程中存在一定的噪聲，因此機器翻譯中的振幅改善并不大，不需要進一步改進。

4 結束語

本文提出了一種面向移動終端的釋義機翻譯系統融合。該方法利用RNN編解碼模型生成語義一致性的句子級釋義。我們把釋義作為同一種語言之間的翻譯任務。在沒有大規模并行釋義語料庫的情況下，利用機器翻譯結果和源語言的參考翻譯文本來逼近并行釋義語料庫。利用該模型可以訓練一個從機器翻譯結果到參考翻譯文本的釋義系統，并生成語義連貫的句子級釋義結果。然后，將釋義結果引入系統融合的翻譯假設候選集。從實驗結果來看，該方法的改進比基于詞尺度的短語尺度釋義的系統融合結果要大，因此我們的機器翻譯系統融合具有更大的潛力。