無監(jiān)督神經(jīng)機器翻譯綜述

孫海鵬　趙鐵軍

摘 要：神經(jīng)機器翻譯模型的學(xué)習(xí)往往依賴于大規(guī)模的平行語料，然而并不是所有語言對都有充足的平行語料。為了解決神經(jīng)機器翻譯中平行語料缺失的問題，研究人員提出了無監(jiān)督神經(jīng)機器翻譯，通過無監(jiān)督預(yù)訓(xùn)練策略、去噪自編碼器、反向翻譯和共享潛在表示機制僅依賴于單語語料對翻譯任務(wù)進行建模。本文從模型主要機制、訓(xùn)練過程出發(fā)來分析無監(jiān)督神經(jīng)機器翻譯，并介紹無監(jiān)督神經(jīng)機器翻譯現(xiàn)階段的發(fā)展以及存在的挑戰(zhàn)。

關(guān)鍵詞：無監(jiān)督神經(jīng)機器翻譯;去噪自編碼器;反向翻譯

【Abstract】Thetrainingofneuralmachinetranslationoftenreliesonlarge-scaleparallelcorpora，butnotalllanguagepairshavesufficientparallelcorpora.Inordertoalleviatetheproblemofthelackofparallelcorporainneuralmachinetranslation，unsupervisedneuralmachinetranslationisproposedtomodeltranslationrelyingsolelyonmonolingualcorporawiththehelpofacombinationofdiversemechanismssuchasunsupervisedpre-trainingstrategy，denoisingauto-encoder，back-translation，andsharedlatentrepresentation.Thispaperanalyzesunsupervisedneuralmachinetranslationfromtheperspectiveofmodelmechanismandtrainingprocess，andintroducestheadvancesandchallengesofunsupervisedneuralmachinetranslationatthepresentstage.

【Keywords】unsupervisedneuralmachinetranslation;denoisingauto-encoder;back-translation

作者簡介：孫海鵬（1990-），男，博士研究生，主要研究方向：自然語言處理、機器翻譯;趙鐵軍（1962-），男，博士，教授，博士生導(dǎo)師，主要研究方向：自然語言處理、機器翻譯、機器學(xué)習(xí)與人工智能。

0 引 言

自注意力機制和transformer[1]模型的提出顯著提升了神經(jīng)機器翻譯模型的性能，但是神經(jīng)機器翻譯模型訓(xùn)練需要大量的平行語料，而實際上大多數(shù)語言對的平行語料并不充足，甚至一些稀缺語言對只有少量的平行語料。通常構(gòu)建平行語料庫的成本很高，而平行語料的缺失往往會導(dǎo)致神經(jīng)機器翻譯模型性能的急速下降[2]，為了緩解平行語料缺失對神經(jīng)機器翻譯模型性能產(chǎn)生的消極影響，研究者們開始嘗試僅使用單語語料來訓(xùn)練無監(jiān)督神經(jīng)機器翻譯模型[3-4]。相較于平行語料，單語語料更容易挖掘與獲取。許多只有有限平行數(shù)據(jù)的語言仍然擁有大量的單語數(shù)據(jù)。無監(jiān)督雙語詞嵌入[4-5]的出現(xiàn)也使得神經(jīng)機器翻譯模型在無監(jiān)督模式下進行成為了可能，利用去噪自編碼器[6]和反向翻譯[7]訓(xùn)練在不使用平行語料的前提下完成了雙語間的翻譯建模。

本文的框架如下：首先介紹無監(jiān)督神經(jīng)機器翻譯的模型主要機制及訓(xùn)練過程，然后詳述無監(jiān)督神經(jīng)機器翻譯的發(fā)展過程，再給出現(xiàn)階段無監(jiān)督神經(jīng)機器翻譯存在的挑戰(zhàn)，最后是論文研究結(jié)論。

1 無監(jiān)督神經(jīng)機器翻譯的主要機制

1.1 無監(jiān)督預(yù)訓(xùn)練方法

與有監(jiān)督神經(jīng)機器翻譯模型[1，8]相比，無監(jiān)督神經(jīng)機器翻譯模型在訓(xùn)練過程中并不存在監(jiān)督的雙語信號。因此，在無監(jiān)督神經(jīng)機器翻譯模型訓(xùn)練開始前，需要通過無監(jiān)督預(yù)訓(xùn)練模型對無監(jiān)督神經(jīng)機器翻譯模型進行初始化提供樸素的雙語信號。

最初，無監(jiān)督雙語詞嵌入被用來對無監(jiān)督神經(jīng)機器翻譯模型編碼器和解碼器的詞嵌入層進行初始化。無監(jiān)督雙語詞嵌入[4-5]可以從2個非平行的單語語料庫中學(xué)習(xí)了詞對翻譯。通過雙語詞嵌入初始化后，編碼器就得到了語言獨立的詞級表示，且只需要學(xué)習(xí)如何將其組合起來以構(gòu)建更大的短語表示。無監(jiān)督雙語詞嵌入提供樸素的翻譯知識，使反向翻譯可以產(chǎn)生偽監(jiān)督雙語信號[3-4]。

隨著預(yù)訓(xùn)練語言模型的廣泛研究，預(yù)訓(xùn)練語言模型[9]也被用來初始化無監(jiān)督神經(jīng)機器翻譯模型的編碼器和解碼器。通過語言模型訓(xùn)練來建立一個跨語言編碼器，該編碼器將2個單語句子編碼到共享的潛在空間中。與無監(jiān)督雙語詞嵌入相比，預(yù)訓(xùn)練語言模型可以為無監(jiān)督神經(jīng)機器翻譯模型提供更多的跨語言信息。

1.2 去噪自編碼器

由于無監(jiān)督神經(jīng)機器翻譯模型的對偶結(jié)構(gòu)，可以直接通過重建其自身的輸入進行訓(xùn)練。具體來說，將指定語言的輸入句子進行編碼，再用該語言的解碼器重新構(gòu)造原始的句子，來對無監(jiān)督神經(jīng)機器翻譯模型進行優(yōu)化。如果不添加一些約束條件，普通的自編碼器很難學(xué)習(xí)到有用的知識，將變成一個復(fù)制任務(wù)，只學(xué)習(xí)到對輸入單詞的一對一復(fù)制[3-4]。為了改進這一問題不足，引入了去噪自編碼器策略[6]，并在輸入語句中增加了噪聲，以提高模型學(xué)習(xí)能力[10-11]。研究中，即選擇了2種不同類型噪聲加入到輸入語句中[4]。在輸入語句中的任意單詞以概率被刪除，概率越大，輸入語句中被刪除的單詞越多。第二類噪聲是對輸入語句的語序進行輕微調(diào)整。通過這種去噪自編碼器策略，無監(jiān)督神經(jīng)機器翻譯系統(tǒng)需要了解所涉及語言的內(nèi)部結(jié)構(gòu)，以便能夠恢復(fù)正確的詞序。同時，通過阻止無監(jiān)督神經(jīng)機器翻譯系統(tǒng)過多地依賴輸入語句的詞序，語言之間的實際語序差異可以更好地被解釋。

1.3 反向翻譯

去噪自編碼器作為一個語言模型，在同一種語言中進行訓(xùn)練，并沒有考慮在2種語言之間翻譯的最終目標。因此將引入反向翻譯[7]來訓(xùn)練這個僅使用單語語料的無監(jiān)督翻譯系統(tǒng)。反向翻譯可以將這個無監(jiān)督問題轉(zhuǎn)換成為有監(jiān)督的學(xué)習(xí)任務(wù)，盡管是帶有噪聲的源端語句。在給定一種語言L1的輸入語句的情況下，推理模式使用L1編碼器進行編碼，用L2解碼器進行解碼，同時又使用了貪心解碼來將其轉(zhuǎn)換為另一種語言的譯文。通過這種方法，即獲取了偽平行句對，并將其用來訓(xùn)練無監(jiān)督神經(jīng)機器翻譯系統(tǒng)，再從這個帶有噪聲的合成翻譯中預(yù)測出原有語句。標準的反向翻譯是使用一個獨立的模型一次性反向翻譯整個語料庫，與標準的反向翻譯不同，由于無監(jiān)督神經(jīng)機器翻譯系統(tǒng)的對偶結(jié)構(gòu)，在無監(jiān)督神經(jīng)機器翻譯模型訓(xùn)練過程中，正在訓(xùn)練無監(jiān)督神經(jīng)機器翻譯模型將會用于實時反向翻譯每一個batch的語句。這樣，隨著訓(xùn)練的進行和模型的改進，通過反向翻譯會產(chǎn)生更好的偽平行句對，必將有助于在接下來的迭代中進一步改進模型。

2 無監(jiān)督神經(jīng)機器翻譯的優(yōu)化方法

2.1 模型參數(shù)共享

Artetxe等人[3]和Lample等人[4]使用去噪自編碼器和反向翻譯在沒有平行語料的情況下進行無監(jiān)督神經(jīng)機器翻譯訓(xùn)練，與Artetxe等人[3]僅采用共享編碼器方法不同的是，Lample等人[4]不僅采用共享編碼器，也將共享解碼器，只是針對不同語言會使用不同的詞嵌入層。Yang等人[12]認為共享編碼器對于將不同語言的句子映射到共享的潛在空間至關(guān)重要，但卻并不能很好地保持每種語言的獨特性和內(nèi)部特征。由于每種語言都有自己的特性，源語言和目標語言應(yīng)獨立編碼和學(xué)習(xí)，共享編碼器會是限制無監(jiān)督神經(jīng)機器翻譯性能的一個因素。為了解決這個問題，Yang等人[12]利用2個獨立的編碼器來代替原有的共享編碼器，每個編碼器對應(yīng)一種語言，也同樣會用到2個獨立的解碼器。為了在訓(xùn)練過程中更好地將不同語言的潛在表示映射到共享潛在空間，可利用權(quán)重共享來約束現(xiàn)有的無監(jiān)督神經(jīng)機器翻譯模型?？偟貋碚f，負責(zé)抽取輸入句子的高級表示的2個編碼器的末端多層的權(quán)重以及2個解碼器的前端多層的權(quán)重將被共享。稍后的大部分無監(jiān)督翻譯工作也都是基于這三種參數(shù)共享框架開展的。

2.2 模型機制優(yōu)化

通常，無監(jiān)督神經(jīng)機器翻譯模型主要包括無監(jiān)督預(yù)訓(xùn)練模型、去噪自編碼器、反向翻譯和共享潛在表示四個機制，很多工作通過優(yōu)化這4個機制來提升無監(jiān)督神經(jīng)機器翻譯的性能。

與先前研究工作[3-4，12]使用雙語詞嵌入作為翻譯模型的初始化不同，Lample等人[13]提出了一種更適合相似語言對的初始化方法，并沒有學(xué)習(xí)源語言和目標語言之間的顯式映射，而是將2個單語語料庫合并成一個語料庫，對其進行BPE[14]操作后，在這個語料庫上學(xué)習(xí)token級的詞嵌入[15]，這個詞嵌入將用來初始化翻譯模型中編碼器和解碼器的詞嵌入層。然而，這種初始化方法并不適用于一些不相似語言對。

隨著預(yù)訓(xùn)練語言模型被廣泛研究，Conneau等人[9]，Song等人[16]和Ren等人[17]使用跨語言掩碼語言模型預(yù)訓(xùn)練方法代替原有的詞嵌入預(yù)訓(xùn)練方法對翻譯模型中的所有參數(shù)進行初始化，大幅度提升無監(jiān)督神經(jīng)機器翻譯模型性能。與詞嵌入預(yù)訓(xùn)練方法相比，語言模型預(yù)訓(xùn)練方法可以為無監(jiān)督神經(jīng)機器翻譯模型提供更多的跨語言信息。Sun等人[18-19]提出跨語言一致性方法來進一步提升翻譯性能。

Kim等人[20]并沒有使用反向翻譯進行模型訓(xùn)練，提出一種基于雙語詞嵌入單詞翻譯的方法，來提升模型的訓(xùn)練速度。與此同時，Wu等人[21]也認為由于生成的偽平行句對通常質(zhì)量不高，翻譯誤差容易積累，為此，Wu等人[21]從可比的單語語料庫中抽取真實的平行語句來訓(xùn)練翻譯模型。

2.3 語言對選擇

無監(jiān)督神經(jīng)機器翻譯研究工作通常是在法英、德英等相似語言對上來對系統(tǒng)的有效性進行驗證。后來一些研究者也在不相似語言對和多語言方面開展無監(jiān)督神經(jīng)機器翻譯研究。Leng等人[22]通過引入中軸語翻譯來解決無監(jiān)督神經(jīng)機器翻譯在不相似語言對中性能低的問題。Xu等人[23]提出多邊形網(wǎng)絡(luò)（Polygon-Net）框架，利用額外的輔助語言聯(lián)合學(xué)習(xí)增強無監(jiān)督神經(jīng)機器翻譯模型的性能。Sen等人[24]通過一個共享編碼器和多個特定語言的解碼器來聯(lián)合訓(xùn)練多語言無監(jiān)督神經(jīng)機器翻譯模型。Sun等人[25]在大規(guī)模歐洲單語語料上訓(xùn)練多語言無監(jiān)督神經(jīng)機器翻譯模型，并提出特有的知識蒸餾方法改善翻譯性能。

2.4 引入統(tǒng)計機器翻譯

隨著無監(jiān)督神經(jīng)機器翻譯模型在一些語言對上可以獲得顯著性能的同時，許多研究者開始探索統(tǒng)計機器翻譯的模塊化特性是否更適合這種僅依賴單語語料庫的無監(jiān)督設(shè)置，提出了全新的無監(jiān)督統(tǒng)計機器翻譯模型[13，26-27]。Lample等人[13]，Marie等人[28]，Ren等人[29]和Artetxe等人[27]將無監(jiān)督神經(jīng)機器翻譯與無監(jiān)督統(tǒng)計機器翻譯相結(jié)合進一步提升翻譯性能。Lample等人[13]將無監(jiān)督統(tǒng)計機器翻譯系統(tǒng)生成的數(shù)據(jù)添加到無監(jiān)督神經(jīng)機器翻譯模型生成的反向翻譯數(shù)據(jù)中進一步優(yōu)化無監(jiān)督神經(jīng)機器翻譯模型。Marie等人[28]提出在無監(jiān)督翻譯場景下使用監(jiān)督的神經(jīng)機器翻譯框架，只是使用無監(jiān)督統(tǒng)計機器翻譯模型生成的偽平行語料代替真實的平行語料，并且使用正向翻譯代替反向翻譯以提高翻譯質(zhì)量，消除對2個翻譯方向同時進行訓(xùn)練的需要。Ren等人[29]利用統(tǒng)計機器翻譯作為后驗正則化在迭代反向翻譯過程中去噪和指導(dǎo)無監(jiān)督神經(jīng)機器翻譯模型訓(xùn)練，來消除反向翻譯帶來隨機誤差。Ren等人[30]認為使用雙語詞嵌入方法初始化短語表很難恢復(fù)一些訓(xùn)練語句中的復(fù)雜句子結(jié)構(gòu)，并且這個短語表中會存在大量噪聲。為了解決這一問題，Ren等人[30]利用無監(jiān)督的跨語言句子嵌入方法從2種語言的單語語料庫中檢索語義上相似的句子對，再通過GIZA++[31]來獲得單詞對齊，刪除檢索到的目標句子中未對齊的單詞，并使用一個序列到序列的重寫模型對修改后的目標句進行重寫，以減少源語言語句和目標語言語句之間的語義差距。

2.5 引入額外信息

源端語句和目標端語句在潛在空間中進行關(guān)聯(lián)是無監(jiān)督神經(jīng)機器翻譯模型的一個難點。Su等人[32]和Huang等人[33]提出多模態(tài)無監(jiān)督神經(jīng)機器翻譯模型，利用圖像信息在翻譯訓(xùn)練過程中消除歧義，促進潛在空間的對齊，進一步提升翻譯性能。Duan等人[34]使用額外的雙語詞典來建立錨點，縮小源語言和目標語言之間的差距以提升翻譯性能。Garcia等人[35]和Li等人[36]引入第三種語言，這種語言與源端或者目標端之間存在平行語料，利用額外引入的平行語料來提升翻譯性能。

2.6 其他

Pourdamghani等人[37]通過將無監(jiān)督神經(jīng)機器翻譯訓(xùn)練分解為2個階段。第一階段，通過一個源端到目標端的詞典生成粗略的譯文（Translationese），翻譯過程中采用Kim等人[20]的方法加入語言模型，基于上下文信息進行詞匯選擇。第二階段，使用一些高資源語言對的平行語料訓(xùn)練一個由Translationese到流暢目標端譯文的翻譯模型。在遷移到新的源語言時，該方法不需要對翻譯模型進行重新訓(xùn)練，只需要一個源端到目標端的字典，這使得該方法可以快速地應(yīng)用到其他新的語言中。Sun等人[38]通過對抗訓(xùn)練方法提高無監(jiān)督神經(jīng)機器翻譯的魯棒性。近年來，國際機器翻譯評測（WMT）也引入了無監(jiān)督機器翻譯任務(wù)，吸引許多研究者們關(guān)注與參與[39-40]。

3 無監(jiān)督神經(jīng)機器翻譯的挑戰(zhàn)

雙語詞嵌入的出現(xiàn)使機器翻譯在單語語料上以無監(jiān)督方式完成雙語間的翻譯成為了可能。盡管現(xiàn)如今大量工作集中在無監(jiān)督神經(jīng)機器翻譯的相關(guān)研究上，但是無監(jiān)督神經(jīng)機器翻譯的研究依然存在一些不足和局限性[41-42]。

目前，無監(jiān)督神經(jīng)機器翻譯的研究工作多數(shù)情況下是在英法、英德等相似語言對上驗證方法的有效性，并沒有考慮語言的多樣性。通常，在一些不相似語言對上雙語詞嵌入準確率并不高[43]，無監(jiān)督神經(jīng)機器翻譯在這些語言對上則會獲得更差的性能。如何在諸如中英、日英等不相似語言對上提升無監(jiān)督神經(jīng)機器翻譯質(zhì)量是一個值得研究的課題。此外，在一些真正低資源語言對上進行無監(jiān)督神經(jīng)機器翻譯訓(xùn)練也亟待進一步探索。

相較于有監(jiān)督機器翻譯，無監(jiān)督神經(jīng)機器翻譯領(lǐng)域自適應(yīng)問題并未獲得充分研究。除了有監(jiān)督存在的訓(xùn)練集和測試集領(lǐng)域不一致以外，無監(jiān)督翻譯的訓(xùn)練集間也可能存在領(lǐng)域不一致的問題[44]，從而使得無監(jiān)督神經(jīng)機器翻譯領(lǐng)域自適應(yīng)問題變得更為復(fù)雜。此外，單語數(shù)據(jù)大小以及2種語言間單語數(shù)據(jù)間存在的數(shù)量不平衡性[45]也會影響無監(jiān)督神經(jīng)機器翻譯性能。

傳統(tǒng)的無監(jiān)督神經(jīng)機器翻譯模型在訓(xùn)練過程中會同時對一個語言對的2個不同翻譯方向進行訓(xùn)練，無監(jiān)督神經(jīng)機器翻譯的訓(xùn)練過程主要依賴無監(jiān)督預(yù)訓(xùn)練策略、去噪自編碼器、反向翻譯和共享潛在表示機制，然而這些機制本身存在自身的局限性。預(yù)訓(xùn)練模型的質(zhì)量會顯著影響翻譯模型的質(zhì)量。通過去噪自編碼器訓(xùn)練可以使無監(jiān)督神經(jīng)機器翻譯模型獲得更流暢通順的譯文，然而通過不斷修改訓(xùn)練數(shù)據(jù)進行去噪自編碼器訓(xùn)練也極大地減緩了模型的訓(xùn)練速度。反向翻譯是在單語語料上實現(xiàn)雙語間翻譯的關(guān)鍵，但是反向翻譯也存在自身的不足。反向翻譯生成的偽平行句對通常質(zhì)量不高，翻譯誤差容易累積疊加，這會阻礙無監(jiān)督神經(jīng)機器翻譯系統(tǒng)的進一步提升。此外，無監(jiān)督神經(jīng)機器翻譯訓(xùn)練過程中，需要通過反向翻譯不斷生成譯文，反向翻譯的解碼速度也限制了無監(jiān)督神經(jīng)機器翻譯模型的訓(xùn)練速度。如何設(shè)計高效的反向翻譯方法將是未來無監(jiān)督神經(jīng)機器翻譯研究的熱點課題。共享潛在表示只是在無監(jiān)督神經(jīng)機器翻譯訓(xùn)練前期是必需的，而隨著無監(jiān)督神經(jīng)機器翻譯訓(xùn)練，共享潛在表示機制會迅速變得低效。學(xué)習(xí)共享潛在表示會限制了2個不同方向翻譯性能的進一步提升，特別是對于不相似語言對。

4 結(jié)束語

無監(jiān)督神經(jīng)機器翻譯解決了因平行語料缺失造成神經(jīng)機器翻譯出現(xiàn)瓶頸的問題，顯著降低了訓(xùn)練成本。本文介紹了無監(jiān)督神經(jīng)機器翻譯的模型主要機制、訓(xùn)練方法及其發(fā)展過程，并分析了無監(jiān)督神經(jīng)機器翻譯存在的局限性。未來期待更多的工作，研究完善無監(jiān)督神經(jīng)機器翻譯，進一步縮小與有監(jiān)督神經(jīng)機器翻譯的性能差距。

參考文獻

[1]VASWANIA，SHAZEERN，PARMARN，etal.Attentionisallyouneed[C]//AdvancesinNeuralInformationProcessingSystems30.LongBeach，CA，USA：CurranAssociates，Inc.，2017：5998-6008.

[2]KOEHNP，KNOWLESR.Sixchallengesforneuralmachinetranslation[C]//ProceedingsoftheFirstWorkshoponNeuralMachineTranslation.Vancouver：AssociationforComputationalLinguistics，2017：28-39.

[3]ARTETXEM，LABAKAG，AGIRREE，etal.Unsupervisedneuralmachinetranslation[C]//ProceedingsoftheSixthInternationalConferenceonLearningRepresentations.Vancouver，Canada：OpenReview.net，2018：1-11.

[4]LAMPLEG，CONNEAUA，DENOYERL，etal.Unsupervisedmachinetranslationusingmonolingualcorporaonly[C]//ProceedingsoftheSixthInternationalConferenceonLearningRepresentations.Vancouver，Canada：OpenReview.net，2018：1-14.

[5]CONNEAUA，LAMPLEG，RANZATOM，etal.Wordtranslationwithoutparalleldata[C]//ProceedingsoftheSixthInternationalConferenceonLearningRepresentations.Vancouver，Canada：OpenReview.net，2018：1-14.

[6]VINCENTP，LAROCHELLEH，LAJOIEI，etal.Stackeddenoisingautoencoders：Learningusefulrepresentationsinadeepnetworkwithalocaldenoisingcriterion[J].JournalofMachineLearningResearch，2010，11：3371-3408.

[7]SENNRICHR，HADDOWB，BIRCHA.Improvingneuralmachinetranslationmodelswithmonolingualdata[C]//Proceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics（Volume1：LongPapers）.Berlin，Germany：AssociationforComputationalLinguistics，2016：86-96.

[8]BAHDANAUD，CHOK，BENGIOY.Neuralmachinetranslationbyjointlylearningtoalignandtranslate[C]//Proceedingsofthe3rdInternationalConferenceonLearningRepresentations.SanDiego，CA，USA：DBLP，2015：1-15.

[9]CONNEAUA，LAMPLEG.Cross-linguallanguagemodelpretraining[C]//AdvancesinNeuralInformationProcessingSystems32.Vancouver，Canada：CurranAssociates，Inc.，2019：7059-7069.

[10] HED，XIAY，QINT，etal.Duallearningformachinetranslation[C]//AdvancesinNeuralInformationProcessingSystems29.Barcelona，Spain：CurranAssociates，Inc.，2016：820-828.

[11]HILLF，CHOK，KORHONENA.Learningdistributedrepresentationsofsentencesfromunlabelleddata[C]//Proceedingsofthe2016ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics：HumanLanguageTechnologies.SanDiego，California：AssociationforComputationalLinguistics，2016：1367-1377.

[12]YANGZhen，CHENWei，WANGFeng，etal.Unsupervisedneuralmachinetranslationwithweightsharing[C]//Proceedingsofthe56thAnnualMeetingoftheAssociationforComputationalLinguistics（Volume1：LongPapers）.Melbourne，Australia：AssociationforComputationalLinguistics，2018：46-55.

[13]LAMPLEG，OTTM，CONNEAUA，etal.Phrase-based&neuralunsupervisedmachinetranslation[C]//Proceedingsofthe2018ConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Brussels，Belgium：AssociationforComputationalLinguistics，2018：5039-5049.

[14]SENNRICHR，HADDOWB，BIRCHA.Neuralmachinetranslationofrarewordswithsubwordunits[C]//Proceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics（Volume1：LongPapers）.Berlin，Germany：AssociationforComputationalLinguistics，2016：1715-1725.

[15]MIKOLOVT，SUTSKEVERI，CHENKai，etal.Distributedrepresentationsofwordsandphrasesandtheircompositionality[C]//AdvancesinNeuralInformationProcessingSystems26.LakeTahoe，Nevada，UnitedStates：CurranAssociates，Inc.，2013：3111-3119.

[16]SONGKaitao，TANXu，QINTao，etal.MASS：Maskedsequencetosequencepre-trainingforlanguagegeneration[C]//Proceedingsofthe36thInternationalConferenceonMachineLearning.LongBeach，California，USA：PMLR，2019：5926-5936.

[17]RENShuo，WUYu，LIUShujie，etal.Explicitcross-lingualpre-trainingforunsupervisedmachinetranslation[C]//Proceedingsofthe2019ConferenceonEmpiricalMethodsinNaturalLanguageProcessingandthe9thInternationalJointConferenceonNaturalLanguageProcessing.HongKong，China：AssociationforComputationalLinguistics，2019：770-779.

[18]SUNHaipeng，WANGRui，CHENKehai，etal.Unsupervisedbilingualwordembeddingagreementforunsupervisedneuralmachinetranslation[C]//The57thAnnualMeetingoftheAssociationforComputationalLinguistics.Florence，Italy：AssociationforComputationalLinguistics，2019：1235-1245.

[19]SUNH，WANGR，CHENK，etal.Unsupervisedneuralmachinetranslationwithcross-linguallanguagerepresentationagreement[J].IEEE/ACMTransactionsonAudio，Speech，andLanguageProcessing，2020，28：1170-1182.

[20]KIMY，GENGJ，NEYH.Improvingunsupervisedword-by-wordtranslationwithlanguagemodelanddenoisingautoencoder[C]//Proceedingsofthe2018ConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Brussels，Belgium：AssociationforComputationalLinguistics，2018：862-868.

[21]WUJiawei，WANGXin，WANGYang.Extractandedit：Analternativetoback-translationforunsupervisedneuralmachinetranslation[C]//Proceedingsofthe2019ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics：HumanLanguageTechnologies，Volume1（LongandShortPapers）.Minneapolis，Minnesota：AssociationforComputationalLinguistics，2019：1173-1183.

[22]LEMGYichong，TANXu，QINTao，etal.Unsupervisedpivottranslationfordistantlanguages[C]//Proceedingsofthe57thAnnualMeetingoftheAssociationforComputationalLinguistics.Florence，Italy：AssociationforComputationalLinguistics，2019：175-183.

[23]XUChang，QINTao，WANGGang，etal.Polygon-Net：Ageneralframeworkforjointlyboostingmultiplensupervisedneuralmachinetranslationmodels[C]//ProceedingsoftheTwenty-EighthInternationalJointConferenceonArtificialIntelligence.Macao，China：ijcai.org，2019：5320-5326.

[24]SENS，GUPTAKK，EKBALA，etal.MultilingualunsupervisedNMTusingsharedencoderandlanguage-specificdecoders[C]//Proceedingsofthe57thAnnualMeetingoftheAssociationforComputationalLinguistics.Florence，Italy：AssociationforComputationalLinguistics，2019：3083-3089.

[25]SUNHaipeng，WANGRui，CHENKehai，etal.Knowledgedistillationformultilingualunsupervisedneuralmachinetranslation[C]//The58thAnnualMeetingoftheAssociationforComputationalLinguistics，Online：AssociationforComputationalLinguistics，2020：3525-3535.

[26]ARTETXEM，LABAKAG，AGIRREE.Unsupervisedstatisticalmachinetranslation[C]//Proceedingsofthe2018ConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Brussels，Belgium：AssociationforComputationalLinguistics，2018：3632-3642.

[27]ARTETXEM，LABAKAG，AGIRREE.Aneffectiveapproachtounsupervisedmachinetranslation[C]//Proceedingsofthe57thAnnualMeetingoftheAssociationforComputationalLinguistics.Florence，Italy：AssociationforComputationalLinguistics，2019：194-203.

[28]MARIEB，F(xiàn)UJITAA.Unsupervisedneuralmachinetranslationinitializedbyunsupervisedstatisticalmachinetranslation[J].CoRR，2018，abs/1810.12703.

[29]RENShuo，ZHANGZhirui，LIUShujie，etal.UnsupervisedneuralmachinetranslationwithSMTasposteriorregularization[C]//ProceedingsoftheThirty-ThirdAAAIConferenceonArtificialIntelligence.Honolulu，Hawaii，USA：AAAIPress，2019：241-248.

[30]RENShuo，WUYu，LIUShujie，etal.Aretrieve-and-rewriteinitializationmethodforunsupervisedmachinetranslation[C]//Proceedingsofthe58thAnnualMeetingoftheAssociationforComputationalLinguistics.Online：AssociationforComputationalLinguistics，2020：3498-3504.

[31]OCHFJ，NEYH.Asystematiccomparisonofvariousstatisticalalignmentmodels[J].ComputationalLinguistics，2003，29（1）：19-51.

[32]SUYuanhang，F(xiàn)ANKai，BACHN，etal.Unsupervisedmulti-modalneuralmachinetranslation[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.LongBeach，California，USA：ComputerVisionFoundation/IEEE，2019：10482-10491.

[33]HUANGPoyao，HUJunjie，CHANGXiaojun，etal.Unsupervisedmultimodalneuralmachinetranslationwithpseudovisualpivoting[C]//Proceedingsofthe58thAnnualMeetingoftheAssociationforComputationalLinguistics.Online：AssociationforComputationalLinguistics，2020：8226-8237.

[34]DUANXiangyu，JIBaijun，JIAHao，etal.Bilingualdictionarybasedneuralmachinetranslationwithoutusingparallelsentences[C]//Proceedingsofthe58thAnnualMeetingoftheAssociationforComputationalLinguistics.Online：AssociationforComputationalLinguistics，2020：1570-1579.

[35]GARCIAX，F(xiàn)ORETP，SELLAMT，etal.AmultilingualviewofUnsupervisedMachineTranslation[J].CoRR，2020，abs/2002.02955.

[36]LIZuchao，ZHAOHai，WANGRui，etal.Referencelanguagebasedunsupervisedneuralmachinetranslation[J].CoRR，2020，abs/2004.02127.

[37]POURDAMGHANIN，ALDARRABN，GHAZVININEJADM，etal.Translatingtranslationese：Atwo-stepapproachtounsupervisedmachinetranslation[C]//Proceedingsofthe57thAnnualMeetingoftheAssociationforComputationalLinguistics.Florence，Italy：AssociationforComputationalLinguistics，2019：3057-3062.

[38]SUNHaipeng，WANGRui，CHENKehai，etal.Robustunsupervisedneuralmachinetranslationwithadversarialtraining[J].CoRR，2020，abs/2002.12549.

[39]MARIEB，SUNH，WANGR，etal.NICT'sunsupervisedneuralandstatisticalmachinetranslationsystemsfortheWMT19newstranslationtask[C]//ProceedingsoftheFourthConferenceonMachineTranslation（Volume2：SharedTaskPapers，Day1）.Florence，Italy：AssociationforComputationalLinguistics，2019：294-301.

[40]LIZuchao，ZHAOHai，WANGRui，etal.SJTU-NICT'ssupervisedandunsupervisedneuralmachinetranslationsystemsfortheWMT20newstranslationtask[J].CoRR，2020，abs/2010.05122.

[41]KIMY，GRACAM，NEYH.Whenandwhyisunsupervisedneuralmachinetranslationuseless？[C]//Proceedingsofthe22ndAnnualConferenceoftheEuropeanAssociationforMachineTranslation.Lisboa，Portugal：EuropeanAssociationforMachineTranslation，2020：35-44.

[42]MARCHISIOK，DUHK，KOEHNP.Whendoesunsupervisedmachinetranslationwork？[J].CoRR，2020，abs/2004.05516.

[43]SGAARDA，RUDERS，VULIC I.Onthelimitationsofunsupervisedbilingualdictionaryinduction[C]//Proceedingsofthe56thAnnualMeetingoftheAssociationforComputationalLinguistics（Volume1：LongPapers）.Melbourne，Australia：AssociationforComputationalLinguistics，2018：778-788.

[44]SUNHaipeng，WANGRui，CHENKehai，etal.Revisitingsimpledomainadaptationmethodsinunsupervisedneuralmachinetranslation[J].CoRR，2019，abs/1908.09605.

[45]SUNHaipeng，WANGRui，CHENKehai，etal.Self-trainingforunsupervisedneuralmachinetranslationinunbalancedtrainingdatascenarios[J].CoRR，2020，abs/2004.04507.