多領域機器翻譯中的非參貝葉斯短語歸納

劉宇鵬，馬春光，朱曉寧，喬秀明

(1.哈爾濱理工大學 軟件學院，黑龍江 哈爾濱 150001； 2.哈爾濱工程大學 計算機科學與技術學院，黑龍江 哈爾濱 150001； 3.哈爾濱工業大學 計算機學院，黑龍江 哈爾濱 150001)

多領域機器翻譯中的非參貝葉斯短語歸納

劉宇鵬1,2，馬春光2，朱曉寧3，喬秀明3

(1.哈爾濱理工大學 軟件學院，黑龍江 哈爾濱 150001； 2.哈爾濱工程大學 計算機科學與技術學院，黑龍江 哈爾濱 150001； 3.哈爾濱工業大學 計算機學院，黑龍江 哈爾濱 150001)

多領域機器翻譯一直以來都是機器翻譯領域研究的重點，而短語歸納是重中之重。傳統加權的方法并沒有考慮到整個歸約過程，本文提出了一種使用層次化的Pitman Yor過程進行短語歸約，同時把多通道引入到模型中，使得在短語歸約的過程中平衡各領域的影響；從模型角度，本文的方法為生成式模型，模型更有表現力，且把對齊和短語抽取一起建模，克服了錯誤對齊對原有短語抽取性能的影響。從復雜度上來說，該模型獨立于解碼，更易于訓練；從多領域融合來說，對短語歸約過程中進行融合，更好地考慮到整個歸約過程。在兩種不同類型的語料上驗證了機器翻譯的性能，相對于傳統的單領域啟發式短語抽取和多領域加權，BLEU分數有所提高。

多領域機器翻譯； 非參貝葉斯； 短語歸納； Pitman Yor過程； 生成式模型； 塊采樣； 中餐館過程； BLEU分數

隨著互聯網技術的快速發展，信息增長的速度越來越快，更加凸顯出了自然語言處理和機器翻譯任務的重要性。領域自適應作為機器翻譯任務的一個重要應用，一直吸引著很多研究者投入其中，關于這個方面的研討會也是數不勝數。近幾年來非參數貝葉斯模型已成為統計學、機器學習等領域內研究的熱點，其基本方法為將一個復雜分布分解為簡單分布(有限或無限個)的加權平均，根據訓練數據來確定訓練模型中簡單分布的個數。非參數貝葉斯模型是常用的數據分布擬合工具之一，需要假設參數服從先驗分布，為了后驗概率推斷方便，一般采用共軛先驗。非參數貝葉斯模型解決了參數學習的隨著數據增長模型參數個數不變，也解決了非貝葉斯學習無參數先驗信息的問題。流行的非參數貝葉斯模型很多，如Beta過程、高斯過程、狄利克雷過程(dirichlet process, DP)等[1-3]。這些模型在自然語言處理諸多領域都有應用，如語言模型[4]、詞性標注[5]、短語歸納等[6-10]。狄利克雷過程作為一種隨機過程(stochastic process，SP)是有限維狄利克雷分布的推廣，是無限維分布上的分布；從另一個角度來說，狄利克雷過程也是一種隨機度量，每一種劃分都會得到一種狄利克雷分布。由于作為無限維的狄利克雷過程描述起來和構造相對困難，有幾種等價形式來解決這些問題，如中餐館過程(chinese restaurant process)、波利亞罐子模型(polya urn scheme)和截棒過程構造(stick breaking construction)等。狄利克雷過程有很多變形，如PYP[10]、層次化的狄利克雷過程(hierachical dirichlet process,HDP)[11-12]、依存DP[13]和非參樹模型[14]等，這些模型面向于不同的任務，很好的符合了任務的建模過程。

短語歸納[6-10]作為機器翻譯系統的重要組成部分，一直是研究的重點。傳統的方法是把單詞對齊和短語抽取看成兩個過程，而這樣會把對齊錯誤引入到短語抽取過程中，且抽取過程無法考慮到對齊信息。本文主要把非參數貝葉斯模型中的狄利克雷過程應用到機器翻譯的短語歸納中。本文的方法可以歸為從不同領域的數據出發基于實例權重的翻譯模型融合方法[11]。本文主要創新是在多個領域歸約短語表時候進行模型級融合。

1 機器翻譯概率模型

整個機器翻譯過程為先進行訓練以獲得翻譯過程使用的短語對，接著使用這些短語對進行解碼，兩個過程是息息相關的。翻譯過程為給定訓練語料和原句f生成目標句e概率中最大的翻譯結果：

(1)

本文認為在解碼過程中隱含著訓練過程中的參數集Θ(包括翻譯模型的權重，扭曲模型和語言模型的權重等)，即貝葉斯框架為

P(e|f,)=

(2)

式中：P(Θ|)是整個訓練過程的目標函數，即通過貝葉斯公式把參數集Θ移到結果側然后積分掉。通過貝葉斯法則可以把隱參數Θ的后驗概率進一步分解，可以描述為

P(Θ|)∝P(|Θ)P(Θ)

(3)

式中：P(|Θ)為語料的似然概率，P(Θ)為隱參數的先驗概率。從這個公式可以看出非參數主要是指參數Θ服從概率分布P(Θ)，相對于傳統模型參數模型，參數數量是隨著訓練實例的增加而增加的，貝葉斯法則是通過貝葉斯公式對于后驗概率P(Θ|)進行計算。訓練語料中包含了很多句子，語料的似然概率表示含義為對訓練語料中的每個句子的似然進行相乘可以得到整個語料的似然。這里主要是對句子似然概率P(|Θ)和隱參數先驗P(Θ)進行建模：

P(|Θ)=∏∈P(|Θ)

(4)

2 翻譯模型描述

2.1短語歸約的產生式模型

在機器學習中，按照建模對象的不同，可以分為產生式模型(聯合概率建模)和判別式模型(條件概率建模)。本文采用產生式模型，可以根據產生式模型得到判別式模型的條件概率。同步上下文無關文法(synchronous context-free grammar, SCFG)的規則不是都可以轉換成反向轉錄語法(inversion transduction grammar, ITG)，但是使用轉換后的文法對于機器翻譯性能幾乎沒有影響[16]?；谶@點，本文采用ITG進行短語歸約。傳統方法對于最小短語對進行建模，忽略了更大粒度的短語，本文采用文獻[9]的方法，可生成各種粒度的短語，不需要通過小粒度短語啟發式的生成大粒度的短語，同時相對文獻[7]中的方法有更少生成操作，模型訓練起來更加容易。

從形式化上，句子似然概率P(|Θ)可以分解成短語似然概率P(|θt,θx)，其中隱參數集Θ中包含了兩種隱參數，分別為短語對隱參數θt和規則類型隱參數θx。圖1描述了部分推導樹的圖模型，通過這些部分推導樹可以獲得整個推導，其中有向箭頭表示變量之間的依存關系，菱形表示超參數。

由于規則類型的不同，左右子節點的情況也不一樣，所以把子節點用橢圓圈起來。按照無限維的HMM[17]，本文把一個規則的生成過程拆分成3個部分： 1)根據短語對隱參數θt產生該規則的根節點短語； 2)根據規則隱參數θx生成該規則類型； 3)根據規則類型和短語對隱參數θt生成當前父節點短語zi的子節點短語lzi和rzi。ITG文法中的一元規則和二元規則對應了3種規則類型：一元規則的發射類型、二元規則的正向調序和反向調序。規則類型隱參數θx服從于Dirichlet分布，θt服從于無限維的PYP。 PYP相對于Dirichlet過程來說更加泛化，除了含有Dirichlet過程中兩個參數：基分布超參H(用于獲得概率分布的位置)和強度超參s(用于控制分布和基分布擬合情況)，還增加了打折超參d(使得聚類特性滿足冪律，雖然原來的Dirichlet過程中的參數會讓富有的聚類更加富有，但無法滿足冪律)。具體的算法如下：

θt～PYP(s,d,H)

θx～Dirichlet(α)

for each nodezi= in the derivation tree

generatezi|θt～θt

generate a symbolxi|θx～θx

Ifxi=Emission then

zi|θt～θt, generateanewphrase

Ifxi=Monotone then

lzi|θt～θt,rzi|θt～θt, concatenatelziandrziwithmonotone

Ifxi=Reordering then

lzi|θt～θt,rzi|θt～θt, concatenatelzianrziwithreordering

圖1 部分推導樹的圖模型Fig.1 The graph model of partial derivation tree

2.2多領域短語歸約模型

參照文獻[18]，假設不同領域的數據來自于不同數據分布，因此需要不同的通道來處理不同的數據分布，每個通道對應一個領域。進行多通道融合的時候，整個多領域短語歸約的過程相當于分就餐區域的中餐館過程。中餐館過程刻畫了多領域短語歸約模型的聚類特性，只列出一個層次的，圖2給出了多領域短語歸約的圖模型，圖3為多領域歸約的中餐館過程。

圖2 多領域的短語歸約模型Fig.2 Multi-domain phrase induction model

圖3 多領域短語歸約的CRP過程Fig.3 CRP procedure of multi-domain phrase induction

在圖2中描述了不同領域的部分推導樹共享同一個短語對隱參數θt，這里共有J個領域，每個領域中的短語對都根據共享參數生成。在圖3中上一層相當于菜單(用于共享)，下一層相當于顧客(表示短語，以黑點進行表示)進行就餐的過程，同一短語可以在同一就餐區域的不同桌子，也可以在不同的就餐區域。就餐區域相當于通道。θi是按照概率分布θt取出來的原子，而每個原子在下一層可以看成菜單。菜單中的每道菜為θi(1≤i≤n，表示上一層共生成了n道菜，注意建模過程是無限維，但生成的結果是固定維數的)，下一層沒有確定桌子的數量表示還沒有完成所有的短語聚類。

3 歸納語約訓練

對于單通道情況來說，每個短語對zi的后驗預測概率為

(5)

式(5)可以描述為當一個顧客來到餐館時有兩種選擇：

基礎分布的概率定義如下：

(6)

本文提出的方法是在多通道下進行的，在計算總的后驗預測概率的時候，需要對于每個通道中的后驗預測概率進行加權平均

(7)

(8)

1)從所有含有推導的雙語句對中選出一個句對，減少當前推導的短語對；

2)自底向上的對于句對進行雙語分析并計算源語言的跨度概率；

3)根據跨度概率自底向上的采樣一個推導；

4)增加新推導的短語對；

最終翻譯的條件概率可以通過公式(8)計算。采樣過程中需要對于每個桌子上的顧客數進行調整(顧客等可能的離開中餐館)，當桌子空時就把桌子取消掉。

4 翻譯實驗和分析

4.1翻譯系統配置

實驗中分別從口語翻譯任務和常規文本翻譯任務出發，采用兩個數據集進行驗證該方法的有效性，訓練語料分別是來自IWSLT2012語料和LDC語料。其中IWLST2012含有HIT部分和BETC部分。LDC語料包括LDC2003E14、LDC2003E07、LDC2005T10、LDC2005E83、LDC2006E34、LDC2006E85、 LDC2006E92(總共含有500k的句對)。使用隱藏狄利克雷分配模型(LDA)對于LDC語料進行劃分[20]，劃分時把中英文句子連接在一起共同反應同一領域。不需要對IWLST2012劃分。在口語翻譯任務中，語言模型的訓練語料采用訓練語料中的英文；翻譯模型采用IWSLT2012提供的開發集(含有3k中英文句對)和測試集(含有1k中英文句對)。在常規文本翻譯任務中，語言模型的訓練語料采用英文GigaWord語料中xinhua部分和訓練語料的英文句子；為了更好的度量翻譯結果，在標準集NIST03(含有919中英文句對)，NIST05(含有1 082中英文句對)和NIST06(含有1 664中英文句對)上進行，這些測試集即作為開發集又作為測試集，互相衡量的翻譯性能，更加全面考慮機器翻譯的性能。

為了更好的度量不同歸約方法對于翻譯系統的影響，翻譯系統采用開源的Moses中的短語翻譯系統[21]，選用短語翻譯系統的好處為忽略掉句法結構帶來的影響。語言模型采用加入Kneser-Ney平滑的Srilm訓練的五元模型[22]。翻譯質量的度量采用大小寫不敏感的BLEU[23]，訓練時采用20輪迭代的間隔注入的松弛算法(margin infused relax algorithm, MIRA)，為了獲得最好的參數權重，獨立運行MIRA 10次，把獲得最高BLEU分數的調參結果用到測試集上。采用文獻[24]方法，所有的顯著性測試在顯著性水平為0.05下進行。

4.2不同短語歸約方法的比較

在兩種訓練語料(不分領域)上進行比較，主要是體現本文歸約方法的優越性。為了更好的比較采用3個基線系統：第一個基線系統為采用GIZA++ Model 4詞對齊后，使用Grow-Diag-Final-And啟發式獲得兩個方向的對齊，最后再抽取短語，該基線系統表示為Heu-Model4。第二個基線系統為選用文獻[9]中方法，同本文相比使用了相似的調序建模，但是沒有對于非終結符號中的短語進行建模；這個基線方法也使用了啟發式方法抽取短語，只是在計算短語翻譯概率的時候，利用了采樣器獲得的短語對分布；該基線系統表示為Ali-Phr-Heu-Com。本文提出的方法表示為Ali-Phr-Mod-Com，短語歸約模型的最大短語長度為7。選用這3個基線系統的原因為：第一個基線系統是傳統的短語抽取方法；第二個基線系統使用了相似的非參數貝葉斯方法，但是沒有本文模型表現能力強(不同粒度的短語，層次化的PYP相對于非層次的DP)。

通過和Heu-Model4基線系統比較，發現Ali-Phr-Heu-Com系統提高了0.8；通過和Ali-Phr-Heu-Com基線系統比較，發現Ali-Phr-Mod-Com系統提高了0.42?？傮w來說，實驗結果說明了Ali-Phr-Heu-Com系統好于傳統的啟發式方法。表1給出了在常規文本上的實驗結果，使用典型的NIST翻譯任務中語料作為開發集和測試集。

表1 在常規文本翻譯任務上不同短語規約方法的比較表

表1的性能比較見表2。

總體來說，在3個測試集合上Ali-Phr-Heu-Com系統好于Heu-Model4系統，Ali-Phr-Mod-Com系統好于Ali-Phr-Heu-Com系統。

表2 表1系統的性能比較表Table 2 The performance comparison of table 1

4.3多領域短語歸約的實驗

在多領域實驗中，除了對于第一個基線系統進行簡單加權外，使用了經典翻譯系統Moses的基于混淆度最小的自適應方法[25],該基線系統表示為Moses-Per。

表1和表3的性能比較見表4，在每個開發集上性能的提高說明了本文方法在更大規模的常規文章翻譯任務的有效性。表3的性能比較見表5，說明本文方法的有效性。總體來說，通過不同多領域歸約方法的比較，Ali-Phr-Mod-Com-DA系統相對于Ali-Phr-Heu-Com-DA提高的性能高于Ali-Phr-Heu-Com-DA系統相對于Heu-Model4-DA系統提高的性能，說明了本文方法對于強大基線系統的有效性。

不管是在多領域之間，還是在單領域和多領域之間，本部分的實驗結果與在IWSLT2012的實驗結果比較起來提高的性能較少，可能的原因是IWSLT2012中的2個領域比較明顯的區別，而在常規文本中劃分的領域區分性不大。從表1、2中可以看出Moses_Per好于Heu-Model4，但性能不多，可能的原因是本文已經嘗試了很多種權重配置方案；本文的文本是正規化文本，從語言模型的角度區別性不是很大，所以導致基于語言模型評價標準的混淆度不能捕捉到更多領域間的信息。本文方法超過了Moses_Per，可能是因為更好考慮了每個短語生成過程中領域間相互影響，Moses_Per雖然考慮到了每個領域中實例情況，但沒有考慮到每個實例生成過程。本文提出的單領域歸約方法Ali-Phr-Mod-Com和多領域歸約方法Ali-Phr-Mod-Com-DA超過了所有基線系統。

表3 在常規文本翻譯任務上多領域歸約的比較表

表4 表1和表3系統性能比較表

表5 表3系統的性能比較表

4 結論

1)本模型把傳統對齊和短語抽取過程進行一起建模，在采樣的過程中獲得對齊；

2)本模型中含有ITG歸約過程中每一層的短語，而且可以分治的回退到下一層從而生成粒度更細的短語。對于短語歸約過程中每層產生規則和短語進行了詳細的模型描述，并給出了進行采樣估計概率時的后驗預測概率；為了更好地理解多領域模型使用中餐館過程進行描述；

3)在2種類型的語料上進行了驗證，通過實驗發現本文方法超過了經典的基線系統(包括傳統方法和沒有對于短語建模的非參數貝葉斯短語歸約)，且做了顯著性測試以證明方法的統計意義。

從實驗結果中可以看出，本文的建模方法對于SMT性能的提高起到了一定作用。

[1] THIBAUX R, JORDAN M I. Hierarchical beta processes and the indian buffet process[C]//Proceedings International Conference on Artificial Intelligence and Statistics.New York, USA, 2007: 564-571.

[2] RASMUSSEN C E, WILLIAMS C K I. Gaussian processes for machine learning[M]. USA: MIT Press, 2006.

[3] NEAL R M. Bayesian mixture modeling[C]//Proceedings of the Workshop on Maximum Entropy and Bayesian Methods of Statistical Analysis. Philadelphia, USA, 1992: 197-211.

[4] GOLDWATER S, GRIFFITHS T. A Fully Bayesian approach to unsupervised part-of-speech tagging[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics. Czech Republic, 2007: 744-751.

[5] BLUNSOM P, COHN T. Inducing synchronous grammars with slice sampling[C]//In Proceedings of the Human Language Technology: The 11th Annual Conference of the North American Chapter of the Association for Computational Linguistics. Los Angeles, California, USA, 2010: 238-241.

[6] BLUNSOM P, COHN T, DYER C， et al. A gibbs sampler for phrasal synchronous grammar induction[C]//Proceedings of the 47th Annual Meeting of the Association for Computational Linguistics. Singapore, 2009: 782-790.

[7] DENERO J, BOUCHARD-COTE A, KLEIN D. Sampling alignment structure under a bayesian translation model[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing. Waikiki, Honolulu, Hawaii, 2008: 314-323.

[8] KAMIGAITO H, WATANABE T, TAKAMURA H， et al. Hierarchical back-off modeling of hiero grammar based on non-parametric bayesian model[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing. Lisbon, Portugal, 2015: 1217-1227.

[9] NEUBIG G, WATANABE T, SUMITA E， et al. An unsupervised model for joint phrase alignment and extraction[C]//The 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies (ACL-HLT). Portland, Oregon, USA, 2011: 632-641.

[10] TEH Y W. A hierarchical bayesian language model based on pitman-yor processes[C]//Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics. New York, USA, 2006: 985-992.

[11] LIANG P, PETROV S, JORDAN M I, et al. The infinite pcfg using hierarchical dirichlet processes[C]//In Proceedings of the Conference on Empirical Methods in Natural Language Processing. Prague, Czech REpublic, 2007: 688-697.

[12] TEH Y W, JORDAN M I, BEAL M J， et al. Hierarchical dirichlet processes[J]. Journal of the American statistical association, 2006, 1(101): 1566-1581.

[13] MACEACHERN S, KOTTAS A, GELFAND A. Spatial nonparametric bayesian models[C]//Proceedings of the 2001 Joint Statistical Meetings. New York, USA, 2001: 1-12.

[14] BLEI D M, GRIFFITHS T L, JORDAN M I， et al. Hierarchical topic models and the nested Chinese restaurant process[C]//Advances in Neural Information Processing Systems.New York,USA, 2004: 17-24.

[15] ZHU Conghui, WATANABE T, SUMITA E， et al. Hierarchical phrase table combination for machine translation[C]//Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics. Sofia, Bulgaria, 2013: 802-810.

[16] ZHANG Hao, HUANG Liang, GILDEA D. Synchronous binarization for machine translation[C]//Proceedings of the 2006 Meeting of the North American Chapter of the Association for Computational Linguistics (NAACL-06). New York, USA, 2006: 256-263.

[17] XU Z, TRESP V, YU K， et al. Infinite hidden relational models[C]//Proceedings of the Conference on Uncertainty in Artificial Intelligence. Cambridge, MA, USA，2006: 53-62.

[18] BRODY S, LAPATA M. Bayesian word sense induction[C]//Proceeding of the 12th Conference of the European Chapter of the Association for Computational Linguistics Association for Computational Linguistics. Singapore, 2009: 103-111.

[19] KAMIGAITO H, WATANAB T, TAKAMURA H. Hierarchical back-off modeling of hiero grammar based on non-parametric bayesian model[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing. Lisbon, Portugal, 2015: 1217-122.

[20] LIU Zhiyuan, ZHANG Yuzhou, CHANG E Y， et al. Plda+: parallel latent dirichlet allocation with data placement and pipeline processing[C]//ACM Transactions on Intelligence Systems and Technology. New York, 2011: 1-18.

[21] KOEHN P, HOANG H, BIRCH A， et al. Moses: open source toolkit for statistical machine translation[C]//Proceedings of the 45th Annual Meeting of the ACL on Interactive Poster and Demonstration Sessions. ACL, Stroudsburg, USA, 2007: 177-180.

[22] STOLCKE A. Srilm-an extensible language modeling toolkit[C]//Proceeding of The International Conference on Spoken Language Processing 2002. Denver, USA, 2002: 332-330.

[23] PAPINENI K, ROUKOS S，TODDWARD D, et al. Bleu: a method for automatic evaluation of machine translation[C]//Proceedings of 40th Annual Meeting of the Association for Computational Linguistics.Philadelphia, Pennsylvania, USA, 2002: 311-318.

[24] KOEHN P. Statistical significance tests for machine translation Evaluation[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing. Barcelona, Spain,2004: 231-239.

[25] SENNRICH R. Perplexity minimization for translation model domain adaptation in statistical machine translation[C]//Proceedings of The European Chapter of the Association for Computational Linguistic. Avignon, France, 2012: 539-549.

本文引用格式：劉宇鵬，馬春光，朱曉寧，等. 機器翻譯中多領域的非參貝葉斯短語歸納[J]. 哈爾濱工程大學學報， 2017， 38(10): 1616-1622.

LIU Yupeng, MA Chunguang, XIAONING Zhu, et al. Bayesian non-parametric phrasal induction of domain adaptation in machine translation[J]. Journal of Harbin Engineering University， 2017， 38(10): 1616-1622.

Multi-domainbayesiannon-parametricphrasalinductioninmachinetranslation

LIU Yupeng1,2, MA Chunguang2, Zhu Xiaoning3, Qiao Xiuming3

(1. School of Software, Harbin University of Science and Technology, Harbin 150001, China; 2.College of Computer Science and Technology, Harbin Engineering University, Harbin 150001, China; 3.School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China)

Domain adaptation has always been a key research field of machine translation, in which phrase induction is a top priority. The traditional weighted method did not take into account the entire phrase induction process. This paper proposed a method that uses hierarchical Pitman-Yor process to extract phrase pairs. Multiple channels were introduced into the model to balance the weight of various fields in the phrase induction process. From the point of the model, the generative model was expressive, and the alignment and phrase extraction were modeled together, which overcame the effect of wrong alignment on the original phrase extraction performance. From the view of complexity, the model is independent of decoding and easy to train. From the perspective of multi-domain combination, the process of phrase reduction combination takes into account the entire reduction process better. Machine translation performance was validated on two different types of corpus. Compared with the traditional method of weighted multi-domain and heuristic phrase extraction in single domain, the performance measured by BLEU score was improved.

multi-domain machine translation; Bayesian non-parameter; phrasal induction; Pitman-Yor process (PYP); generative model; block sampling; Chinese restaurant process; BLEU score

10.11990/jheu.201605081

http://www.cnki.net/kcms/detail/23.1390.U.20170816.1550.038.html

TP391.2

A

1006-7043(2017)10-1616-08

2016-05-24. < class="emphasis_bold">網絡出版日期

日期：2016-08-16.

國家自然科學青年基金項目(61300115)；中國博士后科學基金項目(2014M561331)；黑龍江省教育廳科技研究項目(12521073).

劉宇鵬(1978-)，教授.

劉宇鵬，E-mail:flyeagle99@126.com.