利用Markov網絡抽取復述增強機器譯文自動評價方法

翁 貞，李茂西，王明文

(江西師范大學 計算機信息工程學院，江西 南昌 330022)

?

利用Markov網絡抽取復述增強機器譯文自動評價方法

翁 貞，李茂西，王明文

(江西師范大學 計算機信息工程學院，江西 南昌 330022)

在機器譯文自動評價中，匹配具有相同語義、不同表達方式的詞或短語是其中一個很大的挑戰。許多研究工作提出從雙語平行語料或可比語料中抽取復述來增強機器譯文和人工譯文的匹配。然而雙語平行語料或可比語料不僅構建成本高，而且對少數語言對難以大量獲取。我們提出通過構建詞的Markov網絡，從目標語言的單語文本中抽取復述的方法,并利用該復述提高機器譯文自動評價方法與人工評價方法的相關性。在WMT’14 Metrics task上的實驗結果表明，我們從單語文本中提取復述方法的性能與從雙語平行語料中提取復述方法的性能具有很強的可比性。因此，該文提出的方法可在保證復述質量的同時，降低復述抽取的成本。

復述；機器譯文自動評價；Markov網絡；相關性

1 引言

機器譯文自動評價方法不僅能給出表征翻譯系統翻譯質量優劣程度的定量指標，而且能在統計翻譯系統開發時指導其參數優化。因此，它推動了機器翻譯技術的快速發展。

近幾年來，許多機器譯文自動評價方法相繼被提出，包括被研究者廣泛使用的BLEU[1]，NIST[2]，METEOR[3]，TER[4]，MAXSIM[5]等。其中，BLEU和NIST是基于n元文法匹配準確率的評價指標；METEOR和MAXSIM是考慮準確率和召回率的評價指標；而TER是基于翻譯錯誤率的指標。在譯文評價過程中，它們均遵循BLEU的主要思路“機器譯文越接近人工參考譯文，機器譯文的質量越好。”這些評價方法將機器譯文中的詞語與人工參考譯文中的詞語進行比較，詞形相同的詞被看作表達了同一含義，即認為是一個匹配，而詞形不同的詞語被看作表達不同的含義，即認為沒有匹配。然而，由于語言現象的多樣性，同義詞、近義詞和不同的表達方式等現象在評價時大量存在。因此，如何準確地進行詞語匹配是機器譯文自動評價時的一個難題。

針對這個問題，許多機器譯文評測嘗試提供更多的人工參考譯文來提高機器譯文和人工參考譯文的匹配。比如在NIST評測中，測試集中每個待翻譯的源語言句子就提供了四個人工參考譯文；而IWSLT評測中，有的翻譯方向甚至提供了16個人工參考譯文。毫無疑問，人工參考譯文越多，覆蓋的語言現象就越全面，機器譯文中的詞語就能得到更準確的匹配，但是，這也意味著構建參考譯文的費用越高，而且再多的人工參考譯文也不能窮盡所有的語言現象。這種方法的一個改進是自動生成參考譯文以覆蓋更多的語言現象，王博等通過句法結構知識來對人工參考譯文進行擴展，衍生出更多的參考譯文以供機器譯文匹配，從而提高自動評價結果的相關性[6]。Kauchak和Barzilay提出使用復述改寫人工參考譯文，以使參考譯文接近于機器譯文，提高自動評價方法的準確性[7]。

另外一種方法是，機器譯文中的詞和人工參考譯文中的詞比較時，放松詞語匹配的條件，即不再限定匹配的詞語僅是詞形完全相同的詞語，還應包括同根詞、近義詞、同義詞和復述等等。這種方法使用語言學知識和語料資源來獲取相同語義、不同表達方式的詞或短語以供匹配，因此，它容易獲取，便于擴展，而且構建費用低廉。它的一個典型例子是METEOR工具包。METEOR最初的版本只支持完全匹配，在后續的版本里，它相繼地擴充了詞干匹配、同義詞匹配和復述匹配等模塊，并且匹配是分階段進行，每一階段只匹配上一階段沒有得到匹配的詞語[8]。與此相應的，TER自動評價方法也由最初的完全匹配版本Tercom發展到后續的采用完全匹配和復述匹配的Terp版本[9]。

本文研究利用機器學習方法和詞的Markov網絡，從目標語言的單語文本中抽取復述，來替換傳統的從雙語文本中抽取復述的方法。然后將抽取的復述應用在機器譯文的自動評價方法METEOR和TER上以增強詞語之間的有效匹配，并通過實驗驗證我們的方法盡管只使用單語文本，但是并沒有降低譯文自動評價結果與人工評價結果之間的相關性。

2 相關工作

復述是指在某一種語言中，語義相同而內容和表達形式不同的詞、短語、句子和段落[10]。復述知識已經成功地應用到自然語言處理的多個任務中，包括信息檢索[11]、自動文摘[12]和機器翻譯[13-15]等等。

在復述的抽取技術方面，Barzilay和 McKeown 提出了利用非監督學習的方法從同一個源語言句子的不同英文譯文中抽取詞和短語的復述[16]。Bannard和Callison-Burch提出利用統計機器翻譯中的詞對齊技術從雙語平行語料中抽取復述，在他們的方法中由于一種語言的詞或短語，被用作待抽取的另一種語言復述中的樞軸(pivot)，因此它也被稱為樞軸法[17]。不同于從雙語語料中抽取復述的方法，Shinyama等提出一種使用命名實體識別特征從單語的新聞文章中抽取復述的方法，這些來源不同的新聞文章在同一時期報道了同一件新聞事件[18]。Barzilay和Lee提出使用多個文本串對齊算法從未標注的可比語料庫中學習句子級別的復述[19]。盡管后面兩種方法從單語文本中抽取復述，但是它們對使用的單語文本語料仍然有較大的限制。而本文提出的利用詞的Markov網絡抽取復述的方法對單語文本無任何限制。

在機器譯文自動評價方面，Kauchak和Barzilay提出使用句子級別的復述改寫人工參考譯文，類似于Barzilay和Lee的方法，以使參考譯文中的詞語與機器譯文中詞語最大程度的相同，并通過實驗驗證了使用改寫的人工參考譯文進行評價改善了自動評價的準確性[7]。Zhou等提出使用詞或短語的復述來增強機器譯文和人工參考譯文之間的匹配，他們使用Bannard和Callison-Burch提出的樞軸法從雙語平行語料中抽取復述，然后通過兩步法進行詞語匹配，首先使用復述知識進行匹配，然后使用詞形進行完全匹配[20]。沿著Zhou等方法的思路，Denkowski和Lavie也使用樞軸法從雙語平行語料中抽取目標語言的復述，并使用復述來增強METEOR方法中詞語的匹配，但是，在他們方法中，詞語的匹配順序與前者相反[8]。與此類似，Snover等也在TER最初的完全匹配的基礎上增加了復述匹配[9]，他們抽取復述和匹配的順序與METEOR相同，而且他們均對復述匹配和完全匹配設置了不同的權重。

3 利用Markov網絡的復述構建

3.1 Markov網絡

Markov網絡是一種描述知識關聯關系的工具。由于構建Markov網絡時不考慮邊的方向，因此我們可以很容易地利用Markov網絡從實例數據中建立知識關聯。一個Markov網絡可以表示為一個二元組(V，E)，V為節點集合，E為一組無向邊的集合，E={(vi,vj)|vi≠vj∧vi,vj∈V}，E中的邊表示節點之間的依賴關系。在Markov網絡中每個節點v條件獨立于其非鄰居節點。

通過詞間相關性得出的Markov 網絡結構中，每個詞為一個節點，連接兩個節點的邊表示這兩個詞之間的關系，用權重表示其相關性。有些詞節點和彼此相連的邊構成了一個完全子圖，即任意兩個節點之間都有邊相連，我們把這樣的完全子圖稱作詞團C，包含n個詞節點且含有節點詞ti的詞團記為Cn(ti)，由Cn(ti)構成的集合記為S(Cn(ti))。圖1給出了一個詞的Markov網絡結構圖示例，其中，詞“mining”，“data”，“math”構成一個三階詞團，詞“compute”，“data”，“internet”，“laptop”構成一個四階詞團。我們利用Markov網絡中的詞團信息來構建復述。

圖1 詞的Markov網絡結構圖

3.2 構建詞的Markov網絡

本文采用詞的共現性來計算詞間的關系，計算詞共現詞頻時一般可以以整個文檔、段落或是一個固定長度的文本為窗口[11]。出于考慮效率方面的因素，本文選用固定長度的一段文本作為窗口單位。鑒于Markov網絡的無向性，在構造詞的Markov網絡時，采用兩個詞的綜合共現性來計算，如公式(1)～(3)所示。

(1)

(2)

(3)

其中，ti和tj指兩個詞，C(ti,tj)指在訓練語料中詞ti和tj在同一個窗口中同時出現的頻率，C(ti)和C(tj)分別表示在訓練語料中詞ti和tj出現的頻率，R(ti,tj)表示詞ti和tj之間的相關性，R值越大，兩個詞的相關性就越高。當R值大于給定的閾值時，則詞ti和tj相互依賴，即在詞的Markov網絡中有邊相連。

3.3 詞團的提取

構成詞團的詞彼此相互依賴，即存在某種語義關聯，可以認為他們表達了同一個概念或主題。如圖1中的詞“compute”，“data”，“internet”，“laptop”構成了一個四階詞團。根據離散數學中定理:C是一個團，那么必存在一個最大團Cmax使得C?Cmax。假設在一個Markov網絡中的節點集合T={t1,t2,...tn}構造團序列C0?C1?C2?...其中C0=C且Ci+1=Ci∪{tj}，j滿足tj?Ci，tj與Ci中各節點都有邊相連。由于T的詞節點個數|T|=n，所以最多經過n-|C|步，就使得這個過程終止，此序列的最后一個團，就是所要找的最大團。根據上述思想，本文從詞的Markov網絡中提取詞的詞團，即在Cn(ti)的基礎上獲取Cn+1(ti)。實現算法如算法1所示，其中S(Ck(ti))表示詞ti的k階詞團集合，S(Ck+1(ti))表示ti的k+1階詞團集合，set1、set2、set3、set4是定義的四個集合，算法1第6行表示取出S(Ck(ti))中的一個詞團，算法1第10-12行說明set1和set2 這兩個詞團只有兩個不同的詞，且這兩個詞有邊相連。我們用公式(4)計算每個詞團的權重。其中，n表示詞團中的節點個數，R(ti,tj)表示詞ti，tj的相關性。

(4)

3.4 復述構建

傳統詞的Markov網絡節點的粒度都是單詞級別的[11]。本文為了抽取不同粒度的復述對，首先統計每個句子中的n元文法在整個語料中出現的次數，次數超過預先設置閾值的語塊視為該句子中的短語(并非語言學意義上的短語)，然后將這些短語看成一個整體，并以它們為粒度對該句子進行切分，得到詞或短語用于構建Markov網絡的節點，利用這種方法抽取單詞或短語級別的復述實例。在后續的實驗中，我們把在語料中出現次數超過三次的語塊視為短語，并經驗性的設置短語抽取長度不超過兩個單詞。

在Markov網絡中構成詞團的詞項存在的語義相關包括語義相同和主題相關但語義不同。如果直接用詞團的權重度量兩個詞項互為復述的可能性，會存在大量相關而不相似的詞對。本文采用兩個詞項的n階詞團集合的相似性度量這兩個詞項互為復述的可能性，其本質是通過除這兩個節點以外的其他鄰居節點來計算這兩個節點的關系。因此，詞團的節點個數必須大于2，考慮到可以通過合并詞項的三階詞團得到該詞項的任何一個更高階的詞團，本文的后續實驗中通過計算兩個詞項的三階詞團集合的相似性，來度量這兩個詞項互為復述的可能性。如圖2中每個詞項的三階詞團集合分別是S(C3(t1))={t1，t2，t4}，S(C3(t2))={{t1，t2，t4}，{t2，t3，t4}}，S(C3(t3)={t2，t3，t4}，S(C3(t4))={{t1，t2，t4}，{t2，t3，t4}}因此，詞t2和t4更有可能互為復述。我們用公式(5)和(6)來計算詞ti,tj互為復述的可能性prob(ti,tj)，其中W3(ti,tj)表示所有同時包含詞項ti和tj的三階詞團的權重和，W3(ti)表示所有包含詞項ti的三階詞團的權重和，W3(tj)表示所有包含詞項tj的三階詞團的權重和:

(5)

(6)

圖2 三階詞團

4 實驗

4.1 實驗數據

為了比較利用Markov網絡提取的復述和基于樞軸法提取的復述在機器譯文自動評價方法上的性能，我們將提取的復述應用在機器譯文自動評價開源工具包terp-v1*http://www.umiacs.umd.edu/～snover/terp/和meteor-1.5*http://www.cs.cmu.edu/～alavie/METEOR/，并在WMT’14Metricstask上進行對比實驗。該評測包含10種不同的翻譯方向的任務，其中包含五種目標語言是英語的任務，五種源語言為英語，目標語言是其他歐洲語言的任務，每個任務的人工參考譯文只有一個，所提交的機器翻譯系統一共有110個。為了提取五種語言的復述，我們選用五個不同語言對的雙語平行語料進行提取復述表，其中本文的方法只用雙語平行語料的目標語言端文本，而基于“樞軸法”則需要包含源語言端和目標語言端的雙語平行語料。實驗中我們選用WMT’14和WMT’15的機器翻譯訓練語料Europarlv8、NewsCommentary*http://www.statmt.org/wmt15translation-task.html和Europarlv7*http://www.statmt.org/wmt14/translation-task.html進行提取復述表。語料的統計數據見表1。

表1 提取復述的語料

續表

4.2 實驗設置

在實驗中，分別用本文的方法和基于樞軸法的方法提取五種語言的復述，分別是英語、法語、德語、俄語、捷克語。由于利用樞軸法提取復述必須在雙語平行語料上完成，為了更準確地比較兩個方法，本實驗在提取復述時選用同一個雙語平行語料，但本文的方法只用雙語平行語料中的目標語言端。獲取到了復述后，我們將其應用在METEOR和TER上，對WMT’14 Metrics task的10個任務進行評測。

為了比較不同的復述抽取方法在機器譯文自動評價上的性能，我們利用皮爾森相關系數計算自動評價結果和人工評價結果的系統級別相關性:

(7)

同時，我們利用Kendall’sτ相關系數計算自動評價結果和人工評價結果的句子級別相關性:

(8)

在公式(8)中，Concordant表示人工評價與自動評價排名一致的集合，Discordant表示人工評價與自動評價排名不一致的集合。

4.3 實驗結果

我們提取了五種語言的復述表，表2是用本文的方法獲取的英語復述表的一部分實例。其中第一列為兩個詞互為復述的可能性，第二列和第三列分別是互為復述的兩個詞。本文提取的復述包含單詞級別和短語級別的復述。

表3和表5給出了機器譯文自動評價方法METEOR和TER在WMT’14Metricstask目標語言為英語的任務上與人工評價的系統級別相關性和句子級別相關性，表4和表6給出了其在目標語言為其他歐洲語言的任務上與人工評價的系統級別相關性和句子級別相關性。這四張表的第一列表示使用不同復述資源的METEOR和TER，其中“METEOR”和“TER”表示只做詞形上的完全匹配，不做復述匹配，“METEOR-Markov”和“TER-Markov”表示METEOR和TER使用基于Markov網絡模型提取的復述表進行復述匹配，“METEOR-Pivot”，“TER-Pivot”表示 METEOR和TER使用基于樞軸法提取的復述表進行復述匹配。

表2 基于本文方法提取的英文復述表的一些例子

從表3給出的數據可以看出，METEOR和TER在源語言分別為法語和德語的任務上，“METEOR-Markov”與人工評價的系統級別相關系數最大；“TER-Markov”在源語言為印度語的任務上，與人工評價的系統級別相關系數最大，且五個任務的系統級別相關系數的平均值與基于樞軸法的相等。從表5給出的數據可以看出，“METEOR-Markov”與人工評價的句子級別相關系數的平均值最大。這

表3 各自動評價方法在WMT2014上目標語言是英文的任務上的評價結果與人工評價的系統級別相關系數

Meterics系統級別相關系數fr-ende-enhi-encs-enru-enAverageTER0.9520.7750.6180.9760.8090.826TER-Pivot0.9580.7840.7190.9900.8110.852TER-Markov0.9570.7750.7290.9880.8110.852Meteor0.9690.8890.4840.9850.7860.823Meteor-Pivot0.9720.9080.4590.9750.8000.823Meteor-Markov0.9750.9180.4510.9690.7980.822

表4 各自動評價方法在WMT2014上源語言是英文的任務上的評價結果與人工評價的系統級別相關系數

Meterics系統級別相關系數en-fren-deen-hien-csen-ruAverageTER0.9570.3990.7720.9730.9300.806TER-Pivot0.9590.4220.7720.9690.9340.811TER-Markov0.9580.4400.7720.9640.9280.812Meteor0.9390.2400.9240.9790.9320.803Meteor-Pivot0.9420.2610.9240.9770.9330.807Meteor-Markov0.9410.2800.9240.9750.9310.810

表5 各自動評價方法在WMT2014上目標語言是英文的任務上的評價結果與人工評價的句子級別相關系數

Meterics句子級別一致性fr-ende-enhi-encs-enru-enAverageTER0.3710.2530.2650.1920.2660.269TER-Pivot0.3790.2600.2740.1980.2730.277TER-Markov0.3710.2530.2650.1920.2660.269Meteor0.4010.3190.3980.2670.3110.339Meteor-Pivot0.4140.3300.4160.2650.3260.350Meteor-Markov0.4040.3240.4210.2740.3280.351

表6 各自動評價方法在WMT2014上源語言是英文的任務上的評價結果與人工評價的句子級別相關系數

Meterics句子級別一致性en-fren-deen-hien-csen-ruAverageTER0.2460.2060.1460.2800.3580.247TER-Pivot0.2470.2150.1460.2850.3920.257TER-Markov0.2420.2160.1460.2820.3950.256Meteor0.2750.2120.3030.3100.4070.301Meteor-Pivot0.2800.2270.3030.3190.4230.310Meteor-Markov0.2760.2320.3030.3140.4260.310

可以說明利用Markov網絡模型構造的英語復述表不僅可以增強除詞形完全匹配外的有效匹配，而且在機器譯文自動評價方法METEOR和TER上的性能比基于樞軸法提取的復述表略好。

從表4給出的數據可以看出，“TER-Markov”在目標語言為德語的任務上，與人工評價的系統級別相關系數最大，且五個任務的系統級別相關系數的平均值最大。從表6給出的數據可以看出，“METEOR-Markov”在目標語言為德語和俄語的任務上，與人工評價的句子級別相關性最大，且與人工評價的句子級別相關系數的平均值與“METEOR-Pivot”相等。在這五個任務中目標語言為德語的任務參加翻譯的系統數量最多。這可以說明利用Markov網絡模型構造的其他歐洲語言的復述表在機器譯文自動評價方法METEOR和TER上的性能并沒有低于基于樞軸法提取的復述表，甚至還略有提升。

總之，實驗結果表明: 我們提出的利用Markov網絡構建復述表的方法不僅降低了對訓練語料的要求，而且還驗證了所提取的復述表在機器譯文自動評價方法上的性能不低于前人的方法。

5 總結和展望

利用Markov網絡在語義推理方面的優勢，本文提出了一種從單語文本中抽取復述的方法，并將其成功應用在機器譯文自動評價中，以有效的進行語義相同表達不同的詞或短語的匹配。與從雙語平行語料和單語可比語料抽取復述方法相比，該方法抽取復述時對單語文本沒有任何限制，因此它有很好的推廣性。在以后的研究中，我們將嘗試將其應用在機器翻譯短語表的擴展、自動文摘中近義詞的生成以及信息檢索中相關搜索的構建上，以豐富復述的研究。

[1] Papineni K, Roukos S, Ward T, et al. BLEU: a Method for Automatic Evaluation of Machine Translation[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, 2002: 311-318.

[2] Doddington G. Automatic Evaluation of Machine Translation Quality Using N-gram Cooccurrence Statistics[C]//Proceedings of the 2nd International Conference on Human Language Technology Research, 2002:138-145.

[3] Banerjee S, Lavie A. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments[C]//Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, 2005:65-72.

[4] Snover M, Dorr B, Schwartz R, et al. A Study of Translation Edit Rate with Targeted Human Annotation[C]//Proceedings of the Association for Machine Translation in the Americas, 2006:223-231.

[5] Chan Y S, Ng H T. MAXSIM: A Maximum Similarity Metric for Machine Translation Evaluation[C]//Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics, 2008: 55-62.

[6] Wang B, Zhao T, Yang M, et al. References Extension for the Automatic Evaluation of MT by Syntactic Hybridization[C]//Proceedings of the 3rd Workshop on Syntax and Structure in Statistical Translation, 2009: 37-44.

[7] Kauchak D, Barzilay R. Paraphrasing for automatic evaluation[C]//Proceedings of the Main Conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics, 2006: 455-462.

[8] Lavie M D A. Meteor Universal: Language Specific Translation Evaluation for Any Target Language[J]. Proceedings of the 9th Workshop on Statistical Machine Translation, 2014: 376-380.

[9] Snover M G, Madnani N, Dorr B, et al. TER-Plus: paraphrase, semantic, and alignment enhancements to Translation Edit Rate[J]. Machine Translation, 2009, 23(2-3): 117-127.

[10] 趙世奇,劉挺,李生. 復述技術研究[J]. 軟件學報,2009, 20(8):2124-2137.

[11] 洪歡,王明文,萬劍怡, 等. 基于迭代方法的多層Markov網絡信息檢索模型[J]. 中文信息學報,2013,27(5):122-128.

[12] Zhou L, Lin C Y, Munteanu D S, et al. ParaEval: Using Paraphrases to Evaluate Summaries Automatically [C]//Proceedings of the Human Language Technology Conference of the NAACL, 2006: 447-454.

[13] 胡金銘,史曉東,蘇勁松, 等. 引入復述技術的統計機器翻譯研究綜述[J]. 智能系統學報,2013,8(3):199-207.

[14] 李莉,劉知遠,孫茂松. 基于中英平行專利語料的短語復述自動抽取研究[J]. 中文信息學報,2013,27(6):151-157.

[15] 蘇晨,張玉潔,郭振, 等. 使用源語言復述知識改善統計機器翻譯性能[J]. 北京大學學報(自然科學版),2015,51(2):342-348.

[16] Barzilay R, McKeown K R. Extracting Paraphrases from a Parallel Corpus[C]//Proceedings of 39th Annual Meeting of the Association for Computational Linguistics, 2001: 50-57.

[17] Bannard C, Callison-Burch C. Paraphrasing with Bilingual Parallel Corpora[C]//Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, 2005: 597-604.

[18] Shinyama Y, Sekine S, Sudo K. Automatic Paraphrase Acquisition from News Articles[C]//Proceedings of the 2nd International Conference on Human Language Technology Research, 2002: 313-318.

[19] Barzilay R, Lee L. Learning to Paraphrase: An Unsupervised Approach Using Multiple-Sequence Alignment[C]//Proceedings of the 2003 Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics, 2003: 16-23.

[20] Zhou L, Lin C Y, Hovy E. Reevaluating Machine Translation Results with Paraphrase Support[C]// Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, 2006: 77-84.

[21] 甘麗新. 基于 Markov 概念的信息檢索模型 [D]. 江西師范大學碩士學位論文, 2007.

Enhance Automatic Evaluation of Machine Translation by Markov Network Based Paraphrases

WENG Zhen, LI Maoxi, WANG Mingwen

(School of Computer Information Engineering, Jiangxi Normal University, Nanchang， Jiangxi 330022, China)

It is a challenge to match the different expressions (words or phrases) which have the same meanings in the automatic evaluation of machine translation. Many researchers proposed to enhance the matches between the words in machine translation and in human references by extracting paraphrases from bilingual parallel corpus or comparable corpus. However, the cost of constructing the bilingual parallel corpus or the comparable corpus is high; furthermore, it is difficult to obtain a large corpus between some language pairs. In this paper, the paraphrases are extracted from the monolingual texts in the target language by constructing the Markov networks of words, and applied to improve the correlation between the results of automatic evaluation and the human judgments of machine translation. The experimental results on WMT14 Metrics task showed that the performances of the proposed approach of extracting paraphrase from monolingual text are comparable to that of extracting paraphrase from bilingual parallel corpus.

paraphrase; automatic evaluation of machine translation; Markov network; correlation

翁貞(1991—),碩士研究生,主要研究領域為機器翻譯。E-mail:wengzhen186@hotmail.com李茂西(1977—),博士,副教授,主要研究領域為自然語言處理和機器翻譯。E-mail:mosesli@jxnu.edu.cn王明文(1964—),博士,教授,主要研究領域為信息檢索、數據挖掘和機器學習。E-mail:mwwang@jxnu.edu.cn

1003-0077(2015)05-0136-07

2015-07-10 定稿日期： 2015-09-30

國家自然科學基金(61163006，61203313，61462044，61272212)；國家語委“十二五”規劃(YB125-99)；江西省自然科學基金(20132BAB201030，20151BAB207025)；江西省研究生創新基金(YC2014-S149)

TP391

A