基于子詞的歷史典籍術語對齊方法

車超，鄭曉軍

(1. 大連大學 先進設計與智能計算省部共建教育部重點實驗室,遼寧 大連 116024;2. 大連交通大學 機械工程學院，遼寧 大連 116028)

基于子詞的歷史典籍術語對齊方法

車超1，鄭曉軍2

(1. 大連大學 先進設計與智能計算省部共建教育部重點實驗室,遼寧 大連 116024;2. 大連交通大學 機械工程學院，遼寧 大連 116028)

由于歷史典籍術語存在普遍的多義性且缺少古漢語分詞算法，使用基于雙語平行語料的對齊方法來自動獲取典籍術語翻譯對困難重重。針對上述問題，該文提出一種基于子詞的最大熵模型來進行典籍術語對齊。該方法結(jié)合兩種統(tǒng)計信息抽取頻繁在一起出現(xiàn)的字作為子詞，使用子詞對典籍進行分詞，解決了缺少古漢語分詞算法的問題。針對典籍術語的多義性，根據(jù)典籍術語的音譯模式制定音譯特征函數(shù)，并結(jié)合其他特征使用最大熵模型來確定術語的翻譯。在《史記》雙語平行語料上的實驗表明，使用子詞的方法遠遠優(yōu)于未使用子詞的方法，而結(jié)合三種特征的最大熵模型能有效的提高術語對齊的準確率。

子詞；術語對齊；最大熵模型；音譯特征

Sub-Word Based Translation Extraction for Terms in Chinese Historical Classics

1 引言

典籍作為中華民族五千年文明和智慧的結(jié)晶，是現(xiàn)代中華文化的源頭。將這些優(yōu)秀的典籍翻譯為英文，推廣給全世界，是向外傳播中華文化，提高中國文化軟實力的重要途徑。典籍翻譯中最耗時和最有挑戰(zhàn)性的工作是典籍術語的翻譯。在有些情況下，譯者高達60%的實際翻譯時間花在了術語翻譯的查詢和研究中。本文研究基于雙語語料的歷史典籍術語對齊方法，試圖自動獲取大量術語翻譯對，幫助歷史典籍的翻譯。

歷史典籍中的“術語”是指歷史典籍中的官職名稱、封號、謚號、地名、人名等固定稱謂，與現(xiàn)代漢語的命名實體有著相同的特點與性質(zhì)。因此，本文將歷史典籍術語對齊等價為命名實體的對齊問題。基于雙語平行語料的對齊方法根據(jù)對齊的過程，可以分為兩大類: 一類是對稱方法[1-3]，這類方法分別在源語言和目標語言中識別出命名實體后，再建立它們之間的對齊關系。另一類方法是非對稱的方法[4-7]。只識別出源語言命名實體，然后在目標語言中確定它們的對應關系。由于上述方法都需要對漢語進行分詞，而目前的古漢語分詞方法較少[8]，古漢語分詞的標注語料也較少[9]，導致現(xiàn)有的分詞算法無法應用在古漢語分詞上。為了避開分詞，一種思路是將漢語中的每個字看作一個詞[10]，來對齊實體。但這種方法會增加很多候選實體，增加了計算量，忽略掉很多有意義的組合信息。近年來，在分詞方法中出現(xiàn)一種基于子詞的方法[11-12]，不僅能夠有效利用字本身的上下文特征，而且能夠有效融合字與詞的組合特征。因此，本文將中文分割為“子詞”，作為對齊的基本單位，提出一種基于子詞的最大熵模型來進行術語對齊。該方法將頻繁在一起出現(xiàn)的字抽取出來作為子詞，使用子詞對古漢語進行切分，保留了字與字的組合信息，解決了缺乏古漢語分詞算法的問題。同時，針對典籍術語音譯的不同模式制定音譯函數(shù)，并結(jié)合其他特征使用最大熵模型獲取術語的翻譯對。

2 子詞的獲取與篩選

本文方法使用的子詞分為兩字子詞和三字子詞。三字子詞是在兩字子詞基礎上獲得的，所以先介紹兩字子詞的獲取。

2.1 兩字子詞的獲取

獲取兩字子詞最常見和最簡單的方法是直接選取在一起出現(xiàn)次數(shù)較多的字符對作為子詞，但這種方法不僅會忽略低頻詞，而且會造成標記跨越問題。為此，本文采取多種統(tǒng)計信息相結(jié)合的方法來獲取子詞。目前，判斷二元關聯(lián)程度的統(tǒng)計方法主要有: 互信息法、t檢驗法、χ2檢驗法和似然假設檢驗法。互信息法適合衡量二元獨立性，而不是依賴性；t檢驗法的前提是要求字頻服從正態(tài)分布；χ2檢驗法對頻繁二元組的檢驗能力較強，但對低頻二元組的計算存在偏差[13]；似然假設檢驗法對低頻二元組的檢驗能力強，但是計算高頻二元組時，會出現(xiàn)浮點數(shù)溢出的現(xiàn)象。為此，本文對高頻字使用χ2檢驗法判斷其是否組成子詞，對低頻字使用對數(shù)似然比的方法判斷是否組成子詞。

2.2 三字子詞的獲取與篩選

由于很多兩字子詞是從同一個三字詞中分割得到的，如果只使用兩字子詞，會把一個完整的術語分為兩個詞，在后續(xù)的術語對齊階段，對齊模型必須找到這兩個詞才能對齊成功，增加了對齊模型出錯的幾率。例如，“未央宮”分割得到“未央”和“央宮”兩個子詞，這些子詞會把“未央宮”分為“未央”和“宮”，對齊模型如果遺漏了其中的一個詞會發(fā)生對齊錯誤。如果“未央宮”作為一個詞對齊，就比較容易對齊成功。所以我們將首尾相連的子詞合在一起組成三字子詞，避免對完整術語的分割，提高對齊的準確率。但是上述做法也會引入一些錯誤的子詞。古漢語中有些動詞和助詞如“曰”、“會”，經(jīng)常和人名、地名結(jié)合在一起使用。使用統(tǒng)計信息獲取子詞時，這些詞會和人名、地名連接在一起組成子詞，如“李克曰”、“會垓下”。這些經(jīng)常與人名、地名一起出現(xiàn)的詞，我們稱為黏連詞。黏連詞和術語組成子詞，會導致對齊錯誤，且很難更正。為了避免上述問題的發(fā)生，本文對常和人名、地名一起出現(xiàn)的動詞和助詞進行總結(jié)，建立黏連詞表，凡是子詞中出現(xiàn)黏連詞的，都將其從子詞列表中刪除。

3 歷史命名實體對齊模型

3.1 對齊方法的框架

給定雙語對齊語料，要抽取中英文術語對的步驟如下:

(1) 將中文句子按子詞分割，若句子中包含子詞，子詞算作一個詞，不是子詞的字符，每個字符算作一個詞，對雙語對齊語料進行英文到中文的詞對齊。

(2) 在英文句子中識別出英文術語。

(3) 對英文命名實體中的每個單詞找到對齊概率大于某一閾值的中文詞語作為其對齊的中文詞語，將中文詞語根據(jù)其在句子中出現(xiàn)的位置組成候選術語。

(4) 根據(jù)最大熵模型，計算每個候選命名實體的對齊概率值，選取概率最大的候選命名實體作為英文命名實體的對應翻譯。

上述(3)中，由于子詞包含多個字符，英文術語的不同單詞對齊的子詞之間有可能有重復的字，所以不能直接用組合子詞的方式來構(gòu)建候選術語翻譯。本文根據(jù)與源術語中各個單詞對齊的詞語在目標句子中出現(xiàn)位置來截取字符串作為候選術語翻譯，其具體過程為: 假設源術語在句子中的位置為i1到i2，則對應的目標術語在句子中的起始位置為jmin=mini1≤i≤i2{j=ai}，結(jié)束位置為jmax=maxi1≤i≤i2{j=ai}，選取jmin到jmax之間的子詞組成的短語作為候選術語翻譯。

3.2 最大熵模型

(1)

(2)

本文的最大熵模型使用YASMETFS軟件包*http: //www-i6.informatik.rwth-aachen.de/web/Software/YASMET.html進行參數(shù)訓練。

3.3 翻譯特征函數(shù)

對齊概率是構(gòu)建命名實體的基礎，本文在IBM模型1的基礎上構(gòu)建了詞匯對齊特征如式(3)所示。

(3)

其中p(J|I)表示長度為I的術語e對應的目標術語長度為J的概率。該概率應該通過雙語術語列表進行統(tǒng)計計算得到。但是目前沒有關于歷史典籍的術語列表，本文的語料規(guī)模太小，一些概率值很難進行平滑。但是我們觀察雙語平行語料發(fā)現(xiàn)，源術語中實詞的個數(shù)與目標術語中字符個數(shù)大體相等，根據(jù)此規(guī)律，對長度概率的計算方法如式(4)所示。

(4)

其中Len(e)表示e中動詞、名詞等實詞的個數(shù)，冠詞、介詞等停用詞不算在其中，有連接符“-”的詞算兩個詞，例如，Len(“the Marquis of Huai-yin”)= 3，其中的”the”,” of”不算，“Huai-yin”算作兩個詞。

3.4 音譯特征函數(shù)

歷史典籍中很多術語中包含地名、姓氏，而地名、姓氏大多是音譯的，所以歷史典籍術語翻譯中音譯現(xiàn)象特別多。歷史典籍中的音譯方法與現(xiàn)代漢語中的音譯方法完全不同。現(xiàn)代漢語中的音譯是從英語翻譯到漢語，其過程是由英語讀音找到近似的漢語拼音，再由漢語拼音轉(zhuǎn)化為漢語。而歷史典籍中音譯是從漢語翻譯到英語，直接由字的漢語拼音作為翻譯，如圖1所示。

圖1 現(xiàn)代漢語命名實體與歷史典籍術語的音譯過程對比

因為歷史典籍中術語的音譯過程與現(xiàn)代漢語的巨大不同，不能借用現(xiàn)代漢語的音譯特征函數(shù)。考慮到歷史典籍術語音譯一般遵循固定的模式，我們根據(jù)固定模式制定音譯特征函數(shù)。根據(jù)對術語翻譯的觀察，主要有兩類音譯模式: (1)術語中每個字都翻譯為漢語拼音，這種模式多應用于人名或地名的翻譯，如(“蕭何”，“Hsiao Ho”)；(2)漢語命名實體中某個固定稱謂進行意譯，其他的字符音譯，如(“齊桓公”，“Duke Huan of Ch’i”)。本文使用音譯單詞在英文術語中的比例作為音譯特征值，考慮到第二種音譯模式，進行意譯的固定稱謂，也算作音譯。定義音譯函數(shù)如式(5)所示。

(5)

其中:Len(e)含義如式(4)，Npinyin(c,e)表示英文術語e中含有中文術語c中字符對應漢語拼音的個數(shù)，含有“-”的拼音單詞算作兩個，Ntitle(c)表示中文術語c中含有固定稱謂的字符個數(shù)，是否含有固定稱謂通過查詢?nèi)斯そ⒌墓潭ǚQ謂列表來判斷。

3.5 同現(xiàn)特征函數(shù)

由于歷史典籍術語的多義性，術語與其翻譯不一定有嚴格的同現(xiàn)關系，但是錯誤的翻譯與術語肯定沒有同現(xiàn)關系。所有同現(xiàn)關系雖然不一定能幫助準確識別正確的翻譯，但是同現(xiàn)關系肯定能篩選出錯誤的翻譯。本文在定義同現(xiàn)特征時，既要考慮同現(xiàn)次數(shù)在中文術語中出現(xiàn)的比例，又要考慮在英文術語中出現(xiàn)的比例，同現(xiàn)特征定義如式(6)所示。

(6)

其中，F(xiàn)re(c,e)表示中文術語c和英文術語e一起出現(xiàn)的次數(shù)，F(xiàn)re(c)和Fre(e)分別表示中文術語c、英文術語e出現(xiàn)的次數(shù)。

4 實驗結(jié)果及分析

4.1 實驗設置

為了驗證本文的術語對齊方法，使用《史記》及其美國漢語家Burton Watson的《史記》節(jié)譯本構(gòu)建的對齊語料進行術語抽取。我們對《史記》中《秦始皇本紀》《秦本紀》《項羽本紀》《高祖本紀》《呂后本紀》建立包含4144句對的雙語對齊語料。由于本文先識別出英文術語再在中文中獲取其對應翻譯，對絕大部分術語都能找到其翻譯，所以本文方法的準確率和召回率相差很小，所以本文只使用準確率作為評測指標，其定義如式(7)所示。

(7)

其中:Ncorrect表示算法翻譯正確的術語對個數(shù)，Ntranslate表示算法計算出結(jié)果的術語對個數(shù)。

Burton Watson的《史記》節(jié)譯本中將所有的術語翻譯的首字母為大寫，所以在識別英文術語時比較簡單，直接把所有大寫單詞提取出來并進行簡單驗證就可以作為術語。按照大寫規(guī)則提取后再經(jīng)人工篩選，共從英文翻譯中提取出641個術語。本文仿照命名實體的分類，將歷史典籍術語分為人名、地名、組織名和其他。值得注意的是，我們將官職歸為了組織名，因為官職名不具體指某個人，而是表示某個組織的領導，和組織的關系更大，所以把它歸為組織名。其他是指除了人名、地名、組織名之外的其他術語，主要包括時間，如“初刻”等。本文各種類型的術語數(shù)量如表1所示。

表1 各類型術語的數(shù)量

4.2 實驗結(jié)果及分析

(1) 子詞的作用

為了驗證子詞對術語對齊的作用，本文對使用子詞和未使用子詞的對齊方法進行了對比。由于同現(xiàn)特征對子詞有一定的優(yōu)化，本文主要對使用翻譯特征和音譯特征的最大熵模型進行測試。使用與未使用子詞的最大熵模型的準確率對比結(jié)果如表2所示。

表2 使用與未使用子詞的最大熵模型準確率(%)對比

由表2的對比結(jié)果可以看出，使用子詞后顯著地提高了正確率，準確率提高30%左右。在術語的幾種類型中，對地名的準確率提高的最多。通過結(jié)合表3，我們分析發(fā)現(xiàn)，地名中的兩個詞作為一個搭配出現(xiàn)的可能性更大，容易被作為子詞抽取出來，體現(xiàn)出子詞的作用。基于子詞的方法對其他類型的術語沒有提升，主要是因為其他類型的術語在語料中出現(xiàn)的次數(shù)較少，同時術語中的兩個字作為搭配出現(xiàn)的頻率也很少，所以無法作為子詞抽取出來。基于子詞的方法就不能提高準確率。

為了探討使用子詞能夠提高對齊準確率的原因，本文使用子詞后將對齊結(jié)果由錯誤更正為正確的術語翻譯對抽取部分放在表3中。由表3可以看出，直接使用字來構(gòu)成術語翻譯時，經(jīng)常會遺失術語中的個別字造成術語翻譯錯誤。尤其是對于字數(shù)比較多的中文術語，遺漏的可能性更大。造成這種現(xiàn)象主要原因在于，詞匯對齊方法使用多個詞的對齊概率乘積作為短語的對齊概率，在詞對齊概率較小的情況，一個短語中含有的詞越多，短語的對齊概率越小，所以對齊方法傾向于詞較少的短語，這就造成了經(jīng)常遺漏字的現(xiàn)象。基于子詞的對齊方法將頻繁出現(xiàn)的字放在一起組成子詞進行對齊，子詞中包含字與字之間的組合信息，減少了遺漏字的現(xiàn)象。

表3 未使用子詞方法對齊錯誤的術語

(2) 各種特征函數(shù)的作用

本文選用IBM model 4作為基準方法與本文的最大熵方法進行對比。為了對比各種特征函數(shù)的作用，本文在詞匯對齊特征的基礎上分別加入音譯特征和同現(xiàn)特征與基準方法對比，各種特征函數(shù)的對齊結(jié)果如表4所示。同時，為了比較本文方法與基準方法的不同，將使用三種對齊特征的本文方法與基準方法進行了詳細對比，見表5。

表4 各種特征函數(shù)的對齊結(jié)果(%)

表5 本文方法與基準方法對齊結(jié)果對比

由表4的對齊結(jié)果可以看出，在使用子詞之后，即使作為基準方法的IBM Model 4也達到了將近80%的準確率。從整體來看，使用三種特征的本文方法比基準方法準確率高6%。從表5來看，本文方法在基準方法的基礎上修改了65個對齊結(jié)果，將其中44個錯誤結(jié)果修改為正確結(jié)果，將八個正確結(jié)果修改為錯誤結(jié)果，21個結(jié)果仍舊是錯誤的。本文方法修正的結(jié)果大部分是正確的，且正確率優(yōu)于基準方法，這說明三種對齊特征的加入能有效提高對齊效果。

在最大熵模型使用的幾種特征函數(shù)中，由于人名和地名大量的使用了音譯，音譯特征對人名和地名的對齊最有效。例如，“General Li”使用詞匯對齊特征的結(jié)果為“酈將”，因為“酈將軍”翻譯為“General Li”符合“固定稱謂意譯+個別字音譯”的翻譯模式，可以認為是音譯。使用音譯特征之后，找到了正確的翻譯“酈將軍”。“Feng Chieh”使用翻譯特征的結(jié)果為“劫“，使用音譯特征之后更正為完整的對齊結(jié)果“馮劫”。由以上結(jié)果可以看出，音譯特征可以幫助補充完整遺失詞語的對齊結(jié)果。音譯特征對組織名的翻譯沒有任何提升效果，是因為組織名如“the Privy Treasurer”等幾乎不使用音譯，所以音譯特征對組織名的翻譯不起作用。

同現(xiàn)特征對組織名的翻譯作用最大，這主要是有兩個原因造成的。一方面，本文的同現(xiàn)特征是和翻譯特征和音譯特征結(jié)合在一起使用的，很多人名和地名的翻譯使用音譯特征和同現(xiàn)特征都能找到，所以使用音譯特征后，給翻譯特征提高準確率的余地很少。而組織名中音譯較少，更便于發(fā)揮同現(xiàn)特征的作用。另一方面，組織名中含有的詞語較多，相比詞語較少的人名和地名，同現(xiàn)特征更為明顯，同現(xiàn)特征函數(shù)的取值更高。例如，“the Excellent Scion”使用詞匯對齊和意譯特征的對齊結(jié)果為“冠軍”，由于“卿子”也和“the Excellent Scion”一起出現(xiàn)，所以加入“同現(xiàn)特征”后的對齊結(jié)果為“卿子冠軍”。

由表4可以看出，所有的對齊特征都未提升其他類型的術語的對齊精度，其他類型的術語一共有三個，對齊錯誤的有兩個，分別是“the Day of Concealment”和“the Wang Sacrifice”，由于這兩個短語出現(xiàn)的次數(shù)較少，這兩個術語在詞匯對齊階段就出現(xiàn)錯誤，正確中文術語翻譯中的有些詞語并未出現(xiàn)在候選詞語中，所以后續(xù)的步驟中，最大熵模型使用什么特征也無法獲取正確的中文翻譯，其他類型的術語的準確率一直未改變。

5 總結(jié)

本文針對歷史典籍的術語對齊中存在的問題，提出了一種基于子詞的最大熵模型進行術語對齊。該方法使用子詞來分割中文句子，解決了沒有古漢語分詞算法的問題。針對歷史典籍術語的多義性，使用包含翻譯特征、音譯特征和同現(xiàn)特征的最大熵模型進行對齊。在《史記》平行語料上的實驗結(jié)果表明，基于子詞的方法遠遠優(yōu)于不使用子詞的方法，最大熵模型使用的各種特征對不同類型的術語都有效果。

由實驗結(jié)果分析可以看出，術語對齊受詞對齊結(jié)果的影響很大，詞對齊結(jié)果不正確，后續(xù)無法抽取英文正確的翻譯。此外，本文雙語平行語料的規(guī)模較小，獲取的歷史典籍術語數(shù)目不多。所以本文以后的工作，一是要提高詞對齊的正確率，二是自動獲取更大規(guī)模的雙語平行語料。

[1] Huang Fei，Vogel Stephan，Waibel Alex. Automatic extraction of named entity translingual equivalence based on multi-feature cost minimization[C]//Proceedings of the Workshop on Multilingual and Mixed-language Named Entity Recognition，Sapporo，Japan，2003: 184-192.

[2] 陳鈺楓，宗成慶，蘇克毅. 漢英雙語命名實體識別與對齊的交互式方法[J]. 計算機學報，2010，34(9): 1688-1696.

[3] Yufeng Chen，Chengqing Zong. A Semantic-Specific Model for Chinese Named Entity Translation[C]//Proceedings of the 5th International Joint Conference on Natural Language Processing，Chiang Mai，Thailand，2011: 138-146.

[4] Y. Al-Onaizan，K. Knight. Translating named entities using monolingual and bilingual resources[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics，2002: 400-408.

[5] R.C. Moore. Learning translations of named-entity phrases from parallel corpora[C]//Proceedings of the tenth conference on European chapter of the Association for Computational Linguistics，2003: 259-266.

[6] Chun-J en Lee，Jason S Chang，Jyh-Shing R. Jang. Alignment of bilingual named entities in parallel corpora using statistical models and multiple knowledge sources[J]. ACM Transactions on Asian Language Information Processing (TALIP)，2006，5(2): 121-145.

[7] 陳懷興，尹存燕，陳家駿. 一種命名實體翻譯等價對的抽取方法[J]. 中文信息學報，2008，22(4): 55-60.

[8] 楊志勝，基于字根法的古漢語分詞模型[D]. 天津大學碩士學位論文，2007.

[9] 留金騰，宋彥，夏飛. 上古漢語分詞及詞性標注語料庫的構(gòu)建——以《淮南子》為范例[J]. 中文信息學報，2013，27(6-15).

[10] Donghui Feng，Yajuan Lv，Ming Zhou. A new approach for English-Chinese named entity alignment[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing(EMNLP)，Barcelona，Spain，2004: 372-379.

[11] 趙海，揭春雨. 基于有效子串標注的中文分詞[J]. 中文信息學報，2007，21(5): 8-13.

[12] 黃德根，焦世斗，周惠巍. 基于子詞的雙層 CRFs 中文分詞[J]. 計算機研究與發(fā)展，2010，(5): 962-968.

[13] 王素格，楊軍玲，張武. 自動獲取漢語詞語搭配[J]. 中文信息學報，2006，(06): 31-37.

[14] Franz Josef Och，Hermann Ney. Discriminative training and maximum entropy models for statistical machine translation[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics，2002: 295-302.

CHE Chao1,ZHENG Xiaojun2

1. Key Laboratory of Advanced Design and Intelligent Computing(Ministry of Education),Dalian University,Dalian, Liaoning 116024,China;

2. School of Mechanical Engineering,Dalian Jiaotong University,Dalian,Liaoning 116028,China)

It is difficult to extract term translation pairs from the parallel corpus of historical classics due to lack of proper word segmentation for ancient Chinese. In this paper we introduce a term alignment method using maximum entropy model based on sub-words. In our approach,we first extract word pairs as sub-words by chi-square statistics and log-likelihood ratio test, and apply them to segment Chinese. Then we build transliteration features according to the transliteration model of classics terms, and perform term alignment through maximum entropy. The use of sub-words addresses the lack of word segmentation method for ancient Chinese and the maximum entropy model integrating three kinds of features deals with the polysemy of terms. The experiments on the parallel corpora ofShiJishow the effectiveness of the sub-words by a large improvement in performance compared to the IBM Model 4.

sub-words; term alignment; maximum entropy model; transliteration

車超(1981—)，博士，主要研究領域為自然語言處理。E?mail：chechao101@163．com鄭曉軍(1982—)，博士，主要研究領域為智能計算。E?mail：cnzhengxj@163．com

2014-05-15 定稿日期： 2014-09-11

國家自然科學基金(61402068，61304206)

1003-0077(2016)03-0046-06

TP391

A