基于句本位句法體系的古漢語機器翻譯研究

韓 芳，楊天心，宋繼華

(北京師范大學 信息科學與技術學院，北京 100009)

?

基于句本位句法體系的古漢語機器翻譯研究

韓 芳，楊天心，宋繼華

(北京師范大學 信息科學與技術學院，北京 100009)

該文通過構建古漢語詞典模型，結合黎錦熙先生提出的句本位句法相關規則構造知識庫，使用詞義消歧算法，對古漢語進行基于規則的機器翻譯研究。實驗以基于句本位語法進行句法標注后的《論語》作為測試語料，以句子為單位進行機器翻譯，通過獲取待選義項、構建義項選擇模型、調整句法順序等手段生成翻譯結果集，并使用二元語法模型對結果進行優選，得到機器翻譯最終結果，最后對翻譯結果進行了分析測評。

關鍵詞:古漢語；黎氏語法；詞義消歧；機器翻譯

1 引言

機器翻譯主要分為基于統計和基于規則兩個陣營，而又以基于統計的機器翻譯為主。目前機器翻譯(Machine Translation, MT)領域主要是針對不同語種間進行研究，對古漢語進行機器翻譯的研究較少。盡管當前已經存在著一些古今漢語平行語料資源，為基于統計的古今漢語機器翻譯研究提供了大量支持，但僅利用目前已存的句對齊古今平行語料進行基于統計的機器翻譯，數據量仍顯不足。由于古今漢語是一脈相承的，本文根據古漢語所特有的漢語言特點，探討基于規則和統計相結合的古今漢語機器翻譯。

本文采用黎氏語法體系作為句法分析及機器翻譯的規則指導，對《比較文法》及《古代漢語》*王力主編，吉常宏等編/1999-05-01/中華書局的部分詞法規則進行了提取和歸納。由于古今漢語的句法體系有較大的差異，本文不能僅利用針對現代漢語所提出的句法體系進行句法分析。黎錦熙先生所著的《比較文法》對比古今中外，闡述漢語句法的詞位和句式，對于比較和變換的理論和方法的研究，具有著珍貴的借鑒意義[1]。

本研究的語料以先秦兩漢的作品為主，選取具有典型先秦語言風格的《論語》。本文采用基于規則的機器翻譯方法，首先對詞典構造進行介紹，然后重點說明機器翻譯的具體實現及算法，最后給出實驗結果及測評分析。

2 詞典構造

本文首先構造供機器翻譯使用的詞典， 詞典構造的流程如圖1所示。

圖1 詞典構造基本步驟

2.1 基本來源

本文以國內第一部使用現代語言學和辭書學的觀點、方法編著的古漢語方面的權威詞典《古漢語常用字字典》作為詞義庫，構造機器翻譯所需詞典。該詞典收錄古漢語常用字4 100余個。一般情況下，每條常用字包含有注音、詞性、釋義以及舉例等屬性項，部分詞語含有【注】【辨】又等詳細內容。

2.2 預處理

由于機器翻譯時，所需信息為詞性及義項，故而對詞典處理時，首先針對不規則的詞義項進行規整化預處理，清除多余標記、統一對齊級別、標點符號等格式問題，插入Tab鍵以標識每個義項。處理詞典文本，生成具體條目形式為[詞 <詞性1>義項1… <詞性n>義項n…]，作為機器翻譯的詞語級別的翻譯指導。刪除義項的具體實例，僅保留義項內容。去除注音、序號等非必要標識。經過預處理后，生成的詞典文本如下所示。

哀<形>悲痛；傷心。<形意動>以……為哀。<動>憐憫；同情。<名>喪事。

2.3 義項形式化

直接使用詞義庫預處理后的義項集作為字詞翻譯的依據，單個詞語的解釋固然明確了然，但是，由于義項無法組成完整流暢的句子，對于整個句子進行翻譯則并不合適。因此，為構造機器翻譯的詞典，需對特有描述形式的詞典義項進行改造，去除義項中描述性質的語言。表1展示了一部分特殊義項進行形式化處理的規則。

表1 部分義項的形式化處理規則

2.4 詞法規則引入

文言語法和白話語法之間具有較大差異，文言文在詞序上不規律，詞類活用現象較多，如助詞的使動用法，名詞的意動用法等，并且文言文中的省略現象較多[2]。故而在構造詞典時，應針對以上具體情況加以分析，使得詞典義項能反映上述語法規律。本研究在構造詞典過程中，對省略詞及虛詞現象做了規則總結，具體如下。

2.4.1 省略詞翻譯規則

根據句本位句法體系，句子的結構包括三種成分： 主要成分(主語和謂語)，謂語可連帶成分(賓語、表語、賓補)以及附加成分(定語、狀語、補語)[3]。古漢語中的詞語省略現象主要體現在主干成分上的主語、謂語和賓語的省略。

主語的省略主要為對話省、自述省、主語承前省三種情況，也有表示時間、天象和氣候等的省略；賓語的省略主要為承前、泛指及對話省。這兩種類型的省略不做翻譯。

謂語省略主要是對話省、承前省和判斷省。其中，對話省和承前省不進行翻譯，或者根據句子結構進行承前翻譯。判斷省主要指判斷句中的系動詞省略，一般翻譯為“是”。系動詞最初由上古漢語判斷句發展而來，隨著語言的發展，越來越多的副詞先后出現在弱化了的“是”之前，語音停頓逐漸讓位于“是”[4]。

本文把經過提煉翻譯現象后的翻譯規律，轉換成形式化語言作為機器翻譯的規則。如省略詞翻譯規則轉換成可描述語言為“<動>是”。

2.4.2 虛詞翻譯規則

現代漢語語法著作中，一般多把名詞、動詞、代詞、形容詞、數詞、量詞、副詞歸為實詞，而把介詞、連詞、嘆詞、語氣詞歸為虛詞。而在古代漢語的語法研究中，對于虛詞的研究特別重視。漢語相較于西方語言，沒有“時”的形態變化，但“態”的語法形式很豐富，因此，在語法格局上主要是探討虛詞和語序的問題[5]。

漢語中的虛詞雖然有重要的句法功能，但在很多情況下又可以省略；漢語句子成分和語義關系之間也沒有明確的一一對應關系[6]；如果能把握好對虛詞的翻譯，將會對機器翻譯性能的提高給予極大地幫助。

1) 常用虛詞

本文對19個常用虛詞進行翻譯規則的整理，對虛詞作為不同句法成分時所對應的不同詞性以及具體義項進行分析歸納，得到作為機器翻譯中虛詞翻譯的規則。所整理的19個常用虛詞為： 之、其、是、或、末、者、所、于、以、為、與、諸、焉、而、則、也、矣、乎、哉。對經過句法分析的《論語》進行統計后發現，詞性種類最多的10個虛詞如表2所示。

表2 虛詞的分布

在《論語》中，詞性最多的10個虛詞的平均詞性數目為3.3個，平均出現頻度為196.6次。而統計所有詞語的平均詞性數目為1.27個，平均出現頻度為8.6次，由此可見，古漢語翻譯中虛詞的出現頻度之高，以及它對翻譯的重要性。

2) 舉例： “之”字翻譯規則

根據句本位語法標注體系的詞性標注規范，作為在《論語》中出現詞性種類最多的“之”字，詞性分別為： 語氣詞(y)、動詞(d)、名詞(m)、代詞(i)、的(j1)、介詞(j)，在詞義庫中主要有以下幾類用法，如圖2所示。

圖2 “之”字的詞義庫義項

根據詞義庫義項及《古代漢語》來分析虛詞跟語法功能的關聯性，進行虛詞翻譯時，加上相關的句子成分信息，使翻譯更有指導性。作為<代>，“之”可譯作“他”，然而“他”可以在現代漢語中作主語、賓語、定語，而“之”多數用作賓語，因此加入翻譯規則，“<賓語><代>之”對應翻譯“它、他、它們、他們、自己、你、您”，并根據義項的先后位置賦以不同權重。而“<定語><代>之”則一般用來指示， 對應

翻譯為“這個、這、這種”。翻譯規則如表3所示。

表3 “之”字的翻譯規則集

2.4.3 特殊詞翻譯規則

詞典中沒有出現而其組成成分全都出現的詞語，如“邦域”，則可綜合“邦”及“域”的解釋。部分嘆詞、語氣詞不做翻譯。另外，在主語、賓語位置上也常出現詞典中不存在的詞語，如人名、地名，這些詞典中不存在而其組成成分也不在詞典中存在的詞語在翻譯時保留原詞。

2.5 詞典生成

經過預處理、形式化及加入部分詞法規則后，再將詞典條目按詞性劃分不同義項，最終得到了包括7 653個詞語條目的可供古漢語進行機器翻譯使用的詞典。以“好”字為例，具體條目的一般形式如圖3所示。

圖3 “好”字的字典條目

3 機器翻譯算法

本文以句子作為基本單位，利用基于句法樹到樹的翻譯模型，采用全詞消歧與機器翻譯結合的方法對古漢語進行了機器翻譯。翻譯時，將古漢語的句法樹片段理解成一個句法分析規則，把翻譯路徑的概率理解成句法分析的概率，這樣我們得到用于現代漢語句法分析的概率語法[7]。實驗的工作流程如圖4所示。

圖4 機器翻譯總流程

首先利用《論語》的句法分析結果，借助詞典進行詞語層面上的翻譯，隨后對詞語順序進行調整，針對古漢語的多個義項，利用義項選擇模型以及二元語法模型進行消歧，來選取最優翻譯結果。

3.1 句法分析

根據句本位句法體系，對《論語》進行句法分析，不僅能得到分詞、詞性信息，并且句子結構上也有了主干和修飾成分的劃分，也能夠如依存句法一樣反映句中各成分的依存關系。從“句”著手進行句法分析和機器翻譯，無疑能更真實地反映“句子”的內涵，提高機器翻譯的準確性。

為保證本實驗機器翻譯結果不受自動句法分析器效果的約束，實驗采用的測試語料為已進行人工標注的《論語》。依照黎錦熙先生的句本位語法標注體系，進行人工標注后的《論語》語料規模為2 416句、96 109字。

表4 《論語》詞性標記及頻次

例如，“其為人也孝悌，而好犯上者，鮮矣”的句法樹如圖5所示。

圖5 句法分析的形式化

圖5的形式化句法結構為主謂結構，其中，“者”作為主語，代指特定人，“鮮”為形容性謂語。由“其為人也孝悌，而好犯上”的主謂結構形容句作定語修飾，其中，“孝悌”和“好犯上”分別為形容性和動賓結構的謂語，構成復謂語結構。

3.2 語序調整

古漢語具有多種變式，變式即是相較于現代漢語語法規則而言，古漢語所與眾不同的地方。對古漢語的變式進行研究，并將此變式規則置于翻譯句法規則中，能夠提高翻譯句子的流暢性。

根據句本位語法體系，古漢語存在六種變式，表5統計了《論語》中出現的變式的統計數據。本實驗對其中存在的五種變式進行了語序調整。

表5 《論語》中變式的分布

3.3 義項選擇模型

古漢語在翻譯時，如何進行義項取舍，實屬不易，本文根據黎氏語法的相關詞法規則構建了義項選擇模型。該模型綜合義項的詞性、詞長等因素，通過計算義項與原詞在詞性、詞長上的相關度，賦以義項不同權重值。

3.3.1 詞性權重

式中： X為酶活大小(U/g)； A為樣品測定的吸光度； K為吸光常數(吸光值為1時酪氨酸的量)；6.5為反應的總體積(mL)；10為反應時間10 min；a為稀釋倍數。

假定待翻譯古漢語句子S 的分詞信息為sw1,sw2,……，swn,對應的詞性信息為sp1,sp2,……，spn。在詞典中針對某詞的解釋有m 個不同詞性，詞性集為{tp1,tp2,……,tpm}，對應于tpi詞性又有k 個不同義項表達wi, j， 義項集為{wi,1,wi,2,……wi,k}，其中，i∈[1,m]。

現在，假設tpi′與待翻譯詞語的詞性相同，則根據詞性相關度，義項wi, j的權重值為pposi,j，如式(1)所示。

(1)

式(1)中，如果tpi為原分詞對應的詞性，此時相應詞性下的義項值設權重為1，其他詞性義項權重為0；如果tpi不含有待選詞性，則將所有權重值設為1/m。

《論語》中詞語的平均詞性為1.27個，如“好”字，具有三種不同詞性，詞性對翻譯影響較大。而通過對詞典的統計分析，可得到每個詞語在詞典中具有平均詞性個數2.39，意義差別較大的義項類5.18，表達個數8.62個。

3.3.2 詞長權重

(2)

其中，r為len(wi,j)的一個系數，設為1/m。

則針對wi,j在長度上的權重值為：

(3)

考慮到解釋義項一般跟原詞項成一比例，應根據詞長因素附以一個權重。由上式與平均長度相差越小，給予的權重值越大。

3.4 實現翻譯

假定待翻譯句子S經句法分析后，分詞結果個數為m，分別為sw1,sw2,……，swm，針對每個分詞的義項集為Wi={wi,1,wi,2……，wi,n}，那么對S進行翻譯，可視作從每個分詞結果swi所對應的義項集Wi中選出義項wi(wi∈Wi)，組成詞語序列t=w1w2……wm，假如任意的wi有n種選擇，則翻譯過程就是從nm種可能的詞語序列集合T中選擇出一個T#。此時可將古漢語機器翻譯過程轉換成字典受限詞義消歧(Word Sense Disambiguation，WSD)過程，待消歧詞義項為每個分詞結果swi所對應的義項集Wi[8]。

根據n元語法模型的思想，借鑒基元為“詞”的二元語法模型，本文將選擇最佳T#方案的問題轉換為求最大概率問題。即在w1w2……wm序列中，假定每個詞出現的概率只與前面相鄰的詞有關。則方案t的概率為：

(4)

其中，P(w1|w0)為w1作為句首詞語出現的概率。

根據上下文信息以及義項選擇模型設定的權重，確定翻譯結果，則整個過程可描述為：

(5)

即句子的翻譯結果與S中詞語的上下文信息C以及詞性pos、詞長Len相關。

求出某句所有翻譯方案集T中使該句概率p(t)最大的方案T#，具體計算公式為：

(6)

某句所有詞語序列方案T中，P(t)越大，該方案為正確機器翻譯結果的可能性越大。

具體實現翻譯可采取有向無環圖的算法，其基本步驟如3.4.1～3.4.3所示。

3.4.1 構建轉移概率矩陣

假設該古漢詞典包含有n個不同義項表達，則為此翻譯系統構建的同現概率矩陣為一個n×n的馬爾可夫一階轉移概率矩陣P=(Pij)。

(7)

這里轉移概率的獲取所采用的訓練語料主要為已進行分詞、詞性標注的2000年1月份《人民日報》，同時，隨機抽取《論語》的200句用以4.1小節的測評，余下的2 216句文本使用《論語譯注》[9]中的譯文進行分詞，作為針對古漢語翻譯而言相似度和覆蓋度更高的訓練語料[10]。

3.4.2 構造有向無環圖

對于古漢語句子，可根據句子具體分詞結果，構造出不同義項組成的有向無環圖w1w2……wm(wi∈Wi),Wi={wi,1,wi,2……wi,n}。圖6所示為圖5句子的一部分“其為人也孝悌”進行機器翻譯的有向無環圖，每個節點分別表示“義項/詞性權重/詞長權重”，每條路徑上是轉移概率值，如有向無環圖中的某條邊(wi,wj)不在轉移矩陣中，置轉移概率為：

(8)

對于特殊詞義項解釋，如表1<動使動>“使()快慰”，以小括號作為分隔，視為兩個節點項，并將緊隨此詞后一詞語的義項插入這兩節點間，形成有向無環圖。

3.4.3 最短路徑獲取

因概率相乘獲取T#數值過小，為了防止概率相乘導致浮點溢出情況的出現，通常將有向邊的長度定義為：

Cost(wi|wi-1)=

(9)

圖6 翻譯過程的有向無環圖

容易看出，P(Wi|Wi-1)越大，詞性、詞長權重越大，Cost(Wi|Wi-1)越小。本文利用Dijkstra算法獲取最短路徑。最終生成的翻譯結果為： “他的/為人/也/孝悌/，/然而/喜好/觸犯/上面/的人，/少/啊。”(圖7)。

圖7 機器翻譯結果圖示

4 實驗結果及分析

4.1 結果測評 本實驗使用隨機抽取的200句《論語》語句進行機器翻譯，采用N元匹配的方式對翻譯結果進行測評。N元匹配的基本思想是： 用機器翻譯結果中連續出現的N元組(n個字、詞或者標點)與參考譯文中出現的N元組進行比較，計算完全匹配的N元組的個數與機器翻譯結果中N元組的總個數的比例[11]。這是一種類似準確率的計算方法，它允許一個原文有多個參考譯文，當譯文較多時，評測的結果可減小因不同人進行翻譯導致的譯文用詞、語序、句型、翻譯風格等不同的影響，使得測評更為客觀[12]。

本實驗所采用評測方式為BLEU分值，一種基于N元匹配評測方法中最有代表性的評測指標。這里采用一元、二元、三元匹配方式進行測評，其中，一元組的基本單位為詞。具體公式為：

(10)

式(10)中，一元組總個數為機器翻譯結果詞語個數，完全匹配的一元組的個數指機器翻譯結果與參考譯文的結果相比，完全匹配的個數。

實驗1直接獲取詞典義項，通過歧義消歧手段實現翻譯，實驗2在此基礎上加入義項選擇模型，實驗3僅加入詞性選擇模型，實驗4加入詞法規則，實驗5將所有規則系統加入進行翻譯。以楊伯峻編著的《論語譯著》的譯文作為評測參考譯文，將《論語》進行機器翻譯的200句與參考譯文進行句對齊，并對機器翻譯結果進行評測，具體BLEU分值如表6所示。

表6 翻譯結果的一元BLEU得分

另外，本文將基于統計的機器翻譯設為對比實驗6，采用自然語言處理中常用開源語言模型訓練工具srilm.tgz、詞語對齊工具giza-pp-v1.0.5.tar.gz以及統計機器翻譯工具moses-2010-08-13.tgz三者作為該實驗統計翻譯系統。訓練語料選取詞語級別標注句對齊《論語》中的1 916句，選取300句作為測試語料進行模型訓練，與實驗5相同的200句作為測評語料。

分別對實驗5和對比實驗的翻譯結果進行一元組、二元組和三元組匹配測評，具體的BLEU分值如表7所示。

表7 翻譯對比結果的BLEU得分

從上述對比實驗的200句測評語料內隨機抽取50句進行人工測評，分別針對翻譯句子的流暢度、忠實度兩方面進行打分，并設置評分區間為0(完全不能理解|完全不忠實原文信息)至4(完全易于理解|完全忠實于原文)[13]。

對抽取的每句原文的基于規則及統計的翻譯結果進行打分，并對所得分數進行平均，最終獲得了如下結果(表8)。

表8 翻譯結果的人工評價得分

4.2 結果分析

本文利用基于句本位句法結構進行基于規則和統計相結合的機器翻譯。由表7可見，在處理古今漢語機器翻譯上，加入詞法規則信息以及詞性權重模型更有優勢。同時應看到，機器翻譯結果一元BLEU分值并不高，這是由于本實驗僅利用常用詞詞典在相應規則處理下生成供機器翻譯用的詞典義項，詞典義項并非根據大規模詞對齊的平行語料獲取，另外，由于基于規則的翻譯結果文本較長，而BLEU測評法有著長度懲罰方面的缺陷。

通過表7，可看到基于規則的古今漢語機器翻譯在二元、三元匹配上效果較好，結果比較穩定，三元組BLEU分值優于基于統計的機器翻譯結果。

并且，在表8中，通過對兩種翻譯方式的結果進行人工對比評分，也可看出基于規則的翻譯結果在語句翻譯流暢度和語序穩定性上更好。這是由古漢語具有多種變式、語法結構較為復雜的特點決定，本文采用的基于規則的機器翻譯能夠通過基于黎氏語法規則的句法分析，獲得古漢語句法變式，進行語序調整等手段將翻譯結果語序調整成符合現代漢語語法規范的句子。

本文基于“句本位”語法對機器翻譯的實現進行了探索，可對傳統語法體系進行驗證，有利于古今漢語語法比較研究。在當今統計占主流的形勢下，基于規則的嘗試是對機器翻譯技術的領域拓展，為自然語言處理領域中機器翻譯技術提供了新的思路。下一步，如能根據一個詞對齊的古今漢語進行統計，獲取詞對信息，用以修正字典的詞對翻譯信息，或引入完善的同義詞林，并細化語法規則庫，將可以有更好的翻譯效果。

[1] 袁本良. 比較與變換——紀念黎錦熙先生《比較文法》出版 70 周年[J].貴州大學學報: 社會科學版, 2003，21(6): 105-109.

[2] 史存直. 文言語法[M]. 北京: 中華書局,2005.

[3] 黎錦熙. 新著國語文法[M].北京: 商務印書館，1992.

[4] 馮勝利,汪維輝. 古漢語判斷句中的系詞[J].古漢語研究, 2003，1: 30-36.

[5] 李正栓,孟俊茂. 翻譯專業本科生系列教材·機器翻譯簡明教程[M].2009年9月1日: 上海外語教育出版社,第1版.

[6] 張政. 機器翻譯——任重而道遠[C]//國際譯聯第四屆亞洲翻譯家論壇論文集, 2005，4(1)：9-11.

[7] 熊德意, 劉群, 林守勛. 基于句法的統計機器翻譯綜述[J].中文信息學報, 2008，22(2): 28-38.

[8] 王博. 中文全詞消歧在機器翻譯系統中的性能評測[J].自動化學報, 2008. 34(5): 7-13.

[9] 楊伯峻. 論語譯注[M].北京: 中華書局，1980.

[10] 姚樹杰, 肖桐, 朱靖波. 基于句對質量和覆蓋度的統計機器翻譯訓練語料選取[J].中文信息學報, 2011. 25(2)：72-77.

[11] 黃瑾, 劉洋, 劉群. 機器翻譯評測介紹[J].術語標準與信息技術，2010，16(1)：36-40.

[12] Callison-Burch C, M Osborne, and P Koehn. Re-evaluating the role of BLEU in machine translation research[C]//Proceedings of Annual Meeting of European Association Computational Lingustics. 2006,3(1):20-29.

[13] M Eck and C Hori. Overview of the IWSLT 2005 Evaluation Campaign[C]//Proceedings of IWSLT,2005,2(1): 11-32.

Ancient Chinese MT Based on Sentence-focused Syntax

HAN Fang，YANG Tianxin，SONG Jihua

(Shool of Information Science and Technology, Beijing Normal University, Beijing 100009, China)

This paper presents a rule based Machine Translation for Ancient Chinese under the framework of sentence-focused syntax theory by Li Jinxi. The rule base also includes ancient Chinese Dictionary knowledge and word sense disambiguation knowledge. The whole translation process consists of the word sense selection the sentence syntax reordering. Utilizing a bi-gram model, sentences in the “Analects of Confucius” are translated and evaluated in the experment.

ancient Chinese; Li Jinxi grammar; word sense disambiguation; machine translation

韓芳(1987—)，碩士研究生，主要研究領域為自然語言處理。E?mail：hfsophie123@qq．com宋繼華(1963—)，教授，博士生導師，主要研究領域為語言信息處理、計算機教育應用。E?mail：songjh@bnu．edu．cn楊天心(1987—)，碩士研究生，主要研究領域為自然語言處理。E?mail：yangtianxin1987@qq．com

1003-0077(2015)02-0103-08

2012-07-22 定稿日期： 2013-01-07

TP391

A