基于語義的多文種編碼方案ＳｅｍａＣｏｄｅ
2008-01-01 00:00:00李培峰朱巧明錢培德
計算機應用研究 2008年6期
摘要：分析了現有的幾種常用編碼方案的優點和缺陷，并提出了一個基于語義的多文種編碼方案SemaCode及其模型。SemaCode模型分為六個層次，分別為交換傳輸層、字符碼位層、詞碼位層、屬性層、語義層和應用接口層。SemaCode是一種面向信息處理、可擴展的多文種編碼方案，它在碼位層SemaCode以字符為單位編碼，并在編碼中嵌入文種信息；在詞碼位層提出了以語義為軸心，以詞為單位的編碼理念；在屬性層引入了一種對編碼進行描述的標簽機制，使得編碼具有良好的可描述性和可擴展性；另外，在語義層以及其他層次提出了基于碼位和描述協議的語義表示方法，并使得SemaCode成為一種具有部分可計算特性的編碼方案。最后，在與Unicode對比的基礎上，分析了SemaCode所具有的優勢。
關鍵詞：多文種編碼方案； 語義； 層次結構； 詞編碼
中圖分類號：TP391.12文獻標志碼：A
文章編號：1001－3695(2008)06－1652－05
0引言
在計算機中文字信息一般用代碼來表示，而用代碼表示的文字實際上就是二進制的數字流，其本身并不能表達文字的語義[1]。在計算機對文字進行處理的過程中，除了文字的代碼外，程序還需要更多的附加信息，如詞匯結構、詞性、詞義和句子的結構等，以提高處理的效果。但是用二進制代碼表示的文字目前還無法滿足這個需求。所以，如果讓文字信息的編碼本身具有一定的語義描述能力，將對信息處理技術具有重要的價值和意義。
目前，把文字映射到代碼的編碼方案有上百種，其中最典型的是Unicode和MetaCode。Unicode是目前文字代碼的國際標準。Unicode的編碼模型共分為五層，分別是應用層、字符屬性層、字符/控制層、碼位層和傳輸層[2，3]。Unicode是目前最好的多文種文字編碼方案，并且已經得到了廣泛應用，解決了在多文種信息處理中的很多問題。但是，Unicode也存在很多缺點，主要包括編碼的依據不確定、漢字容量的可擴充性差、漢字沒有統一的編碼、編碼缺乏語義信息等[4]。其他的編碼方案基本與Unicode類似。
Steven Edward提出了一種基于描述標簽的編碼方案MetaCode[5]，該編碼方案制定了一系列的描述性標簽來描述字符。MetaCode的優點是為字符提供了更多的描述信息，與Unicode相比更適合信息處理；但它也存在很多缺點，如提供的描述信息太少、語義支持較弱、文字編輯不方便、MetaCode是16位編碼方案、編碼空間過小等[6]。
本文認為多文種信息處理需要一種高效、方便而且能夠表示語義的編碼方案，但目前現有的編碼方案還不能滿足這個需求。本文將提出一種全新的基于語義的多文種編碼方案SemaCode，用于表示字形、字符和淺層語義，從而更好地滿足信息處理的需要。
1SemaCode設計思想和模型
1．1設計思想
1）多文種編碼
SemaCode必須能夠包容現存主流文種的絕大多數文字，并且能夠在一個編碼空間中并存；另外，還需要考慮它的擴展性和兼容性。
2）基于碼位和描述協議的語義表示
SemaCode表示的語義分為兩層：利用碼位本身表示基本的語義，再結合描述性標簽來表示稍高層次的語義，從而可以兼顧方案的靈活性和應用對語義的不同層面需求。
3）具有部分可計算能力
SemaCode在碼位層的語義定義為部分可計算，如能通過計算得出簡體漢字詞組“國家”對應的繁體詞組是“國家”等。
4）以語義為軸心，以詞為語義單位的編碼方案
在絕大多數的語言中，詞是表意的最小單位。英文中的字母（字符級）和漢語中的漢字（字符級）僅僅是一種符號而言，它們本身并不表意。所以，完全基于字符的編碼方案無法正確描述語義，只有以詞為基本單位才能使得編碼方案在代碼層表意。同時，在基于理解的自然語言處理系統中，語義是連接詞匯的主要橋梁，所以，SemaCode還必須以語義為軸心。只有這樣，才能在同一語言的不同詞匯、不同語言的同義詞匯間建立聯系，從而為各種信息處理服務。
5）基于文種的碼位分配方式
本文認為Unicode的一個最大失誤是它以字形/字符為編碼依據，而并不進行文種的區分。例如字符串“漢字”的Unicode編碼是“22 6F 57 5B”，如果該字符串被識別為日文、韓文、中文（中國臺灣）和中文（中國大陸），則顯示的字形分別如圖1所示。可以發現，相同的Unicode編碼在不同文種下顯示的字形是不一樣的。
為此，SemaCode提出了基于文種編碼的理念，即不同文種的字符，即使字形相似或相同也應該編在不同的碼位上，從而避免了不同文種漢字的字形混淆問題。
1．2SemaCode模型
根據以上的基本思想，本文設計的以語義為軸心、以詞為語義單位的文字編碼方案SemaCode的模型如圖2所示。在圖2中，把SemaCode模型分為六個層次，分別為交換傳輸層、字符碼位層、詞碼位層、屬性層、語義層和應用接口層。
2SemaCode各層設計和分析
2．1字符碼位層（character code point layer）
在字符碼位層，SemaCode是真正意義上的基于字符而不是字形的編碼方案。而Unicode卻不是，因為它存在兼容字符、字符變形、一個字符多個碼位、由多個字符組成的復雜字符等情況[7]。
SemaCode是一個32位（4 Byte）的編碼方案。其定義如下：
定義1〈SemaCode〉::=〈C4〉〈C3〉〈C2〉〈C1〉
〈Ci〉::=〈8位組成的一個字節〉(1≤i≤4)
為了方便，本文將采用Sxxxxxxxx來表示一個SemaCode編碼。
字符碼位層的基本設計準則如下：
a)所有文字的碼位按文種進行分類，相同字符的碼位在不同文種中具有對應關系。
b)針對字符而不是字形編碼，每個字符只有一個碼位，但可通過其他屬性來區分字形。變形字符、兼容字符和多碼位字符在SemaCode中將只有一個碼位。
c)在字符碼位層，收錄了Unicode定義的所有復雜字符，但是它們在SemaCode中被當做一般字符看待。在SemaCode內部，不認為一個字符可以由其他若干個字符組合而成。把若干個字符組合成一個字符的過程將由上層來實現。
d)定義的字匯與Unicode的最新版本5．0兼容，并可以方便地進行擴充。
SemaCode把所有Unicode定義的字符分為拼音文字和CJK象形文字（包括符號）兩大類。每個字符只分配一個碼位，在Unicode中存在多個碼位的字符在SemaCode中僅分配一個碼位。例如，空格在Unicode中有16個碼位，分別表示不同的用途；而在SemaCode中只有一個S00000020來表示空格，而空格的不同含義將由屬性層提供。
SemaCode拼音文字來自Unicode的各個拼音文字和符號區，其碼位定義如下：
定義2SemaCode拼音文字＝{C4C3C2（6~7)C2（0~5）C1｜0x00≤C4≤0xDF，C3=0，C2（6~7)=0， 0x0≤C2(0~5)≤0x3F，0x00≤C1≤0xFF}
其中：C2（6~7)表示C2的第6、7位；C2C1的范圍為0x0000~0x3FFF；C3恒為0；C4是文種代碼，范圍為0x01~0xDF，可以表示222種不同文種。如果C4=0則表示當前的文種是默認文種或該字符是中性字符。中性字符是指該字符可以在很多文種中使用，一般是指數字、標點符號、數學字符等通用字符。
對CJK象形文字的碼位分配是SemaCode的一個特色。為了區分不同國家的象形文字，在SemaCode的字符碼位層定義了文種信息。目前已經定義了六個文種，分別是中文（大陸/新加坡）、中文（臺灣/澳門）、中文（香港）、日文、韓文（韓國）和韓文（朝鮮），分別對應的C4字節為0xE1~0xE6。象形文字的代碼用20位表示，所以每個文種可以收錄大約72萬個漢字和字符。象形文字的字匯來自于Unicode的CJK象形文字和符號區，但不包括各種兼容字符。使用CJK漢字的各文種在字符碼位層的編碼定義如下：
定義3CJK象形文字={C4C3(4~7)C3(0~3)C2C1｜0xE1≤C4≤0xE6， C3(4~7)=0， 0x0≤C3(0~3)≤0xF， 0x40≤C2≤0xEF， 0x00≤C1≤0xFF}。
2．2詞碼位層（phrase code point layer）
自然語言中表示語義的基本單位是詞；同樣，在計算機對自然語言處理中，詞也是對語言進行語義處理的基本單位[8]。現有的所有編碼方案實際上都是為了實現文字處理的基本功能（如輸入、存儲和顯示）而設計，這種編碼方法在飛速發展的自然語言處理技術面前實際上已經過時了。因此本文認為，以詞為單位的編碼方案就是一個在目前情況下的可行方案。這樣，文字信息處理的基本單位就與信息表示和存儲的基本單位相一致，從而處理自然語言。
SemaCode的詞碼位層主要利用字符碼位層空余的碼位對詞組進行編碼，每個詞條和字符一樣，也擁有32位的碼位（但可以通過碼位區分詞和字符）。拼音文字中單詞的代碼定義如下：
定義4單詞（拼音文字）={C4C3C2（6~7)C2（0~5）C1｜0x00≤C4≤0xDF， 0x1≤C3≤0xFF， C2（6~7)=0， 0x0≤C2(0~5)≤0x3F， 0x00≤C1≤0xFF}。
由漢字等象形文字構成的詞以及由各種符號構成的詞（如日文假名構成的詞）也用32位表示。其中：C4字節為0xE1~0xE6，分別是中文（大陸/新加坡）、中文（臺灣/澳門）、中文（香港）、日文、韓文（韓國）、韓文（朝鮮）等文種；C3的最高一位作為平面代碼，可以把整個詞集合分成兩個平面（0和1）。不同文種中平面的定義如表1所示。
為了便于理解，C4、C3和C1的取值范圍為ASCII的字符區，一共可以定義963個不同標簽；C2則為標志字節，一方面用于區分字、詞的碼位，另一方面用于標簽的配對。SemaCode標簽被分為三個集合，分別為開始標簽、結束標簽和值標簽，它們通過C2來區分。開始標簽、結束標簽的C2分別為0xF0和0xF1，而值標簽的范圍為0xF2~0xF7。標簽總是成對出現，而且是可嵌套的；另外，每個標簽可以有一個或多個標簽值，也可以沒有。
為了方便表示各個標簽，下面用帶單下劃線的粗體顯示各個標簽，標簽用C4、C3和C1三個字節表示的ASCII字符來顯示，而實際上這些標簽都是32位的SemaCode編碼。另外，為了區分開始標簽、結束標簽和標簽的值或類型，在結束標簽和標簽值前分別添加字符“/”和“：”。例如SemaCode某個開始標簽值是S6469F072。其中0x64是“d”，0x69是“i”，0x72是“r”，則用“dir”表示。圖4是一個采用了屬性標簽的例子。第一行是SemaCode代碼，第二行是顯示的結果。
另外，SemaCode的標簽以及標簽值還可以進行新定義和擴充。具體標簽的定義請參考文獻[4]。
2．4語義層（semantic layer）
字符屬性層描述了字、詞以及字符流所附帶的部分語義，這些語義是表層語義，主要用于文字的顯示和一些基本的處理工作。語義層則描述了作為語言特性的文字的基本特征和屬性，這些特征和屬性包括詞性、詞形和詞義等信息。那么，如何為SemaCode提供語義描述呢？本文引入了一種以義項為軸心的機制。所謂以義項為核心，是指各文種的文字之間的聯系是建立在義項基礎上的。圖5就是這種機制的一個例子。
由于有的詞存在多義性，在圖5中，各個詞和義項的關系是多對多的關系，即一個義項有多個詞與它對應，同樣一個詞可能有不止一個義項。在SemaCode的語義層，本文采用義項的索引值來表示詞的語義。所謂義項的索引值是指用一個絕對數來表示具體的義項，而這個索引值所表示的義項將存儲在ontology中，可以根據這個索引值獲取其語義，并可以獲得在同文種或不同文種中具有該語義的詞匯。
為此，本文在語義層首先定義了詞的詞義項標簽，用一個SemaCode碼位來表示，其范圍如定義7所示，一共可以表示224個不同的語義（即C4C3C1就是對應義項的索引值）。
定義7SemaCode詞義項取值范圍={C4C3C2C1|0x00≤C4≤0xFF，0x00≤C3≤0xFF，0xF8≤C2≤0xF9， 0x00≤C1≤0FF}。
開始標簽和結束標簽是成對出現的。C2＝0xF8表示開始標簽；C2＝0xF9表示結束標簽。本文用mxxxxxx和/mxxxxxx（加粗、下劃線，其中xxxxxx為C4C3C1的值）表示SemaCode詞義項開始標簽和結束標簽。另外，用下劃線表示這個詞采用詞碼位層編碼，如“飛機”表示這個詞的編碼是詞碼位層，用4 Byte表示，而不是用兩個字符碼位層的編碼（8位）表示；不用下劃線的則表示用字符碼位層的編碼表示。圖6就是一個具有詞義項的詞的例子。它表示詞組“飛機”的義項為0x00124F，而詞“在”沒有義項，“飛行”的義項是0x003243。
除了詞義這個語義內容外，本文還引入了其他的一些語義標簽。這些標簽的定義方式與屬性層的定義類似；不同之處是這些標簽的值和屬性層不同，其C2的范圍是0xFA~0xFB。SemaCode定義的主要語義標簽有詞性、詞的形態、時態等。
語義標簽可以與屬性標簽混合在一起使用，而且由于它們之間完全可以通過C2來區分，在表達時沒有前后之分，即語義標簽可以在屬性標簽前，也可以在屬性標簽后。所有屬性和語義標簽的定義都存儲在ontology的標簽描述庫中，可以從該庫中獲得標準的標簽定義及其含義。
2．5交換/傳輸層（exchange/transmission layer）
交換傳輸層主要解決SemaCode和其他編碼方案的轉換傳輸問題。為了方便起見，傳輸時本文采用UTF－7作為SemaCode的編碼方法。
2．6應用接口層（application interface layer）
應用接口層是SemaCode和各種上層應用的接口，它主要為各種應用提供所需不同特性的文字信息。不同的應用對文字信息的需求是不一樣的。所以，應用接口層應該提供多種接口，用于提供適合具體應用的文本信息。
應用層實際上還體現了SemaCode的另外一個特色：編碼方案不僅僅是一個對文字的編碼方案，而且也包含了一系列的實現過程。以往的編碼方案把編碼方案和具體的實現相分離，造成了很多使用的不方便。例如Unicode提供了一個代理機制，很多漢字是用高位代理和低位代理來表示的，但是現在很少有應用程序在碰到代理時把它轉換為漢字，而是直接扔掉不處理。這實際上是由于編碼機制和實現嚴重分離造成的。而SemaCode不僅是一套編碼方案，而且是一個應用平臺的一部分；它不是孤立存在的，而是與一系列的數據、接口和實現相關聯的。這樣做不僅方便了應用程序對信息的處理，而且也使得信息表達能夠更加明確，為具體的應用所理解。
3字符等價關系
所謂等價關系，是指兩個字符串表示相同的內容，這在信息處理中經常用到。由于用SemaCode表示的文本不是平面文本，不能用簡單的方法來判斷。為此，本文定義了四種等價關系來實現字符等價的判斷，分別是完全等價、碼位等價、字符等價和語義等價，其定義如下：
定義8在SemaCode中，
如果兩個字符串完全相等，則稱為完全等價（傳輸層）；
如果兩個字符串中字符的碼位相同，則稱為碼位等價（字符碼位層和詞碼位層）；
如果兩個字符串表示的字符相同，則稱為字符等價（屬性層）；
如果兩個字符串表示的字符的語義是相同的，則稱為語義等價（語義層）。
可以總結出以下的規則來表示這四種等價之間的關系：
規則1如果兩個字符串是完全等價，則它必然是內容等價和字符等價，可能是語義等價（存在詞的多義性）。
規則2如果兩個字符串是碼位等價，則它必然是字符等價，但不一定是完全等價或語義等價。
規則3如果兩個字符串是字符等價，則它不一定是完全等價、碼位等價或語義等價。
規則4如果兩個字符串是語義等價，則它不一定是字符等價、完全等價或碼位等價。
規則5如果兩個字符串是字符等價，只要其中有一個沒有語義標簽，則認為它們是語義等價。
如表2所示，例子1和2兩個字符串完全一樣，所以是完全相等；例子3和4兩個字符串不一樣，但是字符的碼位是一樣的，所以是碼位等價；例子1和5的字符是相等的，所以它們是字符等價；例子4和5的語義索引項一致，則表示它們是語義相等。例子1和5的字符等價，由于例子1沒有語義標簽，本文認為它們也是語義等價。
SemaCode也是一種基于字符的編碼方案。為了實現字符級別的等價，需要提供一個等價關系表來表示字符間的等價關系。在字符級別，SemaCode一共有以下兩種等價關系表：合并字符的等價關系表和連接字符的等價關系表。另外，在語義層的等價關系主要通過兩個途徑來實現即通過判別語義標簽中的索引值是否相等；無語義標簽則判別字符是否等價。
4SemaCode和Unicode對比分析
4．1字符碼位層
SemaCode的字匯全部來自于Unicode，這樣是為了便于實現兩者之間的轉換。在字符碼位層，SemaCode是一種真正意義上的基于字符的編碼方案；而Unicode卻不是，其編碼的依據較為混亂。為此，SemaCode把Unicode中相同的字符合并到一個碼位，而其差異將由屬性層來說明。表3就是數字“9”的一個例子。在Unicode中，數字“9”根據形狀的不同有多個碼位；而在SemaCode中，只用了一個碼位S00000039，通過不同的描述來進行區分。這樣，在Unicode中，由于碼位不等，這五個字符不被認為是同一個字符，而這明顯是錯誤的。在SemaCode中，由于它們存在碼位等價關系，被認為是相同字符。
另外，SemaCode是一種區分文種的編碼方案，通過C4字節來區分不同的文種。這樣的做法雖然浪費了存儲空間，但是卻可以提供文種信息，應用程序不再需要花費時間進行文種判別（而且現在也沒有完全正確的文種識別算法[9]），不會出現在Unicode中存在的亂碼和顯示的字形不正確等問題。如果有的信息處理技術不需要文種信息，那么在處理時過濾掉C4便可。
4．2屬性的表示
SemaCode提供了豐富的標簽來定義字符、詞和字串的屬性，這些標簽與XML一樣，可以嵌套，也可以自己定義。這樣，用SemaCode表示的文本就擁有了Unicode所不具有的眾多屬性，而這些屬性使得文字具有一定的自描述性，可以更好地為上層信息處理服務。
屬性標簽的引入還可以方便字符的擴充。在Unicode中添加字匯的惟一方法是定義新的碼位；而在SemaCode中，有時無須新增碼位，通過屬性標簽的組合，完全可以添加新的字匯。而且Unicode的碼位是有限的，總有用完的時候；而SemaCode的屬性由于可以自由組合，可以說是無窮無盡的。例如需要添加一個數學符號“SVM”，在Unicode中的方法是添加一個碼位；而在SemaCode中只需用“lig SVM /lig”表示便可。
4．3等價關系
等價關系在Unicode中稱為equivalence，它通過等價關系表來實現[3]。Unicode的等價關系異常復雜，提供了四種表單來定義等價關系，包括normalization form D、C、KD和KC。它們之間的轉換異常復雜和不方便，而且還存在很多問題[6]。
在SemaCode中，由于它是基于字符編碼，大大簡化了等價關系，只需要提供合并等價關系表和連接等價關系表即可。在Unicode中由于字形變換而存在的復雜等價關系在SemaCode中已經不存在了。但是，由于引入了詞編碼的概念，在SemaCode中需要建立詞與字符之間的等價關系，這種等價關系需要一張龐大的等價關系表。
為了實現等價，SemaCode通過應用接口層為應用程序提供了解決方案，應用程序可以調用該接口來判斷字符串在哪個級別上等價。
4．4語義表示
語義的表示是SemaCode的最大特色，而Unicode卻不能表示本文所討論的語義。SemaCode為基于內容的信息處理技術提供了底層的支撐環境，從而促進了各種以文字為對象的信息處理技術的發展，特別是多文種信息處理技術的發展。SemaCode也是一種以語言的最小單位——詞為語義表示單位的編碼方案，是一種面向文字信息處理的編碼方案，這也是Unicode所不具有的。另外，本文提供的語義表達方式具有很好的可擴展性，而且也便于不斷地更新和擴充。
4．5SemaCode的缺點
當然，SemaCode也存在一些缺點，主要有：
a)用4 Byte來存儲字符和詞，再加上各種標簽，所需的存儲空間較大；
b)基本的編碼機制和現有的標準Unicode不一致，不能直接被已有的應用程序使用，只能轉換為Unicode以后才能使用；
c)需要多種轉換機制，如字符串到詞的轉換等，這些轉換所需的時間較長。
5結束語
多文種化以及如何適合語言文字信息處理技術的要求是目前文字編碼方案面臨的挑戰。本文提出了一個基于語義的多文種編碼方案SemaCode，是解決這個問題的一個嘗試。筆者已經實現了一個利用SemaCode存儲多文種信息的語料庫，并構建了一個原型平臺。SemaCode還存在很多問題，下一步工作是進一步完善該模型，在ontology的構建、等價關系表的完善以及原型平臺的進一步開發等方面進行深入的研究。
參考文獻：
［1］朱巧明.漢字信息處理基礎[M]． 北京：清華大學出版社，1997.
[2]Unicode Inc.The Unicode standard[EB/OL]．（2006）. http://www．unicode．org/reports/index．html.
[3]ASMUS F． Unicode 4．1 tutorial：fundamental specifications[C]//Proc of the 28th Internationalization and Unicode Conference.Orlando: Unicode Inc，2005．
[4]PERUGINI S，McDEVITT K，PICHARDSON R，et al． Enhancing usability in CITIDEL: multimodal，multilingual and interactive visualization interfaces[C]//Proc of the 4th ACM/IEEE－CS Joint Conference on Digital Libraries.New York:ACM Press，2004: 315－324．
[5]李培峰，朱巧明．一個基于ISO10646的漢字輸入法模型[J]．中文信息學報， 2006，20(5):91－96.
[6]STEVEN E. A framework for multilingual information processing[D].[S.l.]: Florida Institute of Technology， 2003.
[7]ASMUS F． Unicode 4．1 tutorial:Unicode algorithms [C]//Proc ofthe 28th Internationalization and Unicode Conference.Orlando: Unicode Inc，2005.
[8]朱巧明，李培峰，吳嫻.中文信息處理技術教程[M].北京：清華大學出版社，2005.
[9]李培峰，朱巧明，錢培德.多文種環境下漢字內碼識別算法的研究[J]．中文信息學報，2004，18(2):73－79.
注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文
