融合多策略的維吾爾語詞干提取方法

賽迪亞古麗·艾尼瓦爾，向 露，宗成慶，艾克白爾·帕塔爾，艾斯卡爾·艾木都拉

(1. 新疆大學 信息科學與工程學院，新疆 烏魯木齊 830046；2. 中國科學院自動化研究所 模式識別國家重點實驗室，北京 100190)

?

融合多策略的維吾爾語詞干提取方法

賽迪亞古麗·艾尼瓦爾1，向 露2，宗成慶2，艾克白爾·帕塔爾1，艾斯卡爾·艾木都拉1

(1. 新疆大學 信息科學與工程學院，新疆 烏魯木齊 830046；2. 中國科學院自動化研究所 模式識別國家重點實驗室，北京 100190)

維吾爾語是形態變化復雜的黏著性語言，維吾爾語詞干詞綴切分對維吾爾語信息處理具有非常重要的意義，但到目前為止，維吾爾語詞干提取的性能仍存在較大的改進空間。該文以N-gram模型為基本框架，根據維吾爾語的構詞約束條件，提出了融合詞性特征和上下文詞干信息的維吾爾語詞干提取模型。實驗結果表明，詞性特征和上下文詞干信息可以顯著提高維吾爾語詞干提取的準確率，與基準系統比較，融入了詞性特征和上下文詞干信息的實驗準確率分別達到了95.19%和96.60%。

維吾爾語；形態；詞干提取；N-gram模型；詞性特征；上下文詞干信息

1 引言

維吾爾語屬于黏著性語言，黏著性語言的構詞和構形都是以詞根、詞干綴接不同的詞綴來實現語法功能。每一個詞的構成和其語法意義的表示都是依賴于不同詞綴的綴接，每個詞綴都有獨立的語法意義，詞綴不僅改變詞根的詞義，也會決定一個詞在句子中的作用。任意詞根追加不同的詞綴(所屬性，時態，復數)都會生成不同的新詞。所以正確切分維吾爾語詞干和詞綴才能正確揭示其詞類詞性和語法關系。另一方面維吾爾語中同形異義詞數量較多，這使得維吾爾語詞干提取歧義現象嚴重。所以設計一個高準確率的維吾爾語詞干提取系統，對維吾爾語信息處理的研究具有重要的意義。

維吾爾語作為黏著語，它的語法形式都是通過在單詞原形的后面或前面添加一定的附加成分來完成的。這就造成在真實維吾爾文本中，一個維吾爾語詞對應多個字符串的形式。由于詞典的規模是有限的，所以這些不同的形式不可能都錄用在詞典中。因此，有必要找出詞干與相應的附加成分的關系。并且，維吾爾語詞切分中，除了詞干提取以外還要進行詞綴的切分。這是因為構形附加成分與詞干互相黏連，并且構形附加成分也互相黏連。構形附加成分往往可以表示一定詞匯意義或語法意義，所以，如果不將這些黏連在一起的構形附加成分完整的切分開，不能準確的領會整個單詞的含義。并且，構形附加成分還能表示詞與詞之間的關系。所以，切分構形附加成分是很有必要的。同時，構形附加成分的切分對句法分析、語義分析、語用分析等更深層的自然語言處理的應用都有很重要的意義。

維吾爾語屬于阿爾泰語系突厥語族，是典型的黏著性語言，與漢語的字符順次拼接的構詞方法相比，日語、蒙古語、土耳其語和阿拉伯語等形態變化復雜的語言的構詞規則更加復雜。詞干提取在維吾爾語、阿拉伯語、土耳其語等黏著性語言中與中文分詞一樣很重要。當前，阿拉伯語和其他黏著性語言的詞法分析研究已經做到可用的水平，并取得了一定客觀的成果：日語[1]、阿拉伯語[2]、蒙古語[3],但對維吾爾語的詞法分析研究起步比較晚，很多研究者提出了不同的方法。文獻[4]提出了基于有限狀態自動機和詞典查詢相結合的維吾爾語名詞詞干提取算法，此方法中由于維吾爾語的語音和諧，詞綴與詞干詞尾相似導致過度切分的情況。文獻[5]提出了最大熵模型和有限狀態自動機相結合的維吾爾語詞干提取方法。準確率已達到91.27%，這個方法對名詞詞干提取是有效的，但對其他詞性的詞語詞干提取效果不理想。文獻[6]提出了一個有向圖模型來對維吾爾語詞進行詞法分析，詞干提取準確率達到94.7%，但是此模型會導致一個詞有過多的非法候選，以致引入無謂的歧義。文獻[7]提出了使用條件隨機場的維吾爾語詞干提取方法，這是一個純統計的方法，準確率達到88.9%。 文獻[8]提出了通過建立詞干庫、詞綴庫，規則和統計相結合的維吾爾語詞干提取方法，詞干詞綴切分準確率可以達到95%。該工作提出了基于語素(包括詞根和詞綴)的N-gram語言模型的詞干提取模型。此方法取得了較好的性能，但依賴于詞干、詞綴庫，同時也存在切分過碎的問題。由于維吾爾語的構詞和形態變化比較復雜，N-gram語言模型雖然可以取得一定的準確率，但是仍存在下述問題不能解決。

(1) 對同一個詞進行詞干、詞綴切分時，其詞干出現歧義，例如，

aldi(拿了)=al(拿)+di(第三人稱單數，過去式詞綴)；

aldi(前面)= aldi(前面)。

(2) 詞干的一部分被看成是詞綴，出現錯誤切分,例如，

dENiz(海)= dENiz(海)；

dENiz(海)=dE(說)+Niz(第一人稱單數)。[錯誤切分]

(3) 對同一個詞進行詞干、詞綴切分時，其詞綴出現錯誤，例如，

ademler(人們的)=adem(人)+ler(第(二)三人稱復數)；

ademler(人們的)=adem(人)+lar(第(二)三人稱復數)。[錯誤切分]

(4) 音變字母可以還原成不同的字母，而且都具有實際意義，例如，

bErip(去了)=bar(去)+ip；

bErip(給了)=bEr(給)+ip。

為了解決上述問題，僅僅只考慮待切分的維吾爾語詞本身和簡單的詞干、詞綴統計信息是遠遠不夠的，我們必須要考慮維吾爾語詞本身的構詞特點和語言特征。同時一個詞語的意義往往受到特定上下文的影響，為了消除歧義切分，我們還必須考慮上下文信息。因此，在已有工作的基礎上，我們提出了融合語言特征的詞干提取模型。

1) 在大規模文本語料庫的基礎上，對詞干詞性和詞綴的連接形式進行統計，從而得到詞干詞性-詞綴結構的初步表達模式。這樣可以通過詞干詞性和詞綴的連接模式解決過度切分和詞干詞綴連接形式不合法的問題。

2) 利用大規模文本語料庫來學習上下文詞干之間的轉移概率并利用此轉移概率作為選擇最優切分的依據，從而可以解決維吾爾語詞切分歧義的問題。

本文第二節介紹維吾爾語構詞特點，第三節介紹維吾爾語詞詞干提取方法，第四節是實驗和結果分析，第五節是結論。

2 維吾爾語構詞特點

維吾爾語是一種黏著語言，與漢語和英語有很大不同，詞與詞之間以空格隔開，具有比較復雜的形態變化。按附加詞根的位置，附加成分有前接附加成分(前綴)和后接附加成分(后綴)，其中多數附加成分為后接附加成分，只有少數為前綴附加成分。在維吾爾語中，語音和語義結合的最小單位是語素，語素是由一個或一個以上的語素組成的，他們都有一定的意義或語法意義。維吾爾語的語素可以分為三類，即詞根、構詞附加成分和構形附加成分。維吾爾語單詞的組成形式是“prefix+stem+suffix1+suffix2+…+suffixn”，結構如圖1所示。

圖1 維吾爾語單詞的結構

其中，prefix是前綴，stem是詞干，suffix1+suffix2+…+suffixn是復合詞綴，suffixi(i=1,2,…,n)是單詞綴，復合詞綴是由多個單詞綴連接構成的。附加成分的追加成分是多層次的，表現出不同的形態和不同的語法意義。

例如，

yaz寫(詞干)

yazdim我寫了

yazalidim我能寫了

yazganliktin由于(她)寫了

yazguzganidim我讓別人寫了

… …

由于維吾爾語詞是字符序列，詞干和詞綴之間沒有明確的間隔標記。維吾爾語詞綴種類多，連接形式各式各樣，而且有限的詞干附加各種詞綴可以生成無限的新詞并表示不同的語法意義，這些構詞特點大大增加了維吾爾語信息處理的難度。為了提高維吾爾語信息處理的性能，進行維吾爾語詞干提取工作具有重要的現實意義。

3 維吾爾語詞干提取方法

3.1 維吾爾語詞干提取過程

本文對維吾爾語進行詞干提取的流程如圖2所示。

圖2 詞干提取流程圖

第一步，讀入一個維吾爾語句子。

第二步，使用正向匹配和逆向匹配算法對句子中的每個詞進行切分得到詞的切分候選集合。具體步驟為[9]：

(1) 如果待切分詞有前綴，使用正向匹配，切分出前綴；

(2) 接上一步，使用正向匹配對剩余部分進行切分，將剩余部分切分成詞干和復合詞綴的形式；

(3) 使用逆向匹配法，將復合詞綴切分成單詞綴的形式；

(4) 將待切分詞寫成“前綴+詞干+單詞綴”的形式。

第三步，利用詞性特征檢查切分候選集合中詞干、詞綴連接的合法性，并計算權重。

第四步，使用N-gram統計語言模型算出每個切分候選的概率[9]。

用變量代表文本中一個詞的任意語素序列，它由順序排列的n個語素組成，即W=w_1,w_2,…w_n，w_i是詞的第i個語素，則該語素序列W的概率可以展開為式(1)。

(1)

一般，用二元語言模型來計算每個切分候選的概率，這里，詞干-詞綴的邊界是計算切分概率的重要部分，如式(2)所示。

(2)

其中，count(t)是t的出現次數。

第五步，通過上下文詞干信息計算出相鄰詞干的轉移概率。

最后，結合第四步和第五步的概率值選出最優切分結果。

3.2 維吾爾語詞性特征

維吾爾語詞語分為12類，其中七類是實詞(主要分類)，五類是虛詞(助詞類)。實詞分為動詞和靜詞，靜詞包括名詞、形容詞、數詞、量詞、代詞、副詞和擬聲詞等詞類。虛詞包括后置詞、連詞、感嘆詞和語氣詞[10]。

本文我們收集訓練語料庫中的詞干，對它們進行人工詞性標注，例如,名詞、數詞、動詞和形容詞等。標注的時候如果一個詞干同時屬于兩個或兩個以上的詞性時，檢查詞干在訓練語料庫中哪個詞性類的出現次數高來判斷該詞干的詞類。維吾爾語中有大量的詞綴成分，以上詞類都可以附加各自的詞綴和有自己特定的詞綴，而且不同詞性的詞干能夠連接的詞綴也不同[11]。由于維吾爾語附加成分的追加形式多變復雜，種類繁多，連接形式各式各樣[12]，所以我們將從訓練語料中集中學習每個詞類詞干各自的單詞綴信息，有了詞干詞性信息和詞綴信息，我們就可以為詞干詞綴的連接形式設計出初步的知識表達模式了。

通過收集9 025條各個領域的句子(包括小說、新聞稿、科學讀物等)作為訓練語料庫，統計出11 114個詞干，313個單詞綴，并對所有詞干進行詞性標注，學習出了12類詞干能連接的單詞綴分布情況，如表1所示。

表1 詞性-詞綴分布統計

從表1 可以看出，維吾爾語中每個詞類的詞干只能連接部分詞綴，以上詞類可以附加各自的詞綴以及都有各自特定的詞綴，不同詞性的詞干能夠連接的詞綴集合不同。以名詞類詞干為例，在整個11 114個詞干中有79.14%的詞干是名詞性詞干，名詞性詞干的數量很多，而在313個單詞綴中能綴接在名詞性詞干后面的詞綴占78.59%，剩下的21.41%的詞綴不能連接在名詞性詞干后面。此外，模擬詞不需要進行詞干提取。這個約束條件有利于檢查一個單詞綴是否能夠合法地連接在某一詞性類的詞干后面，從而可以降低詞干-詞綴連接錯誤的問題。

根據上述的語言約束條件，我們可以初步設計詞性詞干-詞綴的連接模式。本文提出的切分規則定義如下：假設一個維吾爾語詞語“W(S1S2…Sn)”，S1∈Td，其中W是詞干，Td是單詞綴庫，S1S2…Sn是復合詞綴，Wd是詞性詞干表，S1為詞干W連接的第一個詞綴。如果詞干W為某個詞性詞干表中的詞干，且S1是單詞綴庫詞綴且滿足該詞性詞干對詞綴的要求，那么使用式(3)計算維吾爾語詞每種切分的概率值。

(3)

其中，

(4)

例如，維吾爾語詞birlexme(聯合)本身是一個名詞詞干，通過前向逆向匹配法可以得到該詞的五個候選切分，我們可以對這五個候選切分進行詞干詞綴連接合法性的檢查，如表2所示。

表2 詞性特征

從表2可以看出，當birlexme切分成birlex+me時，由于birlex是動詞性詞干，詞綴me可以連接在動詞性詞干后面，因此birlex+me這種切分是合法的；而當birlexme被切分成bir+lex+me時，bir是數詞性詞干，由于詞綴lex不能連接在數詞性詞干后面，所以這種切分是不合法的。因此，詞性詞干-詞綴連接形式可以有效地減少非法候選導致的歧義性問題。

3.3 上下文詞干信息

維吾爾語詞匯中同形異義詞較多，出現頻率較高，而且同一個詞在不同上下文中切分結果是不同的。例如，

uniN ismi turdi(他的名字叫吐爾地)

u ornidin turdi(他站起來了)

其中，單詞turdi在兩個句子中形式是一樣的，但是在第一句中turdi是一個人名，詞干就是其本身。而在第二句中turdi 是由詞干tur加詞綴di構成的，并且詞干詞綴的連接形式是合法的。如果不考慮上下文信息，僅僅簡單地使用統計方法對turdi進行詞干詞綴切分會得到tur+di的切分結果，而這種切分結果在第一句的上下文環境中是不正確的。對于這類問題，我們可以利用上下文詞干信息來找出正確的切分結果，從而解決維吾爾語詞切分歧義的問題。

在訓練語料庫中，我們利用詞干轉移概率來捕

捉上下文信息。由于維吾爾語詞匯量的龐大，就算是再大的語料庫，也很難學習上下文詞之間關系，所以本文利用上下文詞干轉移概率來捕捉上下文信息，而不是上下文詞的轉移概率。相鄰兩個詞干之間的轉移概率由式(5)來計算。

(5)

如圖3所示，word1,word2,…,wordn是一個維吾爾語句子，W1W2…Wn是該維吾爾語句子中各單詞的詞干，Wi表示詞干，Sij表示連接在Wi后的第j個詞綴。那么，一個維吾爾語句子最優切分的概率由式(6)計算。

(6)

圖3 維吾爾語句子結構分析圖

例如，對于維吾爾語句子uniNismiturdi(他的名字叫吐爾地)，一共有三個單詞，其中turdi在不同上下文中有不同的意思。首先用前向、后向匹配算法得到每個單詞的切分候選，然后檢查詞干詞綴連接的合法性并對每個候選中的詞干部分進行排列組合得到12種切分候組合，如圖4所示。之后我們就利用式(6)找出這12種切分組合中的最優切分作為最終結果。

圖4 切分候選組合圖

在不考慮上下文信息的情況下，我們得到的切分結果是u+niNisim+itur+di，其中最后一個單詞出現切分錯誤，而當我們引入上下文詞干信息后就得到了正確的切分結果u+niNisim+iturdi。因此，考慮上下文詞干信息可以有效地解決維吾爾語詞切分歧義的問題。

4 實驗和結果分析

4.1 實驗設置

本文采用的數據是我們人工標注的10 025條維吾爾語句子，使用其中的9 025句作為訓練語料，剩下的1 000句作為測試語料，語料統計情況如表3所示。

表3 語料統計情況

維吾爾語的詞法分析比較復雜，考察的方面較多，為了能夠更好地體現系統性能，我們使用了以下指標來考察系統的性能。

1. 詞干級正確率Pstem

以詞干為單位，僅考察詞干是否被正確提取，而不考慮詞綴的情況；

2. 詞級準確率Pword

以詞為單位，僅當詞內詞干正確，且各詞綴切分正確時，才認為分析正確；

本文采用切分準確率的定義如(7)式所示。

(7)

4.2 實驗及結果分析

實驗1 針對詞干級和詞級的實驗

實驗設置：在同一個測試集上，我們分別使用了N-gram模型，N-gram模型+詞性特征以及N-gram模型+詞性特征+上下文詞干信息來進行詞干詞綴切分的實驗。實驗結果如表4所示。

表4 實驗結果

實驗結果分析：

從表4可以看出，不同的系統對維吾爾語的詞干級分析能力和詞級分析能力有所不同。在N-gram模型的基礎上，加入了詞性特征之后，不論在詞干級別還是在詞級別，系統的性能均有一定的提升(分別達到了95.35%和95.19%)。而這個提升是有限的，通過錯誤分析，我們發現這主要是由于維吾爾語中存在很多同形異義詞，從而導致標注歧義。例如，對于kokrek一詞，當這個詞表示“藍一點”時是形容詞，形容詞詞干“kok”連接詞綴“rek”是合法的，而該詞還可以作為名詞，表示“胸部”。當在詞性特征的基礎上進一步加入上下文詞干信息后，我們發現與基線系統相比較，我們系統的性能有了顯著的提升，在詞干級別和詞級別分別提升了2.05% 和 1.58%。這表明了本文提出的詞性特征和上下文信息能夠顯著提升維吾爾語詞干提取的性能。通過對數據的分析，我們發現加入上下文詞干信息后，能夠更有效地解決對同一個詞進行詞干、詞綴切分時，其詞干出現歧義，詞干的一部分被當作詞綴等問題。

實驗2 語料庫規模對系統性能影響的實驗

實驗安排:固定測試集不變，而從訓練集中每次提取不同規模的子集訓練三個不同的系統，并考察各個系統在測試集上的表現。整個訓練集含9 025 條句子，我們分別取訓練集的5%，10%，30%，50%及80%等不同規模的子集來分別訓練三個切分系統，并對測試集進行切分。實驗的評價標準是準確率。圖5為不同系統的準確率隨訓練規模增加的變化曲線。

實驗結果分析：

分析曲線可以發現，訓練數據的規模會影響系統的性能。訓練集由總規模的5%提高到30%時系統準確率明顯提高，同時隨著語料庫規模增大，系統準確率提高的幅度趨于緩慢；而在不同規模的訓練集上，融入詞性特征后，系統的性能均有一定的提高，說明詞性特征對于維吾爾語詞干的提取是有用的；而進一步加入上下文信息后，系統的性能有了更加明顯的提升，這更進一步說明了上下文信息能夠有效提高維吾爾語詞干提取的性能。

5 結束語

本文提出了基于多策略融合的維吾爾語詞干提取方法，我們以N-gram模型為基本框架，根據維吾爾語的構詞約束條件，提出了融合詞性特征和上下文詞干信息的詞干提取模型。實驗結果表明，詞性特征和上下文詞干信息可以顯著提高維吾爾語詞干提取的準確率，與基準系統比較，融入了詞性特征和上下文詞干信息的實驗準確率分別達到了95.19%和96.60%。

由于本文實驗所使用的語料庫規模較小，能夠使用的詞性特征和上下文信息有限，維吾爾語詞干提取的整體效果有待進一步提高。

下一步工作中，我們要更加深入地了解維吾爾語詞匯的內部構件特征，學習更多的詞干-詞綴和詞干信息，通過詞干提取結果的錯誤分析，進一步修正系統，最終提高維吾爾語詞干提取結果并將系統應用到各種領域和網絡語言中。

[1] Nagata, Masaaki, A stochastic Japanese morphological analyzer using a forward- DP backward-A N-best search algorithm[C]//Proceedings of the 15th conference on Computational linguistics-Volume 1, 1994.

[2] Buckwalter Tim. Buckwalter Arabic Morphological Analyzer Version 1.0, 2002.

[3] 姜文斌,吳金星,烏日力嘎等. 蒙古語有向圖形態分析器的判別式詞干詞綴切分[J]. 中文信息學報,2011,25(04):30-34.

[4] 早克熱·卡德爾，艾山等. 維吾爾語名詞構形詞綴有限狀態自動機的構造[J].中文信息學報， 2009, 23(6): 116-121.

[5] 古麗拉·阿東別克，米吉提·阿布力米提.維吾爾語詞切分方法初探[J].中文信息學報，2004，18(6):61-65.

[6] 麥熱哈巴·艾力，姜文斌，王志洋等. 維吾爾語詞法分析的有向圖模型[J]. 軟件學報，2012，23(12):3115-3129

[7] Aisha B. A Letter Tagging Approach to Uyghur Tokenization[C]//Proceedings of the 2010 International Conference on Asian Language Processing：IEEE Computer Society, 2010:11-14.

[8] Ablimit M, Eli M, Kawahara T. Partly supervised Uyghur morpheme segmentation[C]//Proceedings of the Oriental-COCOSDA Workshop.2008. 71-76.

[9] 米吉提·阿布力米提,庫爾班·吾布力. 在多文種環境下的維吾爾語文字校對系統的開發研究[J]. 系統工程理論與實踐,2003,05:117-124.

[10] 哈力克·尼亞孜.基礎維吾爾語[M ].烏魯木齊:新疆大學出版社. 1997: 73.

[11] 哈米提·鐵木爾.現代維吾爾語語法[M ].北京:民族出版社. 1987: 47-48.

[12] 米熱古麗·艾力，米吉提·阿不力米提，艾斯卡爾·艾木都拉.基于詞法分析的維吾爾語元音弱化算法研究.中文信息學報[J]. 2008,04:43-47.

A Multi-Strategy Approach to Uyghur Stemming

Sediyegvl Enwer1, Xiang Lu2, Zong Chengqing2, Akbar Pattar1, Askar Hamdulla1

(1. Institute of Information Science and Engineering，Xinjiang University, Urumqi， Xinjiang 830046, China;2. National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China)

Uyghur is an agglutinative language with complex morphology, Uyghur words stem segmentation plays an important role in Uyghur language information processing. But so far, the performance of the Uyghur words stem segmentation still has much room for improvement .According to the constraints of Uyghur word formation, we proposed a stem segmentation model for Uyghur which fuses the part of speech feature and context information based on N-gram model. Experimental results show that, the part of speech feature and the context information of stem can increase the performance of Uyghur words stem segmentation significantly with the accuracy reaching 95.19% and 96.60% respectively compared to the baseline system.

Uyghur; morphology; stem segmentation; N-gram model; part of speech; context information

賽迪亞古麗·艾尼瓦爾(1988—),碩士研究生,主要研究領域為自然語言處理。E-mail:852567316@qq.com向露(1988—),助理工程師,主要研究領域為自然語言處理。E-mail:lu.xiang@nlpr.ia.ac.cn宗成慶(1963—),研究員,主要研究領域為自然語言處理、機器翻譯和情感分類。E-mail:cqzong@nlpr.ia.ac.cn

1003-0077(2015)05-0204-07

2015-08-06 定稿日期： 2015-09-20

國家自然科學基金(61163032)

TP391

A