基于啟發式規則的藏語重疊詞抽取方法研究

摘 要 文章利用網絡爬蟲方法對網絡資源進行了歸納整合，建立了自用微型語料庫。依據藏語字形特點搜集和歸納了重疊詞規則，最后通過規則抽取，實現并完成藏語重疊詞的抽取。抽取效果良好，具有較好的通用性。

關鍵詞 語料庫;規則;藏語;重疊詞;抽取

引言

藏語重疊詞作為藏語特殊的一類詞，在句子中承擔著重要的語法作用和語法手段。詞的抽取是自然語言處理中的知識抽取的一種應用，如今被廣泛運用于學術、醫藥學等領域。藏語文本語料的構建是藏文信息領域的一大基礎性研究，語料的匱乏成了發展瓶頸。鑒于這樣的背景下，本文提出了構建文本語料，規則抽取詞的方法。經總結，抽取方法主要可以分為基于統計的方法[1]，基于規則的方法和基于統計和規則相結合的方法，通常在實際應用中可根據面向數據源的不同選取不同的方法。

1語料庫預處理

傳統的語料庫的語料大多來自書本、試卷等紙質文本掃描或打字，其效率較低，人工耗費巨大，隨著互聯網的發展，網絡上海量的文本，為語料庫建設提供了大量的文本資源，因此，基于網絡文本的語料庫應運而生。重疊詞的抽取是在一定規模的語料庫的基礎上實現，構建語料庫時除了已有語料外，網頁正文的抽取也是首要選擇。在對藏文網頁進行大規模的網絡爬蟲后，為減少語料噪音和改善文本質量還對對藏語文本數據集進行預處理，初步達到預期效果。

（1）編碼轉換：將所有文本都轉換成UTF-16編碼格式，以統一不同編碼形式的藏文文本。

（2）分詞：藏語是拼音文字，屬于屈折型語言，詞是最小能夠獨立運用的語言單位，詞與詞之間用音節符“”為自然分割符，短語之間用垂符進行分隔。因此，根據音節符、垂符就可以解決分詞問題。本文采用西北民族大學信息院祁坤鈺教授開發的藏文分詞系統用來分詞，此軟件具有歧義識別、未登錄詞識別、詞性標注等獨特的特點，對語義分析和文本分類等有非常大的幫助。

（3）“躁音”過濾：對語料中出現的所有非藏語文字、數學符號、數字、標點符號和空格進行過濾。

2規則構建的方法

對于藏語的重疊詞而言，首先根據詞的特征需要構建出詞的屬性的描述規則，再通過構建的規則對藏語重疊詞進行抽取。而重疊詞作為藏語普遍的語法手段，名詞、動詞、數詞、代詞、形容詞等都是能夠重疊，其數量浩繁、形式繁多、結構復雜，所以對其規則的構建是非常重要同時也是較為困難的。因此，抽取規則的設計是最關鍵的環節之一，不同程度上影響著抽取效果。通常來說，抽取規則構建主要分為基于統計和基于規則兩種方法[2]。文章采用人工構建抽取規則的方法，此方法是一種通過對規則進行理解，了解規則本身的含義和涵蓋的范圍，再通過搜集和歸納重疊詞的結構特征總結規則，并根據規則對重疊詞的抽取實驗

2.1 藏語重疊詞的抽取規則

構建規則是通過大量閱讀相關文獻及領域內的研究基礎上，統計和歸納重疊詞的形態特征后提出的規則構建思想。規則構建過程共分為5個步驟：

（1）閱讀大量文獻。文獻的閱讀可分為兩步進行，首先，梳理領域內文獻，對其進行一一精讀，搜集和歸納藏語重疊詞的結構形式的統計;其次，詞典的歸納法。

（2）搜集藏語重疊詞。在查閱文獻過程中，對藏語重疊詞進行歸類統計，從形式上將藏語重疊詞分為單音節重疊、雙音節重疊和多音節重疊，根據特征再搜集，再分類。

（3）尋找藏語重疊詞的規則。

（4）統計規則。在初步形成的規則上根據不足和缺點進行進一步完善和補充，最終形成規則。

（5）完善規則。

通過大規模歸納總結，藏語重疊詞的抽取規則可以分為七種。規則抽取有一特點是字形結構，藏語恰好是形態比較開放豐富的文字，在搜集分析抽取規則時，依照詞的構詞特點和詞性變化可以確定屬于哪個類型，適用哪個規則方法，以最終達到準確抽取。就如第二種規則來講，是構詞方式上可以入手分析，這類詞一般是三音節，第一個字是單音節多以動詞，而后兩個字是多音節，是相同的兩個字，一般為擬聲擬態詞（如vod lam lam，ldi ri ri等）。在抽取時設y為總符號，那么設第一音節為y1，設后兩個音節為y2，抽取規則是y（y1=y2），在重疊詞抽取時按照這個規則撰寫程序抽取，符合規則條件則抽取，否則則放棄，其他規則也依次類推

3實驗數據與結果

文章共對五十余個藏文網頁和上萬條URL做了網絡爬蟲，初步構建了文本語料庫，再依靠語料進行規則抽取后，共抽取到了3211條藏語重疊詞，抽取率達92%，抽取效果良好，具有較高的通用性。

4結束語

本文是一種基于規則的抽取方法，該方法對藏語網絡資源進行了文本整合，然后從建好的語料庫中利用程序實現了重疊詞的抽取。實驗結果取得了良好的效果，基本滿足了快速準確收集特征詞的要求，擺脫了煩瑣的傳統方式，為文本信息抽取提供了新的思路和方法。

參考文獻

[1] 孫杰，關毅.基于統計的網頁正文信息抽取方法的研究[J].中文信息報，20（0）：17-22.

[2] 黃紹杉.基于統計與規則的專利摘要信息抽取[D].北京：中國科學技術信息研究所，2045.

作者簡介

才讓卓瑪（1994-），族，甘肅碌曲人;畢業院校：西北民族大學中國民族信息技術研究，學歷：碩士研究院。現就職單位：西北民族大學中國民族語言文字信息技術教育部重點實，研究方向：藏文信息處理技術。