淺析蒙古文電子文檔中的文本錯誤

楊利潤 斯琴巴圖

摘要：蒙古文電子文檔中普遍存在文本錯誤，主要有非詞錯誤、真詞錯誤、形對碼錯錯誤、句法語義錯誤等。其中，尤以形對碼錯錯誤最為普遍，且難以人為判斷對錯，只能由計算機程序自動校對。梳理文本錯誤是做蒙古文自動校對工作的基礎(chǔ)和依據(jù)，其重要性不言而喻。本文在梳理了蒙古文電子文檔中文本錯誤類型的基礎(chǔ)上，列出了錯誤產(chǎn)生的相應(yīng)原因及解決方案。

關(guān)鍵詞：蒙古文；文本錯誤；自動校對

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2019）11-0211-03

Abstract： There are common text errors in Mongolian electronic documents， mainly including non-word errors， true word errors， pronunciation non-word errors， and syntactic and semantic errors. Among them， especially the pronunciation of non-word errors is the most common， and it is difficult to judge right or wrong manually， and can only be automatically proofread by a computer program. To sort out the text errors is the basis and basis for the automatic text proofing work in Mongolia， and its importance is self-evident. Based on the text error types in Mongolian electronic documents， this paper lists the corresponding causes and solutions of errors.

Key words： Mongolian； text error； automatic text proofing

1 文本錯誤類型

由于蒙古文不同于英文的特點，蒙古文電子文檔中除了有英文文檔中出現(xiàn)的非詞、真詞、句法語義等錯誤以外，還有形對碼錯錯誤等普遍存在，且比較獨特的錯誤。

1.1 非詞錯誤

2.3 編碼轉(zhuǎn)換

由于歷史原因，以往有大量蒙古文電子文檔都是基于字形編碼或音形混合編碼（如方正6.0 文檔等）存儲。這些電子文檔轉(zhuǎn)換為基于語音的國際編碼時，因為只能達到字形上的一致而導(dǎo)致文本錯誤。例如，上述單詞“”的例子，在編碼轉(zhuǎn)換時也存在同樣的問題。在將這類同形音異單詞轉(zhuǎn)換為基于語音的國際編碼時，轉(zhuǎn)換軟件如果沒有相當好的上下文分析功能，則很難完成轉(zhuǎn)換到正確編碼的任務(wù)。

3 文本錯誤解決方案

3.1 自動校對軟件

使用自動校對軟件處理非詞錯誤相對簡單，有比較成熟的一些校對算法可以很好的勝任校對任務(wù)，但處理真詞錯誤則比較困難。對于蒙古文電子文檔中真詞錯誤的處理，最新研究有內(nèi)蒙古大學(xué)斯·勞格勞副教授的碩士生迎春在其碩士論文“蒙古文真詞錯誤的偵測與糾錯建議的生成研究”中給出的一個采用基于統(tǒng)計的方法和基于易混淆詞詞典的方法設(shè)計實現(xiàn)的蒙古文真詞錯誤校對系統(tǒng)。該系統(tǒng)的召回率為82%，正確率為3.4%，糾錯建議生成率為91%。對于形對碼錯錯誤的處理，郝莉在其文章“基于貝葉斯算法的蒙古文文本自動校對研究”中給出了一種使用貝葉斯算法校正由于讀音混淆而引起的錯誤（讀音非詞）的方法，其拼寫糾錯率可達89%以上。廉冰在其論文“基于有限狀態(tài)自動機的蒙古文同形詞校對方法的研究”（該文中的同形詞錯誤的概念與本文中的讀音非詞錯誤的概念相同）中也給出了一種讀音非詞的校對方法，平均準確率達到了91.5%，平均召回率為84.9%。

3.2 輸入法校對功能

通過輸入法自帶的校對功能，可以解決文檔中的非詞錯誤。例如，對正在編輯的文檔，通過輸入法自帶的校對功能，在輸入的同時提示用戶，使其進行正確錄入。目前，主流的蒙古文輸入法有兩種，一個是蒙科立2016輸入法，另一個是德力海蒙古文輸入法2016-教育版。這兩種輸入法都具備一定的非詞提醒功能，前者是用紅色顯示提醒用戶錄入的是非詞，后者是用黑色顯示提醒用戶錄入的是非詞。輸入法自帶的校對功能不能處理真詞錯誤。

使用德力海蒙古文輸入法2016-教育版輸入讀音非詞錯誤編碼時，會自動處理錯誤，將錯誤編碼轉(zhuǎn)換成正確編碼。

3.3 人工結(jié)合校對軟件

3.4 培養(yǎng)使用者正確錄入習慣

蒙古文文檔中，讀音非詞錯誤主要是由于使用者沒有養(yǎng)成正確錄入習慣，只求字形正確而導(dǎo)致。所以通過培養(yǎng)使用者正確錄入習慣，從而避開導(dǎo)致讀音非詞類的形對碼錯錯誤的起因是一種較好的從源頭解決問題的方案。

4 總結(jié)

蒙古文電子文檔中普遍存在文本錯誤，主要有非詞錯誤、真詞錯誤、形對碼錯錯誤、句法語義錯誤等。分析梳理這些文本錯誤及其產(chǎn)生的原因，對蒙古文文本自動校對工作有重要的意義，是文本自動校對工作的基礎(chǔ)和依據(jù)。目前，對非詞錯誤的處理相對成熟，有較多的處理算法和模型；解決真詞錯誤方面的研究相對薄弱，缺乏實用算法和方案；對形對碼錯錯誤處理的研究較廣泛，但主要集中在讀音非詞的校正上，而同形詞替代引起的錯誤有待更進一步研究。

參考文獻：

[1] 張仰森，俞士汶.文本自動校對技術(shù)研究綜述[J].計算機應(yīng)用研究，2006（6）：8-12.

[2] 斯·勞格勞.基于不確定有限自動機的蒙古文校對算法[J].中文信息學(xué)報，2009，23（6）：110-115.

[3] 迎春.蒙古文真詞錯誤的偵測與糾錯建議的生成研究[D].呼和浩特：內(nèi)蒙古大學(xué)，2017.

[4] 包敏娜.《蒙古文印刷體掃描識別系統(tǒng)》（recog1.0版）自動校正算法研究[D].呼和浩特：內(nèi)蒙古大學(xué)，2007.

[5] 斯·勞格勞.蒙古文編碼轉(zhuǎn)換通用算法研究[J].內(nèi)蒙古大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2009，41（2）：133-136.

[6] 郝莉，敖登巴拉，鞏政，等.基于貝葉斯算法的蒙古文文本自動校對研究[J].內(nèi)蒙古大學(xué)學(xué)報（自然科學(xué)版），2010，41（4）：440-442.

[7] 駱衛(wèi)華，羅振聲，宮小瑾.中文文本自動校對技術(shù)的研究[J].計算機研究與發(fā)展，2004，41（1）：244-249.

[8] 包烏格德勒，李娟.蒙古文文本自動校對研究綜述[J].電腦知識與技術(shù)，2016，12（35）：227-229.

[9] 廉冰.基于有限狀態(tài)自動機的蒙古文同形詞校對方法的研究[D].內(nèi)蒙古大學(xué)，2014.

【通聯(lián)編輯：梁書】