適用于報社自動校對的中文分詞技術方案研究

李釗 熊威

【摘 要】報社校對軟件使用效果不盡如人意，其中一個重要原因是分詞結果不理想。文章根據報社校對業務特點，在自建文本分詞合理結果集的基礎上，通過對公開分詞工具的評測比較，探索適用于報社自動校對的中文分詞技術方案。這對深入研究報社自動校對系統，提升報社新聞出版質量意義重大。

【關鍵詞】自動校對；中文分詞

一、引言

目前市場上校對軟件有不少，采用的自動校對技術方法都是在中文分詞的基礎上，進行分析糾錯。分詞結果不理想，校對效果自然不會好。所以提升自動校對效果的一個研究方向就是中文分詞研究。

對報社而言，過去以采編為主，內容為王，缺乏技術沉淀。近幾年，隨著融合發展，技術得到了更多重視和投入。但是要完全自主研發分詞技術，依然面臨著很多困難。因此引進第三方技術成果，來幫助實現定制化應用也是報社技術發展的一種方法。只是需要結合校對業務需求選用合適的中文分詞工具。

二、報社校對業務需求

由于語言文字現象的復雜性，新聞文本中的差錯類型多種多樣。根據表現形式，具體分為以下幾類：

⑴文字差錯：這類差錯是新聞出版差錯中最主要的部分，常見的包括錯字、別字、多字、漏字、顛倒字、繁體字等。

⑵詞語差錯：詞語是語言系統中最活躍的組成形式，很多詞語在詞音、詞形、詞義上近似，因此容易混淆誤用。

⑶語法差錯：主要指違反漢語語法結構規律的句子。

⑷政治差錯：在涉及政治敏感問題方面，出現導向性、政策性和技術性錯誤。

⑸標點符號差錯：違反國標《標點符號用法》的標點符號使用錯誤。

⑹數字差錯：違反國標《出版物上數字用法的規定》的數字使用錯誤。

⑺計量單位差錯：違反國標《量和單位》的計量單位使用錯誤。

⑻英文拼寫差錯：英文內容表述中出現的詞語拼寫錯誤。

⑼知識性差錯：內容表述中涉及的有關知識不正確。

校對系統作為一種自動化輔助工具，就是要盡可能識別并糾正以上文字差錯，以幫助校對人員減輕工作量。

三、中文分詞工具選擇

中文分詞技術是自然語言處理中一個重要組成部分，在國內外都有幾十年的研究歷史，也有很多優秀成熟的解決方案。目前公開實用的中文分詞主要可分為學術類、市場類和開源類三種。

⑴學術類：由高校相關院所研發，主要用于科學研究。知名代表有中科院NLPIR、哈工大LTP、斯坦福大學Stanford NLP、復旦大學FudanNLP等。目前各高校采用的分詞服務模式不盡相同，有共享版、試用版、付費版等。

⑵市場類：科技企業基于市場需求和技術導向而研發的開放化服務平臺。知名代表有百度AI、騰訊文智、玻森BosonNLP等。目前根據不同開放策略，在線分詞授權有免費和收費兩種方式。

⑶開源類：由個人技術研發并公布在代碼托管平臺上的開源項目。知名代表有paoding、ansj、jieba、Jcseg等。這類分詞都提供開源代碼，只要遵循開源協議，即可免費使用。

基于報社融合發展的技術成本管控和校對業務需要，選擇可免費使用且帶有詞性標注的分詞工具。所以將斯坦福大學Stanford NLP、復旦大學FudanNLP、百度AI、玻森BosonNLP、jieba、ansj、Jcseg這7款中文分詞工具作為備選對象開展評測工作。

四、分詞工具評測方法

判斷分詞工具是否適用于報社自動校對，主要看分詞效果。采用黃金標準（Golden Standard），編制一份正確合理的分詞結果集作為參考開展評測。由于評測目的是衡量適用度而非準確度，因此重點考慮的是詞語切分邏輯和詞性標注精度。根據新聞出版文本差錯和自動校對常見問題，分詞需要具備以下六個能力維度。

⑴歧義識別：能識別并根據語境正確切分歧義內容。

【例句】

“研究生命令本科生”分詞標準“研究生/名 命令/動 本科生/名”；

“這塊地面積小”分詞標準“這塊/代詞 地/名詞 面積/名詞 小/形容詞”。

⑵新詞發現：能識別未登錄詞，并準確標注詞性。常見新詞有人名、地名、機構名等。

【例句】

“王總和小麗結婚”分詞標準“王總/人名 和/連詞 小麗/人名 結婚/動詞”；

“吳江西陵印刷廠”分詞標準“吳江西陵印刷廠/機構名”。

⑶短語組合：能識別常用的短語詞組。

【例句】

“這樣的人才能經受住考驗”分詞標準“這樣的人/代詞 才能/動詞 經受住/動詞 考驗/名詞”；

“信息技術應用于教學”分詞標準“信息技術/名詞 應用于/動詞 教學/名詞”。

⑷數字區分：能正確識別出各種數字組合詞，例如時間詞、數量詞等。

【例句】

“一億人有60%投票”分詞標準“一億/數詞 人/名詞 有/動詞 60%/數詞 投票/動詞”；

“9月20日購入1KG面粉”分詞標準“9月20日/時間詞 購入/動詞 1KG/數詞 面粉/名詞”。

⑸英文區分：能正確識別出各種英文組合詞，例如中英混合詞、英文單詞、網址、郵箱等。

【例句】

“一件T恤衫”分詞標準“一件/數詞 T恤衫/名詞”；

“官網www.foreo.com”分詞標準“官網/名詞 www.foreo.com/網址”。

⑹錯誤切分：當文本存在錯誤時，切分結果必須要么是散串，要么依然是一個詞。

【例句】

“不原看到”分詞標準“不/副詞 原/副詞 看到/動詞”；

“新加泊旅游”分詞標準“新加泊/名詞 旅游/動詞”。

分詞效果評測指標包括召回率（Recall）、準確率（Precision）、F值（F-mesure）和錯誤率（Error Rate），以下分別簡記為R、P、F和ER。

定義：N為黃金標準切分詞語數，e為分詞錯誤標注詞語數，c為分詞正確標注詞語數，則以上指標計算公式如下：

除了分詞效果，評測中文分詞工具的適用度還要考慮并發性。并發性決定自動校對運算性能，主要看接口并發調用的限制和方法。

五、評測結論

編制一份涵蓋六個維度共計2000個例句的分詞結果測試集，對7個備選中文分詞工具進行評測，評測結果如下：

從結果可以看出，適用于報社自動校對效果最理想的中文分詞工具是百度AI和玻森BosonNLP，性價比最高的是ansj。

在實際應用中，可以采取多分詞混合使用的技術解決方案。在語料訓練上使用百度AI和玻森BosonNLP，在校對算法上使用ansj。另外根據自動校對需要，還可以對開源分詞代碼進行修改和優化。至于如何進行開源分詞二次開發則有待下一步研究。

【參考文獻】

[1]宋柔.計算機輔助漢語校對系統[J].當代語言學，2001，01，45～54.

[2]石敏.中文文本自動校對系統[D].江蘇科技大學，2015.

[3]楊爾弘，方瑩，劉冬明，喬羽.漢語自動分詞和詞性標注評測[J].中文信息學報，2006，01，44～49.

[4]黃翼彪.開源中文分詞器的比較研究[D].鄭州大學，2013.