基于深度學習的文本自動糾錯系統設計與實現

楊 輝，張靜靜，熊 濤，蔡紅維，劉皓挺， 才金山，杜曉平，高美萍

(1.中國航天員科研訓練中心，北京 100094;2.北京科技大學 自動化學院 北京市工業波譜成像工程技術研究中心，北京 100083;3.西昌衛星發射中心，四川 西昌 615000)

0 引言

電子文檔是現代重要的信息交換媒介，對電子文檔進行編輯排版、格式校對和內容檢查是辦公人員重要的日常工作。隨著電子文檔應用越來越廣泛，且在特定的辦公場合，固定版式文檔的規范性和標準性標準越來越高[1]。文檔格式排版繁瑣且具有重復性，若辦公人員對文檔格式不熟悉，將會造成工作效率低下無法保證排版質量。當辦公人員對語言掌握不足或工作疏忽大意時，電子文檔中就不可避免地會存在字詞、語法和標點符號錯誤，這些錯誤嚴重時會造成其他人對文本內容的理解偏差[2]。目前雖然存在文本內容糾錯技術，然而這些技術的糾錯率比較低，文本內容查錯主要還是依賴辦公人員細致的檢查。為減輕辦公人員進行文檔編輯寫作時繁重的文本校對工作，并提升文本內容糾錯準確率，本文研究基于深度學習的文本自動糾錯系統，用來輔助辦公人員的文檔寫作和文本糾錯工作，以提升辦公人員的工作效率并確保文檔內容的規范性和正確性。

目前已有相關研究和技術實現對文檔格式校對和文本內容的糾錯。文獻[3]和[4]開展了對標準論文模板的分析與設定，提出了畢業論文格式自動檢查系統。文獻[5]實現了軟件項目文檔格式自動檢查和修改，降低了文檔編寫人員在文檔格式編寫的出錯率。文獻[6]開發的Word文檔格式自動排版系統，能夠自定義文檔的格式。隨著自然語言處理的迅速發展，中文文本糾錯技術也愈加成熟。文獻[7]將中文文本糾錯技術分為基于字詞混淆集而形成候選字符串方法、基于概率統計分析上下文方法和基于規則和固定搭配關系的方法等。文獻[8]結合二元語法模型和散串技術，在混淆集中選出最優糾錯候選集，提出了一種基于窗口技術的校對方法。文獻[9]對句子進行分詞和詞性標注解決字詞錯誤，通過模式匹配解決搭配錯誤問題，利用成分分析解決成分錯誤問題。文獻[10]采用規則與概率統計相結合的方法實現中文文本自動查錯。文獻[11]構建專業領域詞語搭配知識庫，并設計基于語法和詞語搭配的雙重中文文本校對算法。

隨著信息化時代的迅速發展，現有文本糾錯技術難以適應多樣性的糾錯任務，近幾年許多研究者紛紛將深度學習方法引入文本糾錯任務。深度學習算法自動編碼器的自主學習特征可以通過對語言模型的不斷訓練實現糾錯[12]。目前常用的基于深度學習糾錯方法主要包括基于序列模型的糾錯方法、基于注意力機制的糾錯方法和基于預訓練模型的糾錯方法。文獻[13]通過基于規則、統計和深度學習網絡結合的方式提升中文文本糾錯率。文獻[14]將神經網絡模型引入于中文文本糾錯，并設計兩個糾錯子模塊檢查中文語法錯誤和拼寫錯誤。文獻[15]提出基于注意力機制的深度學習糾錯方法，在非標注中文語料庫上用降噪編碼器訓練糾錯模型實現字級別和句子級別糾錯任務。為實現文本的格式和內容糾錯任務，本文提出設計一種基于深度學習的文本自動糾錯系統。系統主要由文本格式糾錯和文本內容糾錯功能組成，能夠檢查文本格式和內容錯誤同時生成檢查報告并通過一鍵校對實現文本自動糾錯任務。

1 文本自動糾錯系統總體方案設計

1.1 系統相關原理介紹

分析總結常見的文本格式錯誤主要包括以下幾種：1)文檔結構錯誤：表現為固定版式文檔缺乏一些文本要素，如缺乏文檔標題；2)正文段落格式不符合規范，表現為文本段落縮進和行間距不正確等；3)文本格式不符合規范：表現為文本的字體和字號不正確等；4)頁碼不符合規范：表現為文檔頁碼的對齊方式或字體不正確等。系統的文本格式糾錯功能主要基于VBA(visual basic for applications)技術實現的。VBA是微軟用來拓展Office功能設計的開發語言[16]。Office中元素都以對象形式表示出來，而VBA具有特有的對象屬性和方法，可用于表示Office對象并對其進行查詢和調整[17]。對于固定版式的文檔，文本要素組成及對應格式是固定的。因此系統格式校對功能實現主要在于識別出文檔中的文本要素，根據格式要求檢查并校對文本的格式。此外VBA宏代碼保存在“所有文檔Normal.dotm”中，可利用Python編程語言設計程序調取VBA宏代碼對Word文檔進行格式校對。

分析總結常見文本內容錯誤主要包括以下幾種：1)字詞錯誤：包括音似、形似和易錯字詞的錯誤；2)語法錯誤：分為搭配錯誤和成分相關錯誤；3)標點符號錯誤：表現標點符號冗余和半角全角標點符號誤用；4)用語不符合規范：主要是固定地名、人名、單位名稱和專業用語使用錯誤[18]。基于深度學習的序列模型是典型的自然語言處理模型，它采用自循環的計算方式，從序列起始端開始計算循環迭代一直計算到序列最后一個節點，以獲取更多的特征信息，從而提高模型分類和預測精度。序列模型常用于機器翻譯、語音識別、文本自動摘要和自動問答的任務處理[19]，將其引入文本糾錯任務中是將錯誤句子作為源文本，正確句子作為目標文本，將源文本和目標文本一起作為訓練數據來訓練文本糾錯模型[20]。本文采用序列到序列模型(Seq2Seq, sequence to sequence)來訓練查錯模型實現字詞和語法查錯，標點符號糾錯采用代碼邏輯去判斷。Seq2Seq模型的思路表示從一個序列到另一個序列，輸入和輸出均為序列，它有自由度高、方便靈活的特點，是一種比較常見的處理文本序列數據的模型[21]。

1.2 系統總體設計方案

辦公人員在進行固定版式文檔寫作時，會因為不清楚文檔標準格式而造成寫作效率低下且校對負擔較大。即使文檔標準格式模板是固定的，辦公人員在寫作時的復制粘貼、調整格式等操作也會使得文本格式不符合規范要求。此外文檔中會存在的一些字詞、語法和標點符號的錯誤，文本錯誤將嚴重影響到相關人員對內容的理解。因此本文對文本格式和內容糾錯方法進行研究，以實現對文檔中字體、段落格式和頁碼格式錯誤，以及文本中字詞、語法、標點符號和規范用語錯誤進行全方位的錯誤識別與自動校對。根據辦公人員文檔寫作和文本糾錯需求，設計文本自動糾錯系統由三個功能組成，即文檔模板生成、文本格式校對和文本內容糾錯功能。系統的總體設計方案如圖1所示。

圖1 系統設計框圖

辦公人員在起草文檔時，利用文檔模板生成功能選擇生成標準格式Word模板，在該格式模板的基礎上進行文檔寫作。當文檔編輯完成時，利用文本格式校對功能對成稿文檔進行格式校對，最后利用文本糾錯功能對文本內容進行檢查和糾錯。本文設計的文本自動糾錯系統能夠極大地提升辦公人員的工作效率，并在一定程度上保證文本的規范性和正確性。

2 文本自動糾錯系統功能設計與實現

2.1 基于VBA技術的文本格式校對

本文格式校對功能是基于VBA技術對Word文檔解析完成。使用VBA技術可以調用Word對象，獲取Word文檔的文本信息和格式信息，并對文檔頁面、文本段落和字體等格式進行調整。Word對象結構層次如圖2所示，Application是Word應用中最大的對象，它共包含四種對象，它們分別為Document是文件類，Selection是文字內容類，Bookmark是書簽類，還有Range是區域類。由于可通過不同方式訪問同一個對象，所以類之間存在各樣的重疊。除了這些屬于頂層類型還有設置文本字體、段落等的格式的類。使用VBA技術可以獲取Word對象，分析對象格式信息并對Word文檔進行讀寫及格式調整。

圖2 Word對象結構層次

本文研究固定版式文檔的格式校對功能，即文檔中文本要素組成和要素格式是固定的。文本格式校對流程如圖3所示。首先要對文檔進行初始化設置，主要是刪除文檔中的超鏈接、調整頁面大小和頁邊距以及進行字體初始化設置。接著要根據文本要素特點識別出文本要素所在區域并插入書簽，然后檢查文本要素的字體和段落格式是否滿足標準格式要求，當不符合標準格式就修改文本要素的字體和段落格式。對于不同文檔類型，其文檔結構是不同的，主要表現為存在不同的文本要素，所以要根據文檔類型對文檔結構做出調整。最后由于不同類型文檔頁碼格式不同且辦公人員制作的文檔頁碼常常不符合規范要求，因此刪除原來的頁碼重新插入符合標準格式的頁碼。

圖3 格式校對流程圖

對于不同固定版式的文檔如公司招投標文件、高校畢業論文、期刊雜志論文和機關公文等，文檔的文本要素組成和格式標準相差很大。對這些文檔格式進行校對，必須通過分析文本要素特點，明確一篇文檔都由哪些必要文本要素組成，并根據文本要素特點設計相應的文本要素識別方法。文本要素特點包括文本要素內容特點，如論文標題一般含有“基于”、“方法”和“研究”等詞語；文本要素格式特點，如論文標題字體字號和正文標題字體、字號不同；本文要素位置特點，如論文標題一般位于首頁的第一行等等。結合文本要素的內容、格式和位置特點，設計方法識別出文檔中各文本要素的區域并插入對應名稱的書簽。以標題為例，文本要素的定位流程如圖4所示。即使文本內容有了新的插入或刪除操作，書簽定位的位置和內容也不會發生改變。后續文本要素的格式檢查和校對都是對這些書簽的內容分析與格式調整，極大地簡化程序，確保格式校對的準確率。

圖4 標題定位流程圖

識別出文本要素并在文本區域插入書簽之后，就可以對文本要素進行格式檢查。以文檔標題為例各文本要素的檢查流程包括如圖5所示的部分。主要檢查文本要素的字體、字號以及段落的間距和對齊方式等，當文本要素格式不符合要求，系統會以批注的形式展示在當前文檔。

圖5 文本要素檢查流程圖

為便于對文本要素進行格式校對，系統利用Word文檔樣式設置功能，將文本要素的樣式保存為格式模板文檔style.dotm的內置樣式。程序開始將文本要素的樣式導入當前文檔，當檢查到文本要素格式不符合要求就將文本要素的格式設置為對應的樣式，并對段落格式進行調整。對文檔結構的調整主要是對文檔中必要文本要素的調整，對文檔的結構調整只需根據文檔類型尋找必要文本要素的書簽并進行增加或刪減操作。一篇文檔各文本要素之間會存在空行的要求，對這些空行的調整主要是定位兩文本要素區域并進行刪除和增添空行的操作。文檔頁碼格式復雜且會存在奇偶頁碼格式不一致或首頁碼不同的情況，而辦公人員在文檔寫作時一般不檢查頁碼格式，因此系統必須對文檔頁碼進行校對。首先刪除原來文檔的頁碼，接著根據文檔要求設置是否奇偶頁不同或首頁不同，然后分別插入不同區域的頁碼并進行格式設置。通過這種方式插入頁碼，當文檔新增或刪減頁時頁碼格式依舊符合規范要求。

2.2 基于Seq2Seq模型的文本內容糾錯

為實現文本內容糾錯功能，系統采用深度學習模型來訓練中文文本糾錯模型，并總結文檔寫作時的規范用語與固定搭配，創建輔助詞庫以提升糾錯準確率。文本內容糾錯流程如圖6所示。首先對文本內容進行預處理，主要是提取文檔正文內容部分并把正文的每一段分別存放于列表中。接著把預處理后的正文內容輸入到預先訓練好的算法模型。然后算法模型對正文內容進行檢測，若檢測結果與原文一致，則原文基本不存在內容錯誤，若不一致，則原文可能存在疑似錯誤。此時模型會輸出正文中可能出現的字詞錯誤、語法錯誤和標點錯誤的檢測結果。然后系統查找可能發生錯誤的文字與標點，并對其以批注的形式展示在當前文檔。最后一鍵糾錯將會按照批注的糾錯建議直接替換錯誤文本。

圖6 內容糾錯流程圖

本文采用Seq2Seq模型來訓練字詞和語法糾錯模型。文本糾錯任務可以看作不同序列的轉化過程，原來的句子是源語句，正確的句子是目標語句，因此可以把Seq2Seq模型作為序列轉化模型引入文本糾錯。并且Seq2Seq深度學習模型相比于傳統的規則和統計的模型能夠更好地擬合錯誤語句到正確語句的轉化過程。Seq2Seq模型的底層結構是一個Encoder-Decoder的網絡模型，其中Encoder是編碼器，它會對輸入的文本序列進行編碼，使其變成長度一定的向量表達。Decoder解碼器對Encoder編碼器獲得的長度一定的向量表達進行解碼，并將其轉化為輸出序列，解碼和編碼器模型一般用循環神經網絡(recurrent neural network, RNN)模型，Encoder-Decoder的設計決定了Seq2Seq模型的核心功能[21]。

從統計概率學方面看，Seq2Seq模型是在給定輸入文本x的條件下，找出使條件概率為最大值的目標文本y，即使條件概率p(y1,y2,…,yN′|x1,x2,…,xN)最大，其中x1,x2,…,xN是給定的輸入文本序列，y1,y2,…,yN′是該給定文本對應的輸出序列，兩個序列的長度N和N′不一定相等。我們先使用訓練的數據集對算法模型進行擬合，使句子對的條件概率p(y1,y2,…,yN′|x1,x2,…,xN)最大化。當訓練的模型對參數擬合完成之后，給算法模型輸入文本，訓練好的Seq2Seq模型就會尋找使條件概率最大的文本，并將其作為模型的輸出，計算公式如式(1)所示：

p(y1,y2,…,yN′|x1,x2,…,xN)=

(1)

從算法模型結構角度看，當向Seq2Seq模型輸入一個文本序列后，Seq2Seq模型的Decoder會通過本身RNN模型對其進行編碼，使文本序列成為長度固定向量，該向量包含文本語義。如圖7所示，可以將Encoder編碼器輸出的隱狀態直接定義為語義向量，也可以對其先進行變換處理，然后把變換處理后的結果定義為語義向量。接下來Seq2Seq模型會把該語義向量輸入到Decoder解碼器，Decoder解碼器會以該語義向量作為依據并計算，并得出一個長度不固定的文本序列。在圖7的常規Seq2Seq模型結構中，語義向量只作為一個Decoder解碼器的輸入數據，它并不參加Decoder解碼器內部的后續計算。

圖7 常規Seq2Seq模型結構

由于存在錯誤文本的句子在自動分詞時會受到錯誤文本影響導致分詞錯誤。本文引入注意力機制(Attention Mechanism)來解決分詞時長序列到定長序列轉化過程部分信息丟失的問題[22]。Attention機制的本質是對給定目標通過生成權重系數對輸入加權求和，來識別輸入中哪些對于目標是重要的特征。將Attention機制引入Seq2Seq糾錯模型，可以加強編碼端和解碼端的對應關系。Attention機制把原數據看作鍵值對形式，根據給定任務目標的查詢值計算鍵值和查詢值的相似系數，即得到向量值得權重系數，之后利用權重系數對向量值加權求和得到注意力機制輸出。在Seq2Seq糾錯模型中加入Attention機制來學習句子之間的長距離依賴，計算公式為：

Attention(Q,K,V)=softmax(QKT)V

(2)

式中，K代表詞的鍵向量，Q代表編碼詞的查詢向量，V代表值向量。通過計算權重得到注意力機制分布情況，從而得到對于當前輸出位置相對重要的輸入位置權重，在預測輸出時相應地也會占較大的比重。即解碼端自動選擇與正在生成目標詞相關源語句的詞匯，進而提升了模型糾錯的準確率。

基于Seq2Seq文本糾錯模型的糾錯準確率會受到訓練數據集影響，因此要對訓練語料預處理。先去除語料中非文字符號，接著對句子進行分詞編碼；然后分析數據獲取訓練數據的統計性信息，最后對句子重新排列以優化訓練過程。本文基于Seq2Seq的糾錯模型由編碼器和解碼器構成，在解碼端加入注意力機制分散對輸入語句各個詞的關注度以掌握輸入序列的細節信息，降低了錯誤文本對最終生成結果的影響。由于解碼器前一時刻輸出影響當前時刻輸入，因此在模型訓練時要清楚每一刻正確輸入形式。那么對于所有訓練樣本，訓練結果應使得全部訓練樣本預測概率之和最大，通過最大化似然函數獲取最佳糾錯模型。

本文內容糾錯算法的流程如圖8所示，首先，系統加載并初始化算法模型，然后使用正則匹配方法，對正文部分以中文標點符號的分句規則進行分句，待檢測句子逐句輸入文本糾錯模型，模型讀入該檢測句子后會計算并返回一個算法認為正確的句子并與原句子進行對比，若兩句相同，則待檢測語句沒有錯誤；若兩句不同，則待檢測語句可能存在疑似錯誤，算法將返回結果作為糾錯建議。

圖8 內容糾錯算法流程圖

對于標點符號的錯誤，由于辦公人員疏忽而多打了一個標點符號，造成標點符號的冗余。本系統采用遍歷循環的算法遍歷全文，定位每一個標點符號的位置，判斷該位置標點符號的數量，若出現兩個以及以上的標點符號，判斷標點符號冗余，返回標點符號錯誤的位置并以批注的形式顯示出來。此外文檔的標點大部分是全角符號，而辦公人員在寫作時可能會誤用半角的標點符號。本系統在遍歷全文標點的基礎上，判斷每個標點是否為半角，若判斷結果為半角標點，則返回標點錯誤的位置并以批注的形式標注出來。

3 文本自動糾錯系統測試結果分析

3.1 系統開發軟硬件條件

本文采用Python編程語言，基于VBA技術和Seq2Seq深度學習模型，在硬件設備為Windows10的64位操作系統，處理器為Intel Core i5-7200U，內存為8G的計算機上開發了一套文本自動糾錯系統。系統界面如圖9所示，主要由模板生成、格式校對和內容糾錯三個功能組成。辦公人員利用模板生成功能選擇對應類型的文檔模板，在模板基礎上進行內容寫作，內容編輯完成分別利用格式校對和內容糾錯功能對文本進行格式和內容糾錯，保證最終成稿文檔的規范性和正確性。

圖9 文本自動糾錯系統界面

3.2 系統測試結果分析

將文本自動糾錯系統應用到某機關的公文糾錯工作中。分析機關常用公文類型與格式要求，系統制作常見公文類型Word版的格式模板供辦公人員起草公文使用。以請示公文為例，Word版公文模板如圖10所示。公文模板一般由版頭、主體和版記三部分組成，其中文本要素的段落與字體格式是固定不變的，辦公人員只需要在相應文本要素的位置進行內容編輯即可。

圖10 請示公文模板

辦公人員在使用格式校對功能時先選擇需校對的文檔及文檔類型，再選擇是否檢查文檔格式并對文檔進行格式校對。首先點擊“選擇文件”按鈕打開需要格式校對的文檔，接著點擊“選擇公文類型”下拉框選擇需要校對的文檔類型。若點擊“開始檢查”按鈕，系統會打開文檔檢查文本格式錯誤并生成批注，同時如圖11所示，會在“檢測信息”文本框顯示格式檢查的結果供用戶參考。若點擊“保存結果”按鈕，就會將“檢測信息”框的內容保存為.txt文件。若點擊“格式校對”按鈕，系統就會對當前文檔進行格式校對，并彈出“格式校正完成”提示信息框。該功能減輕了辦公人員格式校對的工作負擔，并且通過分析格式檢查結果有利于了解文檔常見的格式錯誤以加強辦公人員的寫作規范性。

圖11 格式檢查的結果

以信函公文為例，圖12展示了文檔格式校對結果的部分截圖。該截圖展示了格式校對功能對文本要素的字體段落格式以及空白段落的校對。在字體格式校對方面：調整主送機關為楷體，一級標題為黑體等；在段落格式校對方面：調整主體內容第一段為兩端對齊、首行縮進兩字符的格式，調整一級和二級的層次標題段落縮進兩字符等；在結構調整方面：在標題和主送機關之間插入一行空白段落。系統的格式校對功能可以實現對文檔寫作中常見格式錯誤的校對。

圖12 格式校對結果圖

文本內容檢查功能無需選擇文檔類型。首先點擊“選擇文件”按鈕打開需要內容校對的文檔，若點擊“開始檢查”按鈕，系統會打開公文文檔檢查公文內容錯誤并生成批注。以通知公文為例，圖13展示了文本內容糾錯的部分截圖。

圖13 內容檢查的結果

此時在“檢測信息”文本框也會顯示內容檢查的結果供用戶參考。若點擊“保存結果”按鈕，就會將“檢測信息”框的內容保存為.txt文件。若點擊“一鍵糾正”按鈕，系統就會根據內容查錯結果對當前文檔進行內容糾錯。如圖14所示，內容檢查文檔以文本文檔保存，文檔內包含了字詞錯誤、冗余錯誤、標點錯誤的查錯結果及糾錯建議。其中“偵查”是基于文檔常出現文本錯誤建立的自定義糾錯庫而檢查出來的文本錯誤。內容糾錯功能保證了文檔內容正確性，通過將內容檢查的糾錯建議加入到用戶自定義糾錯庫中有助于提升文本糾錯準確率。

圖14 內容檢查文檔的效果圖

本文將基于深度學習的文本自動糾錯系統應用到機關公文糾錯工作中，通過對30篇公文文檔的糾錯測試發現，對文檔常見格式糾錯準確率在60%以上，對文本內容糾錯準確率在20%以上。該系統能夠滿足辦公人員基本的文本糾錯需求，極大地提升辦公效率并降低校對工作的負擔。

4 結束語

隨著信息化時代不斷發展，電子文檔應用越來越廣泛，面對電子文檔復雜的格式和內容錯誤，需要文本自動糾錯系統作為輔助以減輕校對工作的負擔。結合當前辦公人員的糾錯需求并參考當前文本糾錯技術，本文提出基于深度學習的文本自動糾錯系統，設計系統由文檔模板生成、文本格式糾錯和文本內容糾錯三個功能組成，實現生成不同類型的標準格式文檔模板，對文檔進行格式校對與內容糾錯同時生成檢查文檔供用戶參考糾錯建議。本文首先設計文本要素識別與檢查算法并基于VBA技術實現文本格式校對。然后基于Seq2Seq深度學習模型訓練字詞、語法和標點符號查錯模型完成公文內容糾錯。然而系統的格式校對功能無法校對一些特殊的文本格式，如調整兩行標題居中對齊及分別設置不同行的縮進格式。此外可以通過降低模型訓練過程的過擬合或優化神經網絡結構參數的方式進一步提升文本糾錯準確率。最終，通過系統測試實驗結果表明，本文的文本自動糾錯系統的格式和內容糾錯率都基本了滿足辦公人員的糾錯需求，極大地提升了辦公人員的寫作效率和文本糾錯的準確性，推動了電子辦公時代的快速發展。