基于Word2Vec的編程領域詞語拼寫錯誤檢測算法

劉峻松 唐明靖 薛 崗* 楊成榮

1(云南大學軟件學院 云南 昆明 650000)2(云南師范大學生命科學學院 云南 昆明 650000)3(六盤水師范學院 貴州 六盤水 553004)

0 引 言

Stack Overflow是一個熱門的計算機編程領域的問答社區，它為世界范圍內的計算機編程愛好者提供了一個解決問題的平臺。因此論壇中的問答文本具有很高的價值，每年都有很多人以Stack Overflow中的問題答案文本為研究對象，在海量的文本數據中挖掘不同的信息，為不同領域的研究提供數據基礎。

由于Stack Overflow是一個開放式的問答社區平臺，其中所有的文本數據均為來自世界各地用戶的輸入，因此其文本數據中存在大量的拼寫錯誤。在對文本進行分析時，拼寫錯誤對基于統計學理論的很多分析方法來說是相對致命的。以分析熱門問題和熱搜問題為例，在通過關鍵詞進行分析和檢索的過程中，如果某段文本的語義中心詞存在拼寫錯誤，根據計算機的模式匹配原則，該文段將會被錯誤地認知或歸類，當錯誤詞匯出現的頻率較高時，對于統計結果乃至最終的分析結果都會產生較大的影響。絕大多數人類輸入的文字都會出現文本拼寫錯誤，而諸如Stack Overflow這種開放平臺下的自然語言文本來說，其中拼寫錯誤文本的數量更是不可忽視。

本文提出了一種基于詞向量的文本拼寫錯誤自動檢測算法，通過結合文段語義及部分計算機輸入習慣所造成的常見錯誤情況，對Stack Overflow中計算機編程領域的文本數據進行自動的單詞拼寫檢測和糾正。實驗結果表明，與現有的以編輯距離為基礎的候選詞檢測和糾錯方式相比，使用本文算法對文本進行自動校正后，所獲得的結果文本與標準文本對比，語義相似度更高，針對部分計算機編程領域的專業詞匯及縮寫等情況的檢測和糾正效果更好，且在面對海量文本數據時能夠做到快速自動檢測和糾正，從而驗證了基于Word2Vec的計算機編程領域詞語拼寫錯誤檢測算法在針對計算機編程領域自然語言文本的單詞拼寫自動糾錯問題中具有較好的效果。

1 研究背景

單詞拼寫錯誤的檢測和糾正在自然語言處理領域是一個很早就已經出現的問題，Kukich[1]使用UNIX實現了英文文本的拼寫檢查方法，同時提出了單詞拼寫錯誤應包括非詞錯誤(Non-word error)和真詞錯誤(Real-word error)，這些理論為后續的單詞拼寫檢測和糾錯提供了基礎。Levenshtein[2]提出了編輯距離的概念，如今編輯距離被廣泛應用于單詞拼寫檢測和糾錯中，Soleh等[3]提出了使用詞法分析和查找字典的方式檢測錯誤詞匯，通過錯誤詞匯編輯距離構建候選詞集合，最后使用隱馬爾可夫模型對詞匯文本進行分析進而對候選詞集合的所有詞匯進行排序，選取序列中排列首位的詞匯作為錯誤詞匯的改正詞匯進行替換。謝文慧等[4]提出在編輯距離的計算中引入鍵盤物理布局這一因素，將鍵盤鍵位間的最短距離直接引入到編輯距離算法中，但該文使用絕對的物理距離作為參數，實際上用戶的鍵盤輸入誤差僅存在于周圍的鍵位當中，更遠的鍵位距離值會對最終的判別產生負向的影響。且上述所有方法均是以字典和編輯距離為核心判斷標準，因此對于部分專業領域較強的特殊詞匯及字典中沒有記錄的網絡新興詞匯的檢測能力不強，甚至可能會出現誤判的情況，而且對于網絡開放社區的文本來說存在大量諸如用戶名、郵箱地址等特定且無實際意義的詞匯，該類詞匯可能由某個具有實意的單詞演變而來且二者編輯距離極有可能很小，對該類詞匯的誤判會對文段的語義產生較大影響。

Bergsma等[5]將N-gram模型引入到拼寫糾錯問題當中，基于統計語言模型，分別利用了有監督和無監督的方法，結合上下文語義對單詞進行拼寫糾錯。Kim等[6]結合了單詞的相似性和N-gram模型，使用N-gram模型計算的語義相似性對單詞的拼寫相似度進行修正，提高了拼寫糾錯的準確性，但是N-gram模型具有參數空間大且數據稀疏嚴重的弊端，因此在處理大量文本時效率較低。

目前從文本拼寫糾錯領域的研究情況看，大部分方法是基于文本拼寫特征或基于統計的詞匯替換方法進行詞語拼寫矯正，上述方法存在準確度低、速度較慢等問題，而本文算法以Word2Vec運算的詞向量構建文本的向量空間，通過余弦相似度構建與檢測詞匯語義相似詞匯的集合，結合余弦相似度、詞頻、基于鍵盤鍵位改進的文本編輯距離的復合評分標準來對錯誤詞匯進行檢測和糾正。相較于上述已有的方法，本文提出的方法復合了多種對詞匯正誤判斷及候選集合選取有影響的因素。通過實驗表明，本文方法能夠在保證語義的前提下自動對大量文本進行檢測和糾錯，并且對部分專業性較強的生僻詞匯、新詞匯、縮寫詞匯有較好的檢測和糾正效果。

2 相關技術

2.1 詞向量技術

為了表達詞與詞之間的關系，Hinton[7]提出了詞語的分布式表達形式，每個詞對應的分布式表達是一個低維度的實值向量，其中每一個維度均可以表示一個詞的潛在特征。通過對大量文本語料的分析和訓練，將已知文本中的每一個詞匯映射為低維向量空間中的一個向量，這個向量空間稱為詞向量空間，其中的每一個向量稱之為詞向量。在這個空間中引入“距離”的概念，這個“距離”一般使用向量間的余弦值，多維向量的余弦值由歐幾里得向量點積公式推導得出，以此值作為兩個詞語的余弦相似度[8]。假設空間內現有兩個n維向量a=(A1,A2,…,An)、b=(B1,B2,…,Bn)，向量夾角為θ，余弦相似度計算式表示為:

(1)

由于詞向量本身包含了詞語潛在的上下文特征，因此通過對向量間余弦值的計算可以判斷其對應詞匯之間在語義或者上下文使用上的相似度。

Word2Vec是在2013年由Google的Mikolov等[9-10]提出并實現的一種工具，用于快速地對文本進行訓練并獲得低維詞向量，其核心是一個淺層的神經網絡。Word2Vec中包含了兩種訓練模型[10]，分別為CBOW和Skip-gram，兩種模型如圖1所示。

(a) CBOW模型 (b) Skip-gram模型圖1 Word2Vec中的兩種訓練模型

可以看出，兩種模型均是包含輸入層、輸出層及映射層的淺層神經網絡模型，核心理論是貝葉斯條件概率，研究w和Context(w)之間的條件概率關系，即P(w|Context(w))或P(Context(w)|w)，此處Context(w)定義為詞語w的上下文，數學表達如下：

Context(wi)=wi-t,…,wi-1,wi,wi+1,…,wi+t

(2)

式中：wi表示當前詞匯；t表示納入上下文計算的詞匯數量，即從當前詞匯開始計算前后需要納入計算的連續詞匯的數量。CBOW模型是通過輸入上下文對其中詞匯進行預測，而Skip-gram與之相反，通過詞匯對上下文進行預測。Word2Vec為了提高訓練的效率，還提供了兩種優化算法，分別是Hierachy Softmax和Negative Sampling，通過使用Word2Vec訓練可以輸出一組質量相對較高的低維詞向量，并且語義相近的詞匯將被映射到空間距離相近的位置上。

2.2 編輯距離

編輯距離(Levenshtein Distance)是Levenshtein[2]提出的方法，用于表示一個字符串轉變為另一個字符串所需的最小操作步數。一步操作包括刪除一個字符、增加一個字符和修改一個字符三種情況，假設現有字符串A和字符串B，使用Ai表示A字符串前i個字符構成的子串，同理使用Bj表示B字符串前j個字符構成的子串，用LD(i,j)表示字符串A和B之間的編輯距離，則根據編輯距離算法可得計算式：

(3)

3 基于詞向量的單詞拼寫識別方法

本文以文本詞向量為詞義相似度的評判基礎，通過改進的編輯距離模型對詞義相似度的模型進行修正，綜合考慮文本的語義和編輯距離的影響提出一種文本相似度計算方法，以此為基礎提出了一種文本單詞拼寫檢測糾錯的算法。本節通過對編輯距離模型、綜合文本相似度模型及單詞拼寫錯誤檢測方法三個方面進行概述。

3.1 基于物理鍵盤輸入方式的編輯距離模型

Levenshtein[2]提出的編輯距離可以一定程度的描述兩個單詞之間的拼寫相似程度，但是Stack Overflow是一個開放的網絡社區，其中絕大多數詞匯都是通過計算機鍵盤進行輸入的，因此有一部分詞匯錯誤是鍵盤鍵位相近導致的誤操作所造成的。本文將在原始編輯距離公式上進行改進，將因鍵盤鍵位相近導致誤操作的情況納入編輯距離計算中。

本文使用無向圖的方式表示鍵盤鍵位，根據國際標準QWERTY鍵盤的物理鍵位位置，構建如圖2所示的無向圖。文獻[4]使用無向圖中的最短路徑作為距離引入到編輯距離當中，但實際上針對國際標準鍵盤布局，有一種較為常用的輸入指法，在該指法下，用戶在輸入的過程中，不同的輸入錯誤情況出現的概率會根據指法中鍵位的分布而存在偏差，鍵盤指法的分布如圖2所示。

圖2 鍵盤布局和鍵盤指法分布圖

文獻[11]中針對鍵盤指法提出了三種輸入錯誤的類型：(1) 錯誤字母與正確字母位于同一個手指負責的區域(此類錯誤情況定義為W1)；(2) 錯誤字母與正確字母位于同一只手的相鄰手指負責的區域(此類錯誤情況定義為W2)；(3) 錯誤字母與正確字母位于不同手的相鄰手指負責的區域(此類錯誤情況定義為W3)。

以單詞“word2vec”為例，與字母“w”相鄰部分的鍵位如圖3所示，用戶在執行鍵入“W”的操作時，若錯誤輸入為“2”“S”則屬于W1情況，若錯誤輸入為“3”“Q”“E”“A”則屬于W2情況。

圖3 字母“W”相鄰布局圖

文獻[11]通過大量的統計實驗表明，上述三種錯誤情況出現的概率滿足如下關系：

(4)

式中：W1、W2、W3分別代表上文提及的發生三種輸入錯誤類型的事件；P(W)表示不同輸入錯誤類型所代表的事件的發生概率。因此，將上述無向圖改為加權無向圖，將邊賦予不同的權值。同樣以“word2vec”為例，如果使用圖的最短距離直接作為鍵盤鍵位對編輯距離的影響因子，則“mord2vec”和“tord2vec”的影響程度是不一樣的，但是實際上，一旦超過“相鄰”鍵位這個范疇，這種詞語中字符的區別則更傾向于不同單詞或其他錯誤情況，因此本文在上述基礎上引入一個閾值，當其最短距離超過閾值時，則認為該字符差異不是由鍵盤物理鍵位的誤操作引起的。

根據上述思路，首先根據三種錯誤情況出現的概率對鍵盤鍵位圖中各邊的權值進行設定，根據上述規則，設W1=1、W2=2、W3=3。盡管某些情況下，同一手指負責的區域出錯的可能性較大。由于兩個字母按鍵相隔距離較遠時，其混淆輸入的可能性將大幅度下降，因此在加權圖的距離計算時將距離乘跳數作為其距離的最終值，同時引入閾值T=4，將誤操作范圍界定于圖3所示的范圍內。則任意兩個鍵盤可輸入字符串A和B之間的距離Dk的計算公式如下：

(5)

(6)

則推導可得任意兩個字符串A和B，改進后編輯距離的影響因子I(A,B)的計算式如下：

(7)

綜上，對原始編輯距離公式修正為：

LDk(A[i],B[j])=

(8)

3.2 詞匯綜合相似度模型

基于詞向量關注每個詞匯上下文情況，而不關注詞匯拼寫本身的特性，且絕大部分拼寫錯誤詞匯，輸入者所想表達的語義與其對應的正確詞匯是一致的，因此錯誤詞匯的上下文特征與正確詞匯的上下文特征相似度較高，也就是在向量空間中二者詞向量間的夾角余弦值較小，因此將詞向量間的余弦相似度值與上述改進的編輯距離同時納入到綜合相似度評分的計算中。

對任意兩個詞A和B的綜合相似度評分S(A，B)進行計算，S(A，B)與A、B對應詞向量的余弦相似度成正比，與LDk成反比，由此可得S(A，B)計算公式為：

特深井實施應依據地層深度方向宏觀分布規律將特深井分為上部、中部和下部三段分別考慮。本文依據科學特深井地層深度方向的不同特點，以孔內安全問題為技術主線，提出具有針對性的鉆孔安全技術措施，從而提出特深井施工技術體系初步方案及其重大關鍵技術構想。

(9)

式中：a、b表示詞語A、B所對應的詞向量；cos(a·b)表示A、B詞語對應詞向量的余弦相似度；LDk(A,B)表示改進的詞語A、B的編輯距離；max()表示選取最大值函數；len()表示字符串長度。若兩個詞語的編輯距離等于最長詞語的字符數，則意味著在本文模型中，這兩個詞匯沒有任何相似之處，因此將其相似度綜合評分直接定為0。

3.3 基于詞向量的自動拼寫錯誤識別

本文提出的算法會對文本中每一個詞語進行分析。對于每一個被檢測詞語，首先通過Word2Vec計算的模型獲得與當前詞語向量余弦語義相似度最高的十個詞語組成候選詞集合，分別對當前詞語和候選詞集合中的所有詞語計算綜合相似度評分，獲取評分最高的詞語，對比兩個詞語的詞頻。若當前被檢測詞語的詞頻低于候選集中評分最高的詞語，則使用該詞語替換當前詞語，達到詞語糾錯的目的。因此要對文本語料進行處理和訓練，獲得詞向量模型。首先對文本進行預處理，原始Stack Overflow的文本數據如下：

PyXML works well.

You didn t say what platform you re using, however if you re on Ubuntu you can get it with sudo apt-get install python-xml. I m sure other Linux distros have it as well.

If you re on a Mac, xpath is already installed but not immediately accessible. You can set PY_USE_XMLPLUS in your environment or do it the Python way before you import xml.xpath:

if sys.platform.startswith(′darwin′):
 os.environ[′PY_USE_XMLPLUS′]=′1′

In the worst case you may have to build it yourself. This package is no longer maintained but still builds fine and works with modern 2.x Pythons.Basic docs are here.

Stack Overflow的原始文本是按照HTML的格式組織的，其中包含大量的HTML標簽和無意義的格式信息，因此對上述原始數據的處理步驟如下：

(1) 解析HTML結構文本獲得自然語言文本。在解析HTML文本的過程中，包含兩類標簽，一類是諸如

、
僅對文本格式或樣式設置的標簽，此類標簽應直接刪除而保留標簽內的文本；另一類是諸如、等包含鏈接、代碼等與自然語言文段語義不相關的內容，此類標簽應與標簽內文本一同刪除。

(2) 清理轉義字符。對文本中部分轉義字符進行識別和刪除，該部分字符內嵌于HTML標簽內大部分用于對格式進行調整或表達某類符號，無實際語義。

(3) 刪除常規標點符號。由于Stack Overflow文本數據主題是計算機編程領域，因此文本中包含大量特殊字符，該類字符少量與語義相關，例如“C”“C#”，在計算機編程領域中這兩個詞匯代表著兩種不同的技術，若刪除特殊符號“#”對文本語義產生影響較大，因此本步僅對常規標點符號進行刪除。

(4) 分詞處理。由于Stack Overflow本身是一個國外論壇，因此其中所有的文本均為英語文本，英語文本直接使用空格作為分界進行分詞即可。

(5) 對文本進行詞類還原。同一個詞匯會存在不同形式，但其語義相同，因此需要對詞匯進行詞類還原，包括動詞時態還原以及名詞復數還原，這里使用NLTK[12]中的詞類還原工具WordNetLemmatizer對文本中的詞性進行還原。

經過上述五步的數據處理，可以獲得最終用以訓練的文本數據。針對樣例數據，上述五步處理過程的結果如表1所示。

表1 樣例數據處理過程

續表1

接下來使用Word2Vec工具對處理好的文本進行訓練，Word2Vec自身集成了兩種詞向量訓練模型，以及兩種訓練優化算法，因此共有四種詞向量訓練框架，如表2所示。

表2 Word2Vec四種詞向量訓練框架

本文中數據量較大，且存在較多的專業生僻詞，因此選取Skip-gram算法進行計算，而Hierachy Softmax使用了哈夫曼編碼，因此效率較高，所以本文使用Skip-gram+HS的框架訓練詞向量。

詞向量訓練完成后，即可對文本的每一個詞匯進行掃描識別，但是在計算機編程領域存在較多專業性生僻詞匯和縮寫詞匯的特殊詞匯情況，一個特殊詞匯可能是標準英語詞匯字典中不存在的詞匯，也有可能是某個較長詞匯或者詞組的縮寫。一般情況下，在特定的專業領域內，該類情況所衍生出的一系列特殊詞匯的拼寫和形式都較為統一，因此使用大量的同一領域內的語料進行訓練后，針對專業性生僻詞匯和縮寫應存在以下兩種情況：

(1) 專業性生僻詞匯。此類詞匯的特征是在標準英語詞匯字典中不存在卻真實的表現了該領域的某個含義，此類詞匯反映在向量空間中應是作為一個語義獨立的單獨詞匯，因此從向量特征或是語義的角度來說不存在可以替換的詞匯也不會被作為錯誤詞匯處理。

(2) 縮寫詞匯。此類詞匯的特征是拼寫長度相對較短，其語義可以代表另一個單詞，這種單詞應分為兩個方面處理：當縮寫詞匯拼寫長度過短時一個字母發生變化，盡管編輯距離很短，但是對于這類詞來說極大概率會變成毫不相關的另一個詞匯，而且在長度極短的詞匯中出現錯誤的概率也相對較低，因此應當根據文本情況設定文本檢測的最小單詞長度，在檢測的過程中跳過過于短小的詞匯；而對于長度較長的縮寫詞匯，反映在向量空間模型中應該與其代表的原有詞匯相似度最高，但一般縮寫詞匯與原有詞匯的編輯距離都相對較長，因此也不會進行更改處理。即便縮寫詞匯與原有詞匯的拼寫差距較小，那么被修改為原有詞匯對原文的文意也沒有影響。

綜上所述應按照相關規則檢測所有符合要求的單詞，對每個單詞，識別工作流程如圖4所示。

圖4 詞語拼寫糾錯流程

通過詞向量模型構建與之余弦相似度最小的10個詞匯候選集，每個詞與被檢測詞計算綜合相似度評分，選取評分最高的一個詞匯，與原詞匯對比在整體文本中出現的詞頻，詞頻更高的單詞視為該語境中更接近正確的詞語，若候選集中的詞語詞頻更高，則替換原詞匯，反之保留原詞匯。

4 實 驗

為了驗證本文所提算法的實際效果，本文從兩個方面來進行實驗驗證：計算機編程領域內專業詞語錯誤檢測糾正效果和糾錯后文本語義還原效果。本文驗證實驗環境為CPU：Intel Core i5- 4590，內存：8 GB RAM，操作系統：Microsoft Windows 10 1903；實驗程序使用Python語言編寫，Python版本3.7；調用NLTK[12]及Gensim[13]相關的Python庫；文本數據來源于開源計算機問答社區Stack Overflow[14]中的文本數據。對比算法為基于經典編輯距離和詞頻統計的錯誤詞匯檢測糾正算法。

4.1 錯詞檢測糾正效果驗證

錯詞檢測糾正率驗證的實驗主要針對本文提出算法模型對計算機領域特定詞匯的錯誤檢測糾正效果進行實驗驗證。在所有Stack Overflow文本數據中，隨機選取500句具有專業領域詞匯的句子進行人工的錯詞糾正，獲得500句詞匯拼寫標準的句子集合作為實驗數據的對照數據，對上述500句文本中675個涉及計算機編程領域的詞匯進行人工給錯，此處錯誤的類型包括各類的輸入錯誤，每類錯誤均在Stack Overflow全部文本數據中進行檢索，確保該類型錯誤為真實存在的錯誤情況。

同時對上述500句人工給錯的數據分別執行本文提出的基于Word2vec和基于經典編輯距離的檢測糾錯算法，根據數據實際情況，僅對拼寫長度大于2的詞匯進行檢測，兩種算法的訓練數據均為全部Stack Overflow文本數據。實驗分別將兩種算法計算的結果與對照數據進行對照，對錯誤詞匯的識別數、改正數及正確詞匯的誤判數三個方面進行統計和對比，結果如表3所示。

表3 錯詞糾正效果實驗結果

通過實驗結果所示，經典編輯距離算法和基于詞向量的糾錯算法的糾正效果如表4所示。

表4 糾正效果對比 (%)

通過實驗驗證可得，相比于經典的編輯距離算法，本文提出的基于Word2Vec的拼寫錯誤檢測算法的識別率提高了4.1%，糾正率提高了22.63%，誤判率減少了49.33%，整體效果提升顯著。

4.2 語義還原效果驗證

語義還原效果的實驗驗證使用的數據與錯詞檢測糾正效果實驗相同，引入BLEU值[15]作為語義還原度的評價標準，BLEU原用于評價機器翻譯的翻譯準確度，本文使用該值評價修改后的文本與原文本的語義相似程度，通過上述實驗中兩種算法糾正完成后的500句文本語句與標準對照文本進行BLEU的計算，結果如表5所示。

表5 兩種算法結果平均BLEU值對比

通過BLEU值對比，本文提出的基于Word2Vec的拼寫檢測糾錯算法，在語義還原度上比經典的編輯距離算法提高了7.58%，具有較好的語義還原性。

綜合上述實驗結果表明，本文提出的基于Word2Vec的計算機編程領域詞語拼寫錯誤檢測算法，能夠在保證較高語義還原度的基礎上，較好地對計算機編程領域文本進行自動拼寫錯誤檢測和校正。

5 結 語

目前，在自然語言分析領域，語料中的錯誤詞匯依然影響著數據統計和挖掘的精確性，本文提出了一種基于詞向量計算詞語相似度，再通過改進的編輯距離算法對相似度進行修正，針對Stack Overflow開放性問答社區中計算機編程領域的大量文本實現快速自動糾錯。經過實驗驗證，相比較于現有的文本糾錯方法，本文算法能夠在保證原文語義的前提下自動將大部分文本中的錯誤進行糾正，取得了較好的效果。

猜你喜歡

語義詞匯文本

本刊可直接用縮寫的常用詞匯

中華胰腺病雜志(2021年1期)2021-02-26 11:28:36

一些常用詞匯可直接用縮寫

山東醫藥(2020年34期)2020-12-09 01:22:24

語言與語義

開放教育研究(2020年2期)2020-03-31 01:54:14

在808DA上文本顯示的改善

制造技術與機床(2019年10期)2019-10-26 02:48:08

本刊可直接用縮寫的常用詞匯

中華胰腺病雜志(2019年4期)2019-08-29 08:52:20

基于doc2vec和TF-IDF的相似文本識別

電子制作(2018年18期)2018-11-14 01:48:06

“上”與“下”語義的不對稱性及其認知闡釋

現代語文(2016年21期)2016-05-25 13:13:44

文本之中·文本之外·文本之上——童話故事《坐井觀天》的教學隱喻

小學教學參考(2015年20期)2016-01-15 08:44:38

認知范疇模糊與語義模糊

大連民族大學學報(2015年2期)2015-02-27 08:28:11

如何快速走進文本

語文知識(2014年1期)2014-02-28 21:59:13

計算機應用與軟件2022年3期

計算機應用與軟件的其它文章

投稿須知

概念格的對象漸減更新算法

面向社交群問答對獲取的深度學習模型

基于詞向量的多維度正則化SVM社交網絡抑郁傾向檢測方法

輪式機器人分數階滑模內模速度控制器設計

基于輕量級神經網絡的白盒攻防研究