無監督與有監督相結合的粵語分詞方法

蘇振江，張仰森，2+，胡昌秀，黃改娟，2

(1.北京信息科技大學 智能信息處理研究所，北京 100192；2.北京交通大學 國家經濟安全預警工程北京實驗室，北京 100044)

0 引 言

目前，國內對于中文文本的分詞算法的研究日漸成熟，很多相關研究都取得了相當不錯的效果，但針對少數民族語言的分詞研究工作相對較少。而網絡信息中方言及少數民族的語言使用存在一定的普遍性，通常具有地域特征，例如在港澳和兩廣地區，粵語受到廣泛的應用。與此同時，也應關注到針對港澳這類政治敏感地區，有效地對以粵語形式發表的網絡信息進行監管分析，以達到保障信息安全、國防安全的目的具有重要的社會意義。粵語作為中國文化中最具特色的方言之一，具有獨特的聲調、發音和語法結構，通過更好的分詞算法提升對粵語相關論壇和新聞網站內容的分析效果，能夠更加快速有效地獲悉當地輿情動向，為將來的民情民愿獲取和政策決策輔助提供技術上的支撐。

因此，利用粵語社交媒體的短文本數據，進行特征提取與模型構建，設計并實現一種有效的分詞算法，提升粵語分詞準確性，對以粵語為研究對象的自然語言處理任務研究具有重要意義。

1 相關工作

與其它漢語方言不同，粵語創造了一套較完備的方言文字書寫系統，粵語的文字書寫系統可以分為通用漢字和粵語特殊用字兩個部分，因為有相似的部分，所以現有的中文分詞研究對粵語分詞研究的開展具有相當大的啟發意義。目前主流的中文分詞方法主要分為3大類：基于規則的分詞方法[1，2]、基于機器學習的分詞方法[3-5]以及基于深度學習的分詞方法[5-9]。袁向鐸[10]依據構建的知識庫采用雙數組trie樹的字符串匹配方法對中文地址進行初步分詞，又設計了基于地址組成規則的分詞結果處理算法來對其進行消除歧義、推導驗證等處理，大大提高了分詞的準確率。雖然基于規則的分詞方法簡單、便于操作，但單純基于規則的分詞準確率不高，未能解決未登錄詞識別和分詞歧義。邢付貴等[11]通過互信息、信息熵、位置成詞概率多特征融合的新詞發現方法從大規模古籍文本中建立基礎詞典與候補詞典，形成含有349 740個字詞的集成古文詞典CCIDict，并應用CCIDict實現古文的多種分詞算法。雖然基于統計的分詞方法可以很好地識別高頻未登錄詞和交集型消除歧義，但是統計模型復雜度高，運行周期長，依賴人工特征提取。Tian Y等[12]提出了一種通過在訓練過程中考慮不同的字符組并基于BERT的用N-gram表示增強的中文文本編碼器，ZEN。ZEN能夠綜合字符序列和包含的單詞或短語的綜合信息，證明了ZEN在一系列中文NLP任務中的有效性。與其它已發布的編碼器相比，ZEN使用更少的資源，并在大多數任務上表現更優越的性能。深度學習模型能大大提高中文分詞的準確度，但其依賴訓練預料，分詞速度和跨領域分詞等方面依然存在短板。

針對于粵語的相關工作，Wang Z等[13]構建了2019冠狀病毒疾病相關粵語假新聞集，實證了基于深度學習的方法效果表現略優于傳統的機器學習在TF-IDF特征上的方法效果。Shen A等[14]作為Lihkg在線論壇為語料庫，提出一種基于字符嵌入和中文分詞的主題矢量化方法，以MLP(多層感知器)神經網絡為位置主題模型，該方法和模型能夠有效識別論壇所討論活動的時間和位置。Wu Bing[15]提出了一種新穎的粵語風格文本情緒分析方法，即情緒增強注意(LSTM-SAT)，將情感知識引入基于深度學習的長短時記憶網絡的注意力機制中，但其在中文分詞部分仍然用的是正向最大匹配算法，在分詞效果上還有很大的提升空間。

總的來說，方言等地方特色語言的計算機領域相關工作研究較少，尤其是粵語，大多研究都是語言學家語義語法層面上的總結和論證。就目前針對粵語相關工作來看，還存在以下問題：一方面，針對粵語內容的研究較少，如粵語內容的話題檢測與追蹤等領域，未將中文研究成果應用于粵語文本處理當中。另一方面，直接利用的粵語語料還相對較少，大批量獲取分詞預處理好的粵語語料仍有難度，一定程度上影響實驗效果。

2 字庫建設

2.1 字庫選取

一直以來，粵語字與其它方言字一樣，缺乏相應的規范標準。對于粵語字是否需要規范這個問題，從民間到學界都曾有過不同的意見。但從學習、理解及應用的角度來說，粵語字的規范是很有必要的。粵語在日常使用的過程中問題主要表現為繁簡體混用和繁簡體不對應，前者可以通過繁簡轉換的方法來解決，但后者會出現有字無碼的現象。多年來，國家出臺了相關字符集，具體包括：《圖文電視廣播用漢字編碼字符集·香港子集》(GB/T15564—1995)及香港特區政府公布的《香港增補字符集》(HKSCS-1999至2016)。其中，《香港增補字符集-2016》共收錄5033個字符，增錄了400多個粵語字，這對粵語字在電腦中的使用起到了十分重要的作用。侯興泉與吳南開在《信息處理用字詞規范研究》一書中收錄了1000多個粵語字。所以選擇一個包含粵語字更全的字符集可能會對文本存儲和處理帶來便利。

本文根據《香港增補字符集-2016》、《信息處理用字詞規范研究》中收錄的共10589個粵語常用字進行解碼再轉碼操作，各字符集比較結果見表1。GB18030與UTF-8收錄的粵語常用字差別不大，但UTF-8的編碼格式在中文研究領域更為常用，其中經調研使用utf8 mb4字符編碼對繁體較多的粵語有更好的支撐效果。因此，本文選取utf8 mb4字作為字庫編碼格式。

表1 字符集收錄粵語常用字統計

2.2 數據采集

本文數據源主要包括粵語主流社交媒體的用戶發言信息、粵語新聞網站的新聞報道、用戶評論以及粵語書籍資料4大類。其中，主流社交媒體的用戶發言信息選取的數據源包括Twitter、微博等社交媒體；新聞及新聞評論主要選取自的是《巴士的報》網站；粵語書籍主要是網絡小說。本文選取這3類數據源時從3個方面保證了實驗結果的普適性：第一選取的文本長度涵蓋短、中、長3類文本；第二選取的類型包括口語化的日常網絡用語、粵語書籍以及用語規范的新聞報道；第三選取的文本主題沒有固定范圍，涵蓋日常生活、娛樂新聞等多個方面。

技術上采用Scrapy的爬蟲框架進行數據采集，爬取的數據主要是粵語主流社交媒體的用戶發言信息、粵語新聞新聞報道以及用戶評論。主流社交媒體網站為了緩解自身服務器的負載壓力往往會限制單個IP的訪問頻率以及在超過單個IP訪問上限時進行封禁的反扒策略。因此在訪問時需要制定相應爬蟲策略，具體采集方法如下：

(1)統一不同數據源寫入數據庫格式，設置代理服務以及將爬蟲部署外網服務器；

(2)按時間線順序將待爬取粵語新聞及社交媒體用戶發言的URL置入待爬取列表；

(3)逐個取出待爬取集合中的URL進行爬取；

(4)查看爬取結果。如果被限制訪問，將URL置入待爬取集合，并更換代理，重新進行第(3)步。如果爬取成功，則寫入數據庫。

2.3 詞庫構建及特征選取

在缺乏高質量分詞語料的情況下，使用詞頻、凝結度(互信息)與邊界熵等基于統計方法作為初步的分詞策略。其中，凝結度能描述字與字之間關聯程度，也就是成詞可能性，如式(1)、式(2)所示

Fi1(w1，2，…，i)=P(w1，2，…，i)P(w1)P(w2，…，i)

(1)

…

Fii-1(w1，2，…，i)=P(w1，2，…，i)P(w1，…，i-1)P(wi)

(2)

其中，F表示凝結度的值，w1，2，…，i代表選取子串的有序集合，P(w) 代表該子串在整體語料集中出現的概率。由此可得，式(1)、式(2)中的Fi描述的都是同一個子串內部不同凝結度的計算方式，當子串w1，2，…，i所有的切分方式出現頻率的乘積遠大于其整詞w1，2，…，i的出現頻率情況下，表明該子串w1，2，…，i的成詞的可能性非常大。因此，充分考慮到互聯網語言以及粵語的時效性，句子中不同長度的子串都有成詞的可能。

根據圖1可得隨著詞的長度增加，詞本身出現次數會相應減少。現代漢語語料庫多字詞詞頻及概率如圖1所示。

圖1 現代漢語語料庫多字詞詞頻及概率

圖2可得，一般4字以上的詞(除專有名詞以外)出現的概率較小。現代漢語語料庫多字詞詞頻占比統計如圖2所示。

圖2 現代漢語語料庫多字詞詞頻占比統計

同時，通過對漢語語料庫中4字以上詞的分析可得，按照更細粒度的分詞標準這些詞一般都能拆解成多個較短詞。由于粵語是漢語方言的一種，在構建粵語詞庫時，選詞的最大長度設置成4會更加合適。

設置閾值要考慮不同長度的多字詞對閾值的影響，并且由圖2、圖3所示詞頻也能作為選詞標準幫助篩選。不同參數下的成詞率散點圖如圖3所示。

圖3 不同參數下的成詞率散點圖

并且隨著詞本身長度的增加其凝結度集 {Fi} 內凝結度的計算方式也相應增多，凝結度集內部值的變化可能性增大。在理想情況下，凝結度集的值都普遍偏高時，說明該詞的成詞可能性越高或者其上位多字詞成詞的可能性就越高。相反，當凝結度集中出現過小值時，說明該詞成詞的可能性較小。這時需要用左右信息熵來進行篩選，主要目的就是形容左右鄰字的豐富程度，如式(3)、式(4)所示

EL(W)=-∑P(XW|W)·log2P(XW|W)

(3)

ER(W)=-∑P(WY|W)·log2P(WY|W)

(4)

其中，EL與ER表示W字的左右信息熵，而P(XW|W) 表示左鄰字X在W的所有的左鄰字中的概率。當EL與ER特別高時，說明字W的左鄰字X與右鄰字Y非常豐富，以W開頭的詞存在上位詞的概率低。根據實驗結果，提取其中的多字詞表見表2，可以發現提取的詞既具備當下熱詞也具備方言詞匯，如肺炎、曱甴等。

表2 詞庫示例

3 無監督分詞方法研究

3.1 基于二元詞頻的初篩分詞

通過大規模數據的文本處理構建二元字典以及多字詞詞庫，將其分別應用在初篩分詞和分詞修正的實踐上。其中，二元字典以七元組形式如式(5)所示

Di=(w1，w2，f1，2，F1，2，S1，2，e1，e2)

(5)

其中，w1與w2表示兩字，f1，2表示兩字出現頻數，F1，2表示兩字出現頻率，S1，2表示兩字之間的凝結度，e1與e2分別表示w1左信息熵與w2右信息熵。在2.3小節構建粵語詞庫時，本文應用式(1)中對凝結度集 {Fi} 整體都高于閾值的子串進行篩選。但如果兩字之間的凝結度低于某閾值就說明兩字之間的成詞可能性較小，存在分詞界限的可能性就高。利用此方法作為分詞依據，將粵語語料根據二元字典進行處理，通過兩字之間的凝結度Fi進行切分。

此方法在分詞上已經初具效果，在圖4中雖然沒能將“佢/就”和“一個/筆盒”等詞正確切分，但只根據二元字典進行計算省去了三元以及多元的考慮，節省了大量計算時間。并且“畀心機”的出現頻次也相當的高，表明該方法具備能將任意長詞給切分出來的能力。初篩分詞結果如圖4所示。

圖4 初篩分詞結果

3.2 基于多元詞頻的二次分詞

對于初篩分詞結果，已將待分詞序列切分成有限個待分詞子序列，只要將每個待分詞子序列優化為最優分詞結果，即可達到全局最優分詞序列，即整句的最優分詞序列。針對待分詞子序列，本文應用基于詞頻的雙向匹配分詞算法進行優化。其分詞過程主要分為雙向分詞和分詞序列選擇兩部分，具體算法步驟如下：

算法1：基于詞頻的雙向匹配分詞算法

輸入：由初篩分詞得到有限個待分詞子序列 {Sj}， 其中Sj=(w1，…，wk)，wk表示子序列中第k個字。

輸出：

(1)正向最大匹配的分詞：對Sj利用粵語多字詞庫利用正向最大匹配算法進行匹配。以Sj為例，Iflen(Sj)>2： 選取以首字開始的二字詞到四字詞逐一對詞庫的進行匹配，選取匹配中的最長詞記為f1， 如果沒有匹配到將單字同樣記為fm， 繼續對后續字迭代該過程，得到Sj正向最大匹配的分詞結果Fj=(f1，…，fm)。

(2)逆向最大匹配的分詞：同正向最大匹配的分詞，從最后面字符開始，得到Sj逆向最大匹配的分詞結果Ej=(e1，…，em)。

(3)基于詞頻的評分：利用詞庫得到了Fj與Ej兩種分詞結果，利用詞頻對分詞序列結果Fj與Ej進行評分，得到socre*j(Fj) 和socre*j(Ej)。 具體計算如公式(6)所示

socre*j(Fj)=∏mx=1-logP(fx)

(6)

(4)選擇最優解：選擇最小的socre*j作為Sj最優分詞序列，對接下來Sj+1，…，Sj+k重復上述過程進行計算，得到全句最優序列 {S′j}。

(5)合并連續的單字詞，輸出序列 {S′j}。

圖5的二次分詞結果中雖然沒能將“佢/就”和“一個/筆盒”等詞正確切分，但只根據二元字典進行計算省去了三元以及多元的考慮，節省了大量計算時間。并且“畀心機”的出現頻次也相當的高，表明該方法具備能將任意長詞給切分出來的能力。二次分詞結果如圖5所示。

圖5 二次分詞結果

3.3 基于語法規則和語言特性的分詞修正

經過基于詞頻的最大雙向匹配算法得到了全句最優序列 {S′j}， 但 {S′j} 全是應用無監督的方法進行實現的，沒有驗證 {S′j} 在句法結構上的合理性。因此，利用有向無環圖(DAG)分析句法結構，驗證 {S′j} 在句法結構上的合理性，提高分詞結果的準確性。本文2.3小節提到利用互信息來描述詞內部連接的緊密程度，本節繼續利用詞級別的互信息來描述詞與詞之間的關聯程度。

以句子為單位，分別計算分詞序列 {S′j} 中任意兩詞的互信息，將超過閾值的兩個詞進行連接，形成能夠描述分詞序列 {S′j} 中各詞相關程度的一個有向無環圖。遍歷每各句子中存在的路徑，如果路徑中非相鄰的詞通過邊連接到下一個詞且存在跳躍的詞，就在兩詞之間插入 {S′j} 進行表示發生過跳躍，最終得到關于該句的各個插槽句型模板。對例句進行邊的計算和連接，得到如圖6所示的詞互信息關聯，再借由此生成圖7所示的插槽句型模板。

圖6 詞互信息關聯

圖7 插槽句型模板

統計所有語料中可能存在的插槽句型模板，并對記錄相同插槽句型模板的出現頻次進行排序，核對排名靠前插槽句型模板是否符合分詞規范，將不符合分詞規范的插槽句型模板進行修改。從圖7可以看出，以包含“佢就”的句型模板為例，雖然該兩字前兩步沒有被正確切分，但該兩字的句型模板在整體語料中出現次數排名靠前，出現10萬多次。針對該問題進行分詞修正，將其分為“佢/就”，并應用修正到全部擁有此句型模板句子中。同理，本文對出現頻次前10%的模板進行分析，對出現的分詞錯誤進行修改，一定程度上提升了整體 {S′j} 的準確率。因此，針對出現高頻的共性語句進行排序和分析，不僅更容易發現共性問題，也降低了人工校對的工作量，短時間內就能達到效果上的提升。

4 有監督的分詞方法研究

上述的分詞過程需要不斷查找詞庫，存在處理時間長、過程繁瑣的問題，可以利用深度學習模型對無監督的分詞方法的效果進行固化，達到簡化分詞流程、減少分詞時長的效果。因此，本文應用3層架構的深度學習模型框架來實現對分詞序列的標注，Bert-BiLSTM-CRF模型如圖8所示。

圖8 Bert-BiLSTM-CRF三層模型架構

模型的輸入以字為單位的整句，輸出是每個字對應的預測標簽。首先在Bert層，將輸入的代分詞粵語文本，將其通過Bert模型將字序列 {w1，…，wi} 映射為對應的特征向量 {v1，…，vi}。 然后，將映射后的序列字向量 {v1，…，vi} 作為BiLSTM層的輸入，通過拼接BiLSTM層的前向運算和后向運算的結果向量，得到每個字向量的隱層向量表示，將隱層向量進行降維，輸出維度大小為原文本字數的向量，向量中每個維度對應的數值表示每個字對應的各個標簽的得分。最后，引入CRF層進行標簽預測。如表3所示，在進行語料標注時，采用六位詞的標注方法對數據集中的每個實體進行字級別的位置標注，相比于四詞位和二詞位標注集，六詞位標注集更能有效地表現字在詞語中的詞位信息，表達能力更強。

表3 類詞位標注集的定義

最后將CRF層的結果輸出，將其每個字位置所對應的各個標簽類別作為預測結果。

5 實驗分析

5.1 數據集

表4 數據集規模介紹

5.2 分詞實驗結果分析

將章節3、章節4所涉及的實驗采取SIGHAN bakeoff2005的評測標準對評測結果進行測試，該評測標準包括精確率P、召回率R、綜合評分F值、未登錄詞召回率R-OOV、詞表詞召回率R-IV這5個指標。其中未登錄詞召回率與詞表詞召回率受粵語詞庫和分詞步驟影響都比較高，不具有對比和參考意義，將其它3個指標得到的實驗結果見表5。

表5 實驗結果

本文在3.1小節中，利用凝結度作為分詞依據，將粵語語料中每個句子分成若干個序列，并以此作為初篩分詞的結果，該結果的F值能達到0.562。F值能達到這個數值的原因不僅是在分詞時反向利用凝結度，將緊密程度不夠的兩字之間添加分詞界限，還因為用于分詞的凝結度是根據語料本身的計算而得，更能適應語料本身。限制F值上升的原因是仍存在凝結度值不低于閾值但存在分詞界限的地方未被找到的問題。閾值過低，影響原有的正確切分的數量，從而導致精確率增高與召回率降低；閾值過高，錯誤切分的數量增多，從而導致精確率降低和召回率升高。

為了解決這個問題，保證F值的同時，本文在3.2節引入2.3小節構建的粵語詞庫，對句子中每個序列進行基于詞頻的雙向最大匹配算法進行分詞優化。該步驟能利用粵語詞庫中已確定的詞進行雙向匹配擇優選擇結果，提高語料切分整體的F值14.5個百分點。該步驟切分的效果主要受限于粵語詞庫的質量。從語料本身提取的詞庫處理該語料時，理論上是不存在未登陸詞的，但在建立詞庫時候詞庫篩選掉的詞會作為未登錄詞影響匹配的效果。所以，在切分的時候也充分考慮到該種情況的影響，對最后的結果中的連續單字符進行合并。

經過基于詞庫的二次分詞得到了新的分詞語料，在F值上仍有提升的空間。經過對分詞結果的觀察，仍存在像“佢就”此類常用搭配，想要從優化詞庫質量改善效果需要投入大量人工總結修正的工作。但是想要對分詞結果有個短時間內的提升，可以轉換角度從語法結構入手，去改善粵語詞庫中沒有常用單字詞對分詞結果的影響。于是利用詞之間互信息，找到出現頻率高共性大的句型，批量修改里面存在的分詞錯誤。由于只分析修改了前10%句型，但還是獲得了相比較于應用詞庫之后的結果6個百分點的提升。這部分工作雖然還有提升空間，但仍說明該處理預訓練語料的方法在粵語文本上具有效果。

最后，將得到的預分詞語料通過有監督的深度學習模型進行訓練得到最終的分詞模型。有監督的深度學習設置了3組對照實驗，Bert預訓練模型的基線模型、Bert-CRF模型以及Bert-BiLSTM-CRF融合模型。根據表5的實驗結果可知，Bert-BiLSTM-CRF的分詞效果明顯優于其它兩種模型，能夠將F值穩定在0.743左右。比較Bert與Bert-CRF的實驗結果，在拼接CRF模型后F值提高了0.026，這主要是因為CRF模型能夠利用分詞標簽序列之間的關聯性，像“B B1E…”的標簽不能通過模型有效輸出，進而提高分詞的準確率。比較Bert-CRF與Bert-BiLSTM-CRF的實驗結果，在Bert與CRF直接拼接BiLSTM模型后F值提高了0.018，引入的BiLSTM能夠將Bert模型得到的句子每個字的向量表示進一步語義編碼，抓住了更多上下文的信息，增強了句子的語義表達，進而提高了分詞模型的分詞效果。對于目前主流模型的比較也可以發現，分詞效果僅是小程度的提成，即使普通的Bert模型也能達到近0.7的F值，也從側面印證了該分詞流程的有效性。

對于CANCORP的語料，其分詞標準粒度較細，對分詞的準確度稍有影響，單獨在自建標注數據集CSBC上的效果有0.05的提升。單從快速構建分詞模型來看已經達到了快速可用的標準，雖然效果比起中文成熟分詞模型的準確率還有待提升，但此過程實現不管是對缺乏分詞語料和開源分詞模型的粵語來說，對其它語言從零構建分詞模型具有借鑒意義的。

6 結束語

本文提出了一種面向粵語的通用分詞方法，利用無監督與有監督結合的方式構建了一套工程化、流程化的粵語分詞模型，解決了在缺乏預處理粵語分詞語料的情況下如何訓練分詞模型的問題。

本文所設計的實驗還存在諸多不足和待優化之處，從粵語方言本身來說，實際的分詞效果受語料影響較大。另外，從分詞效率來說，還有很多待優化地方，比如可將二元字典轉化為Tire樹，會提高檢索效率。這些都是下一步工作中需要研究與改進的地方。