大灣區(qū)多語種政府新聞標(biāo)注語料庫建設(shè)研究

姜嬴，楊靜，朱哲宇，林佳瑩

（北京師范大學(xué)珠海分校，廣東珠海 519000）

1 大灣區(qū)多語種語料庫研究必要性

目前，粵港澳大灣區(qū)已經(jīng)存在一些語料庫，如“香港兒童粵語語料庫”系統(tǒng)地記錄了8 個幼兒在一年內(nèi)學(xué)習(xí)和使用粵語情況，最終整理出177 個檔案，存儲記錄14 兆字節(jié)[1]；“香港粵語語料庫”通過收集日常談話，針對性地提供給研究者和語言學(xué)習(xí)者一個反應(yīng)真實演講和對話內(nèi)容的粵語語料庫[2]；“LIVAC 共時語料庫”語料來源于上海、港、澳、臺，以及新加坡5 地的報紙資料，已處理逾5.7 億字，累積并持續(xù)提煉出二百多萬詞條。

大灣區(qū)現(xiàn)存語料庫多建立于20世紀(jì)90年代，部分語料庫在取材上、時間維度上，存在滯后現(xiàn)象且語種選取較為單一，無法勝任多語種研究的任務(wù)。粵港澳大灣區(qū)及其輻射區(qū)域存在多種語言文字，構(gòu)成了語言種類復(fù)雜多樣性、語言分布分層交織性、對外關(guān)系復(fù)雜性等問題，是中國從古代到現(xiàn)代語言文字多樣性最發(fā)達，使用量最多，同時共存時間最長的地區(qū)[3]，這些問題都需要多語種語料庫的支持。

普通話、粵語、英語為大灣區(qū)語言使用層次第一的3 個語種，覆蓋了大灣區(qū)絕大多數(shù)的地區(qū)和人口。葡萄牙語使用層次位于第3，被認定為澳門地區(qū)的官方語言，具有一定代表性[4]。因此，該文選取這4 個語種作為主要研究對象，采集高度規(guī)范化的政府新聞?wù)Z料，并結(jié)合標(biāo)注語料庫數(shù)據(jù)，嘗試為語言研究者提供多語種語料庫研究的思路。

2 研究內(nèi)容及方法

該文根據(jù)研究過往的標(biāo)注經(jīng)驗，分析多語種分詞標(biāo)注任務(wù)中存在的差異，提出符合多語種語料庫的通用分詞標(biāo)注策略，基于項目研究過程中已經(jīng)搭建好的在線眾包標(biāo)注平臺收集人工檢驗的標(biāo)注結(jié)果，對標(biāo)注結(jié)果進行交叉檢驗，提煉出粵港澳地區(qū)新聞多語種語料庫，基于編程技術(shù)訓(xùn)練分詞模型并進行交叉驗證，評測標(biāo)注策略是否符合實際生產(chǎn)要求，根據(jù)實驗結(jié)果整理出多語種標(biāo)注規(guī)范，提出在研究多語種問題上的建議，為灣區(qū)的自然語言研究者提供基礎(chǔ)條件和便利，促進大灣區(qū)文化、教育事業(yè)發(fā)展。

3 數(shù)據(jù)來源

該研究的普通話文本來自香港律政司、行政長官2018年施政報告、香港政府一站通、政府賬目及報告、香港特別行政區(qū)政府新聞公報、中國文化報、大公報，粵語文本來自明報OL，英語文本來自South China Morning Post，葡萄牙語文本來自Revista Macau。以上均為粵港澳地區(qū)權(quán)威且文本數(shù)量較多的新聞網(wǎng)站，總共包含12 個新聞網(wǎng)站，其中有“國際”“兩岸”“中國”等50 多個板塊。自2019年3月開始持續(xù)開展標(biāo)注工作，已收集大量數(shù)據(jù)，具體規(guī)模在6.1 節(jié)可見。

4 多語種分詞標(biāo)注異同

粵港澳大灣區(qū)的語言文字生態(tài)樣貌較為獨特，語言文字資源也較為豐富，漢語普通話、英語、葡萄牙語在不同區(qū)域都具有法定語言的地位，粵語、客家方言、閩方言等多種漢語方言在日常生活中也擁有廣泛的民眾基礎(chǔ)[5]。不同的語言文字在分詞上的規(guī)則和難度是不同的，下文舉例說明多語種分詞標(biāo)注時需要注意的地方。

4.1 是否有分隔符

現(xiàn)代英語、葡語的基本語素表達形式是詞，文本中的詞天然由空格分開，分詞時主要運用的是正則表達式和專家提供的詞庫分詞。普通話、粵語文本的基本組成單位并不是詞而是字，計算機可以輕而易舉地對字進行切分，但詞與詞之間的切割則極為困難，主要是因為中文詞語在句中存在互相重疊的情況，這很容易產(chǎn)生歧義字段，以“不過度開發(fā)生物資源”一句為例，進行完全切分的結(jié)果如下。

[不,不過,過,過度,度,開,開發(fā),發(fā),發(fā)生,生,生物,物,物資,資,資源,源]

完全切分并不是嚴(yán)格意義上的分詞，它輸出句中所有出現(xiàn)在詞表中的字和詞。因為中文詞語存在類似“不過”和“過度”交集現(xiàn)象，9 個字被切分成了長度為16 的序列。粵語屬于漢藏語系漢語族漢語方言，文本結(jié)構(gòu)與普通話類似，同樣沒有分隔符做切分，這無疑增加了中文分詞的難度。

4.2 是否有詞語形態(tài)變換

對英文和葡語預(yù)處理時需要做詞干提取和詞性還原，而中文或者粵語則不需要。英文存在詞形變換，例如，動詞do 需要根據(jù)時態(tài)的不同變換為does、doing、did、done，do homework 和doing homework 本質(zhì)上是一樣的，但對于計算機來說是完全不同的兩個字符串。

葡語的名詞和形容詞存在“陽性”和“陰性”的區(qū)別，tempo、sol 為陽性，can??o、lua 為陰性。普通話中的“好”在葡語中既可以是bom 也可以是boa，但這實際上這種區(qū)別無法被消除，因為詞的“陰陽性”是互相獨立的，并不會有“原型”或者“詞根”一說，也就沒有辦法降維。對分詞來說需要注意的是葡語動詞需要根據(jù)人稱變化發(fā)生對應(yīng)的變形，即“變位”，例如，estudar 根據(jù)主語的不同需要轉(zhuǎn)換為estudas、estudo、estuda、estudamos 或estudam，而它們的原型是相同的。

4.3 是否需要考慮顆粒度

在通常情況下對于普通話和粵語分詞來說切分顆粒度越大，結(jié)果也就越精確，但與此同時召回率低和歧義切分問題也必然會隨之出現(xiàn)。在實際環(huán)境，例如搜索引擎中，當(dāng)用戶希望獲取有關(guān)“自然語言處理”的內(nèi)容時，若將其拆分為“自然”“語言”“處理”，那么顆粒度如此之大的分詞結(jié)果必然會造成搜索引擎返回結(jié)果數(shù)過多，導(dǎo)致不能滿足用戶預(yù)期。

英語中Natural Language Processing 可以被拆分為Natural、Language、Processing，但是按照完整語義的角度出發(fā)，同樣可以不將其分詞而是作為一個復(fù)合詞來看待，整體入庫。同樣，葡語中Processamento de linguagem natural 可以被拆分為Processamento、de、linguagem、natural。所以在分詞時需要根據(jù)具體環(huán)境劃分合理的顆粒度。

綜上，普通話、粵語、英語、葡萄牙語之間分詞既有相同之處也有不同之處，主要可以歸納為3 個問題：是否有分隔符、是否有形態(tài)轉(zhuǎn)換、是否需要考慮分詞顆粒度。

5 多語種分詞標(biāo)注流程策略

5.1 系統(tǒng)設(shè)計概述

在標(biāo)注不同語種的語料時需要做分庫處理，同時對標(biāo)注人員進行分組，同組人員完成對同一語種的標(biāo)注工作，方便對語種和語料進行管理。同時，系統(tǒng)內(nèi)應(yīng)設(shè)置3 種基本模塊：“標(biāo)注”模塊和“個人”模塊為系統(tǒng)內(nèi)所有種類的用戶服務(wù)，“工作組管理”模塊則只為專家用戶和系統(tǒng)管理員服務(wù)，普通用戶只需專注于標(biāo)注任務(wù)本身即可（見圖1）。

圖1 標(biāo)注用戶流程圖

5.2 標(biāo)注人員選擇

語料庫是研究人員、學(xué)者進行深度研究的基礎(chǔ)，必須保證分詞標(biāo)注結(jié)果由專業(yè)領(lǐng)域內(nèi)的人員產(chǎn)生。比如，普通話文本標(biāo)注者最好來源于大灣區(qū)內(nèi)部的普通話母語者，粵語文本標(biāo)注者最好來源于大灣區(qū)內(nèi)部的粵語母語者，若要讓普通話母語者去分詞標(biāo)注粵語文本中的“點解”（粵語含義：為什么），標(biāo)注者雖然可以看懂文本中的每一個字，但無法理解文本本身的含義，甚至可能覺得文本出現(xiàn)了錯誤，此時也就無法準(zhǔn)確、客觀地對文本進行處理。

每個語種都是十分具有特色的，且部分規(guī)則只有在當(dāng)?shù)亻L期生活或者母語是該語種者才能知曉，為了得到準(zhǔn)確的分詞標(biāo)注結(jié)果，需要由專業(yè)人員去處理其擅長的語種領(lǐng)域。

5.3 系統(tǒng)角色分配

知識領(lǐng)域的眾包分配任務(wù)需要引入“角色”的概念，多語種眾包標(biāo)注系統(tǒng)應(yīng)包含3 種角色：普通用戶、專家用戶和系統(tǒng)管理員。普通用戶為語言、歷史、教育或相關(guān)專業(yè)的本科生、碩士生或?qū)I(yè)標(biāo)注人員，負責(zé)對系統(tǒng)標(biāo)注結(jié)果進行修改。專家用戶為擁有領(lǐng)域內(nèi)專業(yè)知識的且從事自然語言研究的學(xué)者、研究人員或高校教授，主要負責(zé)對普通用戶產(chǎn)生的結(jié)果進行評估和修改。

若標(biāo)注系統(tǒng)中只包含標(biāo)注類用戶，則無法很好地對數(shù)據(jù)、標(biāo)注過程及一些事務(wù)做管理，需要引入系統(tǒng)管理員維護后臺，對語料、用戶、系統(tǒng)的各種狀態(tài)進行實時監(jiān)控與管制，與分詞標(biāo)注工作的總負責(zé)人還有系統(tǒng)內(nèi)的專家用戶保持一定溝通，保證系統(tǒng)正常、高效運作。

5.4 三級標(biāo)注

人工標(biāo)注時總是會存在一些難以避免的錯誤，針對大灣區(qū)的多語種標(biāo)注應(yīng)采取三級標(biāo)注模式，使錯誤率接近0%，以保障入庫數(shù)據(jù)是準(zhǔn)確的。第一階段為算法預(yù)標(biāo)注階段，指的是標(biāo)注系統(tǒng)依據(jù)現(xiàn)有的開源分詞工具對導(dǎo)入數(shù)據(jù)庫中的生語料做預(yù)標(biāo)注，預(yù)標(biāo)注的準(zhǔn)確率普遍可以達到85% ～95%。在進入第二階段眾包標(biāo)注階段時，標(biāo)注用戶所需要做的只是處理5% ～15% 的系統(tǒng)標(biāo)注錯誤，大大減少了時間成本。一條語料往往需要至少被兩位不同的標(biāo)注用戶所標(biāo)注以確保其正確性，若標(biāo)注結(jié)果不相同，則還會被更多的標(biāo)注用戶所標(biāo)注，這是為了保證語料庫的質(zhì)量，若語料庫的質(zhì)量無法保證，那么再多的數(shù)據(jù)量也是無效的。到了第三階段，也就是專家標(biāo)注階段，專家角色的知識水平和對于同一條語料的理解程度通常是超過普通標(biāo)注人員的，專家所需要重點處理的是第二階段所遺留下來的“疑難語料”，之后專家用戶也可以對普通用戶的結(jié)果做檢查和修改。經(jīng)過嚴(yán)格的三級標(biāo)注之后我們認為所產(chǎn)出的語料是可信的，可以作為語料庫搭建的基礎(chǔ)。

5.5 多語種標(biāo)注細節(jié)

針對第4 節(jié)結(jié)尾提出的多語種標(biāo)注存在的3 種不同之處，在該節(jié)提供解決方案。

（1）分割符：對于不存在天然分割的語種，例如，普通話和粵語，在系統(tǒng)預(yù)標(biāo)注階段推薦采用Hanlp、NLTK 等高質(zhì)量開源工具進行分詞標(biāo)注預(yù)處理。對于存在天然分割的語種，例如，英語和葡語，若僅需提供給標(biāo)注用戶預(yù)分詞結(jié)果，推薦使用正則表達式對文本進行預(yù)處理。正則表達式分詞的優(yōu)點在于靈活、門檻較低且標(biāo)注效果好，以下為該研究提供的一種正則匹配規(guī)則。

[ ,，.。?？!！ \f\n\t\r\v]+

分詞測試中有3 個常見的指標(biāo)：P 指精確率，代表預(yù)測結(jié)果中正類數(shù)量占全部結(jié)果的比率；R 指召回率，代表正類樣本被找出來的比率；F1 代表P 值和R 值的調(diào)和平均。在布朗語料庫（Brown Corpus）和麥克莫弗語料庫（MacMorpho Corpus）上進行測試后發(fā)現(xiàn)該研究F1 值達到98.97% 和99.73%，這說明在語料沒有基本格式錯誤的情況下，通過正則匹配來初步分詞效果十分不錯。

（2）形態(tài)轉(zhuǎn)換：當(dāng)需要標(biāo)注的語種存在時態(tài)變換或根據(jù)人稱變換詞語形態(tài)之類的問題時，需要對語料進行詞干提取或是詞性還原。詞干提取和詞性還原兩者并不相同，詞干提取由基于規(guī)則的方法實現(xiàn)，主要用于信息檢索領(lǐng)域，而詞形還原基于詞典方法，在處理單詞準(zhǔn)確率較高的領(lǐng)域效果更好，例如，文本分類、情感分析等[6]。其的目的是減少回復(fù)的詞語數(shù)量，從而達到降低語言模型維度的作用，具體使用何種方式進行預(yù)處理需要視使用場景而定。

同時，引入上述處理的具體位置也同樣關(guān)鍵。若在系統(tǒng)標(biāo)注階段引入，則會導(dǎo)致系統(tǒng)標(biāo)注結(jié)果不準(zhǔn)確。而且該結(jié)果是需要向標(biāo)注用戶展示的，去掉句中原本存在的一些信息后必然會影響標(biāo)注者的判斷，造成標(biāo)注的錯誤。所以，持久化保存語料結(jié)果之前應(yīng)保留語料文本的全貌，在進行模型訓(xùn)練之前做詞干提取或詞性還原的操作，這保證了詞語的序列不會改變且保留了原文本除了詞語形態(tài)之外的所有信息。

（3）分詞顆粒度：通過限定標(biāo)注格式可以實現(xiàn)同時記錄不同顆粒度分詞標(biāo)注結(jié)果的效果。復(fù)合構(gòu)詞的現(xiàn)象幾乎存在于所有語種中，在對“中央督導(dǎo)委員會”這一復(fù)合詞進行人工標(biāo)注時，推薦采用如下的格式。

[中央/n 督導(dǎo)/vn 委員會/ni]/nto

中括號里的為復(fù)合詞的各個組成部分，標(biāo)注時需要為每個部分進行分詞和詞性標(biāo)注，而中括號外的詞性為整個復(fù)合詞的詞性，這樣可以同時得到不同顆粒度的結(jié)果，方便對模型進行調(diào)整，但是需要標(biāo)注人員付出更多的精力和耐心。

5.6 結(jié)果存儲策略

同一條語料會被分配到不同的普通標(biāo)注用戶手中，且在三級標(biāo)注階段中的第二階段我們規(guī)定一條語料應(yīng)至少分配給兩人以上進行標(biāo)注，所以在數(shù)據(jù)入庫時必然會存在多種結(jié)果。為了保證結(jié)果的全面性和準(zhǔn)確性，需要將語料的id 與標(biāo)注用戶的id 聯(lián)系起來同時存儲，而不是進行覆蓋式存儲或者整合式存儲。

同時，考慮到標(biāo)注用戶的專業(yè)性問題，若一條語料被專家用戶修改或者標(biāo)注后，直接將其作為該語料的分詞標(biāo)注結(jié)果，在提取分詞標(biāo)注和進行訓(xùn)練時應(yīng)優(yōu)先考慮該類結(jié)果，而非普通標(biāo)注用戶的結(jié)果。

5.7 質(zhì)量保障

聘用標(biāo)注用戶時應(yīng)首先進行考核，判斷其是否能夠勝任標(biāo)注任務(wù)，考核的結(jié)果將作為初步任務(wù)分配的依據(jù)，將不同難度的標(biāo)注任務(wù)分配給不同水平的標(biāo)注者。標(biāo)注期間應(yīng)隱式地對標(biāo)注者再次進行評估，并根據(jù)結(jié)果重新為其分配適合的標(biāo)注任務(wù)。當(dāng)標(biāo)注者完成任務(wù)數(shù)量達到閾值時應(yīng)及時給予不同程度的獎勵，對于完成質(zhì)量差的用戶則及時解聘。

6 實驗

6.1 詞典

在生成詞典和詞性標(biāo)注時，中文和粵語標(biāo)注集采用《ICTPOS 3.0 漢語詞性標(biāo)記集》和《現(xiàn)代漢語語料庫加工規(guī)范——詞語切分與詞性標(biāo)注》 的兼容版本，英文標(biāo)注采用的標(biāo)注集為Penn Treebank Tagset，葡萄牙語標(biāo)注采用的標(biāo)注集為Universal Tagset。

詞語種數(shù)指語料庫中有多少個不重復(fù)的詞語，總頻次指的是所有詞語的詞頻之和，分別可以用來衡量語料庫應(yīng)用的豐富程度和規(guī)模大小[7]，詞典統(tǒng)計信息如表1所示。

表1 詞典統(tǒng)計

6.2 分詞標(biāo)注評測

使用Hanlp 提供的NatureDictionaryMaker 接口將已標(biāo)注語料生成二元語法模型，接著對不同語種語料庫做K 折交叉驗證。

在K 值取10 的情況下，普通話和粵語的F1 均值達到了91%以上，英語和葡萄牙語，F(xiàn)1 均值達到了99% 以上。觀察圖2可知該文給出的多語種標(biāo)注策略是切實可行的。

圖2 交叉驗證結(jié)果

7 結(jié)語

該文給出多語種語料庫研究的流程和策略，通過實驗結(jié)果和統(tǒng)計信息，展現(xiàn)研究總體進度和策略可信度。同時，該研究經(jīng)過了長時間的語料標(biāo)注收集和多種多樣的分詞實驗，為粵港澳地區(qū)新聞媒體文本處理提供了較為豐富的數(shù)據(jù)。后續(xù)會繼續(xù)采集粵港澳地區(qū)各種類型、各種語種的語料，屆時數(shù)據(jù)量和分詞標(biāo)注的效果將會大大提升，我們會將語料庫本體和分詞器代碼打包發(fā)送到開源平臺，以供感興趣的學(xué)者深入研究，為粵港澳地區(qū)語言研究事業(yè)以及教育事業(yè)獻力。