基于BSTTC模型的中文命名實體識別①

申 暉,張英俊,謝斌紅,趙紅燕

(太原科技大學 計算機科學與技術學院,太原030024)

命名實體識別(Named Entity Recognition,NER),又稱作“專名識別”,是自然語言處理中的一項基礎任務[1–3],應用范圍非常廣泛.命名實體一般指的是文本中具有特定意義或者指代性強的實體,通常包括人名、地名、機構名、日期時間和專有名詞等.

早期,基于詞典和規則的方法是命名實體識別任務中的主流方法,但這種方法只能夠在特定的語料上獲得較高的識別效果,而且費時費力、可移植性差,在面對眾多領域的復雜文本時,該方法不再適用.隨著機器學習在自然語言處理領域的興起[4–6],將該方法應用于NER 任務中成為一種新趨勢.在這種趨勢下,如何更好的解決序列標注問題成為提升命名實體識別效果的關鍵.然而這種方法對特征選取的要求較高,不僅需要從文本中選擇對該項任務有影響的各種特征加入到特征向量中,而且需要依據特定命名實體識別所面臨的主要困難和所表現出的特性,選擇能有效反映該類實體特性的特征集合,導致其通用性不佳,泛化能力差.近年來,由于分布式表示學習技術的蓬勃發展,各種詞向量表示方法層出不窮,基于深度神經網絡方法在NER這種典型的序列化標注問題上取得了較大進展.

1 相關工作

隨著深度學習的快速發展,源于神經網絡模型的深度學習技術在NER 任務中的表現越來越突出,這種不依賴人工特征的端到端方案逐漸占據主流.該方法對于NER 問題的解決大致分為3 個階段:通過學習嵌入模型,以向量形式表示文本信息;將以向量表示的文本輸入到神經網絡編碼,對文本序列建模;最后解碼層進行解碼得到全局最優標注序列.目前,常用的生成詞向量工具有Mikolov 等提出的Word2Vec 模型[7]和Pennington 等提出的Glove 模型[8].但它們都無法解決多義詞問題,這兩種模型對于不同語境下的詞語產生的詞向量是相同的,這會對后續任務的結果產生影響.谷歌于2018年提出了BERT (Bidirectional Encoder Represe-ntations from Transformers)模型[9],該模型能夠更深層次地提取文本的語義信息,并且可以針對不同的上下文信息動態生成詞向量,并使NLP 領域多個任務實驗效果得到了大幅提升.

在序列標注任務當中,常用的編碼方式有循環神經網絡(Recurrent Neural Networks,RNN)、長短期記憶神經網絡[10,11](Long Short-Term Memory,LSTM)和卷積神經網絡[12,13](Convolutional Nerual Networks,CNN).CNN 通過使用與字符向量維度相同的卷積核與字符向量組成的矩陣進行卷積得到其局部特征,最后通過池化操作使得輸出維度與輸入維度保持一致.CNN的優點在于可以利用GPU 并行性快速提取局部特征,缺點是很難使提取的字符特征包含全局信息.RNN 由于其具有良好的序列建模能力而常常被應用于命名實體識別任務中.然而其缺點在于隨著序列長度的增加,RNN 會逐步喪失學習能力,出現“梯度消失”現象.針對該問題,有學者提出RNN 的變體網絡—LSTM.通過添加門控機制緩解了“梯度消失”問題.但由于它的循環結構無法利用GPU 并行性,這限制了它的計算效率.為了解決CNN 存在的無法捕獲全局信息與RNN 運算效率低下的問題,谷歌于2017年提出了具有更強大特征抽取能力的Transformer 編碼器模型,并在多個NLP 任務中取得了良好的結果.但由于Transformer 模型[14]的結構為全連接結構,所以它的計算和內存開銷是句子長度的平方倍,參數量也較大,需要較長的訓練時間.而在解碼階段,常用的模型有Softmax、條件隨機場(Conditional Random Field,CRF).其中,條件隨機場模型是目前解決序列標注問題的最為經典的方法.因為該模型充分考慮了標簽與前后文標注的關系,所以能夠較好地解決標注偏置等問題.

由于LSTM 在處理時間序列數據時可以很好地獲取和保存序列的上下文信息,目前LSTM-CRF 已成為NER 任務的基礎網絡架構之一,許多研究人員嘗試在其基礎上添加各種相關特征來提高最終的識別效果.例如Lample 等[15]于2016年提出BiLSTM-CRF 模型,該模型使用雙向LSTM 提取字符特征,并取得了當時最好的識別效果;Huang 等[16]在BiLSTM-CRF 基礎上加入手工拼寫特征;Ma 等[17]在預訓練好的詞向量中融入了字符級CNN 抽取的特征;而Chiu 等[18]還加入了多種預訓練好的詞典特征.上述這些方法中使用的初始向量表示都是通過隨機生成或Word2Vec 預訓練語言模型產生,導致其識別效果并未達到最好.也有基于CNN 的命名實體識別方案,例如Collobert 等[19]提出了CNN-CRF 網絡結構;Santos 等[20]又擴展了該網絡結構,在其基礎上添加卷積層提取字符級特征;Strubell等[21]首次提出了空洞卷積網絡(IDCNN)來提取特征,擴大了感受野的同時減少了參數數量.由于以上方法使用CNN為基本結構提取特征無法充分獲取全局信息,所以其識別效果還有待提高.

以上所述方法都存在共同的問題:初始嵌入無法表示一詞多義.由于BERT 可以充分表征不同語境中的句法與語義信息,近幾年,開始有研究人員考慮使用BERT 模型來生成初始嵌入,例如:Straková等[22]將BERT 模型應用在嵌套命名實體識別中,提升了識別效果;謝騰等[23]采用了BERT-BiLSTM-CRF 模型進行中文命名實體識別,在MSRA 數據集上達到了較高F1值94.65%;李妮等[24]提出基于BERT-IDCNN-CRF的中文命名實體識別方法,該方法通過BERT 預訓練語言模型得到字的上下文表示,再將字向量序列輸入IDCNN-CRF 模型中進行訓練.雖然這些方法使用了BERT 模型得到文本向量表示,但在特征抽取速度和效果上還需進一步提高.

近年來,隨著中文命名實體識別的效果不斷提高,將命名實體方法應用于某個特定領域成為了一個新的研究熱點.例如:李麗雙等[25]為了抽取出生物醫學語料中的相關命名實體,提出了CNN-BiLSTM-CRF 網絡模型,并得到了較好的效果;周曉磊等[26]針對財產糾紛審判案件文書提出SVM-BiLSTM-CRF 模型,首先利用SVM 篩選出關鍵句子,并將其以字符向量表示,輸入BiLSTM-CRF 模型中抽取出動產、不動產、知識財產3 類實體;楊文明等[27]提出了IndRNN-CRF和IDCNN-BiLSTM-CRF 模型,并將其應用于醫療文本中的命名實體抽取任務中,使得該模型在F1 值和精確率上都優于經典的BiLSTM-CRF 模型.

為了解決一詞多義問題,并且可以在提高特征抽取速度的同時保證模型的識別效果,本文提出了一種基于BSTTC 模型的中文命名實體識別方法,使用BERT 動態生成句子的表示矩陣,將該矩陣輸入聯合模型中進一步抽取特征,最后由CRF 模型得到最佳預測序列.實驗結果表明,模型在MSRA 數據集上的F1 值達到了95.69%.與BERT-Transformer-CRF 模型相比,訓練時間大約節省了65%的時間.

2 BSTTC 模型

模型主要由3 個模塊構成,分別是語言表示模塊、特征抽取與融合模塊以及標簽解碼模塊,其整體結構如圖1所示.模型首先利用BERT 預訓練語言模型將標注語料動態表示為含有上下文語義信息的字符向量序列;然后將其分別輸入具有輕量結構的星型Transformer 模型與TextCNN 模型中進一步提取局部特征與全局特征;接著將兩種特征進行融合得到新的向量序列;最后將經過特征融合后的向量輸入CRF 層進行解碼,得到每個字符的標簽類別.

圖1 BSTTC 模型結構

與現有的中文命名實體識別方法相比,本文提出的方法優勢在于:① 利用BERT 預訓練語言模型動態得到了含有豐富語義信息的句子表示,解決了一詞多義的問題;② 使用了星型Transformer 模型和TextCNN分別提取局部特征和全局特征,將其進行融合,使得每一個字符向量既具有句子表示又具有字符級表示;③ 星型Transformer 模型在Transformer 模型的基礎上優化了網絡結構,大大減少了參數數量,縮短了訓練時間,同時提高了F1 值.

2.1 BERT 預訓練語言模型

詞嵌入技術是為了將自然語言中的詞映射到一個低維度稠密的連續向量空間中,使得語義相似的詞可以共享上下文信息,從而提升泛化能力.但是傳統的詞嵌入學到的是一個詞的固定語義,無法解決一詞多義問題.針對該問題,本文采用了谷歌發布的中文BERT預訓練語言模型.

BERT 預訓練語言模型采用雙向Transformer 作為特征抽取器,完全基于多頭自注意力機制對一段文本進行建模,可以無損失捕獲更長的上下文信息,提高了特征抽取能力.同時,使用“Masked 語言模型”無監督預測任務捕捉詞級別表示,充分利用詞左右上下文信息獲得更好的詞分布式表示.該任務使用隨機遮擋方法為BERT 模型賦予了一定的文本糾錯能力,而且緩解了finetune 時候與預訓練時輸入不匹配的問題(預訓練時輸入句子當中有mask,而finetune 時的輸入是完整的句子,即為輸入不匹配問題).

在中文命名實體識別任務中,BERT 的輸入為單個句子.句子中每個字符對應3 個向量,其中,Token Embeddings為字符向量,用于下游的分類任務;Segment Embeddings為分段向量,在句子對任務中用于區分不同句子;Position Embeddings為位置向量,用于得到每個字符在序列中的相對位置信息.

通過使用BERT 預訓練語言模型,最終得到一個由字符嵌入序列組成的句子矩陣E∈Rn×d,矩陣中的一行代表一個字符向量.所以,一個由n個字符組成的句子X={x1,x2,···,xn}可以被表示為:E=[e1,e2,···,en],其中em是第m個字符嵌入.

2.2 星型Transformer 模型

Transformer 模型由于其獨特的結構組合,在自然語言處理任務中表現出了良好的特征抽取能力.但由于Transformer 模型的結構為全連接結構,如圖2所示,所以它的計算和內存開銷是句子長度的平方倍,參數量較大,導致模型的訓練需要較長時間.針對該問題,本文提出使用Transformer 模型的變體—星型Transformer模型提取句子特征,該模型具有輕量級的結構,核心思想是通過將完全連接的拓撲結構變換成星形結構來稀疏架構.模型結構[28]如圖3所示.

圖2 Transformer 模型結構

在圖3星型Transformer 模型中,包含兩種結點:一個中心結點和n個衛星結點.每個衛星結點之間以及衛星結點與中心結點之間都存在信息的傳遞.其中,衛星結點之間的連接使得每個衛星節點從其相鄰結點收集信息;衛星結點與中心結點的連接可以使得每兩個非相鄰的衛星節點可以通過中心結點進行信息傳遞.

圖3 星型Transformer 模型結構

與Transformer 中的建模機制相同,星型Transformer中每個結點的狀態同樣基于多頭自注意力機制進行更新,其中,自注意力機制過程如式(1)所示.

在自注意力機制中,每個初始字符嵌入向量乘以3 個不同的權值矩陣wq、wk、wv,從而得到3 個維度相同的向量,分別為Query 向量(Q)、Key 向量(K)和Value 向量(V).QKT計算出每個字向量之間的緊密程度得分,然后除以一個懲罰因子,使得Q、K的內積保持在一個合理范圍內.接著使用Softmax對其進行歸一化處理得到Attention值,并與Value向量相乘,最后輸出所有字符向量的帶權和,使得每個新的字符向量都包含了其余每個字符的信息.

由于事物具有多面性,而自注意力機制只能關注到單方面的信息,為使模型能夠同時關注到來自不同位置與不同子空間的信息,星型Transformer 同樣采用了“多頭”模式,既將每個頭得到的信息進行拼接,將拼接后得到的矩陣轉換為一個新的向量,如式(2)、式(3)所示.

2.2.1 衛星結點的更新

當使用星型Transformer 編碼長度為n的文本序列時,設它的初始嵌入矩陣為:E∈Rn×d,所有衛星結點與中心結點更新一次為一步更新.假設在t步更新后,中心節點的狀態為st∈R1×d,所有n個衛星節點的狀態為(字符維度設為d維)

初始化H0=E,s0=average(E).

在第t步更新時,每個衛星節點與其上下文做多頭注意力,其上下文信息包括序列中的相鄰節點、、中心節點st?1、該結點先前狀態與其對應的字符嵌入,更新過程如式(4)、式(5)所示:

在信息交換之后,對每個衛星結點進行層歸一化操作,如式(6)所示:

2.2.2 中心結點的更新

在第t步更新時,所有衛星結點更新之后,中心結點與所有更新后的衛星節點Ht及其先前狀態st?1做多頭注意力,然后進行層歸一化操作,更新過程如式(7)–式(9)所示:

最終,通過多步更新衛星和中心結點,星型Transformer 模型最終得到新的句子矩陣:H=[h1,h2,···,hn],H∈Rn×d.其整體更新過程如算法1 所示.

算法1.星型Transformer 整體更新算法輸入:H=[h1,h2,···,hn]E=[e1,e2,···,en]輸出:1.//初始化h01,···,h0n←e1,···,en 2.s0←average(e1,···,en)3.4.for t 1 to T do 5.//更新全部衛星結點6.for i 1 to n do Cti=■ei;st?1;ht?1i?1;ht?1i;ht?1i+1■7.hti=MultiAtt(Cti,ht?1i )8.hti=LayerNorm(ReLU(hti)),i∈[1,n]9.10.//更新中心結點Cti=[Ht;st?1]11.st=MultiAtt(Cti,st?1)12.st=LayerNorm(ReLU(st))13.14.//輸出由衛星結點狀態組成的句子矩陣:H=[h1,h2,···,hn]

2.3 TextCNN 模型

由于星型Transformer 模型改變了Transformer 模型中的全連接結構,使得信息傳遞過程局限于鄰近結點,無法像全連接結構一樣充分提取句子的全局信息.鑒于卷積操作可以充分利用GPU 并行性,基于該問題,本文提出使用TextCNN 模型[29]提取句子特征,得到含有全局信息的句子向量.

該模型結構如圖4所示,圖中文本矩陣由BERT預訓練語言模型產生的字符嵌入向量組成,卷積層的過濾器大小分別為3、4、5、6.在卷積層使用不同的卷積核由上往下滑動與矩陣做卷積操作,卷積核的寬度和字符向量的維度一致,每個卷積核獲得一列feature map.卷積過程如式(10)、式(11)所示:

圖4 TextCNN 模型

其中,ei:i+h?1∈Rh×d表示由字符嵌入序列ei,ei+1,···,ei+h?1組成的矩陣,w∈Rh×d是卷積核,f是非線性函數,b是偏置,c為卷積核w獲得的feature map.

每個feature map 通過max-pooling 都會得到一個特征值,這個操作也使得TextCNN 能處理不同長度的文本.連接每個特征值形成一個一維向量作為含有Dropout 層的全連接層的輸入,經過激活函數輸出.并在全連接層上添加L2 正則化參數.最后將全連接層的輸出使用Softmax函數,獲取文本分到不同類別的概率.本文中旨在使用TextCNN 模型得到該句子的全局特征,所以丟掉最后一層.最終該模型的輸出為一維句子向量:v∈R1×d.

在中文命名實體識別任務中,字符的標簽判別過程不僅要考慮該字符周圍的信息,即局部特征,句子中包含的全局信息也有助于最終的標簽預測,所以,融合局部特征和全局特征是有必要的.目前,常用的特征融合策略有兩種:concat和add.由于concat是通過將向量拼接來融合信息,維度增加,最終導致計算量的增加,所以,本文采用了add 融合策略得到最終的文本表示矩陣,即:將TextCNN與Star-Transformer 模型的輸出進行融合:H′=[(h1+v),···,(hn+v)],H′∈Rn×d.

2.4 CRF 模型

命名實體識別本質上是一種多分類問題,所以在解碼階段Softmax分類器是一種常用的方法.但由于該方法只是單純的分類,沒有考慮到標簽之間含有依存關系.因此,本文使用條件隨機場模型(CRF).CRF是給定一組輸入序列條件下另一組輸出序列的條件概率分布模型,在自然語言處理中得到了廣泛應用.

在CRF 中,每個句子X={x1,x2,···,xn}都有一個待選標簽序列集合YX,通過計算集合中每個標簽序列Y={y1,y2,···,yn}的得分來決定最終的標注序列,計算得分過程如式(12)所示.

其中,P∈Rn×k是一個得分矩陣,k為所有標簽數量,Pi,j表示句子中第i個字符對應第j個標簽的分數;A∈R(k+2)×(k+2)是一個包含了句子開始與結束標簽的轉移矩陣,Ai,j則表示標簽i到標簽j的轉移分數.

最后將每個標簽序列的分數進行歸一化得到概率,其中概率最大的標簽序列即為該句子的最終標注序列,歸一化過程如式(13)所示.

3 實驗及結果分析

3.1 實驗環境

本文所做實驗均在Ubuntu 操作系統上進行;處理器為i7-6700HQ@2.60 GHz;內存大小16 GB;顯存大小為10 GB;使用深度學習框架PyTorch 1.2.0 構建所有神經網絡模型進行訓練和測試;使用Python 3.6 編程語言進行代碼編寫.

3.2 實驗數據

本文采用微軟亞洲研究院公開的MSRA 數據集進行實驗.該數據集中含有訓練集與測試集,包含的實體類型有人名、機構名、地名.其中,訓練集和測試集分別由46 400 個句子和4400 個句子組成.數據集中各類實體統計如表1所示.

表1 數據集實體個數

3.3 標注策略與評價指標

在命名實體識別任務中,有BOI、BOIE、BOIES 三種標注方法.本文采用了BOI 標注策略,其中實體中第一個字符用“B”代表,“O”表示該字符為非實體,實體中第一個字符以外的字符用“I”表示.所以,將實體邊界與實體類型結合可以得到7 種待預測標簽:“O”,“B-PER”,“B-LOC”,“B-ORG”,“I-PER”,“I-LOC”和“I-ORG”.

在命名實體識別任務中,精確率P、召回率R和F1 值是常用的3 種評價指標.每種評價指標的具體計算過程如公式14 所示.其中,TP為預測出是實體并預測正確的個數,FP為預測出為實體但預測錯誤的個數,FN為是實體但預測為非實體的個數.

3.4 參數設置

本實驗使用BERT-Base 預訓練語言模型作為向量表示層,該模型共有12 層,在多頭注意力中頭數為12,隱層輸出為768 維,參數大小為110 MB.星型Transformer模型的層數分別設為1、2、3、4 層,TextCNN 中采用單通道方式,由于數據集中實體最大長度為6,所以卷積核設置四種不同的尺寸,寬度與字符向量維度一致,高度分別為3、4、5、6.具體網絡訓練參數設置如表2所示.

表2 參數配置

3.5 實驗過程及結果分析

在實驗中,首先驗證了星型Transformer 模型層數對F1 值的影響.隨著訓練迭代次數增加,BSTTC 模型的F1 值變化如圖5所示,其中,每條折線代表了不同星型結構層數時模型的F1 值變化.Star-Transformer-1 表示星型結構的層數為1 層,其他模型以此類推.實驗中其余超參數不變,只改變星型結構層數.實驗表明,效果最好的是Star-Transformer-3 模型,并在第16 個epoch 時F1 值達到最大95.69%.

圖5 星型結構模型不同層數的F1 值

表3中分別列出了取得最大F1 值時數據集中每種實體識別的準確率、召回率和F1 值.與人名和地名實體相比,機構類實體的識別效果較差,原因可能在于大部分機構名中都嵌套有地名,這對于最終的預測造成了較大的干擾,導致預測效果不佳.

表3 BSTTC 不同類型命名實體識別結果(%)

為了驗證星型Transformer 模型輕量結構的優越性,還在該語料上與BERT-Transformer-CRF 模型進行了對比,對比結果如圖6所示.可以看出,BSTTC 模型的收斂速度更快,在訓練初期,就能夠達到一個較高的F1 值,并且持續提升,最后保持在一個相當高的水平上.而BERT-Transformer-CRF 模型在多次迭代更新后才會上升到一個較高水平,但還是無法超過 BSTTC 模型.

圖6 實驗結果對比

表4中分別列出了BERT-Transformer-CRF和BSTTC 模型迭代訓練的累計時間及其對應的F1 值.可以看到,BERT-Transformer-CRF 模型在第18 個epoch 時得到最優F1 值94.85%,而BSTTC 模型在第16 個epoch 時就達到最大F1 值95.69%,此時它們的訓練時間分別為19238 s與54725 s,與BERT-Transformer-CRF 模型相比,BSTTC 的訓練時間大約節省了65%.

表4 迭代訓練累計時間

此外,為了驗證模型的有效性,本文還在該語料上與以下模型進行了對比:

1) Radical-BiLSTM-CRF 模型,由Dong 等[30]提出.該模型將字的嵌入和筆畫表示的連接輸入到BiLSTMCRF 中進行訓練.

2) Lattice-LSTM-CRF 模型,由Zhang 等[31]提出,該模型在嵌入層利用注意力機制融合了字符與詞粒度特征,其中單詞選取原則為該字符居于單詞末位.

3) DEM-attention 模型,由Zhang 等[32]提出,該模型同樣利用注意力機制在嵌入層中動態結合了字符和單詞粒度的特征,只是單詞選取原則稍有不同,該字符在句子中對應的所有單詞都包含在內,然后將其輸入BiLSTM-CRF 中進行訓練.

4) BERT-BiLSTM-CRF 模型,該模型采用預訓練好的BERT 模型產生字向量,輸入BiLSTM-CRF 模型中進行訓練.

5) CAN 模型,由Zhu 等[33]提出,該模型將預訓練好的詞向量輸入CNN和GRU 網絡從相鄰字符和句子上下文中捕獲信息,并使用了CRF 進行標簽預測.

6) BERT-Transformer-CRF 模型,該模型類似于BERT-BiLSTM-CRF 模型,將BiLSTM 層替換為Transformer 層.

7) BERT-Star-Transformer-CRF 模型,該模型類似于BERT-BiLSTM-CRF 模型,將BiLSTM 層替換為Star-Transformer 層.

表5中分別列出了每種模型的精確率、召回率和F1 值實驗結果.

表5 與其它模型對比結果(%)

從對比結果可以看出,與其它模型相比,BSTTC模型在精確率、召回率和F1 值3 方面均有提高.

1) 將模型4與模型1、模型2、模型3、模型5作對比,可以發現模型4 的F1 值最高,說明BERT 抽取的特征比單獨訓練筆畫特征和字詞融合特征更豐富,BERT 字向量更好的結合了上下文,可以更好的表示字的語義信息.

2)將模型6與模型4 做對比,可以發現與BiLSTM相比,Transformer 模型的特征抽取能力更強,可以得到具有更豐富語義信息的字符特征.

3)將模型6、模型7 對比,可以發現在召回率和F1 值上都有一定程度的提高,在精確率上有所下降,說明星型Transformer 模型在簡化結構的同時保留了絕大部分捕獲長期依賴的能力.

4)將模型7、模型8 做對比,加入TextCNN 模型后,精確率、召回率和F1 值都有所提高,且都高于BERTTransformer-CRF 模型,充分表明了與Transformer 模型捕獲的特征相比,TextCNN 捕獲的全局特征與星型Transformer 模型融合后的特征更加豐富,更有助于標簽的判別.

4 結束語

針對傳統詞向量表示方法無法表征字多義性,以及Transformer 特征抽取模型參數量大,訓練時間長,無法充分提取全局信息的問題,提出了基于特征融合的BSTTC 模型.該模型摒棄了傳統語言模型的缺點,使用BERT 動態生成含有豐富語義特征與語法結構特征的字符向量,然后通過星型Transformer與TextCNN聯合模型進一步提取特征,在減少訓練時間的同時保證了特征抽取能力.結果表明,與以往模型相比,本文的BSTTC 模型在MSRA 數據集上取得了最好的效果.下一步將考慮引入外部信息,提升復雜嵌套實體的識別效果.