基于CNN-Head Transformer 編碼器的中文命名實體識別

史占堂，馬玉鵬，趙凡，馬博

（1.中國科學院新疆理化技術研究所，烏魯木齊 830011；2.中國科學院大學，北京 100049；3.新疆民族語音語言信息處理實驗室，烏魯木齊 830011）

0 概述

命名實體識別（Named Entity Recognition，NER）是自然語言處理（Natural Language Processing，NLP）中的基礎任務，包括關系抽取（Relation Extraction，RE）［1］、事件抽取（Event Extraction，EE）［2］以及實體鏈接（Entity Link，EL）［3］等下游任務，旨在給定的文本中判定相應實體的類型和該實體對應的左右邊界。近些年，隨著計算機運算能力的快速提高，深度學習成為命名實體識別的主流研究方法，并將命名實體識別轉化為序列標注任務。由于中文詞之間不存在潛在的分隔符，并且中文命名實體的邊界是詞的邊界，因此最初中文命名實體識別將分詞作為核心，并以詞作為深度學習序列標注模型的輸入，但該方式存在未登錄詞以及分詞錯誤的問題，使得基于字嵌入的方式成為中文命名實體識別領域深度學習序列標注模型編碼層的主流嵌入方式。

在基于深度學習的中文命名實體識別方法中，長短時記憶（Long Short-Term Memory，LSTM）［4］網絡是應用較廣泛的特征提取器，但是存在不能充分利 用GPU 并行計算的問 題。ZHANG等［5］提出的Lattice LSTM 通過添加詞典信息在提高準確率的同時進一步增加了模型訓練和測試時間。基于多頭自注意力機制的Transformer［6］的提出緩解了LSTM 存在的問題，并在多種自然語言處理任務中取得了優異表現，逐漸取代了LSTM 成為自然語言處理領域主流的特征提取器，但是YAN等［7］的實驗結果表明Transformer 在命名實體識別領域表現欠佳。

本文結合Transformer 編碼器和卷積神經網絡（Convolutional Neural Network，CNN）［8］，提出一種用于中文命名實體識別的CHTE（CNN-Head Transformer Encoder）模型。在多頭注意力機制中根據不同窗口大小的CNN［8］增強模型的局部特征和潛在詞信息表示，并且利用門控殘差連接融合自適應特征以進一步提高識別準確率。

1 相關工作

1.1 LSTM 與CNN

在Transformer 未被提出之前，LSTM 作為自然語言處理領域主流的特征提取器被廣泛用于命名實體識別任務。HUANG等［9］使用Bi-LSTM 和條件隨機場［10］（Conditional Random Field，CRF）進行命名實體識別。PENG等［11］標注了中文社交媒體數據集Weibo，并使用Bi-LSTM 和CRF 在該數據集上進行實驗。MA等［12］使用CNN 獲取單詞的形態學特征并結合單詞的詞嵌入，通過Bi-LSTM 和CRF 進行序列標注。針對LSTM 不能充分利用GPU 并行計算的問題，STRUBELL等［13］提出基于CNN 的ID-CNNs 模型，由于CNN 僅能獲取固定范圍內的局部特征，因此該模型通過對CNN 的堆疊逐層增加CNN 的感受野，使其獲取全局語義信息，在保障相當F 值的情況下減少了運算時間。

依據中文命名實體的邊界是詞的邊界，LIU等［14］將中文分詞（Chinese Word Segmentation，CWS）作為中文命名實體識別的首要任務，但此方法存在分詞錯誤以及未登錄詞的問題。為了緩解該問題，CAO等［15］依據NER 和CWS 之間的關聯關 系，利用兩種任務對抗學習的方式提高NER 性能。ZHANG等［5］通過外部詞典并在字級別模型的基礎上提出添加待抽取句中所有可能詞特征的Lattice LSTM，但由于一個字可能匹配多個詞造成實體識別錯誤的問題。GUI等［16］提出基于CNN 的模型，該模型通過重考慮機制自適應地融合句子中可能的詞信息緩解了這一問題。此外，針對中文為象形文字特點，MENG等［17-18］提出使用CNN 提取中文字形信息的命名實體識別方法。張棟等［19］通過將每個字符拆解為五筆表示來獲取字形特征，增強模型語義信息。盡管LSTM 被廣泛應用于命名實體識別任務，但只能進行單方向建模獲取單方向語義信息，即使通過雙向LSTM 也只是將左右分別獲取的單向特征進行拼接，無法完全捕獲上下文語義信息。

1.2 Transformer

VASWANI等［6］將基于多頭自 注意力機制的Transformer 模型用于機器翻譯（Machine Translation，MT）領域，該模型較好地緩解了LSTM 無法充分利用GPU 并行計算以及獲取上下文語義信息的問題，使其在自然語言處理領域取得了優異表現。在中文命名實體識別任務中，針對Tansformer 在注意力頭的計算過程中會丟失方向和相對位置的問題，司逸晨等［20］提出一種能夠保留相對位置和方向信息注意力頭的計算方法，并將詞級別的特征拼接到嵌入層字級別的特征中增強語義表示。XUE等［21］提出PLTE（Porous Lattice Transformer Encoder）模型，該模型中添加了詞級別的嵌入特征以及定義了7 種token 之間的相對位置關系并對每個token 的位置進行編碼，同時使用Porous 對自注意力機制進行限制。但是，在PLTE 中相對位置關系的編碼方式不能還原出token 之間真實的位置信息，因此這種位置編碼方式導致了位置信息的丟失。針對這一問題，LI等［22］提出使用每個詞頭和詞尾的絕對位置來編碼任意兩個token之間相對位置信息的FLAT（FLATlattice Transformer）模型。上述將詞典信息添加到Transformer 的方法同樣存在一字多詞的問題，而且還會增加額外的存儲以及詞典匹配時間。

本文在不使用外部詞典和分詞工具的情況下，利用Transformer 和CNN 在捕獲全局語義信息和局部特征以及潛在詞信息方面的優勢，通過在多個注意力頭中融入CNN 充分捕獲全局語義信息并增強模型的局部特征以及潛在的詞信息表示，同時應用自適應的門控殘差連接融合當前層和子層特征，從而提升Transformer 在命名實體識別領域的性能表現。

2 CHTE 模型架構

本文提出的CHTE 模型架構如圖1 所示，其中Q、K、V分別表示Tansformer中的Query、Key和Value 向量。該模型主要分為嵌入層、編碼層以及解碼層3 個部分，首先將輸入的文本通過嵌入層獲取字級別的詞嵌入的向量表示，并在其中添加位置編碼特征向量增強模型的位置信息，然后通過編碼層獲取增強局部特征的輸入文本的上下文表示，最后通過解碼層對輸入文本進行序列標注。

圖1 CHTE 模型整體架構Fig.1 Overall architecture of CHTE model

2.1 嵌入層

在中文命名實體識別領域，當前主要的詞嵌入方式為字級別、詞級別以及兩者融合的嵌入方式。詞級別的嵌入方式存在分詞錯誤以及未登錄詞的問題，字詞融合的嵌入方式則會增加存儲以及詞典匹配時間。因此，本文使用字級別的詞嵌入方式。

本文使用文獻［5］中預訓練的字級別詞向量，假設模型的輸入為s=(c1，c2，…，cn)，其中cj表示輸入句子s的第j個字，通過查表操作獲取該字的特征表示為=[ec(cj)；eb(cj，cj+1)；eb(cj-1，cj)]，其中，[；]表示向量的拼接，ec為字級別特征的查表操作，eb為bi-gram的查表操作，eb(cj，cj+1)表示以第j個字開始的bigram 特征，eb(cj-1，cj)表示以第j個字結束的bi-gram特征。使用Transformer 中的位置編碼方式，獲取位置j的位置編碼特征，并將字級別的特征和位置特征相加得到嵌入層對文本句子的特征表示：

2.2 編碼層

Transformer 作為使用多頭自注意力機制的特征提取模型，緩解了RNN 無法充分利用GPU 平行計算以及長距離文本依賴的問題。本文依據其在實體識別任務中不能充分獲取局部特征，對Transformer Encoder 中的多頭自注意力機制進行改進，在保留2 個注意力頭不變的情況下，將剩余6 個注意力頭的Value 向量分別使用不同窗口大小的CNN 獲取。注意力頭的計算如式（2）～式（4）所示。保留原始Transformer 的2 個注意力頭中Vl的計算如式（5）所示。剩余6 個注意力頭首先使用dh個卷積核獲取第j個字對應窗口大小為l的局部特征，然后通過池化層進行步長為2 的最大池化操作得到該字的特征表示，并利用滑動窗口獲取每個注意力頭中的Vc，計算公式如式（6）、式（7）所示。

其中：Wc，bc分別為卷積操作的卷積核以及偏移；表示向下取整操作。

將2 個線性注意力頭和6 個CNN 注意力頭得到的結果進行拼接，獲得自注意力層對文本的特征表示=[Att(A，Vl)；…；Att(A，Vc)]，Transformer 中使用殘差連接是為了將子層特征Xs和當前層特征直接相加，這種直接相加的方式賦予兩個特征相同的權重，不能自適應地選擇子層和當前層中對實體識別重要的特征信息。本文提出的門控殘差連接通過在殘差連接中融入門控機制，即首先通過門控機制計算門控得分G，然后通過該得分自適應子層特征和當前層特征（如式（8）、式（9）所示），之后將門控殘差連接的結果進行歸一化，最后分別通過前饋神經網絡層、門控殘差連接以及歸一化操作后和嵌入層的特征Xs進行拼接，得到輸入序列s最終的特征表示U（如式（10）所示）。

其中：為殘差連接的輸出。

其中：uj表示句子中第j個字經過編碼層后的最終特征表示。

2.3 解碼層

在基于深度學習的命名實體識別中，CRF 成為主流解碼器，將實體識別問題轉化為序列標注問題，通過狀態轉移概率來限制相鄰標簽之間的關系，進一步提高了命名實體識別的準確率。本文使用CRF作為模型的解碼器，對于輸入句s=(c1，c2，…，cn)標記為Y=(y1，y2，…，yn)的概率計算如式（11）所示：

其中：為對應于uj的可訓練權重參數為yj-1～yj的狀態轉移得分；Y′為輸入句s所有可能的標記序列，通過Viterbi 算法查找最終的標記序列；Y為真實標記。

本文提出的CHTE 模型的損失函數是將概率p(Y|s)最大化，如式（12）所示：

3 實驗設置與結果分析

3.1 數據集選取

選取Weibo 和Resume 數據集進行實驗，其中Weibo 數據集［11，23］是從社交媒體新浪微博獲取并標注的數據集，Resume 數據集［5］是從新浪金融網頁中獲取并標注的來自中國股票市場上市公司高級管理人員的簡歷數據集。本文采用文獻［5］中的數據集劃分方式，詳細的數據集統計信息如表1 所示。

表1 數據集統計信息Table 1 Dataset statistics

3.2 參數設置

采用BMESO（Begin，Middle，End，Single，Outside）進行序列標注，使用精確率、召回率、F1 值作為評估指標，在使用預訓練詞嵌入和BERT 預訓練語言模型兩種情況下進行實驗。通過驗證集對模型中超參數進行調整，為防止過擬合，嵌入層和全連接層中的Dropout 分別設定為0.3 和0.2，注意力頭中CNN 的窗口大小設定為（2，3，4，5，6，7），Batch 設定為16。依據FLAT 給定的注意力頭的維度范圍進行調整，并將前饋層的維度使用和Transformer 相同的設定，即8 個注意力頭維度和的3 倍。在使用預訓練詞嵌入的情況下，需要重新學習模型的參數，因此學習率設定為1e-3。在Weibo 數據集中每個注意力頭的維度設置為16，前饋層的維度設置為384，在Resume 數據集中兩者分別設置為18 和432。在使用BERT 預訓練語言模型的情況下，在BERT 的基礎上微調，因此學習率設定為4e-5，當以BERT 作為嵌入層時，通過實驗發現若輸入CHTE 模型的維度小于768 時性能會下降，因此為了保持模型的性能以及計算量將模型的輸入維度設定為768，即每個注意力頭維度設置為96，前饋層的維度設置為2 048。

3.3 結果分析

本文分別與使用外部詞典的命名實體識別模型、未使用外部詞典的命名實體識別模型以及基于BERT 的命名實體識別模型進行比較。以未使用外部詞典的命名實體識別模型TENER、使用外部詞典的命名實體識別模型Lattice LSTM 以及預訓練語言模型BERT 作為基礎模型。使用與文獻［5］相同的預訓練字向量和詞典YJ，對比實驗數據均來自各模型的原文獻。

3.3.1 對比模型選取

對比模型主要分為基于詞嵌入的命名實體識別模型和基于字嵌入的命名實體識別模型兩類。除了Word-based 和+char+bichar LSTM 是基于詞嵌入的命名實體識別模型以外，其他均是基于字嵌入的命名實體識別模型，其中，+bichar+softword 是在charbased 模型上添加了bi-gram 潛入特性以及分詞標記特征，Lattice LSTM、FLAT 是添加了詞典信息且識別效果較好的模型，CAN-NER 和TENER 是未使用詞典但效果較好的模型，FLAT 和TENER 是基于Transformer Encoder 的變換模型，FGN 是基于BERT的效果較好的模型。本文選取以上對比模型是為了說明本文提出的CHTE 模型在使用和未使用BERT作為嵌入層的情況下都能得到較好的識別結果。對比模型具體描述如下：

1）Word-based：以詞作為嵌入的基本單位，并以Bi-LSTM、CRF 作為編碼器和解碼器。

2）+char+bichar LSTM：將字級別特征以及bi-gram字級別特征作為Bi-LSTM 的輸入，并將字級別特征和對應詞級別的特征拼接作為解碼器CRF 的輸入。

3）Char-based：對單個字進行嵌入，未使用詞典信息。使用Bi-LSTM 作為編碼器，CRF 作為解碼器。

4）+bichar+softword：在字級別詞嵌入的基礎上添加了bi-gram 嵌入特征以及分詞標記的嵌入特征。

5）Lattice LSTM：以字作為嵌入的基本單位，并將所有出現在詞典中的詞嵌入添加到序列中以該詞開始和結尾的兩個字中。使用Bi-LSTM 和CRF 作為編碼器和解碼器。

6）FLAT：將輸入句子中存在的所有可能的詞信息的相對位置跨度編碼融入到Transformer 的多頭注意力計算中。

7）CAN-NER［24］：使用卷積注意力獲取字級別特征，并使用GRU 和全局自注意力機制獲取相鄰字的特征。

8）TENER［7］：針對Transformer 對位置不敏感的問題，提出一種能夠捕獲方向和位置的注意力計算方式，通過位置信息能夠進一步增強命名實體識別的效果。

9）FGN［18］：將BERT 獲取的字級別特征中融入通過CNN 獲取的有助于實體識別的字形特征，并將LSTM+CRF 作為解碼器。

3.3.2 基于預訓練詞嵌入的模型性能對比

在Weibo 和Resume 數據集上的命名實體識別結果如表2 所示，其中，最優指標值用加粗字體標示，N 表示未使用外部詞典。在Weibo 數據集上，Char-based 模型相較于Word-based 模型的F1 值提高了5.44 個百分點，在Char-based 模型中添加2-gram 的字級別詞嵌入和分詞標記的特征信息后得到+bichar+softword 模型，其F1 值相較于Char-based 模型提升了3.98 個百分點，在Word-based模型中添加了字級別特征表示后的+char+bichar LSTM 模型的性能顯著提高，但其F1 值還是低于Char-based 模型0.44 個百分點，本文CHTE 模型相較于未使用詞典的TENER 模型的F1 值提高了4.39 個百分點，相較于使用詞典的Lattice LSTM 模型的F1 值提高了3.77 個百分點，相較于融合外部詞典的FLAT 模型的F1 值提高了2.24 個百分點。在Resume 數據集中，CHTE 模型相較于未使用詞典的TENER 模型的F1 值提高了0.76個百分點，相較于使用詞典的Lattice LSTM模型的F1 值提高了1.30 個百分點，相較于融合外部詞典的FLAT 模型的F1 提高了0.31 個百分點。

由表2 可以看出，CHTE 模型在Weibo 數據集上的提升效果明顯優于Resume 數據集，導致這一結果的原因可能為Weibo 作為社交媒體數據存在大量不規則語法、句法以及字丟失的文本內容，使得外部詞典不能很好地匹配文本，引入錯誤的詞信息，致使添加詞典信息的模型在該數據集中的表現欠佳，而CHTE 模型使用CNN 在不需要匹配詞典的情況下獲取潛在的詞信息，因此在Weibo 數據集上的識別性能更好。

表2 在Weibo和Resume數據集上的命名實體識別結果1Table 2 Named entity recognition results 1 of the Weibo and Resume datasets %

3.3.3 消融實驗分析

如表3 所示，在Weibo 數據集上對CHTE 模型各模塊進行分析，其中，add 表示CHTE 模型使用直接相加的殘差連接方式，wo cat 表示CHTE 模型的編碼層輸出不拼接嵌入層特征，all CNN-Head 表示在所有注意力頭中使用CNN，wo CNN-Head 表示使用原始Transformer 中注意力頭的計算方式。相較于Transformer Encoder 直接相加的方式，使用本文提出的門控殘差連接后F1 值提高了0.64 個百分點，這一結果可能是由于采用直接相加的方式對待子層以及當前層特征，不能自適應地選擇子層和當前層中的特征。相較于Transformer Encoder 中的多頭注意力的計算方式，使用本文提出的不同窗口大小的CNN的方式，增強了Transformer 局部特征的表示同時獲取潛在的詞級別的信息，使F1 值提高了2.32 個百分點。若將CHTE 模型中的注意力頭的計算方式全部轉化為Transformer Encoder 中的計算方式，則F1 值下降了1.88 個百分點，這說明即使在注意力頭中增加了窗口大小為（8，9）的CNN 來計算Value 值，但長度大于7 的實體數量稀少，并且缺少全局語義信息導致最終F1 值降低。

由表3 可以看出，本文設計的基于不同窗口大小CNN 的注意力頭對CHTE 模型的性能提升最明顯，門控殘差連接對CHTE 模型的性能提升也較明顯，說明本文在中文命名實體領域針對Transformer提出兩種改進方法能有效提升模型性能。

表3 消融實驗結果Table 3 Results of ablation experiments %

3.3.4 基于BERT 的模型性能對比

由于本文對比的FLAT 和FGN 模型分別使用Chinese-BERT-wwm［25］和Chines-BERT-base［26］兩個不同的版本的BERT，因此分別使用兩個版本的BERT 進行實驗，并以兩個版本的BERT 作為基礎模型。

如表4 所示，本文提出的CHTE 模型在兩個數據集上相較于兩個版本的基礎模型Chinese-BERT-wwm 以及Chines-BERT-base均有明顯的性能提升，其中在Weibo數據集上提升更明顯，相比于Chines-BERT-wwm 模型的F1 值提高了5.29 個百分點，相比于Chinese-BERTbase 模型的F1 值提高了4.40 個百分點。同樣地，相比于使用BERT 作為嵌入層的Chinese-BERT-wwm+FLAT模 型，Chinese-BERT-wwm+CHTE 模型在Weibo 和Resume 數據集上的F1 值分別提高了4.94 和0.31 個百分點。在Weibo 數據集上，Chines-BERT-base+CHTE 模型的F1 值相比于FGN 模型提高了0.27 個百分點，而在相對較大且規范的數據集Resume中的F1值相比于FGN模型降低了0.50 個百分點，這表明CHTE 模型在使用BERT 作為編碼層后對實體識別效果同樣有明顯的提升，但由于FGN 模型中融合了中文文字的字形信息，因此相比于CHTE 模型在Resume 數據集上的識別效果更好。

表4 在Weibo和Resume數據集上的命名實體識別結果2Table 4 Named entity recognition results 2 of the Weibo and Resume datasets %

3.3.5 CNN 注意力頭數量對模型性能的影響

圖2 為CHTE 模型中CNN 注意力頭數量對F1值的影響。圖3 為在兩個數據集上不同命名實體字符長度的占比情況，其中Weibo 數據集中實體字符長度范圍為1～11，Resume 數據集則相對較大、實體較多，其中實體字符長度范圍為1～36，但由于字符長度超過16 的實體數量較少，因此本文僅統計了字符長度為1～16 的實體數量。如圖2 所示，當CNN 注意力頭數量為6 時該模型在兩個數據集中得到了最高的F1 值。如圖3 所示，在兩個數據集中實體字符長度主要集中于1～7，而采用6 個CNN 注意力頭的窗口大小為（2，3，4，5，6，7），正好能夠通過該范圍內的窗口大小增強局部范圍內的特征表示以及潛在的詞信息，因此當CNN 注意力頭數量取6時在兩個數據集上具有較好的識別性能。

圖2 CNN 注意力頭數量對F1 值的影響Fig.2 Effect of the number of CNN attention heads on the F1 value

圖3 命名實體字符長度占比Fig.3 Percentage of named entity character lengths

3.3.6 實體字符長度對比

為驗證在多頭自注意力機制中使用不同窗口大小的CNN 對不同字符長度的實體識別的影響，在Weibo數據集上對比分析本文提出的使用CNN 的CHTE模型以及未使用CNN 的CHTE wo CNN 模型。如圖4 所示，CHTE 模型在字符長度為1～6 時實體識別F1 值均有提升，其中字符長度為1、5、6 以及≥7 的實體數據稀疏，出現F1 值較低、提升較大以及未提升的情況。在實體數據較多的字符長度范圍內，字符長度為3 的實體對應的F1 值提升了0.03 個百分點，這說明使用不同窗口大小的CNN 可增強局部特征，不僅能提高具有較長字符長度的實體識別效果，而且能增強較短數據字符長度的實體識別效果。

圖4 Weibo 數據集上不同命名實體字符長度的F1值Fig.4 F1 values of each named entity character length in Weibo dataset

3.3.7 可視化分析

圖5、圖6 為通過CHTE 模型得到的未使用CNN（Linear-Head）和使用CNN（CNN-Head）的注意力權重的可視化結果圖。如圖5 所示，Linear-Head 得到的注意力權重相對比較分散，這說明其更加注重獲取全局語義信息，存在注意力權重沒有集中在有意義的詞上的問題。如圖6 所示，CNN-Head 得到的注意力權重分布相較于Linear-Head 相對集中，這說明使用CNN 來獲取Value 向量的方法能夠有效地捕獲句子中的局部特征，增加字符的局部特征表示，并且能夠增強字符詞級別的特征表示，進而增強模型實體識別能力。

圖5 Linear-Head 注意力權重Fig.5 Attention weight of Linear-Head

圖6 CNN-Head 注意力權重Fig.6 Attention weight of CNN-Head

4 結束語

本文提出一種用于中文命名實體識別的CHTE 模型，通過在多個注意力頭中融入CNN 充分捕獲全局語義信息并增強模型的局部特征以及潛在的詞信息表示，同時應用自適應的門控殘差連接融合當前層和子層特征，提升了Transformer 對于命名實體的識別準確率。通過將CHTE 模型與使用外部詞典信息模型、未使用外部詞典模型以及基于BERT的模型在Weibo和Resume兩個數據集上進行實驗對比，結果證明了CHTE 模型具有更好的中文命名實體識別性能。后續將在CNNHead Transformer 編碼器的基礎上融合詞典信息，進一步提升模型對于中文命名實體的識別準確率。