基于Transformer 編碼器的中文命名實體識別模型

司逸晨，管有慶

（南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，南京 210003）

0 概述

自然語言處理（Natural Language Processing，NLP）是計算機科學(xué)、人工智能領(lǐng)域的重要研究方向，旨在使計算機理解人類的語言并進行有效交互。命名實體識別（Named Entity Recognition，NER）是自然語言處理中的關(guān)鍵技術(shù)，主要用于識別語句中人名、地名、機構(gòu)名、專有名詞等包含特定意義的實體，廣泛應(yīng)用于文獻關(guān)鍵詞提取、電子病歷疾病特征抽取等任務(wù)，可細分為通用領(lǐng)域的命名實體識別以及金融、醫(yī)療、軍事等特定領(lǐng)域［1］的命名實體識別。早期研究多數(shù)基于詞典和規(guī)則進行命名實體識別，之后機器學(xué)習(xí)技術(shù)被廣泛應(yīng)用于命名實體識別任務(wù)中。近幾年，隨著計算機性能的不斷提升，深度學(xué)習(xí)技術(shù)大幅提升了命名實體識別的準確率。

基于深度神經(jīng)網(wǎng)絡(luò)的命名實體識別模型一般將命名實體識別任務(wù)視作序列標注任務(wù)，對文本中的每一個字打上對應(yīng)的標簽，根據(jù)標簽序列識別命名實體。目前，主流的基于深度學(xué)習(xí)的序列標注模型通常采用字嵌入層、編碼層和解碼層三層結(jié)構(gòu)，文本中的字首先通過字嵌入層生成對應(yīng)的字向量，然后在編碼層進行上下文編碼以學(xué)習(xí)語義，最后在解碼層中生成對應(yīng)的標簽，不同的命名實體識別模型均是針對這三層進行改進［2-3］。在自然語言處理任務(wù)中，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）被廣泛應(yīng)用于各種任務(wù)的編碼層，其中雙向長短期記憶（Bidirectional Long Short-Term Memory，BiLSTM）網(wǎng)絡(luò)是命名實體識別任務(wù)中常見的循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)。文獻［3］提出基于BiLSTM 和條件隨機場（Conditional Random Field，CRF）的命名實體識別模型，利用BiLSTM 的雙向編碼能力進行前后文編碼，通過CRF 學(xué)習(xí)標簽間的序列順序，是目前主流的命名實體識別模型。文獻［4］提出的Lattice-LSTM 模型在BiLSTM 模型的基礎(chǔ)上進行改進，通過對編碼層進行修改可在字向量中編碼詞語信息。文獻［5-7］研究表明BiLSTM 采用的門結(jié)構(gòu)雖然能幫助解決梯度消失問題，但是三個門單元也導(dǎo)致了計算量的增加，延長了模型訓(xùn)練時間，而Lattice-LSTM 對編碼層的改進進一步增加了模型訓(xùn)練負擔(dān)［8］。近幾年，文獻［9］提出的Transformer 機器翻譯模型被廣泛應(yīng)用于各自然語言處理任務(wù)，其基于注意力機制獲取文本中字符間的長距離依賴，采用的并行結(jié)構(gòu)也可以提升模型訓(xùn)練效率。但在命名實體識別任務(wù)中，使用Transformer 作為編碼器的性能表現(xiàn)并不理想。文獻［10-12］指出Transformer 機器翻譯模型采用的絕對位置編碼在經(jīng)過模型自身注意力運算后會丟失字符中的相對位置信息，影響最終識別效果。

雖然BiLSTM 模型在命名實體識別任務(wù)中表現(xiàn)較好，但是BiLSTM 訓(xùn)練速度較慢。Lattice-LSTM模型通過對編碼層的改進在字向量中添加了詞信息，但進一步增加了模型的計算負擔(dān)。Transformer編碼器因為丟失了字符相對位置信息，無法充分發(fā)揮其性能優(yōu)勢。針對上述問題，本文提出一種基于Transformer 編碼器的中文命名實體識別模型。在字嵌入層中，使用結(jié)合詞典的字向量編碼方法將詞語信息嵌入字向量。在Transformer 編碼器層中，改進自注意力計算方式，同時引入相對位置編碼方法，從而在模型中加入相對位置信息。

1 中文命名實體識別模型

基于Transformer 編碼器的命名實體識別模型的整體可以分為字嵌入層、Transformer 編碼器層和條件隨機場層三層。在字嵌入層中，使用結(jié)合詞典的字向量編碼方法生成包含詞語信息的字向量。在Transformer 編碼器層中，對字向量進一步編碼以學(xué)習(xí)前后文特征，同時通過修改注意力運算方式和引入相對位置編碼，取得字符的相對位置信息。最終通過條件隨機場層獲取最優(yōu)標簽序列，根據(jù)標簽序列識別命名實體。基于Transformer 編碼器的命名實體識別模型如圖1 所示，其中，輸出的“B”標簽代表命名實體的開頭，“I”標簽代表命名實體的結(jié)尾，“O”標簽代表這個詞不是命名實體，在Transformer 編碼層中包含多個Transformer 編碼器。

圖1 基于Transformer 編碼器的中文命名實體識別模型Fig.1 Chinese NER model based on Transformer encoder

1.1 結(jié)合詞語信息的字嵌入層

在命名實體識別模型的字嵌入層中，需要將輸入語句的每一個字映射為固定維度的字向量，以便后續(xù)的編碼。在中文命名實體識別任務(wù)中，基于字符的編碼方法難以利用詞語的信息，因此本文提出一種結(jié)合詞典的字向量編碼方法，使生成的字向量可以包含詞語的信息。

對于字向量的生成，首先需要進行字嵌入模型的選擇。Word2Vec 是一款經(jīng)典的語言嵌入模型［13-15］，具體實現(xiàn)了Skip-Gram（跳字）和連續(xù)詞袋（Continue Bag-of-Words，CBOW）兩種模型，其中跳字模型的核心思想是使用中心字預(yù)測背景字，連續(xù)詞袋模型的核心思想是使用背景字預(yù)測中心字。這兩種模型都可以在不進行人工標注的前提下利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練生成字向量，并且字向量中包含了上下文本的信息［16］，然而在實際實驗中，一般使用跳字模型生成字向量。

在選擇好字嵌入模型后，將介紹融入詞語信息的字向量編碼方法。Lattice-LSTM 模型［4］對LSTM的結(jié)構(gòu)作了大幅修改，在字嵌入的同時引入詞信息，并最終證明了在字向量中加入詞語信息可以增強中文命名實體識別準確率［17］。但是，Lattice-LSTM 模型［4］對LSTM 的修改增加了訓(xùn)練時需要更新的參數(shù)量，增加了模型計算開銷，同時這種修改難以應(yīng)用于使用其他神經(jīng)網(wǎng)絡(luò)進行編碼的命名實體識別模型。針對上述問題，本文提出一種相對簡單的在字嵌入層引入詞語信息的字向量編碼方法。該方法只對命名實體識別模型的字嵌入層進行修改，從而保證了模型整體計算效率不受太大影響，同時該方法也具有較強的可移植性。

字向量編碼方法的具體步驟如下：1）對于輸入文本進行分句處理；2）使用Lattice-LSTM 模型中開源的中文分詞詞典作為句中每個字對應(yīng)的詞典，其中約包括29 萬雙字符詞匯和28 萬三字符詞匯；3）對于文本中的每一個字符c，根據(jù)詞典匹配句子中所有包含該字符的詞，使用B（c）、M（c）、E（c）3 個集合編碼這個字包含的詞信息，其中，B（c）表示所有以字符c開頭且長度大于1 的詞，M（c）表示包含字符c且字符c不在開頭和末尾的詞，E（c）表示以字符c結(jié)尾且長度大于1 的詞，如果集合為空，則添加一個特殊的空詞None 到集合中。如圖2 所示，字符c“5胃”出現(xiàn)在詞“腸胃炎”的中間、詞“胃炎”的首部、詞“腸胃”的底部，因此對應(yīng)的詞向量集合B（c5）為｛“胃炎”｝、E（c5）為｛“腸胃”｝、M（c5）為｛“腸胃炎”｝，這樣可將句中字符“胃”對應(yīng)的3 個詞的信息“腸胃”、“胃炎”、“腸胃炎”通過字符的3 個集合進行完整收錄。

圖2 融合詞語信息的編碼示意圖Fig.2 Schematic diagram of encoding fusing word information

在獲得每個字符的B、M、E3 個詞語集合后，根據(jù)創(chuàng)建的3 個集合，將詞語信息融入到字向量中，構(gòu)造新的字向量，如式（1）所示：

其中：xnew表示最終生成的包含詞語信息的字向量；xc表示根據(jù)跳字模型直接使用Word2Vec 模型訓(xùn)練生成的字向量表示根據(jù)B、M、E3 個詞語集合生成的特征向量表示字向量和特征向量的拼接。的具體生成方法如下：

其中：[v(B),v(M),v(E)]表示根據(jù)B、M、E3 個詞語集合生成的特征向量的拼接。每個特征向量v(s)的計算公式如下：

其中：s表示B、M、E中任意一個詞語集合；|s|表示集合中詞的總數(shù)；v(s)表示集合對應(yīng)的特征向量；w表示詞語集合中的詞；ew表示詞w對應(yīng)的詞向量。通過式（3）實現(xiàn)了在字向量中加入詞語信息，從而豐富了字向量的特征。

1.2 加入相對位置信息的Transformer 編碼器層

Transformer 編碼器的具體結(jié)構(gòu)如圖3 所示，編碼器的輸入為之前生成的字向量，由于Transformer沒有使用遞歸和卷積的方式編碼字的位置信息，因此添加了一種額外的位置編碼來表示序列中每個字的絕對位置信息。

圖3 Transformer 編碼器結(jié)構(gòu)Fig.3 Structure of Transformer encoder

位置編碼的計算如式（4）和式（5）所示：

其中：PPE為二維矩陣，矩陣的列數(shù)和之前生成的字向量維數(shù)相同，PPE中的行表示文本中每一個字對應(yīng)的位置向量，列表示位置向量的維度，位置向量的總維數(shù)等于字向量的總維數(shù)；l表示字在輸入文本中的索引；d表示位置向量的總維數(shù)；i表示位置向量具體的維度，取值范圍為表示索引為l的字的位置向量在偶數(shù)維度的值，使用正弦函數(shù)計算；表示索引為l的字的位置向量在奇數(shù)維度的值，使用余弦函數(shù)計算；Transformer 編碼器中將作為三角函數(shù)的輸入，使相對距離越大的輸入產(chǎn)生的相關(guān)性越弱，并將位置編碼和字向量相加得到最終的字向量。

為便于計算，Transformer 編碼器使用絕對位置編碼方法，但是這種編碼方法在經(jīng)過Transformer 編碼器內(nèi)部的注意力運算后會丟失相對位置信息。假設(shè)輸入序列為X，根據(jù)Transformer 編碼器的注意力計算方法，序列中第i個字和第j個字的注意力計算分數(shù)如式（6）所示：

其中：Wq和Wk是注意力計算中使用的生成查詢向量的權(quán)重矩陣和生成鍵向量的權(quán)重矩陣；Vi和Vj是第i個字和第j個字的字向量；Pi和Pj是第i個字和第j個字的位置向量。對式（6）進行因式分解得到式（7）：

其中：ViTWqTWkVj不包含位置 編碼；ViTWqTWkPj只包含序列中第j個字的位置向量Pj；PiTWqTWkVj只包含第i個字的位置向量Pi；PiTWqTWkPj中同時包含序列中第i個字和第j個字的位置向量Pi和Pj。事實上，根據(jù)Transformer 編碼器的編碼方式，PiTPj包含相對位置信息。對于文本中任意一個字符i，將位置向量展開如式（8）所示：

其中：k表示字符i和字符j的距離，k=j-i。由三角函數(shù)的性質(zhì)可知，cos(a-b)=sin(a)sin(b)+cos(a)cos(b)，因此將式（9）化簡可得：

圖4 Transformer 位置向量乘積結(jié)果可視化Fig.4 Visualization of product result of position vector

為加強Transformer編碼器對相對位置的感知能力，在文獻［17］研究的基礎(chǔ)上，對式（7）中Transformer編碼器的注意力計算公式進行修改。相比于文獻［17］，沒有選擇銳化Transformer 的注意力矩陣，而是通過基于正弦函數(shù)的相對位置編碼減少模型的注意力參數(shù)，同時保留字符間的距離信息和相對位置信息，提升模型在中文命名實體識別任務(wù)中的性能表現(xiàn)，計算公式如式（11）所示：

其中：u和v表示可學(xué)習(xí)的參數(shù)向量；Ri,j是根據(jù)式（10）修改的相對位置編碼。因為在引入相對位置編碼后無需再使用注意力機制中的查詢向量查詢字符i的絕對位置Pi，所以使用參數(shù)向量u和v替換式（7）中的其中Wq、u和v均是可學(xué)習(xí)的參數(shù)。Ri,j表示字符i和字符j的相對位置編碼，替換了式（7）中代表相對位置信息的相對位置編碼的具體編碼方式如式（12）所示：

相對位置編碼方法實質(zhì)上是將式（10）中的cos 函數(shù)替換成sin 函數(shù)。在式（10）中因為三角函數(shù)cos(-x)=cos(x)導(dǎo)致Transformer 編碼器使用的原始位置編碼對相對距離的感知缺乏方向性，而sin(-x)=-sin(x)，所以相對位置編碼Ri,j對方向敏感。通過上述修改，Transformer 編碼器在進行注意力運算后不會再丟失相對位置信息，在感知字符距離變化的同時也具備了方向感知能力。

1.3 條件隨機場層

在本文命名實體識別模型中，Transformer 編碼器層只能獲取包含進一步上下文信息的字向量，即使加入了詞語信息和相對位置編碼，也無法考慮最終預(yù)測標簽之間的依賴關(guān)系，比如標簽I 必須在標簽B 后。因此，模型中采用條件隨機場層考慮標簽之間的相鄰關(guān)系來獲取全局最優(yōu)的標簽序列。條件隨機場模型是一種經(jīng)典的判別式概率無向圖模型，該模型經(jīng)常被應(yīng)用于序列標注任務(wù)［18］，對于輸入句子x=(x1,x2,…,xn)，句子標簽序列y=(y1,y2,…,yn)的打分如式（13）所示：

其中：A為轉(zhuǎn)移得分矩陣表示由標簽yi轉(zhuǎn)移到標簽yi+1的轉(zhuǎn)移得分；y0和yn+1表示句中起始和終止標簽，這兩個標簽只在計算時臨時添加表示第i個字被標記為yi的概率。用softmax 函數(shù)歸一化得到y(tǒng)標簽序列的最大概率，如式（14）所示：

其中：LLoss表示損失函數(shù)。使用經(jīng)過標注的文本迭代訓(xùn)練命名實體識別模型直至損失函數(shù)Loss 小于閾值ε，ε為事先設(shè)定好的常量。利用維特比算法求得全局最優(yōu)序列，最優(yōu)序列為最終命名實體識別模型的標注結(jié)果，如式（16）所示：

其中：y*為集合中使得分函數(shù)取得最大值的標簽序列。

2 實驗結(jié)果與分析

將基于Transformer 編碼器的命名實體識別模型與其他基于深度學(xué)習(xí)的命名實體識別模型進行性能對比，使用Weibo 和Resume 中文命名實體識別數(shù)據(jù)集進行實驗，利用精確率、召回率以及F1 值作為實驗主要的評估指標，通過實驗結(jié)果驗證基于Transformer 編碼器的命名實體識別模型性能。

2.1 實驗數(shù)據(jù)準備

Weibo 數(shù)據(jù)集來源于新浪微博上選取的標注信息，具體包括2013 年11 月至2014 年12 月約1 900 條信息［8］。Resume 數(shù)據(jù)集來源于新浪金融上的中文簡歷信息，包含人名、種族、職稱等8 類實體，共涉及4 731 條經(jīng)過標注的中文簡歷信息［7］。2 個數(shù)據(jù)集的詳細統(tǒng)計信息如表1 所示。

表1 數(shù)據(jù)集統(tǒng)計信息Table 1 Dataset statistics 103

2.2 實驗環(huán)境與參數(shù)設(shè)置

實驗?zāi)Ｐ筒捎脧?fù)旦大學(xué)提供的開源自然語言處理框架FastNLP 搭建［19］，使用Dropout算法防止模型過擬合。實驗環(huán)境設(shè)置如表2 所示。實驗中的超參數(shù)設(shè)置如表3 所示。模型性能對于超參數(shù)學(xué)習(xí)率和Batch Size較為敏感。在實際操作中，Batch Size 選擇16，通過使用小批量的樣本集增加模型迭代次數(shù)，更快達到擬合點，對應(yīng)選擇0.001 的學(xué)習(xí)率以保持訓(xùn)練穩(wěn)定性，同時將Dropout 設(shè)為0.3 以防止模型過擬合。

表2 實驗環(huán)境設(shè)置Table 2 Setting of experimental environment

表3 實驗超參數(shù)設(shè)置Table 3 Setting of experimental hyperparameters

2.3 與其他模型的對比結(jié)果與分析

引入基于ID-CNN+CRF的命名實體識別模型（簡稱為ID-CNN+CRF）［20］和經(jīng)典的基于BiLSTM+CRF的命名實體識別模型（簡稱為BiLSTM+CRF）作為對比模型，在Weibo和Resume數(shù)據(jù)集上分別進行對比實驗。由于基于Transformer編碼器的命名實體識別模型中加入了相對位置信息，簡稱為Transformer+Relative Position+CRF。在Resume數(shù)據(jù)集上3種模型的實驗結(jié)果如表4所示，F(xiàn)1值變化曲線如圖5所示。從表4 和圖5 可以看出，基于Transformer 編碼器的命名實體識別模型在Resume 數(shù)據(jù)集上取得了最優(yōu)結(jié)果，F(xiàn)1 值達到了94.7%，略高于基于BiLSTM+CRF 的命名實體識別模型和基于ID-CNN+CRF 的命名實體識別模型。同時，基于Transformer 編碼器的命名實體識別模型在第20 個Epoch 時F1 值開始增長緩慢，模型趨近于收斂，說明基于Transformer 編碼器的命名實體識別模型相比基于BiLSTM 的命名實體識別模型和基于ID-CNN 的命名實體識別模型具有更快的收斂速度。

表4 Resume 數(shù)據(jù)集上3 種模型的實驗結(jié)果Table 4 Experimental results of three models on Resume dataset %

圖5 3 種模型在Resume 數(shù)據(jù)集上的F1 值變化曲線Fig.5 F1 value change curves of three models on Resume dataset

在Weibo 數(shù)據(jù)集上3 種模型的實驗結(jié)果如表5所示，F(xiàn)1 值變化曲線如圖6 所示。從表5 和圖6 可以看出，在Weibo 數(shù)據(jù)集上3 種模型的效果均不理想，基于Transformer 編碼器的命名實體識別模型的F1 值僅達到58.2%，相比其他兩個模型提升有限。根據(jù)對Weibo 數(shù)據(jù)集的觀察發(fā)現(xiàn)，3 種模型識別效果均不佳的原因主要為：1）Weibo 數(shù)據(jù)集的數(shù)據(jù)樣本量較小，模型訓(xùn)練效果不佳；2）Weibo 數(shù)據(jù)集中包含大量的人名類實體和地名類實體，基于深度學(xué)習(xí)的命名實體識別模型很難通過神經(jīng)網(wǎng)絡(luò)提取實體特征，從而影響了最終識別效果。

表5 Weibo 數(shù)據(jù)集上3 種模型的實驗結(jié)果Table 5 Experimental results of three models on Weibo dataset %

圖6 3 種模型在Weibo 數(shù)據(jù)集上的F1 值變化曲線Fig.6 F1 value change curves of three models on Weibo dataset

在基于Transformer 編碼器的命名實體識別模型中，分別對字嵌入層和Transformer 編碼器層做了改進，其中字嵌入層使用融合詞語信息的字向量編碼方法，Transformer 編碼器層加入相對位置信息。為驗證這些改動的有效性，引入原始基于Transformer+CRF 的命名實體識別模型在Resume 數(shù)據(jù)集上做進一步的對比實驗，如圖7 所示。從圖7 可以看出，基于Transformer 編碼器的命名實體識別模型相比原始基于Transformer+CRF 的命名實體識別模型，F(xiàn)1 值約提升了2 個百分點，證明了在字嵌入層中的詞語信息及Transformer 編碼器層中的相對位置信息可有效提升命名實體識別模型的最終識別效果。

圖7 2 種模型在Resume 數(shù)據(jù)集上的F1 值變化曲線Fig.7 F1 value change curves of two models on Resume dataset

3 結(jié)束語

本文針對中文命名實體識別過程中的詞語信息丟失問題，提出一種基于Transformer 編碼器的中文命名實體識別模型。該模型使用結(jié)合詞典的字向量編碼方法使字向量中包含詞語信息，通過改進Transformer 編碼器的注意力運算以及引入相對位置編碼方法增加字符的相對位置信息。在Weibo 和Resume 中文命名實體識別數(shù)據(jù)集上的實驗結(jié)果表明，該模型相比于其他主流命名實體識別模型具有更好的識別效果。后續(xù)可在MSRA 等數(shù)據(jù)集上，將該模型與其他基于深度學(xué)習(xí)的中文命名實體識別模型進行性能對比，進一步增強模型泛化能力。