融合多語義特征的命名實體識別方法

左亞堯，陳皓宇，陳致然，洪嘉偉，陳坤

融合多語義特征的命名實體識別方法

左亞堯*，陳皓宇，陳致然，洪嘉偉，陳坤

（廣東工業大學 計算機學院，廣州 510006）（ ? 通信作者電子郵箱yyzuo@gdut.edu.cn）

針對語言普遍存在的字符間非線性關系，為捕獲更豐富的語義特征，提出了一種基于圖卷積神經網絡（GCN）和自注意力機制的命名實體識別（NER）方法。首先，借助深度學習方法有效提取字符特征的能力，采用GCN學習字符間的全局語義特征，并且采用雙向長短時記憶網絡（BiLSTM）提取字符的上下文依賴特征；其次，融合以上特征并引入自注意力機制計算其內部重要度；最后，使用條件隨機場（CRF）從融合特征中解碼出最優的編碼序列，并以此作為實體識別的結果。實驗結果表明，與單一采用BiLSTM和CRF的方法相比，所提方法在微軟亞洲研究院（MSRA）數據集和BioNLP/NLPBA 2004數據集上的精確率分別至少提高了2.39%和15.2%。可見該方法在中文和英文數據集上都具備良好的序列標注能力，且泛化能力較強。

命名實體識別；序列標注；自注意力機制；圖卷積網絡；雙向長短時記憶網絡

0 引言

命名實體識別（Named Entity Recognition， NER）是自然語言處理領域的重要研究方向之一，其目的是識別文本數據中的具有特定意義的實體，如人名、地名、機構名、組織名等，在關系抽取、信息檢索、機器翻譯等任務中有著重要作用。因其基石性地位，國內外學者圍繞命名實體識別的性能、普適性和面向語系等不同方面做了較多研究，并利用監督學習、半監督學習或無監督學習等不同手段，衍生出一批從特征工程到深度學習的方法。

作為序列標注的子任務，命名實體識別一般可以抽象為三層結構：特征表示層、特征編碼層和標簽解碼層。其中編碼層可采用隨機初始化字符編碼或預訓練編碼；特征編碼層可采用卷積神經網絡（Convolutional Neural Network， CNN）或循環神經網絡（Recurrent Neural Network， RNN）學習上下文編碼信息；標簽解碼層可采用條件隨機場（Conditional Random Field， CRF）解碼出實體識別結果的序列。

近年來，Huang等［1］所構建的雙向長短時記憶網絡（Bidirectional Long Short-Term Memory network， BiLSTM）-CRF模型取得突破性成果，其F1在CoNLL2003數據集上達90.10%，成為實現命名實體識別任務的代表方法。該方法證明了BiLSTM在學習字符上下文信息方面的優越性，并且CRF充分考慮全局特征后在解碼時具有一定優勢，后續有許多方法都在此基礎上進行改進。

為了提高識別效果，學者們著手研究如何輸入更豐富的特征。Song等［2］通過對比多種詞嵌入方法，最后選擇以Word2Vec為詞嵌入；Luo等［3］針對BiLSTM連續性和單一輸入的特點，提出了分層語義表示增強模型，通過融合句子級信息和文檔級信息，使模型能夠充分利用全局信息；Gajendran等［4］考慮了字符級和單詞級的特征，提出雙向命名實體識別（Bidirectional Named Entity Recognition， BNER）神經網絡，在沒有大量標注數據的情況下取得了較好的效果。

相對于英文語系，中文命名實體識別通常采用字符作為觀測序列。其原因在于，中文的詞邊界不明顯，前序工作所產生的分詞誤差將給后續實體識別任務帶來噪聲。故在通用領域數據集中，相比基于詞匯的方法，基于字符的命名實體識別通常有較好的表現。文獻［5］基于中文的字符級表示構建BiLSTM-CRF神經網絡，在微軟亞洲研究院（MicroSoft Research Asia， MSRA）數據集上取得F1值90.95%的性能結果。

基于字符的方法雖然沒有引入噪聲，但同樣丟失了詞匯信息等特征，而詞匯邊界對實體切分有著重要作用。因此，學者開始研究詞匯增強的方法。例如，文獻［6］在字符特征的基礎上引入詞性特征，而文獻［7］從漢字的特點出發，將字形特征以五筆編碼的形式用于信息增強。這些方法通過在原有字符的基礎上改進模型，使其可以接收詞匯信息的輸入，從而提高識別精度。Lattice LSTM［8］是最先提出的詞匯增強命名實體識別方法，其通過詞典匹配句子獲取詞匯節點，再將詞匯節點加入原有BiLSTM，形成一個有向無環圖，以此融合詞匯信息。但該方法由于增加了個數不定的詞匯節點，無法并行化處理，計算性能相對較低。同時因為BiLSTM本身特點，模型只能獲取到以當前字符為結尾的線性詞匯信息，且前向和后向不能共享，故容易產生詞匯信息沖突。

對于引入的詞匯信息等外部特征，為避免RNN類算法在順序計算過程中造成信息丟失，使模型根據信息重要程度分配不同權重，從而更關注實體相關的字符，學者采用注意力機制選擇輸入的特征。在中文問答任務［9］、多粒度實體識別［10］中以及信息安全領域實體識別［11］的實驗表明，注意力的引入可以幫助快速提取數據的重要特征。由于這些方法需要依賴外部信息，故模型容易出現泛化能力不強的情況。

作為注意力機制的一種變體，自注意力機制更擅長捕捉特征的內部相關性，減少模型對外部特征的依賴。在許多領域任務都取得較好效果的Transformer［12］，正是利用自注意力（Self-Attention）機制學習文本表示中的關聯信息。文獻［13］中同樣利用Self-Attention關注學習到的詞向量，得到句子的內部表示，進而實現法律文書中的實體識別。在文本應用中，通過Self-Attention計算字符間的相互影響，可以彌補BiLSTM在遠距離依賴捕獲上的不足。

綜上所述，采用字作為輸入BiLSTM-CRF模型是當前的主流方法，為捕獲更豐富的語義特征，Lattice LSTM將詞典匹配的詞匯與字節點首尾相連，實驗表明實體識別效果有所提升；但該方法只能看到前序信息，無法捕捉遠距離的依賴關系，導致模型過于重視局部特征，且運行效率低下。圖卷積網絡（Graph Convolutional Network， GCN）則是以圖網絡的方法聚合的局部信息，但需要復雜的模型結構，且相應的詞典并非時常可得。針對上述問題，提出一種融合多語義特征的命名實體識別模型（Self-Attention-BiLSTM-GCN-CRF， BGCN），采用隨機初始化向量作為字符嵌入，BiLSTM作為編碼層，學習字符之間的上下文信息；通過GCN學習字符的全局語義信息，即遠距離依賴關系，并將其與上下文信息一起經過自注意力融合。在兩個數據集上的對比實驗表明，精度優于現有的BiLSTM-CRF模型。

1 相關工作

1.1　BiLSTM-CRF模型

在命名實體識別研究中，深度學習已被證實是自動學習和提取深度特征的有效工具。對于特征表示，學者們大多選用符號、詞性、詞邊界、上下文和語義等，設計相應的組合特征。

對于特征編碼，為了能分別捕獲過去和將來的信息，學者改進長短時記憶（Long Short-Term Memory， LSTM）網絡，提出了BiLSTM，該模型將每個序列向前和向后呈現為兩個單獨的隱藏狀態，再將兩個隱藏狀態連接起來形成最終輸出。

對于特征解碼，CRF是用于解決序列標注問題的主流判別式模型。為了適應各自領域，學者就原有CRF進行相關改進，如Chen等［14］提出級聯CRF；Sun等［15］利用CRF完成多視圖序列標注。因為考慮了上下文標簽的關系，借助特征表示層提取的特征，CRF可較好地完成序列標注任務。

基于BiLSTM-CRF這一主流模型，各行業領域產生了許多應用，包括自動提取客戶咨詢問題序列中的實體特征［16］、微博評論［17］、生物信息領域［18］和社會突發事件［19］的實體識別，以及惡意軟件名稱［20］。縱觀序列標注的相關研究可以發現，以BiLSTM-CRF模型為核心的端到端模型在序列標注任務上可以取得不錯的效果，該模型可以有效完成實體識別任務。該組合模型的結構如圖1所示。

圖1　BiLSTM-CRF模型

1.2　圖卷積神經網絡

近幾年，圖卷積網絡（Graph Convolutional Network， GCN）的成功推動了自然語言處理領域相關研究的發展。許多深度學習任務，如語義分隔、文本分類和動作識別，由以往使用歐氏數據的卷積神經網絡（Convolutional Neural Network， CNN）和RNN方法轉變為使用非歐氏數據的GNN［21］方法。模型利用循環神經結構傳播周圍節點的信息，經過迭代到達一個穩定的不動點，從而得到目標節點的向量表示。在GNN的推動下，通過借鑒CNN、RNN等神經網絡的思想，相關學者定義和設計了用于處理圖結構數據的GCN，并將之應用于分類任務［22］。

現有實驗證明GCN具有強大的特征提取能力，能提取圖結構的數據特征并應用在關系分類、標簽分類等領域上。本文利用現有GCN對圖結構數據的處理能力來提取遠距離的字符間的特征。

2 BGCN模型

本文結合自注意力機制、GCN模型、BiLSTM模型和CRF模型特點，采用GCN模型提取字符之間全局語義特征，并融合BiLSTM模型學習的字符序列間的依賴關系特征，再將其輸入到自注意力層中關注特征的內部重要度后輸入CRF模型來進行解碼得到最優編碼序列。本文將從模型構建、全局語義學習、上下文語義學習、語義融合、CRF解碼和算法描述等方面來介紹模型。

2.1　模型構建

該模型首先利用滑動窗口構建共現矩陣的方法來處理語料獲得候選詞語，根據點互信息（Pointwise Mutual Information， PMI）計算字符之間的關聯度，進而構成字符鄰接矩陣；之后，將語料數據編碼為字符向量輸入到BiLSTM模型學習得到上下文特征向量，并將字符鄰接矩陣及特征矩陣輸入GCN得到全局語義特征向量，最后融合兩者并經過多頭自注意力關注后輸入到CRF中進行序列標注。其整體流程如圖2所示。

圖2　BGCN模型流程

2.2　全局語義學習

其中，每層GCN能夠學習到一階距離的節點信息，通過疊加多層GCN可使圖中每個節點都可以學習到全局范圍的特征信息，其傳播過程如式（6）所示：

2.3　上下文語義學習

LSTM是一種特殊的RNN，能夠學習長距離依賴的關系，一定程度上可緩解RNN中梯度消失的問題。LSTM單元由輸入門、更新門、遺忘門和記憶單元4部分組成，其中記憶單元的作用是對信息進行管理和保存，而三個門的作用是控制記憶單元中信息的更新變化。BiLSTM由前向LSTM與后向LSTM組成，可以更好地捕捉雙向的語義依賴信息，故本文采用BiLSTM捕獲字符的上下文語義依賴特征。LSTM模型的單元結構如圖3所示。

圖3　LSTM單元結構

LSTM單元在時刻的傳播公式如式（8）～（13）所示：

2.4　語義融合

其中：、、是在訓練中學習得到的權重矩陣。

2.5　CRF解碼

CRF是一種概率無向圖模型，其原理是計算給定序列中的最優聯合概率分布，從而優化整個序列，而不是單獨求出每個時刻的最優解后，再進行拼接。本文使用CRF模型約束注意力層提取的特征向量，進而解碼得到最優標注序列。

在訓練過程中采用最大似然估計方法對CRF模型進行參數優化，其對數似然函數如式（21）所示：

2.6　算法描述

基于上述各模塊，本文提出融合多特征的命名實體識別算法，整體由3個部分組成，分別為全局語義特征的學習模塊、上下文特征的學習模塊和序列解碼模塊。其中，句子融合語義通過GCN和BiLSTM捕獲并融合，CRF所生成的標注采用最大似然方法進行更新。

算法1 融合多特征的命名實體識別算法。

2） 重復以下操作，直到完成訓練輪數：

③根據式（13）計算得到上下文特征向量；

④融合全局語義特征向量和上下文特征向量， 并根據式（14）計算融合特征向量的內部重要度；

3） 根據學到的模型，預測測試集中的句子對應的標注序列。

算法1描述了融合多特征的命名實體識別算法。整個算法分為三個部分：全局語義特征的學習和上下文特征的學習，以及利用最大似然估計對CRF所生成的標注進行更新。

3 實驗結果與分析

將BGCN模型在各數據集上進行實驗，并與其他方法比較；分析不同參數配置對模型性能的影響，以及去除注意力層后的模型效果。

3.1　實驗語料

1） MSRA：微軟亞洲研究院2006年SIGHAN命名實體識別語料庫，由50 729條中文命名實體識別標注數據組成，包括地點、機構和人物。SIGHAN（Special Interest Group for Chinese Language Processing of the Association for Computational Linguistics）是國際計算語言學會（ACL）中文語言處理小組的簡稱。

2） BioNLP/NLPBA（Biomedical Natural Language Processing/Natural Language Processing in Biomedical Applications） 2004數據集：來自GENIA版本3.02語料的2000MEDLINE摘要，該摘要由生物醫學術語｛human， transcription factor， blood cell｝組成。經處理后僅使用蛋白質（protein）、DNA、RNA、細胞系（cell line）和細胞類型（cell type）等命名實體。

3.2　數據處理

MSRA和BioNLP/NLPBA 2004是公開數據集，并且已經給出詞性標注，但需將其詞性標注轉換為BIO（Begin Inside Other）系統，其中B表示命名實體的首字符，I表示除命名實體首字符外的其他實體字符，O表示非命名實體字符。其中，MSRA數據集有3個實體類別，如表1所示；BioNLP/NLPBA 2004數據集有5個實體類別，如表2所示。

表1MSRA實體標簽

Tab.1　MSRA entity labels

表2BioNLP/NLPBA 2004實體標簽

Tab.2　BioNLP/NLPBA 2004 entity labels

將帶有實體標簽的數據集劃分為訓練集、驗證集與測試集，數據集的劃分情況如表3所示。

表3數據集劃分情況

Tab.3　Dataset division condition

3.3　實驗設置

表4模型參數設置

Tab.4　Model parameter setting

3.4　實驗環境及評價指標

本文的實驗環境及配置如表5所示。

表5軟硬件環境

Tab.5　Software and hardware environments

本文使用3個指標作為評價標準：實體標簽精確率（Precision，）、實體標簽的召回率（Recall，）和綜合評價指標F1值（1）。計算公式如式（23）～（25）所示：

3.5　實驗結果

為了驗證模型參數設置的有效性，在MSRA數據集上對不同滑動窗口的模型，以及不同初始向量維度的模型分別進行實驗，如圖5、圖6所示。結果表明，當滑動窗口大小取5，初始化向量維度為100時，模型的F1值達到最大值93.76%。

圖5　不同大小滑動窗口的效果對比

圖6　不同嵌入向量維度的效果對比

實驗使用Pytorch深度學習框架，在MSRA和BioNLP/NLPBA 2004數據集進行訓練，并利用測試集進行測試。BGCN模型與其他模型的對比結果如表6、7所示。

表6MSRA數據集上的對比結果 單位：%

Tab.6　Comparison results on MSRA dataset unit：%

表7BioNLP/NLPBA 2004數據集上的對比結果 單位：%

Tab.7　Comparison results on BioNLP/NLPBA dataset unit：%

在中文數據集MSRA上，BGCN模型的F1值較文獻 ［23］、文獻［24］、文獻［25］、文獻［5］和文獻［6］的最優值提高了2.83%，召回率較之最優值提高了2.79%，精確率較之最優值提高了2.39%。通過相關對比可以發現，BGCN模型在中文命名實體識別任務上也領先于文中提及的其他模型。

在英文數據集BioNLP/NLPBA 2004上，BGCN模型F1值比文獻［26］、文獻［2］和文獻［27］等的最優值提高了8.49%，精確率比其提高了15.20%，召回率比其提高了13.27%。實驗結果表明，BGCN模型能夠學習到更有用的語義特征，在英文命名實體識別任務表現上比現有模型優越。

從圖7和圖8中可以看出，BGCN模型在MSRA數據集上只需要8輪即可達到收斂，在BioNLP/NLPBA 2004數據集上則需要25輪達到收斂，這從側面反映了BGCN模型時間性能的優越性。相對于中文數據集，模型在英文數據集上難收斂的原因是英文數據集需抽取的實體類型有5類而中文數據集只有3類。這反映了實體類型的增加會使得抽取任務難度倍增，也體現了BGCN模型在處理復雜的實體抽取問題上，具有較優的泛化能力。

為了驗證BGCN組合模型的有效性，將模型的自注意力層去除，并在BioNLP/NLPBA 2004數據集進行實驗，訓練過程如圖9。實驗表明，去除自注意力層的模型（BiLSTM-GCN-CRF）雖然能較快收斂，但其對文本深層特征的學習不夠充分，在測試集上F1值為76.80%；而帶有自注意力層的BGCN模型，由于需要學習的參數較多，雖然前期分數增長較慢，但在第15輪后分數迅速爬升，收斂后F1值為79.00%，較前者提升了2.2個百分點。

圖7　MSRA驗證集訓練效果

圖8　BioNLP/NLPBA 2004 驗證集訓練效果

圖9　BGCN去除自注意力層前后效果對比

4 結語

本文針對不同語系下黏著程度和語序不一的特點，提出一種新穎的命名實體識別模型BGCN。實驗結果表明，模型對不同語言習慣的中文和英文語料均能捕獲豐富的語義特征，精確率比傳統序列模型和圖模型有明顯的提升。同時，在實體類別數量不同的語料上，雖在時間性能稍有不足，但能取得較優的精度，表現出較好的泛化能力。下一步將考慮在其他語言的語料上進行測試，改進實體分類方法，以降低時間消耗，進一步提高模型泛化能力。

[1] HUANG Z H， XU W， YU K. Bidirectional LSTM-CRF models for sequence tagging［EB/OL］. （2015-08-09） ［2020-05-01］.https：//arxiv.org/pdf/1508.01991.pdf.

[2] SONG H J， JO B C， PARK C Y， et al. Comparison of named entity recognition methodologies in biomedical documents［J］. Biomedical Engineering Online， 2018， 17： No.158.

[3] LUO Y， XIAO F S， ZHAO H. Hierarchical contextualized representation for named entity recognition［C］// Proceedings of the 2020 AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 8441-8448.

[4] GAJENDRAN S， MANJULA D， SUGUMARAN V. Character level and word level embedding with bidirectional LSTM-Dynamic recurrent neural network for biomedical named entity recognition from literature［J］. Journal of Biomedical Informatics， 2020， 112（1）： No.103609.

[5] DONG C H， ZHANG J J， ZONG C Q， et al. Character-based LSTM-CRF with radical-level features for Chinese named entity recognition［C］// Proceedings of the 2016 International Conference on Computer Processing of Oriental Languages/2016 National CCF Conference on Natural Language Processing and Chinese Computing， LNCS 10102. Cham： Springer， 2016： 239-250.

[6] 張海楠，伍大勇，劉悅，等. 基于深度神經網絡的中文命名實體識別［J］. 中文信息學報， 2017， 31（4）：28-35.（ZHANG H N， WU D Y， LIU Y， et al. Chinese named entity recognition based on deep neural network［J］. Journal of Chinese Information Processing， 2017， 31（4）：28-35.）

[7] 劉宇瀚，劉常健，徐睿峰，等. 結合字形特征與迭代學習的金融領域命名實體識別［J］. 中文信息學報， 2020， 34（11）： 74-83.（LIU Y H， LIU C J， XU R F， et al. Utilizing glyph feature and iterative learning for named entity recognition in finance text［J］. Journal of Chinese Information Processing， 2020， 34（11）： 74-83.）

[8] ZHANG Y， YANG J. Chinese NER using lattice LSTM［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2018： 1554-1564.

[9] YU X M， FENG W Z， WANG H， et al. An attention mechanism and multi-granularity-based Bi-LSTM model for Chinese Q&A system［J］. Soft Computing， 2020， 24（8）：5831-5845.

[10] DAI J H， FENG C， BAI X F， et al. AERNs： attention-based entity region networks for multi-grained named entity recognition［C］// Proceedings of the IEEE 31st International Conference on Tools with Artificial Intelligence. Piscataway： IEEE， 2019： 408-415.

[11] 張晗，郭淵博，李濤. 結合GAN與BiLSTM-Attention-CRF的領域命名實體識別［J］. 計算機研究與發展， 2019， 56（9）：1851-1858.（ZHANG H， GUO Y B， LI T. Domain named entity recognition combining GAN and BiLSTM-Attention-CRF［J］. Journal of Computer Research and Development， 2019， 56（9）：1851-1858.）

[12] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.

[13] 王得賢，王素格，裴文生，等. 基于JCWA-DLSTM的法律文書命名實體識別方法［J］. 中文信息學報， 2020， 34（10）： 51-58.（WANG D X， WANG S G， PEI W S， et al. Named entity recognition based on JCWA-DLSTM for legal instruments［J］. Journal of Chinese Information Processing， 2020， 34（10）： 51-58.）

[14] CHEN X Y， SHI S H， ZHAN S Y， et al. Named entity recognition of Chinese electronic medical records based on cascaded conditional random field［C］// Proceedings of the IEEE 4th International Conference on Big Data Analytics. Piscataway： IEEE， 2019： 364-368.

[15] SUN X L， SUN S L， YIN M Z， et al. Hybrid neural conditional random fields for multi-view sequence labeling［J］. Knowledge-Based Systems， 2020， 189： No.105151.

[16] LIU J M， SUN C， YUAN Y. The BERT-BiLSTM-CRF question event information extraction method［C］// Proceedings of the IEEE 3rd International Conference on Electronic Information and Communication Technology. Piscataway： IEEE， 2020： 729-733.

[17] HU J M， ZHENG X. Opinion extraction of government microblog comments via BiLSTM-CRF model ［C］// Proceedings of the 2020 ACM/IEEE Joint Conference on Digital Libraries. New York： ACM， 2020： 473-475.

[18] YANG X M， GAO Z H， LI Y M， et al. Bidirectional LSTM-CRF for biomedical named entity recognition［C］// Proceedings of the 14th International Conference on Natural Computation， Fuzzy Systems and Knowledge Discovery. Piscataway： IEEE， 2018： 239-242.

[19] 胡慧君，王聰，代建華，等.基于BiLSTM-CRF 的社會突發事件研判方法［J］. 中文信息學報， 2022， 36（3）：154-161. （HU H J， WANG C， DAI J H，et al. Social emergency event judgement based on BiLSTM-CRF［J］. Journal of Chinese Information Processing， 2022， 36（3）：154-161.）

[20] 古雪梅，劉嘉勇，程芃森，等. 基于增強 BiLSTM-CRF 模型的推文惡意軟件名稱識別［J］. 計算機科學， 2020， 47（2）： 245-250.（GU X M， LIU J Y， CHENG P S， et al. Malware name recognition in tweets based on enhanced BiLSTM-CRF model［J］. Computer Science， 2020， 47（2）： 245-250.）

[21] WU Z H， PAN S R， CHEN F W， et al. A comprehensive survey on graph neural networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（1）： 4-24.

[22] YAO L， MAO C S， LUO Y. Graph convolutional networks for text classification［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 7370-7377.

[23] ZHOU J S， HE L， DAI X Y， et al. Chinese named entity recognition with a multi-phase model［C］// Proceedings of the 5th SIGHAN Workshop on Chinese Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2006： 213-216.

[24] CHEN A T， PENG F C， SHAN R， et al. Chinese named entity recognition with conditional probabilistic models［C］// Proceedings of the 5th SIGHAN Workshop on Chinese Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2006： 173-176.

[25] ZHOU J H， QU W G， ZHANG F. Chinese named entity recognition via joint identification and categorization［J］. Chinese Journal of Electronics， 2013， 22（2）：225-230.

[26] YIMAM S M， BIEMANN C， MAJNARIC L， et al. An adaptive annotation approach for biomedical entity and relation recognition［J］. Brain Informatics， 2016， 3：157-168.

[27] SONG Y， KIM E， LEE G G， et al. POSBIOTM-NER in the shared task of BioNLP/NLPBA2004［C］// Proceedings of the 2004 International Joint Workshop on Natural Language Processing in Biomedicine and its Applications. ［S.l.］： COLING， 2004：103-106.

ZUO Yayao， born in 1974， Ph. D.， associate professor. His research interests include temporal information processing， data mining， natural language processing.

CHEN Haoyu， born in 1995， M.S. candidate. His research interests include natural language processing， deep learning.

CHEN Zhiran， born in 1996， M. S. candidate. His research interests include natural language processing， machine learning.

HONG Jiawei， born in 1999. His research interests include natural language processing， image recognition.

CHEN Kun， born in 2001. Her research interests include data mining， natural language processing.

Named entity recognition method combining multiple semantic features

ZUO Yayao*， CHEN Haoyu， CHEN Zhiran， HONG Jiawei， CHEN Kun

（，，510006，）

Aiming at the common non-linear relationship between characters in languages， in order to capture richer semantic features， a Named Entity Recognition （NER） method based on Graph Convolutional Network （GCN） and self-attention mechanism was proposed. Firstly， with the help of the effective extraction ability of character features of deep learning methods， the GCN was used to learn the global semantic features between characters， and the Bidirectional Long Short-Term Memory network （BiLSTM） was used to extract the context-dependent features of the characters. Secondly， the above features were fused and their internal importance was calculated by introducing a self-attention mechanism. Finally， the Conditional Random Field （CRF） was used to decode the optimal coding sequence from the fused features， which was used as the result of entity recognition. Experimental results show that compared with the method that only uses BiLSTM or CRF， the proposed method has the recognition precision increased by 2.39% and 15.2% respectively on MicroSoft Research Asia （MSRA） dataset and Biomedical Natural Language Processing/Natural Language Processing in Biomedical Applications （BioNLP/NLPBA） 2004 dataset， indicating that this method has good sequence labeling capability on both Chinese and English datasets， and has strong generalization capability.

Named Entity Recognition （NER）; sequence labeling; self-attention mechanism; Graph Convolution Network （GCN）; Bidirectional Long Short-Term Memory network （BiLSTM）

This work is partially supported by Natural Science Foundation of Guangdong Province （501190013）.

TP391.1 文

A

1001-9081（2022）07-2001-08

10.11772/j.issn.1001-9081.2021050861

2021?05?25；

2021?09?09；

2021?10?12。

廣東省自然科學基金資助項目（501190013）。

左亞堯（1974—），男，湖北荊州人，副教授，博士，主要研究方向：時態信息處理、數據挖掘、自然語言處理； 陳皓宇（1995—），男，廣東廣州人，碩士研究生，主要研究方向：自然語言處理、深度學習； 陳致然（1996—），男，廣東汕尾人，碩士研究生，主要研究方向：自然語言處理、機器學習； 洪嘉偉（1999—），男，廣東普寧人，主要研究方向：自然語言處理、圖像識別； 陳坤（2001—），女，廣東梅州人，主要研究方向：數據挖掘、自然語言處理。