基于數據增強與多特征組合的中文命名實體識別

中圖分類號：TP391 文獻標識碼：A 文章編號：2096-4706（2025）16-0050-07

Chinese Named Entity Recognition Based on Data Augmentation and Multifeature Combination

LI Yuan

（School of InformationEngineering，Xinyang AgricultureandForestry University，Xinyang 4640oo，China）

Abstract：NamedEntityRecognition（NER）isanimportantand fundamentaltask inthefieldsofInformationRetrieval and Natural Language Procesing.At present，the mainstream methods based on character combination Attention Mechanism （AM）andcharacterand word combination AMare faced with problems such as corpus，Chinese word segmentationandoverfow Words.Therefore，from the perspectiveof dataset andthecombination ofcharacter and word，this paper proposes a method combining Data Augmentation （DA）and dynamic feature combinationofcharacter and worddomain information.The useof DAtechnologyimproves thequalityandexpands thescaleofcorpus，whilethedynamiccharacterand word featurescombined with domain information byusing AM provide efective textual semantic information.The paper conducts alarge numberof experiments onCCKS2o17and Commondatasets，andthe experimentalresultsshowthe effectivenessof the proposed model.

eywords：data augmentation; dynamic feature combination;Atention Mechanism; Chinese Named Entity Recognit

0 引言

作為信息檢索和自然語言處理（Natural LanguageProcessing，NLP）領域重要且基礎的前置任務，命名實體識別（Named Entity Recognition，NER）有著廣泛的應用前景，如文獻檢索、病歷抽取，知識圖譜等。NER是指在非結構化文本中自動識別出特定實體[1]。這些實體的結構復雜，長度不一[2]。目前隨著深度學習的興起，與結合注意力機制（AttentionMechanism，Attention）相結合的，能捕獲長文本內深層語義關系的雙向長短期記憶網絡（Bi-directionalLongShort-TermMemory，Bi-LSTM）已成為解決NER的主要方法。依據輸入特征的不同，可分為基于字結合注意力的方法以及基于字詞結合注意力的方法。

基于字結合注意力機制的方法從字符出發，將文本字向量作為輸入特征，并結合注意力機制進行特征提取。在字粒度上，為了處理單詞間的內部依賴、并解決深層網絡帶來的梯度爆炸問題，Huang等[]率先將Bi-LSTM-CRF模型應用到NER任務上；Cao等[依賴于字粒度信息，提出結合多個Bi-LSTM和多頭注意力機制的對抗網絡識別模型；Akbik等[借助Bi-LSTM-CRF實現了對首尾字符向量的整詞編碼，較好地提升了英文NER的性能；Zhu等[從數據集出發，通過數據增強，提升了LSTM-CNN模型的實體識別性能；Cui等[通過整詞遮蓋策略，提出捕捉更豐富語言特征的ChineseBERT識別模型。Shen等[8]則基于Prompt-Learning技術，借助大模型的涌現能力改善了NER模型的理解能力。

但是中文詞語中包含較多有益于識別的詞粒度語義信息，單純基于字的方法卻會忽略詞粒度上的信息，因此基于字詞結合的方法獲得了更多的關注，如Ma等[開發了結合字符和分詞信息的Bi-LSTM-CRF模型，較大地提升了模型的識別性能。但也有研究發現錯誤的分詞會導致下游NER模型性能的衰減[10]。為減少錯誤分詞帶來的不良影響，Zhang等[1探索了利用Gate結合的字和相鄰詞特征的LatticeLSTM模型；Zhang等[12]在此基礎上，提出利用靜態注意力機制結合字符粒度和外部字典信息的動態元嵌入字（Dynamic Meta-Embeddings，DME）方法；李源等[13]則基于Lattice結構和外部知識，提出結合知識圖譜嵌入和位置信息的識別方法。

為了更好地處理中文NER，本文從數據集以及字詞結合的角度出發，不僅考慮文本的規模，通用領域語義字粒度信息，還結合了專用領域詞粒度信息，依靠詞典和注意力機制實現對字詞特征的動態結合。本文的貢獻總結如下：

1）提出一種對非命名實體進行近義替換、隨機刪除、隨機新增的數據增強方法DWEDG，該方法具有較好的泛化能力，并能應用于其他的NLP任務中。2）結合中文NER實際應用情況，針對有標簽語料不足以及錯誤分詞的問題，提出了一種結合數據增強和領域信息字詞特征的方法，實驗顯示該方法能較好地處理中文NER。

1 研究方法

本節首先給出結合數據增強與多特征組合的中文NER網絡框架，如圖1所示，包括：

1）數據增強部分。快速生成與原文本語義空間相接近的語料。2）聯合嵌入部分。提供通用領域的字和專用領域的多個詞間的動態特征組合信息。3）上下文特征提取部分。利用聯合嵌入部分的特征信息完成上下文特征提取。4）序列標注部分。對生成的候選標簽序列進行擇優選擇。

圖1模型網絡框架圖

1.1數據增強部分

有監督學習的模型性能會受到數據的規模和質量的嚴重制約。語料受限時，如何快速有效提高模型的精度是NER任務的核心之一。目前文本數據增強主要包括回譯法[14]、基于對抗神經網絡[15-16]的方法以及同義詞替換法[。前兩種方法需要多次迭代和轉換才能達到較高的精度且耗時較長，而基于同義詞替換的方法因其靈活且易于擴展的特性得到了更多的關注。本文重點關注對非命名實體部分的增強處理，并設計了基于詞典和詞向量的以非命名實體為中心的數據生成 器（Based Dictionaryand Word2Vector Other-Entity-CentricDataGeneration，DWEDG），其數據處理流程如圖2所示。

圖2DWEDG流程圖

對于初始語料，首先根據標簽截取出句子中的非命名實體部分，并對該部分進行分詞處理，然后依據同義詞典以及余弦相似度進行單詞間的相似度匹配，取高置信度同義詞進行近義替換。為了提高文本的泛化能力，該部分依據真實文本中存在的數據丟失和數據重復現象，對同義替換后的結果進行了隨機刪除和隨機新增的處理，最后將新生成的語句與原來的命名實體部分進行拼接，整個過程會重復執行直至產生的數據數目滿足需求時為止。

1.2 聯合嵌入部分

當前主流詞嵌入方法，如FastText、ELMo等依托大規模通用語料訓練，雖能有效捕捉詞匯的通用語義特征，但在領域遷移時面臨顯著挑戰。研究表明，醫療、法律等專業領域存在大量領域特異性語義關聯，傳統詞向量在跨領域應用時會出現特征漂移，導致語義表示失真。這種現象源于兩個核心問題：

1）通用詞向量缺乏領域知識注入機制。

2）單一粒度表征難以適應專業領域的分詞特性。

因此，本文構造了一個使用通用領域中的字向量（embedding2）和特定領域信息中的詞向量（embedding1）的聯合嵌入單元。此外，為了避免僅使用字粒度信息而造成的分詞錯誤和語義信息丟失風險，本文使用了字粒度信息及其鄰居詞的信息。以“支氣管炎”中的“氣”為例進行說明，“氣”的鄰居包括“氣管”和“氣管炎”。這些相鄰詞可以為對應的字符提供潛在的語義信息，特征的組合方式如圖3所示，而模型在迭代過程中，會通過更新參數自動學習關聯矩陣。

圖3字詞特征的計算過程。

鄰居詞語義特征的不同導致其重要性也會有所不同。為了充分利用這些詞粒度的信息，本節利用通道注意力機制[17]實現鄰居詞間信息的自動組合，其特征處理過程如式（1） ～ （3）所示。

x_i^w=M_c（x_iⁿ）×x_iⁿ

其中， r （.）是一個在頻道維數將不同長度的鄰居詞進行重塑組合的函數。為了彌補Avg-Pooling在編碼全局特性信息中所丟失的信息，本節采用了Max-Pooling操作進行最顯著編碼特性的補充。Sigmoid的結果就表示權重 w_ij 。通過參數更新使得該機制能夠自動學習相鄰詞之間的特征組合結果。

為了有效利用字符級和單詞級信息，再加之DME^[12] 的啟發，本文使用超參數實現對字符和單詞結合比例的控制，相關公式如下：

其中， e^c 表示通用領域的字粒度嵌入向量查找表。x_i^c 表示與輸入的字 c_i 相對應的字向量。 表示包含通用領域和專用領域信息的整體字符特征。本章通過式（5）將不同領域的字粒度信息和詞粒度信息結合起來。

1.3上下文特征提取

鑒于單向LSTM存在只考慮歷史信息而忽略未來語境信息的問題，本文采用結合注意力機制的BiLSTM進行上下文信息提取，相關公式如下：

其中， a^?i? 表示當前記憶單元的隱藏層狀態。 和 分別表示在第 i 個字符位置的正向和反向記憶網絡的隱藏狀態。 h_i 表示兩個方向的隱藏狀態的組合。（204 是 Bi-LSTM對輸入的句子 s 的編碼結果。為了提取不同維度的有效特征，本文使用了空間注意力對結果進行篩選。 ， i∈{1，2，3} 表示輸入向量利用一個 i×d₁ 卷積核進行的卷積運算。 F_i 表示使用的 i×d₁ 卷積進行卷積的結果。 表示使用7×7 的卷積核對輸入向量進行卷積運算。AvgPool、MaxPool 分別表示 mean-pooling 和 max-pooling。 σ 表示Sigmoid型函數。top表示根據其重要性選擇top m 特征的函數。 表示使用不同卷積運算提取的有效特征。 d₂ 的值為三次卷積運算產生的特征總數。

1.4 序列標注

對于輸出層，本文采用了線性鏈條件隨機場作為解碼層。它能夠基于前一個標簽結果而影響后一個標簽結果。本文將特征向量 sa_c 送入條件隨機場函數，通過最小化損失函數找出最高概率的句子序列標記。其公式如下所示：

其中， 表示位置標簽矩陣， T∈ 是前后標簽間概率轉移矩陣， m 表示句子中詞的個數，num_tags則是標簽的個數 w_t∈ ， 表示全連接層的參數。y表示所有輸出序列的集合。 y^t 表示實際的標簽。

2 實驗與分析

2.1 實驗數據

為更好地評價本文模型，本節同時使用了醫療領域 數據集CCKS2017（https：//biendata.com/competition/CCKS2017_1/）和通用領域數據集Common （https：//github.com/zjy-ucas/ChineseNER）進行對比實驗，數據詳情如表1所示。此外，選取對應通用領域數據集作為字向量的訓練文本，并將文本所屬領域的數據集作為詞向量的訓練文本。其中CCKS2017是一個醫學領域的公共數據集，它包括五個類別：身體部位、癥狀和體征、檢查和檢驗、疾病和診斷、治療，其所屬的領域為醫學領域，數據規模較小。而Common則屬于通用領域公開數據集，它包含三個類別：地點、組織和人物，其所屬領域為通用領域，數據規模大，語料充足。

表1實驗數據集統計

2.2 實驗參數設置

本實驗是在Windows10系統下基于TensorFlow框架進行的。其中在CCKS2017數據上使用的字向量和詞向量的維數均為300。采用的字符向量來自liu（https：//liuhuanyong.github.io/），而詞向量則是通過在醫學領域文本上調用（https：//github.com/RaRe-Technologies/gensim）計算而來。如果在采用的字詞向量中未出現當前字詞，則使用取值范圍在[-1，1]內且服從高斯分布的浮點數進行向量初始化表示。

而在Common數據上使用的字詞向量的維數均為 50。利用 Zhang[12]等使用的屬于通用領域信息的字和詞向量進行向量初始化。除此之外，還采用了來自Zhang等論文中的包含單字符、雙字符、三字符和其他粒度的鄰居詞的詞嵌入向量，以上鄰居詞共計704.4K ，實驗所使用的其他超參數如表2所示。

表2超參數設置

2.3 評估方法

為了綜合評價模型的性能，本文采用準確率 （P） 、召回率 （R） 和F1-score（F1）作為評價指標，各類別指標公式如下：

其中，TP表示真陽的數目，FP表示假陽的數目，FN表示假陰的數目。

2.4 對比模型

為驗證本章所提模型的有效性，本節從深度學習領域，選擇以下與本文相關的且具有代表性的系統作為baseline模型：

1）Bi-LSTM-CRF。Huang[3]等率先將Bi-LSTM-CRF運用于NLP序列標注任務上。該模型通過Bi-LSTM編碼過去和未來的輸入特征，通過CRF利用前后序的標簽規范當前序標簽的類別。與基于機器學習的方法相比，該算法具有較高的魯棒性，對詞嵌入依賴較小的特點。本文使用Bi-LSTM-CRF來表示使用字粒度信息的NER模型。

2）Bi-LSTM-CNNs-CRF。Ma等[在Bi-LSTM-CRF的基礎上進行了改進，提出將詞嵌入向量和使用CNN提取的字符級前后綴特征向量組合起來，作為Bi-LSTM網絡的輸入編碼。最后，再將Bi-LSTM的輸出向量輸入到CRF層并生成最佳標簽序列。該模型不需要特征工程或者數據預處理，適用于各種不同語言的序列標記任務。本文使用Bi-LSTM-CNNS-CRF來表示使用字粒度和字符前后綴信息的NER模型。

3）Bi-LSTM-CRF*。Wang等[18]提出了將數據驅動深度學習方法與知識驅動字典方法相結合的Bi-LSTM-CRF變體模型。他們使用基于給定詞典的n-gram特征進行臨床文本的特征表示。本文使用Bi-LSTM-CRF*來表示使用字粒度和詞粒度字典信息的NER的方法。

4）DME。Zhang等[12]提出無須分詞，利用靜態注意力機制將字符粒度和外部字典信息結合的DME方法，并將其應用于Bi-LSTM-CRF作為網絡架構的中文NER中。該模型能有效使用外部字典信息，從而輔助字向量挖掘更深層次的實體特征信息。本文使用DME來代表無須分詞操作的同時利用字粒度和詞粒度信息的基于Bi-LSTM-CRF網絡的NER模型。DME方法和本節方法的區別在于本文使用動態特征組合進行字詞間關系的學習。

2.5 實驗結果與分析

表3展示了在醫療領域CCKS2017數據集上，baseline模型以及本文模型整體的實驗結果，通過觀察可以得到以下結論：基于字粒度的系統其P值和F1值低于字與外部信息融合方法的。導致這種現象的原因可能是使用字粒度的方法只能提取字粒度的信息，忽略了偏旁部首信息和語序信息等外部信息的作用。與基于字粒度的方法相比，雖然使用字粒度信息與外部信息結合的方法使用了詞粒度的信息或者偏旁部首粒度的信息，但其F1值并未明顯提升。這可能是因為這些外部信息中包含了一些冗余甚至噪聲信息，僅靠Bi-LSTM難以有效提取信息。而本章提出的模型則在考慮到外部信息作用的同時，綜合利用動態注意結合字和詞粒度信息，并使用空間注意力提取Bi-LSTM編碼的高維特征，最終取得了比其他方法更好的效果。但是，由于受到前后序列輸入依賴的影響，基于Bi-LSTM組件模型的運行時間高于基于ID-CNN-CRF的模型。

表3對比模型在CCKS2017數據集上的實驗性能單位： %

細節上，基于字符的Bi-LSTM-CRF模型的F1值要比Bi-LSTM-CRF*和DME的模型分別低 0.67% 和 0.47% 。這一現象在一定程度上反映了詞粒度信息對中文NER任務的有效性。但是，在小規模數據集上，僅靠單一的Bi-LSTM網絡很難提取出較多的有效信息。因此，Bi-LSTM-CRF*和DME的F1值低于本文模型的。與baseline中具有最高F1值的Bi-LSTM-CRF*相比，本文模型得到了 1.55% 的提升。這可能是使用數據增強，并將通用領域字粒度特征和醫療領域詞粒度特性有效結合的共同作用。

表4展示了baseline模型以及本文模型在通用領域的Common數據集上的指標對比結果，通過觀察可以得到以下結論：

與在CCKS2017數據集上的結論一致。即，基于字粒度的系統的性能要低于字與外部信息結合的方法。利用動態特征組合的本文模型能夠比其他對比模型更有效地提取特征。

具體地，與Bi-LSTM-CRF*相比，本章的方法取得更優性能（ ∣P∣ 值、 R 值和F1值分別提高了 1.61% ，1.55% 和 1.54% ）。盡管Bi-LSTM-CRF*引入了外部信息作為字粒度信息的補充，但由于醫學領域字典的限制，該模型在通用領域數據集上不能很好地捕捉更多有利于識別性能的信息。DME則由來自一般領域的外部信息進行補充，從而獲得更好的識別性能。與DME相比，使用了動態特征組合的本文方法獲得相對更好的性能（ P 值、 R 值和F1值分別提高了 1.23% 、1.24% 和 1.23% ）。這與在表3中與Bi-LSTM-CRF*和DME的對比結果類似，從兩表對比的結果可以看出，結合了數據增強的本文模型無論在通用領域還是醫學領域都能取得一定的效果。

表4對比模型在Common數據集上的實驗性能單位： %

2.6 消融分析

為了驗證本章提出方法中字詞結合方式以及

DWEDG模塊的效果，本節設計以下變體模型并在相關數據集上進行了消融實驗與分析（在本節中，超參數 α 被設置為0.2）。

1）Bi-LSTM-CRF。使用通用領域數據訓練的字向量作為輸入表示向量，并利用Bi-LSTM提取過去和未來的上下文信息。

2）Bi-LSTM-CRF ⁺ Gazetteer。利用外部詞典信息作為補充信息，并基于Bi-LSTM-CRF進行NER，其中詞粒度信息采用動態特征組合方式，如式（1）～（3）所示。而來自通用領域的字粒度信息和來自特定領域的詞粒度信息的組合方式則如式（4） ～ （5）所示。

3）Bi-LSTM-CRF+Attention。 在Bi-LSTM-CRF的基礎上，利用空間注意力機制提取Bi-LSTM-CRF編碼結果特征。

4）Bi-LSTM-CRF + Gazetteer+Attention。在Bi

LSTM-CRF + Attention的基礎上，利用特定領域的外部詞粒度信息作為補充信息。詞粒度信息則采用動態特征組合，如式（1） ～ （3）所示。

5）Bi-LSTM-CRF ⁺ Gazetteer+Attention+DWEDG。使用了DWEDG技術對訓練集進行數據增強，并翻倍數據。而其他設置皆與消融實驗4）中的設置保持一致。

6）Bi-LSTM-CRF+Gazetteer_general+Attention。基于Bi-LSTM-CRF ^?+ Attention，利用通用領域的外部詞粒度信息作為補充信息。其他設置與消融實驗4）中的一致。

表5和表6顯示了Bi-LSTM-CRF作為baseline的實驗結果與Bi-LSTM-CRF相比，表5和表6中的基于動態特征組合（ + Gazetteer）方法可以提高模型的F1值。這一現象表明了利用字詞結合粒度的有效性。

表5變體模型在CCKS2017數據集上的實驗性能

單位：%

表6變體模型在Common數據集上的實驗性能

單位：%

與Bi-LSTM-CRF相比，在表5和表6中使用空間注意的變體模型在 P 值、 R 值和F1值的得分均有提高。這可能是因為空間注意力提高了Bi-LSTM編碼特征的提取能力。這一現象在一定程度上證明利用空間注意力進行特征提取有效性。

為了反映領域知識在中文醫學文本NER任務中的作用，本節進行了與Bi-LSTM-CRF Gazetteer_general+Attention進行對比的實驗。對比結果顯示，使用領域信息的模型（Bi-LSTM-CRF+Gazetteer+Attention）在 P 值、 R 值和F1值上的得分均有提高（ P 、R和F1值分別提高了 1.38% 、0.22% 和 0.82% ）。本文認為這一結果可以反映領域知識的效用。

而使用了數據增強的模型（ + Gazetteer+ Attention+DWEDG）在小規模文本數據集CCKS2017上的 P 值和F1分別比不使用的模型0 + Gazetteer ⁺ Attention）高了 2.69% 和 1.06% ；而在大規模的數據集Common上僅比不使用的模型的P 值高了 0.16% 。這可能是因為與數據規模較小的CCKS2017（訓練集共有960條）不同，較大規模的Common（訓練集共有20864條）的數據較為全面所致，DWEDG技術難以提供更多的不同信息。

最后，上述變體模型的F1值大多低于本文模型。這可能是數據增強技術，通用領域字粒度信息，具有領域知識的詞信息以及注意機制共同作用的結果。本章模型的F1值在兩個數據集上的提升效果有所不同，與作為基線模型的Bi-LSTM-CRF相比，本文模型在Common數據集上獲得了 5.15% 的F1值的提升，在CCKS2017數據集中獲得了 2.81% 的F1值。

3結論

為了在利用字詞粒度信息和領域信息的同時，避免錯誤的中文分詞對中文NER的影響，本文提出了一種將具有通用領域信息的字和具有特定領域詞相結合的動態特征組合方法，此外，提出的針對非命名實體的DWEDG方法能較好提升模型的準確率，增強模型在小規模數據集上的泛化能力。與不同模型的對比結果也驗證了本文提出的方案的可行性和適用性。

參考文獻：

[1] LI J，SUN A，HAN J，et al. A Survey on Deep

Learning forNamed EntityRecognition[J].IEEE Transactions on

Knowledge and Data Engineering，2020，34（1）：50-70.

[2] GOYAL N，SINGH N. Named Entity Recognition and

Relationship Extraction forBiomedicalText：AComprehensive

Survey，RecentAdvancements，andFutureResearchDirections

[J/OL].Neurocomputing，2025，618：126984（2024-12-13）.

https：//doi.org/10.1016/j.neucom.2024.129171.

[3]HUANGZ，XUW，YUK.BidirectionalLSTM-CRF

Models for Sequence Tagging[J/OL].arXiv：1508.01991[cs.CL]. （2015-08-09） .https：//doi.org/10.48550/arXiv.1508.0199.

[4]CAOP，CHENY，LIUK，etal.Adversarial Transfer

Learning for Chinese Named Entity Recognition with Self

AttentionMechanism[C]//Proceedings of the 2018 Conference on

Empirical Methods in Natural Language Processing.Brussels：

Association for ComputationalLinguistics，2018：182-192.

[5]AKBIKA，BLYTHED，VOLLGRAFR.Contextual

StringEmbeddingsforSequenceLabeling[C]//Proceedingsof the

27th International Conference on Computational Linguistics.Santa

Fe：Association for ComputationalLinguistics，2018：1638-1649.

[6]ZHUH，HUW，ZENGY.FlexNER：AFlexibleLSTM

CNN Stack Framework forNamed Entity Recognition[C]//CCF

International Conference on Natural Language Processing and

Chinese Computing.Cham：Springer，2019：168-178.

[7] CUIY，CHE W，LIUT，et al. Pre-Training with Whole

WordMasking forChinese BERT[J].IEEE/ACMTransactionson

Audio，Speech，andLanguage Processing，2021，29：3504-3514.

[8]SHENY，TANZ，WU S，etal.PromptNER：

PromptLocatingand Typing for Named Entity Recognition [C]//

Proceedingsof the6lstAnnualMeetingoftheAssociationfor

Computational Linguistics （Volume 1： Long Papers）.Toronto：

Association for Computational Linguistics，2023：12492-12507.