基于字詞融合和注意力機制的獸藥文本命名實體識別

摘要：

針對獸藥領域信息專業性強、關聯性強、局部特征明顯和一詞多義的特點，以及主流的命名實體識別模型未充分利用詞匯信息的問題，提出一種基于字詞融合和注意力機制的獸藥文本命名實體識別模型。首先，將BERT預訓練模型得到的字向量和Word2vec得到的詞向量融合。然后，在雙向長短期記憶網絡中提取全局上下文特征的基礎上加入多頭自注意力機制挖掘序列的局部特征。最后，通過條件隨機場獲得最佳標簽序列來完成實體識別任務。在獸藥文本數據集上進行多組對比試驗，結果表明，該模型識別的準確率、召回率和F1值分別為94.73%、95.29%和95.01%，性能均優于對比模型。

關鍵詞：獸藥文本；命名實體識別；字詞融合；多頭自注意力機制

中圖分類號：TP391

文獻標識碼：A

文章編號：2095-5553 （2025） 03-0336-08

收稿日期：2023年7月10日" 修回日期：2023年8月23日*

基金項目：國家重點研發計劃政府間/港澳臺重點專項（2019YFE0103800）；山東省自然科學基金面上項目（ZR2022MG070）

第一作者：顏士軍，女，1998年生，山東棗莊人，碩士；研究方向為自然語言處理、知識圖譜。E-mail： 2317368792@qq.com

通訊作者：朱紅梅，女，1969年生，上海人，博士，副教授；研究方向為語義Web、知識工程、知識圖譜。E-mail： zhm@sdau.edu.cn

Named entity recognition of veterinary drug text based on character and word fusion

and attention mechanism

Yan Shijun1， Zhu Hongmei1， Wang Yatong2， Zhang Liang1

（1." School of Information Science and Engineering， Shandong Agricultural University， Tai’an， 271018， China；

2. Information Center of Dongfang Electronics Group Co.， Ltd.， Yantai， 264000， China）

Abstract：

In view of the characteristics of strong professionalism， strong relevance， obvious local features， and polysemy of the information in the field of veterinary drugs and the problem that the mainstream named entity recognition model does not make full use of vocabulary information， a named entity recognition model of veterinary drug text based on character and word fusion and the attention mechanism is proposed. Firstly， the character vector obtained by the pre-training model BERT and the word vector obtained by Word2vec are fused. Secondly， it utilizes a bidirectional long short-term memory network （BiLSTM） to capture overall contextual information and employs a multi-head self-attention mechanism （MHA） to extract local features from sequences. Lastly， a conditional random field （CRF） is utilized to determine the optimal sequence of labels for named entity recognition. Multiple sets of experiments on the veterinary drug text dataset show that the recognition precision， recall rate， and F1—score of the model are 94.73%， 95.29%， and 95.01%， respectively. The performance of the model is better than the comparison model.

Keywords：

veterinary drug text; named entity recognition; character and word fusion; multi-head self-attention mechanism

0 引言

現代畜牧業生產中投入了大量的信息系統和數字化設備，產生了大量以電子文本形式存在的信息，獸藥相關文本信息是其中一個重要組成部分，與畜牧業產品的質量安全密切相關，獸藥信息咨詢服務已經逐漸成為畜牧業知識服務的標準配置。從非結構化數據中抽取出結構化的獸藥知識，進行知識的結構化表示，構建獸藥領域知識庫，幫助相關人員能夠快速準確地獲取有用信息，對實現獸藥領域的智能發展具有十分重要的意義，同時也為后續獸藥關系抽取［1］、知識圖譜構建［2］、知識問答系統［3］等任務的研究提供基礎和技術支持。如何充分挖掘和利用獸藥領域的知識文本數據，自動準確、快速地識別和抽取獸藥數據集中的相關實體，是實現畜牧業智能服務的關鍵問題。

早期對命名實體識別的研究主要是基于字典和規則的模式匹配以及傳統機器學習等方法。基于字典和規則的模式匹配方法耗時耗力且通用性差［4］。在傳統的機器學習方法中，命名實體的識別被看作是一個序列標注問題，并且已取得一系列的研究成果。其中，條件隨機場（CRF）在預測實體類別中具有較高的準確性，因此被廣泛應用于各種命名實體識別任務中。Malarkodi等［5］利用CRF實現了從不同農業領域的真實農業數據中提取實體。李想等［6］利用標注好的數據訓練CRF模型，對語料進行分類并識別其在復合命名實體中的位置。但是傳統機器學習方法嚴重依賴人工選取特征。

近年來，隨著深度學習的不斷發展，研究人員逐漸將其應用于命名實體識別任務中。基于深度學習的方法便成為了命名實體識別的主流方法且被廣泛應用于電子病歷、生物醫學、農業等領域。雙向長短期記憶網絡（BiLSTM）由兩層方向相反的LSTM［7］組成，憑借其能夠整合序列前后項信息獲取更大范圍的上下文依賴關系的優勢，被廣泛應用于序列標注任務。Huang等［8］首次聯合采用BiLSTM和CRF對序列數據進行預測，大大提高了命名實體識別的準確率。為增強深度學習在特征提取方面的能力，Devlin等［9］基于Transformer提出了BERT預訓練語言模型，采用新的MLM來生成深度的雙向語言表征，在各類自然語言處理任務上均達到了目前最好的結果。陳劍等［10］在BiLSTM—CRF模型中加入BERT層，對司法文書語料庫進行實體識別，克服了特征提取效率低的困難。Strubell等［11］將迭代膨脹卷積神經網絡（IDCNN）與CRF組合形成IDCNN—CRF模型，不僅提升了識別效果還提高了模型的訓練速度。李妮等［12］在上述模型的基礎上加入BERT預訓練模型，使BERT參數在訓練時保持不變，既保持了多義性又減少了訓練的參數。

基于字符的命名實體識別方法在識別領域特點強烈且實體種類繁多的實體時容易出現語義錯誤。因為特定領域的文本中會包含大量的具有領域特色的詞匯，而基于字符的實體識別方法無法充分提取這些豐富的詞匯特征。為充分使用詞匯信息，Zhang等［13］提出了一種Lattice LSTM模型，融合了字符信息和詞匯信息，相比于基于字的方法不會因為分詞錯誤而影響實體識別效果，但其僅考慮以該字符結尾的詞匯。李書琴等［14］針對獼猴桃種植領域實體識別問題，在BiGRU—CRF模型的基礎上融合字詞語義信息，提高了模型識別的準確率。

注意力機制是深度學習研究的一個熱點，由于其善于抓住與數據或特征之間的內在關聯，因此被研究人員廣泛使用［15， 16］。Guo等［17］基于卷積神經網絡和注意力機制搭建命名實體識別模型，有效識別農業病蟲害等實體。羅熹等［18］將多頭自注意力機制應用到中文電子病歷命名實體識別上，提升了模型的識別效果。

目前國內外在獸藥文本命名實體識別的研究較少，王雅童［19］在ALBERT—BiGRU—CRF模型的基礎上引入自注意力機制獲取獸藥文本序列內部的上下文特征信息，使模型識別的F1值達到79.44%，取得一定效果。但是，該模型并沒有考慮到詞匯信息對實體識別的影響，其識別的準確性不是很高。海量的獸藥相關文本專業性強、關聯性強、結構復雜、局部特征明顯，實體種類繁多，具有鮮明的領域特殊性和一詞多義的特點。針對這些特點，本文提出一種基于字詞融合（CWF）和注意力機制的獸藥文本命名實體識別模型CWF—BiLSTM—MHA—CRF。

1 獸藥文本數據清洗與標注

1.1 文本收集

為保證數據的真實可靠性，2022年3月從國家獸藥數據庫中獲取與獸藥相關的文本，經篩選去重后，最終獲得1 000份獸藥文本作為本文的數據集。

1.2 數據清洗

為提高識別的準確性，得到更好的訓練結果，在訓練數據前先進行清洗工作。原始的獸藥文本中含有許多不規范的文字和符號，對正確識別出實體不僅沒有幫助甚至具有干擾作用。有必要找出并改正這些可識別的錯誤，清除無效值和數據整理。無效值主要包括項目符號、特殊字符、干擾詞和無意義的句子。使用Python程序清除無效值，刪除原始獸藥文本中無意義的空格、特殊字符、冗余字符和某些錯誤符號。數據整理包括補全缺失數據和長句劃分。各獸藥文本的格式并不是完全固定的，需要進行缺項處理，對缺失數據進行補全，把數據整理為統一格式的文本數據。對于過長的句子，按照標點符號對其進行分句處理，保證每個句子的長度不多于256個字。

1.3 實體標注

采用BIO標注策略，并使用開源文本標注工具doccano對獸藥文本進行標注，總共標注了藥物、成分、疾病、用藥方式、用藥頻次、用藥劑量、用藥單位、藥物類別、休藥期、藥物禁忌、貯藏方式、用藥動物12種實體類別。具體類別定義如表1所示。

在進行試驗前，先對人工標記的實體進行檢查，如果發現標記的實體出現起始位置開始過早或終點位置結束過晚等錯誤情況則對其進行修改更正。

2 模型結構

所提CWF—BiLSTM—MHA—CRF模型由字詞融合層、BiLSTM層、注意力機制層和CRF推理層4部分構成，其模型結構如圖1所示。在BERT模型獲取字向量的基礎上融入Word2vec得到的詞向量作為字詞融合層的輸出；然后通過BiLSTM模型學習獸藥文本序列的全局語義信息；再通過多頭自注意力機制挖掘序列局部特征；最后利用CRF推理層對注意力機制層的輸出進行解碼，得到一個預測標注序列，從而完成識別任務。

2.1 字詞融合層

在命名實體識別任務中，使用最為廣泛的是基于字符的識別方法，雖然該方法能獲得豐富的字符級語義信息，但是容易失去詞匯的語義信息。因此，本文在基于字符方法的基礎上融入詞匯信息，作為字詞融合層的輸出。

在獸藥文本中，實體在不同語境下可能會有不同的含義，比如“苯酚”在不同的語境下可能屬于獸藥名，也可屬于獸藥成分。為充分利用語句的上下文信息，獲取豐富的字符級語義表示，引入BERT預訓練模型來對獸藥文本進行預訓練，充分獲得序列的字向量表示。

BERT模型以雙向Transformer神經網絡作為編碼器，并利用大規模文本數據的自監督性質構建兩個預訓練任務，分別是掩蔽語言模型（MLM）和下一句預測（NSP）。MLM在每次迭代中會隨機屏蔽15%的詞語，結合上下文的語句預測出屏蔽處的原有詞語，很好地解決獸藥文本一詞多義的問題。NSP的作用是為了讓模型捕捉兩個句子的聯系，理解句子之間的關系。

如圖2所示，BERT模型將字向量（Token Embedding）、片段向量（Segment Embedding）和位置向量（Position Embedding）三者之和作為模型的輸入。

其中，［CLS］、［SEP］分別用來表示句子的開始位置與結束位置，Token Embedding通過查詢字向量表將文本序列的每個字轉換為一維向量。Segment Embedding的取值在模型訓練過程中自動生成，主要用于標定兩個子句的上下文關系。Position Embedding包含上下文相對位置信息，用于對不同語句以及不同位置的字所攜帶的語義信息進行區分。

BERT模型結構如圖3所示，將輸入向量（e1，e2，…，en）輸入到12層的雙向Transformer網絡中，最后得到具有語義特征的字向量表示（t1，t2，…，tn）。

使用jieba分詞工具對獸藥文本進行分詞，并加入自定義獸藥領域詞典來優化分詞。分詞后采用預訓練的Word2vec模型得到每個詞的詞向量。若通過jieba分詞得到的文本序列為W=（w1，w2，…，wm），則第i個詞wi的詞向量vi的計算如式（1）所示。

vi=ev×d（wi）

（1）

式中： ev×d——

Word2vec模型的詞向量映射；

v——詞匯表的大小；

d——詞向量的維度。

將通過BERT模型得到的字向量T=（t1，t2，…，tn）和Word2vec模型得到的詞向量V=（v1，v2，…，vm）進行拼接。但由于一個詞可能會由多個字構成，為對齊每個字向量和詞向量，按照每個詞含有的字數將詞向量拼接到每個字向量之后，具體實現方法如圖4所示，得到該層的輸出S=（s1，s2，…，sn）。

2.2 BiLSTM層

長短期記憶網絡（LSTM）采用輸入門、遺忘門和輸出門3個門控制單元，解決了傳統循環神經網絡在訓練過程中存在的梯度消失以及梯度爆炸問題。LSTM模型如圖5所示。

輸入門it用來確定當前輸入中被保存在單元狀態ct中的個數，遺忘門ft用來決定保存多少上一時刻的單元狀態ct-1到當前時刻ct，輸出門ot決定單元狀態ct傳輸多少個輸出到當前隱藏層輸出值ht。3個門的狀態更新方式如式（2）～式（6）所示。

it=σ（Wi·hi-1，xt+bi）

（2）

ft=σ（Wf·ht-1，xt+bf）

（3）

ot=σ（Wo·ht-1，xt+bo）

（4）

ct=

ft×ct-1+it×tanh（Ws·ht-1，xt+bs）

（5）

ht=ot×tanh （ct）

（6）

式中： σ——Sigmoid激活函數；

W——權重矩陣；

b——偏置項；

xt——當前單元的輸入。

單向的LSTM網絡僅能獲得目標詞單向的特征信息。例如：獸藥名稱“黃馬白鳳丸”，LSTM僅可以獲取“鳳”的前文序列“白”的特征信息，無法獲取下文序列“丸”的特征信息。BiLSTM由兩層方向相反的LSTM組成，訓練時既能接受前文序列也能接受后文序列，可以充分獲得目標詞過去和將來的特征信息，其模型結構如圖6所示。

BiLSTM將字詞融合層的輸出S=（s1，s2，…，sn）作為輸入，分別利用前向和后向的LSTM計算任意輸入字符的前向表示ht和后向表示ht，然后拼接得到t時刻BiLSTM的輸出結果ht，將作為注意力機制層的輸入，其計算如式（7）所示。

ht=htht

（7）

2.3 注意力機制層

盡管BiLSTM能夠獲得全局上下文信息，但它并不能完全捕捉到句子中的局部重要信息，并且在處理長句時，還容易丟失一些非常關鍵的信息。為充分挖掘輸入序列的局部特征并篩選出重要信息，在模型中引入注意力機制層。

自注意力機制通過計算文本序列字符之間的相關性來捕捉文本中的長距離依賴關系，多頭自注意力機制則是將多個并行的自注意力機制結合起來，從更多的角度和更多的層次獲得更全面的相關特征。采用多頭自注意力機制可以使模型更有效地學習句子的上下文依賴信息，且其具有更強的并行執行能力和更快的訓練速度。因此，在BiLSTM模型后加入多頭自注意力機制從字符、詞語以及句子的層面捕捉多重語義特征來進一步提升獸藥文本命名實體識別的效果。

注意力機制將BiLSTM層的輸出矩陣H投影到3個矩陣：Q、K和V。采用放縮點積注意力進行計算，如式（8）所示。

Attention（Q，K，V）=

SoftmaxQKTdkV

（8）

式中： Q——查詢矩陣；

K——鍵矩陣；

V——值矩陣；

dk——

神經網絡的隱層單元數，用來控制Q和K的點積，防止其結果過大。

將許多不同比例的放縮點積注意進行拼接會產生多頭注意，其結構如圖7所示。

多頭的本質是多個獨立的attention計算，多頭就是復制多個單頭，能夠考慮到不同位置表示子空間中提取信息的必要性并提取多重語意的含義。具體的實現過程是分別對查詢矩陣、鍵矩陣和值矩陣進行h次線性投影，計算如式（9）、式（10）所示。

headi=Attention（QWQi，KWKi，VWVi）

（9）

MultiHead（Q，K，V）=Concat（head1，…，headh）W0

（10）

式中： WQi——Q的權重矩陣；

WKi——K的權重矩陣；

WVi——V的權重矩陣；

W0——

h個注意力頭計算后產生結果對應的權重矩陣。

2.4 CRF層

條件隨機場常用于序列標注問題，是一種根據輸入序列預測輸出序列的判別式模型。在獸藥文本命名實體識別任務中，對于實體的預測標簽需要遵循一定的規則，比如“B-DRUG、I-DRUG”標簽中I標簽一定在B標簽之后，而且必須與B標簽具有相同的標簽后綴DRUG。因此需要對預測標簽進行約束，本文采用CRF模型對預測標簽之間的依賴關系進行約束來獲得最優的標簽序列。

對于輸入句子x=（x1，x2，…，xn），其對應標簽序列y=（y1，y2，…，yn）的評估分數的計算見式（11）。

score（x，y）=

∑ni=0Ayi，yi+1+∑ni=1Pi，yi

（11）

式中： Ayi，yi+1——

從標簽yi轉移到標簽yi+1的分數；

Pi，yi——

第i個字被預測為標簽yi的分數。

使用Softmax函數對已知句子x的標簽序列y的條件概率進行計算，如式（12）所示。

P（y|x）=exp［score（x，y）］∑y′∈Yxexp［score（x，y′）］

（12）

式中： y′——真實標簽；

Yx——

已知句子x的所有可能的標簽集合。

使用最大似然函數對模型進行訓練，見式（13）。

logP（y|x）=score（x，y）-log∑y′∈Yxexp［score（x，y′）］

（13）

在最后的解碼階段，使用維特比算法得到全局最優解作為模型的最終結果，如式（14）所示。

y*=argmaxy′∈Yxscore（x，y′）

（14）

3 試驗與結果分析

3.1 試驗數據

試驗選用前文構建的獸藥文本數據集作為訓練樣本，將其按照7∶1∶2的比例劃分訓練集、驗證集和測試集，具體統計信息如表2所示。

3.2 試驗環境與模型參數設置

試驗采用Pytorch框架，詳細試驗環境配置如表3所示。涉及到的訓練參數主要包含BERT預訓練模型中使用的Transformer結構為12層，BiLSTM隱藏層維度為128，選取Adam優化算法。采用Dropout機制來減輕模型過擬合問題，其值設置為0.5。詳細的訓練參數設置如表4所示。

3.3 評價指標

使用準確率P、召回率R和F1值3項評價指標對獸藥文本識別結果進行評價。各評價標準的計算如式（15）～式（17）所示。

P=TPTP+FP×100%

（15）

R=TPTP+FN×100%

（16）

F1=2×P×RP+R×100%

（17）

式中： TP——

實際上為正且被判斷為正的實體數量；

FP——

實際上為負但被判斷為正的實體數量；

FN——

實際上為正但被判斷為負的實體數量。

3.4 試驗結果分析

3.4.1 主流模型對比試驗

為驗證所提CWF—BiLSTM—MHA—CRF模型對獸藥文本數據集的命名實體識別效果，將其與IDCNN—CRF、BERT—IDCNN—CRF、BiLSTM—CRF、BERT—BiLSTM—CRF、XLNet—Word2vec—BiLSTM—MHA—CRF等主流模型進行對比分析，具體試驗結果如表5所示。

1）" 與IDCNN—CRF模型相比，BERT—IDCNN—CRF模型在準確率、召回率、F1值這3項評價指標上分別提高4.03%、5.77%、4.90%。表明BERT預訓練模型可以充分利用語句的上下文信息，獲取豐富的字符級語義表示，緩解獸藥文本一詞多義的問題。BERT—BiLSTM—CRF模型相比于BiLSTM—CRF模型，在準確率、召回率、F1值這3項評價指標上也都得到提升，充分證明BERT在特征提取方面的優越性。

2）" BiLSTM—CRF模型與IDCNN—CRF模型相比，BiLSTM—CRF模型的準確率、召回率和F1值分別提高了3.34%、5.52%和4.42%。因為BiLSTM全局上下文特征提取能力比IDCNN更加強大，BiLSTM對整個輸入序列進行特征學習，可以從全局上掌握實體的上下文信息，從而實現對更多實體的識別。

3）" CWF—BiLSTM—MHA—CRF模型與前4種主流模型的對比試驗中，其識別的準確率、召回率、F1值均有顯著提升。XLNet—Word2vec—BiLSTM—MHA—CRF模型在獸藥文本實體識別任務中得到其準確率、召回率、F1值分別為93.24%、95.83%、94.52%，除召回率比本文模型的95.29%高以外，其準確率和F1值比本文模型的94.73%和95.01%低。XLNet使用自回歸方式和排列語言模型，訓練復雜性較高，需要更多的時間和計算資源來訓練一個有效的模型。本文模型則是使用效率更高的BERT模型來獲取字向量表示，且在其基礎上融入詞匯信息并加入注意力機制層，可以更加充分獲取獸藥文本中的有效信息。從試驗結果來看，使用BERT提取的字向量融合Word2vec得到的詞向量作為字詞融合層的輸出確實能夠更有效地提升獸藥文本的識別效果。由此可知，本文模型對獸藥文本中的實體識別有顯著提升效果，充分證明該模型的有效性。

3.4.2 消融試驗

為進一步驗證本文所提基于字詞融合和注意力機制的獸藥文本命名實體識別模型加入詞匯特征和多頭注意力機制的有效性，設計消融試驗。該試驗以BERT—BiLSTM—CRF模型為基礎，將增加詞匯特征記為“+Word2vec”，增加多頭注意力機制記為“+MHA”，具體試驗結果如表6所示。

1）" 在基礎模型BERT—BiLSTM—CRF上“+Word2vec”后，準確率、召回率、F1值均有提高，說明在字的基礎上融入詞匯信息是有效果的，驗證獸藥文本實體識別中詞匯信息的重要性。

2）" 在基礎模型BERT—BiLSTM—CRF上“+MHA”后，相比于“+Word2vec”的召回率和F1值有所提升。因為多頭自注意力機制能夠使模型將更多的注意力放在關鍵的字和標簽上，即對所提取到的特征進行權重分配以強化關鍵局部特征，從而提高實體識別的準確性。

3）" CWF—BiLSTM—MHA—CRF模型在BERT—BiLSTM—CRF模型的基礎上“+Word2vec”和“+MHA”，其識別效果相比于單獨加入其中一種均有所提高。因為既融入了詞匯信息，考慮到詞語語義信息的重要性，又加入多頭注意力機制，充分挖掘序列的局部特征，關注更多的有用信息，進而提升了識別的準確性。

3.4.3 識別結果

為更加清楚地看出CWF—BiLSTM—MHA—CRF模型的試驗結果，將其對12類實體的預測結果具體展開，如表7所示。

由表7可知，本文模型對各類實體的識別準確率較高，尤其是在藥物、成分、用藥頻次、藥物類別、貯藏方式以及用藥動物等一些特征比較明顯的實體上，F1值都在96%以上。除此之外，如用藥方式、用藥劑量、用藥單位、休藥期等，也取得比較好的識別效果，F1值都達到93%以上。由于疾病和藥物禁忌這兩類實體存在周圍特征不夠明顯、實體描述信息各式各樣的現象，所以其識別結果相較于其他實體較差。但本文模型融合了詞匯信息，增加了語義信息的完整度，同時經過多頭自注意力機制的處理，能夠充分挖掘序列的局部特征，關注更多的有用信息，因此對疾病、藥物禁忌這種難以識別的實體也能達到80%以上的F1值。

4 結論

1）" 針對獸藥文本中存在的專業性強、結構復雜、實體種類繁多和一詞多義的問題，提出一種基于字詞融合和注意力機制的獸藥文本命名實體識別模型。該模型使用具有強大表義能力的BERT模型提取字符特征，使用Word2vec獲取詞匯特征，將二者融合獲取完整的語義信息。在使用BiLSTM模型捕捉全局上下文信息的基礎上加入多頭自注意力機制挖掘序列的局部特征。

2）" 試驗與主流的模型進行對比，采用的模型在獸藥文本數據集上獲得最高的F1值（95.01%），證明其在獸藥文本命名實體識別任務中的優越性。所實現的獸藥文本命名實體識別為以后進行相關領域的信息抽取以及知識圖譜的構建等工作打下基礎，并在此基礎上擴大獸藥領域數據集的規模，增加各類實體的數量并對實體類別進行更加細致的劃分，以進一步提高命名實體識別模型的性能。

參 考 文 獻

［1］ Liu J， Yang Y， He H. Multi-level semantic representation enhancement network for relationship extraction ［J］. Neurocomputing， 2020， 403： 282-293.

［2］ 張善文， 王振， 王祖良. 結合知識圖譜與雙向長短時記憶網絡的小麥條銹病預測［J］. 農業工程學報， 2020， 36（12）： 172-178.

Zhang Shanwen， Wang Zhen， Wang Zuliang.Prediction of wheat stripe rust disease by combining knowledge graph and bidirectional long short term memory network ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（12）： 172-178.

［3］ Do P， Phan T H V. Developing a BERT based triple classification model using knowledge graph embedding for question answering system ［J］. Applied Intelligence， 2022， 52（1）： 636-651.

［4］ 鄭麗敏， 齊珊珊， 田立軍， 等. 面向食品安全事件新聞文本的實體關系抽取研究［J］. 農業機械學報， 2020， 51（7）： 244-253.

Zheng Limin， Qi Shanshan， Tian Lijun， et al. Entity relationextraction of news texts for food safety events ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（7）： 244-253.

［5］ Malarkodi C S， Lex E， Devi S L. Named entity recognition for the agricultural domain ［J］. Research in Computing Science， 2016， 117（1）： 121-132.

［6］ 李想， 魏小紅， 賈璐， 等. 基于條件隨機場的農作物病蟲害及農藥命名實體識別［J］. 農業機械學報， 2017， 48（S1）： 178-185.

Li Xiang， Wei Xiaohong， Jia Lu， et al. Recognition ofcrops， diseases and pesticides named entities in Chinese based on conditional random fields ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（S1）： 178-185.

［7］

Hochreiter S， Schmidhuber J. Long short-term memory ［J］.Neural Computation， 1997， 9（8）： 1735-1780.

［8］

Huang Z， Xu W， Yu K. Bidirectional LSTM—CRF models for sequence tagging ［J］. Computer Science， 2015， 4（1）： 1508-1519.

［9］

Devlin J， Chang M W， Lee K， et al. Bert： Pre-training of deep bidirectional transformers for language understanding ［J］. arXiv preprint arXiv：1810.04805， 2018.

［10］ 陳劍， 何濤， 聞英友， 等. 基于BERT模型的司法文書實體識別方法［J］. 東北大學學報（自然科學版）， 2020， 41（10）： 1382-1387.

Chen Jian， He Tao， Wen Yingyou， et al. Entity recognition method for judicial documents based on BERT model ［J］. Journal of Northeastern University （Natural Science）， 2020， 41（10）： 1382-1387.

［11］ Strubell E， Verga P， Belanger D， et al. Fast and accurate entity recognition with iterated dilated convolutions ［C］. Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing， 2017： 2670-2680.

［12］ 李妮， 關煥梅， 楊飄， 等. 基于BERT—IDCNN—CRF的中文命名實體識別方法［J］. 山東大學學報（理學版）， 2020， 55（1）： 102-109.

Li Ni， Guan Huanmei， Yang Piao， et al. BERT—IDCNN—CRF for named entity recognition in Chinese ［J］. Journal of Shandong University （Natural Science）， 2020， 55（1）： 102-109.

［13］

Zhang Y， Yang J. Chinese NER using lattice LSTM ［C］.Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics， 2018： 1554-1564.

［14］ 李書琴， 張明美， 劉斌. 融合字詞語義信息的獼猴桃種植領域命名實體識別研究［J］. 農業機械學報， 2022， 53（12）： 323-331.

Li Shuqin， Zhang Mingmei， Liu Fu. Kiwifruit planting entity recognition based on character and word information fusion ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（12）： 323-331.

［15］ Li M Y， Kong F. Combined self-attention mechanism for named entity recognition in social media ［J］. Journal of Tsinghua University （Science and Technology）， 2019， 59（6）： 461-467.

［16］ 劉歆寧. 融合多特征及協同注意力的醫學命名實體識別［J］. 計算機工程與應用， 2024， 60（6）： 188-198.

Liu Xinning. Medical named entity recognition based on multi-feature and co-attention ［J］. Computer Engineering and Applications， 2024， 60（6）： 188-198.

［17］ Guo X， Zhou H， Su J， et al.Chinese agricultural diseases and pests named entity recognition with multi-scale local context features and self-attention mechanism ［J］. Computers and Electronics in Agriculture， 2020， 179（5）： 105830.

［18］ 羅熹， 夏先運， 安瑩，等. 結合多頭自注意力機制與BiLSTM—CRF的中文臨床實體識別［J］. 湖南大學學報（自然科學版）， 2021， 48（4）： 45-55.

Luo Xi， Xia Xianyun， An Ying， et al. Chinese CNER combined with multi-head self-attention and BiLSTM—CRF ［J］. Journal of Hunan University （Natural Sciences）， 2021， 48（4）： 45-55.

［19］ 王雅童. 基于知識圖譜的獸藥知識問答系統研究與實現［D］.泰安： 山東農業大學， 2022.

Wang Yatong. Research and implementation of veterinary drug knowledge question answering system based on knowledge graph ［D］. Tai’an： Shandong Agricultural University， 2022.