基于RoBERTa的中醫藥專利命名實體識別

［摘 要］ 中醫藥發明專利的成分及功能實體具有種類復雜、歧義繁多等特點。針對傳統命名實體識別方法無法充分獲取其中的語義特征表示，上下文信息及一詞多義等問題，提出一種中醫藥發明專利命名實體識別模型，該模型將RoBERTa-WWM預訓練模型、雙向長短期記憶（BiLSTM）網絡、條件隨機場（CRF）三個模塊串聯結合，將專利摘要依次通過RoBERTa-WWM進行語義提取生成含有先驗知識的語義詞嵌入；BiLSTM網絡增強詞嵌入中的上下文特征信息；CRF解碼序列，輸出概率最大結果。實驗結果表明，該模型在真實中醫藥發明專利文本語料庫上，F1值（F-Measure）相較其他主流方法在成分與功能的識別上分別提升了5.80%和6.63%，能有效提升中醫藥發明專利摘要中藥物成分及功能識別的準確率。

［關鍵詞］ 中醫藥發明專利； 命名實體識別； RoBERTa-WWM； BiLSTM

［中圖分類號］ TP312 ［文獻標識碼］ A

中醫藥發明專利作為中藥知識產權的核心要素，不僅是企業爭相掌握的重要資源，更是能促進中醫藥學成果普及、推動中醫藥科學創新的重要動力。摘要是中醫藥發明專利的重要組成部分。從撰寫內容看，它簡要概括了中醫藥發明專利的成分、功效和目的等要素，讀者能夠根據摘要快速了解專利內所介紹的發明信息。從組織結構看，它是中醫藥發明專利中不可或缺的部分。讀者在進行專利檢索時，一方面，大多數中醫藥發明專利資源庫面向整段摘要提供檢索時，無法對摘要中所提到的“成分”、“功能”等結構進行單獨檢索；另一方面，讀者獲取中醫藥發明專利中成分及功能信息通常通過閱讀整段摘要實現，這樣的做法費時費力。隨著大數據時代的到來以及人工智能技術的興起，如何從中醫藥發明專利的摘要中識別出需求信息，成為了當前專利研究關注的一大熱點問題。而其中關鍵一環則是摘要結構中成分及功能的命名實體識別。樣例識別如圖1所示。

命名實體識別作為自然語言處理領域經典問題之一，解決問題的目標是從非結構化文本中識別出結構化的目標命名實體。中藥發明專利的命名實體識別任務對比于傳統醫藥領域的命名實體識別任務面臨更大的挑戰，主要原因在于：第一，相比于傳統領域，中醫藥領域的文本晦澀難懂，擁有更多不同類目的未登錄核心詞，傳統的命名實體識別方法難以對其進行有效識別。第二，傳統領域用詞規范嚴謹，歧義切分現象相對較少，而中藥領域的專利發明人為了達到專利審查所要求的創新性，同時出于對自身技術保護的考慮，會使用更加抽象的地方口語詞甚至自定義詞。因此，中藥發明專利中包含大量未登錄詞且基本都為專業術語，嚴重影響命名實體識別的準確性。鑒于此，本文提出新的模型來解決以上問題，同時引入幾種典型的深度學習模型，設計了一系列摘要功能和成分的識別實驗，并對這些模型的性能表現進行對比分析。

1 相關工作

當前中醫藥專利的命名識別方法主要分為3種：基于中醫藥關鍵詞的詞頻統計方法、基于自定義識別規則的機器學習方法與基于預訓練模型的深度學習方法。早期醫藥命名實體識別研究大多基于規則詞頻統計方法，制定特定規則對信息源內的目標關鍵詞出現次數進行統計。如Song等[1]通過構建醫藥字典對生物醫藥名稱進行識別，但這種針對特定任務設計的字典或準則的針對性過強，無法滿足其他實體識別任務的需求，因而普遍缺乏泛化性且可移植性較差。傳統的機器學習方法通常需要專業人員選擇合適的特征來訓練模型，Leaman等[2]提出tmchem模型，該模型將兩個CRF模型以并聯形式進行組合，對多個人工提取的特征進行融合，從而對生物醫藥中的專有名詞進行命名實體識別。Li等[3]將詞頻信息和共現詞表信息融入CRF模型，進一步提升模型對醫學專有名詞識別的準確性。相比于早期命名實體識別研究，上述基于機器學習的方法在命名實體識別上的泛化性和可移植性有了一定改善，但對識別對象的特征選取過于依賴專家的專業知識，且識別方法單一，因而方法與運用范圍有限。近年來，以Word2vec詞嵌入方法為基礎的深度學習受到學者們的廣泛關注，并將其運用于各個命名實體識別任務。Kim Y等[4]提出的TextCNN（text convolutional neural networks）模型，眾多學者[5-8]提出 BiLSTM-CRF模型等，相比于傳統機器學習方法，深度學習方法通過不同的神經網絡自動學習并更新隱藏在目標源中的特征信息，在不需要依賴專家對特征進行人工構建的前提下，在各個命名實體識別任務中也能取得不錯的效果。但由于缺乏專家對實體特征提取的監督與篩選，上述深度學習方法的效果很大程度上受限于訓練集的質量，因而人們提出從大量無標簽文本中獲取先驗語義知識來增強語義表示的BERT（bidirectionalencoder representations fromtransformer）預訓練模型。

預訓練模型可以從自定義語料庫中學習到含有先驗語義的詞嵌入表示，從而有效緩解因訓練集質量不足導致詞嵌入表示信息獲取不充分問題。例如2018年谷歌發布的論文[9]中提到的BERT模型，通過海量語料進行預訓練，得到包含目標序列充分的局部和全局特征詞嵌入表示。沈同平[10]、王子牛等[11]將BERT與BiLSTM-CRF相結合應用于中文命名實體識別，對比實驗證明：BERT預訓練模型相比于靜態詞嵌入在命名實體識別任務效果更好。BERT基于12層Transformer中的Encoder部分連接組成[12]，通過兩種預訓練任務MLM（Masked Language Model）和NSP（Next Sentence Prediction，）從無標簽的非結構化語料內學習先驗的中醫藥語義信息。BERT預訓練模型在進行MLM任務時會像處理英文單詞一樣隨機掩蓋訓練樣本的字，但中文語料不同于英文語料，中文語料序列的語義單元組成是詞而非字，即BERT的MLM任務無法在預訓練過程中獲取詞的信息。因此，為使BERT更好適應并提取中文語料的特征信息，哈工大訊飛聯合實驗室發布中文RoBERTa-WWM訓練模型。該模型在進行先驗語義的預訓練時會以句子為單位進行并訓練，這樣更能保留訓練目標句法層次的先驗知識。在進行分詞任務時，以詞組為單位進行切分，大幅度降低了沒登錄詞所帶來的特征缺失問題。

2 相關模型

2.1 RoBERTa-WWM預訓練模型

RoBERTa-WWM模型在保留BERT模型優點的基礎上，進一步對預訓練語料與模型的結構層次進行優化[13]。在大規模中文語料的基礎上，使用更大的單次訓練樣本數和更多的訓練次數。同時移除NSP任務，以減少訓練成本。相比于傳統BERT模型，RoBERTa-WWM模型把輸入文本轉化為語義更為豐富的詞嵌入表示，并為其添加句子特征與位置特征，以便更好地區分上下文信息，用更長的序列長度進行訓練，最大程度保留上下文信息。

2.2 BiLSTM層

該層由雙向LSTM層前后拼接組成，能通過不同方向的梯度傳遞學習到更加全面的中醫藥專利語句的上下文特征信息。將RoBERTa-WWM層輸出的詞向量同時輸入到雙向LSTM模型進行學習，以此來強化詞嵌入表示的上下文信息。輸出的特征信息，使用Softmax函數將所獲得的特征值轉為對應中醫藥實體的概率分布。LSTM層的模型結構如式（1）～（5）所示：

其中，σ為sigmoid函數，是點積運算，it=σ（xt·wi+ht－1·w′i+bi）、ft=σ（xt·wf+ht－1·w′f+bf）、ot=σ（xt·wo+ht－1·w′o+bo）和[AKc～〗t分別表示LSTM模型的輸入門、遺忘門、輸出門和記憶單元； wi，hi－1，bi代表輸入門、遺忘門和輸出門的權重矩陣和偏置項；ht為t時刻的網絡輸入也對應于詞表示層的輸出。

2.3 CRF層

Softmax函數雖然可以輸出每個中醫藥實體對應的概率標簽，但無法保證標簽之間的邏輯關系，CRF層則可以對標簽的結構進行規范控制。例如在I-function后才能出現B-function。通過BiLSTM層輸出的文本特征向量標簽無法對其邏輯依賴進行約束。因此，本文添加CRF層對BiLSTM網絡層的輸出進行修正，將放入BiLSTM層的輸出放入語言模型中使其得到包含上下文邏輯依賴的合理最優序列。BiLSTM層的輸出作為CRF層的輸入，輸出得分score（X，y）如式（7）所示：

3 本文方法

本文提出一種基于RoBERTa-WWM的中醫藥發明專利命名實體識別模型RoBERTa-WWM-BiLSTM-CRF，該模型采取RoBERTa-WWM 為預訓練語言模型，利用BiLSTM網絡增強詞嵌入中的上下文特征信息，使用CRF解碼序列，對中醫藥發明專利的命名實體進行識別。RoBERTa-WWM-BiLSTM-CRF 模型整體結構如圖2所示。

由圖2可見，該模型由3部分組成，分別為RoBERTa-WWM預訓練層、BiLSTM神經網絡層和CRF分類層。首先，將中醫藥專利摘要文本輸入RoBERTa-WWM預訓練模型，以詞為單位進行切分，并將其轉換成詞組序列輸入Transformer的Encoder層，通過多頭注意力機制，提取摘要文本中的語義信息，達到一詞多義的效果；其次，將最后一層Transformer的Encoder層輸出詞嵌入輸入BiLSTM模型記錄文本序列上的依賴關系，并強化其中的上下文特征信息；最后，傳遞到CRF層獲取概率最大的標簽信息，完成對中藥專利中功能與成分的抽取。本文使用該模型對中醫藥發明專利中的成分及功能的進行識別提取，步驟如下：

4 實驗結果與分析

4.1 數據獲取與實驗流程

本文通過爬蟲技術獲取了中國專利信息網上的[LL]7000條中醫藥發明專利數據。每條專利數據包含實驗所需的專利名稱、申請號以及摘要部分。對所爬取的非結構化摘要部分進行數據預處理、成分及功能的數據標注以及標注一致性檢驗的操作，構建出中藥發明專利數據集。由于部分企業及個人考慮到中藥發明專利的核心成分被泄露，因而對其在成分上進行一定的隱藏；所以數據集中的成分樣本數量少于功效樣本數量。將上述實驗數據進行預處理后將訓練集與測試集按照8∶2進行劃分。同時采用BIO標注方式，一共標注出5類：O，B-Component，I-Component，B-Function，I-Function。其中O代表中醫藥非實體，B代表中醫藥實體的詞首，I代表中醫藥實體的詞身。

4.2 實驗設置

本文的實驗模型使用Pytorch深度學習框架構建。同時本實驗使用試錯法尋求到最優的超參數設置。表1為本文模型所涉及的超參數值。

4.3 模型評估

本文的模型評測指標采用準確率（Precision）、召回率（Recall）和F1值。其中，精確率指的是預測為正同時實際也為正的中醫藥實體概率。召回率是針對原中醫藥樣本中，實際為正的中醫藥實體樣本占被預測為正的中醫藥實體樣本中的概率。

F1值是召回率與精確率的調和平均值。計算公式為：

其中，TP指的是原中醫藥實體標簽為正，實際預測也為正確的樣本；TP+FP指所有預測正確的中醫藥實體樣本；TP+FN指實際為正的中醫藥實體樣本總和。[]

4.4 對比實驗分析

為了驗證本模型相較于其他主流模型在中藥發明專利中有更好的成分及功能的識別效果，本文設計了兩類對比試驗：第一類實驗采用當前主流的不同的預訓練模型與本模型進行對比實驗設計；第二類實驗用同一預訓練模型的不同下游模型進行對比試驗設計。具體結果如下所示。

4.4.1 與其他主流模型對比與分析實驗 表2展示了第一類實驗在中藥發明專利數據集上的對比結果。由于非專業人工標注的不穩定性與上述中藥專利數據集自身的缺陷性，所有模型的各項評價指標數據相比較于公開數據集偏低，同理中藥專利內成分的識別效果也比功效的識別效果低。

分析表2可以看出，本模型在中藥專利數據集的成分與功能識別上對比于其他基線模型取得了最優的識別效果。對于基于Word2vec詞嵌入的基線模型TextCNN-CRF模型、BiLSTM-CRF模型以及TextCNN-BiLSTM-CRF模型由于其詞嵌入無法準確的獲取中醫藥專利中的多語義特征，對比基于BERT的中文預訓練模型作為詞嵌入層，識別結果并不理想。參照表中的準確率、召回率和F1值可知，BERT-BiLSTM-CRF模型相比于TextCNN-BiLSTM-CRF模型在功能和成分的識別方面分別提升了3.41%，5.12%，4.3%和4.25%，4.17%，4.21%。分析原因是由于word2vec產生是靜態的，不考慮上下文的詞表示。無法體現詞的復雜特性，包括一詞多義、語法、語義等信息。而本文模型相比BERT-BiLSTM-CRF模型，在功能和成分的識別方面，準確率、召回率和F1值分別提升了6.96%，6.64%，6.33%和5.88%，5.72%，5.80%。分析原因主要是由于相較于BERT模型采用的語義提取單一是字而非詞，對于中醫藥文本的語義信息提取大打折扣。本文使用的RoBERTa-wwm預訓練模型可根據全詞掩碼任務獲取詞級別的語義表示，提取到的語義特征能更好的融合上下文的信息，模型更加適用于包含不規則語句的中醫藥文本。綜上所述，本模型相較于其他不同預訓練模型，更能適用于中藥發明專利中所包含的功能和成分的命名實體識別任務。

4.4.2 同一預訓練模型的單變量性能對比實驗 為了對模型進行更細微的對比，將本實驗模型與其作為基準的RoBERTa-WWM-CRF模型分別在中藥發明專利中的功能和成分的識別上進行對比。評價指標同樣使用準確率、召回率和F1值，結果如圖4所示。

分析圖4可知，本模型與RoBERTa-WWM-CRF模型都在中藥專利的功能識別方面取得了較好的效果，但在成分識別方面相對較差，分析原因是由于中藥專利的功能表述樣本數量相對較大，模型對功能的語義表征學習較為全面。而成分表述樣本數量相對較少，且包含有些未登錄中藥專有名詞，這使一部分成分特征不是很明顯，導致識別錯誤。本模型對比于RoBERTa-WWM-CRF模型的準確率、召回率和F1值，在功能和成分的識別方面分別提高了2.38%，1.53%，1.95%和0.53%，2.13%，1.36%。說明引入BiLSTM層可以對中藥發明專利中不規則長度的成分和功能特征進行更好的捕獲?？偟膩碚f，本模型比RoBERTa-WWM-CRF模型在中藥發明專利的兩個類別識別上都具有更好的效果。

4.4.3 消融實驗 為了驗證本文模型中，各個模塊之間的有效性，本文通過刪除完整框架的單個模塊設計了三個辯題實驗?？刂朴柧毤c測試集與基線模型對比實驗相同，性能指標采用準確率、召回率和F1值作為評價標準，實驗結果如表3所示。

消融實驗1：移除本文模型中的預訓練模型RoBERTa-WWM模塊，使用BiLSTM-CRF模型進行實驗。

消融實驗2：移除本文模型中的BiLSTM模塊，使用基于預訓練模型的RoBERTa-CRF進行實驗。

消融實驗3：移除本文模型中的CRF模塊，將RoBERTa-BiLSTM的輸出序列直接進行標簽預測。

如表3所示，在中醫藥成分和功能的識別上，消融實驗1性能都是最差，而本文模型性能最好。以中醫藥專利的功能識別為例，消融實驗1對比本文模型在準確率、召回率和F1值上分別減少了13.07%、14.02%和13.60%，分析原因在于消融實驗1缺少中醫藥預訓練語料的先驗知識，從而導致在對中藥成分識別前，無法有效獲取到有效的特征詞向量。而本文模型相比于消融實驗2與消融實驗3，在準確率、召回率和F1值上也有相應的提升，但消融實驗2中由于缺少BiLSTM模塊，因此對長句中的上下文信息提取能力較弱，從而導致識別性能略低于本文模型；消融實驗3缺乏CRF層對最后的標簽進行語法與邏輯層次的規范校準，因而實驗結果與本文模型也有差距。從消融實驗的結果上看，本文模型中所用到的預訓練模型RoBERTa-WWM，BiLSTM模型，CRF模型能有效的提升中醫藥專利成分及功能命名實體識別的準確度。

5 結論

本文提出結合預訓練模型RoBERTa-WWM和BiLSTM-CRF應用于中藥發明專利的命名實體識別模型。該模型使用經過大規模中文語料訓練后的RoBERTa-WWM預訓練模型，相較于傳統的詞向量模型和僅獲得字級別語義的BERT模型，它更能解決傳統詞嵌入層的一詞多義問題，可以根據標簽數據更好地自動學習并優化模型參數，省去了傳統人工構建特征的局限性。實驗表明，這種預訓練方法更加適用于中醫藥發明專利文本，能提升本文實體識別任務的準確率。本文模型相比于已有的方法，在中藥發明專利摘要中的成分和功能識別任務中的表現更好。

但是，當前并沒有統一規范的中醫藥專利數據集使用，本文所用數據集主要通過爬蟲獲取，人工篩選預訓練標簽，因而難免會造成標注誤差，影響模型特征提取的準確性。此外，目前中醫藥專利的數據集量并不大，模型不能充分學習標簽特征，也會導致特征提取能力下降。接下來的工作將會進一步擴展數據集，使用更細粒度的標簽進行標注，同時考慮使用分治算法，將數據集進一步進行劃分與分類，從而更好地優化任務表現。

［ 參 考 文 獻 ］

［1］ SONG M， YU H， HAN W S. Developing a hybrid dictionary-based bio-entity recognition technique[J]. BMC medical informatics and decision making， 2015， 15（S1）： 1-8.

[2] LEAMAN R， WEI C H， LU Z. tmChem： a high performance approach for chemical named entity recognition and normalization[J]. Journal of cheminformatics， 2015， 7（S3）： 1-10.

[3] UNANUE I J， BORZESHI E Z， PICCARDI M. Recurrent neural networks with specialized word embeddings for health-domain named-entity recognition[J]. Journal of Biomedical Informatics， 2017， 76： 102-109.

[4] GUO B，" ZHANG C， LIU J， et al. Improving text classification with weighted word em--beddings via a multi-channel TextCNN model[J]. Neurocomputing， 2019， 363： 366-374.

[5] 羊艷玲， 李燕， 鐘昕妤， 等. 基于BiLSTM-crf的中醫醫案命名實體識別[J]. 中醫藥信息， 2021， 38（11）： 15-21.

[6] TOPAZ M， MURGA L， GADDIS K M， et al. Mining fall-related information in clinical notes： Comparison of rule-based and novel word embedding-based machine learning approaches[J]. Journal of biomedical informatics， 2019， 90： 1-8.

[7] WANG X， ZHANG Y， REN X， et al. Cross-type biomedical named entity recognition with deep multi-task learning[J]. Bioinformatics， 2019， 35（10）： 1745-1752.

[8] DENG N， FU H， CHEN X. Named entity recognition of traditional Chinese medicine patents based on bilstm-crf[J]. Wireless Communications and Mobile Computing， 2021（02）： 1-12.

[9] ZHANG Z Z， ZHANG Z W， CHEN H Y， et al. A Joint Learning fr-amework With BERT for Spoken Language Understanding[J]. IEEE Access， 2019， 7： 168849-168858.

[10] 沈同平， 俞磊， 金力，等. 基于BERT-bilstm-crf模型的中文實體識別研究[J]. 齊齊哈爾大學學報（自然科學版）， 2022， 38（01）： 26-32.

[11] 王子牛， 姜猛， 高建瓴， 等. 基于BERT的中文命名實體識別方法[J]. 計算機科學， 2019， 46（S2）： 138-142.

[12] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[C]∥Preceedings of" NIPS 2017.Long Beach： Neural information processing systems foundation， 2017：5999-6009.

[13] LI Z， CHENG N， SONG W. Research on Chinese event extraction method based on RoBERTa-WWM-CRF[C]∥Preceedings of 12th International Conference on Software Engineering and Service Science. NY：IEEE， 2021：100-104.

Named Entity Recognition of TCM Patent Based on RoBERTa-WWM

DENG Na ，HE Xinyang， XIONG Caiquan，ZONG Zehua

（School of Computer Science， Hubei Univ. of Tech.， 430068， China）

Abstract： The components and functional entities of invention patents of traditional Chinese medicine have the characteristics of complex types and various ambiguities. The traditional named entity recognition methods cannot fully obtain the semantic feature representation， context information and polysemy of a word. A model for named entity recognition of Chinese medicine invention patents is proposed. The model combines three modules in series： RoBERTa WWM pre training model， tw-way short and long-term memory （BILSTM） network and conditional random field （CRF）. The patent abstracts are sequentially extracted through RoBERTa-WWM to generate semantic words with prior knowledge; BILSTM network enhances the context feature information in word embedding; The CRF decoding sequence outputs the maximum probability result. The experimental results show that on the corpus of real Chinese medicine invention patents， the F1 value of the model has increased by 5.80% and 6.63% respectively compared with other mainstream methods in the identification of components and functions， and can effectively improve the accuracy of the identification of drug components and functions in the abstract of Chinese medicine invention patents.

Keywords： invention patent of traditional Chinese medicine; named entity identification; RoBERTa-WWM; BiLSTM

［責任編校： 裴 琴］

［收稿日期］ 2022-08-22

［第一作者］ 鄧 娜（1985-）， 女， 湖北武漢人， 湖北工業大學副教授， 研究方向為專利分析和機器學習。

［通信作者］ 熊才權（1966-）， 男， 湖北鄂州人， 工學博士， 湖北工業大學教授， 研究方向為人工智能、 辯論模型、 智能決策。