面向中醫電子病歷的癥狀實體及屬性抽取

胡定興 杜建強 石強 羅計根 劉勇

摘? 要：文章針對中醫臨床癥狀實體及屬性抽取存在醫療短文本語義信息欠缺，常用的流水線方法易導致多任務之間產生錯誤累積的問題，提出一種基于深度學習的癥狀實體及屬性抽取方法。首先通過基于BLSTM-CRF的序列標注模型完成“實體/修飾屬性”識別;其次根據擴展步長的就近匹配原則生成高覆蓋率、低冗余度的“實體—屬性值”候選對;最后基于ERNIE-BGRU-MP完成關系分類，利用ERNIE豐富文本上下文信息，聯合BGRU提取文本全局特征信息，采用最大池化法過濾冗余和噪聲信息，提高模型的泛化性和魯棒性。

關鍵詞：實體及屬性抽取;ERNIE;BGRU;最大池化;中醫藥信息學

中圖分類號：TP391? ? ? 文獻標識碼：A文章編號：2096-4706（2022）03-0070-06

Symptom Entity and Attribute Extraction for TCM Electronic Medical Record

HU Dingxing1， DU Jianqiang1， SHI Qiang2， LUO Jigen1， LIU Yong1

（1.School of Computer， Jiangxi University of Chinese Medicine， Nanchang? 330004， China; 2.Qihung Medical College， Jiangxi University of Chinese Medicine， Nanchang? 330004， China）

Abstract： Aiming at the problem of the lack of semantic information of medical short texts in entity and attribute extracting of TCM clinical symptoms and the accumulation of errors among multiple tasks coursed by common pipeline methods. A symptom entity and attribute extracting method based on deep learning is proposed. Firstly， the recognition of “entity/modification attribute” is completed by the sequence annotation model based on BLSTM-CRF; Secondly， “entity-attribute value” candidate pairs with high coverage and low redundancy are generated according to the nearest matching principle of extended step size; finally， the relationship classification is completed based on ERNIE-BGRU-MP， Ernie is used to enrich the text context information， and the max-pooling method is used to filter the redundant and noise information， so as to improve the generalization and robustness of the model.

Keywords： entity and attribute extracting; ERNIE; BGRU; max-pooling; Chinese medicine informatics

0? 引? 言

中醫電子病歷作為記錄中醫臨床診療過程和診療結果的重要載體，主要包含疾病的臨床表現、檢查記錄、病證結論、治療計劃、療效反饋等基本內容，蘊含中醫師豐富的臨床診療知識與經驗以及患者的健康醫療數據信息[1]，但是很難做到顯性表達與傳播。面向中醫電子病歷的癥狀實體及屬性抽取是中醫臨床診療文本結構化表示的重要手段，旨在識別中醫臨床文本中患者疾病的臨床癥狀實體及其修飾信息，以及確定實體與修飾信息之間的關系。其中，癥狀的修飾信息是患者疾病臨床表現的個性化表達，對正確理解患者疾病當前的發展態勢和輔助中醫臨床個性化治療具有重要意義。

為了簡化問題的復雜度，本文將癥狀的修飾信息視為實體，將“識別中醫臨床癥狀實體和修飾信息”轉化為命名實體識別（Named Entity Recognition， NER）任務;將“確定實體與修飾信息之間的關系”轉化為中醫臨床短文本分類任務。本文從中醫臨床癥狀的時間性、空間性和程度性三個維度定義八類修飾信息：否認的、當前的、既往的、有條件的、身體部位、頻次、嚴重程度、關聯時間。

1? 相關工作

實體及屬性抽取任務主要包括實體識別和實體間關系分類，依據子任務組織方式的不同，該研究可以從聯合學習法[2-5]和流水線法[6-8]兩個角度展開。在臨床醫療領域，部分學者采用參數共享和序列標注的聯合學習方法，克服各階段模型相互獨立、多任務之間存在錯誤累積傳播的問題。MIWA等[2]使用端到端的LSTM-RNNs框架進行實體識別和關系抽取的聯合學習，通過共享聯合編碼層實現命名實體識別與關系分類兩個子任務之間的交互，但仍存在無法剔除冗余實體信息的問題。ZHENG等[3]首次提出基于統一標注的策略，將實體關系抽取任務等價轉化為一個序列標注任務，但卻無法解決實體關系重疊的問題;石雪[4]在BIOHD1234標簽表示法的基礎上，采用Multi-Label多層標簽表示法提升實體屬性關系的覆蓋率，并構建基于BLSTM-CRF的文本序列標注模型，首先利用BLSTM網絡完成文本的特征編碼，再利用CRF解碼輸出標注結果。增加標簽復雜度雖然能提高實體關系覆蓋率，但是存在標簽擴展性弱，人工標注語料難度大的弊端，同時，標簽數量增大又會帶來數據稀疏的問題。

也有部分學者采用流水線思想，將實體及屬性抽取任務拆分為命名實體識別和關系分類兩個互相獨立的子任務，具有模型靈活、簡單易行的特點。張昱[8]提出通過基于CNN-GRU的醫療實體修飾識別，將卷積神經網絡（Convolutional Neural Network， CNN）預先提取的文本字符級特征用以表示輸入門控循環單元（Gate Recurrent Unit， GRU），對文本信息進行編碼，并使用Softmax分類器進行解碼，該方法只實現了醫療實體修飾信息的識別，并沒有進一步確定實體與修飾信息的關系類別。石雪[4]首先基于BLSTM網絡完成命名實體識別，采用實體與屬性兩兩配對生成一系列的<實體，屬性>候選對，然后使用樹結構長短期記憶（Tree-Structure Long-Short Term Memory， Tree-LSTM）網絡學習句子的結構特征并進行關系分類，該方法的兩兩配對原則容易產生大量的冗余實體對。

本文針對醫療短文本語義信息欠缺以及常用的流水線法存在錯誤累積傳播的問題，提出一種基于深度學習的中醫臨床癥狀實體及屬性抽取的流水線方法，分別訓練一個命名實體識別模型和一個中醫臨床短文本分類模型。通過優化Word2vec預訓練方式，加強對中醫臨床領域知識的表示學習，提升癥狀實體和修飾信息識別效果;提出基于擴展步長的就近匹配原則生成候選實體對;利用ERNIE模型提高實體屬性抽取語義信息的豐富性，聯合BGRU網絡抽取全局特征，采用最大池化法過濾冗余和噪聲信息，同時增強模型的泛化性和魯棒性。

2? 模型介紹

本文提出的中醫臨床癥狀實體及屬性抽取方法的整體流程分為三個階段：（1）利用中醫臨床文本命名實體識別模型對輸入的醫療文本進行癥狀實體和修飾信息識別;（2）基于擴展步長的就近匹配原則將所識別的實體與修飾信息進行配對，形成<實體，屬性>候選對集;（3）利用中醫臨床短文本分類模型確定每個<實體，屬性>候選對的修飾關系類別。最后得到醫療文本中包含的所有<癥狀實體，修飾關系，修飾信息>三元組。以輸入醫療文本“反復胸悶，氣促，哮喘7年余”為例，其癥狀實體及屬性抽取過程三個階段主要的輸入與輸出如圖1所示。

2.1? 基于EMR2vec-BLSTM-CRF的中醫臨床文本命名實體識別

在第一階段，本文提出可完成中醫臨床文本命名實體識別任務的EMR2vec-BLSTM-CRF模型，主要包括Embedding層、BLSTM層和CRF層，模型整體框架如圖1（第一階段）所示。為避免因分詞錯誤而造成誤差累積以及加強對中醫醫療領域知識的表示學習，通過采集大量中醫臨床診療文本構建Word2vec[9]模型預訓練語料，生成中醫臨床領域知識的字向量編碼（Character Vector of TCM Electronic Medical Record， EMR2vec）作為初始特征表示。算法流程如算法1所示。

算法1：基于EMR2vec-BLSTM-CRF的中醫臨床文本命名實體識別。

輸入：中醫臨床醫療文本或句子{S1，S2，…，Sp}。

下面是具體的過程：

（1）利用EMR2vec對訓練集樣本進行Embedding操作，得到輸入文本的字向量特征矩陣{x1，x2，…，xp};

（2）將{x1，x2，…，xp}輸入到BLSTM模型中，計算t時刻的前向輸出ht和后向輸出ht，將前向輸出與后向輸出拼接得到綜合特征ht=[ht，ht];BLSTM層輸出綜合特征矩陣{h1，h2，…，hp};

（3）將{h1，h2，…，hp}輸入到CRF層解碼序列標簽，輸出文本的標注結果{y1，y2，…，yp};

（4）將{y1，y2，…，yp}輸入到“標簽-實體/修飾信息”解碼器，輸出文本中包含的癥狀實體和修飾信息列表。

輸出：醫療文本中包含的癥狀實體和修飾信息列表。

以輸入醫療文本“反復胸悶，氣促，哮喘7年余”為例，第一階段輸出癥狀實體和修飾信息：反復、胸悶、氣促、哮喘、7年余，修飾信息：反復、7年余。

2.2? 基于NMP-ESS生成候選實體對

在第二階段，傳統的兩兩隨機匹配原則容易生成大量冗余實體對，而單一的就近匹配原則容易遺漏部分實體對。本文通過分析文本的結構特征和中醫電子病歷信息抽取的實際需求，提出基于擴展步長的就近匹配原則（Nearest Matching Principle of Extended Step Size， NMP-ESS），使生成的實體對集實現高覆蓋率、低冗余度，具體的算法流程如算法2所示。

算法2： 基于擴展步長的就近匹配原則生成候選實體對。

輸入：醫療文本S、醫療文本中包含的癥狀實體和修飾信息列表L。

下面是具體的過程：

（1）循環遍歷列表中各個修飾信息（A），依次進行以下操作：匹配修飾信息（A）左向或右向第一個相鄰的實體詞（E），匹配方向先右后左，若右邊存在關聯實體詞，則停止左向匹配;生成（E，A）候選實體對列表L1;##就近匹配實體;

If列表L1為空：##擴展匹配步長

修飾信息（A）左邊或右邊均無直接相鄰實體詞（E），則逐步向外匹配緊鄰的實體詞（E），直至為空;生成（E，A）候選實體對列表L2;

將列表L1、L2中候選實體對（E，A）加入候選對集合set_A。

（2）輸出醫療文本中包含的<癥狀實體，修飾信息>候選對集合set_A。

（3）將候選對集合set_A中的（E，A）候選對與醫療文本S拼接，生成待分類中醫臨床短文本。

輸出：醫療文本中包含的<癥狀實體，修飾信息>候選對集合set_A。

將第一階段輸出的（反復、胸悶、氣促、哮喘、7年余）列表和醫療文本作為算法2的輸入，在第二階段輸出兩個待分類的醫療文本——“反復胸悶，氣促，哮喘7年余。#胸悶#反復”和“反復胸悶，氣促，哮喘7年余。#哮喘#7年余”。

2.3? 基于ERNIE-BGRU-MP的中醫臨床短文本分類

在第三階段，本文將“確定癥狀實體與修飾信息之間的修飾關系”視為中醫臨床短文本分類任務，提出用于中醫臨床短文本分類的ERNIE-BGRU-MP模型，主要包括ERNIE層、BGRU層、最大池化層和Softmax分類器，模型整體框架如圖1（第三階段）所示，具體的算法流程如算法3所示。

算法3 ：基于ERNIE-BGRU-MP的中醫臨床短文本分類。

輸入：包含<癥狀實體，修飾信息>候選對的中醫臨床短文本{S1，S2，…，Sp，…，Sn}。

下面是具體的過程：

（1）將文本序列輸入到ERNIE模型中，得到文本的字向量特征矩陣{w1，…，wn};

（2）將{w1，…，wn}矩陣輸入到BGRU模型中，計算t時刻的前向輸出ht和后向輸出ht，將前向輸出與后向輸出拼接得到綜合特征ht=[ht，ht];BGRU層輸出的特征表示向量S=[h1，hp]。

（3）將S=[h1，hp]輸入到最大池化層，輸出特征向量。

（4）將輸入到Softmax分類器，輸出修飾關系類別r。

（5）將<實體，修飾信息>與對應的修飾關系拼接后，輸出<癥狀實體，修飾關系，修飾信息>三元組。

輸出：<癥狀實體，修飾關系，修飾信息>三元組。

本文利用ERNIE模型[10，11]引入實體外部知識特征來豐富臨床文本的上下文語義信息，將知識編碼器最后一層的綜合特征向量輸入到BGRU層抽取全局特征;將t時刻前向和后向捕獲到的隱藏狀態ht和ht進行拼接得到綜合特征ht=[ht，ht]，將BGRU輸出的第一個隱藏狀態h1和最后一個隱藏狀態hp進行信息融合，得到Token序列的綜合特征表示向量S=[h1，hp];利用Max-Pooling層對全局特征S=[h1，hp]進行冗余信息和噪聲信息過濾，緩解命名實體識別和<實體，屬性>候選對生成器任務間錯誤累積對文本分類的影響，增強模型的泛化能力;將過濾后的特征向量S=max（S）輸入到Softmax分類器，計算實體屬性類別的概率分布，將概率值最大的類別標簽作為預測結果，具體計算為：

（1）

（2）

其中，We表示權值矩陣，be 表示偏置向量，M表示所有實體屬性類別的數量。

將第二階段算法2輸出的兩個待分類醫療文本作為第三階段模型的輸入，最后輸出對應的<癥狀實體，修飾關系，修飾信息>三元組（胸悶，發病頻次為，反復）和（哮喘，關聯時間為，7年余）。

3? 實驗

3.1? 實驗語料

本文以江西中醫藥大學岐黃國醫書院300份哮喘病中醫（門診）電子病歷為數據源，人工標注構建中醫臨床癥狀實體及屬性抽?。‥ntities and Attributes Extraction of TCM Clinical Symptoms， TCMCS-EAE）數據集驗證模型性能，共有2 767個句子樣本，數據集的詳細信息如表1所示。此外，針對命名實體識別任務，使用CHIP-2020中藥說明書命名實體識別數據集TCMDI進行對比評價，數據集的詳細信息如表2所示。

3.2? 評價指標

為避免樣本類別不均衡對評測結果的影響，本文采用加權求和的準確率（P）、召回率（R）和F值來評估模型性能，權重值為實體類別總數占全部樣本總數的比例。

（3）

（4）

（5）

其中，n為分類結果的類別總數;Pi、Ri、Fi分別為類別i的P、R、F值;N為數據集樣本總數，Ni為實體類別i的樣本總數。

3.3? 實驗環境與參數設置

本文使用深度學習框架PyTorch1.5和預訓練語言模型ERNIE1.0搭建網絡模型。第一階段BLSTM網絡主要參數Embedding_dim、Dropout、學習率和優化器分別為200、0.6、0.01和RMSProp;第三階段ERNIE模型主要超參數如表3所示，BGRU網絡主要超參數Hidden_size和Dropout分別設置為768和0.1;Max-pooling超參數kernel_size為32。

3.4? 實驗結果

在真實的中醫電子病歷數據集上驗證本文提出的由EMR2vec-BLSTM-CRF和ERNIE-BGRU-MP組成的流水線方法完成中醫臨床癥狀實體及屬性抽取任務的整體性能。

3.4.1? 中醫臨床文本命名實體識別

驗證EMR2vec-BLSTM-CRF模型在第一階段中醫臨床文本命名實體識別任務上的性能，本文選擇BLSTM-CRF、BGRU-CRF和EMR2vec-BGRU-CRF作為命名實體識別對比模型，并在TCMCS-EAE和TCMDI數據集上進行對比實驗。在模型訓練階段，不同命名實體識別模型的實驗結果如表4所示。

由表4可知，在TCMCS-EAE數據集中，本文提出的EMR2vec-BLSTM-CRF模型效果最優，F值為81.22%;與BLSTM-CRF相比F值提升了2.1%;在TCMDI數據集中，以EMR2vec作為模型輸入效果更優，F值提升約1.5%。實驗結果表明，通過引入中醫臨床診療領域數據加強對特定領域知識的表示學習，對中醫臨床診療領域命名實體識別任務有較大提升。由表5可知，除“有條件的”和“頻率詞”兩類修飾信息外，EMR2vec-BLSTM-CRF模型的實體識別結果均優于EMR2vec-BGRU-CRF模型，其中，癥狀實體的P、R和F值均超過83%;8種修飾屬性中，“否認的”識別效果最好，P、R和F值均超過90%;“身體部位、頻率詞和關聯時間”的識別效果較優，F值均超過75%。這主要是因為“否認的”實體詞在表達形式上相對簡單、用詞較固定，所以識別效果明顯優于其他類別實體。

3.4.2? 中醫臨床癥狀實體及屬性抽取

驗證本文提出的由EMR2vec-BLSTM-CRF和ERNIE-BGRU-MP組成的流水線方法的整體性能。選取EMR2vec-BGRU-CRF作為第一階段命名實體識別的對比模型，選取TextCNN、TextRNN、DPCNN、ERNIE、ERNIE-BGRU和ERNIE-CNN作為第三階段短文本分類對比模型。因此，共有2組14個不同的基于流水線的中醫臨床癥狀實體及屬性抽取方法，在TCMCS-EAE數據集上的實驗結果如表6所示。

由表6可知，本文提出的由EMR2vec-BLSTM-CRF和ERNIE-BGRU-MP組成的流水線方法效果最優，F值為71.49%。第一階段命名實體識別方法確定后，基于ERNIE及其改進的短文本分類模型ERNIE-CNN、ERNIE-BGRU和ERNIE-BGRU-MP的效果均優于傳統的TextCNN、TextRNN分類模型，F值提升2%～3%。實驗結果表明，ERNIE模型通過引入實體外部知識豐富文本上下文語義特征，能夠有效提升中醫臨床癥狀及屬性抽取任務的整體性能。此外，第三階段短文本分類方法確定后，基于EMR2vec-BLSTM-CRF的組合模型的效果明顯優于EMR2vec-BGRU-CRF組合模型，二者的F值相差約10%。其主要原因是錯誤累積傳播，第一階段“癥狀實體/修飾信息”識別的準確性嚴重影響第三階段<癥狀實體，修飾關系，修飾信息>三元組的準確率。由ERNIE-BGRU-MP與ERNIE-BGRU模型對比結果可知，添加Max-pooling后模型的整體性能提升2.04%，與ERNIE模型相比，提升約1%。這表明最大池化通過抽取局部接受域中值最大的點，可對特征向量中的冗余信息和噪聲信息起到較好的過濾效果，能夠緩解多任務之間錯誤累積傳播的問題，增強模型的泛化能力和魯棒性。

4? 結? 論

本文針對醫療短文本語義信息欠缺和多任務之間錯誤累積傳播的問題，通過ERNIE模型引入實體的外部知識特征來豐富句子的上下文信息，能夠有效緩解文本語義信息欠缺的問題，使模型的整體性能提升約2%，F值達到71.49%;利用Max-Pooling過濾冗余信息和噪聲信息，緩解錯誤累積，增強模型的泛化性和魯棒性。在中醫臨床文本命名實體識別階段，通過加強對中醫臨床領域知識的表示學習，使中醫臨床癥狀及屬性識別的性能提升約2%，F值達到81.22%;癥狀實體的識別率高達83.8%，能較好地識別中醫電子病歷文本中患者的關鍵癥狀信息。在真實的中醫電子病歷數據集上的實驗結果表明，本文提出的中醫臨床癥狀及屬性抽取方法切實可行。在當前的研究工作中，仍面臨著中醫臨床術語規范化弱、實驗語料規模小等問題。在后續工作中，將會繼續擴大實驗語料規模，進一步探索新的實體及屬性抽取方法，著力于中醫臨床診療知識圖譜的構建。

參考文獻：

[1] 楊錦鋒，關毅，何彬，等.中文電子病歷命名實體和實體關系語料庫構建 [J].軟件學報，2016，27（11）：2725-2746.

[2] MIWA M，BANSAL M. End-to-end Relation Extraction Using LSTMs on Sequences and Tree Structures [EB/OL].[2021-12-16].https：//arxiv.org/pdf/1601.00770.pdf.

[3] ZHENG S，WANG F，BAO H，et al. Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme [J/OL].arXiv：1706.05075 [cs.CL].[2021-12-16].https：//arxiv.org/abs/1706.05075v1.

[4] 石雪.臨床醫療實體及其屬性的聯合抽取方法 [D].哈爾濱：哈爾濱工業大學，2019.

[5] 吳賽賽，梁曉賀，謝能付，等.面向領域實體關系聯合抽取的標注方法 [J].計算機應用，2021，41（10）：2858-2863.

[6] 馬進，楊一帆，陳文亮.基于遠程監督的人物屬性抽取研究 [J].中文信息學報，2020，34（6）：64-72.

[7] 羅計根，杜建強，聶斌，等.基于雙向LSTM和GBDT的中醫文本關系抽取模型 [J].計算機應用研究，2019，36（12）：3744-3747.

[8] 張昱.基于深度學習的中文電子病歷實體及其修飾識別技術研究 [D].蘭州：西北師范大學，2019.

[9] CHO K，MERRIENBOER B V，GULCEHRE C.et al. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation [EB/OL].[2021-12-16].https：//arxiv.org/pdf/1406.1078.pdf.

[10] 畢云杉，錢亞冠，張超華，等.基于ERNIE模型的中文文本分類研究 [J].浙江科技學院學報，2021，33（6）：461-468+476.

[11] ZHENG Y Z，XU H，ZHI Y L，et al. ERNIE：Enhanced Language Representation with Informative Entities [C]//the 57th Annual Meeting of the Association for Computational Linguistics.2019：1441-1451.

作者簡介：胡定興（1996—），男，漢族，湖北黃岡人，碩士研究生在讀，研究方向：自然語言處理、知識圖譜構建;杜建強（1968—），男，漢族，江西南昌人，教授，博士，研究方向：中醫藥信息學、數據挖掘;石強（1976—），男，漢族，江西南昌人，副教授，醫學博士，研究方向：中醫辨證規律;羅計根（1991—），男，漢族，江西萍鄉人，講師，碩士，研究方向：自然語言處理;劉勇（1997—），男，漢族，江西撫州人，碩士研究生在讀，研究方向：自然語言處理。