基于異構圖注意力網絡的藥物不良反應實體關系聯合抽取研究

關鍵詞： 異構圖注意力網絡； 實體關系聯合抽取； 藥物不良反應； 關系重疊； 知識發現

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２４．０９．００６

〔中圖分類號〕Ｇ２０３ 〔文獻標識碼〕Ａ 〔文章編號〕１００８－０８２１ （２０２４） ０９－００７１－１１

藥物不良反應是指藥物在正常用法和用量下出現的與用藥目的無關的有害反應， 是一項重要公共衛生問題［１］ 。隨著醫藥行業的快速發展， 各類治療藥物不斷推陳出新， 大量藥物受限于上市前臨床實驗的研究范圍［２－３］ ， 其藥物不良反應往往在上市后的大范圍應用過程中才被發現， 對患者及社會帶來了極大危害。隨著藥物上市， 自發呈報系統用于在臨床實驗后檢測未報告的藥物不良反應， 盡管近年來報告數量和質量穩步提升， 但仍然存在覆蓋面小、報告缺失、數據不完善以及時間滯后等問題， 大量的潛在藥物不良反應信息被忽略和遺漏［４］ 。因此，針對生物醫學文獻［５］ 、在線健康社區［６－８］ 和電子病歷［９］ 等文本數據的深入分析是完善藥物信息和監測上市藥物安全性的重要補充， 對于系統分析藥物警戒和潛在藥物重定位具有重要意義［１０］ 。

藥物不良反應實體關系聯合抽取是藥物信息提取和安全監測的關鍵環節， 旨在發現非結構化醫學文本中藥物不良反應相關實體之間的潛在關系， 以生成＜實體，關系， 實體＞三元組的形式［１１－１２］ 。三元組是廣泛應用于醫藥知識圖譜構建［１３］ 、知識發現［１４］以及醫學問答［１５］ 等多個領域的知識表示方式， 早期的藥物不良反應實體關系三元抽取研究主要基于流水線方法［１６］ 。流水線方法將藥物不良反應實體關系三元組抽取任務分解為實體識別和關系抽取兩個獨立的子任務， 并將識別出的實體輸入到關系抽取任務中進行分類。該方法簡單靈活， 但很容易產生誤差傳遞、實體冗余和交互缺失等問題［１７］ 。因此，一些學者提出了實體與關系聯合訓練的方法［１８］ ， 并取得了顯著進展。然而現有研究大多不能有效解決同一句子包含多個重疊關系三元組的情況， 且針對中文藥物不良反應實體關系抽取任務缺乏醫療健康領域知識。

基于此， 本文提出了基于異構圖注意力網絡的藥物不良反應實體關系聯合抽取模型（ＭＦ－ＢＥＲＴＨｅｔｅｒｏｇｅｎｅｏｕｓＧｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ， ＭＦ－ＨＧＡＴ），該模型利用微調ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅ?ｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）和嵌入矩陣令字符與關系建模為異構圖節點， 并通過迭代融合異構圖注意力網絡消息傳遞機制增強語義節點表示， 進而在節點表示更新后進行關系提取， 該方法不僅可以進一步提升藥物不良反應實體關系聯合抽取效果， 挖掘潛在藥物不良反應知識， 同時對完善現有藥物不良反應監測體系、推動醫藥健康領域知識組織和知識服務的發展具有重要意義。

１相關研究

１.１ 藥物不良反應實體關系抽取

從醫學文本中提取藥物不良反應實體關系是藥物警戒和藥物重定位的關鍵任務， 近年來受到了不同研究領域學者的極大關注。目前， 學界開展了一系列基于藥物不良反應實體關系抽取的公開挑戰賽，包括２０１８ 年自然語言處理（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓ?ｉｎｇ， ＮＬＰ）臨床挑戰賽（ｎ２ｃ２）［１９］ ， 藥物、適應癥和藥物不良事件挑戰賽（ＭＡＤＥ １ ０）［２０］ 以及２０１７年文本分析會議（ＴＡＣ）［２１］ 。早期的藥物不良反應實體關系三元組抽取大多采用流水線方法［１６］ ， 這類方法首先通過實體識別提取出臨床文本中藥物不良反應相關實體， 然后利用分類方法對候選實體對進行關系分類， 以挖掘潛在藥物不良反應關系。Ｍａｒｔｉｎｅｚ Ｊ Ｌ 等［２２］ 構建藥物不良反應字典實現實體識別， 通過結合詞匯和語義特征的支持向量機（ＳｕｐｐｏｒｔＶｅｃｔｏｒ Ｍａｃｈｉｎｅ， ＳＶＭ）實現關系抽取。Ｇｕ Ｘ 等［２３］ 將雙向長短期記憶神經網絡（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ， ＢｉＬＳＴＭ）與基于字符嵌入和詞嵌入的條件隨機場（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ， ＣＲＦ）結合識別藥物不良反應實體， 利用基于對抗訓練的分段卷積神經網絡（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＣＮＮ）進行關系提取。Ｄａｎｄａｌａ Ｂ 等［２４］ 和Ｃｈｒｉｓｔｏｐｏｕｌｏｕ Ｆ等［２５］ 通過ＢｉＬＳＴＭ－ＣＲＦ 從臨床電子健康記錄中抽取藥物不良反應相關實體， 并構建基于注意力機制的ＢｉＬＳＴＭ 以提取藥物不良反應和適應癥關系。流水線方法簡單靈活， 分別優化和改進了實體識別和關系抽取兩個獨立的子任務。盡管如此， 該方法也存在明顯的局限性： 首先， 流水線方法會產生誤差傳遞問題， 實體識別任務的預測誤差會直接傳播到關系抽取任務中， 進而影響部分關系抽取預測效果；其次， 產生實體冗余問題， 實體識別任務未經關系信息約束便抽取出大量實體， 導致無關聯的實體對冗余， 增加了關系分類的錯誤率； 最后， 流水線方法還存在交互缺失問題， 忽略了兩個子任務間的內在聯系與相互依賴， 各子任務的有用信息難以被充分利用［１７］ 。為了實現全局信息理解， 緩解錯誤信息的積累與傳播， 一些學者提出了聯合抽取的方法。Ｗｅｉ Ｑ 等［２６］ 將藥物不良反應實體關系三元組抽取任務轉化為序列標記任務， 構建ＢｉＬＳＴＭ－ＣＲＦ 聯合抽取模型端到端地識別藥物不良反應實體和關系。Ｃｈｅｎ Ｌ 等［２７］ 結合知識庫和混合深度學習， 從臨床文本中聯合提取藥物不良反應實體關系。Ｅｌ－ＡｌｌａｌｙＥ Ｄ 等［２８］ 提出一種基于Ｔｒａｎｓｆｏｒｍｅｒ 的加權圖卷積神經網絡（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ， ＧＣＮ）， 通過Ｎ 級序列標記對不同層次的實體關系進行建模，以抽取藥物不良反應實體關系。

盡管已有研究較好地提升了藥物不良反應實體關系聯合抽取效果， 但大多研究在抽取實體前忽略了實體間可能存在的關系信息， 導致大多數提取的實體不能構成有效的藥物不良反應三元組。此外，目前深度學習方法通常將句子映射為單一表示， 無法解決藥物不良反應三元組重疊問題。如何有效挖掘醫學文本實體關系深層語義信息， 是藥物不良反應實體關系聯合抽取任務亟待解決的問題。

１.２異構圖神經網絡

傳統的深度學習方法在提取歐氏空間數據特征方面取得巨大進展， 但在處理非歐空間數據的表現尚不理想。為了分析復雜的圖結構數據， Ｇｏｒｉ Ｍ等［２９］ 提出了圖神經網絡模型（Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＧＮＮ）， 該模型可從非歐空間的圖結構數據中根據目標節點的鄰域信息進行特征提取與學習， 進而充分表征目標節點， 有助于刻畫實體間關系等抽象概念。在此基礎上， Ｋｉｐｆ Ｔ Ｎ 等［３０］ 將卷積運算推廣到圖結構數據中， 提出了圖卷積神經網絡模型（ＧｒａｐｈＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ， ＧＣＮ）。隨著注意力機制受到廣泛關注， Ｖｅｌｉｃˇ ｋｏｖｉｃ＇ Ｐ 等［３１］ 將注意力機制應用于包含一種節點和邊的同構圖中， 構建了圖注意力網絡模型（Ｇｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ， ＧＡＴ）， 該模型通過為不同的鄰居節點分配不同的權重， 強化了圖神經網絡的表示能力， 具備更好的預測性能和泛化性， 但尚未應用于包含多種類型節點或邊的異構圖中。近年來受異構信息啟發， Ｗａｎｇ Ｘ 等［３２］ 在異構圖中引入注意力機制， 提出了異構圖注意力網絡模型（Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｇｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ， ＨＧＡＴ）。該模型可以有效捕獲和建模異構圖中各種類型節點和邊的深層語義信息， 在自然語言處理任務中應用廣泛， 如文本分類［３３－３４］ 、實體識別［３５］ 和情感分析［３６］ 等。Ｌｉｎｍｅｉ Ｈ 等［３３］ 和Ｙａｎｇ Ｔ 等［３４］ 將ＨＧＡＴ應用于短文本分類， 通過異構信息網絡對短文本進行建模， 并利用多粒度的雙級注意機制捕獲關鍵信息， 解決了短文本的語義稀疏性問題。Ｚｈｏｕ Ｌ 等［３５］引入單詞詞性（Ｐａｒｔ－ｏｆ－Ｓｐｅｅｃｈ， ＰＯＳ） 信息構造ＨＧＡＴ， 通過注意力機制聚合來自不同類型鄰居節點的信息， 解決了嵌套命名實體識別問題。Ｌｕ Ｇ等［３６］ 利用ＨＧＡＴ 進行方面級情感分析， 通過交互式注意力網絡對句子序列表示進行編碼， 更好地捕獲異構上下文情感信息。鑒于ＨＧＡＴ 在通用領域的優異表現， 一些學者將ＨＧＡＴ 引入生物醫藥領域處理藥物關系等復雜異構數據。Ｊｉｎｇ Ｘ 等［３７］ 引入疾病信息構建藥物—疾病異構圖， 利用ＨＧＡＴ預測藥物與疾病節點的關系。Ｌｏｎｇ Ｙ 等［３８］ 在充分整合藥物數據源的基礎上構建藥物—病毒異構圖，通過注意力增強的ＨＧＡＴ 預測潛在的藥物病毒。Ｔａｎｖｉｒ Ｆ 等［３９］ 構建了包含藥物、化合物和不良反應等生物醫學實體的異構信息網絡， 使用端到端的ＨＧＡＴ 在藥物相互作用預測上取得優異結果。然而目前研究大多僅關注粗粒度的實體識別和關系抽取獨立任務， 尚且缺乏利用異構圖注意力網絡來進行藥物不良反應實體關系聯合抽取任務的研究。

通過現有研究分析可知， 實體關系重疊是影響三元組抽取效果的重要因素， 引入異構圖注意力網絡模型可有效增強實體及關系語義表示， 解決藥物不良反應實體關系重疊問題。在已有研究基礎上，本文基于異構圖注意力網絡構建了ＭＦ－ＨＧＡＴ 模型，該模型將關系信息作為先驗知識引入為異構圖節點，通過迭代融合異構圖注意力網絡消息傳遞機制獲得更適合關系提取任務的節點表示， 從而有效提升藥物不良反應實體關系聯合抽取效果。

２基于異構圖注意力網絡的實體關系聯合抽取模型

２.１模型構建

為了解決藥物不良反應實體關系重疊問題， 基于關系先驗知識和圖注意力網絡語義表征優勢， 本文構建了基于異構圖注意力網絡的實體關系聯合抽取模型。該模型結構如圖１ 所示， 主要分為嵌入層、異構圖層和關系提取層。首先在電子病歷、在線健康社區和醫學文獻語料上對ＢＥＲＴ 進行預訓練， 遷移學習醫療健康領域知識； 其次在嵌入層通過微調ＢＥＲＴ 令不良反應報告文本中的字符編碼為向量， 利用關系嵌入矩陣將關系嵌入為向量以構建圖模型的輸入； 然后在異構圖層通過迭代融合異構圖注意力網絡消息傳遞機制將字符和關系節點進行語義融合， 通過字符節點聚合所有關系節點信息，并利用更新后的字符節點表示更新關系節點； 最后將更新后的字符和關系節點表示輸入關系提取層，進行藥物不良反應關系提取。

２.２嵌入層

２.２.１ ＢＥＲＴ 字符節點向量表示

ＢＥＲＴ 是由谷歌發布的一種基于Ｔｒａｎｓｆｏｒｍｅｒ 架構的雙向動態預訓練語言模型［４０］ 。相較于Ｇｌｏｖｅ、Ｗｏｒｄ２ｖｅｃ 等靜態嵌入方法， ＢＥＲＴ 通過預訓練獲得的向量表示可充分挖掘不同語境下的動態語義信息，利用微調可有效增強模型的領域適應性和靈活性，降低藥物不良反應相關實體一詞多義帶來的歧義影響。鑒于ＢＥＲＴ 強大的知識遷移和語義表征優勢，本文使用中文ＢＥＲＴ－Ｂａｓｅ－Ｃｈｉｎｅｓｅ 在嵌入層令藥物不良反應文本字符編碼為向量， 并在大規模醫學外部語料上進行預訓練和微調， 獲得適合藥物不良反應實體關系聯合抽取的ＭＦＢＥＲＴ 預訓練模型。對于給定訓練集中的句子， 本實驗通過ＭＦＢＥＲＴ 對上下文信息進行編碼， 將ＭＦＢＥＲＴ 的最后一個隱藏層中的所有ｔｏｋｅｎ 嵌入設為字符節點， 如式（１） 所示：

３實驗流程與結果分析

３.１實驗流程

藥物不良反應實體關系聯合抽取實驗的具體流程如圖２所示。

首先從海量的藥物不良反應報告中篩選不良反應描述信息； 其次在數據預處理基礎上進行實體標注和關系標注以生成藥物不良反應實體關系抽取數據集； 然后將數據集劃分為訓練集、測試集和驗證集， 并采用多種深度學習模型和基于不同醫學知識遷移ＢＥＲＴ 的異構圖注意力網絡模型開展系列實驗； 最后利用精確率（Ｐｒｅｃｉｓｉｏｎ）、召回率（Ｒｅｃａｌｌ）和Ｆ１ 值（Ｆ１－Ｍｅａｓｕｒｅ）作為評估指標， 對各組實驗實體關系聯合抽取效果進行對比和評價， 驗證異構圖注意力模型的有效性。

３.２實驗數據

本實驗數據來源于江蘇省藥品不良反應監測中心２０１０—２０１７ 年不良反應報告， 經人工篩選標注１０ ０００條不良反應文本。參照藥物不良反應事件ｎ２ｃ２ ２０１８ 數據集［１９］ 構建標準， 共標注藥品、適應癥、不良反應、時間和劑量５ 類實體， 藥品—適應癥， 藥品—不良反應， 藥品—時間和藥品—劑量４類關系。為了確保數據集的標注質量， 使用Ｄｏｃｃａ?ｎｏ 工具進行三輪人工標注， 具體示例如圖３ 所示。

標注得到的Ｋａｐｐａ［４１］ 值為０.８１， 標注一致性良好。本實驗藥物不良反應數據集實體關系類型分布如表１ 所示。

３.３實驗環境配置

本文實驗環境是ＣＰＵ 型號為Ｉｎｔｅｌ ｉ５， ＧＰＵ 型號為Ｎｖｉｄｉａ ＧＴＸ ２０８０ Ｔｉ， 內存３２ＧＢ， 顯存１１ＧＢ，操作系統為Ｗｉｎｄｏｗｓ １０ 的服務器。實驗模型采用Ｐｙｔｈｏｎ３.６.５ 和Ｐｙｔｏｒｃｈ 深度學習框架的１.１４ 版本，表２ 給出了實驗模型的各超參數值， 該模型在訓練集和測試集上均取得了良好的實驗效果。

３.４實驗設計

為驗證異構圖注意力網絡和外部醫療健康領域知識遷移在藥物不良反應數據集上的三元組聯合抽取效果， 共設計３ 組實驗， 每組實驗均采用十折交叉驗證來評估模型效果， 按８∶１ ∶１將數據集劃分為訓練集、驗證集和測試集。具體實驗設計如下：

實驗一： 探究基準模型在藥物不良反應實體關系聯合抽取任務上的效果， 驗證異構圖注意力網絡模型有效性。將微調的ＦＴＢＥＲＴ－ＨＧＡＴ 模型與主流聯合抽取模型ＯｎｅＲｅｌ［４２］ 、ＣａｓＲｅｌ［４３］ 、ＴＰｌｉｎｋｅｒ［４４］ 和ＧＰＬｉｎｋｅｒ［４５］ 進行對比， 驗證異構圖注意力網絡模型效果。

實驗二： 探究外部醫療健康領域知識遷移對藥物不良反應實體關系聯合抽取的影響。在實驗一微調ＦＴＢＥＲＴ－ＨＧＡＴ 模型基礎上， 通過ＢＥＲＴ 在不同醫學外部語料上預訓練以遷移不同醫療健康領域知識， 分析不同外部醫療健康知識對實驗的影響。

實驗三： 驗證ＭＦ－ＨＧＡＴ 模型在ＣＨＩＰ－２０２０ 中文醫學文本實體關系抽取數據集上的最優（Ｓｔａｔｅｏｆ－ｔｈｅ－Ａｒｔ， ＳＯＴＡ）效果。比較ＭＦ－ＨＧＡＴ 和主流實體關系聯合抽取模型在ＣＨＩＰ－２０２０ 數據集上醫學三元組抽取效果， 驗證ＭＦ－ＨＧＡＴ 模型有效性。

３.６實驗結果及分析

３.６.１實驗一： 異構圖注意力網絡模型有效性分析

為探究基準模型在藥物不良反應實體關系聯合抽取任務上的效果， 驗證異構圖注意力網絡模型有效性。分別對ＯｎｅＲｅｌ［４２］ 、ＣａｓＲｅｌ［４３］ 、ＴＰｌｉｎｋｅｒ［４４］ 、ＧＰＬｉｎｋｅｒ［４５］ ４ 種基準模型進行對比實驗， 并比較ＢＥＲＴ 和微調ＢＥＲＴ（ＦＴＢＥＲＴ）對藥物不良反應實體關系三元組抽取效果的影響， 結果如表３所示。

從表３ 可以發現， 在準確率、召回率和Ｆ１ 值方面， 基于ＢＥＲＴ 的異構圖注意力網絡模型ＢＥＲＴＨＧＡＴ的準確率、召回率和Ｆ１ 值分別為９１.７６％、８７.６２％和８９.６４％， 較其他基線模型ＯｎｅＲｅｌ［４２］ 、ＣａｓＲｅｌ［４３］ 、ＴＰｌｉｎｋｅｒ［４４］ 、ＧＰＬｉｎｋｅｒ［４５］ 均有明顯提升，表明基于異構圖注意力網絡的ＢＥＲＴ－ＨＧＡＴ 更適用于藥物不良反應實體關系三元組抽取任務。進一步分析發現， 主要原因在于已有基線模型較少關注實體和關系之間固有的語義聯系與融合， 而ＢＥＲＴＨＧＡＴ模型引入關系信息作為先驗知識， 通過迭代融合異構圖注意力網絡的消息傳遞機制令字符節點聚合所有關系信息， 并利用更新后的字符節點表示進一步更新關系節點， 使得節點的表示通過迭代增強更適用于藥物不良反應實體關系抽取任務。此外，鑒于此時ＢＥＲＴ 尚未針對本文任務進行微調， 字符向量尚未充分適應藥物不良反應實體關系抽取任務的特定要求， 本文利用部分數據集對預訓練的字符向量進行微調以進一步提升實驗效果。微調得到的ＦＴＢＥＲＴ－ＨＧＡＴ 模型Ｆ１ 值達到９０.３２％， 較初始ＢＥＲＴ 提升了０.６４％， 表明針對藥物不良反應實體關系聯合抽取任務微調后的ＢＥＲＴ 較好地發揮語義表征優勢， 進一步提升藥物不良反應三元組抽取效果。

３.６.２ 實驗二： 不同外部醫療健康領域知識遷移對比實驗及分析

為探究不同外部醫學知識遷移對藥物不良反應實體關系三元組抽取的影響， 根據表３ 可知， 微調的ＦＴＢＥＲＴ-ＨＧＡＴ效果最優， 然而該模型中的字符節點表示模型ＦＴＢＥＲＴ 僅在通用領域維基百科語料上訓練， 缺乏醫療健康領域知識， 在中文醫藥健康領域實體關系抽取任務中表現欠佳。基于此， 本文選取同等規模的電子病歷、在線健康社區和醫學文獻語料對ＢＥＲＴ進行預訓練并微調， 以實現外部醫療健康領域知識遷移。其中， ＥＭＲ 語料來自江蘇省某醫院的電子病歷（Ｅｌｅｃｔｒｏｎｉｃ Ｍｅｄｉｃａｌ Ｒｅｃｏｒｄｓ）數據， 其內容結構化且質量較高； ＯＨＣ 語料來自在線健康社區（Ｏｎｌｉｎｅ Ｈｅａｌｔｈ Ｃｏｍｍｕｎｉｔｙ），“好問康”網站醫患問答記錄與“三九健康藥物網” 藥物評論， 其口語化表述與噪聲較多， 但醫生答復包含豐富的專業知識且語義關聯性較強； ＭＬ語料來自藥物疾病醫學文獻（Ｍｅｄｉｃａｌ Ｌｉｔｅｒａｔｕｒｅ）［４６］，其包含大量專業術語且表述方式較為嚴謹； ３份語料經過刪除用戶隱私信息和數據清洗后， 最終保留１０萬條語句； ＭＦ 語料來自以上３種源領域并微調。實驗結果如表４ 所示。

由表４ 可知， 在電子病歷、在線健康社區和醫學文獻語料上預訓練并微調后的ＥＭＲ－ＦＴＢＥＲＴ、ＯＨＣ－ＦＴＢＥＲＴ 和ＭＬ－ＦＴＢＥＲＴ 對實驗效果均有提升， Ｆ１ 值分別達到９０.８２％、９０.９４％和９１.４６％， 較表３ 中ＦＴＢＥＲＴ－ＨＧＡＴ 分別提升了０.５％、０.６２％和１.１４％， 表明通過ＢＥＲＴ 進行外部醫學領域知識遷移可有效提升藥物不良反應實體關系聯合抽取的效果。進一步分析發現， 在醫學文獻語料上， 預訓練的ＭＬ－ＦＴＢＥＲＴ對實驗效果提升明顯， 而電子病歷和在線健康社區語料預訓練的提升幅度較小， 主要原因在于醫學文獻相較于其他領域語料包含更豐富的醫療健康領域知識。此外，在３ 種醫學語料基礎上， 預訓練和微調的ＭＦ－ＨＧＡＴ模型實驗效果最優，Ｆ１值較表３中最優模型ＦＴＢＥＲＴ－ＨＧＡＴ提升了２.４３％， 達到９２.７５％， 表明融合多領域醫療健康知識可進一步提升實驗效果。

３.６.３ 實驗三： ＳＯＴＡ效果驗證

實驗一與實驗二給出了本文構建的ＭＦ－ＨＧＡＴ在自構建藥物不良反應數據集上的實驗效果， 為了驗證ＭＦ－ＨＧＡＴ模型泛化能力與ＳＯＴＡ 效果， 本文將ＭＦ－ＨＧＡＴ 模型與ＣＨＩＰ－２０２０中文醫學文本實體關系抽取數據集［４７］ 的現有方法進行比較分析，結果如表５所示。

從表５可以看出， 本文提出的ＭＦ－ＨＧＡＴ 在ＣＨＩＰ－２０２０中文醫學文本實體關系抽取數據集上的聯合抽取效果最優， 在Ｐ、Ｒ 和Ｆ１ 值上均優于主流聯合抽取模型。進一步分析發現， 主要原因在于ＭＦ－ＨＧＡＴ 模型融合多領域外部醫學語義特征，引入關系先驗知識， 并通過迭代融合異構圖注意力網絡消息傳遞機制增強節點表示， 實現了藥物不良反應關系信息和醫療健康領域知識的多語義特征融合， 在ＣＨＩＰ－２０２０醫學文本實體關系抽取數據集上達到ＳＯＴＡ效果。

３.７實例分析

為了更清晰地呈現ＭＦ－ＨＧＡＴ模型在藥物不良反應重疊三元組抽取上的效果， 本文選取ＭＦＨＧＡＴ和ＣａｓＲｅｌ模型測試集上的部分預測結果， 具體實例如表６所示。其中， 第一例是包含一個三元組的簡單例子， ＭＦ－ＨＧＡＴ 和ＣａｓＲｅｌ模型均可進行準確抽取； 第二例和第三例是包含多個重疊三元組的復雜實例， ＣａｓＲｅｌ模型未能提取出以藥物不良反應和時間為尾實體的三元組， 而ＭＦ－ＨＧＡＴ模型能夠提取出所有的三元組， 表明融合外部醫療健康知識和關系語義信息可有效解決藥物不良反應重疊三元組抽取問題， 從而進一步提升藥物不良反應實體關系抽取準確性， 驗證了異構圖注意力網絡在藥物不良反應實體關系聯合抽取任務中的有效性。

４結語

藥物不良反應實體關系聯合抽取是藥物不良反應監測和醫療領域知識組織的關鍵環節。為解決傳統流水線抽取中誤差傳遞、實體冗余和交互缺失問題， 提升重疊三元組抽取效果， 提出了一種基于異構圖注意力網絡的藥物不良反應實體關系聯合抽取模型ＭＦ－ＨＧＡＴ。該模型利用ＢＥＲＴ 預訓練進行外部醫學語料資源知識遷移， 并通過迭代融合異構圖注意力網絡消息傳遞機制令字符及關系節點進行語義融合， 生成更適合關系提取任務的節點表示。在自構建藥物不良反應數據集上的實驗結果表明， 與基準方法相比， ＭＦ－ＨＧＡＴ模型可以解決藥物不良反應三元組抽取中關系重疊問題， 挖掘潛在藥物不良反應知識， 進一步推動醫藥健康領域知識組織和知識服務研究進展。

然而， 本研究也存在一定的局限性。首先， 實驗僅探究了部分藥物不良反應實體關系抽取， 未拓展研究細粒度藥物不良反應事件抽取； 其次， 本研究模型僅引入關系信息作為先驗知識， 尚未考慮融入其他先驗知識進一步提升實體關系抽取的效果。因此， 后續研究將著眼于構建細粒度高質量藥物不良反應實體關系數據集， 并繼續探索更優的圖神經網絡模型，嘗試引入實體主體信息等其他先驗知識，進一步增強藥物不良反應知識的表示能力， 進而提升實驗效果。