基于外部知識的藥物相互作用關系抽取方法

王 芳， 龍 欣， 周 剛， 劉寧寧

(1.四川省醫學科學院四川省人民醫院輔助生殖醫學中心， 成都 610110； 2.四川大學計算機學院， 成都 610065)

1 引 言

藥物和藥物的相互作用(Drug-Drug Interactions，DDI)指的是多種藥物被病人在同一時間服用時，不同藥物之間產生的協同或拮抗等作用[1]. 這些作用所帶來的副作用會導致治療費用增加，嚴重的話，甚至會對患者的身體健康造成極大的威脅.因此了解藥物和藥物之間的相互作用知識對于患者的診治和醫學的發展有著非常重要的意義與價值. 現階段已經提出的藥物相互作用關系提取研究，在系統生物學、個性化醫學等[2]許多生物醫學領域具有重要的價值.

現階段的學者們通常從DrugBank[3]，Phar-mGKB[4]等醫學數據庫中獲取藥物相關知識.然而，調研發現，醫學數據庫只存儲了少量DDI.相比而言，相關醫學文獻中記錄的藥物之間的相互作用信息更加豐富. 且現有醫學數據庫主要采用手動的方式更新數據庫，即依靠醫學專業人員從文獻中手動抽取出DDI，這種方法需要的成本高且效率較低.因此，醫學數據庫的更新速度遠遠落后于文獻的增長速度，導致無法充分利用生物醫學文獻中海量的醫學資源. 藥物相互作用關系抽取旨在自動從海量的醫學文獻中高效、準確地抽取出關系來更新醫學數據庫. 此外，藥物相互作用知識在藥物研發、輔助醫生開藥、構建醫學知識圖譜、更新醫學數據庫、預防藥物的不良反應等應用中也發揮著巨大的作用. 自2011年和2013年先后發布的兩個(DDIExtraction2011[5]，DDIExtraction2013[6])對藥物相互作用進行關系抽取的任務起，如何從文本中自動提取DDI逐漸成為研究熱點. 目前在DDI抽取任務上，已經有許多成功應用的方法.

早期對于DDI的抽取通常使用基于規則的方法，其中規則的制定一般需要醫學領域中專業人員的輔助.這種方法的召回率偏低，這是因為語言表達形式具有多樣性，部分藥物之間相互作用關系可能不能被制定的規則所覆蓋. 隨著機器學習技術的日益進步，藥物相互作用關系開始更多地利用機器學習方法來進行抽取. 這類方法的抽取性能很大一部分取決于外部自然語言處理工具的效果.這是因為該方法需要用到大量由詞性標注器、句法分析器等自然語言處理工具生成的如詞性，句法，語法等人工定義的特征. 為了減少人工設計特征所耗費的成本且取得比傳統方法更好的抽取效果，通過利用深度學習技術來自動學習特征并抽取DDI逐漸成為趨勢.

本文提出了一種結合外部知識的藥物關系抽取模型，針對藥物相互作用數據集中存在的樣本數目較少以及不同關系類別樣本數目差異較大的問題，提出將外部藥物知識融入關系抽取模型中. 首先需要對DrugBank藥物數據庫中存在的藥物知識進行抽取，從中抽取出帶有藥物描述信息的藥物相互作用對，以此構建帶有藥物描述信息的數據集. 然后通過在此數據集上進行訓練，得到訓練好的藥物描述信息模型. 最后將該模型與基于注意力機制的藥物相互作用關系抽取模型相結合，即為融入外部知識的藥物相互作用關系抽取模型. 該模型可以有效利用藥物數據庫DrugBank中已有的知識，從而提高模型的抽取效果、緩解不同關系類別之間抽取結果差異過大的問題. 最后，本文模型的有效性也在數據集DDIExtraction2013上得到了驗證.

本文的章節結構安排如下:第2節介紹關于藥物相互作用關系抽取的相關工作；第3節中詳細地描述并展示了本文提出的模型；第4節中通過利用DDIExtraction2013數據集對本文模型的有效性進行了綜合驗證，并與其他模型進行對比；第5節總結全文并提出了未來的發展方向.

2 相關工作

目前，該領域主要有三類方法被應用于提取藥物和藥物的相互作用關系，即基于規則的方法，基于傳統機器學習的方法和基于深度學習的方法.

基于規則方法的重點在于如何從醫學文本中找到合適的規則. 如Segura-Bedmar等[7]提出了一種混合方法來從生物醫學文本中提取藥物之間的關系，該方法結合了淺層分析和模式匹配，通過藥劑師根據專業經驗以及對語料庫中描述DDI語法結構的分析觀察，制定出一組特定的DDI抽取規則，最后在生成的簡單句上應用該規則進行關系抽取. Blasco等[8]認為在醫學文本中存在特定的描述DDI的語句形式，故采用Apriori算法來提取醫學文本中最大頻繁序列，然后利用該序列進行DDI的抽取. Santiago等[9]通過使用臨床資料、科學文獻和社交媒體的數據挖掘研究檢測藥物相互作用. 數據挖掘在DDI分析中具有重要應用：發現藥物之間的不利影響，建立知識數據庫、黃金標準以及抽取新的DDI.

基于傳統機器學習方法的重心在于對各種特征的使用以及核函數的設計. 如Chowdhury等[10]通過從文本中提取出一組觸發詞特征、否定詞特征、句法特征和詞匯特征，然后使用支持向量機完成DDI的抽取. Zheng等[11]提出了一種新型的基于圖的內核函數，該內核函數不僅計算頂點本身的屬性，還計算了頂點的相鄰屬性，從而可以充分捕獲語句的結構信息，提高了抽取效果. Zhang等[12]針對句子結構中存在的噪聲問題，提出了一種圖修剪方法，可以從原始句子結構中修剪明顯的噪聲信息，并強調相關的句法信息. 該方法可以更準確的計算和表示語法結構信息，在當時取得了最佳結果. Chowdhury等[13]提出了一種復合內核的方法，可以充分利用依賴特征、上下文特征以及全局特征等特征，效果比單個的核函數好.

近年來，利用深度神經網絡來對藥物關系進行抽取取得了較好的發展. Liu等[14]通過將單詞嵌入和位置嵌入信息輸入到卷積網絡中，首次提出利用CNN模型來進行藥物關系抽取.實驗結果表明，該方法即使在不提取任何詞性，句法等特征的基礎上，也能取得較好的結果，不僅證明在解決藥物關系抽取問題上深度學習方法是適用的，而且顯示該方法相對于基規則和傳統機器學習方法能取得更好的結果. 為了更好地對句子語義的表示進行獲取，Kavuluru等[15]考慮到相比詞級別的嵌入，字符級別的嵌入更適用于表示形態較為豐富的自然語言，首次將字符級別的循環神經網絡應用到DDI抽取上. Zhou等[16]認為判斷藥物之間的關系，單詞的位置信息有非常重要的作用，為了能更好地利用位置信息，他們提出將BiLSTM層產生的隱層狀態與位置嵌入結合，從而生成位置感知注意力. Zhao等[17]首次使用圖卷積網絡編碼語法圖進行醫學關系的提取，通過將句法知識建模為圖卷積網絡中的邊，將單詞作為節點，利用雙向門控循環單元網絡學習句子的序列特征，圖卷積網絡學習句法圖表示的特征. 實驗結果表明，雙向門控循環單元網絡和圖卷積網絡的結合能夠進一步提高模型性能. Asada等[18]采用卷積神經網絡和圖卷積神經網絡相結合的方法進行DDI抽取，該模型首先利用卷積神經網絡對文本語句進行編碼，然后利用圖卷積神經網絡對藥物的分子結構信息進行編碼，然后將二者的池化層相結合，生成最終的預測結果. 該方法能夠有效利用藥物分子結構信息. Zhang等[19]通過將卷積神經網絡與循環神經網絡相結合，取得了比單個模型更好的結果. Feng等[20]用圖卷積網絡和深度神經網絡結合，提出了一種有效且魯棒的方法，通過利用DDI網絡信息而不是考慮藥物特性來預測潛在的DDI. 該方法在其他與DDI相關的場景中也有用，例如藥物組合指導、檢測藥物副作用等.

3 本文方法

本文提出了一種結合外部知識的藥物關系抽取模型，模型整體流程圖如圖1所示.

圖1 模型整體流程圖Fig.1 Flow chart of model architecture

圖1主要包括三個部分，分別是藥物描述信息數據集構建、藥物描述信息模型以及EK-BiLSTM-Att-CapsNet模型. 各部分的主要內容如下.

第1部分，藥物描述信息數據集構建. 為了更好地利用外部知識來提高模型的抽取效果，在該部分中通過對藥物數據庫DrugBank中的知識進行分析和處理，從中抽取出有相互作用的藥物對，并生成無相互作用的藥物對，同時保留每個藥物的描述信息，以此構建帶有藥物描述信息的藥物相互作用數據集.

第2部分，藥物描述信息模型. 為了更好地利用藥物數據庫中已有的藥物相互作用知識以及藥物描述的相關信息，在本部分中構建基于BiLSTM的藥物描述信息訓練模型，并在第一部分構建的藥物描述信息數據集上進行訓練，保存最優模型.

第3部分，EK-BiLSTM-Att-CapsNet模型. 在本部分中，首先需要對藥物相互作用數據集DDIExtraction2013進行處理，從中識別出藥物實體，再在藥物數據庫DrugBank中找到對應的藥物描述信息，并將該信息保存. 然后將第二部分中保存的最優模型與BiLSTM-Att-CapsNet模型相結合，即為結合外部知識的藥物相互作用關系抽取模型EK-BiLSTM-Att-CapsNet. 最后通過對該模型進行訓練，得到最優的模型，用于藥物相互作用關系抽取.

3.1 藥物描述信息數據集構建

DrugBank是較為知名的藥物數據庫，通過該數據庫可以查詢到藥物的各種信息，如藥物類型、藥物結構、藥物描述信息、藥物別名以及與該藥物之間有相互作用的其他藥物等相關信息. 例如在DrugBank數據庫的查詢框中輸入“Amoxicillin”(阿莫西林)時，頁面就會顯示出所有與Amoxicillin相關的信息，如圖2所示.

圖2 DrugBank數據庫藥物查詢示例Fig.2 Example of DrugBank database inquiry

通過對藥物數據庫中藥物的各種信息進行分析，我們發現藥物的描述信息是對該藥物的詳細介紹.在描述信息中一般包括該藥物適用的疾病類型、組成成分、作用效果等信息. 兩個藥物的描述信息中，有可能隱含著這兩個藥物之間的潛在關系，有助于判斷二者是否存在相互作用關系. 因此本文從藥物的各種信息中，選用藥物的描述信息作為本文模型使用的外部知識之一. 在對DrugBank中的信息進行處理后，從中共計獲取到11 930個藥物以及對應的描述信息.

在藥物數據庫DrugBank中，每個藥物的相關信息中包含與該藥物有相互作用的藥物信息，通過對該信息進行處理，可以從中抽取出有相互作用的藥物對，以此利用DrugBank中已經存在的大量的藥物相互作用的相關知識. 由圖2可以看出，與Amoxicillin有相互作用關系的有Tienilic acid、Vecuronium、Ulipristal以及Trestolone等藥物，即可產生如下幾組有相互作用的藥物對：(Amoxicillin，Tienilic acid)、(Amoxicillin，Vecuronium)、(Amoxicillin，Ulipristal)、(Amoxicillin，Trestolone).

由于模型訓練用到的數據集不僅需要有相互作用的藥物對，還需要無相互作用的藥物對，即數據集中需要正樣本和負樣本同時存在.而藥物數據庫中不存在現成的無相互作用的藥物對，故本文為了得到無相互作用的藥物對，首先根據藥物編號隨機組合兩個藥物實體為一組藥物對，然后從中把有相互作用的藥物對過濾掉，即可得到無相互作用的藥物對. 為了不對實驗結果造成干擾，我們將DDIExtraction2011和DDIExtraction2013數據集中出現過的藥物對過濾掉.

經過上述數據處理操作，即可構建成帶有藥物描述信息的藥物相互作用數據集.該數據集中的兩個藥物之間的關系有兩種，分別是有相互作用關系和無相互作用關系. 本文通過對DrugBank中的藥物信息進行處理，獲取了總計60萬組有相互作用的藥物對，并隨機生成了60萬組無相互作用的藥物對.將其按照一定的比例劃分為訓練集、驗證集、測試集，數據集的詳細信息如表1所示.

表1 藥物描述信息數據集

3.2 藥物信息描述模型

為了更好地利用藥物的描述信息，我們設計了藥物描述信息模型.該模型共由五層構成，分別是輸入層、嵌入層、BiLSTM層、全連接層、輸出層，如圖3所示.

由圖3可以看出，該模型首先將兩個藥物實體的描述信息作為模型的輸入，并在嵌入層中將輸入層的文本轉換為向量表示. 然后利用BiLSTM層分別獲取到兩個藥物描述信息的長序列依賴信息，并對該信息進行處理. 最后經過softmax等操作，得到最終的結果. 模型各層詳細的內容介紹如下.

圖3 藥物描述信息模型結構Fig.3 Structure of drug description information model

(1) 輸入層：在該層中，將兩個藥物實體對應的描述語句進行輸入.藥物實體1的描述語句用p表示，p={p1,p2,…,pi,…,pn}，藥物實體2的描述語句用q表示，q=(q1,q2,…,qi,…,qn).其中pi和qi分別表示藥物實體1和藥物實體2的描述語句中的第i個單詞.

(1)

(2)

將藥物實體1的描述信息p經過BiLSTM層之后，可以表示為h1∈RN，藥物實體2的描述信息q經過BiLSTM層之后，可以表示為h2∈RN.將二者拼接，即h*=[h1;h2]∈R2N送入全連接層中，其中N表示BiLSTM隱藏層單元數目.

(4) 全連接層：由于BiLSTM的輸出維度為2N，而輸出層的節點為關系類別數目m，故需要使用全連接層進行線性變換.如式(3)所示，其中W(fc)和b(fc)為全連接層的參數.

output=W(fc)·h*+b(fc)

(3)

為了提高模型的泛化能力，降低模型過擬合的風險，我們在全連接層應用Dropout機制.其思想是在訓練過程中，從神經網絡中隨機丟棄神經元(以及它們的連接)，以此緩解神經元之間過度協同適應[21].

(4)

(5)

該模型使用3.1節構建的帶有藥物描述信息的藥物相互用數據集進行訓練，并將取得最優結果的模型進行保存.

3.3 EK-BiLSTM-Att-CapsNet模型

為了充分利用外部藥物描述信息和藥物相互作用知識，本文將3.2節中保存的最優的藥物描述信息模型與基于注意力的藥物關系抽取模型相結合，構成EK-BiLSTM-Att-CapsNet模型. 該模型將藥物的描述信息作為低層膠囊網絡的一部分，然后將其動態的傳輸到高層膠囊網絡中，從而更好地使用藥物描述信息，此外，藥物描述信息模型是在構建的藥物相互作用數據集上進行訓練得到，該數據集是對藥物數據庫中已有的信息進行處理得到，故可以充分利用外部已有的藥物相互作用知識. EK-BiLSTM-Att-CapsNet的模型結構如圖4所示.

圖4 EK-BiLSTM-Att-CapsNet模型結構Fig.4 Structure of EK-BiLSTM-Att-CapsNet model

假設輸入原語句Soriginal，該語句中兩個藥物實體之間的最短依存路徑為Ssdp，原語句中的兩個藥物實體在DrugBank中的描述信息分別des1用和des2表示.

如圖4上部所示，將以文本表示的Soriginal和Ssdp經過嵌入層，可得到以向量形式進行表示的Soriginal和Ssdp，再將二者分別送入BiLSTM層，即可得到原語句的長序列依賴信息Horiginal和最短依存路徑的長序列依賴信息表示Hsdp.語句中不同單詞的重要性不同，因此將單詞級別的注意力機制應用在原語句Horiginal上，即可得到加權后的Horiginal. 為了緩解使用最短依存路徑可能造成的噪聲干擾問題，在Horiginal和Hsdp應用句子級別的注意力機制，可以有效地將原語句信息和最短依存路徑信息相融合，用Hall表示.

如圖4下部所示，兩個藥物的描述信息des1和des2經過嵌入層之后，我們將其分別送入BiLSTM層，即可得到相對應的BiLSTM隱藏層輸出Hdes1和Hdes2，將二者結合，即可得到Hdes=[Hdes1;Hdes2].

將Hall以及Hdes分別經過卷積操作，得到低層膠囊表示，uall=(u1,u2,…,um)和udes=(u1,u2,…,un)，其中m和n分別表示Hall產生的低層膠囊個數，以及藥物描述信息Hdes產生的膠囊個數. 二者共同構成膠囊網絡層的低層膠囊u=[uall;udes].低層膠囊向高層膠囊傳輸的信息量可以利用膠囊網絡層的動態路由機制來動態地控制，這樣就可以動態地利用藥物描述信息這一外部知識.

本模型采用的損失函數，如式(6)所示.

Lk=Tkmax(0,m+-‖vk‖)2+

λ(1-Tk)max(0,‖vk‖-m-)2

(6)

4 實 驗

4.1 數據集介紹以及評價指標

本文采用DDIExtraction2013數據集來進行實驗，該數據集是由792篇DrugBank中的醫學文本和MedLine中的233篇摘要組成，并事先對藥物實體進行了標注.因此，識別出藥物實體不需要經過命名實體識別等操作. 該數據集中共有如下5種藥物相互作用類型.

(1) Advice：文本中描述了同時使用兩種藥物時的建議.

(2) Effect：文本中清楚地表明了兩種藥物相互作用的結果.

(3) Mechanism：文本中明確討論了藥物動力學機制.

(4) Int：文本中表明兩種藥物有一定關系，但具體關系類型沒有被定義

(5) Negative：相互作用關系并沒有存在于兩種藥物之間.

數據集的詳細信息見表2. 本文采用精準率，召回率和F1值這三個指標來對實驗結果進行評價.

表2 DDIExtraction2013 數據描述

4.2 參數設置

我們將藥物描述信息的長度設置為50，并將單詞轉換為300維的Glove詞向量.對于未在Glove詞表中出現的單詞，我們采用隨機初始化的方式表示該單詞的詞向量.膠囊網絡的迭代次數設置為3，Batchsize設置為64，dropout取值為0.5，學習率設置為0.001，藥物描述信息模型的迭代次數設置為50，EK-BiLSTM-Att-CapsNet模型的迭代次數設置為35，模型損失函數中的m+為0.9，m-為0.1，λ為0.25.

4.3 實驗結果

為了驗證模型的有效性，我們從以下三個方面進行實驗，分別是消融實驗、不同關系類別上的結果對比以及與現有方法的對比實驗.

(1) 消融實驗.為了驗證本章模型的有效性，即驗證本章模型中利用的藥物描述信息以及藥物數據庫DrugBank中已有的相互作用知識是否有用，設計消融實驗，在DDIExtraction2013數據集上的實驗結果,如表3所示.

表3 消融實驗結果

由消融實驗結果可以看出，在直接添加外部的藥物描述信息后，模型的F1值提高了0.27%，說明藥物描述信息中存在對藥物相互作用關系判斷的信息.通過使用該信息，可以提高模型的抽取效果. 在使用DrugBank中的帶有藥物描述信息的藥物相互作用數據集進行訓練后，模型的效果提升了0.73%.這證明了外部藥物數據庫中已有的知識對于模型抽取效果的提升有很大的幫助. 消融實驗的結果表明，我們提出的模型可以有效利用外部已有的藥物描述信息，同時可以利用DrugBank中已有的大量的藥物相互作用知識，有助于提高模型的抽取結果.

(2) 不同關系類別上的結果對比.通過對數據集的分析可知，數據集中不同類別的數目相差較大，因此可能造成不同類別的預測結果相差較大.為了驗證利用藥物描述信息能夠緩解該問題，將本文模型與相關模型在不同類別上的實驗結果進行對比，具體信息如表4所示.其中Xu等[22]提出的BR-LSTM和Sahu等[23]提出的Joint AB-LSTM都是基于LSTM的模型.

由表4可以看出，對比模型的不同類別之間的最大F1值差值在31.35%到36.15%之間浮動，與他人模型相比，使用本文模型不同類別之間的F1值最大相差僅為25.34%，較大降低了不同類別的F1值之間的差距. 由此可見，與其他模型相比，本章提出的模型能夠有效緩解因不同類型樣本數目差異較大造成的抽取結果差異較大的問題.更直觀的結果如圖5所示.

表4 不同關系類別上的實驗結果

圖5 不同類別間的最大F1差值Fig.5 Maximum F1 score difference between different categories

由圖5可以明顯看出，與其他模型相比，本章提出的EK-BiLSTM-Att-CapsNet模型的不同類別之間的F1值差距較小，能夠較好地緩解數據集中因不同類別的數目差異較大造成的不同類別的F1值差異較大的問題.

(3) 與現有方法的對比實驗.目前在藥物相互作用關系抽取任務上，已有大量的研究人員設計出了多種關系抽取模型，并進行了大量實驗.為了驗證本文模型的有效性，將本文模型與現有模型在DDIExtraction2013數據集上的實驗結果進行對比.

本文對比了不同模型在DDIExtraction 2013數據集上的實驗結果.其中Quan等[24]提出的MCCNN基于卷積神經網絡進行自動特征提取；Wang等[25]的模型通過將基于依賴的技術引入Bi-LSTM，建模藥物之間的依賴關系；Yi等[26]的模型通過將一個循環神經網絡結合多個注意力層從生物醫學中提取 DDI文本.實驗結果如表5所示.

表5 不同模型在DDIExtraction2013數據集上的實驗結果

由表5可以看出，本文模型的F1值比其他文獻中最佳模型高2.47%.實驗結果表明，與現有模型相比[27-28]，本文提出的模型能夠更好地自動抽取藥物之間的相互作用關系.更直觀的結果如圖6所示.

圖6 不同模型在DDIExtraction2013數據集上的F1值

5 結 論

本文充分利用了外部藥物數據庫中的相關信息，使用膠囊網絡的結構進行藥物關系抽取. 實驗結果表明，本文模型不僅提升了抽取效果，還降低了不同類別抽取結果差異較大的問題. 在未來的工作中可以嘗試借助藥物的其他信息進行輔助.此外，還可以考慮使用遠程監督的方法，用于解決數據集中樣本數目過少以及不同類型樣本數目差異較大的問題.