醫學文獻閱讀增強深度學習方法＊

阮群生，謝運煌，柯漢平，吳清鋒

(1.贛州師范高等專科學校自然科學與計算機系，江西 贛州 341000；2.寧德師范學院信息與機電工程學院；3.廈門大學信息學院)

0 引言

隨著醫學水平的不斷提高，民眾的健康保健意識不斷增強。但受制于看病難和看病貴等問題，越來越多的民眾傾向于通過互聯網獲得第一手的醫學相關信息，然而，理解醫學專業知識是一件費時費力的事[1]。因此，網上出現了一些醫學問答社區，如拇指醫生（https://muzhi.baidu.com），好大夫（https://www.Haodf.com），春雨醫生（https://www.Chunyuyisheng.com）等，對大多數問答做出高質量的詮釋，可以幫助用戶理解專業知識。

本文對關鍵詞抽取/檢索[2-3]和深度學習[4-5]進行研究。目前，關鍵詞抽取及文本檢索的研究最具代表性的是TF-IDF[6]方法，該方法結合了詞頻和逆文檔頻率，對詞語的權重進行量化，易于計算，但也存在著語料庫依賴嚴重的問題。深度神經網絡在計算機視覺和語音識別已取得突破性應用，特別是在文本檢索領域[7-8]。不同于排序學習方法，深度神經網絡能夠自動提取查詢和文本內容中的特征，相比于傳統的機器學習方法，它在復雜的學習任務上能表現出更強的學習能力。

本文針對一篇醫學文獻或一段醫學專業詞匯的描述文字，提出一種新穎的醫學文獻閱讀知識增強方法，方法的構建步驟是：首先將文獻中的內容或醫學專業詞匯描述文字劃分為不同的片段，并對片段中的關鍵詞做抽取，生成關鍵詞層級劃分樹；接著，基于片段對應的關鍵詞，設計基于注意力機制的卷積神經網絡，藉此把片段關鍵詞與相關的醫學社區問答內容（也稱醫學專業問答知識庫）進行融合學習和關聯，根據關聯的Top 概率排名從問答知識庫提取知識，并把其鏈接到對應的文本片段。這樣能夠幫助缺乏醫學背景的用戶更好地了解到相關醫學背景知識，有助于患者對專業知識、專業文獻的了解，亦能幫助醫生對專業知識的拓展和加深理解。

1 醫學文獻閱讀增強方法

1.1 關鍵詞層級劃分樹(HST)設計

給定一篇醫學文獻或一段醫學專業文本內容D，對于關鍵詞層級劃分樹(Hierarchy Selection Tree，HST)的設計如下。

首先，根據句子和段落邊界，將內容D劃分為若干片段S={s1,s2,…,sk}，其中片段si(1≤i≤k)可以由不同的句子或者段落構成，這些片段均可使用文本分詞工具對其進行詞語的切割。經切割后，每個片段可由若干個詞語構成W={w1,w2,…,wh}，進而使用word2vec 模型把切割得到的詞語wh轉化為特征向量表示。基于每個片段詞粒度的向量特征表示，在HST 結構中，可以通過計算得到不同文本片段之間的相似度。具體為：給定兩個文本片段si,sj，其中si的詞語特征向集為{}，sj的詞語特征向集為{}，則可設任意si,sj兩個片段中詞語對的向量特征表示()，這里有1≤g≤m,1≤h≤n，本文采用余弦相似度方法計算文本片段之間的相似度SIM(si,sj)，文本之間的相似度計算方法如式⑴所示。

接著，由式⑴計算出不同文本片段之間的相似度結果，再對不同片段進行聚類。例如，基于上述相似度的計算，可以將所有的文本片段聚為M個類，其中每個類pi都由若干個片段組成。為衡量類pi的聚類效果，使用式⑵所示的qi函數來評估，其中center表示qi的中心向量。

對于給定的k個文本片段S={s1,s2,…,sk}，在HST，聚類個數為b(1≤b≤k-1)，聚類結果是{p1,p2,…,pb}。為了得到劃分后的聚類效果最優解f(k,b)，可使用動態規劃算法。劃分任務的最優子結構的計算為式⑶所示。

其中，q(i,k)是類(片段i到片段k)的聚類效果。采用最優子結構的思想，k個文本片段劃分為M個類的問題就可以分解為將i-1個文本片段劃分為M-1個類的子問題。

在動態規劃之后，則可以使用數組Boundary 中的值通過回溯構造k個文本片段。需要說明的是，該數組還包含用于將M個分區中分組為v(1 ≤v≤b-1)文本段的最佳聚類。因此，可以通過堆疊這些最佳聚類來獲得文本D的層次結構。因此，葉子層是文本D劃分為M個類的最優聚類，而其上一層將是文本D劃分為M-1個類的最優聚類。如圖1所示顯示了從有關數據挖掘的真實文本文檔生成的聚類層次結構,被劃分為10 個文本片段，經如動態算法調整后，文本片段亦可被劃分為{(s1,s2),(s3,s4),(s5,s6),(s7,…,s10)}四類，此時，文本聚類效果最優。在每個級別中，只有其中一個節點被分成兩個，簇數在每一水平級中增加一個。因此，同現有工作相比，所提出的方法獲得了兩個明顯的好處。一是可保證結果是全局最優解，而不是局部最優解；二是可以通過運行動態規劃算法來構建層次聚類，且一個文本D只需構建一次層次結構樹。層次結構樹如圖1所示。

圖1 關鍵詞層級樹示例

基于文本片段構建的層級樹結構，接著需對層級樹中每個結點進行關鍵詞抽取。與在關鍵詞抽取中經常使用到的TFIDF 技術不同的是文中結合了語義網絡，借助獲得不同詞語之間的語義關系，從而提高關鍵詞抽取的準確率。首先，將樹中結點文本內容中出現的詞語都表示為圖節點，用圖中邊的權重來表示不同詞語之間的關聯程度。現設有詞語對(wi,wj)，經采用word2vec 模型轉化后的特征向量對()，詞語之間的關聯度計算如公式⑷：

其中，count(wi,wj)表示詞語wi和詞語wj在文本中共同出現的次數，count(wi)和count(wj)分別表示它們單獨出現的次數，λ為權重系數。

借助于語義圖，統計出每個節點中所有詞語對的連接邊權重之和，根據設定的閾值，把超過閾值權重之和為最高的詞語計入關鍵詞集合，之后，從語義網中剔除已被計入的關鍵詞，并在剩下的節點中重復挑選出權重之和最高的節點及其關聯程度高的節點作為一個關鍵詞組，直到形成K個關鍵詞組。遍歷層級樹中的所有結點做關鍵詞抽取，并將抽取出的關鍵詞組添加到層級樹中的每個結點中。通過簡單的層級樹，結合語義網絡抽取出來的關鍵詞，則可生成關鍵詞層級劃分樹HST。接著，需要為每一個文本片段生成查詢關鍵詞組合，首先在HST 中找到該片段對應的葉節點，為了保持針對文本片段內容生成的查詢關鍵詞序列的全局性，自底向上遍歷所有的父節點，得到關鍵詞序列。例如，在圖1 中，結合文本片段S6內容，遍歷結點1，2，5，9，可得到片段S6對應的關鍵詞查詢序列。

由上述分析可知，關鍵詞層級劃分樹通過文本內容之間的相似度聚類得到不同的文本簇，并通過語義圖抽取出文本簇對應的關鍵詞，很大程度上提高了給定文本片段的關鍵詞提取效率，既能保證從文本內容中提取查詢關鍵詞的局部性，又保留了關鍵詞的全局性。

1.2 醫學文獻閱讀增強模型

在前文論述基礎上，現假定某文本內容中的一個片段對應的查詢內容q和社區問答的文本內容d，對它們進行處理，可得到對應的字符嵌入特征表示wq,wd。為了實現根據查詢內容q從文本內容d中提取相似度最吻合的問答知識內容，文中將設計一個醫學知識理解增強輔助系統來完成知識提取的任務。

如圖2所示，首先向系統輸入一個醫學文本D，系統將文檔分層地分割成連貫的文本片段D={s1,s2,…,sk}。之后由系統相應的功能模塊對文本片段進行特征向量化、相似度計算等初始化操作；接著再由K-Means方法、動態規劃算法和語義網絡對文本的分割片段進行聚類，并建立關鍵詞HST 樹，通過HST 的樹形層次結構，抽取具有局部和全局信息特征的查詢關鍵詞序列；最后，由系統中lwCNN 模塊完成以查詢關鍵詞序列為信息檢索條件，向Q&A知識庫提取排名順序的問答內容，并將它附加到醫學文本D中，以此幫助用戶達到增強對醫學專業知識理解的目的。

圖2 醫學文獻閱讀增強模型整體邏輯結構

1.2.1 卷積神經網絡主體結構設計

卷積神經網絡是一種具有局部連接，權重共享等特性的前饋神經網絡，在特征表達方面相比于人工設計特征具有更強的判別能力和泛化能力。它最早被應用在計算機視覺領域，隨后逐步擴展到自然語言處理和語音識別等領域。卷積神經網絡在處理文本時，通過設置卷積核的不同寬度和高度，能夠有效捕捉到多個連續字詞之間的特征，在文本分類等任務上都有重要的應用，例如，TextCNN，DCNN 等深度卷積網絡類型的方法被廣泛地用于文本處理中，且取得了很好的應用效果[9]。

基于CNN 在文本特征提取上的優越性，本文在卷積層應用了多個卷積核。為了構造tri-gram特征，本文采用了大小為3 的滑動窗口，構造了卷積核h∈R3*k，其中k是對應字符嵌入向量的維度大小。因此，對于給定字符嵌入向量wq,wd和一組卷積核{h1,h2,…,hm}，卷積層輸出Q,D的計算如式⑸所示。

醫學文本處理的網絡卷積層結構設計為如圖3所示的網絡。

圖3 醫學文本處理的卷積神經網絡結構

1.2.2 基于卷積神經網絡的注意力機制網絡設計

基于HST 形成的關鍵詞查詢q和文本內容d，有針對性地在基于卷積神經網絡中加入注意力機制模塊，以實現對查詢相關內容更好、更準確地搜索，本文把融入注意力機制模型的卷積神經網絡稱為lwCNN。對于給定查詢q和社區問答文本內容d，lwCNN 首先獲取q,d的字符嵌入特征表示wq,wd，通過卷積神經網絡和注意力機制對wq,wd提取抽象特征Aq,Ad，最后計算得到q和d之間的相關程度rel(q,d)。lwCNN 模塊的邏輯結構如圖4所示。

圖4 lwCNN模塊

傳統的卷積神經網絡在卷積層操作之后，直接使用池化層，如最大池和平均池，對卷積層提取出來的特征向量在字詞級做進一步處理。這樣的池化操作簡單地將所有字詞權重都等同起來，只取特征的最大化或平均表示，不能有效地將所有信息都利用起來。不同于傳統的池化操作，lwCNN 考慮到文本中的每個字符占比不一致的問題，用注意力機制獲得權重向量來表示每個字符對整個文本的影響作用。因而，基于給定的權重向量以及卷積層的特征向量表示，lwCNN計算得到最終特征向量表示。

lwCNN 中的注意力機制基于雙向長短時記憶網絡(Bi-LSTM)，給定一組特征向量表示，能夠得到相應位置的權重大小。Bi-LSTM 由前向LSTM 和后向LSTM 共同組成，它是循環神經網絡(RNN)的一種變形，其通過記憶細胞，有選擇性記憶前后文信息，從而更準確獲得該位置的上下文信息。LSTM 模型包括隱層狀態h，遺忘門f，記憶門i和輸出門o，對于給定輸入xt，它的計算過程如式⑹所示。

給定輸入序列(x1,x2,…,xm)，Bi-LSTM 通過前后向遍歷文本序列，連接前向LSTM 隱藏層狀態∈Rm*c和后向LSTM 隱藏層狀態∈Rm*c，最后輸出h∈Rm*2c。其計算方法如式⑺所示。

在注意力機制中，本文采用點積模型[8]，通過構造參數矩陣U∈R2c*1，使用Softmax函數計算得到字符集的權重向量S∈Rm*1，其算式如下：

接下來，重點介紹圖4 中的rel(q,d)的計算方法，具體為：

對于給定查詢q和社區問答d對應的卷積層輸出Q,D，lwCNN通過注意力機制計算得到權重向量Sq,Sd，并得到最后的特征向量表示Aq,Ad。其算式如下：

lwCNN 采用余弦相似度作為相似度的衡量標準，因而對于查詢和問答內容他們最后相關度rel(q,d)的計算公式如下：

1.2.3 字符嵌入模塊設計

為了將查詢內容擴展到醫學領域，同時解決傳統分詞工具對專業醫學術語的錯分現象，本文提出了字符嵌入的特征表示。對于給定的文本內容，將文本內容劃分為一個個漢字，并對漢字進行向量特征表示的學習。基于word2vec 模型，本文設計的字符嵌入學習模型主要有兩種:CBOW模型，Skip-gram模型，它們都采用了三層神經網絡結構，輸入層，輸出層和隱藏層。CBOW 模型通過上下文字符來預測中間字符，例如，當上下文取值為4，輸出層輸入前后8 個字符，輸出層輸出所有字符對應的Softmax 概率。為了最大化中間字符對應的概率值，本文通過反向傳播算法不斷訓練神經網絡的參數并更新字符對應的向量。Skip-gram模型則使用中間字符來預測上下文字符。

1.2.4 損失函數設計

給定標注了相關性的訓練集，本文對lwCNN 網絡進行訓練。對于一個查詢q，將標注為相關的社區問答內容作為d+，不相關的社區問答內容作為d-。通過lwCNN，本文計算得到查詢和回答內容之間的相關性分別為rel(q,d+)和rel(q,d-)。為了提高網絡對相關性判別的能力，可最大化rel(q,d+)和rel(q,d-)之間的差距，以此來增大相關內容對應的相關度rel(q,d+)，減小不相關內容的相關度rel(q,d-)。損失函數構建如下：

其中，margin是設定的最小差距。對于數據中的所有查詢，本文最大化相關正樣本與不相關負樣本的相關度差距，使用梯度下降算法使得損失函數的值降到最低，不斷優化模型的參數，從而得到lwCNN 模型參數用于驗證集和測試集的預測。

2 模型實驗

2.1 數據集

為了驗證lwCNN 模型在醫學領域的檢索效果，選用數據集cMed[10]作為文中模型的實驗測試數據，該數據集的采集來自于醫學問答社區網和尋醫問藥網。用戶可以在網站社區提問，具有認證資格的醫生可以針對用戶的問題進行回答。該數據集一共收集了54000 個問題和101743 個答案，并對這些問題和答案都做了相關性標注。該數據集分為訓練集、測試集和驗證集。詳細信息如表1所示。

表1 cMed數據集信息

2.2 模型評估指標

為科學客觀評估模型的質量，選用P@5，MAP 和MRR 三個指標來衡量模型對于實驗數據集的檢索效果。P@5 能夠衡量檢索答案的精確率，對于大小為size的問題集合Q中的每個問題，統計前5個檢索結果中相關結果的數目count，其計算方法如式⑿所示。

MAP 是精確率AP 的平均結果。對于大小為size的問題集合Q中的每個問題，獲得所有相關結果的排序(p1,p2,…,pn)。通過計算每個問題的AP，MAP 的計算方法如式(13)所示。

MRR將排序結果的倒數作為其準確率，對于大小為size的問題集合Q中的每個問題，獲得第一個相關結果的位置p，MRR指標的計算公式如式⒁。

2.3 實驗結果及分析

為了驗證lwCNN 在中文醫學文本檢索的性能，本項研究就基于層次樹動態文本分割模塊和文本特征注意力模型兩個方面，分別執行了多組消融實驗。最后，開展了文中模型同傳統的BM25、TF-IDF 模型、Bi-LSTM、CNN 以及其他優秀的基準算法的對比實驗，并對實驗結果進行定量與定性分析。

2.3.1 注意力機制的影響實驗

為了探究注意力機制對lwCNN 的影響，在實驗數據集上，分別執行了CNN 和lwCNN 兩種網絡模型的信息檢索能力。不同于lwCNN，CNN對給定字符嵌入表示，通過卷積操作和最大池化操作，得到相應的特征表示。而lwCNN通過注意力機制，融合了句子中字符的權重，能得到更為精確的特征表示。實驗結果如表2所示。

從實驗結果可以發現，本文的lwCNN 在p@5，MAP和MRR指標值上均有1.5%，5.4%和4.6%左右的提升。這表明，注意力機制有效地利用了所有文本的特征信息，通過計算字符的權重，能幫助卷積神經網絡提取更合適的特征表達，從而提高關鍵詞檢索的性能。

2.3.2 與傳統文本檢索方法對比

首先，為了驗證神經網絡對于檢索性能提高的影響，本文對比了傳統文本檢索方法的實驗效果。在傳統的文本檢索方法中，選取了應用較為廣泛的BM25以及TF-IDF 算法作基準方法。這些基準方法的檢索是對語料信息進行統計分析，在文本檢索任務上都表現出了較為出色的性能。

BM25 采用了相關度計算公式來表征問題和文本之間的相關性，考慮了查詢中每個語素qi的權重wi，每個語素qi與文本d的相關性R(qi,d)以及文本的長度dl三方面因素，計算公式如下：

其中，k1,b為調節參數。TF-IDF 模型對于給定語料庫，首先對文本進行分詞，詞干提取，去除停用詞等操作。然后通過統計詞頻和逆文檔頻率，將問題和文本都表示為TF-IDF 組成的向量，通過計算余弦相似度，來統計它們之間的相關性。

傳統的文本檢索方法只需統計文本中的詞頻、逆文檔頻率、文檔長度等信息，因此對于BM25 公式，本文設置的參數為：k1=2,b=0.75；對TF-IDF 方法，本文計算語料中詞語的TF-IDF 值，以此來表示文本對應的TF-IDF 向量，并按照相關度進行排序。最終得到的實驗結果如表3所示。

從表3 中可以看出，BM25 和TF-IDF 算法的實驗結果則較為相近，沒有明顯差別。而lwCNN 相比這兩種傳統的檢索方法，有著明顯的優勢。在p@5 上，lwCNN 提高了約5%。在MAP 和MRR 兩個指標上，則分別提高了約11%和9%。因此，lwCNN 相比于傳統的文本檢索方法，檢索性能有大幅度的提高。它解決了傳統文本檢索方法忽略文字之間語義關系的問題，能得到更準確的文本相關度。

2.3.3 與深度網絡算法對比

為進一步探究lwCNN 與其他深度網絡算法或模型的不同檢索效果，本文選用Bi-LSTM、文獻[11]、文獻[12]中的方法作為對比神經網絡模型。

Bi-LSTM 通過對上下文信息進行有選擇性的記憶，能基于上下文提取出長文本中的重要信息，為文本內容提供了更豐富的特征表示。給定數據集，本文先基于字符嵌入將問題和文本都表示為特定的向量，然后分別輸入上述三個基準模型以及lwCNN 網絡中，得到相應的特征向量后計算余弦相似度來表示它們之間的相關性。基于相關性排序結果，本文評估這兩種網絡在數據集上的檢索性能。

本次實驗中，本文首先對數據集的語料信息進行預處理，得到查詢和文本內容的字符嵌入向量。因此，結合數據集中的字符統計信息，本文把問題的字符長度固定為100，答案的字符長度固定為200，并設置特征向量的維度為50。對于Bi-LSTM 網絡，本文設置該網絡的隱藏層單元數為100。在lwCNN 網絡中，卷積核的數目被設定為128。基于兩種網絡的相似度排序結果，本文通過多組實驗得到對比結果如表4所示。

表4 與神經網絡對比實驗結果

表4 顯示，Bi-LSTM 網絡在檢索性能方面明顯弱于lwCNN，其他優秀的改進模型檢索質量同本文模型較為接近。從實驗結果來分析可得知：由于受到中文醫學文本的特性所影響，在中文醫學文本中，句子中的上下文信息往往不夠明顯，長距離下文字之間的關聯性較弱；而句子中連續的字詞之間則有明顯的聯系。因此，使用卷積神經網絡捕捉連續字詞之間的關系，往往能獲取更好的局部特征表示。

綜合分析上述三組實驗，可以得知：

⑴傳統的BM25和TF-IDF在各項實驗結果上的表現都比較差，相比之下，加入了神經網絡之后的模型，如Bi-LSTM，CNN 以及lwCNN，在各項指標下都有明顯的優勢。

⑵相對于Bi-LSTM 經典及其他改進的優秀神經網絡模型，lwCNN有更好的檢索效果。

⑶去除了注意力機制的lwCNN，在各項檢索性能上都出現了下滑。

⑷lwCNN在所有的實驗方法中表現性能最佳。

上述實驗結果亦表明：lwCNN 能夠在問答知識庫中準確地檢索出與查詢問題高度相關解答內容，且在cMed數據集上表現出良好的性能。

3 結束語

本文提出關鍵詞劃分樹(HST)和基于注意力機制的卷積神經網絡(lwCNN)，分別用于醫學文本的關鍵內容抽取和社區醫學問答內容的檢索。針對給定的醫學文獻，HST 將文獻內容劃分為不同的片段，并對片段進行關鍵詞抽取。對于給定片段形成的關鍵詞查詢，lwCNN 檢索相關醫學問答內容鏈接到相關片段上。實驗證明，lwCNN 能有效地檢索出相關醫學問答內容。結合關鍵詞劃分樹，本文方法有助于用戶醫學文獻的閱讀及醫學專業知識學習，一定程度上給用戶帶來更好的閱讀體驗，促進其對智能醫學相關管理系統的黏性。未來，將進一步優化內容檢索模型，提高檢索性能，擴大醫學專業知識檢索庫，采用Transformer等優秀的大型預訓練模型，來提升醫學社區問答內容檢索的精度。