基于BERT-BiGRU模型的智慧醫療問答系統

文章編號：2096-1472（2024）03-00011-04

DOI：10.19644/j.cnki.issn2096-1472.2024.003.003

摘"要：針對醫療問答系統在處理復雜問題時面臨上下文語義理解的局限，提出一種基于BERT-BiGRU的模型。通過預訓練語言模型BERT和雙向門控循環單元BiGRU建立醫療問答系統，其中BERT提取文本語義特征，BiGRU學習文本的順序依賴信息，進而全面表示文本語義結構信息。在CBLUE醫療問答數據集上與基準方法相比，該模型在意圖識別任務上的精確率提高到79.22%，召回率提高到81.23%，F1值（精確率和召回率的調和平均值）提高到79.82%。研究表明，結合BERT和BiGRU的模型可以更好地理解醫療問句的語義和結構信息，顯著地提升了醫療問答系統的性能。

關鍵詞：BERT；BiGRU；知識圖譜；意圖識別；醫療問答系統

中圖分類號：TP391.1""文獻標志碼：A

An Intelligent Medical Qamp;A System Based on BERT-BiGRU Model

HUANG Yong， XI Juanxia， GUAN Chengbin

（School of Information Management and Engineering， Guangdong Neusoft University， Foshan 528000， China）

1427217679@qq.com; xijuanxia@nuit.edu.cn; guanchengbin@nuit.edu.cn

Abstract： This paper proposes a model based on BERT-BiGRU to address the limitations of contextual semantic understanding in medical question answering （Qamp;A） systems when dealing with complex problems. A pre-trained language model BERT and a Bidirectional Gated Recurrent Unit （BiGRU）are used to establish a medical Qamp;A system， where BERT extracts semantic features of the text， while BiGRU learns the order dependency information of the text， thereby comprehensively representing the semantic structure information of the text. Compared with the benchmark method on the CBLUE medical Qamp;A dataset， the proposed model achieves an accuracy improvement of 79.22%， a recall improvement of 81.23%， and an F1 value （harmonic mean of accuracy and recall） improvement of 79.82% in intention recognition tasks. Research has shown that combining BERT and BiGRU models can better understand the semantic and structural information of medical questions， significantly improving the performance of medical Qamp;A systems.

Key words： BERT; BiGRU; knowledge mapping; intention recognition; medical Qamp;A system

0""引言（Introduction）

智慧醫療已成為緩解醫療資源短缺的重要手段，智慧醫療通過人工智能^［1］、大數據^［2］、云計算等技術手段對醫療信息進行深度挖掘和分析，可以提高醫療服務的效率和質量，并緩解醫療資源短缺的問題。知識圖譜作為智慧醫療的核心技術之一，能夠將不同來源、不同結構、散亂復雜的醫療數據聯合起來^［3］，構建一個結構化和標準化的醫療知識網絡。

與前人研究不同，本研究構建了基于BERT和BiGRU的智慧醫療問答系統。該系統充分利用BERT學習語義特征，利用BiGRU學習序列特征的優勢，可以更準確地表示文本語義和結構信息。在語義和序列特征表達的基礎上，本研究構建了醫療領域知識圖譜，通過知識圖譜支持問答系統的知識查詢和推理，從而增強問答的覆蓋面和準確性。

1""基于BERT-BiGRU模型的智慧醫療問答系統（Intelligent medical Qamp;A system based on BERT-BiGRU model）

1.1""智慧醫療問答系統的構建與實現

本文構建的智慧醫療問答系統包括以下4個模塊：人機交互模塊、問句語法分析模塊、醫療意圖識別模塊和知識圖譜檢索模塊。用戶通過交互界面輸入文本，輸入的文本會經過自然語言處理的處理流程，包括問句語法分析模塊和醫療意圖識別模塊。在這個流程中，系統能夠自動識別問句中的實體信息和意圖信息，從而準確地理解用戶的需求^［4］。隨后，這些信息被整合轉化為知識圖譜的識別語句，并輸入知識圖譜中進行查詢，最終輸出結果。圖1展示了基于BERT-BiGRU模型的智慧醫療問答系統的組成部分^［5］。

1.2""知識圖譜的搭建

知識圖譜是一種基于圖的數據結構，用于組織和表示知識領域中的信息，并以結構化的方式描述概念、實體和屬性之間的連接。為了構建知識圖譜，采用爬蟲技術從專業醫療數據網站獲取大量的非結構化醫療數據，并使用自然語言處理技術對數據進行清洗、命名實體識別、結構化組織和分類。將處理后的數據存儲在圖數據庫中，并進行驗證、校正和清理，確保數據的準確性、完整性和一致性^［6］。

表1描述了使用Neo4j開源圖數據庫平臺構建醫療知識圖譜的方法和結果。本研究使用py2neo庫和Python腳本，構建了一個Neo4j圖數據庫，成功地提取了7類實體和10類關系，并且每個疾病實體都包含8種屬性。最終的知識圖譜由44 111個節點和294 149對關系組成。通過Neo4j構建的醫療知識圖譜部分節點的展示如圖2所示。

2.1""BERT-BiGRU模型

BERT-BiGRU模型架構如圖3所示，該模型包含輸入層、BERT層、雙向GRU層和Softmax輸出層。

輸入層：使用預訓練BERT模型加載詞Embedding，學習語言的語義與語法知識，將輸入文本序列映射為語義向量序列。由于輸入文本的高級語義信息尚未學習序列信息，所以這時加入GRU層，可以更方便地學習序列特征。GRU層負責學習序列特征，通過循環神經網絡獲得最終隱狀態，將其輸入Softmax層，確定最終的關系類型^［7］。

BERT層：BERT預訓練模型的輸出，獲得輸入文本序列的語義表達。BERT可以學習語言的語義與語法知識，為GRU層提供語義豐富的初始化^［8］。

雙向GRU層：通過接收BERT層的輸出，學習輸入序列的語義和順序特征，并為關系分類判斷提供重要信息。GRU層為輸入序列每個元素提供長距離依賴，最終得出隱狀態。

Softmax輸出層：接收GRU層的結果隱狀態，通過Softmax函數輸出最終的關系類型。通過Attention機制優化分類任務的輸入表示，優化后的GRU輸出被傳入Softmax分類層，以輸出最終的多分類判斷結果。

2.2""BERT-BiGRU模型的結構

本研究提出了一種基于BERT-BiGRU的醫療意圖識別方法。BERT是一個具有Transformer結構的預訓練語言表示模型，它利用雙向注意力機制學習輸入序列的上下文語義信息。BERT可以動態生成輸入詞的向量表示，更好地表示同一詞在不同上下文中的不同含義。與靜態詞向量模型（Word2Vec）相比，BERT具有更強的上下文感知和詞義消歧能力。BERT可以根據輸入序列的上下文動態調整每個詞的向量表示，從而在處理多義詞和短語時表現更佳^［9］。

BERT通過在大規模未標記語料上進行預訓練，學習到通用的語言知識和語義表示能力，使BERT可以進行遷移學習，大大減少任務對專有數據的需求，提高模型性能和訓練效率^［10］。

BERT-BiGRU模型在BERT的基礎上加入GRU層。GRU可以更深入地學習序列的上下文依賴關系，增強模型的語義理解能力。BERT的詞向量輸入被用作GRU輸入，GRU輸出用于各下游任務（如文本分類和序列標注）。

BERT-BiGRU模型結合BERT強大的上下文語義表示學習能力和GRU對長距離依賴關系的建模優勢，它先用BERT進行預訓練學習泛化語言知識，然后將GRU參數初始化為BERT輸出權重。在下游任務中微調GRU，以實現有效的遷移學習。

首先，定義一個問句文本序列X，在其前后加入特殊標記［CLS］和［SEP］，具體如公式（1）所示：

X=［CLS］x₁x₂…x_n［SEP］（1）

其次，將X輸入BERT模型中得到句子的上下文語義，表示為h。其中：x_n表示句子長度，具體如公式（2）所示：

h=BERT（X）（2）

最后，在BERT模型的基礎上添加GRU層，并用于各個下游任務，如文本分類、序列標注等。這種做法可以進一步增強模型對長距離依賴關系的建模能力和語義理解能力。同時，由于BERT提供了輸入詞向量并學習到了泛化語言知識和語義表示能力，因此可以有效地進行遷移學習以獲得更好的效果。

2.3""Encoder層和Decoder層

Encoder和Decoder結構圖如圖4所示。

使用Transformer模型對BERT模型的編碼層進行編碼，具體為使用多層的Self-Attention和前饋神經網絡模塊實現對輸入序列的高級語義信息的抽象和壓縮。通過嵌入層和分段/位置嵌入層，將輸入序列映射為詞向量序列，并為每個詞賦予語義信息和位置信息。這種做法可以更好地利用詞匯之間的語義相關性，并提高模型對序列中不同部分的理解能力。使用LayerNorm層對詞向量序列進行歸一化，使其均值為0、標準差為1，從而讓模型更易于訓練和收斂。使用Self-Attention層實現序列內部的注意力機制，獲得整個序列的上下文信息和詞與詞之間的依賴關系。Self-Attention層的輸出會經過GELU函數激活，引入非線性，之后使用Add amp; Norm層將Self-Attention層的輸出與輸入序列相加，并重新歸一化，以便模型學習輸入序列的殘差信息。使用前饋神經網絡模塊進一步抽象序列信息，得到輸入序列的高級語義表達。通過重復使用Self-Attention和前饋神經網絡模塊，一般為12～24層，實現了多層抽象和壓縮，從而獲得輸入序列的高級語義信息和上下文表示。這種基于Transformer模型的編碼層設計，可以有效地提高BERT模型的性能和泛化能力，并在自然語言處理領域等任務中取得了重要的進展。

2.4""雙向GRU層

GRU通過重置門和更新門控制信息的存儲與遺忘，可以有效解決RNN（循環神經網絡）的梯度彌散問題，它僅需要保留隱狀態和候選隱狀態兩個向量，計算簡單、高效。所以，GRU非常適用于序列建模，可以學習長距離依賴關系。GRU只包含重置門和更新門兩個門控機制，LSTM包含遺忘門、輸入門和輸出門三個門控機制，但是GRU簡單且高效，只需要維護兩個向量，計算過程簡單^［9］。

GRU單元結構如圖5所示。GRU的更新門和重置門對應于“z”門和“r”門。

更新門控制前一隱狀態的信息流入當前隱狀態ht的量。更新門的值越大，表示前一隱狀態的信息對當前隱狀態的影響越大。更新門可以有效地存儲與傳遞長期依賴信息，但也可能導致歷史無關信息的累積。

重置門控制先前隱狀態信息被忽略的量。重置門的值越小，表示更多無關歷史信息被忽略。重置門可以有效地遺忘歷史無關信息，但也可能割斷長期依賴關系。

通過更新門和重置門的協同工作，GRU可以在遺忘無關歷史信息和維持長期依賴信息之間達到平衡。更新門確保重要歷史信息得以保留和傳遞，重置門確保遺忘無關歷史信息，使隱狀態僅保留相關信息。更新門和重置門之間的比例關系決定了歷史信息在當前隱狀態中的比例，實現了對信息的精細控制。公式（3）至公式（6）說明了GRU單元的計算過程。

重置門：

r_t=σ（W_r·［h_t-1，x_t］）（3）

更新門：

z_t=σ（W_z·［h_t-1，x_t］）（4）

候選隱狀態：

h_t=tanh（W_h·［h_t-1·r_t，x_t］）（5）

隱狀態：

h_t=（1-z_t）·h_t-1+z_t·h′_t（6）

3""實驗與結果分析（Experiment and result analysis）

3.1""實驗數據集選擇

為了評估本文提出的模型的性能，使用CBLUE中的QIC數據集對意圖識別模型進行實驗。意圖識別模型使用的是一個包含病情診斷、病因分析、治療方案、就醫建議、指標解讀、疾病描述、后果表述、注意事項、功效作用和醫療費用等數據的中文醫學意圖數據集。該數據集總共包含6 931個樣本，涵蓋醫學領域的很多知識。

3.2""評價指標

為了客觀地評價意圖識別模型與槽位填充模型的性能，本研究采用了三個廣泛應用的評價指標：精確率（Precision）、召回率（Recall）與F1值。

精確率是正確識別的標簽數與識別出的總標簽數之比，反映模型識別結果的準確度，其計算公式如下：

F1值同時考量了精確率與召回率，它是評價模型性能的重要指標。一般來說，性能優異的模型具有較高的精確率、召回率與F1值，因此本研究采用這三個指標評估意圖識別模型的性能。

3.3""實驗設置及結果分析

在實驗中，采用BERT Base預訓練模型，該模型包含12層的編碼器、768個隱藏單元、12個注意頭、110 MB個參數。在PyTorch框架下，通過采用GPU加速來搭建意圖分類模型，以提升模型訓練的速度和效率。在模型參數設置環節，將序列長度設定為128。為了進一步優化模型的訓練效果，選用了Adamax優化算法，并設定學習率為2.5e-5，權重衰減為1e-4。此外，在訓練過程中，還采用了線性學習率調度器，旨在提高模型的最終效果。

為了評估本文提出的BERT-BiGRU模型在意圖分類任務上的性能，選擇多種文本分類模型作為基準，包括FastText、LSTM和Text-CNN，與本文的BERT-BiGRU模型在相同數據集上進行比較。表2展示了本文提出的模型和其他基線模型在Question Intent Classification（QIC）數據集上的實驗結果^［7］。

從表2可以看出，在醫療短文本的意圖識別任務上，LSTM模型和Text-CNN模型的評價指標相近，表現較為穩定。其中，LSTM模型的精確率和召回率分別達到72.72%和68.63%，F1值為70.61%；Text-CNN模型的精確率和召回率分別達到73.40%和70.23%，F1值稍高，達到71.78%。

基于BERT-BiGRU模型的意圖識別模型效果要顯著優于LSTM模型和Text-CNN模型。BERT-BiGRU模型的召回率高達81.23%，精確率達到79.22%，F1值最高時達到79.82%。這是因為BERT-BiGRU模型在大規模通用數據集上進行預訓練，學習到通用的語言知識和豐富的語義信息。在Domain Adaptation階段，BERT-BiGRU模型通過添加分類器和進行微調，有效遷移預訓練的知識用于下游的意圖識別任務，明顯提高了模型的泛化能力和語義理解效果。

對于醫療領域的意圖識別任務，BERT-BiGRU模型具有高召回率。高召回率就意味著模型可以正確識別出更多的正樣本，減少漏報的樣本數，這對于醫療領域的應用而言至關重要，因為只有盡可能識別出所有的潛在醫療意圖，才能最大限度地避免遺漏任何醫療相關的詞匯或短語。同時，BERT-BiGRU模型通過其強大的語言表達能力和豐富的上下文語義信息，可以最大限度地識別出給定文本中的所有醫療相關信息，進而實現更高的召回率。

實驗證明，本文提出的融合模型相比其他基線模型性能更優，即能更好地表示文本的語義信息和應用于醫療領域的意圖識別任務。

基于BERT-BiGRU模型的智慧醫療問答系統輸出結果展示圖（部分）如圖6所示，通過頭痛問題的舉例來看，該系統顯示出較強的理性分析和知識運用能力。首先，系統準確地識別和概括了兩種主要類型的頭痛及其特征，展現出對頭痛的準確分類，且對其成因有深入的理解；其次，針對不同的頭痛類型，智慧醫療問答系統提出了具有系統性和針對性的預防和治療方案。總之，智慧醫療問答系統在解答頭痛相關問題時表現出較強的知識支撐能力和理性思維能力。這為該系統解答更加復雜的問題提供了基礎與保障。

4""結論（Conclusion）

本研究構建了一個基于知識圖譜的醫療問答系統。通過網絡爬蟲技術采集相關數據，建立醫療領域知識圖譜，為問答系統提供知識來源。該系統利用語義分析技術識別問題的意圖和命名實體，鑒于醫療領域訓練數據有限，采用深度學習與規則相結合的方法，應用BERT-BiGRU模型處理意圖識別，應對問題的變化；應用規則模型和詞典進行命名實體識別，準確地抽取實體。在獲得意圖與實體后，系統在知識圖譜中查詢，為用戶生成恰當的響應，完成問答過程。

實驗表明，深度學習模型具有更強的泛化能力，規則模型的性能更為穩定。兩者相結合，可發揮各自的優勢，在少量的醫療領域訓練數據下，提高問答系統的整體準確率。

未來，將繼續探索結合其他技術與方法，進一步提高系統的準確率和實用性。期待更多研究者參與醫療領域的語言理解研究工作，推動該領域的進一步發展。

參考文獻（References）

［1］ RONG G G，MENDEZ A，ASSI E B，et al. Artificial intelligence in healthcare： review and prediction case studies［J］. Engineering，2020，6（3）：291-301.

［2］ 侯夢薇，衛榮，陸亮，等. 知識圖譜研究綜述及其在醫療領域的應用［J］. 計算機研究與發展，2018，55（12）：2587-2599.

［3］ 張元博. 醫療知識圖譜構建與應用［D］. 哈爾濱：哈爾濱工業大學，2018.

［4］ 魏澤林，張帥，王建超. 基于知識圖譜問答系統的技術實現［J］. 軟件工程，2021，24（2）：38-44.

［5］ 孫斌，常開志，李樹濤. 面向醫療咨詢的復雜問句意圖智能理解［J］. 中文信息學報，2023，37（1）：112-120.

［6］ 王智悅，于清，王楠，等. 基于知識圖譜的智能問答研究綜述［J］. 計算機工程與應用，2020，56（23）：1-11.

［7］ 趙丹丹，黃德根，孟佳娜，等. 基于BERT-GRU-ATT模型的中文實體關系分類［J］. 計算機科學，2022，49（6）：319-325.

［8］ 徐建飛，吳躍成. 基于BERT-BiLSTM-CNN模型的新聞文本分類研究［J］. 軟件工程，2023，26（6）：11-15.

［9］ 郝婷，王薇. 融合Bert和BiLSTM的中文短文本分類研究［J］. 軟件工程，2023，26（3）：58-62.

［10］ 吳俊，程垚，郝瀚，等. 基于BERT嵌入BiLSTM-CRF模型的中文專業術語抽取研究［J］. 情報學報，2020，39（4）：409-418.

作者簡介：

黃"涌（2002-），男，本科生。研究領域：大數據與人工智能。

葸娟霞（1992-），女，碩士，助教。研究領域：智能信息處理。

關成斌（1979-），男，碩士，教授。研究領域：大數據技術。

收稿日期：2023-07-12

基金項目：2021年度廣東省普通高校重點領域專項（新一代信息技術）項目“基于大數據的公共交通決策支持技術研究”（2021ZDZX3020）