基于意圖—槽位注意機制的醫(yī)療咨詢意圖理解與實體抽取算法

摘要：自然語言理解作為醫(yī)療對話中的關鍵組成部分，包含意圖識別和槽位填充兩個重要的子任務。為建立意圖和槽位的相互促進關系，實現(xiàn)語義層次上的建模，提出了基于意圖—槽位注意機制的醫(yī)療咨詢意圖理解與實體抽取算法。首先，收集醫(yī)療信息網(wǎng)站上用戶的醫(yī)療健康提問文本，基于醫(yī)學知識歸納總結(jié)了24類醫(yī)療意圖和5種槽位，構建了中文醫(yī)療健康咨詢數(shù)據(jù)集（CMISD-UQS）；然后，引入槽位選通機制來建模意圖和槽位向量之間的顯式關系，設計了意圖—槽位注意機制層，構建了意圖上下文信息以意圖標簽向量方式嵌入到槽位的方式。在公共數(shù)據(jù)集ATIS和SNIPS上與八種代表性算法的對比實驗結(jié)果表明，所提算法優(yōu)于所比較的八種算法；在CMISD-UQS數(shù)據(jù)集上的測試結(jié)果表明，所提算法的醫(yī)療意圖識別準確率、語義槽填充F1值、句子級語義框架準確率分別為78.1%、94.9%和73.2%，均優(yōu)于其他對比算法。

關鍵詞：意圖分類；槽位填充；注意機制；醫(yī)療意圖；聯(lián)合識別

中圖分類號：TP391文獻標志碼：A文章編號：1001-3695（2023）05-018-1402-08doi：10.19734/j.issn.1001-3695.2022.11.0547

0引言

隨著人們健康醫(yī)療需求的日益增加，越來越多的人選擇通過網(wǎng)絡進行醫(yī)療健康咨詢，以了解自身健康狀態(tài)［1］。醫(yī)療咨詢提問內(nèi)容在輸入醫(yī)療對話系統(tǒng)后，首先運用自然語言理解技術提取問題的結(jié)構化信息，然后生成答案返回給用戶。意圖識別和槽位填充是自然語言理解的兩個核心任務［2］，意圖識別本質(zhì)上是文本分類，基于句子層面所理解的文本語義確定用戶意圖所屬的類別［3］；而語義槽填充可以看做是一個命名實體識別任務［3］。意圖識別和槽位填充結(jié)果直接影響醫(yī)療對話系統(tǒng)的性能，錯誤的分析結(jié)果會導致錯診、誤診，情況嚴重則會對用戶的身心健康造成傷害。

在中文醫(yī)療對話領域，用戶的提問通常為非結(jié)構化的文本形式，且缺乏標志性的分隔符，通用模型難以準確識別實體。例如，用戶提問：“我得了高血壓怎么辦？”，這個問題包含疾病實體“高血壓”和意圖“獲取治療方法”，但是通用模型可能會將“高血壓”理解成一個非疾病實體，理解成“我獲得了一個高血壓，我要怎么辦”。因此，研究適用于中文醫(yī)療咨詢文本意圖識別和實體抽取的模型有利于提升系統(tǒng)正確理解用戶醫(yī)療健康問診內(nèi)容的能力。

早期，意圖識別和槽位填充被分離進行建模求解［2］，忽略了兩個任務間的相關性，導致意圖識別結(jié)果和槽位預測序列難以匹配。近年來，學者開始研究聯(lián)合建模方法，為解決上述問題，文獻［4］將注意力機制引入基于對齊的RNN模型，利用注意力機制學習意圖和槽位之間的關系，完成意圖識別結(jié)果和槽位預測序列匹配的任務。然而，基于RNN模型所存取的上下文信息范圍有限，為彌補RNN模型的不足，Hakkani-Tür等人［5］提出具有長—短期記憶單元的雙向遞歸神經(jīng)網(wǎng)絡模型（RNN-BiLSTM）實現(xiàn)聯(lián)合建模域檢測、意圖檢測和槽位填充；華冰濤等人［6］通過融合雙向長短期記憶（bi-directionallongshort-termmemory，BiLSTM）、卷積神經(jīng)網(wǎng)絡（convolutionalneuralnetwork，CNN）和條件隨機場（conditionalrandomfield，CRF），提出了基于BiLSTM-CNN-CRF框架的意圖識別和槽位填充聯(lián)合模型。雖然，BiLSTM模型在一定程度上緩解了循環(huán)神經(jīng)網(wǎng)絡（recurrentneuralnetwork，RNN）的長期依賴問題，但是該模型是通過分別學習再拼接的方式進行雙向融合，因而特征提取能力偏弱［7］。

預訓練模型可以通過微調(diào)來完成多種下游任務，具有較小的實踐成本［8］。在基于Transformer的雙向編碼器表征方法（bidirectionalencoderrepresentationfromTransformers，BERT）［9］出現(xiàn)后，很多學者嘗試將編碼部分替換成BERT、基于持續(xù)學習的語義理解預訓練框架（enhancedrepresentationthroughknowledgeintegration，ERNIE）［10］、基于魯棒優(yōu)化的BERT預訓練方法（robustlyoptimizedBERT，RoBERTa）［11］等預訓練模型。例如，Chen等人［12］提出基于BERT的意圖分類和槽位填充聯(lián)合模型，利用BERT聯(lián)合調(diào)節(jié)所有層中的上下文來預先訓練模型的深度雙向表示能力，以增強上下文和句子間的關系，提高模型的泛化性。此外，該方法通過與意圖分類和槽位填充分離建模的對比實驗證明了利用兩個任務之間關系的有效性。馬常霞等人［3］提出融合BiLSTM、CRF和BERT的模型來建立乘客乘坐無人駕駛公交車的轉(zhuǎn)乘意圖和公交車站實體之間的關系［3］，此外，該模型通過利用BERT的多頭注意機制充分學習中文對話中的上下文信息進行字嵌入和意圖信息捕獲，進一步提高中文意圖分類效果并在一定程度上解決了中文文本與實體邊界不清對槽位填充帶來的困難。周奇安等人［8］使用文獻［12］提出的模型作為基線模型，改進模型以BERT為編碼器，LSTM和注意力機制為解碼器，利用微調(diào)解決了意圖識別和槽位填充任務，降低了數(shù)據(jù)標注成本，緩解了詞匯表膨脹帶來的問題。

上述研究僅通過聯(lián)合損失函數(shù)隱式建模來反映兩者的關系，沒有進一步探索兩個任務之間的潛在關系。基于上述研究的不足，Goo等人［13］引入門控機制，利用意圖上下文向量來構建槽位和意圖之間的關系，并通過全局優(yōu)化獲得了更高的語義框架準確率。該方法通過意圖上下文向量與槽位上下文向量關注輸入序列的相同部分推斷出意圖和槽位之間的相關性更強，上下文向量對于預測結(jié)果的貢獻更可靠。Qin等人［14］提出了基于堆棧傳播框架的stack-propagation模型，直接使用意圖識別的輸出作為槽位填充的輸入，以更好地指導槽位填充過程，使得意圖信息在引導槽位填充過程中的可解釋性更高；此外，該方法在框架中執(zhí)行token級別意圖識別，在為槽填充保留更多有用意圖信息的同時進一步減輕了錯誤傳播。

為提高中文醫(yī)療對話過程中自然語言理解的準確率，“顯式”地建立意圖和槽位之間的相關性，解決中文醫(yī)療實體邊界不清、識別困難的問題，本文提出一種意圖理解和槽位識別聯(lián)合算法，該算法在預訓練模型BERT的基礎上增加了意圖—槽位注意力層，通過融合意圖特征和語義槽特征作為槽位填充的輸入，將捕獲的意圖信息嵌入到槽位檢測層中，實現(xiàn)了意圖理解層和槽位填充層之間的關聯(lián)，隨后在中文醫(yī)療健康咨詢數(shù)據(jù)集上驗證了所提出算法聯(lián)合識別的性能。本文貢獻如下：

a）提出了基于意圖—槽位注意機制的醫(yī)療咨詢意圖理解與實體抽取算法。該算法通過槽位選通機制建模意圖和槽位向量之間的顯式關系，通過意圖—槽位注意機制層將捕獲的意圖上下文信息以意圖標簽向量方式嵌入到槽位。

b）根據(jù)醫(yī)療信息網(wǎng)站上用戶的醫(yī)療健康提問文本，基于醫(yī)學知識歸納總結(jié)構建了蘊涵24類醫(yī)療意圖和5種槽位的中文醫(yī)療健康咨詢數(shù)據(jù)集（CMISD-UQS）［15］。

c）將所提出的算法與八種代表性算法在公共數(shù)據(jù)集ATIS和SNIPS以及CMISD-UQS上進行了實驗比較，所提方法表現(xiàn)出了優(yōu)異的性能。

1中文醫(yī)療文本數(shù)據(jù)集構建

根據(jù)國內(nèi)外研究現(xiàn)狀調(diào)研，在表1中統(tǒng)計了現(xiàn)有文獻中公開的用于意圖識別與實體抽取的數(shù)據(jù)集，介紹了其名稱、用途、語言、特點和規(guī)模。根據(jù)數(shù)據(jù)集的特點及用途可知，目前已有的數(shù)據(jù)集均只支撐單一的醫(yī)療意圖識別任務或醫(yī)療命名實體識別任務，因此，本文構建了面向用戶醫(yī)學健康問題搜索的中文醫(yī)療文本數(shù)據(jù)集（CMISD-UQS），以更好地適用于中文醫(yī)療咨詢意圖理解與實體抽取的聯(lián)合識別任務。

（c）為保證醫(yī)療實體意義的可理解性和完整性，實體可以是一個詞、短語或句子，實體內(nèi)部可以包含必要的標點符號，如“主—肺動脈間隔缺損”“動眼、滑車及外展神經(jīng)疾病”等。

（d）在標注時遵循最大單位標注法，即標注的實體盡可能完整包含有用的信息，如“神經(jīng)纖維瘤病I型”。如果涉及區(qū)分疾病特點的特殊人群，需特別標注人群，如“小兒發(fā)燒”等。

（e）本次標注人員均為人工智能實驗室成員，共計6人，標注同一份數(shù)據(jù)，交叉驗證，最終標注結(jié)果保留2/3的人都標注一致的樣本作為訓練樣本。

c）數(shù)據(jù)擴充與增強。

合理的數(shù)據(jù)增強可以在保存原始數(shù)據(jù)分布的情況下，使模型在小樣本規(guī)模下也取得較好的訓練效果［11］。考慮數(shù)據(jù)集的樣本類別不均衡、提問形式單一的問題，對數(shù)據(jù)進行了擴充和增強，具體實現(xiàn)方式如下：a）首先通過醫(yī)療網(wǎng)站收集與槽位相關的醫(yī)療實體，然后根據(jù)醫(yī)療意圖設計不同的用戶提問模板，隨機選取符合槽位類別的醫(yī)療實體填入模板中；b）對問句中非醫(yī)療實體的位置，以10%的概率隨機插入哈工大停用詞表中的停用詞；c）在用戶問句中的非醫(yī)療實體位置，以10%的概率隨機刪除；d）以10%的概率對部分醫(yī)療實體進行同音詞替換，增加重復字段。

d）訓練數(shù)據(jù)集、驗證數(shù)據(jù)與測試數(shù)據(jù)。

經(jīng)過以上數(shù)據(jù)處理得到擴充后的數(shù)據(jù)集X，樣本量為10019條。為實現(xiàn)訓練集和測試集數(shù)據(jù)的分布一致性，將實驗數(shù)據(jù)分類別地按照7∶2∶1比例分割成訓練集、驗證集、測試集，數(shù)據(jù)集之間無重疊。隨機打亂后的數(shù)據(jù)分割結(jié)果如圖1所示。

2醫(yī)療意圖與實體抽取關聯(lián)模型

針對中文醫(yī)療咨詢意圖理解與實體抽取任務設計的聯(lián)合模型架構如圖2所示。該模型由編碼層、中間意圖—槽位注意力機制層、意圖識別解碼層和槽位填充解碼層組成。a）編碼層中，BERT預訓練模型采用雙向Transformer為編碼器［27］，通過注意力機制對文本進行建模，得到輸出序列向量作為字符嵌入，以充分學習中文醫(yī)療詞匯邊界及其豐富的語義信息，并獲得專注于整個醫(yī)療文本的全局語義信息；b）在意圖—槽位注意力機制層，通過引入槽位選通機制，將意圖特征融合到語義槽特征中，作為最終槽位填充的輸出權重，實現(xiàn)意圖識別和槽位填充間的關聯(lián)；c）通過意圖識別解碼層和槽位填充解碼層聯(lián)合輸出咨詢文本的意圖和槽位。

3.2測試環(huán)境

實驗開展的軟硬件環(huán)境具體如表3所示。

訓練采用Adam優(yōu)化算法［29］更新神經(jīng)網(wǎng)絡參數(shù)，批處理大小為32，對驗證集進行網(wǎng)格搜索以選擇其最優(yōu)超參數(shù)，Adam初始學習率為5E-5。在訓練過程中，為防止過擬合，在模型中加入dropout層以增強模型的泛化能力。具體超參數(shù)設置如表4所示。

3.3超參數(shù)優(yōu)選和消融實驗

a）進行了損失函數(shù)混合權重值對比實驗，以分析意圖和槽位兩個損失函數(shù)的混合權重對實驗結(jié)果的影響，確定其最優(yōu)值。

b）進行了消融實驗，分析算法中各組成部分的有效性以及對整體性能的影響。

c）對本文算法和基準算法在公共數(shù)據(jù)集上進行對比實驗以及優(yōu)劣勢分析。

d）本文算法和基準算法對CMISD-UQS數(shù)據(jù)集中各類意圖和槽位聯(lián)合識別的對比實驗與分析。

3.3.1超參數(shù)θ的確定

聯(lián)合模型的損失函數(shù)為意圖識別和槽位填充聯(lián)合損失函數(shù)的加權和，為確定加權函數(shù)中的超參數(shù)值，以分配更好的混合比重，本文將θ值以0.1為增量，模擬了0.1～0.9的九次實驗，結(jié)果如圖3所示。實驗結(jié)果表明，當θ=0.6時，句子級語義框架準確率效果最佳。故后文實驗θ值統(tǒng)一設置為0.6。

3.3.2消融實驗

根據(jù)上述設置，采用所構建的測試數(shù)據(jù)集，設計三組消融實驗來驗證設計模塊的有效性，意圖識別指標IA、槽位填充指標FS1和句子級語義框架準確度OA的統(tǒng)計結(jié)果如表5所示。

a）將編碼模塊的MacBERT替換成BERT-large作為對比。由結(jié)果可知，MacBERT模塊的表現(xiàn)更好，其原因是原始BERT模型存在預訓練和微調(diào)階段任務不一致的缺點，而MacBERT用目標單詞的相似單詞替代被遮掩的字符，減輕了預訓練和微調(diào)階段之間的差距，提升了模型效果。

b）為探究意圖—槽位注意機制模塊對聯(lián)合模型的影響，使用全局意圖上下文表示“［CLS］”替代意圖向量作為上下文表示（即將式（7）替換成intentATTj=h0j）。由結(jié)果可知，意圖識別準確率、槽填充F1值和雙任務聯(lián)合性能都得到了提高，分別提升了0.7、1.1和1.3個百分點，注意力機制模塊有效。

c）為證實意圖與槽位之間存在關聯(lián)性且這種關聯(lián)可以提高聯(lián)合任務的性能，本文與直接使用意圖信息作為槽位填充輸入的聯(lián)合模型進行了對比，意圖識別準確率和雙任務聯(lián)合性能都得到了提高。

由實驗可知，預訓練模塊、注意力機制模塊在醫(yī)療意圖和槽位填充的聯(lián)合識別任務上起到提升作用；此外，意圖—槽位注意機制對聯(lián)合模型的全局優(yōu)化提供有用信息，通過顯示關系嵌入更好地實現(xiàn)句子級語義框架識別性能的提升。

3.4比較算法

為驗證本文算法的性能，選取主流模型作為對比的基準模型，表6為算法的基本介紹及實驗參數(shù)設置。

3.5對比實驗結(jié)果與分析

將所比較的八種算法和本文算法用Python編程語言實現(xiàn)，在公共數(shù)據(jù)集ATIS和SNIPS上選擇算法聯(lián)合識別結(jié)果的最優(yōu)解進行比較，并根據(jù)表6中的參數(shù)設置，在本文數(shù)據(jù)集CMISD-UQS上分別運行10次，取10種不同隨機種子的平均結(jié)果。表7給出了本文算法及基準對比算法在不同數(shù)據(jù)集上的性能指標的統(tǒng)計結(jié)果，表8、9以準確率、召回率和F1值為評測指標，分別列出了不同算法在CMISD-UQS測試集的24類意圖上的平均最優(yōu)識別結(jié)果和5種醫(yī)療實體上的平均最優(yōu)測試效果。

a）觀察表7可知，本文算法在ATIS數(shù)據(jù)集意圖識別準確率為97.9%、槽位F1值為96.2%和句子級語義框架準確度為88.7%，與其他基準算法相比均取得了最優(yōu)，在SNIPS數(shù)據(jù)集上總體識別效果比ATIS上表現(xiàn)更好。

b）根據(jù)各算法在公共數(shù)據(jù)集的對比實驗結(jié)果分析可知，相比于Slot-Gated、Stack-Propagation、SF-ID算法，在中文預訓練模型的參與下，本文算法聯(lián)合識別效果取得了顯著的提升。相較于JointBERT算法，在意圖—槽位注意模塊的作用下，本文意圖準確率提升了0.4個百分點、槽位F1值提升了0.8個百分點、句子級語義框架準確率提升了0.8個百分點，意圖和槽位的聯(lián)合識別效果得到了改善。此外，本文算法的句子級語義框架準確率方差為0.02，聯(lián)合識別指標方差相較于其他基準算法最小，表明本文算法穩(wěn)定性較強。

意圖—槽位注意機制模塊為槽位填充提供了主題相關線索，提高了槽位填充性能，但對SNIPS數(shù)據(jù)集的提升效果較低，是由SNIPS中槽位值的模糊性引起的。例如，當意圖為“flight_time”時，大部分位置實體都被標記為“CITY”，然而在SNIPS數(shù)據(jù)集中，意圖“GetWeather”對應的槽位卻有可能為“CITY”“COUNTRY”或“STATE”。SNIPS中的意圖和槽位之間沒有明確的關系，使得本文算法中的意圖—槽位注意機制對槽位填充識別的有效性降低。

c）觀察表8可以看出，從更具體層面分析，本文算法在CMISD-UQS的各類意圖識別準確率、召回率和F1值上均取得了最優(yōu)結(jié)果，相較于其他基準算法有顯著優(yōu)勢。“費用”“是否醫(yī)保”“推薦醫(yī)生”“治愈率”和“預防”這五類醫(yī)療意圖在JointBERT、JointBERT-CRF和本文算法的預測下，意圖準確率相較于沒有預訓練模型的Slot-Gated（F.）、Slot-Gated（I.）、Stack-Propagation和SF-ID表現(xiàn)有顯著提升，這是因為BERT模型中的注意力機制只關注長文本中的一個小部分，可以準確地識別出關鍵信息，因此，在預訓練模型的幫助下更好地學到了數(shù)據(jù)中的普遍特征。此外，本文算法在準確率和召回率上高度統(tǒng)一，而Slot-Gated（F.）、Slot-Gated（I.）、Stack-Propagation和SF-ID算法在某些類別的準確率和召回率之間出現(xiàn)明顯波動。例如，Stack-Propagation在“患病比例”一類上的識別準確率達0.86，召回率和F1值上卻分別只有0.35和0.50，而本文算法對“患病比例”這一類的識別指標均為0.97，說明本文算法相較于基準算法具有很強的魯棒性和穩(wěn)定性。

“病因”和“定義”兩類文本的意圖分類總體效果較低，整體識別準確率和召回率水平在0.65左右，原因是這幾類問句的提問形式和內(nèi)容豐富度高，句子平均長度相對較長，且存在包含嵌套的提問形式，例如“…病因該如何預防”，該提問中同時包含“病因”和“預防”兩種意圖類型的關鍵詞匯，這種復雜的問題類型對模型的分類效果造成了一定困難。

d）觀察表9可以看出，從各算法對CMISD-UQS各槽位類別的總體識別情況來看，本文算法相較于其他基準算法在準確率、召回率和F1值上均取得了較好的效果。

其中，“醫(yī)生”和“科室”兩個類別中，本文算法相較于Slot-Gated（F.）、Slot-Gated（I.）、Stack-Propagation和SF-ID算法在F1值上有顯著提升，尤其是Slot-Gated和SF-ID算法在“醫(yī)生”一類上的識別F1值在0.50左右及以下，原因是CMISD-UQS中“醫(yī)生”的槽位標注數(shù)量較少，在小樣本的學習能力上不如本文算法。

相較于JointBERT、JointBERT-CRF，本文算法在各槽位類別F1值上均有較大提升，原因是意圖—槽位注意機制中的意圖信息很好地促進了算法對槽位識別的能力。

3.6應用案例分析

為查看原型系統(tǒng)的魯棒性，邀請10名實驗室成員作為系統(tǒng)試行用戶。測試前，首先向用戶講解系統(tǒng)可詢問的醫(yī)療領域，然后系統(tǒng)在識別用戶醫(yī)療咨詢問題后給出聯(lián)合識別結(jié)果，最后用戶根據(jù)返回結(jié)果和提問內(nèi)容的匹配程度對系統(tǒng)的實際工作性能進行0～100的滿意度評分。表10為用戶提問內(nèi)容、聯(lián)合識別結(jié)果及滿意度評分。可以看到，大部分用戶對測試結(jié)果都比較滿意，系統(tǒng)最終平均用戶滿意度達到89分。

表10中，ID為8的案例中，“諸暨市中心醫(yī)院”中由于存在“諸暨市”地區(qū)名的干擾，在實際輸出時錯誤地分割成了“諸暨”和“市中心醫(yī)院”兩個槽位類型的實體。ID為10的案例中，將提問內(nèi)容中的醫(yī)療實體識別成“壓力太大”，原因是訓練集中部分數(shù)據(jù)為“某疾病出現(xiàn)某某癥狀”的格式，因此算法將動詞前的部分識別成疾病實體。

4結(jié)束語

圍繞用戶的醫(yī)療健康提問需求，本文提出了基于意圖—槽位注意機制的醫(yī)療咨詢意圖理解與實體抽取算法。首先，收集用戶日常醫(yī)療健康搜索問題和醫(yī)療命名實體，進行數(shù)據(jù)擴充與增強，定義常見的醫(yī)療意圖，人工為數(shù)據(jù)集注釋標簽，創(chuàng)建中文醫(yī)療意圖與槽位聯(lián)合識別數(shù)據(jù)集。其次，在JointBERT模型基礎上，設計了醫(yī)療意圖與槽位注意機制模塊，充分利用了意圖和槽位間的關系，并通過消融實驗證明了設計模塊的有效性。最后，在公共數(shù)據(jù)集和CMISD-UQS數(shù)據(jù)集上對比了本文算法與其他基準算法在意圖識別準確率、槽位識別F1值和句子級語義框架準確率上的性能，以及各算法對CMISD-UQS中各類意圖和槽位的具體識別情況，實驗結(jié)果表明，本文算法在醫(yī)療意圖識別和槽位填充聯(lián)合任務上具有較好的性能表現(xiàn)。鑒于意圖識別準確率還不高，而數(shù)據(jù)集也是影響性能的重要方面，因此，進一步豐富擴充用戶提問的類別進而提高數(shù)據(jù)集的均衡性是下一步工作的重點。此外，將本文的數(shù)據(jù)集和算法應用于真實醫(yī)療對話系統(tǒng)或者問答系統(tǒng)是值得深入的方向。

參考文獻：

［1］鄭承宇，王新，王婷，等.基于ALBERT-TextCNN模型的多標簽醫(yī)療文本分類方法［J］.山東大學學報：理學版，2022，57（4）：21-29.（ZhengChengyu，WangXin，WangTing，etal.Multi-labelclassificationformedicaltextbasedonALBERT-TextCNNmodel［J］.JournalofShandongUniversity：NaturalScience，2022，57（4）：21-29.）

［2］王麗花，楊文忠，姚苗，等.意圖識別與語義槽填充的雙向關聯(lián)模型［J］.計算機工程與應用，2021，57（3）：196-202.（WangLihua，YangWenzhong，YaoMiao，etal.Bidirectionalassociationmodelforintentdetectionandslotfilling［J］.ComputerEngineeringandApplications，2021，57（3）：196-202.）

［3］馬常霞，張晨.中文對話理解中基于預訓練的意圖分類和槽填充聯(lián)合模型［J］.山東大學學報：工學版，2020，50（6）：68-75.（MaChangxia，ZhangChen.Pre-trainedbasedjointmodelforintentclassificationandslotfillinginChinesespokenlanguageunderstan-ding［J］.JournalofShandongUniversity：EngineeringScience，2020，50（6）：68-75.）

［4］LiuBing，LaneI.Attention-basedrecurrentneuralnetworkmodelsforjointintentdetectionandslotfilling［C］//Procofthe17thAnnualConferenceoftheInternationalSpeechCommunicationAssociation.2016：685-689.

［5］Hakkani-TürD，TurG，CelikyilmazA，etal.Multi-domainjointsemanticframeparsingusingbi-directionalRNN-LSTM［C］//Procofthe17thAnnualConferenceoftheInternationalSpeechCommunicationAssociation.2016：715-719.

［6］華冰濤，袁志祥，肖維民，等.基于BLSTM-CNN-CRF模型的槽填充與意圖識別［J］.計算機工程與應用，2019，55（9）：139-143.（HuaBingtao，YuanZhixiang，XiaoWeimin，etal.JointslotfillingandintentdetectionwithBLSTM-CNN-CRF［J］.ComputerEngineeringandApplications，2019，55（9）：139-143.）

［7］杜希旺，趙星，李亮.基于LSTM的軌道交通進站客流短時預測研究［J］.貴州大學學報：自然科學版，2021，38（5）：109-118.（DuXiwang，ZhaoXing，LiLiang.Short-timepredictionofinboundrailpassengerflowbasedonLSTM［J］.JournalofGuizhouUniversity：SocialSciences，2021，38（5）：109-118.）

［8］周奇安，李舟軍.基于BERT的任務導向?qū)υ捪到y(tǒng)自然語言理解的改進模型與調(diào)優(yōu)方法［J］.中文信息學報，2020，34（5）：82-90.（ZhouQi’an，LiZhoujun.BERTbasedimprovedmodelandtuningtechniquesfornaturallanguageunderstandingintask-orienteddialogsystem［J］.JournalofChineseInformationProcessing，2020，34（5）：82-90.）

［9］DevlinJ，ChangMW，LeeK，etal.BERT：pre-trainingofdeepbidirectionaltransformersforlanguageunderstanding［C］//ProcofConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics：HumanLanguageTechnologies.Stroudsburg，PA：AssociationforComputationalLinguistics，2019：4171-4186.

［10］ZhangZhangyan，HanXu，LiuZhiyuan，etal.ERNIE：enhancedlanguagerepresentationwithinformativeentities［C］//Procofthe57thAnnualMeetingoftheAssociationforComputationalLinguistics.Stroudsburg，PA：AssociationforComputationalLinguistics，2019：1441-1451.

［11］LiuYinhan，OttM，GoyalN，etal.RoBERTa：arobustlyoptimizedBERTpretrainingapproach［EB/OL］.（2019-07-26）.https：//arxiv.org/pdf/1907.11692.pdf.

［12］ChenQian，ZhuoZhu，WangWen.BERTforjointintentclassificationandslotfilling［EB/OL］.（2019-02-28）.https：//arxiv.org/pdf/1902.10909.pdf.

［13］GooCW，GaoGuang，HsuYK，etal.Slot-gatedmodelingforjointslotfillingandintentprediction［C］//ProcofConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics：HumanLanguageTechnologies.Stroudsburg，PA：AssociationforComputationalLinguistics，2018：753-757.

［14］QinLibo，CheWanxiang，LiYangming，etal.Astack-propagationframeworkwithtoken-levelintentdetectionforspokenlanguageunderstanding［C］//ProcofConferenceonEmpiricalMethodsinNaturalLanguageProcessingandthe9thInternationalJointConferenceonNaturalLanguageProcessing.Stroudsburg，PA：AssociationforComputationalLinguistics，2019：2078-2087.

［15］WangYuliang.Chinesemedicalconsultationdataset［DB/OL］.［2022-11-02］.https：//github.com/Cassandra-1/medical-NLP-data.

［16］TurG，Hakkani-TürD，HeckL.WhatislefttobeunderstoodinATIS？［C］//ProcofIEEESpokenLanguageTechnologyWorkshop.Piscataway，NJ：IEEEPress，2010：19-24.

［17］CouckeA，SaadeA，BallA，etal.Snipsvoiceplatform：anembeddedspokenlanguageunderstandingsystemforprivate-by-designvoiceinterfaces［EB/OL］.（2018-12-06）.https：//arxiv.org/pdf/1805.10190.pdf.

［18］ZanHongying，LiWenxin，ZhangKunli，etal.Buildingapediatricmedicalcorpus：wordsegmentationandnamedentityannotation［C］//Procofthe21stWorkshoponChineseLexicalSemantics.Berlin：Springer-Verlag，2021：652-664.

［19］ZhangNingyu，ChenMosha，ZhenBi，etal.CBLUE：aChinesebiomedicallanguageunderstandingevaluationbenchmark［C］//Procofthe60thAnnualMeetingoftheAssociationforComputationalLinguistics.Stroudsburg，PA：AssociationforComputationalLinguistics，2022：7888-7915.

［20］ChenNan，SuXiangdong，LiuTongyang，etal.AbenchmarkdatasetandcasestudyforChinesemedicalquestionintentclassification［J］.BMCMedicalInformaticsandDecisionMaking，2020，20（3）：125.

［21］ZongHui，YangJinxuan，ZhangZeyu，etal.SemanticcategorizationofChineseeligibilitycriteriainclinicaltrialsusingmachinelearningmethods［J］.BMCMedicalInformaticsandDecisionMaking，2021，21（1）：128.

［22］LiaoKangenbei，LiuQianlong，WeiZhongyu，etal.Task-orienteddialoguesystemforautomaticdiseasediagnosisviahierarchicalreinforcementlearning［EB/OL］.（2020-04-29）.https：//arxiv.org/pdf/2004.14254.pdf.

［23］TIANCHI.中藥說明書實體識別［EB/OL］.［2022-11-02］.https：//tianchi.aliyun.com/dataset/86819.（TIANCHI.Chinesemedicineinstructionsentityidentification［EB/OL］.［2022-11-02］.https：//tianchi.aliyun.com/dataset/86819.）

［24］GuanTongfeng，ZanHongying，ZhouXiabing，etal.CMeIE：constructionandevaluationofChinesemedicalinformationextractiondataset［C］//Procofthe9thCCFInternationalConferenceonNaturalLanguageProcessingandChineseComputing.Berlin：Springer-Verlag，2020：270-282.

［25］LiuWenge，TangJianheng，ChengYi，etal.MedDG：anentity-centricmedicalconsultationdatasetforentity-awaremedicaldialoguegene-ration［C］//Procofthe11thCCFInternationalConferenceonNatu-ralLanguageProcessingandChineseComputing.Berlin：Springer-Verlag，2022：447-459.

［26］SiYuqi，WangJingqi，XuHua，etal.Enhancingclinicalconceptextractionwithcontextualembeddings［J］.JournaloftheAmericanMedicalInformaticsAssociation，2019，26（11）：1297-1304.

［27］蔡汶興，李興東.基于BERT模型的景區(qū)評論情感分析［J］.貴州大學學報：自然科學版，2021，38（2）：57-60.（CaiWenxing，LiXingdong.SentimentanalysisofscenicspotcommentsbasedonBERT［J］.JournalofGuizhouUniversity：SocialSciences，2021，38（2）：57-60.）

［28］HeYun，ZhuZiwei，ZhangYin，etal.InfusingdiseaseknowledgeintoBERTforhealthquestionanswering，medicalinferenceanddiseasenamerecognition［C］//ProcofConferenceonEmpiricalMethodsinNaturalLanguageProcessing：EMNLP.Stroudsburg，PA：AssociationforComputationalLinguistics，2020：4604-4614.

［29］KingmaDP，BaJ.Adam：amethodforstochasticoptimization［EB/OL］.（2017-01-30）.https：//arxiv.org/pdf/1412.6980.pdf.

［30］EHaihong，NiuPeiqing，ChenZhongfu，etal.Anovelbi-directionalinterrelatedmodelforjointintentdetectionandslotfilling［C］//Procofthe57thAnnualMeetingoftheAssociationforComputationalLinguistics.Stroudsburg，PA：AssociationforComputationalLinguistics，2019：5467-5471.