Text2DT: 面向臨床診療文本的決策規(guī)則抽取技術(shù)*

李文鋒 朱 威 王曉玲 吳苑斌 紀(jì)文迪 湯步洲

(華東師范大學(xué) 上海 200062) (哈爾濱工業(yè)大學(xué)(深圳)鵬城實(shí)驗(yàn)室 深圳 518055)

1 引言

作為人工智能在醫(yī)學(xué)領(lǐng)域的重要應(yīng)用，臨床決策支持系統(tǒng)(Clinical Decision Support System，CDSS)受到研究者們的廣泛關(guān)注[1]。CDSS可以輔助醫(yī)務(wù)人員更加高效地做出診療決策，幫助醫(yī)學(xué)生學(xué)習(xí)臨床診療知識，或者為患者提供醫(yī)療建議[2]。作為CDSS的核心，診療決策規(guī)則指將給定的條件與醫(yī)療決策聯(lián)系起來的，能夠幫助醫(yī)生、患者和其他利益相關(guān)者對特定的臨床問題做出適當(dāng)?shù)墓芾怼⑦x擇和決定的規(guī)則[3]。這種規(guī)則可以從臨床診療指南與醫(yī)學(xué)教科書中的文本中獲取，通常被建模為診療決策樹，見圖1。然而，現(xiàn)有診療決策樹構(gòu)建依賴于醫(yī)學(xué)專家手工標(biāo)注[4]，這種方法不但耗時(shí)費(fèi)力，而且不能及時(shí)納入最新研究成果。因此，探索如何從龐大且快速增長的臨床診療文本中精確提取診療決策樹的信息抽取技術(shù)，是構(gòu)建、維護(hù)和發(fā)展大規(guī)模CDSS，實(shí)現(xiàn)臨床診療智能化的基礎(chǔ)支撐。

圖1 癲癇全面強(qiáng)直陣攣發(fā)作患者選藥的文本與其蘊(yùn)含的診療決策樹

本文提出一個(gè)全新的信息抽取任務(wù)，從臨床診療文本中抽取診療決策樹(Extracting Medical Decision Trees from Medical Texts，Text2DT)來探索面向臨床診療文本的決策規(guī)則自動(dòng)化抽取，其中臨床診療文本是指來自臨床診療指南或醫(yī)學(xué)教科書中蘊(yùn)含診療決策規(guī)則的文本，診療決策樹則建模了文本中的診療決策規(guī)則。本文的主要貢獻(xiàn)如下：一是現(xiàn)有的診療決策樹缺乏統(tǒng)一的形式結(jié)構(gòu)，導(dǎo)致對診療決策規(guī)則的理解可能產(chǎn)生歧義，因此對診療決策樹進(jìn)行了規(guī)范化和結(jié)構(gòu)化。二是目前學(xué)界缺乏針對診療決策樹抽取任務(wù)的基準(zhǔn)數(shù)據(jù)集，在醫(yī)學(xué)專家的幫助下構(gòu)建了學(xué)界第1個(gè)從臨床診療文本到診療決策樹的數(shù)據(jù)集。三是設(shè)計(jì)診療決策樹抽取方法，并與主流方法進(jìn)行對比，為未來高效精確的診療決策樹抽取算法開發(fā)奠定基礎(chǔ)。

2 問題定義

2.1 Text2DT

Text2DT任務(wù)關(guān)注于從蘊(yùn)含診療決策規(guī)則的臨床診療文本中抽取出診療決策樹，見圖2。對于給定的含有n_text個(gè)字的臨床診療文本序列X=[x1,x2,……,xn_text]，Text2DT的任務(wù)目標(biāo)是生成決策樹中節(jié)點(diǎn)的前序序列T=[N1,N2,……,Nn_node]。

圖2 從臨床診療文本中抽取診療決策樹

2.2 診療決策樹

2.2.1 條件/決策節(jié)點(diǎn) 使用三元組與邏輯關(guān)系符號對診療決策樹進(jìn)行規(guī)范化和結(jié)構(gòu)化，并使用二叉樹結(jié)構(gòu)來建模診療決策流程。診療決策樹中節(jié)點(diǎn)可以被表示為N={C/D,L(t1,……,tn_tri)}。其中C/D表示該節(jié)點(diǎn)是一個(gè)條件/決策節(jié)點(diǎn)；t=(sub,rel,obj)是一個(gè)描述診療知識或臨床信息的三元組，是診療決策關(guān)鍵信息的結(jié)構(gòu)化表示；L表示多個(gè)三元組之間的邏輯關(guān)系(and，or，null，當(dāng)三元組的個(gè)數(shù)小于等于1時(shí)邏輯關(guān)系為null)；L(t1,……,tn_tri)表示條件判斷或診療決策的內(nèi)容。例如，{C,or((患者,臨床特征,肌陣孿發(fā)作),(患者,臨床特征,青少年肌陣孿癲癇))}表示做出條件判斷：患者的臨床特征是否為肌陣孿發(fā)作或青少年肌陣孿癲癇。

2.2.2 樹結(jié)構(gòu) 診療決策樹表示簡化的決策過程，即根據(jù)條件判斷的不同結(jié)果做出下一個(gè)條件判斷或決策。一旦做出決策，診療過程終止。因此，本文將診療決策樹定義為由條件節(jié)點(diǎn)和決策節(jié)點(diǎn)組成的二叉樹，二叉樹中的非葉子節(jié)點(diǎn)為條件節(jié)點(diǎn)，葉子節(jié)點(diǎn)為決策節(jié)點(diǎn)。對于條件節(jié)點(diǎn)，當(dāng)條件判斷結(jié)果為“是”(“否”)時(shí)，則通過左(右)分支進(jìn)入左(右)子節(jié)點(diǎn)進(jìn)行下一個(gè)條件判斷或決策。注意每個(gè)條件節(jié)點(diǎn)都有左、右子節(jié)點(diǎn)。如果條件判斷的結(jié)果為“是”(“否”)后需要進(jìn)行的后續(xù)操作未在文本中體現(xiàn)，則添加一個(gè)三元組為空的決策節(jié)點(diǎn)，表示下一步的行為未知。經(jīng)以上操作后，一棵診療決策樹可以用它的節(jié)點(diǎn)的前序序列唯一表示。前文圖2中的診療決策樹建模了如下診療決策規(guī)則，判斷條件為“全身強(qiáng)直性發(fā)作患者的臨床特征是否是丙戊酸適用”：如果條件判斷的結(jié)果為“是”，患者丙戊酸適用，則進(jìn)入左側(cè)分支并做出相應(yīng)的診療決策，使用丙戊酸作為患者的治療藥物；如果條件判斷的結(jié)果為“否”，即患者丙戊酸不適用，則進(jìn)入右側(cè)分支，進(jìn)行下一個(gè)條件判斷，并根據(jù)條件判斷的結(jié)果進(jìn)入不同分支。

3 Text2DT數(shù)據(jù)集

3.1 數(shù)據(jù)集構(gòu)建

Text2DT數(shù)據(jù)集的數(shù)據(jù)源為臨床診療指南和醫(yī)學(xué)教科書，是醫(yī)務(wù)工作者做出臨床診療決策的主要支撐。本文收集了2011—2021年由權(quán)威醫(yī)療機(jī)構(gòu)出版的關(guān)于30個(gè)臨床科室的100多部臨床指南和由人民衛(wèi)生出版社出版的本科臨床醫(yī)學(xué)教材來構(gòu)建Text2DT數(shù)據(jù)集。

本文使用醫(yī)學(xué)專家編寫的模版與規(guī)則來定位數(shù)據(jù)源中蘊(yùn)含診療決策規(guī)則的文本片段，并對定位到的文本片段進(jìn)行人工標(biāo)注。數(shù)據(jù)集的注釋過程包括6名注釋者和2名醫(yī)學(xué)專家。本文采取了多輪標(biāo)注的方法。一人標(biāo)注完成后，另一人進(jìn)行二次標(biāo)注，兩次標(biāo)注不一致的地方交由醫(yī)學(xué)專家進(jìn)行討論，形成最終的三標(biāo)版本。對于無法在醫(yī)學(xué)專家的討論中達(dá)成一致或有歧義的語料將被丟棄。在此過程中，根據(jù)標(biāo)注人員的反饋，本研究也在不斷優(yōu)化、更新標(biāo)注規(guī)范，使其更加貼合語料自身特點(diǎn)。本文計(jì)算了三元組標(biāo)注和決策樹標(biāo)注兩個(gè)方面的科恩一致性系數(shù)(Cohen’s Kappa系數(shù))，以衡量兩名注釋者標(biāo)注的一致性。其中，三元組標(biāo)注的計(jì)算結(jié)果為0.83，表明三元組標(biāo)注的一致性較高；診療決策樹標(biāo)注的計(jì)算結(jié)果為0.37，表明診療決策樹的標(biāo)注具有一定一致性。

3.2 數(shù)據(jù)集統(tǒng)計(jì)

Text2DT數(shù)據(jù)集共包含500例文本-決策樹對。診療決策樹的深度為2～4層，其中2層樹有134棵，3層樹有302棵，4層樹有64棵。Text2DT數(shù)據(jù)集共包含1 896個(gè)有實(shí)義的節(jié)點(diǎn)，其中有934個(gè)條件節(jié)點(diǎn)，962個(gè)決策節(jié)點(diǎn)，476個(gè)邏輯關(guān)系為or的節(jié)點(diǎn)，367個(gè)邏輯關(guān)系為and的節(jié)點(diǎn)，1 053個(gè)邏輯關(guān)系為null的節(jié)點(diǎn)。Text2DT數(shù)據(jù)集中三元組關(guān)系的統(tǒng)計(jì)情況，見表1。Text2DT數(shù)據(jù)集中的三元組共有6種關(guān)系，其中關(guān)系“禁用藥物”的三元組數(shù)僅占總?cè)M數(shù)量的2.57%，因此數(shù)據(jù)集存在長尾分布問題。

表1 Text2DT數(shù)據(jù)集三元組關(guān)系統(tǒng)計(jì)情況

4 模型結(jié)構(gòu)

4.1 三元組抽取

三元組是診療決策樹的主要組成部分，模型的第1部分首先進(jìn)行三元組抽取，見圖3。三元組抽取算法將輸入的臨床診療文本中蘊(yùn)含的代表?xiàng)l件或決策的三元組提取出來，見公式(1)。

(1)

其中，ti=(subi,reli,obji)表示抽取的第i個(gè)三元組；TEModel是基于級聯(lián)二值標(biāo)注算法(CasRel)[5]、基于令牌對鏈接算法(TPLinker)[6]和實(shí)體關(guān)系聯(lián)合抽取(UniRE)[7]等先進(jìn)的三元組抽取方法。

圖3 模型整體架構(gòu)

4.2 雙仿射模型

(2)

4.3 解碼診療決策樹

在獲得概率張量P∈R|ntri|×|ntri|×|Y|后，模型的最后一步是將概率張量解碼為診療決策樹。本文的解碼算法分為3步：節(jié)點(diǎn)解碼、邏輯關(guān)系預(yù)測和樹結(jié)構(gòu)解碼,見圖4。

圖4 診療決策樹解碼算法

4.3.1 節(jié)點(diǎn)解碼 節(jié)點(diǎn)解碼的關(guān)鍵在于處于同一節(jié)點(diǎn)的三元組，與其他任意三元組在診療決策樹中的關(guān)系都是相同的，因此在概率張量P中對應(yīng)的行或列應(yīng)該是相似的，反之則亦然。計(jì)算張量P中兩列(兩行)的余弦相似度，相似度大于閾值的兩行(兩列)對應(yīng)的三元組屬于同一節(jié)點(diǎn)。根據(jù)實(shí)驗(yàn)結(jié)果取余弦相似度閾值為0.7。

4.3.2 邏輯關(guān)系預(yù)測 如果多個(gè)三元組屬于同一節(jié)點(diǎn)，需要預(yù)測多個(gè)三元組之間的邏輯關(guān)系。將屬于同一節(jié)點(diǎn)的三元組拼接在臨床診療文本后，通過預(yù)訓(xùn)練語言模型和線性層來預(yù)測邏輯關(guān)系。

4.3.3 樹結(jié)構(gòu)解碼 本文將三元組對的概率張量P轉(zhuǎn)換為節(jié)點(diǎn)對的概率張量Pnode。類似于P，Pnode中的第j列第i行的單元格的標(biāo)簽表示其對應(yīng)的節(jié)點(diǎn)Ni和Nj在診療決策樹中的關(guān)系。Pnode的計(jì)算方式，見公式(3)。

(3)

其中，Pnode∈R|nnode| ×|nnode| ×|Y|，n-trii和n-trij表示節(jié)點(diǎn)Ni和Nj中三元組的數(shù)量。|tri|表示三元組tri在P中對應(yīng)的索引。在得到Pnode后，為每個(gè)單元格分配概率最高的標(biāo)簽。

解碼的最后階段是將Pnode轉(zhuǎn)化為診療決策樹。如果能找到診療決策樹的根節(jié)點(diǎn)，非葉子節(jié)點(diǎn)的左右子節(jié)點(diǎn)，以及葉子節(jié)點(diǎn)，則可以很容易地完成決策樹的解碼。首先尋找根節(jié)點(diǎn)：根節(jié)點(diǎn)不作為任何一個(gè)節(jié)點(diǎn)的子節(jié)點(diǎn)，只需計(jì)算Pnode中每一列的標(biāo)簽只為P或N的概率，選擇概率最大的一列對應(yīng)的節(jié)點(diǎn)作為根節(jié)點(diǎn)。接著尋找非葉子節(jié)點(diǎn)的左右子節(jié)點(diǎn)：Pnode中與非葉子節(jié)點(diǎn)的關(guān)系為L(R)的節(jié)點(diǎn)即為左(右)子節(jié)點(diǎn)。最后尋找葉子節(jié)點(diǎn)：Pnode中沒有標(biāo)簽P的一列所對應(yīng)節(jié)點(diǎn)即為葉子節(jié)點(diǎn)。

5 實(shí)驗(yàn)

5.1 評估指標(biāo)

節(jié)點(diǎn)是診療決策樹的重要組成部分，本文將節(jié)點(diǎn)抽取的F1分?jǐn)?shù)作為一項(xiàng)評價(jià)指標(biāo)。當(dāng)抽取的節(jié)點(diǎn)與標(biāo)注節(jié)點(diǎn)完全一致時(shí)認(rèn)為這個(gè)節(jié)點(diǎn)是正確的。診療決策樹抽取的準(zhǔn)確率作為本文最嚴(yán)格的評估指標(biāo)。當(dāng)抽取的診療決策樹與標(biāo)注完全一致時(shí)認(rèn)為這棵診療決策樹是正確的。本文從不同的角度提出以下兩項(xiàng)評估指標(biāo)。一是決策路徑的F1得分：將樹從根節(jié)點(diǎn)到葉子節(jié)點(diǎn)的路徑稱為決策路徑。一棵診療決策樹包含多個(gè)決策路徑。完整的決策路徑對臨床診療決策是有意義的，因此本文使用決策路徑的F1得分作為一項(xiàng)評價(jià)指標(biāo)。二是診療決策樹的編輯距離：與字符串的編輯距離類似，診療決策樹中的編輯距離是指從一棵樹轉(zhuǎn)換到另一棵樹所需的最小樹編輯操作數(shù)。

5.2 實(shí)驗(yàn)設(shè)置

本文的代碼是用Pytorch實(shí)現(xiàn)的。線性層的維度設(shè)置為150，并使用GELU作為激活函數(shù)。模型優(yōu)化使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為1e-5。對于超參數(shù)設(shè)置，dropout值設(shè)置為0.5，訓(xùn)練批次大小為8。在訓(xùn)練過程中，需要100個(gè)輪次來訓(xùn)練模型。Text2DT數(shù)據(jù)集被隨機(jī)分為訓(xùn)練集(60%，300對)、驗(yàn)證集(20%，100對)和測試集(20%，100對)。

5.3 對比方法

診療決策樹的抽取分為三元組的抽取和樹結(jié)構(gòu)的生成，本實(shí)驗(yàn)主要使用UniRE作為三元組抽取算法，著重比較樹結(jié)構(gòu)的生成方法。比較方法使用序列解碼(Seq2Seq)[9]或樹形解碼器(Seq2Tree)[10]在每個(gè)時(shí)間步驟生成節(jié)點(diǎn)表示，并使用多層感知機(jī)來匹配節(jié)點(diǎn)和三元組。將PCL-MedBERT[11]、BERT-wwm-ext[12]和RoBERTa_wwm_ext[13]作為預(yù)訓(xùn)練語言模型。

5.4 實(shí)驗(yàn)結(jié)果與分析

對于三元組的抽取，UniRE算法在使用不同預(yù)訓(xùn)練語言模型作為編碼器時(shí)的F1得分如下。PCL-MedBERT：0.917 6，BERT-wwm-ext：0.936 0，RoBERTa_wwm_ext：0.938 2。PCL-MedBERT雖然在預(yù)訓(xùn)練階段引入醫(yī)學(xué)知識，但由于引入的醫(yī)學(xué)語料有限，其性能表現(xiàn)不及使用更大規(guī)模的預(yù)訓(xùn)練語料BERT-wwm-ext與RoBERTa_wwm_ext。由于使用了動(dòng)態(tài)遮蔽策略以及對預(yù)訓(xùn)練任務(wù)進(jìn)行了優(yōu)化，RoBERTa_wwm_ext的性能表現(xiàn)略優(yōu)于BERT-wwm-ext。因此，本文使用UniRE算法在預(yù)訓(xùn)練模型RoBERTa_wwm_ext下的結(jié)果作為下一步診療決策樹生成的基礎(chǔ)。

診療決策樹抽取的實(shí)驗(yàn)結(jié)果，見表4。本文提出的方法在所有指標(biāo)上明顯優(yōu)于傳統(tǒng)方法，甚至于本文提出的方法使用表現(xiàn)較差的PCL-MedBERT獲得的結(jié)果都遠(yuǎn)優(yōu)于Seq2Seq與Seq2Tree使用表現(xiàn)較好的RoBERTa_wwm_ext獲得的結(jié)果。Seq2Seq與Seq2Tree在每一時(shí)間步生成一個(gè)節(jié)點(diǎn)，當(dāng)前節(jié)點(diǎn)的生成依賴于上一個(gè)時(shí)間步生成的節(jié)點(diǎn)，因此會(huì)由于訓(xùn)練和測試階段的差異產(chǎn)生暴露偏差。而本文提出的方法在進(jìn)行三元組在診療決策樹中關(guān)系的預(yù)測時(shí)使用的是一個(gè)一階段的模型，保證訓(xùn)練與測試一致性，避免暴露偏差的產(chǎn)生。對于預(yù)訓(xùn)練語言模型，RoBERTa_wwm_ext在總體上取得最佳的性能表現(xiàn)，BERT-wwm-ext與RoBERTa_wwm_ext相近，PCL-MedBERT表現(xiàn)最差。雖然PCL-MedBERT使用了醫(yī)學(xué)文本作為預(yù)訓(xùn)練數(shù)據(jù)，但BERT-wwm-ext與RoBERTa_wwm_ext采用了更多的預(yù)訓(xùn)練數(shù)據(jù)以及更有效的預(yù)訓(xùn)練策略，因此取得遠(yuǎn)優(yōu)于PCL-MedBERT的性能表現(xiàn)。

表4 主要實(shí)驗(yàn)結(jié)果

6 討論

6.1 錯(cuò)誤分析

本文抽取診療決策樹方法的錯(cuò)誤及其分布為：三元組抽取錯(cuò)誤(45.5%)、節(jié)點(diǎn)解碼錯(cuò)誤(20.3%)、診療決策樹結(jié)構(gòu)錯(cuò)誤(18.4%)、三元組間的邏輯關(guān)系錯(cuò)誤(15.8%)，其中，三元組抽取錯(cuò)誤所占比例最大。本文提出的抽取方法是一個(gè)多階段方法，作為診療決策樹抽取的第1步，三元組抽取錯(cuò)誤會(huì)導(dǎo)致錯(cuò)誤級聯(lián)，影響后續(xù)節(jié)點(diǎn)和診療決策樹的生成，以及邏輯關(guān)系的判斷。雖然現(xiàn)有的三元組抽取方法已經(jīng)在Text2DT數(shù)據(jù)集上取得很好的效果，但錯(cuò)誤級聯(lián)導(dǎo)致三元組抽取錯(cuò)誤占據(jù)較大比例。通過對邏輯關(guān)系預(yù)測錯(cuò)誤的數(shù)據(jù)進(jìn)行分析，本文發(fā)現(xiàn)部分三元組之間的邏輯關(guān)系判斷需要借助外部知識，例如，如果兩個(gè)三元組代表的決策是互斥的(互斥判斷無法從文本中獲得，需要借助醫(yī)學(xué)知識和經(jīng)驗(yàn))，則這兩個(gè)三元組之間邏輯關(guān)系應(yīng)為or而非and。因此引入醫(yī)學(xué)背景知識能夠幫助模型進(jìn)行三元組間邏輯關(guān)系判斷。

6.2 局限性

本文是對從臨床診療文本中自動(dòng)抽取診療決策樹的首次探索，難免存在一些局限性。首先，節(jié)點(diǎn)的邏輯表達(dá)能力是有局限的。節(jié)點(diǎn)中三元組之間的邏輯關(guān)系僅有“和”，而在更復(fù)雜的場景中，三元組之間的邏輯關(guān)系會(huì)存在“和”的多種組合。其次，臨床診療文本的長度是有限制的。本文關(guān)注于從一段文本中抽取診療決策樹。事實(shí)上，完整的診療決策規(guī)則需要基于多個(gè)段落甚至章節(jié)進(jìn)行抽取。這些局限將在未來的工作中得到完善。

7 結(jié)語

本文提出了一個(gè)全新的自然語言處理任務(wù)Text2DT，其目的是從臨床診療文本中自動(dòng)提取診療決策樹。在醫(yī)學(xué)專家的參與下，構(gòu)建自然語言處理社區(qū)的第1個(gè)臨床診療文本-診療決策樹對的數(shù)據(jù)集。提出一個(gè)樹結(jié)構(gòu)生成方法，即預(yù)測三元組在決策樹中的關(guān)系并利用解碼算法獲得最終的決策樹。實(shí)驗(yàn)表明，本文提出的方法與同類方法相比有明顯改進(jìn)，為未來診療決策樹的自動(dòng)抽取與大型臨床決策支持系統(tǒng)自動(dòng)化構(gòu)建奠定了基礎(chǔ)。