基于AB-CNN-BiLSTM心衰死亡率預(yù)測(cè)模型

郭 漢 帥仁俊 馬 力 李文煜

(南京工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 江蘇 南京 211816)

0 引 言

對(duì)重癥監(jiān)護(hù)室(Intensive Care Unit，ICU)患者進(jìn)行死亡率預(yù)測(cè)有助于醫(yī)療方案的制定、資源的配置以及診斷效果的鑒定[1]。ICU數(shù)據(jù)集樣本數(shù)量及復(fù)雜程度近年來不斷增長(zhǎng)，并且相比普通的電子病歷維度更高、更密集，給機(jī)器學(xué)習(xí)方法提供了有利的條件[2]。醫(yī)院對(duì)ICU患者在人員、設(shè)備及技術(shù)上都予以最佳保障，醫(yī)療費(fèi)用也比較昂貴[2-3]。心力衰竭是各種心血管疾病的終末階段，侵襲身體重要肝臟器官，導(dǎo)致其喪失正常功能，是死亡的主要原因之一。心衰患者一般病情危急、病情多變，僅通過有豐富經(jīng)驗(yàn)醫(yī)生的主觀經(jīng)驗(yàn)及醫(yī)學(xué)手段來做出重大決策進(jìn)行診療已經(jīng)顯露出一些局限性。盡管付出了巨大的努力，但每天仍然有很多生命逝去，因此迫切需要將大量重癥監(jiān)護(hù)數(shù)據(jù)庫(kù)利用起來，通過建立數(shù)據(jù)與疾病之間的聯(lián)系，來輔助醫(yī)生決策，對(duì)ICU心力衰竭患者死亡的死亡率做出更快、更準(zhǔn)確的預(yù)測(cè)。對(duì)于死亡率較高的患者，制定針對(duì)性強(qiáng)的診治手段以避免錯(cuò)失最佳治療時(shí)機(jī)；對(duì)于死亡率較低的患者，避免過度用藥，也更有益于患者和衛(wèi)生保健資源的合理分配。

對(duì)機(jī)器學(xué)習(xí)的預(yù)測(cè)模型來說，特征的選擇十分關(guān)鍵，需要找到最有利于模型預(yù)測(cè)的特征組合，同時(shí)剔除無價(jià)值或冗余特征。現(xiàn)有的研究主要是手工構(gòu)建特征工程。隨著計(jì)算機(jī)性能的快速提升以及數(shù)據(jù)的急劇增長(zhǎng)，機(jī)器學(xué)習(xí)中的深度學(xué)習(xí)影響越發(fā)廣泛，其可以有效地提取特征，已經(jīng)涉及各種領(lǐng)域。CNN與LSTM在深度學(xué)習(xí)應(yīng)用比較多，但也存在一些不足[4]：(1) 特征選擇方面：卷積神經(jīng)網(wǎng)絡(luò)可以很好地提取時(shí)間或空間局部特征，但是缺乏學(xué)習(xí)序列相關(guān)性的能力，無法解決較長(zhǎng)信息的長(zhǎng)期依賴問題；LSTM在特征選擇方面準(zhǔn)確率高，但誤報(bào)率也偏高；LSTM能夠解決長(zhǎng)期依賴問題，但由于LSTM只能讀取一個(gè)方向的序列數(shù)據(jù)，沒有充分考慮到屬性后信息的影響。(2) 特征學(xué)習(xí)方面：如何有效實(shí)現(xiàn)特征與類別標(biāo)簽相關(guān)性的可解釋性。(3) 自適應(yīng)性方面：即在不降低準(zhǔn)確率與不提高誤報(bào)率的同時(shí)，讓模型具有自適應(yīng)更新的能力，來應(yīng)對(duì)多變的心衰死亡情況。本文提出了一種融合卷積神經(jīng)網(wǎng)絡(luò)和雙向長(zhǎng)短期記憶的CNN-BiLSTM模型，并引入注意力機(jī)制，充分利用其各自的優(yōu)勢(shì)，彌補(bǔ)了以上三個(gè)方面的缺點(diǎn)。

本文貢獻(xiàn)主要如下：

1) 當(dāng)前大多數(shù)分類方法需要經(jīng)過復(fù)雜的數(shù)據(jù)處理或特征工程。首次在ICU患者心衰死亡率預(yù)測(cè)研究中構(gòu)建一種基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)(CNN)聯(lián)合雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM)的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，在改善優(yōu)化性能的同時(shí)也極大地提高了模型的性能，有助于更準(zhǔn)確、更快地預(yù)測(cè)心衰死亡率。

2) 引入注意力機(jī)制，對(duì)各個(gè)特征賦予權(quán)重來評(píng)價(jià)特征的重要程度并選取有效特征。

3) 在真實(shí)的ICU病患數(shù)據(jù)集上驗(yàn)證本文方法的有效性。

1 相關(guān)工作

對(duì)ICU死亡率預(yù)測(cè)的研究工作主要從臨床和機(jī)器學(xué)習(xí)兩個(gè)領(lǐng)域進(jìn)行。臨床上依靠構(gòu)建有效的評(píng)分系統(tǒng)評(píng)估患者病情。臨床常用的評(píng)分系統(tǒng)有急性生理和慢性健康狀況評(píng)分系統(tǒng)(Acute physiology and chronic health evaluation，APACHE)、簡(jiǎn)明急性生理功能評(píng)分系統(tǒng)(Simplified acute physiology score，SAPS)、序貫器官衰竭評(píng)分系統(tǒng)(Sequential organ failure assessment，SOFA)、死亡概率模型(Mortality prediction model，MPM)[5]。APACHE與SAPS是臨床上普遍采用的評(píng)估系統(tǒng)。APACHE經(jīng)過改善有4個(gè)版本，即APACHEⅠ～APACHE Ⅳ[6-8]。SAPSⅠ系統(tǒng)是在APACHEⅠ系統(tǒng)的基礎(chǔ)上改進(jìn)的，其需要的一些生理指標(biāo)更易獲取，同時(shí)不需要考慮患者進(jìn)行的診斷[9]。

臨床上的評(píng)分系統(tǒng)依靠人工獲取各項(xiàng)生理參數(shù)，一旦有新的數(shù)據(jù)出現(xiàn)則需耗費(fèi)大量精力，無法實(shí)現(xiàn)實(shí)時(shí)更新及自動(dòng)計(jì)算[10]。大量的生理參數(shù)是時(shí)間序列的格式，包含病情變化的信息，僅憑借人工是無法有效挖掘的。將機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)學(xué)領(lǐng)域，能夠充分利用海量數(shù)據(jù)，挖掘出有效信息，有助于醫(yī)學(xué)分析，輔助醫(yī)生診療。文獻(xiàn)[11-15]均采用邏輯回歸模型進(jìn)行預(yù)測(cè)。Macas等[16]采用線性貝葉斯預(yù)測(cè)ICU患者病情。Johnson等[17]組合上百個(gè)弱學(xué)習(xí)器，得到貝葉斯集成模型，與SAPS 系統(tǒng)評(píng)分實(shí)驗(yàn)對(duì)比，發(fā)現(xiàn)該集成模型預(yù)測(cè)準(zhǔn)確率更高。人工神經(jīng)網(wǎng)絡(luò)因其非線性學(xué)習(xí)、多維映射及噪聲容限等優(yōu)點(diǎn)被應(yīng)用于多變的預(yù)測(cè)情景中。例如Xia等[18]構(gòu)建人工神經(jīng)網(wǎng)絡(luò)的患者病情預(yù)測(cè)模型。Pollard等[19]在特征提取時(shí)參考太陽(yáng)物理分析的方法，之后考慮到多個(gè)ICU類型，有針對(duì)性地訓(xùn)練多個(gè)前反饋神經(jīng)網(wǎng)絡(luò)，最后將BP網(wǎng)絡(luò)用于分類，也取得了一定的效果。

基于現(xiàn)有研究，為了避免人工提取特征過程，在本文數(shù)據(jù)特征提取中，不僅需要關(guān)注不同參數(shù)之間的空間聯(lián)系，也要關(guān)注到序列數(shù)據(jù)在時(shí)間維度上的變化，本文提出了一種基于注意力機(jī)制的BiLSTM-CNN心衰死亡率預(yù)測(cè)模型。

2 模型設(shè)計(jì)

為了優(yōu)化心衰死亡率預(yù)測(cè)模型，提升死亡率預(yù)測(cè)的準(zhǔn)確率和降低模型誤報(bào)率，本文首先對(duì)MIMICIII數(shù)據(jù)集進(jìn)行一系列預(yù)處理；然后利用CNN-BiLSTM 模型進(jìn)行特征提取，為了更全面地提取局部特征，利用CNN提取局部平行特征；為了解決各屬性特征點(diǎn)的前、后特征對(duì)該屬性特征點(diǎn)的影響，采用由四個(gè)記憶模塊構(gòu)成的BiLSTM模型對(duì)長(zhǎng)距離依賴特征進(jìn)行特征提取，每個(gè)模塊由兩個(gè)細(xì)胞的拓?fù)浣Y(jié)構(gòu)構(gòu)成；最后利用注意力機(jī)制計(jì)算出各屬性特征的重要性，通過Sigmod分類器獲得分類結(jié)果，提高了準(zhǔn)確率，降低了誤報(bào)率。本文模型如圖1所示。

圖1 基于AB-CNN-BiLSTM心衰死亡率預(yù)測(cè)模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)借助卷積運(yùn)算操作的優(yōu)勢(shì)，能夠?qū)υ紨?shù)據(jù)進(jìn)行更高層次和更抽象的表達(dá)，在提取輸入數(shù)據(jù)的局部特征方面具有良好特性。CNN 結(jié)構(gòu)包含輸入層、卷積層、池化層、全連接層四部分。網(wǎng)絡(luò)層數(shù)越多，提取的特征也越抽象。CNN將局部感受野、共享權(quán)重和空間或時(shí)間采樣思想等都融合在一起，在處理局部有關(guān)聯(lián)或者統(tǒng)計(jì)平穩(wěn)的數(shù)據(jù)時(shí)，具有獨(dú)特的優(yōu)勢(shì)。CNN基本結(jié)構(gòu)如圖2所示。

圖2 CNN基本結(jié)構(gòu)

卷積層利用多個(gè)不同卷積核對(duì)輸入進(jìn)行計(jì)算，產(chǎn)生新的特征。池化層對(duì)卷積輸出進(jìn)行采樣，每次池化特征圖深度不變，通過去掉每個(gè)特征圖中不重要的特征實(shí)現(xiàn)降維，同時(shí)減少參數(shù)數(shù)量，防止過擬合。全連接層將卷積層、池化層、激勵(lì)函數(shù)層等操作后的特征圖映射為固定長(zhǎng)度的特征向量。

本文利用CNN 抽取原始數(shù)據(jù)特征，挖掘多維數(shù)據(jù)之間的相互關(guān)聯(lián)并從中剔除噪聲和不穩(wěn)定成分，將處理后的模式相對(duì)穩(wěn)定的信息作為整體傳入LSTM 網(wǎng)絡(luò)進(jìn)行長(zhǎng)序列預(yù)測(cè)。

2.2 長(zhǎng)短期記憶網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)擅長(zhǎng)處理持續(xù)的數(shù)據(jù)序列，不僅僅利用某一個(gè)時(shí)刻的數(shù)據(jù)獲取結(jié)果，能有效處理臨床數(shù)據(jù)序列。長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)是RNN中的一種。雖然RNN擅長(zhǎng)處理序列數(shù)據(jù)，但在訓(xùn)練過程中存在梯度消失或梯度爆炸及長(zhǎng)期依賴的問題。LSTM由于其設(shè)計(jì)的特點(diǎn)，長(zhǎng)短期記憶模塊可以解決RNN引發(fā)的長(zhǎng)期依賴問題，可以很好地實(shí)現(xiàn)對(duì)時(shí)序數(shù)據(jù)的建模。LSTM模型包含多個(gè)LSTM單元，如圖3所示，每個(gè)LSTM單元包含遺忘門(ft)、輸入門(it)、輸出門(ot)3種門結(jié)構(gòu)，以及一個(gè)細(xì)胞狀態(tài)更新共同進(jìn)行控制，以此來保持和更新狀態(tài)信息并進(jìn)行傳遞。xt指代第t個(gè)輸入序列元素值；c指代記憶單元(cell)或稱為細(xì)胞狀態(tài)，控制信息的傳遞；輸入門決定當(dāng)前xt保留多少信息給Ct；遺忘門決定保存多少前一時(shí)刻的細(xì)胞狀態(tài)Ct-1至當(dāng)前的Ct；輸出門決定Ct傳遞多少至當(dāng)前狀態(tài)的輸出ht；ht-1指代在t-1時(shí)刻的隱層狀態(tài)。

圖3 LSTM單元結(jié)構(gòu)

LSTM的記憶模塊是LSTM模型的核心，在處理長(zhǎng)距離依賴信息過程中起著至關(guān)重要的作用，決定每條記錄信息中的特征是否進(jìn)行遺忘。合適的記憶模塊會(huì)改善其錯(cuò)誤率偏高的現(xiàn)象。

2.3 注意力機(jī)制原理

專家學(xué)者根據(jù)對(duì)人類視覺的研究，提出了注意力機(jī)制，實(shí)現(xiàn)信息處理資源的高效分配。由于長(zhǎng)時(shí)間序列的短子序列中特征重要程度存在差異，重要的顯著特征往往會(huì)包含更多信息量，對(duì)實(shí)際需求量的趨勢(shì)影響程度更大。假若賦予CNN更關(guān)注高重要度特征的能力，可以更好實(shí)現(xiàn)短期模式的有效提取和LSTM輸入信息的優(yōu)化。因此本文在死亡率預(yù)測(cè)過程中，為更好實(shí)現(xiàn)短期模式的有效提取和LSTM輸入信息的優(yōu)化，并對(duì)于重要屬性給予更多關(guān)注，引入了注意力機(jī)制。注意力機(jī)制主要是模仿人注意力的功能。每個(gè)屬性特征對(duì)死亡率預(yù)測(cè)的貢獻(xiàn)是不同的，引入注意力機(jī)制記錄對(duì)死亡率有重要影響的屬性特征，并匯總這些屬性特征，形成新的屬性表示。

2.4 基于AB-CNN-BiLSTM模型結(jié)構(gòu)

引入注意力機(jī)制的CNN-BiLSTM模型結(jié)構(gòu)主要由數(shù)據(jù)預(yù)處理層、CNN層、Bi-LSTM層、注意力機(jī)制層組成，模型結(jié)構(gòu)圖如圖4所示。

圖4 基于AB-CNN-BiLSTM架構(gòu)

(1) 數(shù)據(jù)預(yù)處理層。首先對(duì)MIMICIII原始數(shù)據(jù)集進(jìn)行過濾、清洗，再對(duì)特征進(jìn)行標(biāo)準(zhǔn)化和歸一化處理，將標(biāo)準(zhǔn)化后的數(shù)值歸一化到[0,1]區(qū)間。數(shù)據(jù)預(yù)處理后Xi為輸入樣本的第i個(gè)參數(shù)，T為樣本的時(shí)間長(zhǎng)度。

(1)

式中：?為卷積操作符;W為卷積核的權(quán)重向量;b為偏置項(xiàng);f(·)為一個(gè)非線性的激勵(lì)函數(shù)。本文所有隱藏層的激活函數(shù)選用ReLU，與其他函數(shù)相比，它能有效避免梯度缺失帶來的收斂速度過慢和局部最值等問題。為了更加全面地提取特征，設(shè)置k個(gè)不同的卷積核，完成卷積后輸出特征為：

Cm=[c1,c2,…,cn-k+1]

(2)

之后對(duì)特征序列Cm進(jìn)行池化操作。常用的池化分為平均池化和最大池化兩類。本文采用最大池化的方法充分提取不同卷積映射屬性的顯著特征，具體過程如下：

Pm=max(Cm)

(3)

(3) BiLSTM層。雙向LSTM(BiLSTM)是由前向LSTM與后向LSTM組合而成，如圖4所示。正向LSTM隱層負(fù)責(zé)正向特征提取；反向LSTM隱層負(fù)責(zé)反向特征提取。利用BiLSTM模型能夠更好地考慮到序列數(shù)據(jù)中每個(gè)屬性點(diǎn)的前后屬性對(duì)其影響。第t個(gè)時(shí)間的特征通過前向傳播LSTM單元后得到后向。

為了捕獲長(zhǎng)距離依賴特征，將Pm輸入到BiLSTM 模型中，該模型由兩個(gè)方向上的LSTM模塊連接而成，具有多個(gè)共享權(quán)值。在每個(gè)時(shí)間步t上，每個(gè)門都由前一模塊的輸出和當(dāng)前時(shí)刻的輸入Pt表示，三個(gè)門共同工作來完成對(duì)屬性信息的選擇、遺忘和細(xì)胞狀態(tài)的更新。BiLSTM模塊的正向過程如下：

(4)

(5)

(4) 注意力機(jī)制層。為了獲取更加準(zhǔn)確的分類精度，將BiLSTM 的輸出結(jié)果輸入到注意力機(jī)制層。在注意力機(jī)制中，計(jì)算公式如下：

α=softmax[wT·tanh(H)]

r=HαT

(6)

A=tanh(r)

式中：w是一個(gè)訓(xùn)練的參數(shù)向量。

最后將注意力機(jī)制層的輸出結(jié)果輸入到Sigmod分類器中，得到取值在0到1范圍內(nèi)的結(jié)果概率p，設(shè)置閾值對(duì)結(jié)果進(jìn)行分類。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)環(huán)境為Anaconda 5.2, 腳本語(yǔ)言使用Python 3.6.5,硬件處理器為AMD Ryzen2700X,內(nèi)存32 GB,運(yùn)行Linux操作系統(tǒng)，同時(shí)配備GTX1080Ti顯卡。

3.2 實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證本文方法的有效性，本文實(shí)驗(yàn)數(shù)據(jù)集采用麻省理工學(xué)院計(jì)算生理學(xué)實(shí)驗(yàn)室開發(fā)的公開數(shù)據(jù)集MIMICIII[20]。其原始數(shù)據(jù)集包含了2001年至2012年60 000多次住院相關(guān)的數(shù)據(jù)，包括人口統(tǒng)計(jì)學(xué)、生命體征、實(shí)驗(yàn)室測(cè)試、藥物等。

3.3 數(shù)據(jù)預(yù)處理

本次實(shí)驗(yàn)選用了MIMICIII 數(shù)據(jù)集中的六張表。這些數(shù)據(jù)集通過SUBJECT_ID 或者RAW_ID 互相連接映射。本文死亡率預(yù)測(cè)為出院死亡率，需要對(duì)患者出院后的存活時(shí)間進(jìn)行計(jì)算，并給數(shù)據(jù)集增加標(biāo)簽完成監(jiān)督學(xué)習(xí)。大致分為以下幾個(gè)步驟：

1) 對(duì)原始數(shù)據(jù)集進(jìn)行讀取與處理，將心力衰竭患者篩選出來。使用ICD_9代碼從PostgreSQL數(shù)據(jù)庫(kù)查詢患者表，并篩選所有診斷為心力衰竭的患者。

2) 對(duì)每個(gè)SUBJECT_ID生成一個(gè)目錄，并將ICU停留信息寫入。

3) 對(duì)一些數(shù)據(jù)缺失嚴(yán)重的事件進(jìn)行刪除。

4) 將每個(gè)SUBJECT_ID的信息處理為時(shí)間序列并存儲(chǔ)。時(shí)間序列格式為n×14。其中n為該患者做的實(shí)驗(yàn)室測(cè)試的時(shí)間點(diǎn)的總數(shù)。Hours計(jì)算方法為：events[′HOURS′]=(做該實(shí)驗(yàn)室測(cè)試的時(shí)間點(diǎn)-入院時(shí)間)/60/60。14個(gè)變量分別為Diastolic blood pressure、Glascow coma scale eye opening、Glascow coma scale motor response、Glascow coma scale verbal response、Glucose、Heart Rate、Height、Mean blood pressure、Oxygen saturation、Respiratory rate、Systolic blood pressure、Temperature、Weight、pH。最后根據(jù)Hours大小升序。

5) 對(duì)特征進(jìn)行標(biāo)準(zhǔn)化和歸一化處理，將標(biāo)準(zhǔn)化后的數(shù)值歸一化到[0,1]區(qū)間，并將其拆分為訓(xùn)練集和測(cè)試集。實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)表見表1。

表1 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

3.4 實(shí)驗(yàn)結(jié)果分析

據(jù)表2所示的混淆矩陣，可以使用正確率，精確率(查準(zhǔn)率) 、召回率(查全率) 、F值等評(píng)價(jià)指標(biāo)對(duì)本文方法進(jìn)行評(píng)估。

表2 混淆矩陣

確定評(píng)價(jià)指標(biāo)后，通過多次試驗(yàn)確定實(shí)驗(yàn)參數(shù)。本文提出的預(yù)測(cè)網(wǎng)絡(luò)參數(shù)設(shè)置見表3。本文的輸入數(shù)據(jù)結(jié)構(gòu)為76×14，padding方式選用SAME，經(jīng)過CNN層后輸出為76×14，再將其輸入到BiLSTM網(wǎng)絡(luò)中，整個(gè)模型通過最后的全連接層輸出結(jié)構(gòu)為1×1 024的數(shù)據(jù)，最后通過Sigmod函數(shù)進(jìn)行分類。

表3 網(wǎng)絡(luò)參數(shù)設(shè)置

首先將該模型與其他常見的CNN和LSTM網(wǎng)絡(luò)進(jìn)行比較，對(duì)比模型有CNN、LSTM、BILSTM、基于注意力的CNN和CNN-BILSTM。實(shí)驗(yàn)采用5倍交叉驗(yàn)證，每組15個(gè)實(shí)驗(yàn)，并記錄多個(gè)實(shí)驗(yàn)結(jié)果的平均值。實(shí)驗(yàn)結(jié)果如表4所示。結(jié)果表明，本文提出的基于AB-CNN-BiLSTM的ICU患者心力衰竭死亡率預(yù)測(cè)模型能更有效地預(yù)測(cè)ICU患者的心力衰竭死亡率，預(yù)測(cè)準(zhǔn)確率達(dá)到89%。這是因?yàn)樵跀?shù)據(jù)特征提取中，不僅要考慮不同參數(shù)之間的空間關(guān)系，還要考慮數(shù)據(jù)在時(shí)間維度上的變化，同時(shí)引入注意力機(jī)制可以降低死亡率預(yù)測(cè)的假陽(yáng)性率。

表4 與其他CNN及LSTM模型對(duì)比

此外，為了更好地說明本文提出的死亡率預(yù)測(cè)模型的優(yōu)越性，在當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域中選擇了具有代表性的邏輯回歸(LR)、貝葉斯(Bayes)、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)(SVM)和Adabost等模型進(jìn)行預(yù)測(cè)ICU病人的情況。圖5展示了比較結(jié)果。可見，本文提出的模型達(dá)到了最佳分類性能。

圖5 不同方法性能對(duì)比

4 結(jié) 語(yǔ)

為了幫助醫(yī)生做出決策，更快更準(zhǔn)確地預(yù)測(cè)重癥監(jiān)護(hù)室心力衰竭患者的死亡率，本文提出了一種基于AB-CNN-BiLSTM心力衰竭死亡率預(yù)測(cè)模型。與現(xiàn)有方法相比，本文模型具有更好的性能。在給出大量訓(xùn)練數(shù)據(jù)集的情況下，該模型可以擴(kuò)展到其他的數(shù)據(jù)集，研究更深入的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。