基于多模態的急性腎衰竭預測模型

鄧 未,周 昉

（華東師范大學 數據科學與工程學院,上海 200062）

0 引言

急性腎衰竭(acute kidney injury,AKI)是一種經常發生于重癥監護室(intensive care units,ICU)住院病人的疾病.它通常作為其他疾病的并發癥,使患者的病情更加復雜.據報道每年約1 300 萬人發生AKI(其中發展中國家的患者占85.0%),約170 萬人死于AKI 及其并發癥,全球成人住院患者急性腎損傷的發生率高達21.6%[1].因此,及早發現AKI 潛在患者可以幫助醫生對其給予及時的醫療干預,減少醫院醫療資源的消耗,降低AKI 的發病率和死亡率.

隨著電子健康病歷的不斷推廣,越來越多的AKI 預測模型依靠電子健康病歷來預測患者潛在的健康風險[2-5].電子健康病歷包含了患者的靜態數據和動態數據.靜態數據是指患者的性別、年齡等人口統計學數據和被醫生診斷的疾病數據.動態數據是指患者入院后24 h 內的人體生理指標數據(如血壓、體溫等指標).

因此,如何利用靜態數據和動態數據去捕捉患者的健康狀態是一件棘手的事情,主要存在以下兩個方面的問題.

(1)如何解決人體生理指標數據中存在的稀疏性和不規則性問題.醫護人員往往不能以固定的周期去記錄每項生理指標,這是因為不同的指標有不同的檢測頻率.例如,患者的心率指標可以每小時被記錄一次,而血糖指標在同一天中可能被采集7 次,分別是三餐前、三餐后2 h 和睡前的血糖值.這導致了不同的生理指標可能在不同的時間點存在缺失記錄,并且數據采集的時間間隔也不一定相同.此外,不同疾病的患者在相同的生理指標上可能存在不同的檢測頻率,例如,糖尿病患者會比其他疾病患者更頻繁的血糖檢測.通過分析指標的檢測頻率變化有助于模型更準確地捕獲患者的健康狀態.然而,大多數AKI 預測模型沒有考慮數據中的稀疏性和不規則性問題,只是將患者人體生理指標數據聚合后輸入模型[2-5].雖然解決了數據中存在的稀疏性和不規則性問題,但是忽略了數據中存在的時序性特點,導致不能準確地捕捉各項生理指標的數值變化和檢測頻率變化.對于患者健康風險預測模型來說,大多數模型忽略了數據的稀疏性和不規則性問題[6-9],少數模型考慮到生理指標的采樣間隔,但仍用均值或最近鄰值填充缺失值,阻礙了模型對于缺失信息的學習[10-11].

(2)如何解決多模態數據問題.電子健康病歷包含了患者人口統計學數據、疾病數據和人體生理指標數據.不同的模態數據存在不同的數據形式,例如,人體生理指標數據是動態的時序數據,而疾病數據和人口統計學數據是靜態的檢測數據.此外,不同模態的數據具有關聯性,例如,糖尿病和血糖指標具有很強的關聯性.因此,既要考慮各個模態的數據特點,捕捉每個模態對于患者健康風險的關鍵信息,又要考慮各個模態的相關性,各個模態互相學習以生成更好的患者表征.但是,目前的AKI 預測模型[2-5]只是簡單將多模態數據特征拼接后輸入模型中,忽略了各模態的數據特點和模態之間的相關性.

為了解決以上問題,本文提出了基于多模態的急性腎衰竭預測模型(multimodal disease prediction model,MUDIP).本文所提出的模型分為兩個部分: ①多模態數據的處理.對于人體生理指標數據,MUDIP 中的基于掩碼和時間差的LSTM 網絡(mask and time span LSTM,MT-LSTM)對各個生理指標單獨建模,學習指標的缺失信息和時間間隔,捕獲生理指標的數值變化和檢測頻率變化,消除由人體生理指標數據稀疏性和不規則性導致的模型性能上的限制.而對于人口統計學數據和疾病數據,MUDIP 通過全連接層分別捕獲兩個模態的特征.② 多模態數據的融合.MUDIP 引入了多頭自注意力機制交互學習各個模態的表征[12].多頭自注意力機制可以提取各個表征之間的相互依賴關系,并讓每個表征從其他表征中挖掘自身潛在的關鍵信息.將重構后的所有表征融合,以獲得患者的健康風險表征.

本文的結論總結如下.

(1)提出了一個基于多模態的急性腎衰竭預測模型(MUDIP).該模型能通過患者人口統計學數據、疾病數據和人體生理指標數據等多模態數據預測患者潛在的健康風險.多模態數據可以幫助模型提取更加全面的患者健康信息,提高模型的預測能力.

(2)設計了基于掩碼和時間差的LSTM 網絡(MT-LSTM),解決了人體生理指標數據中存在的稀疏性和不規則性問題.MT-LSTM 能學習生理指標缺失信息和時間間隔,并捕獲各指標的數值變化和檢測頻率變化.

(3)引入多頭自注意力機制,促進了各模態表征的相互學習.多頭自注意力機制能提取各個表征之間的相互依賴關系,并讓每個表征從其他表征中挖掘自身潛在的關鍵信息.

(4)在真實的數據集上進行了AKI 預測問題和死亡風險預測問題,實驗結果證明了MUDIP 的有效性和合理性.

1 相關工作

1.1 AKI 預測相關工作

鑒于AKI 預測的重要性,目前有大量的研究致力于通過電子健康病歷來判斷患者是否患AKI.主流的方法是采取均值、最大值和最小值等統計值聚合動態的人體生理指標數據,通過多模態數據并使用LR(logistic regression),RF(random forest)和XGBoost(extreme gradient boosting)等經典的機器學習模型去預測患者AKI 風險[2-5].

這些模型存在以下兩點的局限性: 一是通過統計的方法來聚合患者的人體生理指標數據,這種方法雖然處理了數據中存在的稀疏性和不規則性問題,但是忽略了數據中存在的時序性特點.人體生理指標數據反映了患者住院期間的健康狀態,根據生理指標的變化有助于模型判斷患者的健康狀態.二是沒有考慮模態融合,只是簡單將所有模態數據合并輸入模型中,忽視了模態之間的相關性.在本文中,MUDIP 不僅可以捕獲人體生理指標數據存在的時序性特點,還引入了多頭自注意力機制學習各模態表征之間的相互依賴關系.

1.2 基于時序數據的健康風險預測相關工作

近年來,隨著基于深度學習方法的不斷發展,越來越多的研究通過人體生理指標數據預測患者的健康風險,并取得很好的效果.鑒于優秀的時序性捕獲能力,RNN(recurrent neural networks)通常被應用于時序數據.其中,GRU(gated recurrent unit)網絡和LSTM 網絡是被應用最廣的兩種基于RNN 網絡變體.

一些工作在基于RNN 網絡的基礎上提出了基于時序數據的健康風險預測模型[6-9].文獻[7-8]在RNN 網絡基礎上引入注意力機制學習患者每次就診的權重.Baytas 等[6]和Gao 等[9]通過改造LSTM 網絡中的細胞狀態捕獲短期歷史信息和長期歷史信息.總的來說,上述研究雖然在患者健康風險預測問題上取得良好效果,但是都忽視了人體生理指標數據中存在的稀疏性和不規則性問題[6-9].

目前一些研究考慮到了人體生理指標數據存在的稀疏性和不規則性問題[10-11,13],Ren 等[13]考慮了通過預訓練的方法提升模型對數據稀疏性和不規則性問題的魯棒性.Che 等[10]和Zheng 等[11]發現了患者不僅存在不定期的就醫記錄,同時每次就醫不一定會檢測所有生理指標.這兩項研究都通過將每個生理指標相鄰時間差作為特征對歷史信息進行衰竭[10-11],并考慮最近鄰值或均值填充缺失值,然而這種做法仍存在一些局限性.一是將各生理指標的時間間隔信息作為特征輸入模型,沒有考慮到不同的指標對于時間間隔的影響是不一樣的.二是采用缺失值填充的方法,阻礙了模型對于缺失信息的學習.MUDIP 對各個生理指標單獨建模從而減少指標之間相互影響,學習生理指標缺失信息和時間間隔,捕獲指標的數值變化和檢測頻率變化.

2 模型

2.1 問題定義

本文所研究的問題是根據患者入院后24 h 內的電子健康病歷數據,預測患者入院后第24 小時到第72 小時內是否存在以下健康風險:

2.2 模型描述

圖1 展示了本文所提出的MUDIP 框架圖.MUDIP 分為兩部分: 多模態數據表征學習和多模態表征融合.

圖1 MUDIP 框架圖Fig.1 The frame diagram of MUDIP

(1)多模態數據表征學習.不同模態數據具有不同的數據特點,MUDIP 根據不同模態數據特點分別建模.考慮到人體生理指標數據存在的稀疏性和不規則性問題,將每個生理指標獨立建模,并通過基于掩碼和時間差的LSTM 網絡(MT-LSTM)提取人體生理指標數據表征矩陣Mx=(h1,h2,···,hK) .考慮到人口統計學不同類型的特征和疾病之間的關聯性,采用全連接層提取人口統計學表征hv和疾病表征hc.

(2)多模態表征融合.MUDIP 引入多頭自注意力機制促進每個人體生理指標表征、人口統計學表征和疾病表征之間的相互學習,得到重構后的表征矩陣,級聯重構后的表征矩陣得到患者健康風險表征ho[12].模型通過患者健康風險表征ho判斷患者未來是否存在健康風險

2.3 多模態數據表征學習

2.3.1 人體生理指標表征的學習

人體生理指標數據反映了患者24 h 內的健康狀態變化,不同的生理指標具有不同的健康風險信息.例如,一個患者的血壓測量值高于正常范圍就有可能患有高血壓.此外,患者的人體生理指標數據也存在不規則性和稀疏性等問題.針對這些問題,本文設計了基于掩碼和時間差的LSTM 網絡(MTLSTM).

將患者的每個生理指標序列獨立看待成不同的時間序列,并對其分別建模.在醫學中,每個生理指標序列有獨特的信息,通過獨立建模的方式可以捕捉指標隱含的患者健康狀態變化,減少不同生理指標之間的相互干擾.

由于人體生理指標數據存在稀疏性問題,缺失標記M作為掩碼被納入MT-LSTM 網絡中以控制細胞狀態和隱狀態的更新.對于t時刻的第k個指標,當mt,k=1 時才允許當前時刻細胞狀態ct,k和當前時刻的隱狀態ht,k更新;當mt,k=0 時當前時刻細胞狀態ct,k和當前時刻的隱狀態ht,k仍然繼承上一時刻細胞狀態ct-1,k和上一時刻的隱狀態ht-1,k.

LSTM 網絡在時序數據中有很強的分類能力,但是其隱含了一個假設,即時間序列記錄之間的時間間隔均勻分布.然而在真實生活中,患者的每項指標很難保證以相同的時間間隔來記錄.此外,數據采集的時間間隔蘊含著患者潛在信息,例如,如果醫生認為患者患糖尿病的風險較低,那么會減少患者血糖的測量次數,導致血糖連續記錄之間的時間間隔更長.

因此時間間隔標記Δ被納入MT-LSTM 網絡中,使MT-LSTM 網絡能學習生理指標序列的時間間隔.受T-LSTM 模型[6]啟發,根據時間間隔標記Δt,k對上一時刻細胞狀態ct-1,k進行折扣.首先通過全連接層提取細胞狀態的短期記憶.然后考慮到每個人體生理指標有獨立的醫學信息,每個生理指標受到時間間隔的影響并不相同,通過全連接層去學習每個指標的時間間隔有助于找到合適的短期記憶衰減程度.最后根據衰減后細胞狀態的短期記憶對上一時刻細胞狀態ct-1,k進行折扣.

綜上所述,MT-LSTM 網絡公式為

2.3.2 人口統計學表征和疾病表征的學習

患者的人口統計學數據含有兩種不同類型的數據: 一種是年齡和身高等數值類型數據;另一種是基于one-hot 向量表示的性別和種族數據.本文通過全連接層學習人口統計學數據v提取出患者人口統計學表征hv,公式為

式中:Wv是全連接層的權重;bv是一個偏置項.

疾病數據是醫生對患者健康狀態的經驗判斷,是判斷患者健康狀態的重要依據.疾病數據含有豐富的疾病關聯信息,不同的疾病組合所蘊含的患者健康狀態是不同的.患者的疾病數據由multihot 向量c表示,本文通過全連接層捕獲各個疾病之間的關聯,挖掘患者疾病數據的潛在信息.通過這種方式,得到患者的疾病信息矩陣Mc,公式為

式中:Wm是全連接層的權重.

考慮到不是所有的疾病組合信息都是重要的,因此使用MaxPooling 的方式去捕獲疾病信息矩陣每一維最重要的信息,得到患者疾病信息向量.本文采用全連接層學習患者疾病信息向量,生成患者的疾病表征hc,公式為

式中:Wc是全連接層的權重;bc是一個偏置項.

2.4 多模態表征融合

基于2.3 節的多模態數據表征學習工作,獲得了患者人體生理指標數據表征矩陣Mx=(h1,h2,···,hK),人口統計學數據表征hv和疾病表征hc.根據患者多模態表征,構造多模態矩陣Mh=(h1,h2,···,hK,hv,hc) .MUDIP 引入了多頭自注意力機制[12](記為FM)提取各個表征之間的相互依賴關系,促進每個表征之間的相互學習.每個表征都捕獲了預測患者健康風險的重要信息,表征之間的相互學習有助于挖掘其他表征的潛在信息,以此來增強自身表征對于健康風險預測的能力.經過多頭自注意力機制,得到重構后的多模態矩陣Mh,公式為

式中:Wy是全連接層的權重;by是一個偏置項.

二分類問題通常使用交叉熵函數來作為模型的損失函數L,公式為

3 實 驗

3.1 數據集和數據預處理

MIMIC-Ⅲ[14]是一個大型的綜合性臨床數據庫,該數據庫整合了波士頓貝斯以色列女執事醫療中心46 000 多名患者的ICU 住院數據.參考Wang 等[15]提出的數據預處理方法,本文提取了3 種模態的數據.對于人體生理指標數據,本文參考了文獻[2-4]的數據預處理方法并提取了44 個可能與AKI 有關的指標,并保留了每個患者入院后24 h 內的檢測記錄.對于患者疾病數據,本文提取了由ICD-9 編碼組成的患者疾病數據.ICD-9 編碼具有層次結構.為了避免信息過載,參考了Qiao 等[16]的數據預處理方法,本文根據ICD-9 編碼的前3 位數字提取了1 070 個疾病類.最后本文提取了患者年齡、性別、身高等12 個人口統計學記錄.

對于AKI 標簽,本文根據KDIGO[17]定義識別AKI 患者.KDIGO 定義判斷患者患AKI 的標準:48 h 內SCr(serum creatinine)增加不少于 0.3 mg/dL 或者7 d 內SCr 與最低值相比增加不低于50%.因此,本文將符合上述定義的患者住院記錄標記為具有AKI 風險的住院記錄.而對于死亡標簽,本文將患者入院后第24 小時到第72 小時內死亡的患者住院記錄標記為具有死亡風險的住院記錄.

為了減少干擾,根據Gong 等[2]和Zimmerman 等[4]的數據預處理方法在數據集中排除了一些特殊患者.例如,本文排除了年齡小于18 歲、ICU 住院時間短于1 d、入院SCr 高于 4 mg/dL、ICU 前24 h無SCr 記錄、前24 h 發生AKI 和做了腎透析的患者.

最后,30 133 例ICU 住院記錄被納入研究,其中5 197 例ICU 住院記錄為AKI 記錄,占總數的17%,3 048 例ICU 住院記錄為死亡記錄,占總數10%.本文按照70∶15∶15 的比例將所構建的數據集隨機分成訓練集、驗證集和測試集,并在驗證集上確定模型的最佳參數,在測試集上報告模型性能.

3.2 評價指標

由于AKI 預測問題和死亡風險預測問題都是經典的二分類問題,因此本文采用常用于二分類任務的評價指標,即準確率(記為A),召回率(記為R),精確率(記為P),F1分數(記為F1)和AUC(area under curve).令:nTP表示正類樣本預測為正類的數量,nFP表示正類樣本預測為負類的數量,nFN表示負類樣本預測為正類的數量,nTN表示負類樣本預測為負類的數量.準確率、召回率、精確率、F1分數的計算公式分別為

AUC 指標是ROC(receiver operating characteristic curve)曲線下方與坐標軸圍成的面積,而ROC 曲線是根據一系列不同的二分類方式,以假正率為橫坐標,真正率為縱坐標繪制的曲線.其中假正率為實際標簽為負類的樣本被預測錯誤占樣本總數的比例,真正率為實際標簽為正類的樣本被預測正確占樣本總數的比例.

3.3 對比模型

為了證明本文所提出模型的有效性和優越性,MUDIP 將和被應用于AKI 預測問題的模型,如LR,RF 和XGBoost 等模型進行對比,同時MUDIP 也和被應用于患者健康風險預測問題的模型,如GRU,Dipole(diagnosis prediction model),StageNet(stage-aware neural network model),ConCare(capturing the healthcare context)等模型進行對比.最后MUDIP 比較了同樣考慮了人體生理指標數據稀疏性和不規則性問題的GRU-D(deep learning model based on GRU),FLTD(feature-level time decay model)和RAPT(represent attention by pre-training time-aware transformer)模型.下面對這些模型進行簡單介紹.

LR 是一種流行的線性回歸模型,常用于數據挖掘領域的分類任務.

RF 是一種基于Bagging 的集成學習方法,它通過組合多個弱分類器克服了單個決策樹的過度擬合問題,提高了模型的泛化能力.

XGBoost 是一種梯度增強樹算法.梯度提升是一種有監督的學習算法,它試圖通過組合一組更簡單、更弱的模型的估計值來準確預測目標變量.

GRU 是LSTM 網絡的一種效果很好的變體,比LSTM 網絡的結構和計算更加簡單.

Dipole[8]是在雙向RNN 網絡的基礎上,通過注意力機制對每一個時間步分配一個注意權重.

StageNet[9]是一種基于LSTM 網絡的改進模型,通過對細胞狀態的修改使模型可以區分細胞狀態的短期進展信息和長期進展信息.

ConCare[7]采用GRU 網絡和注意力機制對每個生理指標進行訓練.

GRU-D[10]是一種基于GRU 網絡的改進模型,引入了生理指標是否缺失作為輸入特征,并捕獲特征級時間差對歷史信息和缺失填充值進行衰減.

FLTD[11]是一種基于GRU 網絡的改進模型,引入特征級時間差特征作為權重對GRU 網絡的更新門進行修改.

RAPT[13]是一種采用預訓練方法和基于時間感知注意力機制的模型.

根據Gong 等[2]的數據預處理方法,本文提取了每個生理指標的第一個值,最后一個值,最小值、最大值、均值和斜率作為LR、RF 和XGBoost 等模型的輸入;而對于其他的基線模型,根據Zheng 等[11]的數據預處理方法,本文使用最近鄰值去填充人體生理指標中缺失的數據.

3.4 實驗環境和實驗參數

本文實驗的操作系統平臺為CentOS 7.5 版本.硬件環境為2 個Intel Xeon Gold 6240R 處理器,每個處理器為24 核2.40 GHz 主頻,以及4 塊NVIDIA Tesla V100 顯卡,每塊顯卡的顯存容量為32 GB.所有的機器學習算法基于Scikit?Learn 來實現,所有的深度學習算法基于Pytorch 來實現.

本文使用Adam 算法優化所有深度學習模型,min-batch 大小設置為196,學習率設置為0.001,dropout 設置為0.5.為了公平地比較不同的模型,本文對數據進行了標準化操作,并采用網格搜索策略對模型的超參數進行調優.每個模型都進行了5 次隨機運行實驗,并報告了測試性能的平均值和標準差(standard deviation,SD).

3.5 實驗結果

3.5.1 人體生理指標數據對比實驗

表1 和表2 分別展示了各個模型基于人體生理指標數據在AKI 預測問題上和在死亡風險預測問題上的平均結果,括號內的值為標準差.顯然,MUDIP 和其他模型相比取得了最好的效果.在AUC上,MUDIP 在兩個問題上都優于所有基線模型.這展示了即使在類不平衡的情況下,MUDIP 也能展現較好的分類能力.

表1 基于人體生理指標數據在AKI 預測問題上的平均結果Tab.1 Mean results on AKI prediction based on physiological variable data

表2 基于人體生理指標數據在死亡風險預測問題上的平均結果Tab.2 Mean results on mortality risk prediction based on physiological variable data

相較于其他4 個評價指標,召回率是最重要的.因為預防疾病的成本總低于治療疾病的成本,模型具有越高的召回率就越能幫助醫生更早發現患者的病情.在召回率上,MUDIP 也是所有基線模型中最高的.在AKI 預測問題上,MUDIP 召回率達到0.275,比模型FLTD 的召回率高.在死亡風險預測問題上,MUDIP 召回率達到0.412,比模型Dipole 的召回率更高.在AKI 預測問題上和在死亡風險預測問題上MUDIP 的F1分數也是最高的,體現了本文所提出模型具有良好的預測能力.

對于LR、RF 和XGBoost 等模型,這些模型在AKI 預測問題上和在死亡風險預測問題上的表現都比MUDIP 更差一些.這是因為它們聚合的方法處理動態的人體生理指標數據,忽略了數據具有時序性的特點,很難捕捉各項生理指標的時序變化.而MUDIP 考慮了生理指標的時序性,因此能產生更好的效果.

對于GRU,Dipole,StageNet 和ConCare 等模型,這些模型在AKI 預測問題上和在死亡風險預測問題上的表現也差于MUDIP.這是因為通過最近鄰值填充缺失值并不能很好地解決人體生理指標數據存在的稀疏性和不規則性問題,尤其在AKI 預測任務上表現較差.對于AKI,一些生理指標在預測上有著更重要的作用.此外,這些生理指標的檢測頻率較低,填充缺失值阻礙了模型對于生理指標數值變化的學習.MUDIP 沒有采用缺失值填充,而是考慮了生理指標缺失信息和時間間隔,增強了模型的預測能力.

對于GRU-D,FLTD 和RAPT 等模型,這些模型在AKI 預測問題上和在死亡風險預測問題上的表現也差于MUDIP.這3 個模型能處理人體生理指標數據稀疏性和不規則性問題,因此在AKI 預測問題上優于其他基于深度學習的患者健康風險預測模型.但是在死亡風險預測問題上,每個生理指標都有可能影響患者的死亡風險.此外,不同患者在死亡風險預測上的關鍵生理指標并不一定相同.而GRU-D,FLTD 和RAPT 沒有考慮到不同生理指標之間的相互干擾,導致模型預測效果不佳.MUDIP 通過對每個生理指標獨立建模,減少生理指標之間的相互干擾,準確地捕獲每個生理指標的數值變化和檢測頻率變化.

3.5.2 多模態數據對比實驗

表3 和表4 分別展示了各個模型基于多模態數據在AKI 預測問題上和在死亡風險預測問題上的平均結果,括號內的值為標準差.在AKI 預測問題上和在死亡風險預測問題上,MUDIP 展示出更加出色的性能,AUC、召回率、F1分數和準確率等評價指標上都比基線模型更高.例如,在死亡風險預測問題上,MUDIP 的AUC 達到0.931,比效果最好的基線模型XGBoost 的AUC 更高.MUDIP 的召回率達到0.521,比效果最好的基線模型LR 的召回率更高.

表3 基于多模態數據在AKI 預測問題上的平均結果Tab.3 Mean results on AKI prediction based on multimodal data

表4 基于多模態數據在死亡風險預測問題上的平均結果Tab.4 Mean results on mortality risk prediction based on multimodal data

MUDIP 取得這么好的效果主要有以下幾點原因: ①考慮了不同模態數據的數據特點.與基線模型相比,MUDIP 分別對各個模態的數據進行建模,而不是把原始數據輸入模型.針對各個模態的數據特點分別處理,盡可能捕獲每個模態對于患者健康風險預測的重要信息.② 考慮了模態融合的問題.MUDIP 通過引入多頭自注意力機制能充分交互各個模態的表征,每個表征通過其他表征挖掘自身潛在信息,增強對患者健康風險預測的能力.

此外,對比表1 和表2 的實驗結果,可以發現所有模型在引入多模態數據之后AUC 都得到較大程度的提升.這是因為多模態數據和單模態數據相比,每個模態數據都有預測患者健康風險的關鍵信息.多模態數據能幫助模型捕獲更加全面的患者健康信息,從而提高模型對于患者健康風險的預測能力.

3.5.3 消融實驗

在本節中重點關注MUDIP 和MUDIP 變體之間的性能差異,以便清晰地了解每個變體對于模型最終性能的貢獻.

(1) LSTM 是指僅考慮人體生理指標數據,用最近鄰值填充數據的缺失值,并對每個生理指標分別采用LSTM 網絡進行學習,最后通過級聯的方式合并所有表征的模型.

(2) MUDIP-MT-LSTM 是指僅考慮人體生理指標數據,對每個生理指標分別采用MT-LSTM 網絡進行學習,最后通過級聯的方式合并所有表征的模型.

(3) MUDIP-lab 是指在MUDIP-MT-LSTM 的基礎上,引入了多頭自注意力機制.

通過網格搜索策略對模型和模型變體的超參數進行了微調,仍然進行了5 次隨機運行實驗,并報告了測試性能的平均值和標準差.

表5 和表6 分別展示了MUDIP 和MUDIP 變體在AKI 預測問題上和在死亡風險預測問題上的消融實驗平均結果,括號內的值為標準差.顯然,MUDIP 展示出更加出色的性能.

表5 消融實驗在AKI 預測問題上的平均結果Tab.5 Mean results of ablation study on AKI prediction

表6 消融實驗在死亡風險預測問題上的平均結果Tab.6 Mean results of ablation study on mortality risk prediction

MUDIP-MT-LSTM 與LSTM 相比,在AKI 預測問題上和在死亡風險預測問題上的AUC 都有提升.這是因為人體生理指標數據缺失值填充方法阻礙了模型對于各個生理指標序列的學習.而MUDIP-MT-LSTM 只考慮每個生理指標的真實值,盡可能捕捉其時序變化.在AKI 預測問題上,MUDIP-MT-LSTM 的召回率和F1分數比LSTM 的召回率和F1分數有較大提高.這是因為AKI 預測問題由少量的關鍵的生理指標決定,這些生理指標比較稀疏,且檢測時間間隔并不一致.MUDIP-MTLSTM 捕獲了每次生理指標的時間間隔和缺失信息,提升了模型的預測能力.

MUDIP-lab 在MUDIP-MT-LSTM 基礎上引入了多頭自注意力機制可以促進各個表征的相互學習.引入了多頭自注意力機制,在死亡風險預測問題上MUDIP-lab 的AUC 和召回率比MUDIP-MTLSTM 的AUC 和召回率都有提升.這是因為與AKI 預測問題局限于某些關鍵的生理指標不同,死亡風險預測問題上大部分生理指標都對結果有重要影響.此外,不同患者在死亡風險預測上的關鍵生理指標并不一定相同.因此,通過多頭自注意力機制可以發現人體生理指標之間的依賴關系,重新編碼每個人體生理指標表征,增強了模型識別健康風險患者的能力.

MUDIP 與MUDIP-lab 相比,增加了捕獲患者人口統計學數據表征和疾病數據表征的模型.顯然,引入多模態數據使得在AKI 預測問題上和在死亡風險預測問題上MUDIP 的AUC 和召回率比MUDIP-lab 模型的AUC 和召回率都有提升,增強了模型的分類能力.總的來說,表5 和表6 體現了MUDIP 各個模塊的有效性.

4 結論

本文提出了一個基于多模態的急性腎衰竭預測模型(MUDIP).MUDIP 分為兩個部分: ①多模態數據的處理.對于人體生理指標數據,MUDIP 中的基于掩碼和時間差的LSTM 網絡(MT-LSTM)對各個生理指標單獨建模,學習生理指標缺失信息和時間間隔,捕獲指標的數值變化和檢測頻率變化.對于人口統計學數據和疾病數據,MUDIP 分別通過全連接層去捕獲人口統計學和疾病模態的特征.② 多模態數據的融合.MUDIP 引入了多頭自注意力機制交互學習各個模態的表征.多頭自注意力機制可以提取各個表征之間的相互依賴關系,并讓每個表征從其他表征中挖掘自身潛在的關鍵信息.在真實的數據集上進行了AKI 預測和死亡風險預測問題的實驗.實驗結果表明,與基線模型相比,MUDIP 在AKI 預測問題上和在死亡風險預測問題上有著更好的表現,這體現了本文所提出的捕獲稀疏性、不規則性和多模態性等數據特點的模型能有效地提高預測患者健康風險的能力.