基于多尺度卷積和長短期記憶神經網絡的臨床危重癥疾病預警模型*

王天罡

(1西安工程大學計算機科學學院 西安 710048)2西安交通大學第一附屬醫院網絡信息部 西安 710061)

馬紅葉

(西安交通大學第一附屬醫院 重癥醫學科 西安 710061)

蔡宏偉

(西安交通大學第一附屬醫院 網絡信息部 西安 710061)

1 引言

1.1 危重癥疾病預警主要方法

在醫療人工智能領域，通過數據挖掘輔助臨床治療決策是近年來重要的研究方向。目前危重癥疾病預警主要方法是通過機器學習對臨床數據集進行特征分析，通常將臨床病例作為樣本，通過表征學習等方式將真實世界的復雜數據從高維空間表示轉換成低維向量，再采用統計分析、建立神經網絡等方法建模。吳燕華等[1]將檢驗信息系統實時結果和歷史血清肌酐值比對，判斷是否發生e-AKI并分級；查芳芳等[2]將患者入院時多項危險因素指標通過多因素Logistic回歸分析建立評分機制，判斷急性腎損傷(Acute Kidney Injury，AKI)發生的可能性；楊星[3]提出基于深度置信網絡的腦血管病風險預警研究模型，提取患者入院24小時內各項離散化的生命體征作為模型輸入。

1.2 現有研究存在的問題

上述臨床疾病預警研究大多基于橫斷面調查數據，通過實時生命體征評分、統計分析進行預警。然而此類方法無法解決數據過擬合、梯度消失等問題，同時未能充分利用住院期間患者診療數據的時序特征，難以進行臨床危重癥的突變預警。劉晶等[4]通過長短期記憶神經網絡(Long Short Term Memory, LSTM)將與血壓關聯的時序測量數據和患者人口統計信息一起作為未來線索數據與血壓預測相結合，預測精準度較高。但該模型對時序數據的精確度和完整度要求較為嚴格，適用于高血壓等慢性病的長期預測分析。實際臨床數據的業務性而導致的患者住院時間不一致、檢驗結果時間分布不規律且次數較少等情況，都對其適用性產生較大影響，而且經過患者基本信息(性別、年齡等)和基于時間序列的檢驗數據分離后，在個人身體情況對檢查結果影響的特征捕捉能力較差。本文提出一種基于混合時序的多尺度卷積神經網絡預警模型，將與疾病關聯各項危險因素的不規則臨床數據和不同患者的時序信息作為索引數據與疾病預測相結合，從而提高疾病預測準確度，充分地將雜亂的臨床時序數據整合，發掘數據與病情變化隱藏的關聯性。

2 研究方法及對象

2.1 預測模型

2.1.1 多尺度卷積神經網絡 卷積神經網絡(Convolutional Neural Networks, CNN)因其能夠從復雜的數據集中提取信息的能力而在許多深度學習領域得到應用。本文參考2014年Christian Szegedy 提出的GoogleLeNet中多尺度卷積方法，主要思路是如何讓已有的稠密組件接近與覆蓋卷積視覺網絡中的最佳局部稀疏結構[5]?？紤]到實際情況，采用單一尺度的卷積核只能在同一次卷積過程中覆蓋到部分患者基本信息和臨床歷史數據的縱列。谷歌深度神經網絡模型，見圖1。該模型設置不同大小卷積核(1*1,3*3,5*5)的多尺度卷積能夠“感受”各種維度的數據特征，通過拼接融合不同尺度特征，能夠在一次卷積過程中挖掘更多維度患者生命體征，檢查數據之間的隱藏關系。

圖1 谷歌深度神經網絡模型[6]

2.1.2 長短期記憶神經網絡 在醫療人工智能領域，IBM Watson在近幾年投入幾百億美元進行研發后前景反而暗淡，2018年起已有多家醫院終止與Watson腫瘤相關項目，究其原因在于許多人工智能算法往往在公開標準化數據集上表現良好，然而在實際本地臨床數據分析過程中存在大量數據缺失、不準確、非結構化等問題，導致訓練好的模型與環境不匹配進而準確率低。CNN是以數據矩陣的形式作為輸入層，要求矩陣中的元素不能為空。然而在實際治療過程中并不能保證每個患者檢驗次數完全一致，對于次數多的個體可通過提取前后幾次平均值或中位數的方法作為矩陣元素，但對于缺少臨床數據的患者，如何正確處理缺失值關系到實驗模型質量。傳統缺失值處理方法主要分為：均值替換法、回歸替換法、多值填充法以及基于決策樹、聚類等機器學習的數據填充法等[7]。這些算法往往忽略歷史序列對于缺失值的影響，或多或少地改變原始數據特征，對分析存在潛在影響。LSTM是一種基于時間序列的循環神經網絡，適合處理和預測時間序列中間隔和延遲相對較長的重要事件，在深度學習領域得到廣泛應用[8]。通過分析數據，缺失值往往是輸入檢查列向量中最后1～2個元素，因此構造LSTM神經網絡處理輸入預警模型的臨床缺失數據，形成模型架構，見圖2。

圖2 基于多尺度卷積和LSTM的疾病預警網絡模型

2.2 研究對象

2.2.1 急性腎損傷相關研究 急性腎損傷是臨床常見危重癥之一，臨床上表現為氮質血癥、水電解質和酸堿平衡以及全身各系統癥狀，伴有少尿或無尿等癥狀。其發病率一直居高不下，由急性腎損傷造成的急性腎衰竭(Acute Renal Failure，ARF)病死率較高，給患者身體、心理和經濟帶來沉重負擔[9]。既往相關研究指出機械通氣、器官衰竭、低蛋白血癥是急性腎損傷患者死亡的獨立危險因素，早期預防、診斷能降低急性腎損傷病死率，對改善預后有重要意義[10]。本文擬應用卷積神經網絡模型，基于住院患者在住院期間的各項高危影響因素，對經過機械通氣的住院患者及其可能發生急性腎損傷的概率進行分析，找到規律性特點指導臨床實踐工作。

2.2.2 數據收集 在西安交通大學第一附屬醫院臨床數據倉庫中收集2013年1月-2019年3月住院治療的2 198例通過機械通氣治療的患者作為研究對象，預警高?；颊呤褂脵C械通氣后可能產生的急性腎損傷并發癥。其中訓練樣本病例為1 650例(占75%)，測試樣本為548例(占25%)；男性1 443例(占65.6%)，女性755例(占34.4%)；年齡18～99歲，平均年齡(60.6± 14)歲。根據患者是否存在急性腎損傷將其分為對照組(非急性腎損傷)1 081例(占49.2%)與觀察組(急性腎損傷)1 117例(占50.8%)，急性腎損傷診斷標準：患者住院期間血清肌酐升高超過26.4 umol/L 或升高超過50% 且大于正常值上限。收集入院患者的臨床信息包括: 血清肌酐值、血小板計數、血紅蛋白含量、白細胞計數、通氣類型(有創/無創)、白蛋白含量、患者戴機時間、是否進行連續性血液凈化，以及患者性別、年齡和基礎診斷疾病等信息，所有資料進行統一處理并編碼。

3 模型設計

3.1 概述

在卷積神經網絡對圖像的處理中，卷積核通常是對圖像的一小塊區域進行計算和特征提取，將圖像不同區域采用局部鏈接、權重共享等方法來識別目標。針對臨床數據，將同一時間點采樣的檢驗相關數據所構成的向量作為輸入，每一行代表一個時間點的采樣向量，在處理患者數據矩陣時卷積核通常覆蓋上下幾行的采樣點。通過該方式能夠捕捉到患者基本信息(年齡、性別、基礎疾病等)與實時檢查數據之間的特征。卷積核尺寸可根據檢查項列數調整，如當取核數為4時會將4個連續相關檢查項的特征表示出來，能夠在同一類特征計算時共享權值。數據重構過程，見圖3。模型根據患者住院期間醫囑執行情況、檢查結果組成的大量數據設定統一的滑動時間窗，對該時間窗內的一維患者數據進行二維重構，構成基于時間點采樣的多因素線索數據圖像。同理，對指定的其他時間采樣點進行相同的二維重構，將不同時間采樣點的線索數據圖像所構成的三維數組作為訓練數據矩陣，輸入網絡完成急性腎損傷是否發病的二輸出自動分類。

圖3 數據重構過程

3.2 數據預處理

通過對院內臨床數據倉庫的清洗檢索，排除住院天數、檢查次數較少的患者，計算住院期間各檢查結果的系統平均記錄次數n并設置相應數量的時間采樣點，其中對于采樣數據的滑動時間窗為8～24小時。綜上形成[17 584,13]患者總體數據像素一級矩陣，然后對總體圖像矩陣根據采樣窗口切割，分別組成[2 198,96]以單個患者為中心的二級矩陣和(2 198,2)的標簽矩陣，對于少數缺失數據采用LSTM神經網絡補齊。最后將上述矩陣根據3:1的比例橫向分割為訓練集和測試集，輸入深度卷積神經網絡模型訓練。

3.3 數據增強

樣本輸入神經網絡訓練前，通過深度學習中的數據增強(Data Augmentaion)技術增加訓練集規模，從而減少過擬合并提高模型泛化能力及魯棒性。數據增強方法主要包括離線和在線增強[6]。本研究由于數據量較少，借助直接對原始數據集翻轉、旋轉截取等方法擴展數據集規模。在實驗中對[17 584, 13]的一級矩陣采用左右陣列隨機交換的橫向翻轉，對[2 198, 96]的患者二級矩陣采用上下隨機交換的縱向翻轉等方法。

3.4 模型構建

3.4.1 步驟 模型基于谷歌人工智能團隊Google Brain開發的TensorFlow+python 3.6開源框架，TensorFlow是目前最流行的深度學習項目之一，在圖形分類、音頻處理、推薦系統和自然語言處理等場景下都有豐富的應用。實驗模型按以下方式構建：(1)對于任意經過數據增強的患者二級輸入矩陣Mi = [v1, v2,…,vj…,vn]，vj為具有缺失值的檢查列向量，將vi輸入基于LSTM的目標函數L = f(vi)中得到預測缺失值vjL。(2)采用sklearn庫中MinMaxScaler函數將完整的矩陣各元素歸一化至[0,1]，減少因各維度數據取值范圍差異帶來的干擾。(3)設置不同尺度的卷積核(如1*1,3*3,5*5等)，為保證卷積后不同尺度下特征圖的拼接融合，對原始輸入層分別設定padding=0、1、2即可得到相同維度的特征。(4)設置卷積神經網絡對應的池化層和全連接層，全連接層神經元數量為1 024，令dropout=0.5減少神經網絡過擬合的問題。(5)使用Softmax函數進行結果分類。

3.4.2 訓練 模型采用GPU運行環境進行訓練加速，訓練次數設置為500，學習率初始化為0.1，根據迭代次數n采用rate = 0.1 * 0.95n的遞減方式，直到完成訓練。采用二次代價函數作為損失函數，訓練優化器采用隨機梯度下降(Stochastic Gradient Descent，SGD)、RMSprop、Adagrad、Adadelta、Momentum等，根據實驗結果使用SGD優化算法。最后采用TensorFlow可視化工具TensorBoard表示模型預測準確率和損失函數。

圖4 訓練準確率變化曲線

3.5 實驗結果

通過預先分類完成的患者測試集對模型進行驗證，主要有以下評價指標：正確率、誤檢率、精確率、召回率、F1-measure，其中正確率為73.7%，精確率為71.8%，召回率為92.3%，F1分數為78.7%，相比于利用Logistic回歸分析患者入院數據預測準確率提升8.2%，與傳統卷積神經網絡相比準確率提高6.1%。從實驗結果看，該模型在召回率(表示AKI患者被正確分類的比例)預測中表現良好，因此基于患者數據圖像重構的卷積神經網絡能夠在患者住院過程中一定程度上預測可能伴隨的急性腎損傷，提醒醫生調整治療方案，從而起到輔助醫療決策的作用。

4 結語

本文提出采用基于面板數據三維重構的多尺度和LSTM卷積神經網絡模型，深入開展疾病預警的實證研究，其優點在于：一是基于患者信息圖像轉換的卷積神經網絡模型具有更好的預測能力，對綜合疾病預警研究分析中優于缺乏實時性的經典回歸分析模型；二是采用多期患者指標面板數據而構建的動態卷積神經網絡模型能深入體現患者住院期間健康狀況的漸變特性，相較于基于時間序列的模型，能更好地挖掘患者基本信息和生命體征之間的關系；三是通過LSTM神經網絡處理本地數據缺失問題，為模型在非標準化數據集的使用上提供解決方案，進而提升模型預測準確率。某些臨床疾病的產生是漸變過程，而非發生在某個特定時點的突變過程。本文所提出的疾病預警機制能在一定程度上對患者潛在疾病突發做出更為合理、有效的判斷，從而輔助臨床工作者進行更為合理的治療決策。