使用強化學習方法構建膿毒癥患者精準化液體治療預測模型

潘盼，謝菲，解立新*，蘇龍翔

1解放軍總醫院呼吸與危重癥醫學部，北京 100091；2中國醫學科學院北京協和醫院重癥醫學科，北京 100730；3中國醫學科學院北京協和醫院疑難重癥及罕見病國家重點實驗室，北京 100730

液體復蘇是重癥患者的基本治療措施，但越來越多的臨床研究證實，不恰當的液體輸注可能導致容量超負荷，而液體超負荷是造成重癥患者殘疾和死亡的獨立危險因素[1-4]。在膿毒癥的早期治療中，為優化器官灌注，應及時進行液體治療，但不提倡非限制性液體輸注或液體大量正平衡。有研究表明，膿毒癥治療期間的液體負平衡可改善患者預后[5]，然而不合適的液體輸注策略有可能導致治療失??；如何對重癥患者進行精確的容量管理是臨床醫師面臨的難題[6]。在膿毒癥的不同階段，補液與脫水應如何選擇，除了依據傳統的Frank-Starling定律、Guyton原理、血流動力學理論及個人經驗，最近提出的ROSE復蘇理論(包括復蘇期、優化期、穩定期及脫水期)可能成為膿毒癥液體復蘇的指導方法[7]，然而在臨床實踐中，仍無法對其進行清晰明確的分期。近年來，大數據機器學習分析在醫療行業中的應用日益廣泛，借助大數據方法分析相關醫療數據，可以比較各項干預措施，為臨床決策提供信息支撐，從而有效解決過度治療或治療不足的問題。本研究嘗試利用大數據深度學習的方法，提出膿毒癥液體復蘇不同階段的治療建議，旨在為臨床輔助決策提供借鑒。

1 資料與方法

1.1 數據來源及入組標準 使用重癥監護醫學信息(Medical Information Mark for Intensive Care，MIMIC)Ⅲ數據庫篩選膿毒癥患者的數據。膿毒癥的診斷標準采用Sepsis 3.0，即在感染基礎上合并器官功能不全，序貫器官衰竭評分(sequential organ failure assessment，SOFA)≥2分[8]。感染的篩選標準為：提取患者的抗生素使用時間及病原學樣本留取時間，如使用抗生素時間在前，則病原學檢查應在開始使用抗生素的24 h內進行；如病原學檢查在前，則應在病原學檢查后72 h內使用抗生素。收集患者資料(包括基本信息、床旁監護儀收集的生命體征、實驗室檢查數據、微生物檢查結果、抗生素使用情況等)，根據液體入量與出量計算總液體平衡量。

1.2 數據收集及清洗策略 根據Sepsis 3.0標準，共篩選出膿毒癥患者11 913例。選擇診斷膿毒癥后72 h作為觀察的時間窗，對上述患者從入ICU開始，每4 h提取1次數據，定義為1個時間段區間(bloc)，共分為18個時間段。如患者在72 h內轉出ICU或死亡，則取其在ICU最后一刻的指標作為實測值；如在某時間段內多次測量某指標，則取其在該時段中的平均值。將患者在ICU內生存或死亡作為最終結局變量。由于實驗室檢查指標無需頻繁測量，因此某時段的“缺失值”采用前向填補方法，選擇缺失率在30%以下的其他特征，采用最鄰近節點算法(K-nearest neighbor，KNN)填補缺失值。最終用于建模的特征有27個，包括25個狀態特征(bloc、生命體征、實驗室檢查，血氣分析指標及基本信息等)，1個動作特征(液體出入量差值)，以及1個結局特征(患者在ICU內的結局)。根據入住ICU的時長不同，每例患者最多可產生18條數據，11 913例患者的總數據為113 548條。數據篩選策略、所用特征值及對部分異常值的處理方法見圖1、表1。

表1 納入模型的特征變量及其相應特征值的缺失率與異常值處理方式Tab.1 Included feature variables and missing rate of corresponding features and handling of outliers

圖1 使用強化學習方法建立膿毒癥患者精準化液體治療方案的數據篩選過程Fig.1 Data screening for establishment of precise fluid treatment plans by reinforcement learning for patients with sepsis

1.3 狀態、行為及回報 (1)狀態，每條數據是一組狀態，指每例患者每個時間段對應的除出入量差值及結局以外的25個特征。(2)行為，指在某狀態下需要給予的液體量，即出入量差值；行為按出入量差值的20%、40%、60%、80%劃分為5個區間，分別為≤-239.40 ml、-239.39～-1.94 ml、-1.93～160.00 ml、160.01～363.58 ml、＞363.58 ml。(3)回報，指治療結果的好壞，回報值根據每例患者最后時刻的狀態進行判斷，若最終存活，則回報值為15，否則為-15；其余時刻的回報值均為0。

1.4 算法選擇 將患者按8:2的比例隨機劃分為訓練集與測試集。使用SARSA及Q-learning方法進行算法選擇，具體方法及推導過程參考附件1～4。

1.5 模型驗證 在訓練集與測試集上，分別將不同類型的脫水補液預測情況與實際情況及預后進行比較。將預測值與實際值的5分類出入量按脫水或補液劃分為兩類，即原始的分類0、1、2對應新的分類0，表示脫水；原始的分類3、4對應新的分類1，表示補液?；颊邔嶋H的脫水及補液信息來自臨床MIMIC Ⅲ數據庫記錄，統計模型預測結果與患者實際液體平衡量的4種組合的死亡患者占比，比較預測方案與實際補液方式一致及不一致情況下患者的實際病死率。

1.6 統計學處理 使用SPSS 22.0軟件對納入的25個建模特征進行統計學分析及描述。不符合正態分布或方差不齊的計量資料以M(Q1，Q3)表示，比較采用秩和檢驗。計數資料以例(%)表示，比較采用χ2檢驗。由于本研究樣本量較大，取P＜0.01為差異有統計學意義。

2 結 果

2.1 入組數據的一般描述 訓練與測試集的25個特征指標比較差異無統計學意義(P＞0.01，表2)，表明兩個數據集來自同一樣本。

表2 納入建模的24個狀態特征指標比較[M(Q1，Q3)]Tab.2 Comparison of 24 state feature indexes included in modeling [M(Q1, Q3)]

2.2 不同時間段實際液體平衡量與患者病死率的關系 將患者按照4 h 一個時間段分成18個區段，分析膿毒癥患者每個時間段液體平衡量(出量-入量)與病死率的關系，結果呈現液體負平衡越多，患者病死率越低的趨勢(圖2)。

圖2 膿毒癥患者各時間段液體平衡量(出量-入量)與病死率的關系Fig.2 Relationship between fluid balance and mortality of patients with sepsis in each time period

2.3 SARSA預測病死率與預期回報值的關系在訓練集數據中，預期回報值越高，病死率越低(圖3)，表明本研究預期回報值的算法設計合理。

圖3 SARSA模型預測預期回報值與病死率的關系Fig.3 Relationship between expected return and mortality predicted by SARSA model

2.4 Q-learning預測液體平衡差異與病死率的關系 測試集上出入量差值與病死率的關系如圖4所示。結果顯示，模型預測值與實際出入量越接近，病死率越低，該模型支持判斷醫師液體治療決策的正確性；入量過高或過低均會導致不良預后，即模型預測為脫水治療但臨床實際采用液體輸入治療時，預測值與實際值相差越大，患者病死率越高。

圖4 Q-learning模型預測預期脫水與實際脫水的差值與病死率的關系Fig.4 Relationship between the diあerence of expected dehydration and actual dehydration treatment and mortality predicted by Q-learning

2.5 模型評估 使用Doubly robust estimator計算測試集Q-learning模型的平均預期回報值與反復進行模型計算后的平均預期回報值。由表3可見，隨訓練次數增加，模型的平均回報值不斷升高，起始提升幅度較大，而當訓練次數由20 000次增加到30 000次時，相比前10 000次訓練，平均回報值的提升有限，再繼續訓練，回報值的提升將趨于穩定，且存在過擬合的風險，因此選用訓練30 000次的模型作為最終結果。

表3 測試集Q-learning模型的平均預期回報值Tab.3 Average expected return of Q-learning model in training set

2.6 臨床效果驗證 驗證結果顯示，無論使用訓練集還是驗證集，在預測脫水與實際脫水情況一致的情況下，患者病死率最低，與其他患者比較差異有統計學意義(P＜0.05)，即預測值與實際值趨于一致時患者病死率較低(圖5)。在預測值與實際值不一致的情況下，預測為脫水而實際給予補液治療造成的不良結局比預測為補液而實際進行脫水治療造成的不良結局更嚴重，前者的病死率高于后者。

圖5 模型出入量預測值與實際臨床治療一致及不一致患者的存活與死亡情況比較Fig.5 Comparison of survival and death data among each group of patients either the predicted input and output volume consistent with the actual clinical treatment

3 討 論

液體過負荷與重癥膿毒性休克和(或)急性呼吸窘迫綜合征(acute respiratory distress syndrme，ARDS)患者的預后相關，可造成器官水腫及功能障礙，最終影響發病率及病死率。液體療法被認為是一把雙刃劍，目前不恰當或過多輸液導致的不良反應越來越被人們所認識。Alsous等[9]于2000年進行的一項回顧性隊列研究提示，膿毒性休克患者在最初進入ICU治療的72 h內，維持至少1 d的液體負平衡能獲得更好的預后[生存風險率為5.0；95%可信區間(95% confidence interval，95%CI)為2.3～10.9，P＜0.001]。2006年，ARDS網絡的液體及導管治療試驗結果顯示，液體負平衡雖然對病死率無影響，但能明顯縮短重癥患者的機械通氣時間及ICU住院時間[10]。近年來已有較多研究從循證醫學的角度探討膿毒癥患者液體平衡與病死率的關系，發現膿毒癥患者液體正平衡存在一些弊端[1-4]。最近一項涉及重癥患兒液體平衡與預后關系的系統性綜述表明，重癥患兒初始復蘇后可能發生液體積聚并進展為液體超負荷，而后者可導致治療更復雜，加重臨床不良結局，且可能導致患者病死率升高[11]。在膿毒癥患者的實際治療中，要警惕液體過負荷導致的器官再損傷，且需要使用更多方法對液體治療進行輔助決策。本研究使用SARSA模型得到一個液體治療量與患者病死率的關系方程，使用Q-learning模型計算并使用驗證集進行效果驗證，結果表明，模型預測值與實際出入量越接近，患者病死率越低，而出入量過高或過低均會導致不良臨床結局，入量明顯大于出量的患者病死率更高；預測脫水而實際也給予脫水治療的患者預后較好，預測脫水而實際給予補液的患者預后最差。因此，使用深度學習方法能較準確地預測患者液體治療的方向，且與實際治療結果接近，從而可準確地指導治療。

嚴重感染及膿毒性休克患者在入住ICU第1天輸注的液體量往往多于拯救膿毒癥運動指南推薦的劑量(30 ml/kg)。入住ICU第1天輸注大于5 L液體與死亡風險明顯增加、住院成本明顯升高有關[12]。Vincent和de Backer[7]對休克管理提出了一個概念模型，針對重癥患者治療期間的液體管理，將休克治療分為4期：(1)復蘇期，目標是達到可接受的足以維持生命的最低血壓水平；(2)優化期，目標是增加心排血量，達到機體的預期要求；(3)穩定期，關注器官支持及避免并發癥；(4)降階期，患者應逐漸脫離ICU的干預措施。該模型還強調了液體降階梯治療的必要性。Malbrain等[13]在此基礎上討論了不同的液體管理策略，包括早期充分的目標導向液體管理、晚期保守液體管理及晚期目標導向液體去除，同時提出了液體療法的“4D”概念，即藥物(drug)、劑量(dosing)、持續時間(duration)及降階梯(de-escalation)。在對膿毒性休克患者進行治療時，應考慮4個階段的液體療法，認識到何時開始靜脈輸液、何時停止靜脈輸液、何時開始反向復蘇或積極排出液體，以及何時停止反向復蘇，以滿足4個階段的目標。但目前尚無清晰的標準說明應該如何更加精確地對患者實施液體治療。最近研究表明，在ICU中實現液體負平衡與90 d病死率降低有關，且較早獲得液體負平衡也與病死率降低有關，液體負平衡值增加1 L，病死率就會呈下降趨勢[11]，說明給予液體降階梯治療且早期識別降階梯階段具有重要意義。本研究使用的Q-learning模型能很好地為臨床提供液體治療的方向，指導臨床第一時間調整液體管理策略，避免液體不足或液體過負荷。

在治療中應時刻牢記避免過度脫水，脫水的目標是移除組織間隙中的過多容量，雖然會造成血管內液體減少，但當組織間隙的液體回吸收速率(血漿再充盈速率)足以預防低血容量時，就不會發生低血壓。但液體回吸收速率低至多少才會發生低血壓，目前尚未完全清楚。有研究表明，在嚴重的液體負平衡患者中，增加的液體攝入量及尿量均與醫院病死率降低有關；然而，相比輕微的液體負平衡，實現更多的負平衡與病死率降低并不相關[14]。本研究模型除給予一定液體治療方向外，也顯示雖然可以按照模型提示的方向進行治療，但過多的脫水與補液同樣會帶來不好的效果，在使用過程中需注意。

本研究的局限性：(1)在MIMIC Ⅲ數據庫基礎上完成建模及驗證過程，是否適用于其他數據背景及數據庫尚待進一步證實；(2)僅適用于膿毒癥患者，可能不適用于ICU內所有人群；(3)本算法僅為膿毒癥患者的液體治療提供方向，而無法精確地預測輸液量及輸液速度；(4)納入的是較重要且從MIMIC Ⅲ數據庫較易獲取的指標，尚不清楚納入更多指標參與建模是否能獲得更穩定的模型。因此，可以將該模型用于治療膿毒癥患者的輔助決策，但最終是否按照強化學習的策略進行治療，取決于患者對臨床治療的反應以及床旁實際情況。

綜上所述，本研究利用深度學習方法提出了一種可能指導ICU膿毒癥患者液體治療的預測模型，使用該模型可以較準確地預測患者液體治療的方向，從而為重癥患者的臨床治療決策提供幫助。