部分可觀察馬爾科夫決策過程優化不穩定型心絞痛中西醫結合臨床治療方案的建模方法與驗證研究

馮 妍，馮 奇，王以新*，邱 禹，周雪忠，徐 浩

部分可觀察馬爾科夫決策過程（partially observable Markov decision-making process，POMDP）是一種數據挖掘的科學算法，用以解決序列決策問題［1］。在實際診療過程中，醫生制定個體化的治療方案的思路均是先分析患者當前的健康狀態再做出評估處理，然而，患者的健康狀態和處方療效常受到多種因素的影響。任何疾病特別是一些慢性病很難一蹴而就，常常需要多次的方案調整才能得到病情好轉或穩定的結果［2］。所以，從根本上解決臨床治療方案優化問題就是要解決如何在不確定條件下得到最優序列決策。POMDP正是這樣一種解決序列決策問題的數學方法，其決策過程和臨床方案的制定過程類似，本文選取不穩定型心絞痛（unstable angina，UA）的建模和中西醫結合臨床治療方案優化過程，對此模型做詳細介紹并加以驗證。研究對開展UA中西醫結合治療臨床療效的即時客觀評價、開展根據患者臨床特點的中西醫結合“個體化治療”，從而減少UA的發病率有著重要意義。

1 POMDP模型數據庫的建立

1.1 診斷標準 UA診斷標準參照中華醫學會心血管病學分會發布的《不穩定型心絞痛與非ST段抬高心肌梗死診斷與治療指南》［3］，根據心絞痛發作的性質、特點，結合發作時典型心電圖改變、運動平板心電圖、動態心電圖、心肌核素掃描、冠脈造影結果、危險因素等綜合判斷，以提高診斷的準確性。中醫辨證標準參照中國中西醫結合學會心血管學會《冠心病中醫辨證標準》［4］和《中醫內科學》［5］胸痹心痛辨證標準。

1.2 納入標準、排除標準及終點事件 納入標準：（1）符合UA診斷標準；（2）既往有陳舊心肌梗死病史或經冠狀動脈造影證實至少有1支冠狀動脈狹窄≥50%；（3）UA為西醫第一診斷的住院患者；（4）簽署知情同意書。排除標準：隨訪1年內發生終點事件。終點事件：（1）主要終點事件：心血管死亡、非致命性心肌梗死、血運重建術（包括介入治療、冠狀動脈旁路移植術）；（2）次要終點事件：腦卒中、因急性冠脈綜合征再住院、心功能不全、其他血栓并發癥。

1.3 病例來源 研究所用的病例數據資料來自中國中醫科學院西苑醫院、中國中醫科學院廣安門醫院、中日友好醫院、北京市中醫院、通州區中醫院、東直門醫院、懷柔中醫醫院、北京大學人民醫院2008—2010年2 212例UA患者結構化住院病歷記錄。患者均先后接受了至少5個診次的治療，獲得111 060條診次的病歷記錄。每例患者的病歷記錄均按照時間順序在數據庫中存儲。

2 POMDP模型算法的建立

2.1 模型概述 基于POMDP模型的中西醫結合治療方案動態優化是利用一定的數學計算，在大量的多維臨床數據中，嘗試用數據挖掘方法發現和提煉臨床實踐中的中西醫結合治療經驗，找到療效較好的中西醫結合臨床治療方案的過程。應用POMDP模型建立處方決策模型，研究多階段復雜干預過程的處方決策方案的優化方法，從而為臨床醫生治療方案的制定提供參考。

圖1展示了用POMDP模型模擬中西醫結合臨床診療過程建模的思路。每次就診過程中，患者處于某個特定的健康狀態，但是這種隱藏的健康狀態要通過患者癥狀、體征等表象展現出來。臨床醫生通過中、西醫臨床診斷和檢測手段相結合的方法觀察這些癥狀、體征，對當前患者的健康狀況做出評估，根據一定的治療原則和方法制定處方。在下次就診時，醫生通過觀察患者癥狀、體征的變化以了解處方的療效，然后再動態進行處方的調整。

2.2 建模關鍵要素介紹 在這個解決中西醫結合治療不穩定型心絞痛的方案優化的POMDP模型建立過程中，需要模擬臨床的治療過程，有幾個關鍵要素是必須要采集和運算的。

2.2.1 觀察 在中醫臨床中，臨床醫生利用望、聞、問、切四診結合實驗室檢查的方法獲得患者當前診次的一些癥狀、體征。這些癥狀、體征在每個診次中都是可以被直觀觀察到的。多數情況下，臨床醫生每個診次會觀察到多個臨床癥狀。如冠心病患者可能同時出現諸如胸悶、心慌、胸痛、氣短、乏力等多個癥狀。所以，一個癥狀變量就是觀察到的一個癥狀，并依據嚴重程度用“無”“輕”“中”“重”來分層表示，以一組癥狀變量的取值情況來確定患者當前的健康狀態。將所有癥狀的組合看作觀察集合，將每個癥狀變量定義為POMDP模型中的一個觀察變量。

圖1 用POMDP模型模擬中西醫結合臨床診療過程Figure 1 Using POMDP model to simulate the clinical diagnosis and treatment process of integrated traditional Chinese and western medicine

2.2.2 狀態 健康狀態是1例患者整體健康狀況的描述，在中西醫結合診療過程中，可以用“證候”來表示。臨床醫生需要通過各個診次觀察到的癥狀體征間接獲取患者的“證候”數據。相關研究也表明，“證候”是一種合理的疾病分類依據［3］。臨床數據庫以電子化的形式對患者每個診次診療過程中的全部癥狀、體征信息均給予記錄。將患者的癥狀、體征作為患者區別的集合并進行聚類以得到模型中的狀態集合，使得具有相似“證候”的患者劃歸到同一分類中，并把這些不同“證候”類別作為一個健康狀態。選擇合適的聚類集合時要同時兼顧健康狀態之間的差別及常見癥狀的典型性。因而，這個選擇的過程需要中西醫結合臨床專家的分析和判斷。

每例患者個體化的癥狀體征數據的健康狀態歸屬和分類，將依據篩選得到最合適的聚類集合描述加以評估，并以患者癥狀、體征數據到聚類中心的距離來計算。

2.2.3 行動 建立POMDP模型是為了實現依據現有臨床數據的分析和臨床反饋發現中西醫結合經驗處方，優化臨床用藥方案，所以模型中的每次行動都以患者的處方作為處理核心。

然而，加入了中草藥的處方數據后，每個診次和疾病治療階段的處方常包含15種以上規定了特定劑量的中藥和西藥，如果把每個處方都作為一個行動處理，即使變動一味中藥或西藥或調整某種中藥劑量也會導致原來處方的改變。因此，模型必須進行處方簡化處理。具體而言，就是用處方中的核心藥物組合作為行動代表，對POMDP模型行動簡化處理，且暫不考慮處方中各藥物的劑量并忽略罕見藥物。這樣，每個處方都分解為核心藥物組合，并以此作為行動的集合。

由于模型對患者數量的要求，此次模型只分析了UA診為血瘀、氣虛這兩種證候患者的處方。首先以復雜網絡的方法分析并篩選血瘀、氣虛患者所用的中藥核心處方（見圖2～3）。篩選后的中藥核心處方見表1。根據不同UA的西醫規范治療指南，用頻率分布圖篩選UA的西藥核心處方（見表2）。

將每個臨床用藥處方都整理成核心藥物方組合，這樣從病例數據庫中得到的處方方案就是由核心用藥處方組成的一個組合序列。

圖2 “血瘀”證素患者中醫處方用藥情況復雜網絡分析Figure 2 Complex network analysis of traditional Chinese medicine prescription in patients with blood stasis

圖3 “氣虛”證素患者中醫處方用藥情況復雜網絡分析Figure 3 Complex network analysis of traditional Chinese medicine prescription in patients with Qi deficiency

表1 中藥核心處方Table 1 Core traditional Chinese medicine prescription

表2 西藥核心處方Table 2 Core western medicine prescription

2.2.4 觀察變量和轉移函數 這是POMDP模型中的兩個核心參數。（1）觀察變量：每個診次臨床醫生所觀察到的癥狀體征是患者健康狀態的直觀反映。模型中，把患者臨床癥狀組成的向量當作觀察變量，并假設這些癥狀變量之間是相互獨立的。（2）轉移函數：每個就診過程中，臨床醫生通過中、西醫檢查手段相結合的方法得到患者的臨床信息，再經過對患者疾病現狀的診斷，應用臨床知識和積累的經驗，給患者制定用藥方案，到下一個診次時，患者的健康狀態可能保持或發生一定的變化。轉移概率用來表示該患者在本模型中的健康狀態受治療影響后，相鄰診次健康狀態的變化規律。

2.2.5 立即效益值 立即效益值是POMDP值的主要評價指標，用來評價每次行動的價值，在本模型中即是評價每次處方對患者的綜合獲益。在建立的模型中，立即效益值用患者癥狀的改善程度來評價。

POMDP模型中的立即效益值依賴于相鄰診次的健康狀態變化，即前后兩個診次所有癥狀改善的相加值。

以冠心病患者為例，也可以根據癥狀的重要性和相關性給予不同的權重。如在某個健康狀態上，一些頻度更高的處方提示著臨床醫生的傾向性或該處方的臨床療效優勢。因此，對立即效益值的計算，可用于優化和篩選更有效的治療方案，也可發現有療效優勢的經驗方案。

2.2.6 初始信念狀態 即觀察某個患者最初診次中所有的臨床癥狀及其嚴重程度，整合初診狀態集合中的每一個健康狀態，就得到關于這個患者的初始信念狀態。

3 POMDP模型驗證研究

進一步將POMDP模型優化和發現中西醫結合治療方案的能力在冠心病的中西醫結合治療方案的優化問題上進行驗證比較。

3.1 驗證方法 為研究應用POMDP模型得出的UA中西醫結合治療方案的合理性，用SAS 2.16.1統計軟件將UA證候要素類型為氣虛、血瘀的患者隨機分為測試組732例和驗證組732例，首先對測試組患者應用POMDP模型得出一組最優治療方案的核心處方，然后應用之前的篩選程序在驗證組患者中篩選符合方案的患者作為優化組、不符合方案的患者作為對照組，進行血瘀證積分［6］、遠期終點事件發生情況的比較，驗證方案的臨床療效，從而對POMDP模型的可靠性進行驗證。

匹配的基本條件為病癥相同，因考慮患者數量和研究的說服力問題，最終使用了證候為氣虛和血瘀、基線資料相同且治療方案中小于治療用藥總數70%藥物的患者作為匹配患者，不同的待驗證患者不匹配相同的患者。基線資料主要是指年齡、性別、吸煙史、高血壓病史、糖尿病病史、高脂血癥病史。

最后符合氣虛治療方案的共有152例患者入選優化組，符合血瘀治療方案的共有127例患者入選優化組，待對照組患者的篩選及匹配完成后進行兩組療效的評價，評價的指標包括出院血瘀證積分降分及遠期終點事件發生率。

3.2 統計學方法 以臨床平均效益值（average discount rewards，ADR）來比較由POMDP模型制定的治療方案和真實世界中的治療方案。采用SPSS 17.0統計軟件進行驗證研究的數據處理。呈正態分布的計量資料以（±s）表示，兩組間比較采用配對樣本t檢驗。計數資料以相對數表示，組間比較采用χ2檢驗。以P＜0.05為差異有統計學意義。

3.3 驗證結果 優化組和對照組患者經過軟件進行配對處理后，兩組基線資料均衡可比。另通過對對照組和優化組患者的血瘀證積分降分進行正態性檢驗，兩組為正態分布，故進行配對樣本t檢驗，優化組患者的血瘀證積分降分較對照組患者更大（P＜0.05）；對兩組患者的遠期終點事件發生率進行χ2檢驗，結果顯示兩組發生率比較，差異無統計學意義（P＞0.05），其中氣虛方案的研究中，優化組發生事件25例，對照組發生28例；血瘀方案的研究中，優化組發生事件16例，對照組發生18例（見表3～4）。

4 討論

POMDP是一種解決序列決策問題數學算法，在醫學領域中常應用于復雜治療方案的動態優化。本研究團隊前期已將其在UA中西醫結合臨床治療方案優化中進行初步嘗試［7-9］。本文詳細描述了POMDP的關鍵參數、分析思路、數據分解過程，并利用多種新的數據挖掘方法得出的優化治療建議，將患者人群分為測試組和驗證組，以臨床隨訪終點事件和血瘀證改善積分為主要指標，分析本次研究出的治療建議的可靠性及方法的可信度。

選取此次優化治療方案使用的POMDP模型的方法，將患者隨機分為驗證組和測試組，將模型得出的研究結果在驗證中驗證，對改善血瘀證積分水平和遠期終點事件情況較不使用該方案組有明顯的療效。受觀察患者人數和觀察時間影響，兩組遠期終點事件的發生率無明顯差別，但優化組的事件發生人數略低于對照組。

從傳統醫學角度，冠心病的主要病機為血瘀，血瘀證候的嚴重程度在一定程度上反映了患者的病情。目前，血瘀證候的嚴重程度主要使用血瘀證積分量表進行評價。結果顯示，POMDP優化的UA中西醫結合治療方案在改善血瘀證方面有明顯優勢，在長期療效方面雖然暫時無明確的統計學意義，但也顯示了良好的趨勢。

表3 氣虛證兩組患者血瘀證積分降分和遠期終點事件發生率比較Table 3 Comparison of the decrease of blood stasis scores and the incidence of long-term end-point events between the two groups of patients with Qi deficiency

表4 血瘀證兩組患者血瘀證積分降分和遠期終點事件發生率比較Table 4 Comparison of the decrease of blood stasis scores and the incidence of long-term end-point events between the two groups of patients with blood stasis

本研究不僅是以數據模型進行優化方案的提取，也在一定程度上證實了POMDP模型生成的UA中西醫結合優化治療方案的可靠性，對研究方法的嚴謹程度也有驗證意義。更為細化、深入的研究方案，有待進一步的相關患者的觀察結果。

本模型研究探索應用POMDP算法，對UA患者中西醫結合治療方案的臨床療效即時評價，從而幫助實現UA中西醫結合適宜方案的快速優化。應在基層醫療機構診療系統中添加智能模塊，以協助全科醫生應用現代數據優化方法開展冠心病等多種慢性病中西醫結合治療方案的即時智能推薦、臨床療效的即時客觀評價及根據患者臨床特點的中西醫結合“精準治療”，從而提高基層醫療工作水平、減少多種慢性病臨床事件的發病率、提高基層智能化慢性病管理水平。研究也將為進一步探索慢性病治療方案的優化提供重要的研究依據和方法學基礎。

作者貢獻：馮妍負責病例采集、研究設計、文章撰寫；徐浩負責研究設計、審閱病歷及其他工作支持；王以新負責審閱病歷及其他工作支持；馮奇、周雪忠負責分析數據、模型編程；邱禹負責采集數據、數據統計。

本文無利益沖突。