M arkov模型在藥物經(jīng)濟學中的應用

劉美娟，劉玉聰，孫利華

（沈陽藥科大學工商管理學院，遼寧 沈陽 110016）

模型是決策分析的重要工具，用來綜合一系列證據(jù)和不同來源的知識、數(shù)據(jù)。在藥物經(jīng)濟學評價中運用模型技術(shù)，既可反映和概括所研究問題的基本特征，又符合現(xiàn)實，使決策分析變得更科學，其中常用的模型包括Markov模型、決策樹分析、Monte Carlo模型。Markov模型在衛(wèi)生領(lǐng)域的應用始于20世紀80年代，用于模擬慢性病的病程，20世紀90年代后逐漸應用到藥物經(jīng)濟學研究中。其基本原理是利用某一變量的現(xiàn)在狀態(tài)和動向，去預測變量未來的狀態(tài)及動向，是國外最流行的用于藥物經(jīng)濟學分析的模型[1]。Markov模型與其他統(tǒng)計方法如回歸分析、時間序列等的不同之處是，它不需從復雜的預測因子中尋找各個因素之間的相互規(guī)律，只需考慮事件本身歷史狀況的演變特點，通過計算狀態(tài)轉(zhuǎn)移概率預測內(nèi)部狀態(tài)的變化[2]。在此著重介紹Markov模型在藥物經(jīng)濟學中的應用。

1 M arkov模型

Markov模型是俄國數(shù)學家Markov建立的一種分析隨機過程的方法。Markov經(jīng)過多次試驗最終發(fā)現(xiàn)，一個系統(tǒng)的狀態(tài)轉(zhuǎn)化過程中，第 n次轉(zhuǎn)化獲得的狀態(tài)常決定于前1次（第 n-1次）試驗的結(jié)果。對于一個系統(tǒng)，由一個狀態(tài)轉(zhuǎn)移到另一個狀態(tài)的轉(zhuǎn)化過程中，存在著狀態(tài)轉(zhuǎn)化概率，并且這種轉(zhuǎn)化概率可以依據(jù)其緊接的前一狀態(tài)推算出來，而與該系統(tǒng)的原始狀態(tài)和此次轉(zhuǎn)移前的過程無關(guān)[3]。一系列的Markov過程成為Markov鏈。Markov的基本方程為：

2 M arkov模型在藥物經(jīng)濟學中的構(gòu)建

Markov模型一般用于評估超過試驗時間的長期成本和效益，與其他模型相比，能較好地反映疾病的過程，被認為特別適用于慢性疾病研究。它將疾病分成幾個不同的健康狀態(tài)（Markov狀態(tài)），根據(jù)各個狀態(tài)在一定時間內(nèi)相互間的轉(zhuǎn)換概率模擬疾病進程和結(jié)局，從而估計出疾病發(fā)展的結(jié)果與費用[4]。Markov模型在藥物經(jīng)濟學中構(gòu)建的基本過程見圖1。

圖1 Markov模型在藥物經(jīng)濟學中構(gòu)建的基本過程

Markov模型的健康狀態(tài)：藥物經(jīng)濟學評價中，Markov模型是由一組互斥的但又是完備的狀態(tài)組成。互斥的是指任何兩個狀態(tài)不可能交疊，完備的是指模型中的狀態(tài)包括了各種可能的狀態(tài)，不存在任何別的狀態(tài)。任一個體在某一時點必然處于某一個狀態(tài)，并且只能處于一個狀態(tài)。所有這些狀態(tài)構(gòu)成了一個狀態(tài)空間。例如慢性丙型肝炎，可以分為7個狀態(tài)，即輕度慢性丙型肝炎、中度慢性丙型肝炎、代償性肝硬化、失代償性肝硬化、肝移植、肝癌、死亡。

Markov模型健康狀態(tài)的轉(zhuǎn)移和循環(huán)周期：狀態(tài)可能是時間維度上的變化，這稱為狀態(tài)的轉(zhuǎn)移（transition），離散的Markov模型要研究在一系列的離散周期（cycle）中的狀態(tài)轉(zhuǎn)移。周期的長度與疾病的特征和要評價的干預/項目有關(guān)，可以是1年，也可以是1個月或是1周，等等。狀態(tài)轉(zhuǎn)移的概念也包括狀態(tài)沒有變化，即下一個周期中仍處于原來狀態(tài)的情況。一般來說，在某一個周期，患者處于健康狀態(tài)，在下一個周期中，可能仍然處于這個狀態(tài)，也可能轉(zhuǎn)移成更差狀態(tài)，或者健康狀態(tài)改善變?yōu)楦玫慕】禒顟B(tài)。死亡狀態(tài)是不可逆的，稱為吸收態(tài)[5]。從一系列的健康狀態(tài)開始，其過程可以用狀態(tài)轉(zhuǎn)化圖來表示。圖2是一個簡單的Markov模型的例子，實際的Markov模型要復雜得多，多數(shù)疾病不止一種疾病狀態(tài)，多種疾病狀態(tài)之間可以相互轉(zhuǎn)換。

圖2 某疾病的Markov簡化模型

Markov的狀態(tài)轉(zhuǎn)移概率：任何一種治療都存在不確定性，因此，由治療所產(chǎn)生的健康狀態(tài)轉(zhuǎn)移是一種隨機變化，或是只能以概率來表達這種變化，這就是轉(zhuǎn)移概率（transition probability）。實際上，轉(zhuǎn)移概率就是患者的Markov模型狀態(tài)之間在一定周期長度下變化的速度。在下一個周期，從一種狀態(tài)轉(zhuǎn)變?yōu)槠渌麪顟B(tài)（包括原來的狀態(tài)）的轉(zhuǎn)移概率之和必須等于1.00[6]。一般，Markov模型要求估計出各種狀態(tài)的轉(zhuǎn)移概率，從而得到一個矩陣，稱為轉(zhuǎn)移概率矩陣。一般形式如下：

它表示狀態(tài)空間有 n種狀態(tài)，P11表示第一種狀態(tài)在下一個周期保持狀態(tài)1的概率，P12轉(zhuǎn)移為狀態(tài)2的概率，等等。一般的Pij表示第 i狀態(tài)轉(zhuǎn)移為第j個狀態(tài)的概率。因為第 n種狀態(tài)一般為吸收態(tài)，所以Pn1，Pn2，...Pn，n-i都為0，而Pnn=1。若狀態(tài)不可逆，則上述矩陣對角線以下的各個元素之和均為0。最簡單的情形是這些轉(zhuǎn)移概率在所有周期中都是相同的。一種復雜的情形是，在不同的周期轉(zhuǎn)移概率各不相同。這些狀態(tài)轉(zhuǎn)移概率數(shù)據(jù)大多依靠醫(yī)學文獻、公共數(shù)據(jù)庫或依賴專家的判斷、觀點來獲取。

Markov各個健康狀態(tài)的效用值和每個周期消耗的成本：在每一個狀態(tài)下，都有一個成本和效用值（成本-效用分析）與之聯(lián)系，藥物經(jīng)濟學中的效用值多代表健康相關(guān)的生命質(zhì)量。成本是實施一種干預手段所要消耗的資源價值，是直接成本、間接成本與無形成本之和。一般形式見表1。

表1 Markov模型各個健康狀態(tài)的效用值和成本

3 M arkov模型在藥物經(jīng)濟學評價中的運算方法

首先把假設的患者隊列分配給各初始狀態(tài)，依據(jù)狀態(tài)轉(zhuǎn)移概率矩陣，計算出Markov模型循環(huán)周期的各個狀態(tài)的分布數(shù)量；然后依據(jù)每一個狀態(tài)下的成本和效用值，就可得到藥物經(jīng)濟學中的評價指標[6]。

1）計算Markov模型的各個周期健康狀態(tài)

已知初始狀態(tài)，依據(jù)狀態(tài)轉(zhuǎn)移概率矩陣，就可以逐步計算出1個周期、2個周期直到 n個周期以后的狀態(tài)。

設初始狀態(tài)（即在第0個周期的狀況）為 S0，

S0=（S10，S20...Sn0）

則第一個周期的狀態(tài) S1為

在第2個周期的狀態(tài)S2為

即使不同周期的轉(zhuǎn)移概率不同，但只要能知道各個周期的轉(zhuǎn)移概率矩陣M1，M2，...，就比較易得到各個周期的狀態(tài)。這時，只要把不同的概率矩陣帶入計算公式就可以了。

2）獲得藥物經(jīng)濟學中的評價指標

計算出了Markov模型各個周期的健康狀態(tài)，知道了Markov各個健康狀態(tài)的效用值和每個周期消耗的成本，就可以估算每個階段以及評價項目總周期的疾病治療的成本、效果以及獲得的QUAY的情況。具體計算方法如下。

在第1個周期，生命質(zhì)量調(diào)整年的期望值為：

EF1=S11×E1+S21×E2+...+Sn1×En

周期成本的期望值為：

EC1=S11×C1+S21×C2+...+Sn1×Cn

同樣，在第2個周期，這兩個期望值分別為：

EF2=S12×E1+S22×E2+...+Sn2×En

EC2=S12×C1+S22×C2+...+Sn2×Cn...

在第T個周期，這兩個期望值分別為：

EFT=S1T×E1+S2T×E2+...+SnT×En

ECT=S1T×C1+S2T×C2+...+SnT×Cn

這T個周期的累積效用和累積成本分別為：

EF累積=EF1+EF2+...+EFT

EC累積=EC1+EC2+...+ECT

4 結(jié)語

Markov模型用來估計疾病發(fā)展的時間進程以及治療措施對患者健康狀態(tài)的影響，依據(jù)每個健康狀態(tài)和每個周期中患者的比例，估計每個階段疾病治療的效果、成本以及獲得的QUAY的情況，在藥物經(jīng)濟學模擬慢性病中具有廣泛的實用性。

[1]張 潔，黃泰康.衛(wèi)生經(jīng)濟學評價中馬爾可夫系列模擬方法介紹[J].中國藥物經(jīng)濟學，2008（4）：36-41.

[2]吳 晶，黃泰康.馬爾可夫模型及其在藥物經(jīng)濟預測中的應用[J].中國藥房，2006，16（14）：1 049-1 050.

[3]陳 潔.藥物經(jīng)濟學[M].北京：人民衛(wèi)生出版社，2006：161-162.

[4]王 倩，金丕煥.Markov模型在衛(wèi)生經(jīng)濟評價的應用[J].中國衛(wèi)生統(tǒng)計，2000，17（2）：86-88.

[5]毛正中.藥物經(jīng)濟評價方法[M].北京：中國統(tǒng)計出版社，2009：274-276.

[6]Andrew Briggs，Mark Sculpher.An Introduction to Markov Modelling for Economic Evaluation[J].Pharmacoeconomics，1998，13（4）：397-409.