藥物經濟學評價中Markov模型的周期內校正方法探討

沃田 陳磊 席曉宇

摘 要 目的：為減少藥物經濟學研究中Markov模型的誤差提供參考。方法：參考國外相關文獻，解釋Markov模型誤差產生的原理，并介紹常用的半周期法、梯形法、Simpsons 1/3 法、Simpsons 3/8法、生命表法及其在Excel、TreeAge軟件中的實現方法。結果與結論：Markov模型因離散化過程而產生誤差，使用周期內校正方法可校正這一誤差。半周期法是最常用的校正方法，是通過增加第1周期一半的結果并減去最后1周期一半的結果進行校正;梯形法的校正是以區間首尾端點值的均值代表該區間，以直角梯形的面積作為累計的結果;Simpsons 1/3法和Simpsons 3/8法則在梯形法的基礎上在區間中插值并以插值點所在的連續曲線代表整個曲線;壽命表法的校正中，生存人年數為該年齡組的組距與該年齡組和下一年齡組尚存人數的均值的乘積，生存人年數則為各年齡組生存總人年數的總和。在Excel中，可根據方法原理設置函數來實現校正;而在TreeAge軟件中，可通過設置Init Rwd、Incr Rwd、Final Rwd的函數表達式來實現校正。在使用Markov模型進行藥物經濟學評價時，對于周期校正方法的選擇，若從建模的易用性、適用情形的廣泛性等角度出發，建議使用梯形法;從結果的精確性角度出發，則建議使用Simpsons 1/3 法，以提高Markov模型的準確度。

關鍵詞 藥物經濟學;Markov模型;周期內校正;半周期法;梯形法;Simpsons 1/3 法;Simpsons 3/8法;壽命表法

ABSTRACT? ?OBJECTIVE： To provide reference for reducing the error of Markov model in pharmacoeconomic evaluation. METHODS： Referring to foreign literatures， the errors in Markov model were explained. The commonly used correction methods were introduced： half-cycle correction， trapezoidal rule， Simpsons 1/3 rule， Simpsons 3/8 method and life table method and their implementation in Excel and TreeAge software. RESULTS & CONCLUSIONS： The error of Markov model was caused by the discretization process and could be corrected by the within-cycle correction methods. Half-cycle correction， was the most commonly used correction method and could be corrected by adding half of the results of the first cycle and subtracting half of the results of the last cycle. By trapezoidal rule， the interval was represented by the mean value of the first end point value of the interval， and the area of right trapezoid was the cummulative result. Simpsons 1/3 rule and Simpsons 3/8 rule took another point in the interval on the basis of trapezoidal correction and the continuous curve where these three points were represented the whole curve. By life table method， the person-years of survival was the product of the group distance of the age group and the mean value of the number of survivors of the age group and the next age group， and the total person-years of survival was the sum of person-years of survival of each age group. In Excel， the fuction was set according to the method principle to realize the correction; in TreeAge software， the function expression of Init Rwd， Inor Rwd and Final Rwd were set to realize the correction. When using Markov model for pharmacoeconomic evaluation， if the selection of periodic correction method is based on the ease of modeling and the universality of application， the trapezoid rule method is recommended; based on the accuracy of results， it is suggested to use Simpsons 1/3 method， so as to improve the accuracy of Markov model.

KEYWORDS? ?Pharmacoeconomics; Markov model; Within-cycle correction; Semi-cycle correction; Trapezoidal rule; Simpsons 1/3 rule; Simpsons 3/8 rule; Life table method

藥物經濟學（Pharmacoeconomics）是為合理配置健康資源而新興的一門交叉學科，在近幾年由國家醫保部門組織的藥品談判中發揮了重要作用。藥物經濟學可分為基于臨床數據的研究和基于模型的研究：其中，基于臨床數據的研究通過收集臨床數據進行分析以判斷藥物的已知療效和經濟性;基于模型的研究則通過二手數據、專家訪談等構建模型分析預測藥物的療效和經濟性。目前藥物經濟學應用的主流模型包括：模擬群體層面病程短且復雜程度低的靜態決策樹模型、模擬群體層面病程長且復雜程度高的動態Markov模型、模擬個體層面疾病進展的離散事件模型、基于生存分析模擬群體層面疾病進展的分區生存模型以及模擬傳染病傳播的動態傳染模型[1]。其中，Markov模型因其能模擬復雜慢性疾?。ㄈ绨┌Y、慢性腎病、糖尿病等）的多階段多狀態進程，得到了學界的認可。該模型在20世紀80年代就已應用于藥物經濟學評價中，現已成為復雜慢性病藥物經濟學研究建模最常用的方法之一。Markov模型的基本組成包括Markov健康狀態、循環周期、轉移概率、健康產出及成本，其基本原理是將疾病發生發展的進程劃分為多個互斥的Markov健康狀態，每個循環周期內各狀態間按照轉移概率相互轉移，當絕大多數研究對象死亡或完成預設循環次數時模型停止運行，從而得出不同健康狀態對應的健康產出和成本[1]。

Markov模型本質上是將連續的復雜的疾病進程離散化，從而實現對慢性疾病進程的模擬，然而這一離散化的過程也同時造成了健康產出和成本計算的誤差。周期內校正（Within-cycle correction）可用于校正該誤差，且已被廣泛應用于國外相關研究中[2]，但在國內相關文獻中尚未見明確提及。本研究對Markov模型中健康產出和成本誤差的產生和校正方法進行介紹和分析，并給出誤差校正方法在Excel軟件和TreeAge軟件中的具體實現方法，旨在為減少Markov模型的誤差提供參考。

1 Markov模型周期內誤差產生原理

慢性疾病的進程是連續的，即每時每刻都有可能發生不同狀態間的轉移。以標準“健康-患病-死亡”三狀態的Markov模型為例，患者由健康人群按照患病概率轉移而來，同時患者還會按照死亡概率轉移至死亡狀態。隨著疾病的進展，患者人數將會先增加后減少。若患病概率和死亡概率均已知，則可列出微分方程求解當前患者數量占總人數的比例關于時間（x）的函數f（x），該函數以時間為橫坐標、患病人數比例為縱坐標，其曲線下面積即為患者在該狀態下的平均存活時長。這一連續時間連續狀態的建模方法即為隨機微分方程模型（SDE）。SDE的優勢在于其是“金標準”，結果最為準確，但是其易用性較差，難于解釋，不夠直觀[3]。

Markov模型將時間劃分為多個周期（t），假定患者人數在周期內保持不變，下一周期的人數取決于上一周期所有狀態的人數與對應的轉移概率。以圖1為例，第1周期開始時所有研究對象均處于健康狀態，到第1周期結束時，部分研究對象患病進入疾病狀態，則第1周期的期初患病人數為0，第1周期的期末患病人數為f（t）。SDE計算第10周期平均存活時長的方法是以積分求出f（0）與f（10t）圍成的曲線的面積;而Markov模型計算第1周期平均存活時長時，若設定狀態轉移發生在周期結束時，則如圖1所示按照期初值f（0）作為第1周期下的患病人數，以f（0）為矩形的長、周期長度為矩形的寬計算矩形的面積;若設定狀態轉移發生在周期開始時，則如圖2所示按照期末值f（t）作為第1周期下的患病人數，以f（t）為矩形的長、周期長度為矩形的寬計算矩形的面積。由圖1、圖2可以看出，Markov模型在第1周期即出現了明顯的偏差，在后續的周期中誤差依然存在，多周期下f（x）的曲線與矩形相差的面積即為Markov模型離散化過程中產生的誤差，其誤差的方向如表1所示[3]。

2 常見的周期內校正方法

目前，國際上已有多種成熟的周期內校正方法，包括半周期法（Half-cycle correction）、梯形法（Trapezoidal rule）、Simpsons 1/3 法（Simpsons 1/3 rule）、Simpsons 3/8法（Simpsons 3/8 rule）、壽命表法（Life table method），并已有廣泛應用[4-6]。

2.1 半周期法

半周期法是目前最常用的周期內校正方法，國際藥物經濟學與結果研究學會醫學決策制定學會下屬的建模研究規范工作組（ISPOR-SMDM Modeling Good Research Practices Task Force）建議使用半周期法校正Markov模型的臨床產出和成本[7]。半周期法假設狀態的轉變發生在每一循環周期的中點（如圖3所示）[8]。在計算累計結果時，通過增加第1周期一半的結果并減去最后1周期一半的結果，即可得出校正后的累計結果。例如，未校正的總質量調整生命年（QALYs）為9.90年，其中第1周期和最后1周期中的QALYs分別為1和0.32年。半周期法的校正運算過程即為：9.90+1/2-0.32/2≈10.24年。

盡管半周期法操作簡單、應用廣泛，但是其原理和計算過程使得其僅能基于首末周期校正，若周期長度不一致、f（t）分段不連續，則無法校正。

2.2 梯形法

為了解決半周期法僅能通過首末周期校正的缺陷，可應用數值積分中的梯形法。其基本原理是將f（t）每一周期的端點值連線，由此將標準Markov模型中未經校正的矩形變成梯形，將折線下的面積作為累計的結果（如圖4所示）[3]。若f（t）為凸函數，則梯形法校正的結果將略低于曲線下面積;若f（t）為凹函數，則梯形法計算的結果將略高于曲線下面積。在計算健康產出和成本時，梯形法對Markov模型的每一周期都進行了調整，即使出現周期長度不同、f（t）分段不連續的情況也能予以校正，克服了半周期法僅能基于首末周期校正的缺陷，能得到相較半周期法更精準的結果。

2.3 Simpsons 1/3 法和Simpsons 3/8法

數值積分中，Simpsons 1/3法和Simpsons 3/8法是相較梯形法精度更高的計算方法，也可用于周期內校正。數值積分是將連續的定積分離散為不同特定的形狀，諸如矩形、梯形、曲邊梯形等，通過計算這些形狀的面積從而獲得近似的積分值，因其能計算難以獲得積分函數或難以計算原函數的積分，故在計算機領域被廣泛應用。數值積分的基本方法是使用插值法，在特定區間內選擇1組點以代表該區間的函數值取值情況，其構造的基本插值型求積公式包括Simpsons 1/3公式和Simpsons 3/8公式[3]。

Simpsons 1/3公式基于兩次插值推導，能擬合較為平滑的曲線的定積分，設Markov模型單位同期為n，k為任一正整數，當k取1，2…，T時，tk=n，2n，…nT，即總周期為nT。函數f（x）在區間[tk-1，tk+1]中的定積分則約等于通過（tk-1，f（tk-1））、（tk，f（tk））、（tk+1，f（tk+1））的曲線與x軸圍成的曲邊梯形面積，函數f（x）在區間[tk-1，tk+1]圍成的面積Ck為：

Simpsons 3/8公式基于3次插值推導，能更精確地擬合較為平滑的曲線的定積分，函數f（x）在區間[tk，tk+3]（k=1，2，3，…，T）中的定積分則約等于通過（tk，f（tk））、（tk+1，f（tk+1））、（tk+2，f（tk+2））、（tk+3，f（tk+3））的曲線與x軸圍成的曲邊梯形面積，規定Markov模型中單位周期為n，函數f（x）在區間[tk，tk+3]圍成的面積Ck為：

2.4 壽命表法

壽命表法借鑒了保險精算和生存分析中常用的壽命表。壽命表由年齡組、死亡概率（qx）、尚存人數（lx）、死亡人數（dx）、生存人年數（Lx）和總生存人年數（Tx）構成。某一年齡組的尚存人數與該年齡組的死亡概率的乘積即為這一年齡組的死亡人數（dx=lx×qx），下一年齡組的尚存人數即為上一年齡組的尚存人數減去死亡人數（lx+1= lx-dx），生存人年數取該年齡組的組距t與該年齡組和下一年齡組尚存人數的均值的乘積[Lx=t×（lx+ lx+1）/2]，生存總人年數即為所有年齡組生存人年數的總和。

表2為以上述原理按照1 000人規模且下年死亡率為0.52時編制的壽命表，依照壽命表計算的總生存人年數與依照半周期法計算的總生存人年數基本一致，表明其精度尚可。實際應用時，年齡組即為Markov模型中的循環周期，死亡概率可類比為轉移概率;另外，在實質上，壽命表法和梯形法原理完全一致，可以認為二者等價[9]。

3 Markov模型周期內校正的實現方法

Markov模型一般通過Excel或者TreeAge軟件建立，為了方便敘述，本文僅展示考慮貼現情形下的成本校正。成本關于周期和貼現率的公式為：

式中，t為周期，St為t周期后處于疾病狀態的人數，c表示單位周期內的治療費用，rD表示年折現率。考慮到壽命表法和梯形法在數學運算上完全一致[2]，本部分不予以重復介紹。

3.1 基于Excel軟件的周期內校正實現方法

半周期法：若構建的模型假設狀態的轉變發生在每一循環周期開始時，則校正方式為在計算總成本加上（C0-CT）/2;若發生在每一循環周期的結束時，則減去（C0-CT））/2。式中，T為總周期數，C0為第1周期的費用，CT為最后1周期的費用。

梯形法和壽命表法：梯形法在每一周期期初、期末兩端點下的均值代表這一周期，即建立函數ft=（Ct-1+Ct）/2，最后對所有的ft求和即可得到總費用。

3.2 基于TreeAge軟件的周期內校正實現方法

TreeAge軟件中，Markov狀態的值統稱為Rwd，通過設置Init Rwd、Incr Rwd、Final Rwd的函數表達式即可實現對成本、效果的校正。TreeAge軟件內置的“半周期法”校正其原理同梯形法完全一致，因此本部分將二者合并介紹。

半周期法和梯形法：初始值Init Rwd=C0/2，期末值Final Rwd=CT/2，每一期增加的值Incr Rwd=discount（cost;rD;_stage）;式中，discount是TreeAge軟件內置的貼現函數，cost是給定狀態下的每周期成本，_stage是TreeAge軟件內置的模型當前運行周期t的計數變量（下同）。

值得注意的是，上述介紹的實現方法中，還有一些技術細節值得討論：第一，周期數若為奇數時使用Simpsons 1/3法校正會造成不能被2整除的周期未納入校正，而周期數若不能被3整除時Simpsons 3/8法也會出現類似的情況。解決方法為對不能整除的周期采用梯形法校正，或者將周期數延長至可整除的周期。第二，上述校正方法實現的前提是每個周期的長度相同;若不相同，則每周期的結果要考慮周期長度的差異，因此需要將周期長度也作為模型的參數。

4 討論

本文介紹了Markov模型常見的周期內校正方法，周期內校正的目的是解決Markov模型離散化連續疾病進程中存在的誤差問題。標準Markov模型運算過程實則為誤差較大的以端點值代表單位區間取值的數值積分過程，而數值積分領域已有成熟的誤差較小的積分方法，應用這些積分方法即可更為精確地求解Markov模型，即所謂的周期內校正。上述幾種校正方法中，半周期法的中點假設實則為數值積分中的中點法，即以區間中的中點代表整個區間;梯形法則以區間的兩端點代表整個區間;Simpsons 1/3法則在梯形法的基礎上在區間中再取一點并以這3點所在的連續曲線代表整個曲線。因而上述方法的精度是逐漸遞增的，如圖5所示（圖中的曲邊為函數圖像，圓圈表示取值點，取值點的連線指該校正法所代表的整個區間）[2]。

5 結語

在這些周期內校正方法中，半周期法應用最早但誤差也最大;Simpsons 1/3 法和Simpsons 3/8法最為精確但計算略為復雜，且無法應用于出現轉移概率不連續的情況[10]。因此，在方法選擇時，若從建模的易用性、適用情形的廣泛性（特別是模型存在不連續性時）等角度出發，建議使用梯形法;從結果的精確性角度出發，則建議使用Simpsons 1/3法[2];其他周期內校正方法可在敏感性分析中呈現結果并予以討論。

參考文獻

[ 1 ] BECK JR，PAUKER SG. The Markov process in medical prognosis[J]. Med Decis Making，1983，3（4）：419-458.

[ 2 ] ELBASHA E，CHHATWAL J. Myths and misconceptions of within-cycle correction：a guide for modelers and decision makers[J]. Pharmacoeconomics，2016，34（1）：13-22.

[ 3 ] ELBASHA E，CHHATWAL J. Theoretical foundations and practical applications of within-cycle correction methods[J]. Med Decis Making，2016，36（1）：115-131.

[ 4 ] ELBASHA E，GREAVES W，ROTH D，et al. Cost-effectiveness of elbasvir/grazoprevir use in treatment-naive and treatment-experienced patients with hepatitis C virus genotype 1 infection and chronic kidney disease in the United States[J]. J Viral Hepatitis，2017，24（4）：268-279.

[ 5 ] ELBASHA E，ROBERTSON MN，NWANKWO C. The cost-effectiveness of testing for NS5a resistance-associated polymorphisms at baseline in genotype 1a-infected （treatment-naive and treatment-experienced）subjects tr- eated with all-oral elbasvir/grazoprevir regimens in the United States[J]. Aliment Pharmacol Ther，2017，45（3）：455-467.

[ 6 ] SAMUR S，KLEBANOFF M，BANKEN R，et al. Long- term clinical impact and cost-effectiveness of obeticholic acid for the treatment of primary biliary cholangitis[J]. Hepatology，2017，65（3）：920-928.

[ 7 ] WEINSTEIN M，OBRIEN B，HORNBERGER J，et al. Principles of good practice for decision analytic modeling in health-care evaluation：report of the ISPOR task force on good research practicesmodeling studies[J]. Value Health，2003，6（1）：9-17.

[ 8 ] SONNENBERG FA，BECK JR. Markov models in medical decision making：a practical guide[J]. Med Decis Making，1993，13（4）：322-338.

[ 9 ] BARENDREGT J. The half-cycle correction：banish rather than explain it[J]. Med Decis Making，2009，29（4）：500-502.

[10] PREZ-MART?N J，BERMEJO I，DEZ FJ. Evaluation of Markov models with discontinuities[J]. Med Decis Making，2019，39（4）：414-420.

（收稿日期：2019-10-12 修回日期：2020-03-06）

（編輯：孫 冰）