利用凈重新分類指數(shù)與整體鑒別指數(shù)評價一種新危險因素的補充預測能力*

于莉莉 武頌文 夏結來

國家自然科學基金(No：81502896)

1.濟南軍區(qū)總醫(yī)院信息科(250031)

2.第四軍醫(yī)大學衛(wèi)生統(tǒng)計教研室

△通信作者：于莉莉，E-mail：yllstat@163.com

利用凈重新分類指數(shù)與整體鑒別指數(shù)評價一種新危險因素的補充預測能力*

于莉莉1△武頌文2夏結來2

目的介紹凈重新分類指數(shù)與整合鑒別改善指數(shù)的基本概念及其計算方法。方法從方法的研究背景探討其在臨床實踐中的必要性,并利用實例數(shù)據(jù)對其計算過程進行演示和討論。結果利用風險預測模型對疾病的發(fā)生發(fā)展進行風險預測與分層,從而進行成本效益分析以及分配合理的治療方案,已經是臨床實踐中廣泛應用的一種流行病學方法。單純利用ROC曲線下面積的改善預測新危險因素的貢獻在很多情況下并不敏感,凈重新分類指數(shù)與整合鑒別改善指數(shù)可以對新危險因素的補充預測能力提供更多的增量信息。結論建議研究者在臨床研究實踐中考慮應用此兩種方法作為ROC曲線下面積的補充。

風險預測模型 凈重新分類指數(shù) 整體鑒別指數(shù) ROC曲線下面積

利用多變量統(tǒng)計分析模型預測、量化與疾病有關的危險因素及其發(fā)生風險是流行病學中常用的方法,這些方法在20世紀以來取得了較大的進展。但是醫(yī)學的發(fā)展使得科學家能夠不斷發(fā)現(xiàn)新的危險因素標志物,如何建立包含這些生物標志物的新的風險評價模型以及如何最好地量化新模型在預測風險方面獲得的改善效果,對統(tǒng)計學家與臨床工作者都是新的機遇與挑戰(zhàn)。此時,單純依靠新危險因素與疾病的統(tǒng)計相關性已經不能說明問題。有些研究者提出ROC曲線下面積(即AUC)可以作為主要的評價標準,可以通過計算包含與不包含新危險因素的兩個模型AUC的差值來確定新模型AUC的改善。然而,這種改善,往往程度很小,正如Wang等所列舉的實例[1],在預測冠心病發(fā)病風險的模型中,一種新的危險因素對于一組標準的危險因素的AUC從0.76變成了0.77,僅僅增加了0.01;此外,Ware和Pepe也證實要得到有意義AUC的提升,需要較大的OR的改善[2-3]。

正因為如此,研究者開始專注于尋求新的方法用于定量這種改善。凈重新分類指數(shù)(net reclassification improvament,簡稱NRI)與整體鑒別指數(shù)(integrated discrimination improvement,簡稱IDI)近幾年來越來越受到青睞[4-5]。這兩個指標相比較于AUC,提供了更多的增量信息;本文中我們將對這兩種新方法的特性以及相應的近似顯著性檢驗方法進行簡要介紹與討論,以期為臨床科研工作者的實際應用提供參考。

對象與方法

1.凈重新分類改善指數(shù)(NRI)

NRI的計算依賴于構建一個重新分類表。也就是說,我們首先要根據(jù)舊模型計算疾病或事件的發(fā)生概率或風險,然后依據(jù)風險概率的大小劃分等級(如<5%,5%～10%,10%～20%,20%以上)。最后利用包含新危險因素的新模型重新計算疾病或事件的發(fā)生概率,得到的風險概率依然按照之前的等級劃分,并將新舊模型概率大小的變化用交叉表的形式列出。

為了便于NRI的理解與計算,我們定義“向上運動”與“向下運動”兩個概念。其中“向上運動”定義為:根據(jù)新模型,發(fā)生了向高分類組的變化;“向下運動”正好與此相反。如果D表示某種疾病或事件,1為是,0為否,則NRI定義為:

NRI=[P(上升|D=1)-P(下降|D=1)]-[P(上升|D=0)-P(下降|D=0)]

(1)

如果用樣本數(shù)據(jù)估算NRI,我們介紹組成NRI的四個概率的估計如下:

(2)

(3)

(4)

(5)

NRI可以如下估計:

(6)

假定事件組與非事件組個體相互獨立,我們得到一個關于無效假設NRI=0的檢驗方法,樣本量較大時,統(tǒng)計量z近似服從標準正態(tài)分布[4]:

(7)

2.整合鑒別改善指數(shù)(IDI)

用IS表示(0,1)區(qū)間范圍內所有截斷點的靈敏度的積分;IP表示所有1-特異度的積分,我們定義IDI的計算如下:

IDI=(IS新-IS舊)-(IP新-IP舊)

(8)

上述表達式中“新”表示包含了新的危險因素的模型,而表達式中的“舊”表示不包括新危險因素的舊模型。通常情況下,(0,1)區(qū)間的靈敏度積分與1-特異度積分被認為是平均靈敏度與1-特異度;IDI可以看作是平均靈敏度改善與平均1-特異度改善的差值。

(9)

(10)

結 果

我們利用文獻[6]第14章-logistic回歸的實例對凈重新分類指數(shù)與整體鑒別指數(shù)的計算過程進行演示。實例內容如下:為了不手術而又能弄清前列腺癌是否發(fā)生淋巴結轉移的情況,術前檢查了53例前列腺癌患者,分別記錄了年齡(age)、酸性磷酸酯酶(acid)兩個連續(xù)性變量,X射線(X_ray)、術前探針活檢病理分級(grade)、直腸指檢腫瘤大小與位置(stage)三個分類變量。手術探查結果為應變量,1表示有淋巴結轉移,0表示無淋巴結轉移。我們假定要探討酸性磷酸酯酶大小對于判定前列腺癌有無淋巴結轉移的影響,舊模型不包括acid,新模型中包括acid。預測概率按照20%以下,20%～,40%～,60%～,80%以上分為5個等級。新舊模型預測概率重新分類表如表1所示。

表1 Acid預測有無淋巴結轉移的新舊模型預測概率重新分類表

討 論

本文介紹兩個新的指標,即凈重新分類指數(shù)(NRI)與整合鑒別改善指數(shù)(IDI),用于估算增加一種新的危險因素后模型的預測效果的改善情況。同時,介紹了它們的樣本統(tǒng)計量估算方法及近似性檢驗,這兩種方法均由可單獨區(qū)分的事件組與非事件組組成。同時利用教材中的實例數(shù)據(jù)對此方法的計算過程進行了演算。需要說明的是,本文中所列舉的實例,僅僅是為了演示兩個指標的計算過程,與其是否符合臨床實際應用無關。

由實例的演示結果,我們看到,增加酸性磷酸酯酶這一指標后,無論NRI還是IDI,改善程度經檢驗均無統(tǒng)計學意義。這與前期logistic回歸的結論也是一致的[(OR=1.025,P=0.064)]。但是從NRI的計算過程來看,NRI的大小與預測概率的等級密切相關。如果等級劃分的過粗,NRI可能會比較小而無統(tǒng)計學意義；而等級劃分過細,可能會得到更為精細的NRI,但是對于臨床的指導意義卻不大。所以,我們在利用重新分類表計算NRI這一指標時,預測概率等級的劃分至關重要,一定要結合專業(yè)需求與相關的標準規(guī)范,選擇合理的等級劃分。相比較而言,IDI則不存在這樣的顧慮。所以,有專家建議[4],評價一種新的危險因素對于預測效果的改善情況,指標的選擇應該考慮我們需要回答的問題。舉例來說,如果在給定截斷點的向上或向下的改善是關心和選擇的主要依據(jù),那么在該截斷點的靈敏度,特異性或NRI可能是最好的選擇。如果目前尚沒有明確的截斷點,那么AUC與IDI可能是較好的選擇。

重新分類法最早提出是在2006年[7],雖然這種方法的研究還處于起步階段,但是近年來受到越來越多統(tǒng)計學家與臨床研究者的關注,在乳腺癌、糖尿病、基因學以及冠心病的危險因素的研究中,都有相關的利用此方法的論文發(fā)表[8-10]。毋庸置疑,NRI和IDI對于評估新模型改進的效果提供了有益的見解。比如文獻中有這樣一個例子,其認為HDL對于冠心病發(fā)病風險預測有顯著的改善,但是僅僅依靠AUC卻得不出這樣的結論。縱然如此,AUC的提高依然被認為是改善的第一標準。但是NRI和IDI也應該被考慮其中,理想的狀態(tài)下,改善AUC,IDI和NRI,應該得到相同的結論。

當然,預測模型與因子的選擇需要綜合考慮公共衛(wèi)生需求與臨床可行性,例如AUC增加微小,而重新分類后的NRI卻得到大幅改善,IDI也得到穩(wěn)定增長。此時我們可能要重新考慮AUC增加的意義,或許增加0.01也是有意義的。如果特異性沒有損失且獲取這樣一個新的危險因素并不需要增加太多額外的負擔和費用,盡管AUC的改善非常有限,也是值得將這樣一個因素納入到預測模型中的。相反地,如果是一個很難獲取的昂貴的因子,我們可能要傾向于選擇傳統(tǒng)的成本較低的預測模型。

[1] Wang TJ,Gona P,Larson MG,et al.Multiple biomarkers for the prediction of first major cardiovascular events and death.New England Journal of Medicine,2006,355(25):2631-2639.

[2] Pepe MS,Janes H,Longton G,et al.Limitations of the odds ratio in gauging the performance of a diagnostic,prognostic,or screening marker.American Journal of Epidemiology,2004,159(9):882-890.

[3] Ware JH.The limitations of risk factors as prognostic tools.New England Journal of Medicine,2006,355(25):2615-2617.

[4] Pencina MJ,D’Agostino RBS,D’Agostino RBJ,et al.Evaluating the added predictive ability of a new biomarker:from area under the ROC curve to reclassification and beyond.Stat Med,2008,27(2):157-172.

[5] Janes H,Pepe MS,Gu W.Assessing the value of risk predictions using risk stratification tables.Ann Intern Med,2008,149(10):751-760.

[6] 宇傳華主編.SPSS與統(tǒng)計分析.北京:電子工業(yè)出版社,2007:366-378.

[7] Cook NR.Use and misuse of the receiver operating characteristic curve in risk prediction.Circulation,2007,115(7):928-935.

[8] Meigs JB,Shrader P,Sullivan LM,et al.Genotype score in addition to common risk factors for predection of type 2 diabetes.N Engl J Med,2008,359(21):2208-2219.

[9] Paynter NP,Chasman DI,Buring JE,et al.Cardiovascular disease risk prediction with and without knowledge of genetic variation at chromosome 9p21.3:The Women’s Genome Health Study.Ann Intern Med,2009,150(2):65-72.

[10] Cook NR,Ridker PM.The Use and Magnitude of Reclassification Measures for Individual Predictors of Global Cardiovascular Risk.Proceedings of the Royal Society A,2009,422(1862):103-121.

(責任編輯：劉 壯)