體外診斷試驗定量項目一致性評估的統計分析方法探討

黃雪梅 譚春艷 周 瑩 楊霞芳 王 巖 莫志江△

【提 要】 目的 以統計軟件為工具,用實例形式探討體外診斷試驗定量項目一致性評估的統計分析方法。方法 對于目前無臨床認可界值的項目,我們建議以室內質控(intermal quality control,IQC)、生物變異數據庫、室間質評(extermal quality assessment,EQA)和CLIA′88(clinical laboratory improvement amendments of 1988)作為參考;利用SPSS 26.0和MedCalc 20.0處理數據,包括樣本量估算模塊,Frequencies(頻率)模塊,單樣本符號秩和檢驗和回歸分析。結果 通過參考IQC、EQA和CLIA′88解決目前大多數定量項目無臨床一致性界值可用的問題;MedCalc的Bland-Altman plot和 SPSS的 Frequencies(頻率)模塊可提供一致性界限(limits of agreement,LoA)和容許區間(tolerance interval);MedCalc單樣本符號秩和檢驗可提供完全符合EP09-A3要求的偏倚分析結果;SPSS的回歸模塊可用于評估醫學決定水平處的偏倚和LoA。結論 本文的統計分析方法可提供符合規范要求的體外診斷試驗定量項目一致性分析結果。

臨床實驗室體外診斷試驗定量項目的一致性評估常見于臨床試驗和方法學比對(包括多套檢測系統的比對)等工作中,可參考的最新指南主要為《臨床實驗室總分析誤差評估》(EP21-A)和《用患者樣本進行方法比對及偏倚評估:批準指南,第三版》(EP09-A3)等,但兩者的應用不同:前者用于評估總誤差(系統誤差和隨機誤差之和),也就是準確度(accuracy)[1];后者用于評估系統誤差,也稱偏倚(bias)或正確度(trueness)[2],兩者常被混淆。國家藥監局發布的《體外診斷試劑臨床試驗指導原則(2021年第72號)》(以下簡稱《指導原則》)要求同時評估總誤差和系統誤差。

實際工作中,我們發現存在一些問題。一是缺乏一致性評判標準的預先確定,付央[3]等收集的含有Blank-Altman法的98份體外診斷試劑注冊申報資料,無一事先確定臨床認可界值(或稱臨床意義界值、臨床界值)。二是缺乏樣本量估算。三是統計方法的應用不充分,甚至失當,不能完全滿足一致性評估的需要,如方法學比對未給出偏倚的95%置信區間(95% confidence interval,95%CI),體外診斷試劑臨床試驗僅評估系統誤差,Bland-Altman法的應用不規范等。

EP21-A和EP09-A3介紹的統計方法均為手工計算,涉及大量統計學概念和復雜難懂的公式,難以完全正確解讀和執行。本文的實例分析完全符合EP21-A 、EP09-A3和《指導原則》的規范,統計結果均出自SPSS和MedCalc軟件,期望能有助于高效、規范地進行體外診斷試驗定量項目的一致性評價。

材料與方法

1.實例數據來源

本研究數據來源于桂林優利特醫療電子有限公司于2011年3月至2011年8月在中心1(廣西壯族自治區人民醫院,對照儀器1:Sysmex XE-2100全自動血細胞分析儀)和中心2(廣西醫科大學附屬醫院,對照儀器2:Coulter LH750全自動血細胞分析儀)完成的URIT-5500五分類全自動血細胞分析儀臨床試驗,本文僅摘其中的血紅蛋白(hemoglobin,HGB)項目作實例分析演示,見表1。

表1 試驗儀器與兩種對照儀器在血紅蛋白(HGB)項目中的單次檢測結果(g/L)

2. 數據處理

采用專業統計軟件SPSS 26.0和MedCalc 20.0,兩者都有一些對方缺失的功能,可以互為補充,涉及的統計模型見下文。

數據分析和結果

本文按照表1的結果用以下公式定義一些重要術語:

設xi為對照儀器的檢測結果,yi為試驗儀器的檢測結果(i為樣本序號,i=1,2,…,n,n為樣本量),按以下公式定義本文術語:

檢測均值=(yi+xi)/2

(1)

di(difference,差值)=試驗儀器檢測值-對照儀器檢測值=yi-xi

(2)

di%(difference%,差值%,相對差值)=100×(yi-xi)/xi

(3)

di%(difference%,差值%,相對差值)=100×(yi-xi)/檢測均值(僅限于圖2)

(4)

(5)

(6)

EP21-A將差異值(差值或差值%)的95%CI分布范圍定義為總分析誤差(total analytical error),對應于Bland-Altman法的LoA,本文一律統稱為LoA。EP21-A將總分析誤差限(total analytical error limits)定義為分析總誤差的最大允許界限,對應于Bland-Altman法的最大允許誤差(maximum allowed difference)和臨床實驗室的允許總誤差(allowed total errors,TEa), 本文一律統稱為TEa。

根據公式(5)和公式(6),偏倚和偏倚%分別由差值均值和差值%的均值來刻畫,若正態分布不成立(尤其是偏態),則改用中位數代替。

1. 允許總誤差和臨床認可界值的確定

EP21-A要求預先確定TEa以評判試驗的LoA是否滿足要求。應依據研究目的和行業標準而定,還可參考室內質控(IQC)、生物變異數據庫、衛生部臨床檢驗中心室間質評(EQA)和CLIA′88等標準。臨床認可界值△也是可參考的標準,指的是該差異對臨床的診斷和治療影響很小。當不存在業內公認的△值時,需有臨床專家預先參與確定,因具有一定的主觀性,不可在取得試驗結果后量身定制。HGB項目多個一致性標準見表2。

表2 HGB項目的多個標準的允許總誤差(TEa)

IQC的允許波動范圍反映了某檢驗系統的日常正常波動,若LoA處于這一范圍內,可以認定該差異猶如源自于同一檢驗系統,兩者的結果可視為等同,屬于最優的試驗結果;若能達到EQA或CLIA′88標準,表明LoA處于目前技術能力范圍內,結果可接受;生物變異數據庫反映個體內和個體間的波動情況,LoA若能滿足該標準表明可以接受。大多數臨床檢驗項目不存在表2的所有標準。

按總誤差來源,TEa從小至大排序應為IQC≤(生物變異數據庫,EQA,CLIA′88)≤Δ,IQC應最小,否則不應被采納,應盡量采用知名大廠的IQC標準以滿足這一排序。因此,在無臨床認可界值Δ的情況,可用排序在前的標準予以替代。

《指導原則》要求LoA在臨床認可界值內,但未具體闡明如何確定,也難以找到有使用價值的相關文獻,因此這一步驟在實際工作中鮮有被執行,盡管這是判斷兩個方法是否一致的關鍵。

EP09-A3的方法學比對僅涉及偏倚,一般取1/2TEa,常用1/2 CLIA′88標準。

2. 樣本量估算

《指導原則》雖然要求進行樣本量估算,但僅提供了定性而沒有定量方法的估算公式。按照EP21-A,總誤差在一致性評估中最重要[1],因此本文將其作為樣本量估算的指標,可根據研發階段數據或文獻等信息進行估算。

若差值或差值%呈非正態分布(尤其是偏態分布),應該使用非參數法,此時我們建議至少100例,達到200例以上可以取得較為穩定的95%容許區間(定義見下文),具體理由見下文討論部分。

若差值或差值%呈正態分布,則MedCalc的Bland-Altman樣本量模塊是很好的專項工具。本文前期數據呈近似正態分布,以CLIA′88的TEa(±7%)作為臨床認可界值,結果見表3。

表3 Bland-Altman圖最小樣本量估算結果(α=0.05,β=0.2)

一般而言,低濃度段的數據有可能變異較大(尤其是差值%),因此表3增加了一個≤80 g/L的低濃度段。此外,±7%折算為差值時,按表2質控物的低值58 g/L折算以取得保守的樣本量估算值。根據表3,當樣本量不低于56時,可以得出與研發階段相近的結果。

3. 利用差異圖評估總誤差和偏倚

EP21-A和EP09-A3的差異圖(difference plot)包括差值圖和差值%圖,用于評估總誤差和偏倚。Bland-Altman圖假定差值和差值%(統稱差異值)服從正態分布[1],是差異圖的特例,也是目前最常用和最被認可的一致性評價方法[4-5]。

對于差值和差值%,參數法采用MedCalc 的Bland-Altman模塊量化,非參數法采用SPSS的Frequencies模塊量化。若正態分布成立,兩者的結果將會十分接近,本文一并列入表4以便比較。

表4 HGB差值和差值%的分析結果

本文引入Frequencies模塊用于非參數法的一致性評估,其通過Bootstrap法估算表4統計量的95%CI以供評估抽樣誤差的波動范圍。(-5.0505%, 3.8462%)為95%容許區間(95% tolerance interval,95%TI),是一個EP21-A術語,源自于LoA下限的95%CI下限(-5.0505%)、上限的95%CI上限(3.8462%)。

MedCalc可直接生成Bland-Altman差異圖(圖1和圖2),必須目視檢查圖形的數據點分布情況。只有差異值在整個橫軸上分布基本相同,散布成水平條帶狀的恒定分布時,表4對應結果的正確性方可保證,此時上下兩條虛線水平平行,即全圖有相同的LoA值。

圖1 HGB的Bland-Altman差值圖

圖2 HGB的Bland-Altman差值%圖

圖1大致呈恒定分布,但沿著橫軸,差值的分散程度大致隨著HGB均值增加而增大。圖2相對于圖1更符合恒定分布,故采用其對應的量化結果,且將±7%的TEa(CLIA′88標準)加入圖中以便于結果判讀。圖1和圖2都沒有離群值存在的跡象。

圖2的TEa(±7%)完全包含LoA(-3.3%, 4.5%)和95%TI(左側相交且垂直于LoA的誤差線),因此該項目兩個方法的總誤差足夠小,可滿足臨床使用需求。參考表4,即使按照非參數的結果判讀,前述結論仍未改變。此外,由于兩個中心的數據點相互混雜,表明結果一致,無須擔心中心效應問題。

《指導原則》沒有提及95%TI,只要求LoA在臨床認可界值內,因此臨床試驗中95%TI超越臨床認可界值不歸為試驗失敗。如未超越,則對結果符合要求更具信心。

至此,以上結果已足夠支持試驗儀器用于臨床檢驗日常工作,理論上其他結果(如回歸分析等)并非必須[2],這是因為以上LoA為對整個檢測范圍內總誤差的評估結果,包含了一致性評價的所有要素。

表4包含偏倚結果。差值%均值(偏倚%)0.6418%(0.1270%, 1.1566%)雖不包含0值,但在LoA范圍內占比很小,屬輕微偏倚。若按差值%中位數1.1634%(0%～1.3890%),結果相近。若以1/2 CLIA′88(±3.5%)作為最大可接受偏倚,按EP09-A3規則判斷(由優至差依次分為A至E五檔),前者為B,后者為A,均屬可接受[2]。

若差異圖不呈恒定分布而呈EP09-A3介紹的線性變化,則以上量化分析不適用,可采用SPSS的線性回歸擬合差異值與濃度的函數關系[2,6],可讓其輸出偏倚及其95%CI,以及LoA。若呈非線性變化,則本文所有的量化方法(包括下文的單樣本符號秩和檢驗、單樣本t檢驗和回歸模型)均不適用,我們推薦使用SPSS含11個模型的曲線擬合模塊(curve estimation)擬合差異值與濃度的函數關系,選擇最佳模型后可讓其輸出偏倚和LoA。這兩種情況下,沒有全圖相同的LoA,也無法輸出95%TI。

4. 利用單樣本t檢驗和單樣本符號秩和檢驗評估偏倚

單樣本符號秩和檢驗是單樣本t檢驗的非參數版,MedCalc在該模型中還集成了單樣本t檢驗,是量化圖1和圖2偏倚的有力工具,分析結果見表5。

表5 MedCalc單樣本符號秩和檢驗對差值和差值%的偏倚分析結果

表5包含了EP09-A3對差值圖和差值%圖進行偏倚量化的所有結果,且與表4的偏倚結果十分接近。一些文獻僅做配對t檢驗,僅等效于差值的單樣本t檢驗,且不報告其95%CI,應用價值大減。

5. 利用回歸分析評估偏倚和總誤差

表6 HGB項目的回歸結果匯總

EP09-A3將表6與表5(或表4)的結果進行比較以證實這些模型的可信性,從中選出最佳模型。表5的偏倚%為0.6418%(0.1270%, 1.1566%),對應的回歸方程斜率應接近于1+0.6418%=1.0064(95%CI:1+0.1270%=1.0013至1+1.1566%=1.0116)。截距應接近于表5的偏倚0.8167(0.2371, 1.3962)。因此,表6的WLS斜率1.0057(0.9945, 1.0169)、截距0.0729(-0.9654, 1.1112)最為接近,為最佳模型。

圖1的差值多少有些呈喇叭型分布,因此加權回歸和Passing &Bablok回歸都是合理的選擇。鑒于差值也大致呈恒定分布,因此使用普通線性回歸和Deming回歸同樣合理,這就是表6各個模型的結果都較為接近的原因。檢查差異圖和(xi, yi)散點圖可為選擇合適的回歸模型提供一定參考(詳見EP09-A3,本文不再贅述),但通常不能確定唯一的模型,當結果不吻合時,需更換模型。

在選擇回歸模型時,我們建議應側重考慮醫學決定水平(Xc)、危急值和參考限,讓回歸線盡可能穿過或逼近這些臨床關注值的數據點,以在這些特殊濃度處能產生更為準確的模型估值,也就能更準確地評估試驗儀器在這些濃度處的一致性。例如,有些項目的Xc位于低濃度范圍內,若表5確定的差值均值接近于0,則選擇的回歸模型截距也應接近于0,起碼相對于Xc值可以忽略不計。否則,回歸線就會偏離低濃度數據,產生不符合低濃度實際情況的模型估值。當然,這可能會以犧牲中、高濃度的準確性為代價,但此時臨床關注值不在這些濃度范圍內,這是可以接受的。

表7 WLS醫學決定水平處(Xc)的偏倚估值和相對偏倚估值

表8 WLS醫學決定水平處(Xc)的LoA

顯然,表7和表8分別吻合表5和表4所對應的結果。對醫學決定水平處(Xc)檢測結果的一致性評估,一直以來都是通過偏倚結果來衡量,通過表8提供的LoA,可以增加一個評估指標。

雖然回歸分析在偏倚量化中的應用要廣泛得多,但表5的結果也凸顯了差值和差值%偏倚量化的重要性,不但在替換性研究中(臨床實驗室引進新方法、新儀器、新試劑等)起決定性作用,且可用于證實回歸結果的可信性,雖然其重要性已被EP21-A和P09-A3提及,但仍容易被忽視。

討 論

1. 非參數法的樣本量考慮

我們未能找到明確的樣本量估算方法,但可從95%TI的角度考慮。EP21-A用于非參數方法示例分析的數據(低密度脂蛋白項)樣本量為100,按照其附錄B的TI表[1],這是LoA設定包含至少95%差異值的條件下,取得雙側TI置信水平至少為95%的幾乎最低樣本量,此時95%TI的下限和上限分別由該樣本的最小值和最大值構成,實際置信水平為96.29%。顯然,本文HGB實例樣本量為60,其非參數法的95%TI當然是由最小值和最大值構成,TI表顯示雙側TI實際置信水平肯定低于90%。

按照EP21-A附錄B的統計學表格,當樣本量達到200時,95%TI的下限和上限不再由樣本的最小值和最大值分別構成,基本可擺脫樣本量不足的限制。隨著樣本量的進一步增加,95%TI更趨于穩定。因此Bootstrap法雖被推薦用于小樣本量研究[7],但在體外診斷試劑的一致性研究中存在一定限制。

綜上,對于非參數方法,我們建議至少100例,為取得較為穩定的95%TI,需達到200例以上。

2. 統計方法選擇的適用性

體外診斷試劑臨床試驗的考核試劑(儀器、檢測系統等),從未在臨床上應用,其準確性未知,因此主要評估差異圖(包括Blank-Altman圖)的總誤差(LoA)。此外,還可以差異圖和回歸分析的偏倚結果作為補充。

若使用Blank-Altman法計算LoA或偏倚(尤其是LoA),需要確保差異值為正態或近似正態分布,可通過目視檢查SPSS的P-P圖或直方圖(histogram)等圖形方法加以確認,統計學檢驗法(如單樣本Kolmogorov-Smirnov檢驗等)因過于敏感(大樣本尤為如此),結果具有誤導性而不予推薦。若差異值不滿足正態要求,可用Frequencies模塊提供一個不依賴正態分布、對離群值不敏感的非參數結果。

若僅需要按EP09-A3評估偏倚,可以使用MedCalc單樣本符號秩和檢驗和回歸分析。

本文所使用的統計模型都經過分析EP21-A和EP09-A3的相關范例進行驗證,得到了完全相同或相近的結果。

3. 圖形檢查的重要性

圖形檢查對于一致性評估結果的正確性十分重要,但常被忽略。正是通過圖形檢查發現差值%相對于差值更具恒定分布,而只有恒定分布才能確定一個全圖一致的LoA。此外,圖形檢查也為篩選回歸模型提供依據,可參考EP09-A3對恒定SD(恒定標準差)、恒定CV(恒定變異系數)和混合變異(mixed variability)等圖形的描述[2]。

圖形檢查的另一個任務為探查可能的離群值。線性回歸(以及相關分析)以最小二乘法擬合模型,離群值(outlier),尤其是極端值(extreme value)將可能扭曲相關系數和回歸系數,這些異常數據在散點圖上遠離數據主體,一般可通過目視檢查初步確定,然后利用MedCalc軟件的離群值探測模塊(outlier detection)的ESD檢驗(generalized extreme studentized deviate)予以確認[1-2],必要時利用SPSS的箱型圖(boxplot)鑒別離群值(1.5～3倍四分位間距)和極端值(3倍以上四分位間距)[8]。按照CLSI系列文件,離群值除非出自錯誤結果,否則不可排除在數據分析之外,此時應采用非參數模型分析數據[1-2]。

4. 數據轉換的適用性

對于差異值不符合正態分布,尤其是右偏數據,多建議進行對數轉換[3,9-10],但轉換后所得到的算術均值反對數后為幾何均值,對稱的LoA反對數后不再對稱,其覆蓋范圍不能完全反映原始數據的范圍,將其與原始數據對稱的TEa(如±7%)比較顯然不再合適。

對數轉換僅適用于定有專門標準的項目。例如,《以藥動學參數為終點評價指標的化學藥物仿制藥人體生物等效性研究技術指導原則2016版》規定生物等效標準為(80%, 125%),上下限并未在100%的左右對稱,而是下限log(80%)=-0.09691和上限log(125%)=0.0969在0值(即幾何均值100%的對數值)左右對稱,以適應數據分析規定的對數轉換。EP09-A3亦強調數據轉換后回歸分析的斜率不可再與原始數據的可接受偏倚比較[2]。此時,使用非參數法以避免轉換數據是必需的。