MetaDTA：一款診斷試驗準確性Meta分析在線應用程序

【摘要】 MetaDTA是一款對診斷試驗準確性研究進行Meta分析的在線、交互式應用程序，該應用程序調用R軟件中lme4和shiny程序包實現統計分析并建立交互式用戶界面。該應用程序無需用戶了解任何有關統計和編程的知識，也無需安裝任何專業軟件，便于無專業統計知識的用戶使用。本文將重點介紹MetaDTA平臺診斷試驗準確性的量化、結果可視化、交互式功能等，結合實例向用戶介紹該應用程序的具體操作方法，旨在幫助相關研究人員完成診斷準確性研究Meta分析、繪制匯總受試者工作特征（SROC）曲線、繪制納入研究質量評價結果以及進行敏感性分析。

【關鍵詞】 MetaDTA；診斷試驗準確性研究；Meta分析；雙變量模型

【中圖分類號】 R 44 【文獻標識碼】 A DOI：10.12114/j.issn.1007-9572.2024.0083

MetaDTA：an Online Application for Diagnostic Test Accuracy Meta-analysis

YANG Shuihua1，2，3，YAO Guiying4，TIAN Chen1，2，3，YAN Yilong1，2，3，LIU Jiayi1，2，3，WANG Jiajia5，TIAN Jinhui2，6，NIU Meng7*，GE Long1，2，3*

1.Department of Social Science and Health Management，School of Public Health，Lanzhou University，Lanzhou 730000，China

2.Key Laboratory of Evidence Based Medicine of Gansu Province，Lanzhou 730000，China

3.Evidence-based Social Science Research Center，School of Public Health，Lanzhou University，Lanzhou 730000，China

4.Jinan Maternal and Child Health Centre，Jinan 250000，China

5.First Clinical Medical College，Lanzhou University，Lanzhou 730000，China

6.Evidence-based Medicine Center，School of Basic Medical Sciences，Lanzhou University，Lanzhou 730000，China

7.Department of Radiology，the First Hospital of Lanzhou University，Lanzhou 730000，China

*Corresponding authors：NIU Meng，Attending physician；E-mail：nium09@lzu.edu.cn

GE Long，Professor；E-mail：gelong2009@163.com

YANG Shuihua and YAO Guiying are co-first authors

【Abstract】 MetaDTA is an online，interactive application for Meta-analysis of diagnostic test accuracy studies，which calls on the lme4 and shiny packages in R software to perform the statistical analyses and create an interactive user interface. The application does not require any knowledge of statistics and programming，nor does it require any specialized software to be installed，making it easy to use for users with no specialized statistical knowledge. In this paper，we will focus on the quantification of diagnostic test accuracy，visualisation of results and interactive functions of the MetaDTA platform，and introduce users to the specific operation of the application with examples，aiming to help relevant researchers to complete Meta-analysis of diagnostic accuracy studies，plot summary receiver operating characteristic（SROC） curves，draw the results of the evaluation of the quality of the included studies，and carry out sensitivity analysis.

【Key words】 MetaDTA；Diagnostic test accuracy；Meta-analysis；Bivariate model

及時準確地診療疾病是臨床有效治療的前提。隨著對疾病的深入認識、醫療技術的快速發展以及診斷方式的不斷增加，給診斷方式的最終選擇帶來了困難［1-2］。診斷試驗準確性研究（diagnostic test accuracy，DTA）是指臨床上采取一種或多種診斷方式判斷研究對象是否患有某種疾病的試驗，可為疾病的正確診斷和鑒別診斷提供重要依據，通常使用靈敏度、特異度等指標來表示診斷試驗的準確性［2］。診斷試驗準確性Meta分析（meta-analysis of diagnostic test accuracy，DTA-MA）可按照預定義的納入和排除標準明確DTA、考慮其靈敏度和特異度之間的相關性并使用雙變量模型綜合多個獨立研究的靈敏度和特異度，從而評估診斷試驗的性能［3-4］。

并且DTA-MA的結果將以平均準確點或匯總受試者工作特征（summary receiver operating characteristic，SROC）曲線的形式呈現。

1 MetaDTA平臺的簡介

MetaDTA在線平臺（https：//crsu.shinyapps.io/MetaDTA/）是一款基于網絡使用統計軟件R以及軟件包Shiny和lme4進行“點擊式”DTA-MA的交互式在線應用程序。Shiny是一個允許R用戶創建具有交互式用戶界面的在線應用程序的軟件包，lme4是一個擬合廣義線性混合效應模型的軟件包，而MetaDTA則托管在shinyapps服務器上。任何用戶僅需擁有網絡和瀏覽器即可使用，無需事先了解HTML、JavaScript和CSS等在線開發語言、無需任何專業統計軟件以及無需掌握任何有關統計或編碼的知識等，亦可計算靈敏度與特異度匯總估計值、繪制SROC曲線并進行敏感性分析用以分析排除部分研究后對結果的影響。其中，診斷試驗準確性的量化、結果可視化和交互式功能是該平臺用以完成DTA-MA的重要部分。

1.1 診斷試驗準確性的量化

為了評估診斷試驗的準確性，需要將診斷試驗與“金標準”進行比較，便于將人群區分為所檢驗疾病的健康或患病狀態。而用以將人群分為健康或患病的值稱為閾值或臨界值，閾值可通過在連續標尺上滑動滑塊更改健康和患病的均值與標準差測量得出，高于該值的患者被診斷為患有相關疾病，低于該值的患者被診斷為健康（圖1）。平臺假設閾值呈正態分布，閾值通常將疾病患者和健康患者的檢測值分布進行分解，從而產生真陽性（TP）、真陰性（TN）、假陽性（FP）、假陰性（FN）4類不同的患者（圖2）。

靈敏度和特異度被用于評估診斷試驗的準確性，兩者會隨閾值的不同而變化，其關系可用以靈敏度為縱軸、1-特異度為橫軸作受試者工作特征（ROC）曲線體現，并且每條ROC曲線經過左下角（特異度=1，靈敏度=0）和右上角（特異度=0，靈敏度=1），若左下角的點高于疾病和健康分布的閾值，檢測會將所有患者歸類為健康；若右上角的點低于疾病和健康分布的閾值，檢測會將所有患者歸類為患病（圖3）［3］。靈敏度和特異度說明了檢測結果對真實疾病狀態的反映程度，但要全面了解檢驗在臨床實踐中的應用情況，還需要考慮受檢患者的實際患病率，即患病人數占檢測人數的百分比，患病率可滑動滑塊改變并且ROC圖會隨之變動（圖4）。與此同時，若靈敏度與特異度保持不變，陽性預測值和陰性預測值亦會隨患病率的變化而變化（圖5）。

1.2 診斷試驗準確性的結果可視化

對診斷試驗準確性進行Meta分析的結果以平均準確點或SROC曲線的形式呈現，根據該曲線所繪制的ROC圖說明了不同試驗閾值的靈敏度和特異度是如何變化的。SROC曲線不僅可以通過95%的置信區間來表示平均點或曲線估計的不確定性、通過95%的置信區間來表示準確性估計之間的異質性，還可以利用“十字準線”呈現SROC曲線中單個研究的靈敏度、特異度以及相關的置信區間［5］。并且用于DTA研究的Cochrane手冊、PRISMA和《醫學檢驗方法指南》等指導診斷試驗準確性進行Meta分析的文件均建議基于Meta分析的數據用SROC曲線呈現診斷試驗的總體結果［6-8］。

SROC圖主要突出兩點，一是質量評估，可同時呈現QUADAS-2（Quality Assessment of Diagnostic Accuracy Studies，version 2）工具所有維度的質量評估信息。QUADAS-2工具包含病例選擇、待評價試驗、金標準、病例流程與進展情況4個維度，并對每個維度進行偏倚風險評估、對前3個維度進行適用性評估［9］。MetaDTA平臺為在SROC圖中更好地呈現QUADAS-2工具評估4個偏倚風險維度、3個適用性維度和所有質量評價的結果，將一個圓形分別分成4、3、7個等分，這些圓形在ROC圖中被用于代表單個研究并會根據其質量評價分數著色，以綠色表示偏倚風險/適用性低、紅色表示偏倚風險/適用性高、灰色表示偏倚風險/適用性不清楚［10］。因此，從SROC圖中可以得出3方面信息：確定哪些研究存在高偏倚風險或高適用性問題、單個研究和匯總Meta分析結果的關系以及探索質量較低或不確定的研究結果是否與質量較高的研究結果存在系統性差異，這表明不同的質量可能會導致異質性。

二是研究權重百分比，可顯示每項研究對匯總Meta分析結果的相對貢獻。研究權重百分比的繪制是使用BURKE等［11］基于Fisher信息矩陣的分解，在多參數Meta分析模型中將參數估計的總方差矩陣分解為特定研究的貢獻，從而計算得出研究百分比權重。由于需要考慮靈敏度與特異度的估算，每項研究會對每個結局給予不同的權重，故而采用與SROC圖中坐標軸一致的橢圓，并且橢圓的高度與寬度和雙變量Meta分析模型的研究權重百分比呈正比［12］。因此，在MetaDTA平臺的SROC圖中研究估計值顯示為黑色空心橢圓，其大小和形狀代表靈敏度和特異度的研究權重百分比，若在圖中觀察到所有的橢圓大小相似，則表明Meta分析中的研究權重相等；若觀察到橢圓出現在SROC圖中最左上角處，則通常不太精確且權重百分比較小。

1.3 診斷試驗準確性的交互式功能

MetaDTA平臺是一個免費且基于網絡的應用程序，具有“點擊式”界面，便于用戶在不需要掌握統計軟件相關知識的前提下仍可較好地使用。該應用程序是完全交互式的，一方面能夠支持從多個角度觀察數據，并且可以由多個圖層組成，從而使一個圖中可用于描述多種類型的分析，其中每個圖層只有在用戶選擇時才可見［13］。如點擊SROC圖中的特定研究點，會在圖下顯示該研究的作者、年份、靈敏度和特異度等信息，若用戶還選擇了靈敏度和特異度的研究權重以及協變量值，均可呈現。另一方面可以用作探索工具以及數據集分析，并為敏感性分析提供有用的信息。如用戶不僅可在SROC圖中選擇添加十字準線，以探查每項研究的靈敏度與特異度的不確定性，還可將偏倚風險較高的研究從圖和分析中剔除，以評估其對Meta分析結果的影響。

1.4 MetaDTA平臺的頁面簡介

MetaDTA的主頁包括6個頁面，分別是首頁（Home）、數據上傳（Load Data）、Meta分析（Meta-Analysis）、敏感性分析（Sensitivity Analysis）、患病率（Prevalence）、參考文獻（References）。其中，“首頁”提供MetaDTA平臺的功能導航與用戶指南、lme4程序包介紹（https：//CRAN.R-project.org/package=lme4）以及診斷試驗準確性交互式計算工具（https：//crsu.shinyapps.io/diagprimer/）（圖6）；數據上傳、Meta分析和敏感性分析作為該平臺的主要功能，其操作流程將在下文進行詳細介紹；“患病率”可根據Meta分析結果預測某一人群會出現TP、TN、FP、FN結果的例數，有助于為診斷試驗準確性結果提供臨床借鑒，其中，樹形圖1是以診斷試驗是否陽性劃分例數、樹形圖2以患病和健康人群劃分例數；“參考資料”提供MetaDTA所使用統計方法的參考文獻和開發該平臺所調用的程序包。為了用戶能夠更好地使用MetaDTA平臺，本文將結合實例向用戶介紹該平臺的操作方法以便快速完成DTA-MA。

2 操作流程

2.1 數據上傳

“數據上傳”包含頁面左側操作欄和文件上傳（File Upload）、示例數據（Example datasets）與數據預覽（Data for Analysis）3個功能（圖7）。左側操作欄根據文件是否包含質量評價結果和/或協變量數據勾選相應選項并上傳文件（表1）；用戶可根據文件上傳選項的欄目標題說明設置數據文件格式；在示例數據處查看平臺示例數據集的相關信息，在數據預覽處對已上傳的數據進行查看。

上傳數據的具體步驟如下：根據文件內容勾選左側操作欄：勾選“File options”“Select example dataset”。選擇與上傳文件：點擊“Select”從本地文件夾選擇以“.xlsx”或“.csv”格式保存的數據并上傳。上傳完成后，“Select”下的藍色條會顯示“Upload complete”。

檢查數據：點擊“Data for Analysis”對上傳的數據進行預覽和檢查。本文將以Informant Questionnaire on Cognitive Decline in the Elderly（IQCODE）for the diagnosis of dementia within a secondary care setting一文數據為例（表2）對本平臺的操作進行介紹［14］。

2.2 Meta分析

Meta分析頁面由左側操作欄和6個功能選項組成，左側操作欄包含SROC繪圖功能的選項（Options for SROC plot tab）和分析結果功能的選項（Options for Statistics tab）；6個功能選項分別是納入研究的準確性結果（Study-level Outcomes）、SROC圖（SROC plot）、分析結果（Statistics）、參數估計結果（Parameter Estimates）、適用于RevMan的參數估計值（Parameters for RevMan）、森林圖（Forest Plots）。

“納入研究的準確性結果”提供每項納入研究的靈敏度、特異度、靈敏度研究權重和特異度研究權重。

“SROC圖”中默認選項有單個研究估計值（Data Points）、匯總估計值（Summary point）、95%置信區域（95% Confidence region）、95%預測區域（95% Predictive region）、靈敏度（Sensitivity）、特異度（Pecificity）、假陽率（False Positive Rate）等可根據需要勾選（圖8）。如用戶選擇SROC曲線，同時可以選擇外延SROC曲線（Extrapolate SROC curve），但在大多數情況下應避免外延；若用戶只想考慮單個研究的靈敏度與特異度的95%置信區間，可取消“Bivariate model options”的全部選項并勾選“Display 95% study level confidence intervals”的全部選項即可。

“分析結果”報告了納入研究匯總值的參數信息，用戶可根據需要在左側操作欄處勾選需要顯示的參數。該平臺默認勾選靈敏度（Sensitivity）、特異度（Specificity）和假陽率（False Positve Rate）等3個參數以制成表格。“參數估計結果”呈現了經對數轉化靈敏度和特異度的雙變量正態分布，用以輔助建模時估計測試性能的不確定性（圖9）。

“適用于RevMan的參數估計值”可生成供RevMan軟件所需的參數估計值，便于用戶在ROC曲線空間中構圖并將分析結果納入Cochrane系統評價中（圖10）。“森林圖”中分別呈現各項研究的靈敏度與特異度的森林圖（圖11）。

2.3 敏感性分析

敏感性分析的目的是探討用戶在分析中所作假設對結果的影響，其頁面內容與Meta分析頁面相似，不同之處在于敏感性分析頁面的左側灰色框的底部增加了所選納入研究（Select studies to include）選項、SROC圖、分析結果。

“所選納入研究”可通過排除研究進行敏感性分析，該區域僅需將排除研究不勾選即可（圖12）。

“SROC圖”中增添模型顯示（Select which model to display）的選項，用戶可根據需要自行選擇。MetaDTA平臺敏感性分析中的SROC圖已默認勾選原始模型（Original model）和敏感性分析模型（Sensitivity analysis model），原始模型將所有研究以灰色在圖中呈現結果；敏感性分析模型將已勾選的研究以藍色和黑色在圖中呈現（圖13）。在圖中可以看到，排除這兩項研究對改變靈敏度和特異度的Meta分析估計值或SROC曲線本身影響不大，但是置信區域和預測區域略有擴大，反映分析中的證據量較少。“分析結果”中提供兩個表格，第一個是對所有研究進行Meta分析的結果；第二個是對選定納入研究進行敏感性分析的結果。

3 討論

本文提到MetaDTA是一個能夠支持無任何統計知識的用戶對DTA進行Meta分析的免費、交互式在線應用程序，并結合案例詳細介紹了其操作步驟。針對這些內容可以發現該應用程序主要有三大優勢：一是給無統計學專業知識的用戶提供友好型界面，便于運用雙變量模型進行Meta分析；二是將大部分數據與結果以交互式SROC圖的形式呈現，便于用戶從多個角度查看相關信息；三是以簡單的交互方式進行敏感性分析以評估假設對參數估計的影響，便于節省用戶時間。

雙變量模型更適用于DTA進行Meta分析［15］。為了在RevMan中正確使用雙變量模型對DTA進行Meta分析，用戶需要在使用統計軟件進行統計分析后將SROC參數值反饋到RevMan中才可以生成SROC圖。但使用專業的統計軟件和統計方法對于無統計學專業知識的人來說是非常困難的，而MetaDTA可通過既能由熟悉DTA-MA流程的統計學家與無統計學專業知識的非統計學家使用，還能確保結果被正確解釋的優勢解決這一問題。SROC曲線通常是以靜態圖形的形式呈現，若Meta分析包含大量DTA，則特定研究的估計值可能因相互重疊導致SROC圖變得繁瑣且難以閱讀。交互式圖形是靜態圖形的替代方法，而MetaDTA不僅能夠以交互式功能支持用戶點擊特定研究的估計值并獲得相關詳細信息，還能在無法顯示更多信息的單圖問題上生成多個交互式圖并以多個角度充分顯示。敏感性分析是確保Meta分析結果穩健性的關鍵。但敏感性分析在研究假定條件對結果的影響這一過程是非常耗時的。比如，在RevMan中進行敏感性分析時，每排除一項研究就需要重新運行分析。而MetaDTA可通過勾選是否包含某研究以排除該研究并同時呈現結果與原始分析，便于節省時間并在圖表中更直觀地顯示被刪除研究對Meta分析結果的影響。

MetaDTA經過多次更新已經成為一個成熟的在線應用程序，但仍有不足之處。比如，MetaDTA雖支持使用雙變量模型評估DTA，但不支持DTA進行亞組分析與單變量元回歸，導致無法對兩個或多個DTA的Meta分析進行比較。希望在未來的改進中可以增加這些功能。

作者貢獻：楊水華查找資料、組織討論、撰寫初稿；姚桂英整理資料、修改論文；晏毅龍、劉嘉藝、王佳佳整理資料、討論修改；田晨、田金徽、牛猛、葛龍負責論文選題、指導寫作、修訂稿件、審查論文。

本文無利益沖突。

參考文獻

田晨，楊秋玉，賴鴻皓，等.診斷試驗準確性比較研究的統計分析［J］.中國循證醫學雜志，2022，22（12）：1474-1482.

田晨，楊秋玉，賴鴻皓，等.診斷性試驗準確性比較研究［J］.中國循證醫學雜志，2022，22（5）：590-594.

FREEMAN S C，KERBY C R，PATEL A，et al. Development of an interactive web-based tool to conduct and interrogate meta-analysis of diagnostic test accuracy studies：MetaDTA［J］. BMC Med Res Methodol，2019，19（1）：81. DOI：10.1186/s12874-019-0724-x.

CERULLO E，SUTTON A J，JONES H E，et al. MetaBayesDTA：codeless Bayesian meta-analysis of test accuracy，with or without a gold standard［J］. BMC Med Res Methodol，2023，23（1）：127. DOI：10.1186/s12874-023-01910-y.

PHILLIPS B，STEWART L A，SUTTON A J. ‘Cross hairs’ plots for diagnostic meta-analysis［J］. Res Synth Methods，2010，

1（3/4）：308-315. DOI：10.1002/jrsm.26.

BOSSUYT P，DAVENPORT C，DEEKS J，et al. Cochrane handbook for systematic reviews of diagnostic test accuracy［Z］. 2013.

MCGRATH T A，MOHER D，MCINNES M D F. Steps toward more complete reporting of systematic reviews of diagnostic test accuracy：preferred Reporting Items for Systematic Reviews and Meta-Analyses of Diagnostic Test Accuracy（PRISMA-DTA）［J］. Syst Rev，2019，8（1）：166. DOI：10.1186/s13643-019-1090-9.

MATCHAR D B，SMETANA G W. Methods guide for medical test reviews internet［M］. Agency for Healthcare Research and Quality （US），2012.

WHITING P F，RUTJES A W，WESTWOOD M E，et al. QUADAS-2：a revised tool for the quality assessment of diagnostic accuracy studies［J］. Ann Intern Med，2011，155（8）：529-536. DOI：10.7326/0003-4819-155-8-201110180-00009.

PATEL A，COOPER N，FREEMAN S，et al. Graphical enhancements to summary receiver operating characteristic plots to facilitate the analysis and reporting of meta-analysis of diagnostic test accuracy data［J］. Res Synth Methods，2021，12（1）：34-44. DOI：10.1002/jrsm.1439.

BURKE D L，ENSOR J，SNELL K I E，et al. Guidance for deriving and presenting percentage study weights in meta-analysis of test accuracy studies［J］. Res Synth Methods，2018，9（2）：163-178. DOI：10.1002/jrsm.1283.

THOMPSON S G，HIGGINS J P T. How should meta-regression analyses be undertaken and interpreted？［J］. Stat Med，2002，21（11）：1559-1573. DOI：10.1002/sim.1187.

YI J S，KANG Y A，STASKO J，et al. Toward a deeper understanding of the role of interaction in information visualization［J］. IEEE Trans Vis Comput Graph，2007，13（6）：1224-1231. DOI：10.1109/TVCG.2007.70515.

HARRISON J K，FEARON P，NOEL-STORR A H，et al. Informant Questionnaire on Cognitive Decline in the Elderly（IQCODE）for the diagnosis of dementia within a secondary care setting［J］. Cochrane Database Syst Rev，2015（3）：CD010772. DOI：10.1002/14651858.CD010772.pub2.

REITSMA J B，GLAS A S，RUTJES A W S，et al. Bivariate analysis of sensitivity and specificity produces informative summary measures in diagnostic reviews［J］. J Clin Epidemiol，2005，

58（10）：982-990. DOI：10.1016/j.jclinepi.2005.02.022.

（收稿日期：2024-03-13；修回日期：2024-06-18）

（本文編輯：賈萌萌）