以臨床問題解決效果為核心的骨科循證研究質量評價指標體系構建

黃國鑫，曹啟龍，陶 華，趙嘉國，黃 橋，劉 盈，艾金偉，汪登如，裴 斌

1. 湖北醫藥學院附屬襄陽市第一人民醫院循證醫學中心（湖北襄陽 441000）

2. 青島海爾生物科技有限公司（山東青島 266000）

3. 鄭州市第二人民醫院藥學部（鄭州 450015）

4. 首都醫科大學附屬北京同仁醫院足踝外科中心（北京 100730）

5. 武漢大學中南醫院循證與轉化醫學中心（武漢 430071）

6. 湖北醫藥學院附屬襄陽市第一人民醫院護理部（湖北襄陽 441000）

7. 云南研靈生物科技有限公司（昆明 650224）

2003 年加拿大麥克馬斯特大學骨科教授Mohit Bhandari 首次提出了循證骨科學概念，隨后多位骨科專家也闡釋了對循證骨科學內涵的認識[1-2]。艾金偉等[3]闡述了對循證骨科學概念的理解，提出了骨科循證研究策略，指出骨科循證研究是采用循證醫學的方法研究骨科疾病。循證骨科學理論研究文獻不多，目前未檢索到循證研究或骨科循證研究質量評價指標和方法相關的文獻；但骨科問題的循證研究文獻較多，生產了一批新的骨科循證證據，推動了循證骨科學和骨科的發展[4-6]。骨科循證研究人員以青年醫生和學生為主，普遍重視發表學術論文，但部分研究不關注選題是否屬于決策困難的骨科臨床問題；不注重通過指導臨床決策，實現循證研究的臨床決策指導價值；不注重在循證研究基礎上篩選問題開展多學科協同研究和產品、技術研發，實現循證研究的科學價值和產業價值；使循證研究與解決臨床問題之間出現了脫鉤傾向，存在唯文章循證現象。這些問題與循證骨科學理論研究不充分、未能有效發揮循證骨科學理論對骨科循證研究和實踐的指導作用，以及缺少骨科循證研究質量評價和反饋調節有關[7-8]。骨科循證研究的目的是解決臨床問題，通常在文獻發表并推廣2～3 年后，循證研究才能在應用過程中實現部分價值，并出現標志性事件，如被指南引用等。針對上述問題，本研究建立了以臨床問題解決效果為核心的骨科循證研究評價指標體系，評價文獻發表3 年后骨科循證研究的價值實現狀況，通過比較，發現問題，為提高骨科循證研究質量奠定基礎。

1 研究方法

1.1 成立研究小組

研究小組由5 名具備循證醫學基礎、臨床經驗豐富的骨科醫生組成，其中主任醫師2 人、副主任醫師3 人；博士3 人、碩士2 人；研究秘書1 人。研究小組職責包括：系統檢索國內外相關文獻；確定研究主題和評價指標體系基本框架；制定評價指標體系訪談提綱和問卷初稿；采用德爾菲法進行專家函詢；分析專家咨詢數據，依據分析結果篩選標準條目、分配權重；撰寫論文；推廣應用。

1.2 文獻研究

計算機檢索PubMed、Web of Science、Embase、中國知網、維普網、中國生物醫學文獻數據庫，檢索時間為從建庫至2023 年1 月13 日[9]。檢索方式采用主題詞結合自由詞策略，英文檢索詞包括evidence based、evidence based medicine、evaluation system ；中文檢索詞包括循證醫學、循證、評價體系。同時利用百度和Google 搜索引擎分別檢檢索中、英文灰色文獻，并對納入文獻的參考文獻進行追溯，最后對納入文獻進行分類、總結。

1.3 制定訪談提綱

依據Donabedian 的結構-過程-結果理論原理[10-11]，將實現循證研究價值作為結果，將“循證研究-用證過程-價值實現”作為一個完整的過程，根據結構要素的構成和變化情況，將這一過程劃分為5 個階段，對每一階段進行結構要素分析。基于組內討論共識提出5 個階段、8 個維度的訪談提綱：①選題環節：選題是否是臨床問題、選題的臨床價值；②證據生產環節：證據的創新性；③證據傳播環節：主要傳播方式的檔次、傳播效果效果/學術影響力；④用證環節：臨床實踐指導作用強度；⑤用證效果：科學價值、產業價值。

1.4 半結構式訪談

按照典型抽樣的原則，選擇北京、武漢、鄭州、襄陽三甲醫院骨科醫生、循證醫學專家共5人，以保持指標體系完整性和系統性為目的，根據訪談提綱進行半結構式訪談，了解專家對建立以臨床問題解決效果為核心的骨科循證研究質量評價指標體系的意見，包括如何改變循證研究與解決臨床問題效果脫鉤的傾向，使骨科循證研究能夠更有效解決臨床問題；循證研究文獻發表后間隔多長時間能夠比較準確地評價解決臨床問題效果；以臨床問題解決效果為核心的骨科循證研究評價指標體系應包含哪些指標等問題。

1.5 形成指標池及初稿

基于臨床效果主導理念和循證研究策略理論，根據檢索文獻匯總情況及半結構式訪談結果，形成評價體系指標池，進行條目分析、合并及主題提取形成初始指標條目清單，進而完成問卷初稿。

1.6 德爾菲專家函詢法

1.6.1 制備咨詢問卷

問卷內容主要包括問卷說明、專家基本信息、問卷主體、專家權威程度自評表。問卷說明部分包括調查目的、意義、內容說明和填寫要求；專家基本信息包括姓名、性別、年齡、學歷、職稱、職務、從事循證研究和骨科研究年限。問卷主體包含指標條目、指標的重要性、指標修改意見，指標重要性采用Likert 5 級評分法進行評價，重要性從“非常重要”到“不重要”，分別賦值5～1 分[12-13]。專家對問題的判斷依據主要分為實踐經驗、理論分析、參考國內外文獻、直觀感受4 個維度，每個維度分為大、中、小不同程度，不同維度根據大、中、小不同程度分別賦分：實踐經驗（0.5、0.4、0.3）、理論分析（0.3、0.2、0.1）、參考國內外文獻（0.1、0.1、0.1）、直觀感受（0.1、0.1、0.1）。專家對問題的熟悉程度分為：很熟悉（0.9）、較熟悉（0.7）、一般熟悉（0.5）、不太熟悉（0.3）、不熟悉（0.1）5 個層次[14-15]。

1.6.2 遴選咨詢專家

咨詢專家的納入標準：具有三甲醫院骨科3年以上工作經驗；從事3 年以上循證醫學研究；學歷碩士及以上；發表過骨科循證研究相關文章；職稱不限；自愿參加本研究。采用典型抽樣法，選取來自北京、武漢、鄭州、襄陽共6 家醫院，具有豐富的臨床經驗且具備循證醫學基礎的骨科醫生15 人。

1.6.3 德爾菲專家咨詢

采用電子郵件或微信的方法向專家發送咨詢問卷。第一輪咨詢結束后參考指標重要性賦值標準，篩選出均值＞3.50 且變異系數＜0.25 的指標，同時結合專家意見對咨詢問卷進行修改，形成第二輪專家咨詢表，開展第二輪專家咨詢。當所有條目的重要性評分均值＞3.5且變異系數＜0.25，且專家意見基本統一時，專家咨詢結束，并形成最終的評價指標[16-17]。每輪專家咨詢均在一個月內完成，兩輪專家咨詢時間間隔為一個月。

1.7 層次分析法確定權重

匯總每個指標的專家咨詢重要性賦值，計算評分均值。采用層次分析法（analytic hierarchy process, AHP）確定每個指標的權重，檢驗各級指標邏輯一致性，一級指標權重的計算方法為和積法。一致性采用一致性比率（consistent ratio, CR）表示，當CR 值＜0.1 時，說明判斷一致性可接受[18-19]。

1.8 初步驗證

選取研究小組成員發表年份≥三年的骨科循證研究類文獻，采用以臨床問題解決效果為核心的骨科循證研究質量評價指標體系進行評價。評價者從咨詢專家中隨機抽取3 名外部專家，對選取的文獻進行評分，并計算一致性，然后計算每篇文獻的評分均值，采用項目分析的方法對評價指標體系的區分度進行分析[20]。

1.9 統計分析

采用SPSS 24.0 軟件和SPSSPRO 軟件進行統計分析。采用問卷回收率表示專家積極系數（Cj）；采用專家權威系數（Cr）表示專家的權威性，專家權威系數為專家判斷系數（Ca）與對問卷的熟悉程度（Cs）的平均數，Cr ≥0.7 表示專家意見可靠；采用各指標重要性（均數±標準差）表示專家意見集中程度，變異系數（CV）和肯德爾協調系數（Kendell W）表示專家意見的協調程度。一致性分析采用Two-way random/mixed absolute agreement，區分度分析采用項目分析。計數資料采用頻數和百分比（n，%）表示、行χ2檢驗；符合正態分布的計量資料采用均數和標準差（±s）表示、行t檢驗。

2 結果

2.1 專家基本信息

15 名咨詢專家中，男性14 名、女性1 名，平均年齡（44.27±10.10）歲。從事骨科研究（19.53±9.29）年，從事循證研究（7.33±2.16）年；博士4 人、碩士11 人；主任醫師7 人、副主任醫師3 人、主治醫師5 人；教授6 人、副教授4 人。

2.2 專家積極性

兩輪德爾菲專家咨詢法均發放調查問卷15份，問卷回收率和有效率均為100%，兩輪專家咨詢Cj 均為100%。第一輪調查問卷回收情況為一周內、兩周、三周、四周問卷回收率分別為13.33%、33.33%、46.67%、6.67%。根據第一輪回收情況，在第二輪發放調查問卷提前溝通相關事宜，第二輪調查問卷回收情況為一周內、兩周、三周問卷回收率分別為40.00%、53.33%、6.67%。

2.3 專家權威性

第一輪專家咨詢Cr 為0.79，Cs 為0.69，Ca為0.89；第二輪專家咨詢Cr 為0.83，Cs 為0.74，Ca 為0.91。兩輪專家咨詢Cr 均大于0.7，表明兩輪咨詢專家權威性高。

2.4 重要性評分及專家意見協調性

第一輪專家咨詢重要性評分2.33～4.73，CV 0.09～0.46，肯德爾協調系數為0.559，第一輪專家咨詢刪除4 個一級指標。第二輪專家咨詢重要性評分3.53～4.73，CV 0.09～0.21，肯德爾協調系數為0.374。研究小組討論確認專家咨詢結果，確定以臨床問題解決效果為核心的骨科循證研究質量評價指標體系，重要性評分見表1。

表1 以臨床問題解決效果為核心的骨科循證研究評價體系函詢結果Table 1. Results of an evaluation system of orthopaedic evidence-based research centered on the effectiveness of clinical problem solving

2.5 層次分析法結果

如表1 所示，“選題是否是所在科室關切的臨床問題”的權重為16%，“證據發表的級別”的權重為24%，“臨床決策指導作用強度”的權重為34%，“對骨科知識體系影響程度”的權重為26%。層次分析法結果顯示，最大特征根為4.017，根據隨機一致性（random index, RI）表查到對應的RI 值為0.882，因此CR=CI/RI=0.006＜0.1，通過一致性檢驗。

2.6 評價指標體系構建結果

通過兩輪德爾菲專家咨詢，確定以臨床問題解決效果為核心的骨科循證研究評價體系，該評價指標體系包含4 個一級指標、14 個二級指標、2 個三級指標、5 個四級指標，見表2。

表2 以臨床問題解決效果為核心的骨科循證研究評價體系Table 2. An evaluation system for evidence-based research in orthopaedics centered on the effectiveness of clinical problem solving

2.7 初步驗證結果

應用該評價指標體系，評價22 篇發表3 年以上研究骨科問題的循證研究文獻。3 名評價者評分一致性結果顯示，單個測量相關性為0.992[95%CI（0.985, 0.997），P＜0.001]，平均測量相關性為0.997 [95%CI（0.995, 0.999），P＜0.001]，說明信度的一致性是可信的。區分度結果顯示，總評分0%～27%組個數為6，評分為（7.66±2.98）；27%～73%組個數為10，評分為（31.80±12.11）；73%～100%組個數為6，評分為（70.90±19.23）。三組間評分的差異有統計學意義（P＜0.001），說明量表區分度高，設計較為合理。

3 討論

循證骨科學理論研究尚未明確詮釋循證骨科學核心價值訴求，缺乏相應的質量評價體系，并且通過評價和反饋調節機制引導和規范骨科循證研究，使部分骨科循證研究陷入了為文章而做循證研究的怪圈，進而影響骨科循證研究質量和解決臨床問題的效果[21-22]。本研究在理論研究的基礎上，進一步詮釋循證骨科學核心價值訴求，建立以臨床問題解決效果為核心的循證研究質量評價指標體系，通過評價和反饋調節能夠提高骨科循證研究質量，加快本土化骨科臨床決策證據體系建設，有助于實現國家常見病防治同質化戰略。

在臨床決策困難時會產生循證需求，提出循證問題，并用循證醫學方法研究和解決決策困難的骨科臨床問題。循證骨科學的主要價值訴求是解決決策困難的骨科臨床問題。循證研究通過系統復習文獻和數據合并，有助于了解研究現狀，揭示單個研究未能揭示的客觀規律，從而更深入地理解不同診療措施的臨床價值及缺陷等問題；幫助研究者更精準地選擇臨床價值高、創新性強、可行性強的問題，進一步開展基礎和臨床研究、技術和產品開發。循證研究引領的這類研究具有目的性強、臨床價值高、轉化前景明確的特點，有助于開展多學科協同和醫研企協作研究，多學科協同研究有利于最終解決臨床問題，實現循證研究的科學價值和產業價值，這是循證骨科學的另一重要價值訴求。價值訴求分析表明，循證骨科學的核心價值訴求是解決骨科臨床問題，這也是骨科循證研究的目的。

前期艾金偉等[3]討論了循證骨科學概念，提出了“臨床問題導向、臨床價值導向、可行性導向，創新性導向”的骨科循證研究策略，強調骨科循證研究的對象主要是決策困難的骨科臨床問題。循證研究要選擇高價值臨床問題，以常見病、多發病、疑難病為主，以解決基層醫院醫務人員的困惑為主；強調通過用證實現循證研究的證據價值，通過開展循證研究引領的多學科科學研究和產品技術開發，實現循證研究的科學價值和產業價值。理論研究成果能夠從理論上引導骨科循證研究，但并不能快速準確地評價循證研究、發現問題和改進研究。后效評價是通行的質量管理方法，本研究基于解決臨床問題的理念，構建了以臨床問題解決效果為核心的骨科循證研究質量評價指標體系，在循證研究結果發表3 年后，評價骨科循證研究解決臨床問題效果為主的循證研究質量，比較不同研究之間的差異，通過反饋調節改進骨科循證研究質量。

本研究成立了評價方法研究小組，在理論研究的基礎上，依據Donabedian 的結構-過程-結果理論原理，將循證研究價值實現作為結果，將“循證研究-用證過程-價值實現”作為一個完整的過程和研究對象。根據不同階段結構要素不同、不斷發生變化的特點，研究小組將這一過程劃分為循證問題產生與提出、循證證據生產、證據傳播、應用與決策、循證研究價值實現5 個階段；以保證系統性、完整性為目的，分析全過程每一個階段的結構要素，經過3 次討論，就5 個階段和8 個維度半開放式訪談提綱形成組內共識。通過分析指南引用情況發現，從文獻發表到第一次被指南引用通常需要2～3 年時間，研究小組就3 年作為評估時間起點達成一致意見。在此基礎上，以評估骨科循證研究解決臨床問題效果為目的，選擇改良德爾菲法構建評價指標體系。遴選專家平均年齡在44 歲左右，平均從事骨科工作19 年，循證研究7 年的專家，有豐富骨科臨床經驗和較豐富的循證醫學知識和經驗，能夠對相關問題作出比較準確的判斷。經過兩輪德爾菲專家咨詢，構建了以臨床問題解決效果為核心的4 個維度9個領域骨科循證研究評價指標體系。該體系包含選題是否是臨床問題、證據發表的檔次、臨床決策指導作用強度、骨科知識體系改變程度等，其中“用證環節：臨床實踐指導作用強度”和“用證效果：科學價值”與用證效果有關，通過條目和分值強調了臨床決策的指導作用強度和對骨科知識體系的貢獻度，兼顧了對用證效果影響較大的選題和傳播途徑。問卷均在一月內收回，兩輪專家函詢的回收率為100%，說明專家的積極性均非常高；兩輪函詢專家的Cr 分別為0.79 和0.83，說明所函詢專家在該研究領域的權威性很高，函詢結果可靠；經過兩輪函詢各條目CV 為0.09～0.21，說明專家意見趨于一致；兩輪函詢專家的Kendall's W 值分別為0.559 和0.374，說明兩輪函詢專家意見的協調性較好。由此可認為，本研究構建的以臨床問題解決效果為核心的的骨科循證研究質量評價指標體系是科學、可靠的。本研究應用該指標體系，評估了22 篇發表3 年以上骨科問題相關的循證研究文獻，指標的單項和平均測量相關性P值均＜0.001，表明指標體系評分一致性較好；區分度檢驗顯示，量表設計區分度高。初步驗證結果表明，指標體系設計較為合理，能夠比較客觀敏感地評價骨科循證研究解決臨床問題效果。評價指標體系能夠幫助研究者發現問題和缺陷，改變重研究輕應用、循證研究與用證效果脫鉤的傾向，注重價值實現，引導骨科循證研究回歸解決臨床問題本位。

本研究也存在一定局限性。首先，本研究尚缺乏同類研究或類似文獻參考，僅在研究小組內部完成了評價指標體系初步構建過程和結構要素分析，咨詢專家人數偏少、區域分布不均衡；其次，本研究僅進行了初步驗證，未進行內部驗證和外部驗證，可能會影響評價指標體系的外推性，需要通過推廣應用進一步驗證和完善該評價指標體系。

綜上所述，以臨床問題解決效果為核心的骨科循證研究質量評價指標體系彌補了骨科循證研究質量評價方法的缺陷，能夠快速、客觀地評價骨科循證研究，發現并解決骨科臨床問題，改善骨科循證研究質量，加快本土化骨科臨床決策證據體系建設。