四川省醫藥衛生社會公益類第三方科技成果評價指標體系的信效度研究*

李 倩，陳志余，曹玉瑩，郭逸靜，陳 果，覃雪靜，魏 巍△

(1.四川省衛生健康政策和醫學情報研究所，成都 610041；2.四川大學華西公共衛生學院/華西第四醫院，成都 610041)

科技成果評價指受托方根據委托方明確的目的，按照規定的原則、程序和標準，運用科學、可行的方法對科學技術活動及與科學技術活動相關的事項所進行的論證、評審、評議、評估、驗收等活動[1]。四川省科學技術廳2017年7月印發《四川省科技成果評價改革試點方案》的通知，指出“為適應新形勢新要求，必須加緊改進和規范科技成果評價，通過采取先行試點、總結經驗、穩步推進的工作方式，積極探索科學明晰、規范高效、客觀公正的科技成果評價指標、評價規范和評價機構，逐步建立和完善適應社會主義市場經濟和科技發展要求的科技成果評價體系。”[2]并授予四川省衛生健康政策和醫學情報研究所、四川西部國際技術轉移中心、成都生產力促進中心等10家單位為試點單位。

作為四川省內10家試點單位中唯一的一家醫療衛生機構，四川省衛生健康政策和醫學情報研究所組織專家，根據分類評價的原則，針對醫藥衛生類科技成果的特點，建立了四川省醫藥衛生社會公益類、成果推廣類、技術開發類、軟科學類4套第三方科技成果評價指標體系，其中社會公益類評價指標體系包括4個維度11個條目。本研究旨在對已建立的四川省醫藥衛生社會公益類第三方科技成果評價指標體系的信度與效度進行驗證，現報道如下。

1 資料與方法

1.1 一般資料

采用隨機數字表法，在四川省衛生健康政策和醫學情報研究所2019年完成的醫藥衛生社會公益類第三方科技成果評價項目中抽取9項，對參與項目評審的63名專家的63份量表進行統計分析。

1.2 方法

1.2.1研究方法

采用隨機數字表法分別從9項社會公益類項目的評審專家中各抽取3名，共計27名專家，邀請其對所參與的項目再次進行測評打分，對再次測評的27份量表進行統計分析，以考察量表的重測信度。根據國際量表設計原則[3],量表中的1個條目至少對應5～10個樣本量，量表共有11個條目，本次研究共統計專家測評量表90份，基本滿足統計學的經驗做法。

1.2.2研究工具

前期綜合運用文獻薈萃分析、專題小組討論、小型專家會議、專家咨詢法、層次分析法等研究方法建立了四川省醫藥衛生社會公益類第三方科技成果評價指標體系用于評價醫藥衛生社會公益類成果，包括4個維度：科技水平(4條目)、推廣應用(4條目)、成果效益(2條目)、成果產出(1條目)，維度分等于相應條目分之和，量表分等于相應維度分之和。各條目具體得分按照相關權重計算，量表總分為100分，分數越高，表明項目的質量越高。

1.3 統計學處理

2 結 果

2.1 信度檢驗結果

2.1.1內部一致性檢驗

將63名專家的測評結果以各條目得分整理后納入統計分析。內部一致性檢驗結果顯示，指標體系的Cronbach′s α系數為0.957，當刪除任意條目后，Cronbach′s α系數波動于0.949～0.961。

2.1.2重測信度

將27名專家的首次測評結果和重測結果按照總得分、各維度得分進行整理，結果顯示兩次測評的總得分及兩次測評的各維度得分比較，差異無統計學意義(P>0.05)。相關性分析顯示，相關系數r最高為成果產出0.983，最低為成果效益0.749，兩次得分的相關程度高，見表1。

表1 總得分及各維度重測信度檢驗結果分)

2.2 效度檢驗結果

2.2.1內容效度

將63名專家的測評結果以各維度得分整理后納入統計分析，結果顯示各維度得分與總得分之間的相關系數為0.815～0.971；各維度之間的相關系數為0.631～0.830(P<0.05)，見表2。

表2 社會公益類成果評價總得分與各維度得分之間的相關系數(r)

2.2.2結構效度

將27名專家再次測評的結果以各條目得分整理后納入統計分析，結果顯示KMO=0.916，Bartlett球形度檢驗P<0.001，適合因子分析。采用主成分分析方法，固定公因子數量為4，累積方差貢獻率為91.223%。采用最大方差法正交旋轉，經13次迭代后，各條目在其對應的因子上載荷在0.500～0.879，見表3。

表3 社會公益類成果評價旋轉后各條目因子載荷

3 討 論

3.1 指標體系具有良好的信度

信度指測量結果的可靠性、精確性、穩定性和一致性[4]。目前評價信度的方法較多，但主要采用內部一致性Cronbach′s α系數和重測信度[5]。Cronbach′s α系數反映測量指標的各組成部分與整體間的一致性[6]。通常Cronbach′s α系數大于0.8表明量表信度好[7-8]。四川省醫藥衛生社會公益類第三方科技成果評價指標體系的Cronbach′s α系數為0.957，當刪除任意條目后Cronbach′s α系數波動范圍為0.949～0.961，表明評價指標內部一致性非常好且穩定性非常高。

重測信度是指同一量表對同一研究對象先后測量兩次，以評價兩次測量的相關性，反映評測跨越時間的穩定性和一致性[9]。重測信度用相關系數r來衡量,一般要求達到0.4以上[10]。兩次測評的總得分及兩次測評的各維度得分的相關系數最高為0.983，最低為0.749。配對t檢驗顯示兩次測評比較，差異無統計學意義(P<0.05)。證實兩次得分的相關程度高，評價指標具有跨時間的穩定性與一致性。

3.2 指標體系具有良好的效度

效度是指量表的有效性和準確性[11]，本研究的效度評價分為內容效度和結構效度。內容效度是指條目樣本對所要測量概念的反映程度[12]，內容效度分析采用定量的方法進行分析，使用單項與總和相關分析法獲得評價結果[13]，計算每個維度得分與總得分的相關系數。分析結果顯示，各維度得分與總得分之間的相關系數均較高，說明評價指標的內容關聯性較強，內容效度較好。

結構效度是指實驗與理論之間的一致性，即實驗是否真正測量到假設的理論[14]，采用因子分析法進行分析[15]。一般來說，公因子累計方差貢獻率應大于40%，且每個條目在其公因子上的載荷值大于0.4，公因子就能很好地解釋條目[16]。本研究中公因子的累計方差貢獻率為91.223%，各條目在其對應的因子上載荷為0.500～0.879，均符合上述兩項條件。各條目按照因子分析歸類后歸為4個公因子，分別為成果產出、推廣應用、科技水平、成果效益，各公因子均可獲得專業上的解釋，并且各公因子解釋內容與預先設計的指標體系結構相符。提示評價指標體系結構與預先設計的結構相符，具有較好的結構效度。

綜上所述，四川省醫藥衛生社會公益類第三方科技成果指標體系具有較好的信度和效度，說明指標體系所測結果既具有較好的穩定性又有較強的真實性，為該類科技成果提供了標準化的測評工具。由于目前受理的項目有限，今后將進一步在實踐中收集統計數據，對指標進行進一步的調整、驗證。