四川省醫(yī)藥衛(wèi)生軟科學(xué)類第三方科技成果評價指標(biāo)體系研究

李 倩，魏 巍，郭逸婧，陳 果，覃雪靜，曹玉瑩

(四川省衛(wèi)生健康政策和醫(yī)學(xué)情報研究所，四川 成都 610041)

科技成果是指通過科學(xué)研究與技術(shù)開發(fā)所產(chǎn)生的具有實用價值的成果?？萍汲晒u價指受托方根據(jù)委托方明確的目的，按照規(guī)定的原則、程序和標(biāo)準(zhǔn)，運用科學(xué)、可行的方法對科學(xué)技術(shù)活動以及與科學(xué)技術(shù)活動相關(guān)的事項所進(jìn)行的論證、評審、評議、評估、驗收等活動[1]。四川省科學(xué)技術(shù)廳2017年7月印發(fā)《四川省科技成果評價改革試點方案》的通知指出：“為適應(yīng)新形勢新要求，必須加緊改進(jìn)和規(guī)范科技成果評價，通過采取先行試點、總結(jié)經(jīng)驗、穩(wěn)步推進(jìn)的工作方式，積極探索科學(xué)明晰、規(guī)范高效、客觀公正的科技成果評價指標(biāo)、評價規(guī)范和評價機(jī)構(gòu)，逐步建立和完善適應(yīng)社會主義市場經(jīng)濟(jì)和科技發(fā)展要求的科技成果評價體系”[2]，并授予四川省衛(wèi)生健康政策和醫(yī)學(xué)情報研究所、四川省科學(xué)技術(shù)信息研究所、四川省農(nóng)村科技發(fā)展中心等10家單位為試點單位。

醫(yī)藥衛(wèi)生軟科學(xué)研究以解決醫(yī)藥衛(wèi)生發(fā)展中的決策、組織和管理問題為主要內(nèi)容，以促進(jìn)醫(yī)學(xué)與社會、經(jīng)濟(jì)、科技等各方面的協(xié)調(diào)發(fā)展及醫(yī)藥衛(wèi)生體系內(nèi)部的協(xié)調(diào)發(fā)展為目標(biāo)，是應(yīng)用自然科學(xué)、社會科學(xué)等理論和方法所進(jìn)行的多學(xué)科、多層次的綜合性研究[3]。作為四川省內(nèi)10家試點單位中唯一的一家醫(yī)療衛(wèi)生機(jī)構(gòu)，四川省衛(wèi)生健康政策和醫(yī)學(xué)情報研究所組織專家，針對醫(yī)藥衛(wèi)生軟科學(xué)類科技成果的特點和要求，通過文獻(xiàn)研究法、專題小組討論、小型專家會議、專家咨詢法(Delphi)和層次分析法，建立四川省醫(yī)藥衛(wèi)生軟科學(xué)類第三方科技成果評價指標(biāo)體系。

1 研究對象與方法

1.1 研究對象

分別從四川省內(nèi)三甲綜合醫(yī)院、醫(yī)學(xué)院校和衛(wèi)生行政部門中遴選出經(jīng)驗豐富的學(xué)者、臨床醫(yī)生、科研管理及衛(wèi)生行政管理的權(quán)威專家學(xué)者共15人作為研究咨詢對象。

1.2 研究方法

本研究采用文獻(xiàn)薈萃分析、專題小組討論和小型專家會議初步篩選評價指標(biāo)，形成指標(biāo)體系基本框架；使用Delphi法確定評價指標(biāo)；使用層次分析法計算指標(biāo)權(quán)重系數(shù)。

2 結(jié)果

2.1 形成指標(biāo)體系基本框架

圍繞第三方科技成果評價的主要內(nèi)容及醫(yī)藥衛(wèi)生軟科學(xué)類的學(xué)科特點，搜集分析相關(guān)文獻(xiàn)資料，課題組圍繞研究主題進(jìn)行專題小組討論，形成相關(guān)的指標(biāo)庫。邀請專家進(jìn)行專家現(xiàn)場會議，從指標(biāo)庫中初步篩選評價指標(biāo)，形成用于專家咨詢的指標(biāo)基本框架。

2.2 使用Delphi法對指標(biāo)體系進(jìn)行篩選

2.2.1 設(shè)計調(diào)查問卷

根據(jù)草擬的評價指標(biāo)體系設(shè)計專家咨詢問卷，進(jìn)行第一輪電子郵件函詢。咨詢問卷第一部分為對各級評價指標(biāo)的判斷，包括是否同意各指標(biāo)及對各指標(biāo)的建議；第二部分為專家基本資料、熟悉程度及判斷依據(jù)調(diào)查表。根據(jù)第一輪的結(jié)果進(jìn)行分析、整理、修改進(jìn)行第二輪函詢，包括第一輪咨詢問卷的反饋意見、各級評價指標(biāo)相對重要性程度判定表、評分參考標(biāo)準(zhǔn)。再次整理分析回收的問卷，直至專家意見較為一致時結(jié)束調(diào)查。

2.2.2 專家的基本情況

專家年齡集中在40～60歲，占80%；本科及以上學(xué)歷占93.33%，其中博士研究生占40%；全部為副高級職稱及以上；工作年限均大于10a，見表1。

表1 專家的基本情況

2.2.3 專家的積極程度

專家對咨詢的重視程度由積極系數(shù)來反映[4]。積極系數(shù)(問卷回收率)=(回收的問卷數(shù)/發(fā)出的問卷數(shù))×100%。本次研究中第一輪、第二輪咨詢專家均發(fā)出問卷15份，回收15份，積極系數(shù)均為100.00%。

2.2.4 專家的權(quán)威程度

專家的權(quán)威程度(Cr)是由熟悉程度(Cs)和判斷依據(jù)(Ca)來決定，Cr=(Cs+Ca)/2。熟悉程度根據(jù)不同的熟悉水平劃分為：非常熟悉、比較熟悉、一般、不太熟悉、不熟悉5個等級，分別賦值為1.0、0.8、0.6、0.4、0.2；頻數(shù)依次為：8(53.33%)、6(40.00%)、1(6.67%)、0(0.00%)、0(0.00%)。Cs=∑MjWj/M，本研究Cs=(8×1+6×0.8+1×0.6)/15=0.893。

判斷依據(jù)可劃分為實踐經(jīng)驗、理論分析、參考國內(nèi)外文獻(xiàn)、直觀感覺4個方面，根據(jù)影響程度分別賦值為1.0、0.8、0.6，見表2。Ca=(27×1+26×0.8+7×0.6)/15×4=0.867，通常認(rèn)為Cr≥0.70 時，該研究具有較好的可靠性[5]，本研究Cr=0.880。

表2 專家判斷依據(jù)頻數(shù)頻率分布

Cr=Cs+Ca/2=(0.893+0.867)/2=0.880

2.2.5 專家意見的協(xié)調(diào)程度

專家意見的協(xié)調(diào)程度用Kendall 協(xié)調(diào)系數(shù)表示，反映專家意見的一致性程度，其范圍在0～1，越接近1表明協(xié)調(diào)性越好[6]。本研究在兩輪咨詢后，Kendall 協(xié)調(diào)系數(shù)由0.278上升至0.402，且P<0.01，表明經(jīng)兩輪咨詢后專家意見一致性程度較高。

2.2.6 確定評價指標(biāo)

根據(jù)咨詢結(jié)果，計算專家對指標(biāo)是否納入指標(biāo)體系的同意率，80%以上的專家同意作為納入標(biāo)準(zhǔn)；對專家提出的文字性意見，有2名及以上專家提出相同意見的，則采納[7]。本研究咨詢結(jié)果：有3名專家認(rèn)為一級指標(biāo)“學(xué)術(shù)水平”相對于二級指標(biāo)表述不準(zhǔn)確，應(yīng)改為“科技水平”；有2名專家認(rèn)為一級指標(biāo)“學(xué)術(shù)價值”太籠統(tǒng)，且與其它一級指標(biāo)內(nèi)容有重復(fù)，建議與其它一級指標(biāo)合并；2名專家認(rèn)為軟科學(xué)研究應(yīng)體現(xiàn)衛(wèi)生事業(yè)發(fā)展的需求，建議增設(shè)相關(guān)指標(biāo)；2名專家建議增設(shè)“推廣應(yīng)用”一級指標(biāo)；9名專家認(rèn)為二級指標(biāo)“生態(tài)效益”與醫(yī)藥衛(wèi)生特點不符，建議刪除。

2.2.7 確定指標(biāo)權(quán)重

權(quán)重(Weight)是一個相對的概念，指該指標(biāo)在整體評價中的相對重要程度。確定權(quán)重的主要方法有層次分析法、比例分配法、變異系數(shù)法和嫡權(quán)法、路徑分析法等[8]，本研究采用層次分析法確定一、二級指標(biāo)權(quán)重?；静襟E如下。

(1)建立層次結(jié)構(gòu)模型。本研究評價指標(biāo)分為三層，目標(biāo)決策層為醫(yī)藥衛(wèi)生軟科學(xué)類第三方科技成果評價，準(zhǔn)則層設(shè)定4個指標(biāo)，分別為科技水平、推廣應(yīng)用、成果產(chǎn)出、成果效益。每個一級指標(biāo)下又包含若干個二級指標(biāo)。

(2)應(yīng)用層次分析法建立判斷矩陣。第二輪專家咨詢問卷中，請專家對4個一級指標(biāo)與10個二級指標(biāo)進(jìn)行同層次的比較，根據(jù)指標(biāo)相對重要程度，用1～9進(jìn)行打分，最后將數(shù)據(jù)整理轉(zhuǎn)化成各級指標(biāo)的判斷矩陣。

(3)計算權(quán)重。得到各級指標(biāo)的判斷矩陣后，應(yīng)用軟件對一級、二級指標(biāo)權(quán)重進(jìn)行計算，并進(jìn)行一致性檢驗，最終構(gòu)建出指標(biāo)體系，見表3。

表3 醫(yī)藥衛(wèi)生軟科學(xué)類第三方科技成果評價指標(biāo)體系

3 討論

3.1 指標(biāo)體系建立方法的科學(xué)性

研究方法的科學(xué)性能保證研究結(jié)果的可靠性。我國早期的科技成果評價以定性評價為主，之后注重定量評價，目前以兩種方法結(jié)合為主。本研究中，采用定性與定量相結(jié)合的方法構(gòu)建指標(biāo)體系，在指標(biāo)體系的二級指標(biāo)中定性指標(biāo)7個(包括創(chuàng)新性、難易程度或復(fù)雜程度、與國家/地方衛(wèi)生事業(yè)發(fā)展戰(zhàn)略的緊密程度、學(xué)術(shù)貢獻(xiàn)、社會效益、潛在價值、轉(zhuǎn)化價值)，定量指標(biāo)3個(包括成果產(chǎn)出、對決策科學(xué)化和管理現(xiàn)代化的影響程度、經(jīng)濟(jì)效益)，并結(jié)合了文獻(xiàn)研究、專家會議、專家咨詢的方法，使結(jié)果相對合理和準(zhǔn)確，在方法學(xué)上相對比較科學(xué)。

3.2 指標(biāo)篩選方法的可靠性

本研究主要采用了Delphi法來篩選指標(biāo)，在此之前，課題組進(jìn)行了文獻(xiàn)研究與專家會議，廣泛借鑒、采納前人研究的經(jīng)驗與專家的建議，為建立可靠的評價指標(biāo)奠定了基礎(chǔ)。Delphi法廣泛用于指標(biāo)體系的研究和預(yù)測，其結(jié)果的可靠性主要取決于專家的代表性、積極程度、權(quán)威程度、協(xié)調(diào)程度等因素。

Dephi法成功與否的關(guān)鍵在于專家人數(shù)和專家知識這兩個方面。一般而言，專家人數(shù)根據(jù)研究項目的規(guī)模而定，以15～50人為宜[9]，本研究專家咨詢?nèi)藬?shù)為15人，在數(shù)量上也達(dá)到了要求。從專家的來源、學(xué)歷、職稱、工作崗位和工作年限看，本研究兩輪專家咨詢中，所邀請專家專業(yè)領(lǐng)域上彼此有交叉，在其工作領(lǐng)域也有較高的建樹，各位專家對科技評價工作也比較熟悉，所以專家的知識結(jié)構(gòu)達(dá)到了要求。

對于Dephi法咨詢的問卷回收，一般認(rèn)為，當(dāng)問卷回收率在70%以上時表明專家參與度較高[10]，本研究兩輪專家咨詢中，問卷的回收率均為100%，說明專家對本研究高度重視，符合研究要求。一般而言，Cr≥0.70 具有較好的可靠性，本研究專家權(quán)威系數(shù)為0.880，表明所邀請的專家權(quán)威程度較高。兩輪咨詢專家的Kendall 協(xié)調(diào)系數(shù)分別為0.278、0.402，表明經(jīng)過兩輪咨詢后專家意見分歧減少，一致性程度較高，協(xié)調(diào)程度較好。

雖然Dephi法的主觀性較強(qiáng)，但根據(jù)所選專家的特點，經(jīng)過統(tǒng)計分析，專家的積極程度、權(quán)威程度、協(xié)調(diào)程度均達(dá)到了統(tǒng)計學(xué)的要求，所以說指標(biāo)篩選方法合理，篩選結(jié)果可靠。

3.3 指標(biāo)權(quán)重的準(zhǔn)確性

本研究采用層次分析法確定指標(biāo)權(quán)重。層次分析法是在主觀數(shù)據(jù)的基礎(chǔ)上，采用數(shù)量統(tǒng)計的方法計算指標(biāo)權(quán)重。與一般的主觀賦權(quán)法相比，層次分析法應(yīng)用數(shù)量統(tǒng)計的方法有助于減少主觀性，此外，它還提供了一致性檢驗，以確保專家思想邏輯的一致性。雖然主觀數(shù)據(jù)受專家個人影響較大，但本研究所選的15名專家，具有豐富的專業(yè)知識和實踐經(jīng)驗，指標(biāo)權(quán)重的設(shè)置通過多輪調(diào)查至專家協(xié)調(diào)程度較高，可最大程度降低主觀判斷的隨意性，確保得到的指標(biāo)權(quán)重相對準(zhǔn)確。

3.4 指標(biāo)體系的針對性

《四川省科技成果評價改革試點方案》指出，試點評價機(jī)構(gòu)應(yīng)當(dāng)對不同類型成果，采用不同評價指標(biāo)進(jìn)行評價。不同類別的成果，如軟科學(xué)研究、基礎(chǔ)理論研究、技術(shù)開發(fā)研究、成果推廣研究等，由于研究目的不同，成果形式的各異，應(yīng)當(dāng)有不同的評價方法和評價標(biāo)準(zhǔn)。軟科學(xué)研究成果評價應(yīng)注重成果對決策科學(xué)化和管理現(xiàn)代化的影響程度，以及與國民經(jīng)濟(jì)、社會、科技發(fā)展戰(zhàn)略的緊密程度等[2]。故本研究在“分類成果評價”的指導(dǎo)思想下，針對軟科學(xué)的學(xué)科特點制定指標(biāo)體系，所建立的指標(biāo)體系以創(chuàng)新性、與國家/地方衛(wèi)生事業(yè)發(fā)展戰(zhàn)略的緊密程度、對決策科學(xué)化和管理現(xiàn)代化的影響程度作為重要參考指標(biāo)，論文的發(fā)表和專利的獲取等成果產(chǎn)出，以及社會經(jīng)濟(jì)效益等在科技人才評價和技術(shù)開發(fā)研究、成果推廣研究中占據(jù)重要地位的客觀指標(biāo)相對并不重要。因此，本研究建立的評價指標(biāo)體系具有一定的針對性。

3.5 指標(biāo)體系的導(dǎo)向性

一套科學(xué)、有效、可操作強(qiáng)的評價指標(biāo)體系具有指揮棒和風(fēng)向標(biāo)的作用。四川省醫(yī)藥衛(wèi)生軟科學(xué)類第三方科技成果評價指標(biāo)體系的建立能夠為廣大科技工作者明確努力的方向，使其能對照評價指標(biāo)體系要求，根據(jù)需求積極探索開展新研究。首先，醫(yī)藥衛(wèi)生軟科學(xué)類研究應(yīng)與當(dāng)前衛(wèi)生政策緊密結(jié)合，為有關(guān)領(lǐng)導(dǎo)和管理部門進(jìn)行決策和制定規(guī)劃提供科學(xué)依據(jù)。其次推廣應(yīng)用是重要評價指標(biāo)，研究成果只有實現(xiàn)了轉(zhuǎn)化和利用，才能使其在衛(wèi)生管理科學(xué)化和深化衛(wèi)生改革中真正發(fā)揮作用。

4 結(jié)論

本研究在“分類成果評價”的指導(dǎo)思想下，根據(jù)醫(yī)藥衛(wèi)生軟科學(xué)類的學(xué)科特點構(gòu)建由科技水平、成果產(chǎn)出、推廣應(yīng)用、成果效應(yīng) 4個一級指標(biāo)、10個二級指標(biāo)構(gòu)成的四川省醫(yī)藥衛(wèi)生軟科學(xué)類第三方科技成果評價指標(biāo)體系。指標(biāo)體系為科學(xué)合理評價醫(yī)藥衛(wèi)生軟科學(xué)類科技成果提供依據(jù)，對提高科技成果評價質(zhì)量，推動衛(wèi)生事業(yè)發(fā)展有重要意義。本指標(biāo)體系在后期將投入四川省第三方科技成果評價工作中，進(jìn)一步對指標(biāo)進(jìn)行實證研究，驗證其科學(xué)性、有效性及可操作性，并根據(jù)實證結(jié)果進(jìn)一步優(yōu)化指標(biāo)體系。