三級醫(yī)院科研基金投入-產(chǎn)出評價體系的建立

時 瀚 高 原 焦靜軒 劉思含 趙海譽

1.航天中心醫(yī)院 北京大學(xué)航天臨床醫(yī)學(xué)院科研處，北京 100049；2.航天中心醫(yī)院 北京大學(xué)航天臨床醫(yī)學(xué)院評審評價處，北京 100049；3.中國中醫(yī)科學(xué)院中藥研究所，北京 100700

科研能力是衡量醫(yī)院綜合實力和發(fā)展?jié)摿Φ闹匾笜?biāo)，是醫(yī)院核心競爭力的關(guān)鍵所在[1]。為支持優(yōu)秀青年醫(yī)師以及技術(shù)骨干人員的科研工作，使其能盡快啟動科研項目，為申報國家級、省部級的課題打下扎實的基礎(chǔ)，某三級醫(yī)院設(shè)立了院級基金進行支持。該項基金自創(chuàng)辦以來近20 年，為醫(yī)院的人才培養(yǎng)、科研成果產(chǎn)出以及科研競爭力的提升起到了重要作用。院級基金的實施雖已取得一定成效，但其管理尚處于摸索階段，運作還不成熟，高投入、低產(chǎn)出與成果轉(zhuǎn)化率不高是目前基金使用過程中存在的主要問題。因此，醫(yī)院在有限的經(jīng)費和資源條件下，如何去增強自己的科研實力，獲得較大的科研產(chǎn)出，這是科研管理部門目前思索的問題。為了解決這一問題，醫(yī)院科研管理部門總結(jié)醫(yī)院基金運行的整體情況，分析當(dāng)前三級醫(yī)院實際情況和發(fā)展特點，建立指標(biāo)池。采用德爾菲法進行研究，并結(jié)合層次分析法(analytic hierarchy process，AHP)，構(gòu)建院級科研基金投入-產(chǎn)出評價體系。AHP 法是美國運籌學(xué)家Saaty 教授于20 世紀(jì)70 年代提出的一種實用的多方案或多目標(biāo)的決策方法，也是一種定性與定量相結(jié)合的決策分析方法，常被運用于多目標(biāo)、多準(zhǔn)則、多要素、多層次的非結(jié)構(gòu)化復(fù)雜決策問題中，具有十分廣泛的實用性[2-3]。在本研究中，通過用量化的指標(biāo)數(shù)據(jù)科學(xué)、公正地評價科研經(jīng)費的使用效率，可以為科學(xué)研究、獎勵、創(chuàng)新和管理提供有力保證，使決策部門能夠正確地評價科學(xué)活動，合理制訂醫(yī)院科研策略和制度，從而促進科研能力的提升和學(xué)科的發(fā)展[4]。

1 資料與方法

1.1 專家的遴選

本研究自2020 年1 月—6 月開展，選取專家共29 名，其中來自高校3 名、研究所1 名、三級及以上公立醫(yī)院25 名，主要從事醫(yī)院管理、臨床醫(yī)療、基礎(chǔ)科研。

1.2 咨詢問卷的內(nèi)容

本研究是基于德爾菲法和層次分析法，進行三輪專家咨詢[5-6]。第1 輪問卷：包括2 個部分，第1 部分為專家的個人信息；第2 部分為醫(yī)院科研基金投入-產(chǎn)出評價體系指標(biāo)咨詢表。第2 輪問卷：包括2 個部分，第1 部分為第1 輪專家咨詢結(jié)果的反饋；第2 部分為專家填寫的依據(jù)和對指標(biāo)的熟悉程度，并為指標(biāo)的重要性評分。第3 輪問卷：根據(jù)第2 輪專家咨詢結(jié)果確定評價指標(biāo)，并采用層次分析法對評價體系中各指標(biāo)的相對重要性進行咨詢。匯總所有專家意見，得出3輪咨詢的最終結(jié)果。

1.3 指標(biāo)選擇標(biāo)準(zhǔn)

通過數(shù)據(jù)庫檢索有關(guān)的文獻及報告，參考《國家臨床重點專科評估試點評分標(biāo)準(zhǔn)》科研部分和《北京市臨床重點學(xué)科評分表》，咨詢其他綜合醫(yī)院科研評估標(biāo)準(zhǔn)，結(jié)合本院科研評價現(xiàn)狀和各科室科研情況，形成評價體系的初步指標(biāo)。在第1 輪咨詢問卷中預(yù)置一級指標(biāo)、二級指標(biāo)及相應(yīng)的三級指標(biāo)。每名專家可以根據(jù)自己的觀點，獨立地進行增減指標(biāo)。如果是保留原指標(biāo)，就在需要保留的指標(biāo)后選擇“Y”；如果是去除指標(biāo)，就在需要減的指標(biāo)后選擇“N”；如果是增加，就在預(yù)留的空格處添上。在規(guī)定的時間內(nèi)，收回專家咨詢表[6]。在第2 輪咨詢問卷中采用Likert 5 級的方法進行賦分[7]。根據(jù)重要性、將指標(biāo)分為5 個等級，分別是很重要、重要、一般、不重要、很不重要，分別用5、4、3、2、1 分來表示，篩選標(biāo)準(zhǔn)為指標(biāo)的算術(shù)平均值＞3.50及變異系數(shù)＜0.25。對篩選后的指標(biāo)計算肯德爾協(xié)調(diào)系數(shù)(Kendall's W)，進行χ2檢驗。

1.4 專家的積極系數(shù)

專家的積極系數(shù)反映專家咨詢的合作程度，主要體現(xiàn)為問卷的回收率，回收率越高，提示專家積極性越高[8]。

1.5 專家的權(quán)威程度

專家的權(quán)威程度是指專家針對某一問題或者方向的權(quán)威力度，用權(quán)威系數(shù)(Cr)表示。專家的權(quán)威系數(shù)由專家對問題的判斷依據(jù)和專家對問題的熟悉程度兩個因素決定。判斷系數(shù)用Ca 表示，熟悉程度系數(shù)用Cs 表示，專家權(quán)威系數(shù)Cr=(Ca+Cs)/2。

1.6 層次分析法

層次分析法采用Yaahp 12.4 軟件。首先構(gòu)建由決策目標(biāo)層、中間要素層、備選方案三層組成的層次結(jié)構(gòu)模型，然后根據(jù)層次結(jié)構(gòu)模型設(shè)計AHP 專家咨詢調(diào)查表，進行同級中所有指標(biāo)兩兩間重要性相互比較。重要性的判斷尺度采用9 度打分法[9]。在Yaahp 軟件輸入專家判斷矩陣，進行結(jié)果計算。Yaahp 軟件支持群決策功能，對判斷矩陣進行一致性檢驗、并對一致性進行調(diào)整后，計算各指標(biāo)的相對權(quán)重值[10-11]。見表1。

表1 判斷矩陣的9 度打分法

2 結(jié)果

2.1 專家的基本情況

參加第1 輪調(diào)查問卷的專家29 名，基本情況見表2。專家年齡集中在40 歲以上，高級職稱人數(shù)占到89.66%，碩士研究生以上學(xué)歷者為89.66%，醫(yī)務(wù)人員為58.62%。

表2 專家基本情況

2.2 專家的積極程度

本研究共進行了3 輪專家函詢。第1 輪專家函詢發(fā)出問卷29 份，收回問卷29 份，有效問卷29 份，有效回收率為100.00%；第2 輪專家函詢發(fā)出問卷29 份，收回問卷29 份，有效問卷29 份，有效回收率為100.00%；第3 輪專家函詢發(fā)出問卷29 份，收回問卷29 份，有效問卷24 份，有效回收率為82.76%。本調(diào)查的專家積極性較高。

2.3 專家的權(quán)威程度

一般認(rèn)為，專家的權(quán)威系數(shù)＞0.7，即可接受。本調(diào)查專家咨詢中指標(biāo)的權(quán)威系數(shù)均＞0.7，提示專家的權(quán)威程度比較高。第2 輪函詢的專家權(quán)威系數(shù)見表3。

表3 專家權(quán)威系數(shù)表

2.4 專家咨詢的協(xié)調(diào)程度

Kendall's W 是用來檢驗專家對指標(biāo)的評分結(jié)果是否一致，在0～1 取值，越接近1，表示專家意見協(xié)調(diào)程度越好[12]。Kendall's W 的χ2檢驗，若P ＜0.05，提示Kendall's W 具有顯著性，則可認(rèn)為專家對指標(biāo)的評價結(jié)果具有一致性。將第2 輪問卷中算術(shù)平均值＞3.50 及變異系數(shù)＜0.25 的指標(biāo)納入評價體系，并進行檢驗。各級指標(biāo)的Kendall's W 為0.300～0.776，均具有顯著性(P ＜0.05)，提示專家的協(xié)調(diào)程度較好。見表4。

表4 專家咨詢協(xié)調(diào)系數(shù)

2.5 層次結(jié)構(gòu)模型的構(gòu)建

根據(jù)前兩輪結(jié)果，對評價指標(biāo)進行分析，最后確定一級指標(biāo)2 個、二級指標(biāo)9 個、三級指標(biāo)23 個。根據(jù)所選取的評價指標(biāo)，建立層次結(jié)構(gòu)模型。見圖1。

圖1 院級基金投入-產(chǎn)出評價體系指標(biāo)層次結(jié)構(gòu)模型

2.6 指標(biāo)權(quán)重的確定

將專家反饋的結(jié)果輸入比較矩陣，分別對每名專家所構(gòu)成的判斷矩陣進行一致性分析，其中5 名專家的判斷矩陣一致性未通過，剔除5 名專家數(shù)據(jù)。對通過一致性分析的24 名專家采用群決策，數(shù)據(jù)集結(jié)方法采用各專家排序向量加權(quán)算術(shù)平均法。以一、二級指標(biāo)為例，Yaahp 算得一級指標(biāo)組合一致性比例CR=0.0734＜0.1，二級指標(biāo)組合一致性比例CR=0.0524＜0.1，故一、二級指標(biāo)的比較矩陣均通過一致性檢驗[5]。依次類推，通過一致性檢驗后，計算各級指標(biāo)應(yīng)有的權(quán)重。見表5。

表5 科研基金投入-產(chǎn)出指標(biāo)權(quán)重

3 討論

3.1 構(gòu)建評價體系對醫(yī)院科研政策的制訂具有指導(dǎo)意義

從各指標(biāo)的綜合權(quán)重可以看出，排在第1 位的是課題經(jīng)費投入。醫(yī)學(xué)科研產(chǎn)出的穩(wěn)步提升與課題經(jīng)費的增加密切相關(guān)。因此，加強院級基金的投入，將經(jīng)費有效的用于所需實驗耗材、儀器及設(shè)備等的使用，才能有效地促進醫(yī)學(xué)研究的開展，提高科研產(chǎn)出。與此同時，管理部門根據(jù)基金運行的狀態(tài)，合理調(diào)整科研經(jīng)費的使用，既要避免科研經(jīng)費重復(fù)投入與過度集中，也應(yīng)從最初對獲得資助者的“平均主義”發(fā)展成為有區(qū)別的重點扶持、一般支持和鼓勵性資助、專項資助等類別，優(yōu)化科研資源的配置。

在評價體系中，投入的高級職稱人數(shù)排在第3 位，提示人才是醫(yī)院目前科研工作重要的資源和財富[13]。近幾年，醫(yī)院為了加強科研隊伍建設(shè)，帶動醫(yī)院整體科研水平高效快速發(fā)展，不斷地分層次引進人才，尤其是高層次人才引進。并且根據(jù)醫(yī)院實際發(fā)展需求，制訂人才梯隊建設(shè)規(guī)劃，在已引進學(xué)科帶頭人的基礎(chǔ)上，出臺了《航天中心醫(yī)院亞專業(yè)學(xué)科帶頭人遴選與考核管理辦法(試行)》《關(guān)于印發(fā)中國航天科工集團公司青年創(chuàng)新型拔尖后備人才和青年創(chuàng)新型優(yōu)秀后備人才選拔管理工作方案的通知》及《航天中心醫(yī)院“琢玉”專業(yè)技術(shù)人才培養(yǎng)計劃》一系列的策略，有效地加強了科研人才選拔導(dǎo)向，細化了梯隊結(jié)構(gòu)。各種方式的人才引進、選拔和培養(yǎng)，都對科研能力提出一定的要求，進一步營造了重視科研、鼓勵科研的學(xué)術(shù)氛圍。未來，在指標(biāo)體系的實際運用中，醫(yī)院會在以科室為單位的評估模式上，加強對個人科研績效能力考核[14]，使醫(yī)務(wù)人員能夠正確認(rèn)識到科研的重要意義，加強競爭意識[15-16]，并且為科研人員的職稱晉升、醫(yī)師聘任和崗位績效工資等方面奠定工作基礎(chǔ)。

3.2 評價體系需要不斷修改完善

科研活動是一個復(fù)雜、連續(xù)而又涉及到方方面面的系統(tǒng)工程，建立一個完善的科研評價系統(tǒng)需要進一步量化與完善[17]。同時，隨著醫(yī)院的發(fā)展和科研政策的制訂，科研活動在各個階段有著不同的特點以及突出的問題。因此，對科研基金投入-產(chǎn)出的評估也是一個動態(tài)的調(diào)整過程，應(yīng)該根據(jù)醫(yī)院實際情況予以調(diào)整，才能使評價指標(biāo)體系符合醫(yī)院科研環(huán)境的實際情況，有效地促進科研發(fā)展。

在第1 輪咨詢中，專家建議在資金投入中加入科研獎勵投入指標(biāo)，并且在評價體系權(quán)重排序中位于第2 位，提示科研獎勵的投入在促進醫(yī)院整體科研水平的提高、促進學(xué)科建設(shè)與發(fā)展、激勵醫(yī)務(wù)人員等方面發(fā)揮著促進作用[18]。近2 年，為了鼓勵醫(yī)務(wù)人員主動參與基金申報，醫(yī)院在宏觀政策的制訂方面，注重導(dǎo)向性[19]，提出“改革不合理的科研評價和獎勵機制，建立促進醫(yī)院原創(chuàng)性研究水平提高的評價機制和激勵機制”[20-21]。科研管理部門依據(jù)現(xiàn)階段實際情況修訂科研項目獎勵細則，出臺了《航天中心醫(yī)院科研獎勵辦法》，對科研成果進行分類別、分層次獎勵。例如：①調(diào)整科研項目獎勵范圍，明確部分課題不在獎勵范圍內(nèi)，鼓勵科研工作者到外部求資源；②提高科研項目獎勵標(biāo)準(zhǔn)，明確規(guī)定主持國家級科研項目者，醫(yī)院按實際到款經(jīng)費的30%對課題負責(zé)人進行獎勵；③調(diào)整立項、結(jié)題兩個時間節(jié)點的獎勵分配比例，側(cè)面督促科研工作者按期完成課題。

3.3 評價體系具有科學(xué)性和可靠性

本研究通過將德爾菲專家調(diào)查法與AHP 層次分析法相結(jié)合，建立醫(yī)院科研基金投入-產(chǎn)出評價體系，并為指標(biāo)設(shè)置權(quán)重，研究過程具有較好的科學(xué)性[22-23]。這種方法是定性與定量、主觀與客觀相結(jié)合的評價方法，既可以依據(jù)醫(yī)院實際的科研環(huán)境和基金現(xiàn)狀，有效地根據(jù)指標(biāo)重要程度給予優(yōu)先排序，避免客觀評價法中容易出現(xiàn)的指標(biāo)重要程度與實際現(xiàn)狀相悖的現(xiàn)象；又可以通過指標(biāo)權(quán)重的科學(xué)設(shè)置，將人的主觀判斷用數(shù)量形式進行表達和處理，提高了評價體系的精確度。

AHP 法通常需要多名專家一起對指標(biāo)進行賦權(quán)。AHP 法在得到單個專家對某準(zhǔn)則各個因素的判斷矩陣后，加入群決策支持模式，進行信息集結(jié)。由于每名專家自身知識背景、個人經(jīng)驗、職業(yè)偏好、對評判方案的了解均有差異，專家的權(quán)重也會有所區(qū)別。在研究中，分別對各個專家的判斷矩陣先導(dǎo)出各自的權(quán)重向量然后再進行信息集結(jié)，而不是采用先集結(jié)各個判斷矩陣元素信息得出群體判斷矩陣后，再用這個群體判斷矩陣導(dǎo)出排序權(quán)重。所以，這種分析方法極大地保留了專家原始判斷信息，不會破壞專家給出的判斷矩陣一致性，能夠得出更合理、更科學(xué)的群體決策結(jié)果[24]。在AHP 法中又采用Yaahp 軟件完成層次結(jié)構(gòu)模型的構(gòu)建，并進行9 度打分法的判斷矩陣輸入，通過不一致判斷矩陣自動調(diào)整算法，調(diào)整目標(biāo)使一致性得到滿足且使對判斷矩陣的修改最小化[25]。這種利用Yaahp軟件的計算分析，可簡化計算過程，提高數(shù)據(jù)分析的準(zhǔn)確性、科學(xué)性，并節(jié)省時間。

科研管理是對人、財、物等有限資源進行合理配置，最大限度地完成研究任務(wù)，提高醫(yī)院的科研實力。通過建立有效的科研投入-產(chǎn)出評價體系，對醫(yī)院的科研基金使用效率做出階段性評價，才能全面、系統(tǒng)、直觀地掌握全院的科研狀況，摸清醫(yī)院科研管理過程中的薄弱環(huán)節(jié)和發(fā)展的制約因素。下一階段會將已建立的評價體系應(yīng)用于臨床科室科研績效考核，采用DEA 模型對科研績效進行有效的評估和個體化分析[26]，探討優(yōu)勢和缺點，找出存在問題，有針對性地提出解決方案，最大可能地挖掘發(fā)展?jié)摿Γ龠M科室科研水平持續(xù)穩(wěn)定發(fā)展。同時，及時監(jiān)督和審核科研基金的落實情況，調(diào)整醫(yī)院科研政策，使醫(yī)院科研達到產(chǎn)出≥投入的平衡狀態(tài)，促進形成良性發(fā)展循環(huán)，提高醫(yī)院整體科研水平。