

摘要:結合“雙一流”建設,通過文獻研究及問卷咨詢,探索構建高??蒲性u價指標體系。利用層次分析法對指標權重賦值,分析各項指標在科研評價體系中的重要度,為高校提升科研質量,促進科技創新、成果轉化提供參考。
關鍵詞:科研評價;指標權重;層次分析
結合以往的研究基礎,在高?!半p一流”建設背景下,科研評價體系亟待改革完善。建立有效合理的高校科研評價體系,對高校加快 “雙一流”建設和提升綜合實力意義重大。國家正推動改革科技評價制度,建立以科技創新質量、貢獻、績效為導向的分類評價體系,正確評價科技創新成果的價值。在國家政策導向下,高校如何在實踐中將政策落地,形成具體的框架體系,需結合實際進行系統深入的研究分析。
本研究主要應用問卷咨詢和層次分析法,探索構建兼顧指標權重的高??蒲性u價體系。通過各項指標權重大小,分析其在科研評價體系中的重要度,為高校提升科研質量,促進科技創新、成果轉化提供參考。
1研究方法
結合文獻分析、調研成果及國家現行政策,通過設計問卷,咨詢專家對科研評價指標的建議,再采用定性和定量結合的層次分析法(Analytic Hierarchy Process,AHP)確定科研評價指標權重,優化評價體系。
層次分析法為美國運籌學家匹茨堡大學薩蒂(T.L.Saaty)教授提出,其基本原理是充分利用人的經驗和判斷,對定量和非定量因素進行統一測度,通過兩兩比較方案或目標的相對重要性,構造判斷矩陣,計算判斷矩陣的最大特征根和特征向量,進而得到方案或目標相對重要性的定量化描述[1]。AHP是將人的主觀判斷用數量形式表達和處理的方法,盡量減少個人主觀臆斷所帶來的弊端,使評價結果更可信[2]。
2具體步驟
2.1評價指標的篩選及確定
通過查閱大量文獻,結合高??蒲性u價的特點和實際情況,初步形成評價指標體系的框架,完成第一輪咨詢問卷的設計、發放和回收。 本輪咨詢問卷主要面向從事科研和科研管理的人員,共計130位,其參與積極性高,學科領域背景覆蓋面廣。咨詢專家的年齡在30歲以上的人數比例達90%,超過97%的咨詢專家具有博士研究生學歷,超過77%的咨詢專家具有副高及以上職稱,90%以上為從事一線科研的人員,從事10年以上本職工作的人數比例大于40%。
圖1的結果表明,專家對咨詢問卷中指標的認可度均在50%以上。特別是對于縱向項目經費、國家級縱向項目、論文、國家級獎勵、省部級獎勵、專利技術實施許可或轉讓這幾個指標,參與問卷咨詢的專家認可度均達80%以上。咨詢專家還對指標內涵及細化提出建設性意見,經綜合分析,確定細化橫向項目、學術交流、科研基地、成果轉化四個方面的分類。
2.2基于層次分析法(AHP)的指標權重確定
2.2.1建立層次結構模型
在初步構建層次結構模型及高??蒲兴皆u價指標體系的基礎上,經征詢專家意見后進行了優化。層次結構共分為三層,頂層為目標層,該層為本研究的研究目標——高??蒲性u價指標體系,中間層為準則層,包括科研經費、科研項目、學術交流、科研基地建設、高端人才隊伍、科研成果、科技獎勵和成果轉化8個維度,底層為指標層,該層為具體反映各維度的26個指標,見表1。
2.2.2構建判斷矩陣
在構建層次結構模型的基礎上,邀請30位從事科研及管理的專家采用Saaty1-9標度評分標準進行賦值[3],構建判斷矩陣。
30位專家中男性為24人,占比80%;年齡結構分布較為平均,31-40歲12人,41-50歲10人,51-60歲8人;擁有博士研究生學位的專家為28人,占93.33%;擁有正高級專業技術職務的專家25人,占83.33%;28位專家從事教學科研工作,占93.33%;10年以上從事本職工作的專家23人,占73.33%。通過綜合30位專家的評價結果,能夠更為科學合理地反映高??蒲性u價的指標權重。
2.2.3一致性檢驗
對判斷矩陣均需進行一致性檢驗,驗證判斷矩陣求出的權值的合理性。
一致性和隨機性檢驗公式:
CI為一致性指標(Consistency Index),RI為平均隨機一致性指標。當CR<0.1時,認為判斷矩陣的一致性可接受,否則需要對判斷矩陣進行調整[4]。
本研究構建的判斷矩陣均滿足,通過一致性檢驗。
2.2.4計算指標權重
在構建判斷矩陣的基礎上,將數據代入Matlab程序,對準則層及指標層相對上一層的權重進行計算,分別得出30位專家的賦權。再按準則層和指標層分別對30位專家的賦權進行平均,得到準則層權重最終值和指標層的單層權重最終值,見表1。根據準則層權重及各指標單層權重,計算出各項指標的綜合權重,結果如表1所示。
3.指標權重分析
根據本次高??蒲性u價指標的權重結果分析,各指標對高校科研水平的貢獻度是不同的。
(1)準則層相對權重值結果分析
表1表明,層次分析法結果顯示高校科研評價指標體系的準則層(B)權重排序為B8>B5>B6>B7>B4>B2>B3>B1,即成果轉化>高端人才隊伍>科研成果>科技獎勵>科研基地>科研項目>學術交流>科研經費。
科技成果轉化(B8)、科研成果(B6)權重值分別為0.1737和0.1689,在準則層位居第一、第三,體現科技成果及其轉化在助推創新驅動發展中的重要作用。完善科研成果評價機制,可以從導向入手解決科研成果轉化問題。論文、專利等指標在評價體系中占有一定比重,但是改變學術評價的“唯論文”等指揮棒是科研評價體制改革的關鍵環節。除了以專利技術實施許可或轉讓收益金額來體現科技成果轉化效能,如何將社會效益評價和經濟效益評價有效納入科研成果評價,關注技術創新及其與科學的銜接,更是一個值得探討的問題。
高端人才隊伍(B5)的權重值為0.1724,僅次于科技成果轉化。所有科技活動都是由人來實施,人才必然是產出科研成果、實現科技成果轉化的主體。但需避免以“帽”取人,應對素質和能力進行全面甄別、考量。
科技獎勵(B7)也占有較高的比重,權重值為0.1653。科技獎勵是對科研成果價值和作用的認可,具有重要的導向和激勵作用,直接關系到科技工作發展,關系到創新型國家建設戰略目標的實現。但同樣不能過度推崇獎勵,導致科研的動機偏離科研本身。
科研基地(B4)的權重值為0.1286,體現出科研基地是科技創新體系的重要組成部分,是科技創新、學科建設、人才培養以及參與市場競爭的重要平臺和載體。在“雙一流”建設背景下,加強科研基地建設,對于促進學科持續性發展具有重大意義。
科研項目(B2)、學術交流(B3)、科研經費(B1)是專家認為對高校科研水平影響力較小的因素,權重值分別為0.0686、0.0658、0.0568。科研項目和科研經費主要是科研投入的指標,若單純考量項目及經費,不能對科研水平進行有效地評價。因此在整個科研評價指標體系中,將科研投入及科研產出同時考慮,并且賦予相應的權重,才能全面合理地進行評價。
(2)指標層相對權重值結果分析
根據層次單排序結果,有以下特點:縱向科研經費(X2)的相對權重值為0.6567,幾乎為橫向科研經費(X1)的相對權重值的兩倍;科研項目中,橫向科研經費數額高的項目總體上比縱向項目占更大的權重;相對于科研成果(B6)準則層,行業技術標準(X20)較科技論文(X17)的權重值更大,具有更高影響力;國家級獎勵(X21)的權重值遠大于其他獎勵類型的權重值,在獎勵中具有最大影響力。
(3)指標綜合權重值結果分析
指標綜合權重值是利用層次分析法得到的最終量化數據,為構建全面合理的科研評價體系提供參考。從層次總排序結果來看:國家級獎勵(X21)、國家級科研平臺(X12)、院士(X14)、專利技術實施許可或轉讓收益≥200萬(X24)和技術標準(X20)為影響高??蒲兴角?的指標;橫向項目(1000萬>單個項目經費≥500萬)(X7)、國家級縱向項目(X3)、橫向項目(500萬>單個項目經費≥200萬)(X8)、省部級縱向項目(X4)和市級縱向項目(X5)為對高校科研水平影響力最低的5個指標。
綜上,層次分析的結果表明,影響高校科研水平的重點因素為成果轉化能力,高校應加強科技成果轉化,為解決國家社會經濟發展過程中的難點、熱點問題貢獻力量。本研究所構建的評價指標體系及指標權重,尚待實際測試應用以進一步優化,以期為學校科研評價及考核管理等提供思路。
參考文獻:
[1]王英凱.基于德爾菲法和層次分析法原理的科研項目評價模型.山西財經大學學報,2001,23:148-149
[2]鄧雪,李家銘,曾浩健等.層次分析法權重計算方法分析及其應用研究.數學的實踐與認識,2012,42(7):94-100
[3]梁燕,耿燕,林玉偉,李相銀.基于層次分析法的高校科技創新能力評價指標體系研究,科學學與科學技術管理,2009,5:194-196
[4]朱江,董先紅.基于德爾菲法和層次分析法構建醫院藥學人員綜合評價指標體系,藥學服務與研究,2017(4):250-253
作者簡介:
黎梅(1983年-),女,重慶人,四川大學,講師,碩士學歷,研究方向:科研管理。
基金項目:
四川省軟科學研究計劃項目資助(項目立項編號:2019JDR0143)。