科學基金項目成果后評價體系構建及應用

張仲位 朱洋 張彥明 張其斌 祁楌捷

摘要：文章提出一種采用層次分析法對已受理項目進行評審的評審體系，通過研究分析不同學科科學基金項目后績效評估所涉及的評價指標，選擇能夠反映科學基金項目特點的共性指標并對其中的定量指標分別設定權重，從數量、質量、效率三方面得出項目綜合評分，然后結合關鍵定性指標，建立了一套定量與定性相結合的科學、系統、實用的基金項目后評價指標體系以及評價意見的反饋機制，最后通過實際數據驗證了該評價體系的合理性與有效性。

關鍵詞：科學基金項目;評價體系;決策分析;科研管理;層次分析法

中圖分類號：N32? ? ? ?文獻標識碼：A ? ?文章編號：2096-4706（2021）07-0101-06

Construction and Application of Post-Evaluation System of

Science Foundation Project Achievements

ZHANG Zhongwei1，ZHU Yang1，ZHANG Yanming2，ZHANG Qibin3，4，QI Yanjie5

（1.School of Mathematics and Physics，Lanzhou Jiaotong University，Lanzhou? 730070，China;2.Weiyuan County Water Authority，Dingxi? 748200，China;3.Gansu Computing Center，Lanzhou? 730070，China;4.Gansu Key Laboratory of Cloud Computing，Lanzhou? 730070，China;5.Gansu Rongzeyuan Data Technology Co. Ltd.，Lanzhou? 730070，China）

Abstract：This paper proposes an evaluation system of accepted projects by using analytic hierarchy process. By studying and analyzing the evaluation indexes involved in the post-performance evaluation of science foundation project in different disciplines，the common indexes that can reflect the characteristics of science foundation projects are selected，and the weights of the quantitative indexes are set respectively. The comprehensive scores of projects are obtained from the three aspects of quantity，quality and efficiency. Then combined with key qualitative indicators，a set of quantitative and qualitative combined science，system，practical foundation project evaluation index system，and feedback mechanism for evaluation opinion. Finally，the rationality and effectiveness of the evaluation system are verified by the actual data.

Keywords：science foundation project;evaluation system;decision analysis;scientific research management;analytic hierarchy process

收稿日期：2021-03-09

基金項目：甘肅省自然科學基金項目（17JR5 RA014）;甘肅省科技計劃資助項目（20YF3GA0 13）;甘肅省科技型中小企業技術創新基金項目（20 CX9JA128）

0? 引? 言

自然科學基金是各省市設立的用來鼓勵和支持地方自然科學創新與發展的重要舉措，目的在于培養科學技術人才，發現并發展前沿科學研究，增強各地基礎性研究的自主創新能力[1]。省市各個地方對自然科學基金研究的課題立題、中期檢查、結題驗收都有相應管理辦法，但對結題驗收后項目優劣程度的定量評價缺乏系統性，或是采用的定量評價體系過于簡單籠統，而且細化程度不夠[2-6]。

近年來，隨著甘肅省科學基金項目的發展，其管理措施也逐步完善。由于基金項目的后期管理工作是管理措施中較為薄弱的環節，它不僅對項目完成情況的評估有影響，也不利于新事物的發現，且浪費了數據資源。因此，為適應日益發展的基金事業，我們聯合甘肅省科技廳，從已有的項目數據中分析得出新的規律與價值，建立甘肅省已結題項目的后評價體系，從而提升項目基金的資助質量與后期管理，提高使用效益。基金項目后評估是通過全面收集已結題項目的成果檢索率、引用率、專著出版、專利申請、人才培養、獲獎情況、成果轉化等一系列指標信息，利用層次分析法給予不同的指標權重，對項目的價值以及創新水平做出客觀評價，為甘肅省科技廳基金管理機構的項目后期管理提供依據。此外，通過該評估體系發掘前景較好、有發展潛力的研究領域，為基金管理機構的資金分配提供決策依據，增強省科技廳管理人員在項目基金分配中的判斷力。

1? 基金項目評價模型建立

1.1? 層次分析法簡介

層次分析法于1970年初由美國運籌學家薩蒂教授提出，是一種定性定量相結合的建模分析方法，用來解決無結構決策問題。層次分析法（Analytic Hierarchy Process，AHP）[8]是對人們的主觀評價進行形式化表達以及客觀描述過程，得到權重之后，為了克服成對比較的缺點必須進行一致性檢驗。層次分析法的關鍵是對決策者主觀經驗判斷進行量化表達，使得決策者在決策時候有據可依，避免過于依賴個人的主觀判斷，在目標結構復雜、所需數據較多的情況下更加實用[9]。由于在復雜問題決策中AHP有較強的實際應用性，故其應用范圍廣泛，涉及經濟規劃與管理、能源政策與分配、軍事指揮、交通運輸、農業、教育教學、人才培養、醫療建設等領域。

AHP的基本思想類似于思考和識別復雜決策問題的過程。將研究對象劃分為不同的組成部分，按照各組成部分的隸屬關系由高到低排序，構建層次結構。通過比較同一層的要素利用數學方法確定各層要素的權重。

1.2? 層次分析法的具體步驟

應用AHP計算指標權重系數就必須將指標體系分層創建，因為它是計算指標權重系數的基礎，通過指標之間的成對比較來判斷系統中各指標的好壞，并根據評價結果綜合計算各指標的權重系數。下文對具體步驟進行介紹。

1.2.1? 建立遞階層次結構

將煩瑣問題中的各種因素分解為相互關聯、有序的層次，使之組織有序，層次分明，構建清晰的層次分析結構模型。評價體系形式如圖1所示。

1.2.2? 構造判斷矩陣

矩陣用于表示相同等級中各指標相對重要程度判斷，由多位專家進行判斷。心理學家研表明“一個人區分信息水平能力的極限為7±2”，為了解決直接評價指標的模糊性及不確定性，AHP法運用了九分位的相對重要比例標度來衡量相對指標，構成一個判斷矩陣B。矩陣中的每個元素bij表示水平索引相對于每列索引的重要性的成對比率[10-13]。如表1所示。

依據判斷矩陣B中兩個指標的比較特征，顯然有bij>0，bii=1，bij=，i=1，2，3，…，n。因此，判斷矩陣B是否為一個正交矩陣時，只需作次比較即可。這里需要強調的是，如果認為后一個指標比前一個指標重要，則用對應值的倒數來表示其重要性。

1.2.3? 對各指標權重系數進行計算

單級層次排序，是指本級各因素對上一級某一因素的重要性排序。判斷矩陣是AHP法的信息來源基礎，用排序方法得到矩陣排序后，計算出各級指標權重系數，如表2到8所示，一致性指標CR均小于0.1，滿足判斷矩陣的一致性檢驗。

1.2.4? 判斷矩陣的一致性檢驗

對其他計算指標權重的方法進行比對后發現，層次分析法優勢在于一致性檢驗后可以與專家思維保持基本相同。這種與專家思維保持一致我們稱為判斷一致性，指多個指標相互比較時也可以相互協調互不干擾。例如，使用三個指標（令它們分別為a、b、c）進行兩兩比較。當a比b略微重要，b比c稍微重要時，存在c比a稍微重要的評價，相互矛盾，此時稱專家思想非不一致性。這種不一致的矛盾在多層次判斷中極易出現，僅僅是不一致的程度不同[14]。

將多位專家得到的最終判斷矩陣采用幾何平均法進行綜合平均，得到最終的指標評價判斷矩陣。判斷矩陣一致性的步驟為：

（1）一致性指標CI表達式為：

（1）

其中λmax為判斷矩陣的最大特征值，可采用下文所述的方法計算。定義：

（2）

（2）式可以作為判斷矩陣的最大特征值對應的特征向量：

（3）

（3）式可以近似看作判斷矩陣的最大特征值。

（2）一致性指標RI。如表9所示。

（3）計算一致性比率CR，表達式為：

CR=

當CR≤0.1時，判斷矩陣一致;當CR>0.1時，則認為判斷矩陣并沒有達到要求，需要重新分析賦值并進行修正，直至檢驗通過。由步驟三中的數據計算可知，一致性比率CR都小于0.1，接受判斷矩陣的一致性。

1.2.5? 組合權重計算

指標權重是一級接著一級去計算的，設有一個由目標層A、準則層C、方案層P組成的分層模型（增加更多的分層模型，計算方法相同），目標層A對準則層C的相對權重W為：

W=（w1，w2，…，wk）T

式中W為各個指標的權重系數值。

準則層C的各準則ci（i=1，2，3，…，k）（k為準則數）對方案層P中的所有n個方案的相對權重為：

Wi=（w1i，w2i，…，wni）

通過W與Wi（Wi=1，2，3，…，k）計算各方案目標的相對權重。對于該基金項目評價體系的組合權重計算如表10所示。

1.2.6? 權重指標分析

由表10可以得到各層指標的單層權重和總權重，對于該評價體系經過上述分析，認為一個基金項目的評審主要在于基礎類評估，占比70%，其次是二層指標中的效用性評估，將上表中的15個第三層指標用1～15來表示，由圖2可以看出第三層指標對于目標層的相對權重大小，權重相對較大的是研究成果及專利，占比13.13%，說明關鍵指標占權重的比例較大，關鍵指標在評價體系中可以發揮作用。權重較大的指標基本上覆蓋了對基金項目進行有效性評價的一些很重要的方面，然后由權重較小的指標對基金項目有效性評價做一些有益的補充。

2? 實際應用

為了檢驗該評價體系的合理性，我們從甘肅省科學技術廳獲得了30個已經完結的基金項目。根據該評價體系對這30個完結項目的優良程度進行評比，結果如表11所示。

如圖3所示，排在前三位的分別是加速器電源技術的研究、法醫物證技術與研究、甘肅大宗藥材當歸、甘草膜分離提取技術及應用研究，相對權重分別為0.049 2、0.046 5、0.044 5，與實際評比相符。

3? 結果與討論

通過對這30個完結項目的權重排名可知，依據該評價體系得到的項目權重排名和專家評比結果基本一致，因此在科學基金項目評審上可以借鑒該評價體系，根據每一級的指標權重來確立評價主線，為科研項目的評審工作減壓，科研人員也可以根據該評價體系對科研經費的投入進行合理分配，減少科研項目投資風險，提升研究經費的使用效率。

利用層次分析法確定項目評價指標權重的優點是可以有效避免權重確定的隨意性和模糊性等缺點，有助于提高評價的客觀性。本文所討論的方法是基于從粗到細、從散到集中的選擇方案的思想，符合人們的慣性思維，采用特征值法計算權重，后續可以考慮多種方法加權計算最終權重，保證模型的穩健性。此外，建立判斷矩陣是確定評價標準權重系數的關鍵，判斷矩陣中必須采用科學合理的數據，不能依靠個人主觀判斷，在實際應用中，它是綜合考慮統計數據、專家建議和決策者知識水平得出的。

4? 結? 論

本文針對基礎研究和應用研究側重點不同導致的評價指標多樣化，量化難度大等問題，采用大數據采集與分析技術對我省已結題科學基金項目在結題后一定時期內所產生的績效信息進行收集和分析，在自然科學基金項目評價指標體系中選擇了一些能夠反映基礎研究與應用研究基金項目特點的共性指標，并結合層次分析法構建了定量與定性相結合的通用基金項目后評價指標體系，最終形成評價報告。通過真實數據的檢驗，該評價體系的評比結果與專家意見基本一致且效果顯著，效率提高，在實際應用中，可根據具體情況與用途對該評價體系的指標進行適當調整，以滿足實際需要。

參考文獻：

[1] 李雄詒，李新杰.我國省級自然科學基金管理體制研究 [J].科學學與科學技術管理，2011，32（3）：16-20.

[2] 劉長穎.層次分析法與高校科研項目評估指標權重的確定 [J].遼寧師范大學學報（自然科學版），2011，34（1）：30-33.

[3] 林建衡.層次分析法在高校科研項目評估中的應用 [J].技術與創新管理，2004（2）：39-41.

[4] 王其冬，武佩珍，程建剛，等.層次分析法在國家自然科學基金項目評審中的應用 [J].系統工程理論與實踐，2001（7）：119-123.

[5] 臧玉強.層次分析法在科技成果綜合評價中的應用 [J].濟寧師專學報，1999（6）：13-14.

[6] 王英凱.基于德爾菲法和層次分析法原理的科研項目評價模型 [J].山西財經大學學報，2001（S2）：148-149.

[7] 魏江，勾麗，周泯非.基礎研究績效的評價指標分析 [J].南京理工大學學報（社會科學版），2008，21（2）：64-69.

[8] SAATY T L，KEARNS K P. Analytical Planning [M].Elsevier，1985.

[9] DETURCK D M. The approach to consistency in the analytic hierarchy process [J].Mathematical Modelling，1987，9（3-5）：345-352.

[10] 曹亞平.層次分析法在建筑施工現場安全管理中的應用 [J].山西建筑，2021，47（1）：190-192.

[11] 徐恒，時晨希，徐艷芳，等.基于層次分析法開展醫院大型醫療設備用能評價及對策探討 [J].醫療衛生裝備 2021，42（2）：78-81.

[12] 吳翼虎.基于層次分析法對山區高速公路路線設計方案評價模型的構建與研究 [J].公路，2021，66（4）：56-61.

[13] 李秀峰，祝軍.共青團“青年之家”實體平臺的評估指標體系研究——基于德爾菲法和層次分析法的應用 [J].中國青年社會科學，2021，40（2）：28-39.

[14] 劉新憲，朱道立.選擇與判斷——AHP（層次分析法）決策 [M].上海：上海科學普及出版社，1990.

作者簡介：張仲位（1996—），男，漢族，甘肅慶陽人，碩士在讀，研究方向：時空數據挖掘與人工智能算法;通訊作者：張其斌（1978—），男，回族，甘肅蘭州人，甘肅省計算中心研究員，本科，研究方向：計算機應用。