林業領域國家重點研發專項資金項目績效評價體系構建初探

程中倩，吳水榮，梁 巍

（1.中國林業科學研究院林業科技信息研究所；2.中國林業科學研究院科技管理處，北京 100091）

國家重點研發計劃于2015 年開始實施，是由973 計劃、863 計劃、國家科技支撐計劃、國際科技合作與交流專項、產業技術研究與開發基金和自然資源部、生態環境部、衛計委等13 個管理部門的公益性行業科研專項，6 個國家公共研發計劃中子計劃整合而成［1-2］。重點研發計劃的顯著特點是戰略性、導向性和方向性強，其研究內容設置高度反應了國家意志和發展需求［1］。

通過近4 年試運行，國家重點研發計劃建立了咨詢評議、決策監督和管理監督三方分管機制［1］，2017 年科技部制定了項目立項、實施、驗收與成果管理辦法、監督與評估工作規定、財務工作規范等系列制度［3］，初步形成了專項組織管理體系及制度體系。但當前尚未形成完善的國家重點研發專項績效管理與評價模型和指標體系，無法統一指導績效評價制度、監測項目效益，也無法對項目進行初期評價和階段性考核。此外，現有的績效評價體系大多采用投入導向的績效評價模式，重點關注項目的投入以及實施過程，經費使用欠靈活性。若采用結果導向的績效評價模式，將注重審核項目完成程度及質量，激勵科研人員的創新潛力，科學高效地管理科研經費，促進“產出大于投入”［2］。林業在推動國民經濟的建設、促進人民生活水平的提升、加強生態環境的改善中，有重要的地位和功能［4］。對于林業領域科研項目，由于項目周期長，成果見效慢，效益涵蓋生態、經濟和社會等多方面，其績效評價系統應有別于其他領域。因此，有必要探索林業領域績效評價體系，逐漸完善重點研發專項的組織和資金管理，有利于激勵科研工作者更好地投入到林業產業發展，推進生態文明建設與保護。

本文將層次分析法（Analytic Hierarchy Process，AHP） 和模糊綜合評價（Fuzzy Comprehensive Evaluation）相結合，建立林業領域國家重點研發專項績效評價指標層次結構模型，運用指標成對進行比較的方法來構建比較判斷矩陣，將求解與最大特征根相應的特征向量的分量作為相應權重系數的方法計算指標權重，進行一致性檢驗，根據最低層次各指標權重和指標值對考評對象作出綜合評估［3］，形成評價指標體系。在以上分析基礎上，運用主成分分析法（Principal Component Analysis，PCA）降維，提取關鍵的評價因子，制定合理的林業領域國家重點研發專項績效評價方案。

1 林業領域國家重點研發計劃立項情況分析

自國家重點研發計劃啟動以來，2016—2018 年，國家重點研發計劃項目中涉及林業領域的方向主要有：“林業資源培育及高效利用技術創新”“典型脆弱生態修復與保護研究”“全球變化及應對”“水資源高效開發利用”“生物安全關鍵技術研發”“國家質量基礎的共性技術研究與應用”。如表1 所示，2016年，林業領域共立項51個，總經費近13.08億元；2017 年林業領域共立項46 個，總經費近9.57 億元；2018 年林業領域共立項11 個，總經費近1.99 億元。從項目實施周期來看，“林業資源培育及高效利用技術創新”和“全球變化及應對”實施周期最長，平均為5 年；隨后為“典型脆弱生態修復與保護研究”［5-9］。牽頭單位以科研院所為主，其次為大專院校，企業占比很小，2017 年和2018 年，林業領域重點研發專項無企業立項［5-9］（圖1）。

表1 2016-2018 年林業領域國家重點研發計劃分布

圖1 2016—2018 年項目牽頭承擔單位類型分布情況

2 績效評價的模型及指標體系

2.1 績效評價指標的確定及層次結構劃分

由于林業項目研究周期長、項目綜合性高，涉及生態、經濟和社會等多方面因素影響，所確定的指標既要全面滿足全面評價項目的各項任務目標要求，又要簡潔、合理、易于評測［4］。因此，根據系統性、科學性、客觀性、時效性、預測性、重點性和定量與定性指標相結合原則［10-11］，建立了林業領域重點研發專項績效評價指標體系。將項目投入與管理、創新活動、技術評價和項目效益，5 個指標定為績效評價體系的一級指標即準則層。在參考其他農林業項目績效評價體系，咨詢林業相關領域專家，結合林業公益性行業科研項目特點，確定了19個二級指標和61 個三級指標，即子準則層1 和子準則層2，具體內容見表2。

表2 林業領域重點研發專項績效評價各指標權重及分級評分標準

表2 （續）

表2 （續）

2.2 構建兩兩比較判斷矩陣

在評價指標體系中，每項指標的重要性不同，計算某一指標的綜合值前，要確定每個指標的權重。權重越高，則該指標越重要。確定了績效評價體系的一、二和三級指標后，邀請中國林業科學研究院相關專家24 名，通過調查問卷的方式，運用層次分析法，建立判斷矩陣，確定各層級每個指標的權重［11］。

關于判斷矩陣中元素的標度，層次分析法引用了實驗心理學家 Miller［12］的工作成果，即人類比較判斷事物個數的心理極限是 7±2 個，因此，在層次分析法中采用了實驗心理學中的 9 級 Bipolar 標度，以自然數 1 到 9 的（子）因素相對重要性進行標度［3,12］（表3）。

表3 標度值的含義

2.3 計算單一準則下元素的相對權重

表1 所示，科研績效評價共有5 個一級指標，19 個二級指標，61 個三級指標。通過參與問卷調查的專家對指標打分處理后，建立各層次的正互反矩陣，既具有如下形式：

且{aij}={1,2±1,3±1,…,9±1} (i,j=1,2,3,…,n)。

計算判斷矩陣每一行的乘積Mi：

計算Mi的幾何平均值：

ωi即為該指標的權重。計算判斷矩陣的最大特征值λmax：

根據許樹柏［12］得出的1-15 階重復計算1 000次的平均隨機一致性指標如下（表4）。

表4 平均隨機一致性指標RI

計算一致性比率CR：

當CR＜0.10時，可以認為判斷矩陣具有一致性，不必調整。否則需要重新調整矩陣。

2.4 確定國家財政專項資金科研項目績效評價各指標權重

運用Matlab 軟件，按子準則層2、子準則層1和準則層的順序，分別計算各層次的計算最大特征值、權重、對應特征值向量，進行一致性檢驗通過后，將各層次權重結果匯總至表1。

3 評價等級標準

在以上權重計算基礎上，對子準則層2 各指標制定打分標準（見表1），分為五級：第I 級為20 分，第II 級為40 分，第III 級為60 分，第IV 級為80 分，第V 級為100 分。首先，根據各項目實際情況，對子準則層2 的各項指標進行評分，乘以對應權重，計算出實際分值。然后，將子準則層1 的各項指標對應分值相加并乘以子準則層1 的權重，得到子準則層1 的分值。同樣，將準則層內個子準則層1 的各項指標對應分值相加并乘以準則層的權重，得到準則層的分值。最后，各準則層的分值相加，得到目標層分值，即為國家財政專項資金科研項目最終得分。

4 關鍵指標

由于子準則層2 共計61 個指標，為了提高評價效率，根據專家打分結果，采用主成分分析，為評價體系降維后，重新組合形成6 個新的綜合評價指標（表5）。主成分1 與D11 對生態多樣性保護的促進作用、D12 對碳匯造林事業發展的促進作用、D13 對其他生態服務的促進作用等27 個子準則層2的指標有關，涵蓋生態效益、經濟效益、社會效益以及可持續影響方面，可命名為項目效益因子。C31制定標準、指南、行業規范、規程、模型等數量及級別和C32 引用頻次或使用情況在主成分2 上有較高正載荷，因此該主成分可定義為行業標準化因子。主成分3 與C12 論文引用頻次、C22 著作引用頻次、C52 示范基地樣地驗收通過率以及D32 宣傳報道數量密切相關，可命名為應用成果因子。主成分4 與C21 著作級別和數量、C41 軟件著作權、專利等數量、C51 標準、指南、行業規范、規程、模型等數量及級和C72 成果轉讓密切相關，可命名為學術成果因子。A41 各主要任務預算控制的情況在主成分5 上有較大負載荷，可命名為成本控制因子。B21 學術會議和B22來訪人員在主成分6上有較大負載荷，定義為交流活動因子。因此，國家財政專項資金科研項目績效評價與項目效益、行業標準化、應用成果、學術成果、預算控制和交流活動這六大類指標密切相關。根據這六大類建立新的評價體系見表6。

表5 （續）

表6 降維后的國家重點研發專項項目績效評價體系

5 總結

國家重點研發計劃的評估管理辦法出臺相關規定，但具體的評估內容有待細節化、制度化［13］。建立科學合理的績效評估體系，可保障項目順利實施，按計劃高質高產完成，資金做到合理分配［14］。現階段，我國重點研發專項更重視“社會發展”和“高新技術”領域［15］。林業領域無論是立項數量還是經費總額，都遠不及上述兩個領域，是一個支持較為薄弱的領域。在資助優勢學科的同時，更應該覆蓋特色學科，針對林業發展特點，與相關地區及單位共同投入資金，設立國家重點研發計劃聯合任務，促進林業等小眾領域的發展［16］。

由于現階段尚未有國家重點研發專項項目結題，因此，本研究的評價體系未有合適數據支撐評價效果。建議構建評估體系時，率先開展試點評測，完善評價體系［13］。本研究拋磚引玉，可為建立完整的國家重點研發計劃的評估提供參考，避免同質化評估。