科研成果評估體系的國際經驗與啟示
——PRFS評估框架概覽

文/畢 妍 洪 孟（天津工業大學）

科技創新能力在我國建設創新型國家的過程中發揮著重要作用，如何科學評估研究成果的價值，建立與研究機構創新能力相匹配的撥款體系，不僅直接影響研究機構的創新活力，也對科技工作者的獲得感和幸福感產生潛在影響。2016 年，習近平總書記在全國科技創新大會上明確強調，要改革科技評價制度，建立以科技創新質量、貢獻和績效為導向的分類評價體系，正確評價科技創新成果的科學價值、技術價值、經濟價值、社會價值、文化價值。2018 年，習近平總書記在兩院院士大會上強調，要完善科技獎勵制度，讓優秀科技創新人才得到合理回報，釋放各類人才創新活力?？倳浀囊幌盗兄匾v話精神為新時期的科研評估賦予了新的擔當和使命。在這種形勢下，如何認識和理解科研成果的評估值得深思。本文對基于績效的撥款體系（Performance-based research funding system，以下簡稱“PRFS”）的政策目標、關鍵設計、評估內容和標準進行梳理，分析不同政策目標下各國開展的實踐探索，以期為我國科研成果評估體系的完善提供參考。

一、為什么設計PRFS?——PRFS的政策目標解析

PRFS 是一種基于科研成果評估結果進行研究經費分配的體系[1]。顧名思義，其包含兩個組成部分：評估以及將評估結果應用于研究經費分配中。不同國家科研體系不同，國家研究治理導向以及政策環境不同，因此PRFS 也存在差異。但由于受新公共管理運動“問責”和“效率”導向的影響，在研究領域，科研機構普遍擁有較大的自主權，政策制定者將經費分配作為激勵工具，或對過去科研績效進行獎勵，或將其與未來績效承諾聯系起來。

政策目標直接影響PRFS 核心要素、評估范圍和評估指標。雖然各國政策目標不盡相同且體現出變化的趨勢，但總體而言，PRFS 有以下四項政策目標：一是提升研究質量和國家科研競爭力；二是引導研究者行為以解決科學研究中存在的問題；三是加強問責；四是為國家層面或機構層面研究戰略的制定提供詳實信息。

表1 不同國家PRFS 政策目標定位[2]

表1 總結了澳大利亞、比利時、捷克、丹麥、芬蘭、意大利、荷蘭、新西蘭、挪威、瑞典、英國11 個國家開展評估的主要目標。其中，11 個國家都把提升研究質量作為首要政策目標。系統相關的政策目標集中于三個方面：一是比較國內外各領域研究成果，以識別相對優勢，如澳大利亞、意大利和瑞典；二是鼓勵合作，創建知識轉移激勵體系，如比利時和挪威；三是提升高等教育機構的國際知名度和競爭力，如丹麥、芬蘭。問責方面，澳大利亞等7 個國家從研究質量、經費使用、與社會的相關性等方面提出研究機構應承擔的責任和使命。戰略相關的政策目標包括識別優勢學科領域與新興研究領域、進行國際比較、收集信息供高校和發布公共報告使用等方面。

二、如何設計PRFS？——PRFS關鍵設計解析

各國PRFS 評估體系的差異在一定程度上反映出其在特定時期內的優先關注重點。通過分析發現，基于不同的評估對象和評估目標，各國PRFS 評估體系所選評估指標的數量、類型以及權重都存在差異?？傮w而言，在設計PRFS 評估體系時主要考慮的內容和內部要素如表2 所示。

1.評估方式

盡管所有PRFS 的目的都圍繞評估研究成果的質量展開，但目前“績效”的概念仍不明確，學術界一直在爭論研究成果質量的定義以及成果與成果之間差距的衡量標準。與定義研究“質量”這一難題密切相關的是評估方式的選擇。由于評審標準更加靈活，且能夠評估成果的范圍和類型更廣泛，目前學界更傾向于支持同行評估。瑞典自2015 年實施改革，由同行評估代替基于指標的評估方式。英國和新西蘭是僅有的兩個幾乎唯一依賴同行評估的國家。知情同行評審（informed peer review）將被引數據告知同行評審專家，由專家對研究成果的卓越性、連貫性和其他方面做出更客觀的定性評估，而這是僅憑指標評估無法實現的。比利時、丹麥、芬蘭和挪威使用影響因子和其他文獻計量指標對研究質量進行評估。目前越來越多的國家綜合使用同行評估和文獻計量來開展評估工作。分學科而言，文獻計量分析在自然科學研究領域中應用更廣，同行評估在人文社會科學中應用更廣。

表2 PRFS 評估體系的關鍵設計內容與要素

2.評估范圍和內容

早期PRFS 僅關注學術成果的評估，目前其評估范圍和內容擴展至創新以及大學與社會進行知識交流的“第三使命”上。無論采用同行評估還是基于指標的評估方式，大多數國家對研究活動的界定都不僅僅局限于研究成果及其學術影響。比如，英國“科研卓越框架”（Research Excellence Framework, 以下簡稱“REF”）2014 報告中提出要用“模板+案例”的方式評估研究成果的社會影響力，其得分占整個評估結果的20%。REF 在 2014 年 12 月首次公布了對154 所參評院校和36 個學科評估單元的最終評估結果，同時也公開了全部6679 份影響力案例[3]。由于社會影響力的滯后性以及評估高成本的特點，許多國家通過使用一些替代性指標來評估研究部門的績效表現，如被引率[4]和大學獲得外部研究資助的能力。

3.評估指標的使用

梳理各國PRFS 的評估指標發現，目前使用的一級指標共有四類：直接評估研究成果的指標、外部籌資指標、系統指標和影響力指標。其中直接評估研究成果的指標包含學術成果、非學術成果、與創新相關的成果；外部籌資指標包含國內競爭性資助、國際競爭性資助、基于合同的研究資助、非競爭性資助；系統指標包含參與學術會議、學術獎勵、與國內外研究機構的合作、與產業界的合作、博士招生數和授予博士學位數；社會影響力指標包含學術影響力（被引分析）和非學術影響力（社會和經濟效應等）。比如，英國REF 中社會影響力的評估標準包括意義和范圍兩個方面，主要考查案例所產生的社會影響的輻射廣度以及該影響對于社會的重要意義?？傮w而言，英國和意大利兩國在上述四類指標使用的廣度方面脫穎而出，基本涵蓋了所有指標類別。

三、評估什么？——PRFS的評估內容

不同國家PRFS 評估內容存在差別。在捷克和新西蘭，評估內容僅專注于研究成果的質量。而在澳大利亞[5]、荷蘭[6]、意大利[7]和英國[2]，評估內容涉及了研究活動的多個方面，如表3 所示。這四國均將研究產出、相關性或影響力作為評估的重要內容。其中，荷蘭和英國除了評估研究成果質量和影響力之外，還將科研環境納入評估范圍。此外，英國相當重視學科間差異。例如，允許不同學科根據實際情況提交不同類型的學術和非學術成果的支撐材料。學術成果中除發表的期刊論文、會議論文和書籍之外，還可以提交其他16 種成果，諸如技術報告、教科書等。非學術成果多達19 種，包括9 種類型的“數字化人工制品”（如軟件、檔案、電影等）、7 種類型的“物理性人工制品”（如新材料）和3 種類型的“臨時性人工制品”（表演和展覽）等。

表3 澳、荷、意、英PRFS 評估內容

四、啟示與思考

本文從為什么評估、如何評估、評估什么3 個方面對PRFS 評估框架進行了梳理，可以發現其核心要素和發展方向，為我國科研成果評估體系的完善提供了發展思路。第一，從各國研究成果評估的實踐來看，PRFS 體現出重視研究質量及問責的政策設計理念。關注的熱點從“學術成果”的“學術影響”向“科學與社會的互動和相關性”的“非學術影響”方面轉移。英國在研究成果社會影響力評估方面的探索，表明采用多維、長期視角的理念來評估研究成果的質量在實踐中具有可行性。由于信息不對稱性的原因，許多學科的學術成就難以準確衡量，如何推動科研成果評估制度化應成為我國新時代科技管理的重要抓手。第二，從各國所選用的評估方式和內容來看，體現出很大的靈活性。未來我國在探索研究成果評估體系的實踐中，可采用“分類設計”理念，在國家政策目標的指導下，根據學科類別、研究活動的范圍、評估對象的不同而選擇適宜的評估主體、評估內容與指標，逐步建立與國家社會發展需求相適應的科研成果評估體系。