英國高校科研評估改革、科研卓越框架及其應用

吳 勇，夏文娟，朱衛東，王麗娜

(1.合肥工業大學管理學院，安徽 合肥 230009，2.合肥工業大學經濟學院，安徽 合肥 230061，3.合肥工業大學科學技術研究院，安徽 合肥 230009)

0 引言

英國高校的科研水平享譽全球，這與以科研卓越框架(Research Excellence Framework，REF)為代表的科研評估體系以及建立在該評估框架下的科研資助制度緊密相關[1]。REF評估是由英格蘭高等教育基金委員會(the Higher Education Funding Council for England，簡稱HEFCE)為主要代表，并聯合蘇格蘭、威爾士高等教育基金委員會和北愛爾蘭就業與學習部這三個主體機構，對英國高校的科研活動進行管理、引導、評估和監督。2014年12月，英格蘭高等教育基金委員會公布了首次REF評估結果，共154所英國高等院校參與了此次科研評估活動，評估小組針對各高校科研活動質量水平提交了1911份總體質量概況意見，為高校制定科研發展規劃和學科建設方案提供重要的決策依據。作為科研評估體系改革的模范，英國自推行REF評估以來，有30%的高校的科研活動質量被認定為 “世界領先”，有46%的高校的科研活動質量被認定為 “國際優秀”，這表明英國自2008年實施 “科研評價(Research Assessment Exercise，RAE)”體系后，英國高校研究成果質量和國際影響力顯著提高[2]。

目前，中國正面臨科研產出由量變到質變的戰略轉型期，黨的十九大報告指出 “要瞄準世界科技前沿，實現前瞻性基礎研究、引領性原創成果重大突破”，這對新時代高校科學研究的成果創新提出了更高要求。國務院于2018年1月19日印發 《關于全面加強基礎科學研究的若干意見》(以下簡稱 《意見》)， 《意見》中強調要針對不同高校、科研院所實行分類評價，制定相應的程序和標準，完善以創新質量和學術貢獻為核心的評價機制。中國國家自然科學基金委員會(簡稱基金委)在 “十三五”戰略規劃中就科學基金的發展目標提出 “三個并行”，積極推進中國科學研究向 “總量并行” “貢獻并行”以及 “源頭并行”發展。基金委作為支持基礎研究的重要渠道，更應當推進科研評審工作的質量提升、全面籌劃科學基金的高效分配，強化其 “一體雙能”的定位，引導中國高校在國際主流學科發展中有重大原創性的貢獻[3]。英國RAE向REF評估體系的改革，正標志著英國科研評估重點從研究產出數量到質量的傾斜，從科研評估的角度來看，科研評估體系應當動態調整以適應科研目標的變化，在悟透中國科學研究的時代特征、發展道路、發展目標和發展模式的基礎上，學習借鑒英國REF評估體系的框架，對完善中國高校科研評估體系和提升科研水平與質量具有重要的參考意義。

眾多學者從英國RAE到REF的改革及創新[1]、REF的概況與啟示[4]、中英高校科研評價體系的對比[5]、英國科研經費撥款與管理[6-7]、國際科研體系面臨的問題和發展新趨勢[8]等角度，研究了英國科研評價體系的改革發展歷程、制度效應以及啟示，但是現有研究并沒有厘清英國科研評價體系改革從RAE到REF的驅動因素，也缺乏對REF體系及REF評估結果應用的深入探討。本文立足于前期相關研究，遵循 “為什么會產生REF-什么是REF-如何使用REF評估結果”的內在邏輯，首先，從評估指標體系調整、評估組織方式完善以及評估方法選擇等方面，探究英國實施從RAE到REF的科研評估體系改革的制度邏輯及其政策影響；其次，圍繞評估組織模式、評估指標體系及其標準，系統論述了REF的框架體系；最后，探討了基于REF評估結果的主流科研質量撥款模式，構建了撥款決策的量化計算模型，重點從實踐操作層面回答了REF評估結果如何應用的問題。

1 由RAE到REF：英國高校科研評估體系的改革歷程

英國高校科研活動績效評估，源于20世紀80年代新公共管理運動的興起，為了監督大學教育質量和公共資金使用效率，越來越多的外部人士參與到高校管理中來，開始對高校績效進行外部問責。隨后，撒切爾政府大刀闊斧開展公共部門改革，要求徹底改革大學管理模式，縮減對高校的財政支出，實施透明的績效評估，提高政府財政資助資金使用效率[9]。在這種政治背景和改革壓力下，1986年，當時的大學撥款委員會(the University Grants Committee，簡稱UGC)開展了首次針對大學的科研評估，旨在通過科研績效評估結果對高校進行選擇性財政投資，提高財政資金的資助績效和透明度。1986—2008年英國總共進行了六次大規模的科研評估活動，主要采用RAE方法開展評估。2008年的第六次RAE評估在前幾次的基礎上有了質的飛躍，對英國高校科研評價的發展做出了重要貢獻，但是應用過程中評估分組太多導致機構臃腫、學術不端弄虛作假等弊端也日益顯露，因此，2014年，在RAE基礎上經過全面調整和改革的REF體系應運而生[5]。REF延續了RAE體系的優點，但在評估指標體系、評估組織方式以及評估方法等方面均進行了優化調整，下文詳細對比分析了從RAE到REF評估體系的改革變化。

1.1 評估指標：由 “科研產出導向”向 “社會價值導向”傾斜

2008年RAE評估體系中評估指標分別為科研成果、科研聲譽和科研環境，三個指標權重分別為70%、10%和20%，2014年REF評估指標調整為科研成果、科研影響和科研環境，三大指標權重變為65%、20%和15%[2]。

兩次評估指標和權重的調整主要體現在REF體系增加了對科研影響的評估和重視。根據2014年REF報告，科研影響是指科研成果對除學術以外的經濟、社會、文化、公共政策或服務、健康、環境或生活質量等方面的影響力[2]。目前，在 “科研產出導向”的科研評價體系下，絕大多數高校評估都非常注重科研成果指標，在此情形下科研成果數量紛繁，但總量的增加并沒有對科研成果帶來質的變化，部分科研活動局限于理論層面的研究而脫離向社會實踐層面的轉化，無法反映科研成果的社會實際成效[10]。特別是步入新時代，高校科研發展面臨新環境，要充分認識到從源頭創新到產業應用的周期明顯縮短，高校科研活動應將自由探索與面向國家需求相結合，聚焦于強國建設需求以及行業和區域發展中的關鍵科學問題，以高質量的研究成果來服務于國家建設，這就要求高校科研評估要注重科研活動的 “社會價值導向”。 “社會價值導向”基本思想是:科研活動的公益性決定了科研評價應當以考量科研活動的公共價值為核心。對于社會公眾來說，科研活動所產生的社會經濟效應才是科研價值所在，科研活動應當服務于社會公共價值和社會需求[11-12]。2014年REF首次將科研影響指標納入評估范圍，正表明英國科研活動評估開始考慮研究的 “社會價值導向”，響應公眾對科研社會成效進行考量的呼聲，更加注重科研活動的社會服務功能，引導科學研究向致力于社會進步的方向發展。

1.2 評估單元：整合評估單元和專家小組

當前科學研究的一個重要特征就是突出融通性，所謂融通性就是要考慮科技創新的上下游融通和學科壁壘的跨學科融通，亟需關注交叉學科領域的原創性、顛覆性成果，為塑造未來的新產業新業態提供科學和技術基礎。為此，2014年REF的評估體系相對于2008年RAE，更加注重高校科研的協同性和跨學科研究，在評估組織方式上產生了重大的變化。REF評估小組對學科進行了重分類調整，評估單元個數由67個減少為36個，主專家小組個數由15個減少為4個。36個評估單元分別歸類于四大學科:醫學和生命類、物理工程類、社科管理類和人文藝術類，四大學科對應4個主專家組。4個主專家組包括4名專家組主席、23名國際成員和17個用戶成員，36個評估單位包括36個小組主席、1052名評估員(77%為學者，23%為用戶)和25名專家顧問[2]。

評估單元的整合和調整，大大減輕了機構的臃腫，降低了專家評審的工作量，一方面，評估學科的縮減和整合保證了各學科內評價標準的統一性，評估程序和標準更加規范和公平，同時學科的交叉融合等也激勵了高校不同學科間的協同創新，促進了跨學科研究的發展[4]；另一方面，評估小組根據不同學科的特點采用不同的科研成果評估方法。對于前三大類學科，研究成果大多為出版物、書籍、期刊論文等，可以同時采用專家評估和計量評估方法進行評價，對于人文藝術類學科，研究成果大多為藝術展覽、現場演出、產品設計等，主要采用專家評估方法[13]。不同學科研究成果類型千差萬別，評價方法顯然不能使用同一個標準，對于人文藝術類學科研究成果，單純以期刊論文的數量標準來評價肯定是不現實的，也無法體現該學科真正的研究和社會實際價值，因此，評估單元的整合為評估方法和評估程序的公平性做出了貢獻。

1.3 評估方法：專家評議為主，計量評估為輔

作為 “同行評議”的發源地，在科研評估方法的選擇上，2014年英國首次將多年來慣用的 “同行評議”方法變為 “專家評議為主，計量評估為輔”方法。2008年RAE評價體系中三類評價指標均采用同行評議法，而2014年REF的三類評價指標中，對于科研成果，由于涉及許多定量的成果指標，主要采取專家評議方法，計量評估為輔；對于科研環境和科研影響類指標，各參評單位需要提交環境模板、影響模板以及案例報告，由于環境和影響類指標的評價更多需要依靠專家的知識與經驗判斷，所以主要采取專家評議方法[2]。

之所以對評估方法進行變革，從同行評議角度來看，其固有的缺陷使其不能持續作為主要評估方法，一方面同行評議存在主觀性強、容易被操控、透明度有限等弊端，在科研經費競爭激烈的背景下，評議人員利用職權為自己謀利或者幫助他人謀取科研經費等現象屢見不鮮[14]，另一方面隨著高校學科評估數量的增加，僅采用同行評議方法會耗費評估專家大量的時間和精力，給科研評估過程增添了不少負擔，受到廣大科研人員的詬病。從計量評估的角度看，在實施REF2014評估前的方案論證階段，HEFCE分別采用基于機構地址模式、基于作者及其所有論文模式和基于作者及其高頻被引論文模式等三種文獻計量模式，對科研成果的績效進行計量匹配，然而實驗結果表明無論采用哪種文獻計量模式均無法準確地衡量科研成果的真實水平[15]。因此，2014年REF評估方法以專家評議為主，參考計量評估的結果，將兩種方法有機融合，既降低了專家評議的負擔，也有助于提高科研評估活動的精準性和透明度。

2 英國科研卓越框架 (REF)評估模式

2.1 評估組織

REF評估組織按照學科類別劃分設置，共設4個主專家組，主專家組下按照相關學科領域，設置36個評估單元(Unit of Assessment，UOA)，由36個子專家組負責具體評估，每個評估單元實際上對應一門具體學科。主專家組負責制定本組的具體評估標準和操作細則，參評高校以評估單元為基本單位提交評估資料，36個子專家組在對應主專家組的領導下對所提交的資料進行獨立評估[2]。各主專家組負責的學科領域和其管理的評估單元如表1所示。

表1 英國REF評估單元設置

2.2 評估指標和內容

REF科研評估體系中涵蓋科研成果、科研影響和科研環境三個一級評估指標，權重占比分別為65%、20%和15%，如表2所示。首先，對于科研成果指標，每位科研人員最多可提交四份標志性研究成果，部分研究成果可以考慮按雙倍權重 (即一份研究成果按兩份成果計算)進行評估，專家組主要從原創性、重要性和嚴謹性對科研產出的質量進行評估，并形成質量意見書。其次，針對科研影響指標，REF注重科研產出的廣泛應用性和商業價值，強調非學術影響，要求參評單位提交案例研究和影響模板。其中，案例研究主要通過案例來說明研究成果在1993年1月至2013年7月所產生的社會影響，專家組從范圍和重要性兩個方面進行評估，而影響模板則是要求參評單位解釋2008年1月至2013年7月該模板如何產生社會影響力以及采取何種策略來維持此影響力，評估標準是該模板中的方法在多大程度上能夠實現 “范圍和重要性”這一準則。最后，關于科研環境指標，參評單位需要提交環境模板和統計數據，環境模板包含提交單位的研究策略、對研究人員和學生的支持、研究收入、基礎設施、研究合作以及學科上更廣泛的貢獻等，統計數據包括參評單位2008—2013年每年度所獲取不同來源的研究收入和每年度授予博士學位的數量[2]。

2.3 評估等級

REF根據評估準則，將各指標評估結果分為五個等級:4*、3*、2*、1*和U/C，分別代表研究結果達到 “世界領先” “國際優秀” “國際認可” “國內認可” “未認可”的標準。在確定評估指標的評估等級時，專家組主要考量研究成果的質量，不涉及研究的性質或地理范圍，也不涉及研究領域的傳播廣度。例如，即使研究是國際焦點的前沿熱點問題，如果未能產出標志性成果，也難以達到 “世界領先” “國際優秀” “國際認可”等標準；而如果集中精力專注于某一細分領域的小問題，如英國社會的某個具體問題，只要能產出高質量的研究成果，也能贏得專家組的高度認可，獲得 “世界領先”的標準[2]。

2.4 評估方法

REF采用定性和定量相結合的辦法，即

專家評議為主、計量評估為輔。評估方法的改革迎合了國際上多個國家科研評估的趨勢，避免了傳統同行評議方法中專家主觀性過強、評估過程透明度低，將計量結果作為評估參考既降低了專家評議的工作量，提升了評估工作的效率，又保證了評估結果的客觀性[2]。

2.5 評估結果

根據REF評估方法和準則，36個評估單元(學科)的專家分別對本評估單元參評單位所提交的資料進行獨立評估，最終形成反映REF綜合評估結果的質量概況意見。評估結果包括各大學遞交評估的學術人員數量(FTE Category A Staff Submitted)以及該校在各個評估單元下的總體質量概況。質量概況意見刻畫了高校在不同評估等級4*、3*、2*、1*、U/C中的分布比例，通過將科研成果、科研影響和科研環境這三個評估指標下的3個子質量概況進行加權融合，可以得到各高校總體質量概況[2]。2014年REF評估結果已在其官網公布，從中選取劍橋大學臨床醫學評估單元的質量概況評估結果進行例示，具體見表3。

3 英國科研卓越框架 (REF)的功能與應用

3.1 REF的功能

開展REF評估的主要目標是客觀評估各高校的科研質量，基于REF評估結果，便于英國高等教育主管機構向高校選擇性地分配科研經費，同時為外部利益相關者對高校利用公共財政資金的績效問責提供事實證據，而且評估結果提供了可比較的基準信息，是確立高校聲譽標準的重要參考[2]。

在英國高校科研評估和經費撥款過程中，英國政府并不直接干預高校評估和撥款，而是由政府的代理機構——高等教育基金委員會(以下簡稱委員會)進行管理，這種去行政化的評估方式促進了高校科研評估和撥款的公正性和透明度。英國政府首先通過議會確定科研撥款額，然后由委員會通過REF科研評估，對高校進行量化撥款，委員會緩沖了政府和高校之間的關系[16]。新公共

表3 劍橋大學2014年REF評估結果(質量概況意見) 評估單元(UOA1):臨床醫學

數據來源:2014 Research Excellence Framework Results。

管理運動的興起，促進了英國高等教育機構外部問責制的建立，許多非學術類的組織和公共部門也開始參與高校的管理活動。由于高校的科研經費有很大比例來自政府撥款，因此，被問責者(英國高校)需要向外部利益相關者(贊助機構、學生和家長、工商業界、政府等)說明、解釋其對公共資源使用的效率和效果，并證明其管理水平和政策是如何實現公共資源的使用效率和效果[17]。REF評估體系的實施為英國高校外部問責的運行提供了方法和途徑，英國高校按照REF的評估內容、流程和標準向委員會提交資料，說明本校的科研成果、科研影響以及科研環境等情況。委員會一方面根據評估結果進行選擇性地撥款，另一方面向外部利益相關者公布高校科研水平和公共資金使用情況，便于公眾了解高校的科研質量。英國高等教育外部問責和科研撥款機制見圖1。

圖1 英國高等教育外部問責和科研撥款機制

3.2 基于REF評估結果的主流科研質量撥款模式

REF評估結果的重要功能之一就是為英國科研質量撥款提供決策依據。英國科研質量撥款由主流科研質量撥款(mainstream QR funding，簡稱主流QR撥款)和其他科研質量撥款構成，其中，2015—2016年度由HEFCE分配的主流QR撥款占到全部撥款的2/3以上。主流QR撥款分配的具體流程是:首先將科研經費按科研成果、科研影響和科研環境這三個指標分為三部分，根據指標權重，各指標下獲得撥款的比例為65%、20%、15%；其次，再將三指標下的經費按一定的方法分配給對應指標下的各主專家組，各主專家組再按照一定比例分給對應的評估單元；最后，以評估單元(UOA)為基礎，根據各高校在科研成果、科研影響和科研環境三個指標下的子質量概況評估結果，分別計算其在對應指標下的研究量，以此確定三個指標下各評估單元分別劃撥到各高校的實際科研經費數量[18]，基于REF評估結果的英國大學主流科研質量撥款模式如圖2所示。

主流QR撥款按照 “指標層—主專家組層—評估單元層—高校層”四個步驟進行量化經費分配，主流QR撥款分配比例的確定過程及量化計算公式。

第一步:指標層主流QR撥款分配。將主流QR撥款總額按照設定的指標權重，分配給科研成果、科研影響、科研環境等三個指標，三個指標分別占65%、20%、15%。

第二步:主專家組層的主流QR撥款分配。將各指標層的主流QR撥款在對應指標下的四個主專家組之間進行分配。在特定指標下，各主專家組分配的比例為該主專家組3*以上研究量占該指標下所有主專家組3*以上研究量的比例。其中，各星級研究量=學術人員數量(FET)×各星級下的百分比，FET以及各星級下的百分比數據來自2014年REF評估結果。特定指標下主專家組層的撥款分配比例如下：

圖2 英國主流科研質量撥款步驟

(1)

當X=A時，x=1，y=6；

當X=B時，x=7，y=15；

當X=C時，x=16，y=26；

當X=D時，x=27，y=36。

第三步:評估單元層的主流QR撥款分配。在36個評估單元 (UOA)中，主專家組A、B、C、D分別負責UOA1-UOA6、UOA7-UOA15、UOA16-UOA26及UOA27-UOA36的撥款分配(見表1)。各指標下評估單元間主流QR撥款的分配比例以該評估單元3*以上的研究量乘以成本權重為基礎進行計算，成本權重主要針對不同評估單元間科研成本的差異而設置。學科成本權重的分配標準:高成本實驗室和臨床醫學學科類為1.6；中等成本學科類為1.3；其他學科類為1。特定指標下評估單元層的撥款分配比例如下：

(2)

當UOAj∈MPA時，x=1，y=6；

當UOAj∈MPB時，x=7，y=15；

當UOAj∈MPC時，x=16，y=26；

當UOAj∈MPD時，x=27，y=36。

其中:UOAj=特定指標下第j個評估單元的撥款比例；CWj=特定指標下第j個評估單元的學科成本權重。

第四步:參評高校層面的主流QR撥款分配。各指標下參評高校在各評估單元中的主流QR撥款分配比例，以該校4*與3*的研究量乘以對應的質量權重加權為基礎計算得出，其中，4*質量權重為4，3*質量權重為1。特定指標下高校層的撥款分配比例如下：

(3)

其中:Univij=特定指標下第i個高校在第j個評估單元中的撥款比例。

參與36個評估單元學科評估的高校均為高校1～高校n，若某高校未參與該評估單元的學科評估，則該校在該評估單元的研究量視為0。

為了闡述上述量化撥款公式的具體應用，以第四步 “高校層”的撥款分配為例，選取REF2014年評估報告中臨床醫學評估單元中3所高校(劍橋大學、倫敦帝國學院、萊斯特大學)，對三所高校在科研成果指標下的步驟四撥款比例進行說明。在確定科研成果指標下評估單元的撥款經費后，各參評高校在該評估單元中獲得的經費按照該校的質量加權研究量在學科總質量加權研究量的比重來分配。首先，計算各高校的研究量，計算公式為:研究量=學術人員數量(FTE)×星級比例；其次，對三星和四星研究量進行質量權重賦權，具體公式為:質量加權研究量=四星研究量×4+三星研究量×1；最后，計算各高校質量加權研究量占總質量加權研究量的比例，根據該比例用臨床醫學評估單元層分得的撥款額對高校進行撥款[18]。

表4 英國部分高校REF評估結果(科研成果指標) 評估單元(UOA1):臨床醫學

數據來源:2014 Research Excellence Framework Results。

表5 英國部分高校質量加權研究量和撥款比例計算(科研成果指標) 評估單元(UOA1):臨床醫學

通過上述步驟，可以計算出科研成果指標下高校在臨床醫學學科中獲得的主流QR撥款額度，類似方法可以計算確定科研影響和科研環境指標下高校在臨床醫學學科中獲得的撥款額度，三者相加即可確定該高校在臨床醫學學科中獲得的主流QR撥款總數；最后，將高校所有參評學科獲得的撥款額度相加，就能得到該高校總共的主流QR撥款分配額。

4 英國科研卓越框架 (REF)對中國科研評估體系改革的啟示

英國REF科研評估框架為高校科研質量撥款提供了重要的決策依據，有力提升了英國科研水平和國際競爭力，這對新時期改革和完善中國高校科研評估體系有著重要的啟示意義。

(1)重視高校科研評估的社會影響力。英國REF2014評估體系首次將科研影響納入評價指標中，并賦以20%的權重，盡管爭議不斷，但這充分體現了英國高校科研成果評估重視社會價值導向改革的決心。不同于傳統意義上對影響的界定，科研影響指的是科研成果在學術外部產生的經濟、社會、文化、公共政策以及服務、健康、環境和生活質量等方面的影響力。高校為了能夠在REF評估中獲得更高的評價，進而爭取到更多的科研撥款，會更加注重提升科研成果的商業化轉移能力，提高科研成果的社會服務能力，增強科研成果的社會影響力。國務院2018年1月19日印發的 《關于全面加強基礎科學研究的若干意見》，要求強化科教融合、軍民融合和產學研深度融合，堅持需求牽引，促進基礎研究、應用研究與產業化對接融通，推動不同行業和領域創新要素有效對接。這表明從國家戰略高度出發，強調科學研究尤其是高校科研活動應當支撐、引領、服務于經濟社會發展，而不是坐而論道。英國REF框架體系中融入科研影響的評估制度和方法設置，對中國當前完善科研評價激勵制度，引導高校科研活動與社會發展相結合，促使科研成果向現實生產力轉化有重要的啟示意義。

(2)基于學科的科研質量撥款方式。在英國的經常性科研撥款中，占撥款比重最大的主流科研質量撥款是根據REF評估結果基于學科進行公式化計算撥款，同一高校內不同學科間科研評估結果不同，則對應的撥款額度不同，這有利于針對學科實施精準撥款，提高學科競爭水平。之前中國高校科研經費主要通過各種 “計劃”(如973計劃、863計劃)、 “工程”(如985工程、211工程)和 “項目”(如面上項目、重大項目)等途徑獲得，高校財政撥款基于高校為單位，基本上是一攬子撥付給各高校，再由高校自行分配給學院，這種撥款方式無法公正透明地體現高校內各學科間的優勢和差異[19]。2015年10月24日，國務院印發 《統籌推進世界一流大學和一流學科建設總體方案》的通知，指出一流高校的根基在于擁有一大批一流學科，資金分配更多考慮辦學質量特別是學科水平、辦學特色等因素，在績效評估和撥款機制上應鼓勵和支持優勢學科。英國基于學科的科研評估和撥款方式，為新時期中國 “雙一流”建設過程中，建立完善的學科評估體系和基于學科的撥款模式提供了很好的經驗借鑒。

(3)以科研質量為核心的撥款額分配準則。英國基于學科的撥款分配方式并不是平均主義，以主流科研質量撥款為例，學科評估中獲得3*及以上等級的高校才能獲得撥款額，同時，對4*設置撥款權重為4，對3*設置撥款權重為1。這充分說明，只有高質量標志性的科研成果才能獲得更多的撥款額，量大而不精的科研成果幾乎得不到財政支持。這種撥款分配制度鼓勵了英國高校盡力產出卓越性的科研成果，有力提升了整體科研成果質量。因此，為了實現十九大報告中所提出的加快建設創新型國家的戰略目標，在高校科研評估改革方面，我們應建立健全基于科研成果質量的撥款模式，效仿借鑒英國提高卓越性成果撥款權重，著力構建以創新質量和學術貢獻為核心的評價機制，驅動高校產出一批世界一流的科研成果。