英國高等教育科研卓越評估體系

管海燕

摘 要：自20世紀80年代以來，英國通過周期性的科研評估活動（RAE）調整對高等教育領域的經費投入。而最新一輪以“科研卓越”為導向的科研評估體系（REF）將對RAE評估制度中評估成本過高及評估效率低等問題，在公正、平等和透明三大原則的指導下，通過整合評估單元、優化評估機制與方法等措施進行改革。REF以科研質量為中心的評估理念及在廣泛征求意見和試點實驗基礎上的科學決策機制對我國完善以創新和質量為導向的科研評價機制具有借鑒意義。

關鍵詞：英國；高等教育； 科研卓越評估體系； REF

20世紀80年代，在全球經濟普遍衰退的形勢下，英國政府部門一方面實行財政緊縮政策，嚴格控制公共財政支出，另一方面將市場機制和管理主義的思想引入政府公共部門的改革中，以減少資源的浪費，提高經費的使用效率。因此，運用市場規則的績效評價方式開始成為英國政府公共部門包括高等教育在內的重要管理模式之一。

1986年，在高等教育嚴重經費縮減而學生人數不斷攀升的情況下，英國教育部門首次進行高等教育領域內的科研質量評估（Research Assessment Exercise，RAE），并將評估結果作為撥款機構科研撥款的重要依據。英國政府部門希望通過實施周期性的科研評估，鼓勵高校積極提高科研質量，改善科研管理機制，從而提高科研經費的使用效率，維護國家研究性大學的國際競爭力。因此，在1989年、1992年、1996年、2001年和2008年先后開展了5輪RAE科研評估活動。雖然每次評估活動都對評估方法和標準進行修改，但科研評估成本負擔過重及評估效率低等問題仍難以解決。而新一輪的以“科研卓越”為取向的2014科研評估活動（Research Excellence Framework，REF）將對以往的評估方法和理念做出重大調整，以提高科研評估活動的效率。

一、確立過程

REF科研卓越評估體系采用專家評議的方式，以有效評估英國高校所有學科的科研質量為主要目的，將取代2008年的科研評估框架（RAE），成為衡量高校科研水平的重要方法[1]。經過多次咨詢討論會議和試點實驗，英國高等教育科研卓越評估體系的主要指標和評估機制基本確立，各高校于2013年1月至11月按照相應標準提交評估材料，而評估結果及相關信息將在2014年12月及2015年春季陸續公布，此次評估結果將作為2015-2016學年英國高等教育撥款機構進行科研撥款的主要標準。[2]

2006年6月，針對RAE科研評估中的評估效率及評估體制等問題，英國教育與技能部就改革RAE科研評估召開咨詢討論會。2007年3月，英格蘭高等教育基金委員會（HEFCE）提出初步改革方案《未來科研評估與撥款的框架》（Future framework for research assessment and funding）[3]。 11月，英格蘭高等教育基金委員會在方案中提出所有學科將采用統一的定量評價方式代替以往將理科和其他學科分開評價的模式，并將進行“文獻計量指標”（bibliometric quality indicators）的試點實驗[4]。22所高校共35個評估單元（Units of Assessment）參與試點實驗，實驗中將組織評審專家對各高校在2001年至2006年期間發表在科學網（Web of Science）和斯高帕斯數據庫（Scopus）上的各類文獻的引用量進行標準化的定量分析，以確定REF評估體系中文獻計量指標的具體操作模型[5]。根據各高校科研成果總數和不同類型科研成果的百分比，實驗得出表1中的統計結果[6]。但是這一結果并不能完全反映試點高校的科研質量[7]。因此，在2009年9月，英國高等教育基金委員會組織的第二輪咨詢會議的報告指出，文獻引用計量指標尚不完善，無法作為單獨的指標用在計算公式中，但在為專家評議提供信息服務方面仍有重要作用[8]。因此，REF2104科研評估將采用以專家評議為主，文獻計量分析為輔的評估模型。

英國高等教育基金委員會將科研產出（outputs）、科研影響（impacts）、科研環境（environment）作為REF科研評估中三個獨立的指標。2010年，REF評估團隊就科研影響這一指標的計量方法和權重系數等問題進行試點實驗。在2011年發布的《關于科研卓越框架設計的初步決定》（Initial Decisions on the Design of the REF）和《關于評價科研影響的決定》（Decisions on Assessing Research Impact）中指出對科研影響的評估將采用專家評審高校提交的案例研究的方式進行，而科研產出、科研影響和科研環境的權重系數分別為65%、20%、15%[9]。雖然目前評估結果尚未完全發布，但是REF科研評估活動中的評估指標及計算模型等問題都值得關注與思考。

二、主要內容

REF2014科研評估活動由英格蘭高等教育基金委員會（HEFCE）、蘇格蘭撥款委員會（SFC）、威爾士高等教育基金委員會（HEFCW）和北愛爾蘭教育與就業技能部（DEL）四個機構組成的REF評估團隊負責實施，REF指導小組負責監督[10]。REF科研評估活動遵循公正、平等和透明三大原則，并在RAE科研評估活動的基礎上進一步優化和發展[11]。RAE科研評估活動中出現的評估成本過高等問題，在REF2014科研評估活動中將通過整合評估單元、優化評估指標等方式進行改革。

（一）整合評估單元

REF2014科研評估將2008RAE科研評估活動中的評估單元（UOA）和子學科小組（sub-panel）由67個減少為36個，學科大組（main panel）由15個減少為4個[12]。高校將按照36個子學科小組的分類選擇提交評估材料，由每個子學科小組的專家在A、B、C、D四個學科大組的指導下進行評審[13]。其中：A組主要包括醫學、農學和食品科學；B組主要為理學和工程學科；C組主要為社會科學學科；D組為人文、藝術、傳播和宗教相關學科[14]。在四個學科大組下又設置36個評估單元。表2所示為REF2014科研評估活動中的學科分類[15]。與2008RAE科研評估相比，REF2014科研評估中各高校提交的科研成果總數有所減少，各個學科大組下的科研成果數量也有所下降（具體數據參見表3）。[16][17]

（二）優化評估指標及方法

在評估方法上，REF科研評估由子學科組采用專家評審的方式對高校提交的材料進行評價，并向相應的學科大組提供被評價高校的質量等級的意見。與之前RAE科研評估活動的不同之處在于，REF科研評估不再將“聲譽指標”（Esteem Indicators）作為一項單獨的評估標準[18]。在2010年的試點實驗中，英國高等教育基金委員會引入“科研影響”（impact）這一指標，并和科研產出（outputs）、科研環境（environment）共同構成REF科研評估的三大指標[19]。與之前的“聲譽指標”相比，“科研影響”占評估結果的比重有所上升，由10%上升至20%，而科研產出和科研環境分別由70%和20%下降至65%和15%。在對“科研影響”的評估中，主要是對各高校在2008年1月至2013年6月期間的科研成果在經濟、社會、文化、公共政策或服務、衛生、環境及生活質量等方面產生的效果進行評價[20]。各高校需提交其科研成果影響的案例研究（case study），而后由REF評估團隊采用專家評審的方式從“范圍（reach）”和“意義（significance）”兩個維度對其進行等級評定[21]。其中“范圍”是指科研活動產生影響和作用的擴展幅度；“意義”是指科研活動影響或作用的強弱程度[22]。表4所示為各等級的具體標準及含義。[23]

“科研產出”是REF2014科研評估活動中最重要的部分，直接影響高校的科研評估結果[24]。“科研產出”的評價主要根據國際科研質量標準從科研成果的原創性（originality）、重要性（significance）和嚴謹性（rigour）三個維度進行。為減輕評估專家的負擔，REF2014科研評估中每位教師將至多提交三項2008-2013年期間的科研成果[25]。REF2014科研評估活動中，對“科研環境”的評價主要從科研的“活力”（vitality）和科研的“可持續性”（sustainability）兩方面進行。其中，“活力”主要考查的是參評高校提交的科研成果為科研活動提供激勵性和促進性的環境的程度，以及參評高校是否制定有效的戰略規劃，是否參與到國內和國際科研共同體，能否通過其國際聲譽吸引優秀的研究生和博士生，是否有充足的科研經費支持等；“可持續性”主要考查的是參評科研項目未來連貫的發展愿景，以及對科研人員和科研基礎設施的投入等。具體而言，評價的內容包括：總體情況、科研戰略、科研人員（其中包括人事政策、教師發展、研究生培養等）、科研收入與基礎設施，以及對科研合作提供的支持和對更大范圍科研基地的貢獻等[26]。子學科小組成員根據專業評審對各高校的科研成果從科研產出、科研影響和科研環境三個維度進行評價，得出每個指標的評價結果（sub-profile），最后依據相應的權重對各高校的科研成果做出最后的等級評定（overall excellence profile）[27]。表5所示為科研成果整體質量各等級的具體內容和標準。[28]

（三）確定評估人員及職責

REF2014科研評估是專家評審的過程。雖然專家在評審過程中會運用各種量化指標以做出專業判斷，但是同行專家評議仍然最為重要[29]。因此，在2010年，通過自愿申請和提名的方式，英國高等教育撥款機構根據評估單元的劃分和選拔標準組成4個學科大組和36個子學科組，每個子學科組在學科大組的指導下對各高校的科研成果進行評估[30]。具體來說，學科大組的主要職責是制定各學科的評估標準和具體方法，指導各子學科組進行評估。子學科組的主要職責是根據學科大組的評估標準和具體方法實施評估，并根據實際情況向學科大組提出關于制定評估標準和具體方法的建議。[31]

從評估小組的人員組成來看，每個學科大組由組長、各子學科組組長，以及具有國際評估經驗的專家和科研成果使用方的代表組成；子學科組由組長及10～30名成員（具體人數根據所在學科組的規模和范圍來決定）組成[32]。 此外，英國高等教育撥款機構還任命了相當數量的評估員（assessor）協助子學科組得出各指標的評估結果。從評估人員的選聘標準來看，各子學科的專家評審人員必須具備相關學科的專業技能和知識。考慮到各高校研究類型的多樣性，英國高等教育撥款機構在選聘人員時會綜合考慮其年齡、性別、種族、家庭背景等因素以保證評審人員的多樣性[33]。同時，為保證評估結果的公平性和有效性，子學科小組和評估員的任命都將以個人經驗和專業知識為依據，而與其所代表的任何團體無關。[34]

（四）明確評估程序與要求

與之前的RAE科研評估活動相比，REF2014科研評估標準化程度提高，采用統一標準和方法對所有評估單元進行評價[35]。各高校可任意選擇所要參與的評估單元，但每個參評高校必須按照要求提交相關材料和數據，主要包括科研人員信息、科研成果信息、科研影響及科研環境四個方面[36]。表6所示為參評學科所需提供信息的具體內容。[37]

通常情況下，各高校每項科研成果只需按其所在評估單元提交一次材料，但若由于學科之間的交叉屬性，在高校做出具體說明的情況下，可對同一科研成果進行多次評估[38]。對于兩個或兩個以上高校合作完成的科研成果，REF科研評估中將分別對各高校進行評價。在合作項目中起主導作用的高校需以所有參與高校的名義提交科研影響和科研環境的相關材料，而其他參與高校只需提交關于科研人員信息和科研成果信息的材料[39]。REF2014科研評估對跨學科研究和合作研究的關注是評估結果的公正性的體現。截至2013年11月29日，共有155所高校參與REF2014科研評估并提交材料。[40]

三、啟示與思考

英國高等教育科研評估將評估結果與高等教育撥款機構的科研撥款直接掛鉤。雖然目前REF2014科研評估活動的結果及相關信息尚未完全公布，新的科研撥款方案尚未出臺，對高校科研質量的影響也尚不明確，但其以科研質量為核心，重視提高科研經費使用效率，提升高校科研國際競爭力等特點值得關注與借鑒。

（一）在廣泛征求各方意見及試點實驗基礎上的科學決策機制

REF科研評估體系在此前的RAE評估體系基礎之上發展而來。自2006年第一輪咨詢討論會起到2013年各高校科研評估材料的提交完成，長達7年的時間。英國教育部門及高等教育撥款機構組織多次咨詢討論會議，鼓勵高校、用人單位、評估專家積極參與，并在高校試點實驗的基礎之上，提出科研評估活動的主要指標及其計算方法。在召開咨詢討論會廣泛征求意見的基礎之上，英國高等教育撥款機構通過認定的1950個各類學術協會組織和科研利益相關組織的提名機構選拔和任用具有相關學科領域專業知識和評估經驗的專家評審組和評估員[41]。從評估機構的性質來看，權威的半官方中介評估機構（如HEFCE）有助于實現大學評估從政府集權模式向指導模式轉變。REF科研評估制度中“自下而上”的改革方式是其公正、平等、透明原則的體現。盡管目前REF科研評估制度的實際社會影響難以判斷，但其在改革過程中通過在廣泛征求各方意見的基礎之上確定改革方案的決策機制給我國高等教育的科研評估工作帶來啟示與思考。

（二）以科研質量為核心的科研評估制度

與RAE科研評估制度相比，REF科研評估活動更加重視科研成果的質量。對科研成果的“科研影響”評估中，更加強調科研成果對社會經濟、文化、公共服務等各方面的實際影響。英國通過以科研質量為核心的績效撥款制度調整科研經費在各學科領域的分配，將有限的科研經費投入到科研質量達到國際先進水平的學科中，這正是英國以追求卓越為導向的國家教育政策的體現。在我國加快建設世界一流大學和一流學科的背景下，英國REF科研評估活動中的競爭性績效評估制度對我國完善以創新和質量為導向的科研評價機制具有借鑒意義。

參考文獻：

[1][8]REF2014. The Research Excellence Frame-work： A Brief Guide to the Proposals[R]. Bristol： REF. 2009. 1.3.

[2]REF2014.Timetable[EB/OL].http：//www.ref.ac.uk/timetable/， 2014-02-12.

[3]REF2014.Background[EB/OL]. http：//www.ref.ac.uk/background/， 2012-04-20.

[4]HEFCE.Publications[EB/OL]. http：//webarchive.nationalarchives.gov.uk/20100202100434/http：//hefce.ac.uk/pubs/hefce/2007/07_34/， 2010-03-03.

[5][7] REF2014. Report on the Pilot Exercise to Develop Bibliometric Indicators for the Research Excellence Framework [R]. Bristol： REF. 2009. 2.12.

[6]HEFCE. Publications &Reports [EB/OL]. http：//www.hefce.ac.uk/media/hefce1/pubs/hefce/209/0939/09_39.pdf/， 2012-01-18.

[9][19][20][21][27]REF2014.Decisions on Assessing Research Impact [R]. Bristol： REF.2011. 2. 5. 7. 8.8.

[10][11][12][18][29][36][38][39]REF2014. Assessment Framework and Guidance on Submissions[R].Bristol：REF.2011.4.5.10.10.11.11.12.

[13]REF2014.Expert Panels[EB/OL].http：//www.ref.ac.uk/panels/， 2012-12-12.

[14]REF2014.Expert Panels[EB/OL].http：//www.ref.ac.uk/panels/unitsofassessment/， 2012-04-20.

[16]REF2014.Submissions[EB/OL].http：//www.ref.ac.uk/subguide/， 2014-02-13.

[15][17]REF2014. Unit of Assessment[EB/OL]. http：//www.ref.ac.uk/panels/unit sofassessment/， 2014-04-02.

[22][24][25][35]REF2014.The Research Excellence Framework： A Brief Guide to the Proposals [R]. Bristol： REF.2009. 3.3.3.2.

[23]REF2014.Submissions[EB/OL]. http：//www.ref.ac.uk/subguide/， 2014-02-13.

[26][30][31]REF2014.Panel Criteria and Working Methods [R]. Bristol： REF. 2012. 35-37.4.4

[28]REF2014. Assessment Criteria and Level Definitions[EB/OL].http：//www.ref.ac.uk/panels/assessmentcriteriaandleveldefinitions/， 2014-04-02.

[32][33][34][41]REF2014.Unitsof Assessment and Recruitment of Expert Panels [R]. Bristol： REF. 2010-04-07.

[35]REF2014.Submissions[EB/OL].http：//www.ref.ac.uk/background/， 2012-02-13.

[37]REF2014. Assessment Criteria and Level Definitions[EB/OL].http：//www.ref.ac.uk/panels/assessmentcriteriaandleveldefinitions/，2014-04-23.

[40]REF2014.Research Excellence Framework 2014： The Result[R]. Bristol： REF.2014.3.

實習編輯 呂伊雯 責任編輯 郭偉