英國高?？蒲性u價體系的演變：從RAE到REF

許甜

摘 要：英國是世界上高等教育質量保障體系建立較早和較為完善的國家之一，對科研質量、科研人員、科研成果評估評價的實踐開展較早，已形成了比較強有力的國家控制對大學科研產出的評價體系—研究卓越框架（REF），以此為“指揮棒”影響著各大學、研究機構的科研活動、人事評價及配備活動。本文概覽了英國國家層面開展的系統科研評價行為的簡要歷史，關注了其最新發展動態，并總結了其發展趨勢和對英國高校的影響。

關鍵詞：大學基金委員會;科研評估活動;研究卓越框架

迄今為止，英國高等教育機構的科研活動一共經受過七次系統評估，前兩次由大學基金委員會（Universities Grants Committee）實施，從1992年開始由其替代者—四個英國高等教育撥款機構（英格蘭高等教育撥款委員會（HEFCE）、威爾士高等教育撥款委員會、蘇格蘭高等教育撥款委員會、北愛爾蘭就業與學習部）分別在四個地區負責實施。前兩次評估項目相對“良性”一點，科研撥款幾乎不受影響。從1992年的第三次評估開始，即英國的職業技術學院（Polytechnics）變為“新”大學開始，科研評估才真正開始“動真格了”。評估結果使得研究資金的分配產生了重大差別，科研評估從此成為學術界以及教育界關心的重要問題。

英國高校科研評價體系的演變歷史

1. 1986年以前：無評估狀態

英國大學的科研評估有很長的歷史，至少開始于1965年，大學基金委員會（UGC）一直試圖以一種“低干涉”的柔性方式來管理科研。但英國學界普遍認為1986年以前，英國大學實際上并沒有真正的科研評估活動。[1]當時，所有英國大學都從UGC接受整體撥款配額（Block Grant Formula），科研資金就包含在內。整體撥款額由大學的學生數決定，因此科研資金“與科研的體積或質量沒有關系”。[2]大學越大，其整體資金額度就越大，這與其科研質量無關。

這種模式到了20世紀80年代發生了變化，在經濟形勢緊張的情況下，公共部門整體上都面臨很大的資金問責壓力，UGC也不能幸免。在撒切爾政府確保公共開支最好價值的政策下，UGC選擇了順從政府，開展科研評估嘗試—英國科研評估體系（Research Assessment Exercise，RAE），即一種周期性、國家性的由評估單元（Units of Acsessment，UoAs）來組織的同行評議，很大程度上與學科或科目領域相關，主要由英國學界成員、小部分非英國的學術咨詢委員及一些科研“使用者”代表組成的同行評議專家團來進行評估。其結果是同行評議后的質量等級（Quality Ratings），用來計算分配給大學的科研整體撥款額。撥款委員會給大學的科研資金中超過90%是由RAE結果決定的。[3]

2. 1986年：第一次科研評估實踐

1986年，RAE首次開展，最初由UGC實施，叫做科研選擇活動（Research Selectivity Exercise，RSE）?！癛AE的首要功能是提醒科研基金分配實體和政府政策，這些資源應該按照科研質量來分配。此活動也在為公眾提供信息、為高等教育科研活動的公共開銷進行質量監控上發揮重要功能。”[4]然而，當時它在為部門分配更多科研資金上，似乎只是一個交換條件、一項非常柔性的活動，實際上只是使大學通過科研表現指標（發表量）“解釋它收到的公共資金的使用方向”。

隨后UGC被大學撥款委員會（Universities Funding Council， UFC）取代。在UFC開展了1989年的科研評估活動之后，評估責任由四個英國高等教育撥款實體分擔。

一些英國學者認為1986年的活動是一次以具體表現指標（PI）來取代泛化指標的嘗試。[5]而科研撥款的分配參考RSE結果，所以高等教育機構發現RSE決定著而非簡單測量大學科研的運行，但這個過程很不清晰。

1986年，RSE未與高等教育部門進行任何諮商，僅僅要求完成一份問卷，問卷里只要求每個院系或投入中心舉出五個研究產出的例子。盡管RSE要求提交一些大學層面的數據，但重點似乎遠離“大學”，而是聚焦在大學的“院系或投入中心”。數據樣本過小使得根本沒有人意識到或抱怨評估覆蓋面不夠。大學提交的數據由UGC的學科小組來評估，并以一系列量表、標準來排名。

3. 1989年：第二次科研評估實踐

1989年，對UFC發起的活動進行了廣泛的咨詢，并作出了一系列重大改變。50個投入中心被152個評估單元取代，并引入了五點計分法，要求大學學術成員提交其在1984年1月—1988年12月期間最優秀的兩個成果（出版物），并輔以研究生的信息和科研收入的信息;之前UGC的學科委員會被70個同行評議專家組取代。

UFC對此次活動的評估結果是“出版物數據很不可靠，且可靠的數據也說明不了任何產出的質量”[6]。評估單元（多數時候完全等同于學科、院系）至今仍被采用，學校高管不得不在學校總體情況之外判斷其每個單元的表現。因此，英國的科研評估一直持續在凸顯某些單個學科領域的優秀表現或不良表現。

4. 1992年：第三次科研評估實踐

1992年英國出臺《繼續及高等教育法案》，按照此法，職業技術學院升級為“新”大學，RAE1992評估就發生在此背景下。與1992年前的“舊”大學同時接受科研與教學撥款不同，“新”大學的撥款幾乎全部投入在教學上，因此所有員工的研究預設相應改變了，“科研活躍”的概念由此引入，即72個評估單元的每個科研活躍員工都要提交兩個出版物及產出信息。專家團使用5分制來打分，1代表很少或沒有科研“卓越”，5代表最卓越。

預料之中，“舊”大學獲得了大部分的科研撥款（91%），評分低的大多來自“新”大學。教育出版界使用RAE數據的一部分制作了排行榜并發布，引起巨大反響，從此排行榜成為另一項大學必須適應的事物。

HEFCE隨后回顧了RAE1992評估對高等教育機構的影響及存在的問題[7]，最主要的擔憂是它扭曲了專業相關的學科（教育、商業管理、經濟），以及更重視理論工作而不關注實踐研究;它也擔心由于選擇性的科研撥款，1992年前的“舊”大學中可能會出現科研與教學活動的分離。

5. 1996年：第四次科研評估實踐

1996年，RAE也進行了咨詢和調整，“研究活躍”員工必須經過認定，需提供四個產出以及“同行聲望”指標。先前的5分等級量表擴展到了7分等級（1，2，3b，3a，4，5，5*），等級1和2得不到撥款，撥款額度分配也不是線性的。這意味著RAE的高選擇性在不斷加強，而隨著越來越多的“新”大學加入到了科研撥款的“大餅”中，HEFCE也警告“除非政府額外加大投入，否則科研撥款必須更具選擇性”。[8]此次評估有69個評估單元，1992年后的“新”大學提交的案例數量首次超出了1992年前的“舊”大學。所有1992年前的“舊”大學的院系以及58個“新”大學中的21個（打分在3以上）收到了撥款。

1996年的評估結果顯示：英國高等教育部門的科研文化在逐步加強。但對于教育研究的質量有很大爭論，特別是在教育研究與學校和教育產出提高的關系上。HEFCE也對1996年RAE評估數據進行了系統的后續分析[9]，以輔助高等教育撥款委員會規劃科研戰略方案。

6. 2001年：第五次科研評估實踐

RAE2001與RAF1996的評估方式大致相同，但有一些重大改變，特別是在科研撥款上。原計劃仍采用7分等級計分，最低的三個等級得不到撥款（1，2，3b），但最終HEFCE的首席長官Howard Newby宣布：3a等級（定義為“全國優秀” “展示了國際卓越的證據”）將得不到撥款，導致大學爆發憤怒。之后創造出一個6*等級，它與1996年的5*等級達到的科研等級相同，但同時報告的員工數更少。7個“新興學科領域”（Emerging Subject Areas），如戲劇、表演藝術，以及那些獲得了3a及以下等級的機構可以競爭“科研能力撥款”（Research Capability Funding）。[10]此次評估涉及大概173個高等教育機構，提交了2，598個評估案例，50，000名研究者。[11]1992年—2001年RAE評估結果的發展趨勢，如表1所示。

表1 1992年- 2001年RAE評估結果趨勢

打分等級 1 2 3b 3a 4 5/5* 總體

RAE1992（1級不受資助） 11 23 25 15 2 86

RAE1996（1、2級不受資助） 13 24 20 17 17 13 104

RAE2001（1、2、3b、3a不受資助） 1 8 22 19 19 14 83

此次評估中，英國最老的教育學院—利物浦大學教育學院獲得了3b的評分等級，被標記為“關?！保驗镽AE判斷它的科研基礎太弱。從此，RAE被視為一項對評估單元（即大學院系）進行管理的工具，那些科研表現很差的機構被認為有被關閉的合法性，不管它對大學其他使命（如教學）的貢獻有多大。

RAE2001要求每個機構的每個評估單元展示7套數據，核心是要求在規定時間內每個成員（或員工）生產的四項科研產出的表現，包括所有學術員工及支持員工（“科研活躍”員工）數、研究學生數、外部科研資金數、獎學金數、科研環境及“額外信息”包括聲望指標及科研影響力證據。

將哪些員工歸類為“科研活躍”是機構需要作出的重要決定，這需要根據員工科研產出的質量來判斷。有時候提交的員工群組可能本身并不在一個團隊進行科研工作，但分配到相關學科領域中能夠最大限度地提高評估分數。在2001年的評估中，大學在材料措辭方面花費了巨大精力。

RAE2001結果顯示：98%撥款委員會的科研預算以整體資金額被分配到大學中。計算方式依據產出容積（人頭數）、學科量額（區分不同類型的科研成本）及科研打分等級因素，這個框架平等應用在所有大學中。RAE結果在撥款中的權重，隨打分等級的提高權重在增加。

RAE2001之后，政府出臺了一份文件，堅稱撥款沒有充分地將資金集中在表現最優者上，因而給予在1996及2001評估中都獲得5*的院系6*等級，并撥給額外的資金，而這一舉動也招來很多批評。

另外，在1996年后大學的普遍驅動力是盡可能獲得更高的科研等級打分，而非囊括盡可能多的學術領域，因為這個框架賦予科研等級（相比容積）更高的重要性，將“較弱”的員工囊括進來拉低等級可能帶來嚴重后果。此次評估后，4等級的科研相比5*等級獲得的撥款大幅減少，后者是前者的2.5倍還多。

7. 2008年：第六次科研評估實踐[12]

2007年前后，英國政府可能不滿于無法插手“學術評價學術”的系統，在RAE評估案例提交前不到18個月時，當時的財政部長宣布以一項基于計量的新系統來取代RAE2008。已經為RAE2008作了大量準備的高等教育機構對此強烈反對，最終提議被部分撤銷，僅在科學、技術、工程、數學（STEM）學科領域進行計量的評估實踐。但撥款分配的原則是“資助最高質量的研究”“保護科學學科的地位”[13]，因此等級標準有所提高。

RAE2008進一步發展了RAE2001的評估方法，專家團囊括了國際成員，意在“為質量表現帶來國際化的視角”。核心不同是質量表現不再由單一要素決定，而包含了三個要素：科研產出、科研環境、聲望指標，都以5分等級（未標記、1*、2*、3*、4*）來打分。三要素的權重不同，科研產出可能在50%～70%之間，科研環境大概在5%～20%之間，此次評估產生了新一輪的排行榜。

8. 2014年：第七次科研評估實踐[14]

2014年， 英國高等教育機構的科研質量評估由RAE變為一個全新的體系—研究卓越框架（Research Excellence Framework， REF），由英格蘭、蘇格蘭、威爾士高等教育撥款委員會及北愛爾蘭就業與學習部主導，由代表四個撥款實體的REF小組及監管團隊管理，REF2014相比RAE2008最大的變化是引入了“科研影響力”的評價?！翱蒲杏绊懥Α备拍钪饕笇ν獠可鐣膹V泛功能，排除對高等教育部門內的科研、學術知識的進步的影響力（這種影響力放在“產出”或“環境”來評估）;排除對學生、教學或其他局限在提交案例高校內的活動影響力;如果是對提交案例高校之外的學生、教學的影響，則包括在內。

REF2014評估大學研究的外部功能及影響的嘗試在英國學界引起了巨大爭議。2009年針對REF開展的公眾咨詢的數據顯示，圍繞“影響力”指標至少有三大爭議：一是其對同行評估專家團的界定，威脅學術自治;二是影響力話語的建構會削弱科學的“邊界”特征;三是對影響力建立在科研之上的預設限制了知識的轉譯。英國大學聯合會（University and College Union）甚至發起了一項稱為“站出來力挺科研”（Stand Up for Research）的請愿活動，反對將影響力因素引入REF，認為科學與其社會或經濟應用之間存在清晰界限，應該“抵制粗糙的應用概念”。[15]但也有研究者認為REF實際上可以幫助大學反思日常行為，加強而不是限制學術自主權，同時提高研究的效率與水平。[16]

科研評價體系發展對英國高校的影響

經過多年的發展，RAE/REF成為了英國大學不得不面對的、控制力極強的外部力量，大學投入巨大的資源來發展應對與管理它的策略，并投入學術及行政人員的大量時間精力來服務評估專家團。RAE的形式與演變反映出圍繞大學產生的各種張力，不僅有政治和政策的，也有針對科研本質的—大學科研應是傳統的、學科的、自治的，還是應用的、受操縱的、多學科的?？傮w上看，從1986年以后，英國高?？蒲性u估的實施一直是由高等教育撥款委員會進行，因此與撥款數額緊密相關;評估的單元一直以學科領域為基本單位，不同學科領域的評分權重、評分方式都有一定的差別;隨著七次評估活動的演變，科研評估越來越具有選擇性，相應的評估活動越來越透明化、綜合化、系統化。整個過程中咨詢的作用非常大，每次咨詢既是一次從錯誤中學習的過程，也是確保評估重新具有更大合法性的過程。評估的設計及運行也逐漸從單純回應政府壓力變為更有效地抵制來自政府的壓力。

此外，國家科研評估RAE/REF活動對各高校的影響力也越來越大，英國并沒有在國家層面對高校教職員工直接評估與干預，特別是針對高校教師個體的具體活動，如教學或科研等直接評估。但在撥款委員會牽頭的RAE/REF中，由于評估對象是某一學科中高校學術成員的直接成果，故對高校教師的工作有很大要求，間接促進了高校以它為參照，調整其教師員工隊伍。

1.促進高校內部員工分化，加強大學管理主義行為

從1996年起，RAE開始引入“科研活躍”概念，允許高校選擇被評估的學術成員，將其標記為“科研活躍員工”，并只將此部分員工提交RAE評估;活躍的研究者需要提交特定數量的科研產出（2001年和2008年要求四項），缺乏科研產出或未達到相應質量標準的員工則不被評估。

RAE對大學及其院系帶來的最重要后果是對科研管理主義的、組織層面的更強關注。不少高校在院系中“廣泛引入了量化工作規劃模型，在員工間選擇性分配科研時間”。對科研產出的監控在不斷傳播，研究者提供指導的科研政策廣受歡迎。另外，大學還發展出操控游戲的策略，以使自己在評估中的表現最大化，禁止能力不足的科研者提交產出，選擇更易被接受的評估子小組。因此，RAE使得大學從聯合治理轉向了管理主義和更加等級化的內部組織結構。

對于大學的學術員工而言，他們的職業生涯和發展全部指向滿足評估的需求：“有科研聲望野心的大學任命學者時，就預期他們在REF中將作出貢獻”。[17]最具生產力的研究者被獵頭看中，甚至提供財政刺激;而生產力低的研究者則被鼓勵提前退休。

2.影響學術工作者個體的職業期許與發展

在個體層面，RAE/REF標準與職業發展的關系對個體的專業認同有重要影響。RAE/REF 鼓勵更具策略性對個體生涯的評估，調整研究者的發表行為，因此高度限制了研究者的自主性。

RAE/REF是焦慮和不確定性的主要來源。被證實排除在活躍研究者群體之外的學者們不得不認可學校賦予自己的“半公眾狀態”，增加教學量與行政職務，以減少活躍研究者的工作負擔。“科研活躍”者也面臨同樣嚴峻的要求，周期性地重復滿足達到高質量研究產出的期待。

參考文獻：

[1]Peter Gilroy ， Olwen McNamara. A critical history of research assessment in the United Kingdom and its post-1992 impact on education[J]. Journal of Education for Teaching： International research and pedagogy， 35（4）： 321-335.

[2]Newall D. Scottish higher education policy and funding[J]. Scottish education. 2nd ed. T. G. K. Bryce， W. M. Humes， 2003：141-150.

[3]Katharine Barker. The UK Research Assessment Exercise： the evolution of a national research evaluation system[J]. Research Evaluation， 2007，16（1）：3-12.

[4]HEFCE（2004）. Initial decision by the UK funding bodies. Bristol， UK： HEFCE. [EB/OL]http：//www.rae.ac.uk/pubs/2004/01/rae0401.pdf.

[5]Bence， V. & C. Oppenheim. The evolution of the UKs research assessment exercise： Publications， performance and perceptions[J]. Journal of Educational Administration and History， 2005，37（2）： 137-155.

[6]Peter Gilroy & Olwen McNamara. A critical history of research assessment in the United Kingdom and its post-1992 impact on education[J]. Journal of Education for Teaching： International research and pedagogy， 2009，35（4）： 321-335.

[7]HEFCE（1997）， The impact of the 1992 Research Assessment Exercise on higher education institutions in England. [EB/OL]http：//www.hefce.ac.uk/pubs/hefce/1997/m6_97.htm.

[8]HEFCE（2000）， Review of research. Report 00/37. Bristol， UK： HEFCE. [EB/OL]http：//www.hefce.ac.uk/pubs/hefce/2000/00_37.htm.

[9]Kerr， D.， A. Lines， A. MacDonald， & L. Andrews （1998）， Mapping education research in England： An analysis of the 1996 Research Assessment Exercise. Bristol， UK： HEFCE. [EB/OL]http：//www.hefce.ac.uk/pubs/hefce/1998/98_25.htm.

[10]HEFCE（2003b）， Circular letter 10/2003. Bristol， UK： HEFCE. [EB/OL]http：//www.hefce.ac.uk/pubs/circlets/2003/c110_03.htm.

[11]HEFCE（2008）， About us. HEFCE. [EB/OL]http：//www.rae.ac.uk/aboutus/history.asp.

[12]The results of RAE 2008. [EB/OL]http：//results.ref.ac.uk/DownloadResults.

[13]HEFCE（2009）， Recurrent grants for 2009-10. Bristol， UK： HEFCE. [EB/OL][2009-09-08]http：//www.hefce.ac.uk/pubs/hefce/2009/09_08/.

[14] The results of REF 2014. [EB/OL]http：//results.ref.ac.uk/DownloadResults.

[15] Stand Up for Research of University and College Union. [EB/OL]http：//www.ucu.org.uk/events.

[16] Simon Smith， Vicky Ward， & Allan House. ‘Impact in the proposals for the UKs Research Excellence Framework： Shifting the boundaries of academic autonomy[J]. Research Policy， 2011（40）： 1369-1379.

[17]Peter Gilroy，Olwen McNamara. A critical history of research assessment in the United Kingdom and its post-1992 impact on education[J].Journal of Education for Teaching： International research and pedagogy， 2009，35（4）： 321-335.

（作者單位：清華大學教育研究院）

[責任編輯：卜 珺]