英國研究卓越框架及其啟示

摘 要：英國開展的研究卓越框架是評價高等院校科學研究項目質量的一個新的行動計劃，其評估重點是科學研究項目的產出、影響以及環境三個要素，文章介紹了評估的主要內容，以及該計劃的時間進度安排，探討了英國研究卓越框架對我國開展類似科研評估活動的啟示。

關鍵詞：科學研究；卓越；框架；英國

一、英國研究卓越框架及其目標

研究卓越框架（Research Excellence Framework，REF）是英國高等教育撥款委員會（The Higher Education Funding Council for England，HEFCE）正在開展的用于評價其高等院校的科學研究項目質量的新行動計劃，并將取代之前開展的研究評估活動（Research Assessment Exercise，RAE）。

REF的目標在于使英國高等院校的研究成果以動態的、具有國際競爭力的水準持續發展，并為經濟的持續繁榮、國民福利、知識的增加與傳播作出貢獻。具體的目標有：提升高等教育研究數據庫和各種研究項目的質量；支持和鼓勵創新，包括新方法、新領域和交叉學科的工作；進行獎勵和鼓勵，如為有效地分享、傳播和應用各項研究項目的成果，高等教育機構、商業組織和第三方組織之間交流有關觀點和研究成員，對將卓越研究的價值傳遞給經濟和社會的高等教育機構進行獎勵；便于更好地管理研究數據庫，并促使其可持續發展等。[1]

二、主要工作及其關注重點

（一）評估內容

研究卓越框架的工作內容包括4個方面：一是對英國所有高等教育機構提供權威、綜合的卓越研究評級；二是向英國撥款機構提供有關研究資助分配方面的建議；三是向公眾和學校提供有用的信息以及關于卓越研究的標準；四是解釋高等教育領域內有關研究的公共支出等行為。REF將通過一個專家小組來執行評估活動，專家小組將評估各高等教育機構提交的科學研究項目活動和成果，并作出判斷。[2]

不同的學科組成了不同的評估單元（Unit of Assessment，UOAs），而這些評估單元將會由不同的專家小組進行評估。為了簡化評估活動并取得更大的一致性，REF作出如下建議：減少UOAs的數量以及它們之間的界限，建立30個UOAs和專家小組，并且要求他們提供評估反饋意見；將主要學科小組的數量減少至4個（廣義來說，包括醫學和生命科學、物理科學、社會科學以及藝術和人文等學科）；使所有小組盡量采用統一的評估標準和評估過程，它們歸屬于不同的單元僅僅是因為學科的不同；調整專家小組的構成及其工作方法，以確保他們有能力評價有關的材料，特別是在評估研究成果所產生的影響時，加強對研究成果的使用者的評估。

（二）關注重點

REF特別關注評估研究3個方面的要素，這些要素反映了卓越研究評估研究共有的、重要的特征。它們分別是：研究成果，以確認研究是否屬于卓越的研究，其依據是研究的出版物及其質量；研究影響，REF將對一些領域給予重要的、額外的關注，研究者在這些領域內已經開展了卓越的研究，并給經濟、社會、公共政策、文化或者大眾生活創造了實際收益，促進其質量的改善；研究環境，評估研究者所在的環境如何支持卓越研究的持續開展，以及對研究成果進行有效地傳播和應用。

評估小組將會基于一定標準對上述3要素進行逐一評估，評分將會采取四星級的形式，分別是四星（世界領先）、三星（國際上是優秀的）、兩星（國際認可）、一星（國內認可），以及未進入等級（低于國內認可的標準）。

三、評估重點

（一）研究成果

評估重點關注研究成果的質量，因為它們是研究的卓越性以及研究影響的直接體現。為了評估研究輸出的質量，高等教育機構應該明確哪些研究人員以及他們的哪些成果可以作為評估的對象。只要研究者在評估期間開展了高質量的研究，REF鼓勵高等教育機構提名任何一名合格教師，同時也鼓勵高等教育機構提交各種形式的高質量的研究成果。評估的標準是原創性、嚴謹性和重要性（重要性的界定標準包括在學術界產生影響，或者是在學術界之外獲得了直接或間接的應用）。評估的形式是專家評議，基于卓越的、國際性的標準來評估研究成果；為減少評估小組的工作量，建議每一位教師提交的研究成果數量不超過3篇（RAE要求不超過4篇）；一些評估小組也將會使用引用率等有關信息對相關的研究成果作出評估。

在研究成果的評估中如何使用有關引用率的信息？其一，能夠獲得大量的資料引用率信息的評估小組會使用這些信息，如醫藥、科學和工程等學科小組會這樣做，但是藝術、人文以及許多其他學科小組不會這樣做；其二，REF將向有關的評估小組提供資料的引用信息，這些信息包括研究成果被引用的次數，以及關于較高引用率的標準；其三，這些評估小組將會使用引用信息來明確和補充他們關于研究成果的評估結論；其四，將出臺一些指導文件，涉及僅僅使用引用率的局限性以及如何避免這些局限。因此，評估小組將不僅僅依據引用信息對研究成果的質量做出判斷，同時還會參考專家的主觀判斷。所有提交的研究成果不論是否提供有關引用的信息，都會得到公正的對待。

（二）研究影響

REF希望促使高等院校及其研究者將研究成果用于提高經濟、社會、公共政策、文化或者生活質量。為了評價這些影響，必須在整體上對所有提交的研究的影響做一個完整的評價，因此在提交研究成果時必須同時提供關于本研究的影響的證據。REF特別關注研究的卓越性，并對卓越性研究的重要影響給予特別的認可；評估結論是基于一定標準給出的定性信息。建議研究者在提交的信息中包括如下證據：使用通用的模式從整體上對提交的研究成果產生的影響作出說明，描述研究成果與成果使用者之間的關系并概述成果產生的積極影響；用專門的文件闡述研究成果所產生影響的證據，以及這些研究成果是如何作出貢獻的。REF專家小組將會執行具體的評估，小組成員包括能夠理解該領域內的研究成果及其廣泛應用和經濟價值的專家，同時也會補充一些研究使用者作為評估小組成員以評估研究所產生的影響；評估小組將依據研究成果產生的影響所達到的標準以及意義來進行評議。為了達到四星（世界領先）的等級，某一研究成果的影響應該是“創新的、可轉化的或者具有重大的價值”。研究成果影響的范圍包括：生活的質量、經濟、社會、公共政策和服務、健康、環境、文化。

（三）研究環境

REF還將評估研究環境在多大程度上有助于一項卓越研究的可持續發展及其有效傳播和應用。被評估對象應該使用通用的模版介紹研究環境。這個模版應該包括如下內容[3]：資源，包括研究人員、研究收入、研究的基礎設施和設備；管理，包括研究發展的策略、研究人員的發展以及對研究生的培養；雇傭關系，如研究的使用者與研究組織之間進行的人員和思想的交流、對研究人員的公開招聘、對于交叉學科和合作式研究的支持、有關研究數據庫的開發及其在更大范圍內所作貢獻的證據。

四、評估結論

所有提交的內容將會獲得如下評估結論：3個評估要素（研究輸出、研究影響和研究環境）將分別對應一個子文件；形成一個關于卓越研究的綜合性文件，這個文件將和上述3個子文件共同組成最終評估結論。

3個評估要素將分別被賦予一定的權重：研究成果占60％，研究影響占25％，研究環境占15％。

五、先導性練習及時間進度表

（一）先導性練習

先導性練習用于尋求各高等院校關于REF未來發展方向的反饋意見，于2010年開始實施。先導性練習邀請部分高等院校來參與，涉及5個學科，分別是：臨床醫藥、物理、地球系統和環境科學、社會工作和社會政策與管理、英語語言和文學。先導性練習要求參與的各高等教育機構以通用格式提交相關材料，每個評估單位需要提交約10份材料，專家小組對材料進行評估，并對評估過程提出建議和反饋，專家小組的成員包括研究者和研究成果使用者。另外，先導性練習還建立了一個工作小組來為其實施提供建議。[4]

（二）時間進度表

第一輪REF計劃將于2013年完成，以便為2014年高等教育撥款委員會的資助工作提供參考。以下是具體時間表。

2010年，資助機構將組建專家小組，為高等院校提交材料編制指南；最終確定時間進度表，并頒布行動指南，包括高等院校對先導性練習的反饋意見。

2012年，高等院校將提交相關證明材料，這些材料以REF認可的通用格式來呈現。

2013年，各評估小組將評估各高等院校提交的材料。各小組將這些評議結果提供給一級學科小組；一級學科小組將和各小組一起召開會議以確保評估結論的一致性，并形成最終評估結論；公布評估結果。

六、啟示

截至目前，我國尚未實施類似大規模的涵蓋各學科研究項目的評估，但是REF計劃對于我國開展研究的評估活動仍具有重要的啟示作用。

（一）REF突出評估的目標與重點

REF的目標在于使英國高校的研究成果具有國際競爭力，并強調它們對于英國社會發展的作用。因此，研究項目的質量，而不是研究項目的數量是REF評估重點，關注重點包括研究項目的成果、影響與環境等3要素，這些要素以適當的權重結合在一起，能夠反映任何一個研究項目的整體質量。

當前我國開展的研究項目的評估形式主要是科研項目績效管理，包括兩個方面：一是績效的產出，包括項目研究刊出論著、成果獲獎、人才培養、成果所具有的經濟與社會效益等；二是績效的評估，主要是對項目產出的研究成果進行定性和定量的效益評估，以期達到優化資金分配、調整研究計劃和研究方向、提高科研管理水平和科學研究效率的目的[5]。這說明當前我國在科學研究項目的現狀是：對于研究項目的影響局限于成果是否刊登于高水平的刊物，缺少對研究環境及研究項目對社會影響方面的評估。在實施研究項目的評估時，應該改變過分局限于對發表文章的數量以及刊物的檔次進行評價，而從整體上對研究項目的成果、影響與環境進行綜合評估，重點評估研究項目對經濟、社會、公共政策和服務、環境、文化等方面所產生的影響，以充分體現其對于研究社會效益的導向。

（二）制定更具體的標準和步驟

REF的評估標準不僅對3個要素的評估標準與等級分別進行了劃分，還有一個總的等級評分標準，便于確定最后的星級，這樣研究項目的質量等級也就一目了然。

對于我國來說，評估的等級也有優秀、通過與不通過之分，但并沒有進一步的細化，優秀與通過之間缺乏明確的區分，難以為研究項目質量的改進提供更具體的建議[6]。因此，在頂層設計方面，我國的研究評估標準需要進一步細化評估的項目、標準與等級；讓研究者和研究成果的使用者都可以參與到其中，使研究者了解優秀項目的標準，了解研究成果使用者的真實想法，建立起研究成果與成果應用的有效橋梁，促進研究成果的有效轉化，使產學研緊密地結合起來，通過評估促進三者之間的良性循環。

（三）重視對研究條件的評估

REF不僅關注研究項目的成果與影響，也關注研究項目所需要的條件，而這往往是我國在對研究項目進行評估時忽略的地方，因為研究項目的績效看似只涉及研究者個人或團隊，實則與眾多因素密切相關，如研究所需的資源、相應的管理以及人員雇傭等，只有這些要素有機地整合在一起，才能形成良好的外部研究氛圍，有助于優秀研究成果的產生。具體來說，評估研究項目時，既要考慮評估研究者的自身條件，如研究者自身的研究素質；也要考察研究外部條件；既要關注研究所需的硬環境，如研究所需的物質條件[7]，也要關注研究所需的軟環境，如團隊文化等。通過對這些因素的評估，積極引導各方面為研究者提供優質的服務，以創造出更高質量的研究成果。

（四）重視研究數據庫在評估中的作用

各種研究數據庫對于REF的評估具有重要的作用：一方面，研究者可以從研究數據庫中獲得研究所需的資料，進而產生高質量的研究成果；另一方面，REF評審專家可以根據數據庫提供的關于研究項目的引用信息，對研究成果的影響進行分析。我國也建立了相關研究數據庫，如中國期刊網、人大復印資料、維普中文期刊網等，然而，這些數據庫僅僅在研究過程中起到了一定的作用，而對于研究項目的評估用處不大。因此，有必要在評估研究項目的社會影響時加入“引用率”這一定量要素，提交單位可以在提交研究項目時提供相應的引用信息，而評審者在進行評審時除了進行定性評估，也要充分使用相關的引用信息進行定量評估，使得評估更全面、更客觀，評估結論更科學。

（五）進行先導性練習

先導性練習的意義在于讓部分機構參加即將要實施的評估項目，事先發現存在的問題并對評估進行完善，并以此為大范圍評估的開展提供一定的經驗，REF在這方面進行了充分的實踐。通過此類練習，評估人員可以及時發現可能存在的問題并采取相應對策，從而盡可能確保REF在大范圍內開展時取得成功。

先導性練習對于我國的啟示在于，在開展一項新的且影響范圍較大的評估活動時，我們有必要通過一些先導性練習讓被評估機構熟悉評估規則與方式，同時評估組織方也可以通過這些練習來發現問題并及時解決問題，為成功實施新的評估方案積累經驗和教訓。我們當前存在的問題是評估方案和評估實際情況有差距，推出時未經過小范圍的實驗，導致在具體執行時出現了偏差，由于評估已經在較大范圍內鋪開，難以及時糾正，造成評估規則的標準高但是具體效果難以令人滿意。進行先導性練習可以視為解決此類問題的一條有效途徑。

（六）不斷創新評估形式，促進評估質量的提高

REF是在原有的RAE基礎上創新而來，英國高等教育撥款委員會通過實施RAE來提高研究項目質量，并作為分配研究資金的重要依據。REF更強調對研究卓越性的追求，更鮮明地提出了評估的目標，也促使各高等院校不得不采取更多的行動追求研究的卓越性，以便在未來爭取更多的研究資金。從而帶動英國高校整體研究水平的提高。[8]

我國研究項目的數量在世界上已居前列，但在質量上還有進一步提高的空間，相應的評估必不可少，把評估導向、促進更高質量的研究以及促進社會發展結合起來，把評估的標準與研究實踐結合起來，把評估的結論與資助分配結合起來，以此調動所有高校追求卓越研究的積極性，推動我國研究整體水平的提高。

參考文獻：

[1]Higher Education[EB/OL].http://www.qaa.ac.uk/Improving HigherEducation/pages/，2011-11-20.

[2]Submissions Guidance[EB/OL].http://www.hefce.ac.uk/research/ref/subs/，2011-11-20.

[3]Background[EB/OL].http://www.hefce.ac.uk/research/ref/about/background/，2011-11-21.

[4]Impact[EB/OL].http://www.hefce.ac.uk/research/ref/impact/，2011-11-21.

[5]李新榮.高校科研項目績效管理:產出與評估［J］.科技管理研究，2009（8）：230－233.

[6]施莜勇.英國高等學校科研質量評估制度研究［J］.中國科技論壇，2009(5):135-139.

[7]欒明香.英國高校科研評估政策及其借鑒意義［J］.北京行政學院學報，2011（3）:107－110.

[8]英國將對大學科研評價制度進行重要調整［EB/OL］. http://www.most.gov.cn/gnwkjdt/，2011-03-17.

編輯：張力瑋