評估方案：在批評聲中推行

王大鵬/編譯

●很多政府部門正在評估大學研究的質量，這使得很多研究人員大為沮喪。

兩年前，英國蘭卡斯特大學（Lancaster University）的科研人員發現他們在績效評估方面無所適從。他們每個人都要提交過去幾年里發表過的四篇最好的文章，然后再用幾個月的時間來讓同事們組成的評審小組判定這些文章的質量，這些評審小組的成員至少有一個是大學之外的。那些評審不合格的科研人員會得到各種形式的幫助，包括一個更具經驗的同事的輔導、提前休假或者暫時離開教學工作。

該所大學并沒有實施這項巨大的工作，而只是確保其科研人員做好自己的本職工作。這項評估工作是為了研究卓越框架 （the Research Excellence Framework，簡稱REF）做準備而進行的一次演練，該框架是一個即將在英國各所大學和公共研究機構開展的對科研質量進行大規模評估的活動，并且將于2014年正式啟動。

開展本次演練的初衷是“找到那些我們可以幫助科研人員提升自身形象的領域”，蘭卡斯特大學主管科研的前大學副校長特里沃·麥克米蘭（Trevor McMillan）如是說。他認為，讓人欣慰的是評估結果表明同最近一次開展于2008年的全國性評估相比，本次評估的得分要高很多。

但是其他的模擬評估活動進展的并不順利。一項由英國高校聯盟 （the University and College U-nion，簡稱UCU）對超過7000名英國高校科研人員開展的調查 （該調查結果于2013年10月3日發表）表明，大約有12%的科研人員說他們被告知：如果在本校開展的演練評估中無法達到該校設立的研究卓越框架基準的話，在真正的研究卓越框架開始之前他們將同學校簽訂只從事教學（而不從事科研）的協議（見go.nature.com/eqiirr）。還有大約10%的科研人員說他們面臨著晉升的道路被堵死的問題。卡迪夫大學（Cardiff University）的考古學家同時也是該大學研究卓越框架的英國高校聯盟聯絡人的彼得·格斯特（Peter Guest）說，為了不拉低科研人員所在院系的評分，在卡迪夫大學大約有10名在模擬評估中不達標的科研人員被迫和學校簽訂了只從事教學的協議。這種形式的博弈是讓人沮喪的，但是并沒有得到研究卓越框架的明令禁止——然而，把對大學科研人員的職業抉擇完全“托付”給這種評估是違背大學自身的政策以及其他制度的，格斯特說道。

卡迪夫大學這些經歷表明，對于科研機構來說，在研究卓越框架預先設定分數的基礎上來做出職業生涯決策是非常誘人的，但這些分數是高度主觀的。格斯特也認為這既不可靠又不公平。（為了回應這個事件的一些問題，該大學的一個發言人在一封郵件中這樣說道：“我們有一個已經運行了長達四年之久的長期項目，其目的是確保我們同科研人員簽訂的協議能夠反應他們實際的工作量。”）

即使在模擬評估中取得了很高分數的很多科研人員也對此感到憤怒。在英國全境內，科研人員把這種全國性評估看作是一種會扼殺科研人員創造性的官僚作風。

承受壓力

蘭卡斯特大學的大多數科研人員認為這種研究卓越框架的模擬測試只不過是一種“有點讓人煩惱的”官僚作風，而實際情況并非如此。該校的數學和統計系的一名科研人員說，“我們讓本部門的頂尖科研人員致力于研究卓越框架籌備，但是這占據了他們大約三分之一的精力。看起來是一種人才的浪費。”太多的科研人員把精力放在了獲取資金支持或者試圖預測什么樣的工作在接下來的評估中能夠獲得獎賞，而不是做他們能做的最好的科學研究，英國牛津大學（University of Oxford）的實驗心理學家多蘿西·畢曉普 （Dorothy Bishop）說道。“我認為這些天來很多科研項目都沒有很好地開展下去，因為科研人員正在試圖做太多其他的事情。”

但是大學的管理者們和政府官員們已經開始依靠這些評估的結果來幫助他們決定如何分配科研經費。這種觀念在教育部門的領導人中間很普遍，以至于其他國家也開始效仿英國，澳大利亞、意大利、德國和其他國家也采取了類似的做法。

在20世紀80年代末期，英國成為第一個對其大學研究的質量進行系統性評估的國家。研究卓越框架只是該系列評估方法的一種最新形式。以前的評估形式是研究評估考核（the Research Assessment Exercise,簡稱為 RAE），人們廣泛地認為這種評估方法有助于改善該國的研究體系。在2006年到2010年期間，英國科研人員發表的學術文章的引用率提升了7.2%，這比全球6.3%的平均水平還要高一些；根據一份由愛思維爾（Elsevier）出版社在2011年為政府開展的分析表明，英國的引用率份額每年增加0.9%。

英國政府利用這個評估的結果來向大學分配每年超過16億英鎊（約合26億美元）的項目經費。這些經費的70%以上都被那些排名前20左右的大學拿走了——去年（2012年），牛津大學得到了超過1.3億英鎊的與研究質量相關的經費——然而，那些最小的、研究能力最差的科研機構只能靠幾萬英鎊勉強度日。這些評估結果被迫不及待地整合成一個排名榜，而該排名榜則顯示了哪些大學在哪些學科中科研能力最強（見“前五強”）。

“該評估的聲譽同其財務一樣重要，”麥克米蘭說。那些在特定學科方面具有很強研究能力的一些小型科研機構——比如蘭卡斯特大學的物理學——認為這個評估的一個后果就是他們在那些研究能力較強的學科中錄取學生變得更容易了。其后效還不止如此。“還有一個收獲就是人們真的希望到那些在研究評估考核中表現優異的部門就職，我們發現在物理學領域招聘到高質量的科研人員變得容易了。”麥克米蘭說道。

對于研究卓越框架來說，各大學要把從本校最活躍的研究人員中遴選出的學術成果提交給十多個具體科目評審組中的一個，這些大約相當于大學院系的評審組被稱為評估處（Units of Assessment）。評審組通過同行評議和諸如引證指標等標志來評估這些研究的質量。而且他們還將首次評估大學科研項目的經濟效益和社會效益。

對科研人員的評估在全球范圍內都存在，但是各國的做法不盡相同英國名稱：研究卓越框架下次評估時間：2014年被抽查的科研人員提交自2008年以來發表的4篇學術成果。通常由院系領導來決定哪些人在評估范圍內。每個院系對其研究的經濟和社會影響提供一個描述。有專家小組對提交的內容進行評估，并給每所大學提供一個質量報告。在分值方面，質量占到總分的65%，影響力占20%，科研環境占15%。評估的結果對外公布，并且作為分配政府“質量相關”科研經費的參考，2013年的科研經費總額超過16億英鎊（26億美元）。意大利名稱：大學體系和研究評估國家機構下次評估時間：未知科研人員提交他們在2004年到2010年間發表的三篇科研成果——如果沒有教學任務就要提交六篇。14個學科小組對這些研究產出進行評估。科學小組大量地利用文獻統計學。大型、中型和小型的大學會進行各自的排名，科研機構和大學內設的聯盟也分別排名。評估的結果會對外發布，并且用來分配2013年大學研究經費中大約5.4億歐元（7.29億美元）的科研經費。德國名稱：研究評估下次評估時間：未知到目前為止，已經開展了4次試點性的研究評估，這些評估主要是在化學，社會學，電力工程以及英國研究和美國研究方面。15-20人組成的評估小組對每個研究機構遴選出的出版物的質量進行評估。評估小組成員還試圖促進年輕科研人員的培養和技術轉移的發展。在本月（即2013年10月）政府正在考慮出臺一項決策，以決定是否繼續開展這項評估并且把評估的范圍擴展到所有的學科領域中。評估的結果會對外公布，但是不會用來作為分配科研經費的依據。澳大利亞名稱：澳大利亞卓越研究下次評估時間：2015年各大學追蹤其科研人員的所有研究產出：在2012年就提交了超過40萬篇科研論文。專家小組利用評估各種評估方法對這些產出進行評估，其中的一些方法包括引用率，專利授權，研究經費，以及研究人員在學術研究團體中的聲譽等。評估結果會對外公布以讓各科研機構間進行對比，但是這個結果只用來分配大約6800萬澳元（6400萬美元）的科研經費。

即使是對這項評估持反對意見的人也認為它們對國家的研究體系產生了一些積極的影響。因為這個評估通過科學研究的質量來評判科研人員的學術水平，所以很多院系試圖削減其他需求，比如行政管理工作，格斯特說。此外，評估的結果清晰地表明了哪些院系和科研人員沒有盡心盡力，所以各大學可以在如何投入資源方面做出策略性決定。

倫敦大學皇家霍洛威學院 (Royal Holloway,University of London)在1986年完成第一次研究評估后就面臨著這樣的境況，當次評估把該大學的心理學系排在了全國倒數第一的位置，認知心理學家兼該學院心理學系研究主任凱西·拉斯特爾(Kathy Rastle)說。認識到通過聘用知名專家可能無法提高其排名，該學院的心理學系認為應該吸收并培養年輕的人才。“我們盡量把精力放在那些我們認為發展潛力巨大的人員身上，”拉斯特爾說。

她說，皇家霍洛威學院為那些處于職業發展早期的心理學家們提供了 “大量的且量身定做的”職業發展方案，這些職業發展方案保證心理學家們入職后的前兩年時間里幾乎沒有任何教學任務。在撰寫經費申請書的過程中，他們還從經驗豐富的同事們那里獲得幫助。

經過了為期20年的苦心經營后，該校的心理學系在2008年的研究評估考核中進入了全國前十名的行列。它還有更大的雄心壯志。拉斯特爾說，“我希望把研究卓越框架看作是一個機遇，通過它來展示我們做了什么，并且提升我們的排名。”

理念的擴展

隨著其他國家開始實施本國的研究評估活動，它們也希望得到同樣的收益。今年（即2013年），意大利出版了它們于2011年開展的評估的結果 （見《自然》，http：//doi.org/nrx；2013）；其目標是提升全國各個大學的精英制度，當前這些大學中職級和教齡相同的科研人員的收入是完全一樣的，不管他們的產出是否一樣。“并沒有激勵措施來改善你的研究表現，”在位于羅馬的意大利國家研究委員會（the National Research Council of Italy）從事文獻計量學研究和研究評估的吉奧瓦尼·亞伯拉默（Giovanni Abramo）說。“現在政府撥給大學的研究經費中的一部分要根據這個評估的結果來分配。”

對于那些有教學任務的科研人員來說，意大利只評估他們的三篇研究論文；而澳大利亞則對本國大學中科研人員的所有研究產出進行評估，并且把這些產出看作是澳大利亞卓越研究 （Excellence in Research for Australia簡稱ERA）活動的一部分，最近的一次評估活動開展于2012年。只有相當小的一部分經費的分配取決于評估結果：今年（2013年），（評估結果的）排名決定了6800萬澳元（6400萬美元）經費的分配。評估結果主要用來給科研機構提供一種觀點，這些觀點表明這些科研機構的研究水平在全國以及國際上處于什么位置，澳大利亞研究委員會的首席執行官艾丹·拜恩（Aidan Byrne）說。

拜恩說，這些實踐帶來了收益。比如，它有助于研究委員會以合理的方式來分配其8億澳元的競爭性經費組合。開展一輪評估要花費400萬澳元，拜恩說，“這在質量控制方面是一種非常有效的方法。”他說，雖然在澳大利亞卓越研究和撥款過程之間沒有正式的關聯，但是對經費申請進行同行評議的科研機構意識到了澳大利亞卓越研究的結果，并且這些評估結果會被納入到他們的決策之中。

持續的傷痛

對意大利、澳大利亞和其他國家最新一輪的評估活動如何影響該國的研究環境進行評判還為時尚早。但是研究人員們說他們看到了有一定年份的英國項目并且知道其中的一些弱點。

英國高校聯盟的一個國家產業關系官員斯蒂法諾·費勒(Stefano Fella)說，英國高校聯盟調查中的一個主要擔憂是很多大學規定其科研人員在2008年到2013年之間必須有4個高質量的出版物。在接受該調查的所有科研人員中，有67%的科研人員認為如果不增加額外的工作量他們將無法提供規定的產出，還有34%的科研人員認為這種壓力會影響他們的健康。費勒還說，很多科研人員表示這種調查改變了他們工作的方法——比如，很多人可能會在評估期間匆忙地發表學術成果，即使這些工作可能在稍晚發表更獲益。“他們不考慮展示其研究的最佳方式”，費勒說，“而是考慮什么才是最適合研究卓越框架要求的。”

密蘇里堪薩斯大學（the University of Missouri-Kansas City）的經濟學家弗里德里克·李（Frederic Lee）研究了英國的研究評估體系如何影響了他的學科（即經濟學）。在20世紀90年代就職于英國萊斯特的德蒙福特大學（De Montfort University）時，他就直接地經歷過兩輪評估。他認為那些研究替代理論（比如馬克思主義經濟學理論）的經濟學家們已經被排擠出了經濟學領域，因為該評估一貫地偏好那些精英科研機構的主流工作，以及在一小部分期刊上發表的成果。他說，“出現了一種導致研究主題同質性的盲從效應。”

李還說他從來沒有被強迫放棄他在英國對正統經濟學理論的歷史所進行的研究，而是被鼓勵把他的研究成果提交給特定的主流期刊，這些期刊對他研究成果的發表來說還有一線生機。其他科研人員告訴他說他們被迫轉移到更加傳統的研究主題上來，甚至有些科研人員被主要科研機構的相關院系“掃地出門”。《自然》同曼徹斯特大學 （University of Manchester）研究替代理論的一名經濟學家進行了交流，他離開了該大學的經濟系，部分原因是對研究評估考核友好型理論的關注意味著理論發展的前景似乎是根本不存在的。

科研人員們特別擔心對研究卓越框架中研究的影響力進行評估的活動。他們擔心這會釋放出一種對短期的應用型研究偏好的信號，而冷落了那些沒有明顯的、即刻公益性的基礎研究。“就我而言，人們應該做好的科學研究，而不是通過這種讓人震驚的策略性方式來思考科學”，畢曉普說，“有些好的科學是需要花費很長的時間才能展現出來的。”

“人們應該做好的科學研究”

用在提交報告方面的時間，精力和經費也是一個主要的疑慮：根據2009年對這些實踐的一項研究表明，籌備2008年的研究評估考核消耗掉了4700萬英鎊的大學經費。諸如蘭卡斯特這些規模較小的大學要求其一些科研人員花費數月的時間來對模擬研究卓越框架的申請進行評審。對于行政管理人員來說，其時間壓力可能會更大，這些管理人員可能要聘用外部人員來開展研究卓越框架的工作，畢曉普如是說。比如，倫敦大學學院已經聘用了四名編輯顧問來開展有關評估的影響力方面的工作。

麥克米蘭說在籌備一個新標準的時候，花費多一點的時間和經費是自然而然的事情。“這是一個我們不太適應的維度。”他還認為蘭卡斯特大學的行政管理人員聘用了外部的專業編輯人員來對這個過程的最后一部分提供幫助：對科研人員和大學的研究輔助部門撰寫的案例研究和影響陳述報告進行潤色。另外，麥克米蘭本人每周要花兩到三天的時間來對蘭卡斯特大學提交的報告進行微調。“我認為研究卓越框架可能要比以前的實踐花費更多的時間”，他說，“向影響力議程的變遷見證了工作量的大量增加。”

但是有些大學見證了這些工作的收益。皇家霍洛威學院心理學系所做的巨大改善表明了周期性的評估會有多大的幫助，拉斯特爾說。“讓研究卓越框架籠罩在我們的頭上會確保我們竭盡所能地讓我們的科研人員人盡其才。”