意大利科研評價制度的變革

陳 琨，李曉軒，楊國梁

(1. 中國科學院科技政策與管理科學研究所，北京 100190;2. 中國科學院大學，北京 100049)

近年來，對于歐洲而言，國家科研評價制度正處于劇烈變革之中:意大利剛完成 VQR(Valutazione della Qualità della Ricerca)制度的首次評價工作，英國取代RAE (Research Assessment Exercise)的REF (Research Excellence Framework)制度正準備實施，法國撤銷AERES (Agence d'évaluation de la recherche et de l'enseignement supérieur)成立了新的科研評價負責機構HCERES(Haut Conseil de l'Evaluation de la Recherche et de le l'Enseignement Supérieur)，德國科學委員會科研評價體系正由原來四個學科的試點向多個學科擴張。這些變化旨在回應公眾對大學與科研機構越來越強的關注，不僅為減少知識生產者與消費者之間的信息不對稱，促進更好的研究質量，同時也是展示科研為經濟社會做出的貢獻［1］。

然而科研評價制度的常態化以及注重科研對經濟貢獻的展示帶來了普遍的難題:一方面傳統同行評議方法耗資耗時，不適應全國性科研評價制度越來越要求在較短周期內對大量成果展開評估［1］;另一方面如何設計新的指標回應公眾對大學與科研機構“第三使命”的關注，展示大學與科研機構在經濟發展、社會福利上的貢獻。

針對上述問題，各國紛紛推出新的方法，對本國科研評價制度進行改革。由于問題較為相似，在變革中出現了一些共同趨勢，如許多國家不約而同地選擇了同行評議與文獻計量相結合作為評價方法;然而也出現了一些爭議情況，如評價結果是否應該與撥款掛鉤，大學如何平衡教育、研究以及為社會服務的使命等。鑒于英、法、德三國科研評價制度仍處于改革或實施之中，本文以意大利2013 年完成的VQR 評價為例，結合其他國家情況，探討國家科研評價制度的未來發展趨勢及變革中的爭議。

1 意大利VQR 科研評價制度

VQR 的前身為三年研究評估VTR (Valutazione triennale della ricerca)，2003 年，意大利大學與研究部成立了下屬評價機構，對公共大學與科研機構2001—2003 年的科研成果展開評估。VTR 完成于2005年，主要基于同行評議方法，評估對象數量較少，是一項實驗性質的評估工作，因此其評價結果使用頻率并不高，僅能決定較少的撥款:2006—2012 七年平均不到大學與科研機構固定經費的2%［2］。

為應對形勢變化，規范科研評價，2011 年，意大利專門成立了國家大學及科研機構評估署ANVUR (Agenzia nazionale di valutazione del sistema universitario e della ricerca)，該機構從評估標準與方法的選擇到報告的起草與發布都完全自主，不受意大利相關政府部門的操控［3］。同年底，ANVUR 建立了新的科研評價制度VQR，開始對大學與科研機構開展新一輪的評估。

1.1 評價對象、原則與基本流程

VQR 評價時間段為2004—2010 年的產出，對象包括:①公立大學;②能授予學位的私立大學;③大學與研究部下屬的科研機構;④申請參與評估并愿意為此付費的其他研究機構。此外，考慮到院系是大學的職能組織模式，評價還以大學各院系或研究機構的類似部門開展，但是并不組織個人層面的評價。

VQR 原則上要求每一科研人員都提交成果，對于大學科研人員，提交數為3 項，如果在2006年后入職，提交數可相應降低;而對于研究機構科研人員，則要求上報6 項成果，同樣可隨入職年限遞減。可提交的研究成果包括:①期刊論文;②專著及其中章節、帶ISBN 號的會議論文;③譯作與科學評論;④專利;⑤其他以出版物的方式提交的產出:包括作品、圖紙與設計;演出;展覽與博覽會及其項目;數據庫與軟件。

VQR 評價的開展基于以下原則:①相關性:對該領域知識進步或科學增值有益，為社會福利帶來一致、有效、迅速、長久的影響;②原創性/創新性:對該領域的知識進步做出貢獻或有新的發現;③國際化和/或國際地位:定位于國際形勢，從重要性、競爭力、輿論影響、學界贊譽方面予以評價，同時考察與他國研究人員或研究團體的合作情況;④與專利相關:評價技術轉移與發展工作，即便是潛在的經濟社會影響。

VQR 流程以如下步驟進行。準備階段:ANVUR 組建各領域專家評估小組(GEV)，使其按指引公布該領域評估標準，并與參評機構(STRUCTURE)確認參評分支部門、人員情況。評估階段:GEV 對提交成果展開評估，出臺分領域報告。同時參評機構準備自評報告。ANVUR 匯總各領域評估結果，編制總報告。同時通過文獻計量方法，出臺意大利科研系統在國際上的定位報告，相關流程見圖1。

1.2 評價領域與專家構成

根據意大利全國大學理事會的定義，分為14個學科領域，GEV 也依此設立(見表1)。ANVUR直接任命各GEV 組長，并根據專業知識水平以及是否具有評估經驗來選擇專家，其中也包括一部分國外專家。如果某一領域學科之間具有較大差異，或需要評估的數量較多，則可在同一GEV 之下設分支專家小組。例如，領域14 分為兩組，一組負責政治學、哲學與歷史，另一組負責其他社會科學。此外，評審還包括數千名外部專家，當GEV 專家認為成果應使用同行評議進行評估時，便交由外部匿名專家評審。

圖1 VQR 評價流程圖

表1 14 個學科領域及對應專家人數

1.3 評估方法

VQR 評價具體由各GEV 來開展，對每一STRUCTURE 及其部門在14 個領域中排序。具體評估方法，GEV 可在下述方法中任選一種或兩種:

(1)文獻計量:由GEV 專家直接基于ANVUR 挑選的數據庫，根據被引用數與期刊影響因子確定文章等級;具體步驟為:①確定文章所屬學科領域，通過Web of Science 或Scopus 數據庫中相應學科類別歸類;如果論文從屬多個學科，根據提交領域確定或由GEV 專家挑選合適領域，文章也可能發送至多個領域進行評審;②分別計算被引用數與期刊影響因子累計概率分布，分別取排名前20%、20% ～40%、40% ～50%、后50%分成A、B、C、D 四個等級;③根據兩項分布及其等級繪制4 ×4 文章等級判斷矩陣，以領域3 化學為例，一篇2006 被引用數與期刊影響因子等級分別為B 與A 的論文，需使用圖2 左邊矩陣進行判斷，第二行第一列即為其文章等級“B”;若該論文發表于2009 年，則需使用圖2 右邊矩陣判斷，文章等級為“B”。不同領域之間除矩陣對角線文章等級相同外，其余視各自領域情況而定， “IR”表示文章將采取同行評議判斷等級。

圖2 文章等級判斷矩陣(領域3:化學)

(2)同行評議:交由外部獨立專家評審，通常每一成果須由兩位專家評審，如果專家評審結論不一致，則交由第三位專家或由GEV 專家進行裁定。專家的選擇遵循嚴格的利益沖突原則，即不能評審同一大學科研人員或自身參與創作的成果。

研究成果的等級與VTR 同樣分為4 個級別，考慮到VTR 中出現的問題，本次評估還對不符合標準的研究成果以及虛假行為給予罰分 (見表2)。

表2 VQR 科研評價等級標準

1.4 對研究及第三使命的指標設計

VQR 對研究的評價不僅主要考慮研究成果的質量，同時還涉及對研究經費的爭取情況，與外界的溝通交流情況，研究人員的培養情況，自身對研究的投入情況以及是否相對上次評估有所進步，相關指標與權重見表3;VQR 不僅評價對研究進行評價，而且還評估機構對社會的影響，這方面的指標并不局限于專利、衍生企業等傳統技術轉移方面的指標，考慮到人文與社會科學的特點，增加了考古遺跡、博物館等評判標準，同時通過設置“其他活動”這一開放性的指標保證了評價的靈活性。第三使命的指標與權重見表4。

表3 與研究相關指標

表4 “第三使命”相關指標

續表4

2 VQR 對VTR 的變革

為適應新的形勢變化，VQR 相對VTR 在許多方面進行了大幅度的變革，主要表現在以下三個方面。

2.1 評價對象的改變

在國家科研評價制度的實踐中，考慮到操作性問題，幾乎所有的制度都放棄了對全部科研成果進行評價，而是選擇對機構最好成果或其子集展開評估。然而此處同樣存在選擇:機構最好的成果還是每一研究人員最好的成果。前者主要為以往科研評價制度如VTR、RAE 所采取，VTR 甚至并不規定各學科領域所提交的成果比例，僅要求機構提交一定數量的質量最好的成果即可。這種方式的優點在于能夠集中精力關注機構的亮點，并控制所評估成果的數量。然而在運行中出現了一些問題:由于規模較大機構同樣有較高產出的高質量研究成果，可以靈活選擇評議成果，無疑容易在評價中獲得更好的結果;此外，也在科研人員中產生了普遍的焦慮［5］，一旦被排除在提交評價成果的隊伍之外，就必須承擔起更多的教學與管理任務［6］，不利于研究隊伍整體水平的提升以及青年科研人員的成長。

為呼應公眾對研究質量越來越關注的要求，全面反映機構研究質量，VQR 從機構、院系部門等方面比較研究質量，要求每一研究人員都必須提交其研究成果。但ANVUR 也強調評價并非基于個人層面展開，研究成果將集合到各機構、院系部門進行評價。此外，英國即將實施的REF 科研評價制度同樣對評價對象進行了變革，要求全體科研人員都需上交一定數量的研究成果;而澳大利亞的科研評價更是從一開始，就采取了這一做法［7］。然而評價對象的變革也帶來了需要評價成果數量的大幅度上升，從VTR 的17329 項上升到VQR 的近200000 份。

2.2 評價方法的變革

傳統上國家科研評價制度大多以同行評議為主，VTR 參考ERA 完全采取了同行評議作為評價方法，盡管Chubin 和Hackett 曾指出［8］:同行評議不僅是科學功能的一個常規組成部分，而且是科學建制的基本原則。但是這一原則越來越受到挑戰:由于時間以及預算的限制使得評議僅能關注機構少部分科研成果［9］，不適應全國性科研評價制度越來越要求在較短周期內對大量成果展開評估的要求，特別是VQR 評議成果數上升了10 倍以上;無論是評議人的偏見，還是評議中的利益沖突與“馬太效應”，帶來了同行評議是否公正的討論［10］。

為此，VQR 采取結合同行評議與文獻計量的復合方法，由GEV 酌情選擇，但仍然規定同行評議數應占50%以上。從結果來看，自然科學更多地采取的是文獻計量方法，而人文社科則更多的是同行評議方法。而從其他國家來看，無論是英國取代REA 的REF 還是澳大利亞取代RQF (Research Quality Framework)的ERA (Excellence in Research for Australia)，同樣采取了同行評議和文獻計量相結合的評價方法。

2.3 評價指標的變化

評級指標的主要變化在于引入對大學與科研機構“第三使命”的評價，自《拜杜法案》實施后美國大學在技術轉移上的成功使世界各國認識到大學與科研機構在知識經濟時代的作用，因而越來越要求其展示為經濟社會所做貢獻。VQR 為適應這種需求單獨對“第三使命”設置了一組指標，不僅包括評價技術轉移的專利、衍生企業、孵化器等指標，也考慮到人文學科的特點，設置了考古遺跡、博物館等指標，也允許機構提交其他與知識、技術轉移相關的活動進行評價。

由于VQR 對“第三使命”指標的單獨設置，盡管VQR 要求在評價研究成果時考慮經濟社會影響，但在這方面并沒有設置詳細指標，而是單獨列舉傳統上評價知識、技術轉移相關指標，這種做法與澳大利亞ERA 較為類似，與英國REF 有顯著不同，后者對研究成果的評價制定了一整套的操作方案:包括個案研究與完整影響模板、資格準則、評價標準與等級定義，但對影響的評價僅適用于高質量研究中［11］。

3 變革中的爭議

國家科研評價制度在根據形勢進行改變，但不同國家對評價結果的應用存在分歧，而新的評價方法、指標體系的應用也產生了廣泛的討論和爭議。

3.1 評價結果與經費撥款

許多國家將國家科研評價制度擴大化、常態化的一項重要原因是希望以研究表現來決定對機構的撥款金額，增強對大學與研究機構的管理。VQR 的評價目的在于加強研究表現與獲得資助之間的聯系，有望提高評價結果決定撥款金額的比重。采取類似做法的還有英國RAE、REF，澳大利亞ERA 等科研評價制度［7］。

然而德國科學委員會的科研評價體系對此有不同選擇，其評價結果與資助無關，僅供大學與科研機構在戰略決策時參考。該委員會研究部主管瑞納·蘭格認為:“某些時候，績效突出部門很有可能已經處在邊際報酬的最優水平上，將資金投入到績效稍弱的部門或許會有更大的收益?！保?2］

3.2 同行評議還是文獻計量

文獻計量對同行評議這一科學建制基本原則的挑戰引發了較大的爭議，2012 年底，意大利國內對文獻計量方法提出了質疑，認為其對于出版物和引文索引數據的評價標準過于粗糙和形式化。迫于壓力，意大利教育、大學和科研部部長弗朗西斯科·普羅夫莫表示，在未來的科研評價工作中，文獻計量數據將不再作為評價的必須指標［12］。

而從一些研究對同行評議與文獻計量的實證來看，也存在矛盾。Bertocchi 等［13］對VQR 經濟學、商業與統計學領域抽樣比較發現同行評議與文獻計量評價結果相似;Franceschet 等［14］同樣認為文獻計量的使用對意大利科研評價有益;但Abramo 等［15］將VQR 的文獻計量方法運用至VTR評價中，卻發現與同行評議結果有較大不同。從對其他國家的研究來看，大多認為同行評議與文獻計量有正向關系，例如，Oppenheim 等［16-18］的一系列研究發現被引數等文獻計量指標與RAE 排序顯著相關;Van Raan［19］對147 個荷蘭大學化學研究團隊、Aksnes 等［20］對挪威大學的研究、Rinia等［21］對荷蘭凝聚態物理評價的研究均表明文獻計量指標與同行評議有一定相關。說明文獻計量在一定程度上可以支持、替代同行評議，但具體的方法選擇、開展形式上需要嚴密論證。

3.3 大學使命的平衡

國家科研評價的常態化以及與撥款的掛鉤，使得大學的精力集中于研究之上，教育實際上陷入邊緣境地，在VTR、RAE 的實踐中，教育的任務實際上更多的屬于在科研上并不成功的人員［6］，而在VQR、REF 要求每一科研人員都必須上交研究成果后，意味著即便主要從事教育任務人員也必須將大量時間投入科研之中;特別是在第三使命也納入評價指標之后，科研人員也被鼓勵開展知識、技術轉移，科研人員投入教育的時間將被進一步壓縮，可能引發教育質量下滑的惡果。因此，大學能否在適應新的評價體系的同時，保證教育質量的穩定，存在一定疑問。

4 結語

意大利科研評價制度經歷了對象、方法與指標三方面的深刻變化，而這些應對手段也為許多國家所采用:在評價對象上趨向于擴大評議范圍與成果數量，在評價方法上選擇同行評議與文獻計量相結合的方法，在評價指標上要求大學與科研機構展示對經濟社會的影響。但是，并非所有國家都對評價結果有一致的應用取向，英國、意大利等國將評價結果與撥款相掛鉤，而德國則主要作為決策時的參考;同樣，盡管文獻計量方法在科研評價中的應用已不可阻擋，但它對同行評議的挑戰也引發了較大的爭議，但目前大部分實證文獻結論表明，二者存在相關關系，前者對后者可以起到部分替代作用;此外，研究對象的擴大、指標體系的變化則可能將進一步擠壓科研人員從事教育的時間，大學如何平衡教育、科研與技術轉移三者之間的關系，將受到嚴重挑戰。

［1］Abramo G，D'Angelo CA. Evaluating Research:from Informed Peer Review to Bibliometrics［J］.Scientometrics，2011，87(3):499 -514.

［2］Rebora G，Turri M. The UK and Italian Research Assessment Exercises Face to Face［J］. Research Policy，2013，42(9):1657 -1666.

［3］教育部高等教育評估中心. 評估中心代表團訪問歐洲三國質量保障機構［EB/OL］. http://www. pgzx. edu. cn/modules/jiaoliuyuhezuo_d. jsp?id=10525.

［4］ANVUR. Bando DI partecipazione［EB/OL］.［2011 -11 -7］. http://www. anvur. org/attachments/article/122/bando _vqr_def_07_11. pdf.

［5］Martin BR，Whitley R. The UK Research Assessment Exercise:a Case of Regulatory Capture?In:Reconfiguring Knowledge Production:Changing Authority Relationships in the Sciences and Their Consequences for Intellectual Innovation.［M］.Oxford:Oxford University Press;2010.

［6］Henkel M. The Modernisation of Research Evaluation:the Case of the UK［J］.High Educ，1999，38(1):105 -122.

［7］Hicks D. Evolving Regimes of Multi-university Research Evaluation［J］.High Educ，2009，57(4):393 -404.

［8］Chubin DE，Hackett EJ. Peerless Science:Peer Review and U. S. Science Policy［M］.Albany:SUNY Press，1990.

［9］Abramo G，D'Angelo C，Di Costa F. National Research Assessment Exercises:a Comparison of Peer Review and Bibliometrics Rankings［J］.Scientometrics，2011，89(3):929 -941.

［10］龔旭. 同行評議公正性的影響因素分析［J］.科學學研究，2004，22(6):613 -618.

［11］劉莉. 英國大學科研評價改革:從RAE 到REF［J］.科學學與科學技術管理，2014，35(2):39 -45.

［12］張哲. 評價體系應切實反映學術機構優劣——訪德國科學委員會研究部主管瑞納·蘭格［EB/OL］. http://www. csstoday. net/Item/50535. aspx.

［13］Bertocchi G，Jappelli T，Peracchi F. Bibliometric Evaluation vs. Informed Peer Review:Evidence from Italy［R］.Napoli:University of Naples，2013.

［14］Franceschet M，Costantini A. The First Italian Research Assessment Exercise:a Bibliometric Perspective［J］. J Informetr，2011，5(2):275 -291.

［15］Abramo G，D'Angelo CA，Di Costa F. National Research Assessment Exercises:a Comparison of Peer Review and Bibliometrics Rankings［J］.Scientometrics，2011，89(3):929 -941.

［16］Norris M，Oppenheim C. Citation Counts and the Research Assessment Exercise V-Archaeology and the 2001 RAE［J］. J Doc，2003，59(6):709 -730.

［17］Oppenheim C. The Correlation Between Citation Counts and the 1992 Research Assessment Exercise Ratings for British Research in Genetics，Anatomy and Archaeology［J］.J Doc，1997，53(5):477 -487.

［18］Oppenheim C，Summers MAC. Citation Counts and the Research Assessment Exercise，Part VI:Unit of Assessment 67(music)［J］.Inf Res，2008，13(2):342 -342.

［19］Van Raan AFJ. Comparison of the Hirsch-index with Standard Bibliometric Indicators and with Peer Judgment for 147 Chemistry Research Groups［J］.Scientometrics，2006，67(3):491 -502.

［20］Aksnes DW，Taxt RE. Peer Reviews and Bibliometric Indicators:a Comparative Study at a Norwegian University［J］.Res Evaluat，2004，13(1):33 -41.

［21］Rinia EJ，van Leeuwen TN，van Vuren HG，van Raan AFJ. Comparative Analysis of a Set of Bibliometric Indicators and Central Peer Review Criteria-Evaluation of Condensed Matter Physics in the Netherlands［J］.Research Policy，1998，27(1):95 -107.