劉志民, 李馨兒
(南京農業大學 公共管理學院, 江蘇 南京 210095)
高校是國家創新體系中的重要主體,在實施國家創新驅動發展戰略的背景下,增強原始創新和服務經濟社會發展能力已成為新形勢下我國高校的重要使命。科研評價作為高校科研管理鏈條的重要環節,具有診斷與導向等功能。2015年3月,中共中央、國務院出臺《關于深化體制機制改革加快實施創新驅動發展戰略的若干意見》,要求“強化對高等學校和科研院所研究活動的分類考核;對基礎和前沿技術研究實行同行評價,突出中長期目標導向,評價重點從研究成果數量轉向研究質量、原創價值和實際貢獻”[1]。2018年4月,教育部科學技術司、中關村科技園區管理委員會聯合發布《關于促進在京高校科研成果轉化實施方案》,提出“將高校科研成果轉化績效納入‘雙一流’建設考核評價體系”[2]。因此,對高校科研的實際貢獻和成果轉化情況進行評價,已成為新形勢下深化我國高校科研評價制度改革的重要內容之一。
在全球范圍內,眾多發達國家為促進本國高校科研實力提升建立起了全國性高校科研評價體系。其中,英國和澳大利亞作為率先開展高校科研評價的國家,其科研評價體系一直備受其他國家關注。在長期開展評價的過程中,兩國的科研評價體系不斷發展優化。近年來,兩國高校科研評價體系出現了相似的變革趨勢——開始對高校科研在學術界以外產生的影響進行考察。2014年,英國高等教育撥款委員會推出了“卓越研究框架”(Research Excellence Framework,REF),在高校科研評價體系中增加“科研影響”維度。2018年,澳大利亞研究委員會開發了“科研參與和影響”(Engagement and Impact,EI)評價體系,在吸收英國REF經驗的基礎上,結合澳大利亞本國科研文化特征,創新性地加入了“科研參與”因素,并開發了一套科研參與評價指標。我國研究者對英國REF已有一定研究[3-5],而對澳大利亞EI評價體系的研究還較少。因此,本研究以澳大利亞科研評價體系的新變化和創新點為基礎,探討EI評價體系與特征及其對新形勢下我國科研評價體系改革的啟示。
在全球知識經濟背景下,創新與科學發展已成為一國綜合國力增長的重要驅動力。高校是培養高素質創新人才的基地,也是進行知識創新、推動科技成果向現實生產力轉化的重要力量。自20世紀90年代初起,受礦業等資源產業繁榮的推動,澳大利亞經濟呈現較快增長態勢,1993—2000年間GDP增速保持在4.2%的平均水平(1)澳大利亞在1993—2000年間和2001—2014年間的GDP平均增速數據是作者基于澳大利亞各年GDP增速的初始數據計算得出,初始數據來源:https:∥databank.worldbank.org/indicator/NY.GDP.MKTP.KD.ZG/1ff4a498/Popular-Indicators#.。但從2001年起,隨著資源產業繁榮的逐漸褪去,澳大利亞經濟增長速度開始減緩,2001—2014年間GDP平均增速下降至3.0%①。澳大利亞經濟發展過于依賴傳統資源行業而技術開發與創新應用不足的問題日益凸顯,制造業落伍、科技產品較少現象尤為突出。澳大利亞政府深刻認識到自身經濟發展中存在的這一問題,迫切需要推動國家創新與科學發展戰略,以加強科研創新與技術開發和應用,形成促進國家發展的新經濟增長點。因此,在國家創新與科學發展戰略驅動下,澳大利亞政府對高校在科技創新體系中所發揮的作用提出了更高要求,引導高校在創新驅動發展新形勢下發揮更加積極的作用。
在創新與科學發展戰略背景下,社會越來越強調高校科研應用轉化以及對經濟社會的貢獻。澳大利亞高校在科研質量方面表現優異,但在與企業合作創新以及科研成果轉化等方面的成績不盡如人意。2015年,澳大利亞卓越研究評價(Excellence in Research Australia,ERA)結果顯示,在62%的研究領域中,澳大利亞高校的科研質量高于或遠高于世界標準[6]。而經濟合作與發展組織的一份報告則指出,澳大利亞2012—2014年間在“大企業與高校或研究機構合作”和“中小企業與高校或研究機構合作”兩項指標的得分分別位列28個受評成員國的最后一位與倒數第三位[7]。究其原因,一方面,澳大利亞高校科研經費主要依賴于政府撥款,高校與企業的合作和聯系不夠緊密,科研活動相對封閉,一定程度上存在科學研究與實際需求相脫節問題,高校科研轉化動力不足。另一方面,澳大利亞高校在創新和科學發展戰略中充分發揮作用的制度設計還不夠健全,如之前已存在的ERA更側重于對科研質量的評價,其對科學研究社會貢獻的評價則較為不足。
高校科研評價制度向政府及公眾提供了高校科研發展的相關信息,也為一國高校科研實力的提升提供了持續動力和制度保障。澳大利亞政府十分重視高校的科研實力,建立了ERA對高校科研水平進行評測。有研究表明,自2010年來,ERA使得澳大利亞高校在被評為處于或高于世界標準的研究領域增長了20%[6]。然而側重于考察科研質量的ERA被認為“對研究質量的關注是以犧牲大學與私營及公共部門的合作、知識轉移等重要活動為代價”[8]的。改進現行評價制度,消除現有評價對校企合作與科研成果轉化的阻礙,成為澳大利亞高校面臨的重要任務之一。政府、企業等在內的諸多利益相關方希望獲取更多高校科研投資在經濟、社會等方面所獲收益的信息,高校展示或衡量科研帶來的經濟社會效益也變得越來越重要。因此,對科研在學術界外產生的影響情況進行評價,成為澳大利亞高校科研評價制度的新要求。
伴隨著創新和科學發展戰略重要性的提升,促進高校與產業界協同創新,評價高校科研的經濟社會貢獻日益成為公眾與政府決策者所關注的熱點問題。過去十多年間澳大利亞國內進行過多次評價探索。早在2002年,澳大利亞就開始在競爭性科研項目中考察高校科研活動的經濟社會貢獻,如澳大利亞研究委員會的“鏈接類科研資助項目”(Linkage Program),但未曾開展過面向全國高校的系統性科研影響評價。2004年,霍華德政府擬建立包含評價科研影響的“科研質量框架”(Research Quality Framework, RQF),后因政府更迭,這項政策未獲得后續政府支持,新上臺的陸克文政府引入了側重評價科研質量的ERA。之后,澳大利亞國內對科研影響評價的嘗試仍在繼續。2012年,澳大利亞多家主要的研究基金會聯合成立了一個工作組,致力于對科研影響的產生途徑、術語和報告方式等相關基本原則與框架達成共識[9]。同年,澳大利亞最著名的研究型大學集團“八校聯盟”與澳大利亞科技大學聯盟一起進行了名為“澳大利亞卓越創新”(Excellence in Innovation for Australia, EIA)的科研影響評價試驗,EIA評價目標之一即作為EI評價框架的先導[10]。2014年,澳大利亞技術與工程科學院開展了一項名為“澳大利亞科研參與”(Research Engagement for Australia, REA)的研究,開發出了一套科研參與指標。經過十多年的探索,澳大利亞國內對評價高校科研對經濟社會影響的可接受性不斷提升,評價體系最終于2018年出臺。
2015年12月7日,澳大利亞政府啟動了國家創新與科學議程(National Innovation and Science Agenda, NISA),該議程中有關高等教育領域評價改革的一項新舉措就是引入了“參與和影響評價”維度。澳大利亞研究委員會隨即啟動了科研影響評價體系的開發與設計。2016年3月,參與和影響評價執行委員會成立,成員主要來自大學、產業界、工商業界與其他科研使用部門;2016年5—6月,參與和影響評價執行委員會對評價方案開展公開意見征詢;2016年12月—2017年8月,評價方案開發團隊對評價方案進行了試點測驗;2017年11月,《參與和影響評價試點報告》的發布標志著試驗階段的結束,全面評價工作于2018年正式開展。目前,澳大利亞已將EI 評價體系與之前側重于科研質量評價的ERA一起應用于對澳大利亞高校科研活動的評價之中。
EI評價方案的宏觀目標在于為大學與產業界間更緊密的合作提供激勵。EI評價的具體目標包括向澳大利亞政府和公眾展示大學科研投入所帶來的學術界之外的社會經濟效益;進一步促進大學對科研影響轉化的支持;明確大學科研參與的支持機制;明確研究機構目前的科研影響發生途徑[11]。對“科研參與和影響”因素進行評價,既可以展現高校科研活動對經濟社會所作的貢獻,又可以掌握各高校科研制度的實施情況,從而有針對性地進行調整與完善,最終以評促建,推動高校與產業界協同創新發展。
1. EI評價體系對“科研參與和影響”的界定。澳大利亞研究委員會將“科研參與”界定為研究者與學術界外部的研究用戶之間為了知識、技術、方法與資源的互惠轉化進行的合作互動;將“科研影響”界定為科學研究對經濟、社會、環境與文化所作的學術界之外的貢獻[11]。
2.EI的評價方法及評價過程。EI評價以各高校2位代碼研究領域為評價單元(2)按照“澳大利亞與新西蘭標準研究分類”(Australian and New Zealand Standard Research Classification, ANZSRC),澳大利亞將研究領域分為22個2位代碼領域,其下細分較具體的4位代碼研究領域;在4位代碼研究領域下進一步細分更具體的6位代碼研究領域。,每所高校的每一評價單元需提交1份包括“參與敘述”“參與指標數據”“科研影響敘述”的報告,由專家小組綜合評定。考慮到跨研究領域的情況,每所高校可另外提交1份跨研究領域報告。此外,由于澳大利亞的國情,EI評價體系還另設有“原住民與托雷斯海峽研究”類別。
EI評價體系涉及兩大評價維度:“參與”和“影響”(詳見表1)。其中,“影響”維度下再細分“影響”與“影響方式”。對于“科研參與”的評價,高校需提交描述評價單元科研參與活動的整體情況、戰略及目標的敘述性材料,另外還需按“參與指標”提交定量數據。“參與指標”的評價中共有4項評價指標與1項需提交但不評價指標。4項評價指標多與學術界外部的研究用戶提供的研究經費相關,1項需提交但不評價指標涉及與研究用戶聯合培養的研究生數量。評審在使用參與指標輔助判斷時,除了各高校受評單元的數據,澳大利亞研究委員會還會向評審提供全部高校受評單元在某一研究領域內的整體分布情況圖,以幫助評審了解某一研究領域的整體情況。
對于“科研影響”的評價,高校需提交主要包含“影響敘述”“影響方式敘述”的影響研究報告。在“影響敘述”部分,被評價單元需具體闡述科研影響以及產生影響的相關研究,其中包括科研影響受益對象及程度,并提供描述影響程度的證據。在“影響方式敘述”部分,被評價單元需詳細闡明其所在機構促進科研影響實現的戰略與機制,主要構成因素包含促進科研影響轉化的支持機制、支持機制融入研究實踐的證據、支持性的人力資源政策以及財務政策等。此次EI評價考察高校2002—2016年間進行的科研活動在2011—2016年間產生的影響。

表1 EI評價體系指標說明
評審小組由杰出的學術研究者與經驗豐富的研究用戶組成,其中學術研究者占主導地位。EI評價按照研究相近性原則進行分組,共設“社會科學”“科學與技術”“創意藝術與人文”“健康與生命科學”“原住民與托雷斯海峽研究”5個主評價小組。每個小組將對所涵蓋的相關研究領域進行評價,對于跨研究領域或多研究領域的評價材料,評價小組將額外邀請所需專家參與評審。評價過程分為4個階段:評委個人對評價單元的初步評價;評委查看其他評委對同一評價單元的評級,調整初步評級;評委準備最終會議;評審小組召開最終會議,共同決定每一評價單元的最終評級。
評審小組將依據各高校所提交的材料分別對“參與”“影響方式”“影響”進行評級,每個方面的評價結果均分為“高、中、低”3個等級。“參與”因素評級為“高”代表在受評單元中,為了知識、技術、方法和資源的互惠轉化,研究人員與學術界以外的研究用戶進行了高效互動;科研參與很好地融入了受評單元的發展與所進行的研究。“影響方式”因素得分為“高”意味著該評價單元中鼓勵科研向學術界外影響轉化的機制是高效且充分的,同時科研影響轉化機制推動了所描述影響的發展。“影響”因素評級為“高”表示該影響在學術界外作出了重大貢獻;敘述文本展現了相關研究與影響間的明確聯系(詳見表2)。
英國REF于2014年率先引入“科研影響”因素并成功開展了系統性評價,評價結果與英國經常性科研撥款相掛鉤,其中權重占20%的“科研影響”評價也與科研經費的分配密切相關。與英國REF不同,澳大利亞EI評價結果并不直接作為科研經費分配的依據,而是主要用于展現澳大利亞高校科研的社會貢獻,增進社會公眾對科研社會貢獻的理解,滿足社會公眾的此類信息需求。此輪EI評價結果于2019年3月29日發布,其對626份參與報告和637份影響報告進行了評級。評價結果顯示,所有被評價對象在“科研參與”“影響”“影響方式”上被評級為“中”或“高”的比例依次為85%、88%和76%[12]。對于這輪EI評價的結果,澳大利亞研究委員會首席執行官表示,EI評價結果提供了澳大利亞高校、政府和產業界之間多元合作的豐富信息,顯示了高校科研對學術領域以外的重大影響,并鼓勵研究者與研究用戶對報告數據進行進一步探究[12]。為此,澳大利亞研究委員會網站公開了240份評級為“高”的影響案例以供社會公眾查閱。

表2 EI評價體系評級標準
澳大利亞EI評價體系的引入過程并非一帆風順,澳大利亞國內對這一評價體系存在著一定程度的爭議。這些爭議主要集中在評價科研參與的方法以及評價對研究者行為的影響兩個方面。
1. 對評價科研參與的方法存在爭議。澳大利亞商學院理事會指出,對于評價高校科研參與的方法,采用指標進行評價雖然易于測量和報告,但過程不等同于結果,科研參與(過程)不一定會提升科研影響(結果)[13]。澳大利亞社會學協會認為,由于社會科學科研影響的產生需要較長時間,并且具有分散性與漸進性,較難測量,因而支持對科研參與進行評價。但該組織認為,在高校層面的評價易滋生偽造與操縱評價材料的問題,建議評價應更聚焦于研究者參與過程層面[14]。
2. 關于評價對研究者行為影響的爭議。把“科研參與和影響”引入科研評價體系將使科研人員在考慮學術成果轉化上花費更多精力。澳大利亞創新、產業、科學與研究部前部長基姆·卡爾(Kim Carr)認為,這項評價“浪費時間和金錢”“在澳大利亞高校中增加不必要的官僚機構將分散最聰明優秀的人們對他們核心工作的注意力”[15]。
EI評價體系明確區分了“科研參與”和“科研影響”因素,這一設計思路源于對澳大利亞技術與工程科學院REA理念的采納。REA認為,“科研參與”主要聚焦于研究互動過程的前期階段,“科研影響”主要聚焦于研究互動過程的后期階段;由于科研影響的歸屬確定、研究與影響產生的時間差等問題,使用指標測量“科研影響”存在著方法論缺陷,而使用指標測量研究互動過程的前期階段即“科研參與”則較為明確可行[16]。EI評價體系對REA設計思路的沿用反映了澳大利亞研究委員會對“科研參與”和“科研影響”兩者差異的承認,這既為應用定量指標進行評價從而節約成本創造了條件,又有助于改善以往高校開展科研參與活動卻無法獲得認可的問題,有利于培育高校重視研究成果轉化的文化,最終提升公共研究的社會貢獻。EI評價方案中綜合評價“科研參與和影響”的方法獲得多數澳大利亞學術團體的支持。例如澳大利亞人文學院對評價“科研參與”因素的方法表示贊同,認為其聚焦于科研參與活動不僅易于操作,而且強調了從研究到影響的不同階段[17]。
一直以來,澳大利亞政府非常強調科研評價體系的成本控制,力圖最小化評價給高校帶來的信息收集負擔。澳大利亞研究委員會首席執行官明確指出,EI評價體系的核心設計原則是在確保嚴謹性的同時最大程度上減輕大學的評價(準備)負擔[18]。EI評價體系節約評價成本的舉措主要體現在3個方面。第一,EI評價體系使用定性指標評價科研參與情況。定性指標在之前的研究質量評價體系ERA中就有所應用,在EI評價體系中也進行了創新性的應用。第二,EI評價體系充分利用已有的數據庫資源。成熟的科研信息數據庫為節約評價成本提供了技術保障。澳大利亞的HERDC涵蓋了各高校的科研收入信息,對各種來源的科研經費進行了統一編碼,有力提升了科研數據的管理效率。EI評價體系包含了4項必填的參與指標,其中3項為已有數據,高校需新收集的數據只有“研究用戶的現金支持數量”這1項。第三,EI評價體系要求較少的科研影響報告數量。不同于英國REF 2014評價案例數量不少于2份并且隨全日制等量學術人員數量遞增的要求[19],澳大利亞EI評價體系除特殊研究領域外,要求每個受評單元僅提交1份科研影響敘述報告(3)由于研究差異性較大且數量眾多,醫學與健康科學研究領域細分為生物醫學與臨床科學以及公共健康與相關科學2個子研究領域,每個子研究領域需提交1份科研影響敘述報告,醫學與健康科學研究領域共需提交2份報告。。總之,EI評價體系盡可能減輕評價對高校正常科研教學活動的干擾,減輕高校的材料申報壓力。
澳大利亞EI評價體系在充分考慮學科差異性的基礎上進行評價。在確定參與指標時,評價方案開發團隊在科學、技術、工程和數學(Science, Technology, Engineering, and Math, STEM)學科與人文社會科學中各選擇2個研究領域進行了試點測驗。最終,評價方案開發團隊從11項備選指標中確定了4項評價指標和1項需提交但不評價指標。試測結果表明,STEM學科在這5項指標上數值較高,指標具有較好的指示效果;人文社會科學研究領域數值較低,但并非為0,指標具有指示意義但效果較弱[18]。在EI評價方案中,5項參與指標會應用于幾乎全部的研究領域(4)除“研究商業收入”指標不適用于“公共與相關健康科學”以及“法律與法學研究”研究領域,僅應用于剩余20個研究領域外,另外4項參與指標將應用于全部22個研究領域。,但考慮到在一些人文社會科學領域中參與指標的相關性較弱,因此評審專家在評價過程中將更多地參考這些研究領域的參與敘述報告。由于不同學科研究收入存在差異,EI評價方案明確規定,評審不能跨學科比較參與指標數值。
建設世界一流大學和世界一流學科是黨中央、國務院作出的重大戰略部署,對于提升我國教育發展水平、增強國家核心競爭力、奠定高等教育長遠發展基礎具有重要的戰略意義。為加快推進世界一流大學和世界一流學科建設,我國亟須構建符合中國國情的高校科研評價體系。然而,我國現行的以政府為主導的學科評估仍屬于鑒定性評價,對科研質量的評價基本是圍繞高校內部資源條件與科研產出情況展開的,未能充分反映學科所產生的科研影響力,尤其是評價學科在服務國家重大需求、對經濟社會發展發揮重要作用方面的具體指標仍有所缺失。此外,在評價過程中存在的過度行政權威介入問題直接導致了高校忙于應付名目繁多的科研評價,一定程度上造成了高校在填寫申報材料時盲目提及科研成就,對存在的各項問題避而不談的問題。借鑒澳大利亞的實踐經驗,我國應當從以下幾個方面完善以學科評估為主導的高校科研評價體系。
為了評價高校學科在科研方面對社會所產生的“知識效應”,第四輪學科評估在“學科聲譽”一級指標下增設了“社會服務貢獻”二級指標。參評學科需提供代表性案例展示其對區域經濟及社會發展的貢獻情況。但是,每所大學及學科都有其獨特的歷史、文化和特色,不同地區、類型學科在“雙一流”建設進程中對區域經濟及社會發展的貢獻不同,采用代表性案例進行評價很可能導致一些綜合排名靠前的高校作為標桿引導其他學校與學科的發展,造成“千校一面”、缺乏特色等情況。另一方面,“社會服務貢獻”評價指標的內涵也較為寬泛,不僅涉及對原創科研成果的轉化和應用等內容的評價,還涉及對舉辦學術會議、推動科學普及等內容的評價(5)澳大利亞EI評價體系考察高校科學研究的社會影響,這里的研究必須是某高校各受評單元的原創性研究,包括理論研究和應用研究。作者在這里提及的“原創科研成果”是與我國學科評估體系“社會服務貢獻”指標下包含的“科學普及工作”相對比,科普工作所傳播的研究成果不限定為受評高校的原創性科研成果,也可以為其他國家或高校的非原創性研究成果。。借鑒澳大利亞的實踐經驗,我們可以將學科“社會服務貢獻”的評價限定在學科的社會參與和社會影響兩個方面,并選擇個性化指標對學科的社會參與及影響情況進行差異化評價。學科社會參與情況的評價應選擇具有可操作性的量化指標,如學科具有的國內/國際訪問學者數、學科與當地或國家研究機構聯合培養研究生數、聯合研究經費數、承擔的聯合研究課題數等。評價學科所產生的社會影響,我們可要求高校提供相關數據,包括學科在公開出版物(期刊、書籍等)、媒體(雜志、報紙)和社交媒體(微信等)上發布的相關信息數。這些數據不僅能夠反映學科科研成果所產生的社會影響,也能夠凸顯社會對學科科研建設的關注情況。為了提升評價效率,增強評價結果的說服力,除了使用量化指標評價學科科研對社會的貢獻情況之外,我國還應當要求參評學科,特別是人文社會科學領域的學科提供一定的主觀說明材料如學科社會服務建設目標和規劃等,以幫助專家更全面掌握學科的社會參與及影響情況,從而對學科科研的社會貢獻作出客觀、公正的評價。
我國當前的學科評估過程仍然較為封閉,數據獲取手段較為單一,基本上是通過行政權威的介入使高校填報和提交相關數據。由于行政權威介入數據獲取、分析和評價的整個過程,許多高校不得不在忙于應付學科評估的同時兼顧其他名目繁多的科研評價,因此有些高校的職能部門未能主動提供較為全面的數據信息,一些高校甚至僅能夠提供一些數據整理方面的咨詢服務。此外,有些高校在評價的壓力下還可能在申報材料中盲目提及學校在科研方面所取得的成就,對存在的各項問題避而不談,這直接影響了科研評價結果的真實性和準確性。從澳大利亞的實踐來看,澳大利亞政府通過建立科研信息數據庫的方式有效緩解了科研評價給高校信息收集帶來的壓力,提高了評價及數據管理的效率。借鑒這一經驗,我國也可嘗試建立一套完善的科研信息數據庫系統涵蓋各高校近四年的各項科研基本信息,以應對下一輪學科評估的需要,從而緩解高校和學科的數據填報壓力,幫助高校和學科更好地投入到主觀材料的填報工作之中。科研信息數據庫的具體信息可包括SCI、EI、SSCI、CSCD、CSSCI等收錄的高水平論文、專著數;已轉化或應用的專利(理工類為發明專利)數、科研獲獎信息;科研項目到賬經費情況;專任教師信息;研究生數;等等。科研信息庫中的各項數據還應當由技術人員進行統一編碼,方便相關人員在下一輪學科評估中高效獲取、分析和評價數據。除了建立科研信息數據庫緩解高校數據填報壓力之外,政府職能部門還應當在下一輪學科評估開始前做好評價目標、評價內容、評價方法等關鍵信息的解釋及溝通工作,幫助高校增進對學科科研評估的認知和理解,從而保障學科評估工作的順利開展。
各階段信息公開的透明與及時情況是評價制度規范程度的重要表現。在當前的學科評估中,評價結果的相關信息雖可以公布并接受公眾的監督,但關于數據收集和分析具體過程、評價指標與方法設計原則、參評專家人員信息等內容仍然不予公開。為了保障評價結果的科學性,我國學科評估還需增強各環節信息的透明度與及時性。首先,在科研評估體系方案設計階段,我們需要在教育部學科評估網站上及時公開評估方案初稿,高校、學科行業協會、研究用戶代表等主要利益相關者的書面意見,評估試點結果報告等各階段相關信息等。其次,在評估實施階段,我們需要擴大評估文件的公開范圍,如全部學科評估通用方案、各學科差異性提交材料的規定以及分學科專家評估詳細規則的文件等。最后,在評估結果公開階段,在公開各高校學科評級結果的基礎上,我們需進一步發布各學科優秀的科研影響案例,展現高校科研的社會貢獻,增進社會公眾的理解,滿足社會公眾的信息需求。只有增強評估各環節信息公開的及時性與透明度,我國才能進一步提升高校科研評價的公信力和結果的可信度,更好地發揮科研評價體系服務社會的作用。