澳大利亞科研評(píng)價(jià)體系的演變、特點(diǎn)與啟示

趙 勇，張靈閣，韓明杰，李晨英

(1.中國(guó)農(nóng)業(yè)大學(xué)圖書(shū)館，北京 100193；2.中國(guó)科學(xué)技術(shù)信息研究所，北京 100038)

澳大利亞科研評(píng)價(jià)體系的演變、特點(diǎn)與啟示

趙 勇1，2，張靈閣1，韓明杰1，李晨英1

(1.中國(guó)農(nóng)業(yè)大學(xué)圖書(shū)館，北京 100193；2.中國(guó)科學(xué)技術(shù)信息研究所，北京 100038)

本文對(duì)澳大利亞科研評(píng)價(jià)體系的演變過(guò)程進(jìn)行了調(diào)研，從評(píng)價(jià)目標(biāo)、評(píng)價(jià)內(nèi)容、評(píng)價(jià)方法、評(píng)價(jià)專家遴選等方面分析澳大利亞現(xiàn)行的科研評(píng)價(jià)體系ERA的特點(diǎn)及帶來(lái)的啟示，旨在為中國(guó)高校科研評(píng)價(jià)體系的改革與完善提供參考。

科研評(píng)價(jià)；澳大利亞；ERA；高等院校

20世紀(jì)90年代以來(lái)，為了加強(qiáng)科研管理、推進(jìn)科技創(chuàng)新，中國(guó)許多學(xué)術(shù)科研機(jī)構(gòu)都將研究成果的產(chǎn)出作為核心評(píng)價(jià)內(nèi)容，以簡(jiǎn)單的統(tǒng)計(jì)方法為主要評(píng)價(jià)手段，通過(guò)量化規(guī)定研究成果的等級(jí)，計(jì)算研究成果的數(shù)量，并根據(jù)成果的不同等級(jí)賦予不同的分值，再依據(jù)分值給予獎(jiǎng)勵(lì)和報(bào)酬[1]。這種被西方學(xué)者稱為 “麥當(dāng)勞化”的簡(jiǎn)捷科研管理方法在一段時(shí)期內(nèi)推動(dòng)了中國(guó)科研事業(yè)的發(fā)展，最為顯著的表現(xiàn)是:中國(guó)在國(guó)際學(xué)術(shù)期刊上發(fā)表的科技論文數(shù)量呈現(xiàn)快速增長(zhǎng)的趨勢(shì)，到2010年，中國(guó)SCI論文數(shù)在世界的排名從1987年第28位，一躍至世界第2位[2]。然而，這種以科研產(chǎn)出數(shù)量為導(dǎo)向的評(píng)價(jià)機(jī)制長(zhǎng)期運(yùn)行下去，容易造成研究人員創(chuàng)新積極性的下降、科技成果轉(zhuǎn)化渠道的不暢，甚至可能導(dǎo)致科研領(lǐng)域一些急功近利和不端行為的滋生[3]。

2013年底至今，教育部先后印發(fā)了 《關(guān)于深化高等學(xué)校科技評(píng)價(jià)改革的意見(jiàn)》、 《高等學(xué)校科技分類評(píng)價(jià)指標(biāo)體系及評(píng)價(jià)要點(diǎn)》、 《關(guān)于開(kāi)展高等學(xué)校科技評(píng)價(jià)改革試點(diǎn)的通知》三份文件對(duì)高校科研評(píng)價(jià)改革進(jìn)行指導(dǎo)，重點(diǎn)是 “要堅(jiān)持分類評(píng)價(jià)、推行開(kāi)放評(píng)價(jià)，通過(guò)評(píng)價(jià)導(dǎo)向和政策手段，將高校學(xué)者的興趣和目標(biāo)聚焦到經(jīng)濟(jì)社會(huì)發(fā)展的重大需求上去”。而在此之前，歐美等發(fā)達(dá)國(guó)家也已在大力推進(jìn)本國(guó)的科研評(píng)價(jià)活動(dòng)，如澳大利亞政府在參考英國(guó) “科研水平評(píng)估 (RAE)”和新西蘭 “高校績(jī)效科研基金 (PBRF)”經(jīng)驗(yàn)的基礎(chǔ)上，于2007年提出了 “澳大利亞科研卓越計(jì)劃 (Excellence in Research for Australia，ERA)”，2010年和2012年對(duì)ERA進(jìn)行了兩次評(píng)價(jià)，2015年將進(jìn)行新一輪的科研評(píng)價(jià)。本研究主要是對(duì)澳大利亞科研評(píng)價(jià)體系的演變過(guò)程進(jìn)行調(diào)研，采用內(nèi)容分析方法，重點(diǎn)提煉澳大利亞現(xiàn)行的科研評(píng)價(jià)體系ERA中的核心要素，如評(píng)價(jià)目標(biāo)、評(píng)價(jià)內(nèi)容、評(píng)價(jià)方法、評(píng)價(jià)專家的遴選等，深入剖析ERA科研評(píng)價(jià)體系的特點(diǎn)，進(jìn)而獲得經(jīng)驗(yàn)和啟示，為中國(guó)高校科研評(píng)價(jià)體系的改革與完善提供參考。

1 澳大利亞科研評(píng)價(jià)體系的演變

澳大利亞科研評(píng)價(jià)體系是由政府主導(dǎo)，評(píng)價(jià)結(jié)果可以影響各個(gè)參評(píng)高校科研經(jīng)費(fèi)的分配金額，從時(shí)序上看主要經(jīng)歷了以下四個(gè)階段的演變。

(1)20世紀(jì)70-80年代:統(tǒng)一科研與教育經(jīng)費(fèi)分配體系，基于科研量進(jìn)行績(jī)效評(píng)價(jià)。

1974年，澳大利亞廢止了由各州分擔(dān)大學(xué)經(jīng)費(fèi)的制度，改由聯(lián)邦政府負(fù)擔(dān)起本國(guó)高等教育機(jī)構(gòu)所有經(jīng)費(fèi)的職責(zé)。1977年，澳大利亞成立了“聯(lián)邦高等教育委員會(huì) (Commonwealth Tertiary Education Commission，CTEC)”，具體負(fù)責(zé)教育和科研經(jīng)費(fèi)資助的相關(guān)事宜。此后經(jīng)過(guò)十余年的發(fā)展，澳大利亞逐步形成了針對(duì)科研型大學(xué)和高等教育學(xué)院的二元經(jīng)費(fèi)資助機(jī)制。但這種機(jī)制中存在的問(wèn)題也引起了科技主管部門的關(guān)注。1987年，“澳大利亞科學(xué)技術(shù)委員會(huì) (Australian Science and Technology Council，ASTEC)”向當(dāng)時(shí)的鮑勃·霍克政府建議引入競(jìng)爭(zhēng)機(jī)制來(lái)更好地分配科研經(jīng)費(fèi)資源，同時(shí)建議成立更加獨(dú)立的 “澳大利亞研究委員會(huì) (Australian Research Council，ARC)”來(lái)負(fù)責(zé)管理[4]。

1987年，澳大利亞聯(lián)邦政府成立了就業(yè)、教育與培訓(xùn)部，并廢止了聯(lián)邦高等教育委員會(huì)。時(shí)任部長(zhǎng)道金斯 (J.Dawkins)在教育綠皮書(shū) 《高等教育:政策討論書(shū)》及隨后在1988年公布的教育白皮書(shū) 《高等教育:政策聲明》中宣布廢止給予大學(xué)和高等教育學(xué)院不同經(jīng)費(fèi)待遇的二元制度，而由全國(guó)統(tǒng)一體系 (Unified National System，UNS)代替，并成立澳大利亞研究委員會(huì) (ARC)負(fù)責(zé)科研經(jīng)費(fèi)的分配事宜。根據(jù)道金斯的改革方案，新的科研經(jīng)費(fèi)分配機(jī)制主要包括:一是通過(guò)ARC等部門評(píng)估，進(jìn)行科研項(xiàng)目撥款；二是設(shè)立澳大利亞研究生科研獎(jiǎng)學(xué)金，支持高校的教育培訓(xùn)；三是基于科研量 (Research Quantum，RQ)進(jìn)行績(jī)效評(píng)價(jià)。

(2)20世紀(jì)90年代:確立科研評(píng)價(jià)的主導(dǎo)機(jī)構(gòu)，以綜合指數(shù)作為評(píng)價(jià)標(biāo)準(zhǔn)。

1993年，澳大利亞政府決定對(duì)科研量這一評(píng)價(jià)指標(biāo)進(jìn)行重新設(shè)計(jì)。1995年， “綜合指數(shù)(Composite Index)”被提出并應(yīng)用到澳大利亞高校科研評(píng)價(jià)中，綜合指數(shù)包括測(cè)度科研投入和科研產(chǎn)出兩個(gè)方面。科研投入主要測(cè)度高校獲得的科研經(jīng)費(fèi)數(shù)量，權(quán)重占82.5%；而科研產(chǎn)出主要測(cè)度學(xué)術(shù)出版物數(shù)量，權(quán)重占12.5%，以及授予碩士和博士學(xué)位數(shù)量，權(quán)重占5%。同時(shí)，依據(jù)科研經(jīng)費(fèi)來(lái)源和學(xué)術(shù)出版物形式，進(jìn)行更細(xì)化的權(quán)值分配。1999年，澳大利亞政府發(fā)布了 《知識(shí)與創(chuàng)新:研究和研究培訓(xùn)的政策聲明》白皮書(shū)，明確要求ARC作為獨(dú)立機(jī)構(gòu)對(duì)澳大利亞的科研績(jī)效進(jìn)行國(guó)際比較，同時(shí)評(píng)估國(guó)家科研資助的成效[5]。為此，ARC負(fù)責(zé)實(shí)施了科研機(jī)構(gòu)資助計(jì)劃 (IGS)和研究培訓(xùn)計(jì)劃 (RTS)兩個(gè)以績(jī)效評(píng)價(jià)為基礎(chǔ)的政府資助項(xiàng)目。

在綜合指數(shù)評(píng)價(jià)的影響下，澳大利亞高校越來(lái)越重視Web of Science數(shù)據(jù)庫(kù)收錄論文的發(fā)表數(shù)量。1992—1996年，澳大利亞科研產(chǎn)出量每年至少提升8%，發(fā)表SCI論文每年增長(zhǎng)2%。但是，澳大利亞的科研影響力卻在下降。在1988—1993年，澳大利亞發(fā)表論文的引用率在OECD國(guó)家中從第6位下滑至第11位，雖然科研人員發(fā)表的論文數(shù)量上升，但其平均引用影響 (Citation Impact)卻在下降[6]。

(3)21世紀(jì)初:學(xué)習(xí)英國(guó)的科研評(píng)價(jià)經(jīng)驗(yàn)，嘗試設(shè)計(jì)科研質(zhì)量評(píng)價(jià)框架。

針對(duì)綜合指數(shù)評(píng)價(jià)存在的問(wèn)題，澳大利亞政府希望學(xué)習(xí)英國(guó)的高校科研評(píng)估 (Research Assessment Exercise，RAE)，建立本國(guó)的科研評(píng)價(jià)體系。2004年，澳大利亞政府的 “外部智囊團(tuán) (External Reference Group，ERG)”發(fā)布了 《知識(shí)與創(chuàng)新評(píng)價(jià)改革咨詢報(bào)告》，指出政府的科研經(jīng)費(fèi)分配要基于同行專家對(duì)各所大學(xué)整體科研成就的評(píng)判，建議吸收英國(guó)RAE評(píng)估體系的經(jīng)驗(yàn)，設(shè)計(jì)新的科研質(zhì)量評(píng)價(jià)體系[7]。同年，時(shí)任澳大利亞總理霍華德 (J.Howard)宣布將構(gòu)建科研評(píng)價(jià)體系作為“澳大利亞能力支撐計(jì)劃 (Backing Australia's Ability，BAA)”的一部分[8]。為此，政府成立了專家咨詢小組，并聘請(qǐng)英國(guó)RAE負(fù)責(zé)人Gareth Roberts教授擔(dān)任組長(zhǎng)，設(shè)計(jì)澳大利亞的科研質(zhì)量框架(Research Quality Framework，RQF)。

RQF的主要目的是改進(jìn)公共資金資助項(xiàng)目的質(zhì)量和影響力評(píng)價(jià)，具體包括:①保證公眾對(duì)政府科研投入產(chǎn)出的知情權(quán)，增加政府管理的透明度；②提高科研經(jīng)費(fèi)資助方和受資方對(duì)科研質(zhì)量的關(guān)注；③避免給科研機(jī)構(gòu)帶來(lái)過(guò)高的評(píng)估成本和行政負(fù)擔(dān)；④為將來(lái)的科研經(jīng)費(fèi)分配提供依據(jù)。根據(jù)專家咨詢小組發(fā)布的 《RQF工作報(bào)告》[9]，RQF將對(duì)科研的質(zhì)量及其影響力進(jìn)行科學(xué)評(píng)價(jià)，對(duì)于科研影響力的評(píng)價(jià)將同時(shí)關(guān)注學(xué)術(shù)影響力和學(xué)術(shù)外影響力。其中，學(xué)術(shù)外影響力主要是評(píng)價(jià)科研對(duì)社會(huì)的貢獻(xiàn)，包括科研帶來(lái)的經(jīng)濟(jì)效益、生態(tài)效益和社會(huì)效益。2005年，根據(jù)澳大利亞教育大臣Brendan Nelson的要求，全部的IGS項(xiàng)目以及一半的RTS項(xiàng)目將基于RQF評(píng)價(jià)結(jié)果進(jìn)行資金分配，RQF的首次評(píng)價(jià)原計(jì)劃于2008年啟動(dòng)。

(4)2008年至今:新政府確立新的科研評(píng)價(jià)體系，科研卓越計(jì)劃正式實(shí)施。

2007年11月，澳大利亞工黨在政府大選中獲勝，新政府于2008年宣布以ERA來(lái)取代RQF。由于ERA在評(píng)價(jià)方法上對(duì)RQF進(jìn)行了改進(jìn)，因此得到廣泛認(rèn)可。RQF主要是以 “系 (Research Groups)”為單位進(jìn)行評(píng)價(jià)，每所高校選擇4個(gè)優(yōu)勢(shì)系為代表，進(jìn)而評(píng)價(jià)學(xué)校的科研質(zhì)量，而ERA則將對(duì)澳大利亞高校所有學(xué)科的科研活動(dòng)進(jìn)行評(píng)價(jià)。

2008年3月，在澳大利亞全國(guó)高校會(huì)議上，科研與創(chuàng)新大臣Kim Carr對(duì)政府取消RQF的目的進(jìn)行了說(shuō)明，主要原因包括:一方面是ERA在澳大利亞科研國(guó)際水平測(cè)度上具有重要作用，另一方面是ERA可以發(fā)現(xiàn)澳大利亞科研的潛在優(yōu)勢(shì)領(lǐng)域，可以為未來(lái)的經(jīng)費(fèi)分配提供參考[10]。同時(shí)，Carr強(qiáng)調(diào)構(gòu)建公平、公正、透明的ERA體系離不開(kāi)科研人員的支持，并提出在ERA體系成熟之前，不會(huì)將評(píng)價(jià)結(jié)果與科研經(jīng)費(fèi)的分配相掛鉤。同年，政府宣布澳大利亞研究委員會(huì) (ARC)將負(fù)責(zé)ERA的設(shè)計(jì)與管理。2009年，ERA首先對(duì) “物理和化學(xué)”、“人文與藝術(shù)科學(xué)”兩個(gè)學(xué)科群進(jìn)行了試驗(yàn)性評(píng)價(jià)，2010年開(kāi)始面向澳大利亞高校的所有學(xué)科實(shí)施評(píng)價(jià)。

2 澳大利亞現(xiàn)行科研評(píng)價(jià)體系的特點(diǎn)

從評(píng)價(jià)目的、評(píng)價(jià)內(nèi)容、評(píng)價(jià)方法、評(píng)價(jià)專家等科研評(píng)價(jià)體系的核心要素上來(lái)解構(gòu)和剖析，澳大利亞現(xiàn)行的ERA科研評(píng)價(jià)體系具有以下特點(diǎn)。

(1)以提升科研質(zhì)量為評(píng)價(jià)目標(biāo)，逐步擴(kuò)大評(píng)價(jià)結(jié)果決定科研撥款金額的比例。

ERA主要是對(duì)澳大利亞高等教育機(jī)構(gòu)的科研活動(dòng)各個(gè)方面進(jìn)行質(zhì)量評(píng)價(jià)，具體目標(biāo)包括:①通過(guò)評(píng)價(jià)確保澳大利亞高等教育機(jī)構(gòu)的科研質(zhì)量滿足政府、企業(yè)和社會(huì)的要求；②盤點(diǎn)澳大利亞高等教育機(jī)構(gòu)在各學(xué)科領(lǐng)域中的研究?jī)?yōu)勢(shì)，發(fā)現(xiàn)研究潛力；③保證科研績(jī)效產(chǎn)出最大化；④發(fā)現(xiàn)未來(lái)可能發(fā)展的新興研究領(lǐng)域；⑤使澳大利亞各學(xué)科領(lǐng)域的科學(xué)研究具有國(guó)內(nèi)外可比性。

目前，ERA的評(píng)價(jià)結(jié)果不會(huì)影響澳大利亞高校在競(jìng)爭(zhēng)性科研經(jīng)費(fèi)項(xiàng)目上的經(jīng)費(fèi)分配，但在補(bǔ)助性科研經(jīng)費(fèi)項(xiàng)目上，如 “可持續(xù)卓越研究項(xiàng)目(Sustainable Research Excellence，SRE)”和 “研究培訓(xùn)計(jì)劃 (Research Training Scheme，RTS)”，ERA的評(píng)價(jià)結(jié)果則會(huì)影響部分經(jīng)費(fèi)的分配。以SRE項(xiàng)目為例，項(xiàng)目經(jīng)費(fèi)撥款分為三個(gè)階段，每個(gè)階段撥款經(jīng)費(fèi)的比例分別為20%、13%和67%。其中，第三個(gè)階段67%的項(xiàng)目撥款將根據(jù)ERA的評(píng)價(jià)結(jié)果來(lái)調(diào)整經(jīng)費(fèi)分配比例[11]。2012年，澳大利亞政府按照ERA評(píng)價(jià)結(jié)果分配的SRE項(xiàng)目資金數(shù)額達(dá)到6570萬(wàn)澳元。為了保持本國(guó)高校的國(guó)際科研優(yōu)勢(shì)地位，澳大利亞政府決定在SRE、RTS等補(bǔ)助性科研經(jīng)費(fèi)項(xiàng)目中將會(huì)更多地基于ERA的評(píng)價(jià)結(jié)果來(lái)分配經(jīng)費(fèi)資源[12]。

(2)以科研綜合實(shí)力為評(píng)價(jià)內(nèi)容，采用國(guó)際可比性的量表劃分評(píng)價(jià)結(jié)果等級(jí)。

根據(jù)ACR公布的ERA評(píng)估手冊(cè)[13]，ERA的評(píng)價(jià)內(nèi)容主要分為四個(gè)方面，包含了科研的學(xué)術(shù)影響力和學(xué)術(shù)外影響力，體現(xiàn)了科研的綜合實(shí)力。

一是科研質(zhì)量，包括出版物及會(huì)議的級(jí)別、被引情況等指標(biāo)。其中，被引情況主要依據(jù)Scopus數(shù)據(jù)庫(kù)提供的期刊論文被引頻次，采用論文引用相對(duì)影響力 (Relative Citation Impact)和百分位閾值方法 (Centile Thresholds)進(jìn)行測(cè)度。

二是科研量及活動(dòng)，包括科研產(chǎn)出和科研收入指標(biāo)。其中，科研產(chǎn)出指標(biāo)包括傳統(tǒng)形式科研產(chǎn)出 (如書(shū)籍、期刊文章、會(huì)議論文等)和非傳統(tǒng)形式科研產(chǎn)出 (如視覺(jué)藝術(shù)作品、設(shè)計(jì)/建筑作品、現(xiàn)場(chǎng)表演作品等)。科研收入指標(biāo)依據(jù)澳大利亞 “高等教育研究數(shù)據(jù)收集 (Higher Education Research Data Collection)”項(xiàng)目的相關(guān)定義，主要包括:澳大利亞競(jìng)爭(zhēng)性科研項(xiàng)目經(jīng)費(fèi)、其他公共部門科研項(xiàng)目經(jīng)費(fèi)、企業(yè)科研項(xiàng)目經(jīng)費(fèi)、合作研究中心 (Cooperative Research Centre)項(xiàng)目經(jīng)費(fèi)。

三是科研應(yīng)用，包括商業(yè)化收入 (Commercialization Income)、專利、注冊(cè)外觀設(shè)計(jì)、植物新品種權(quán)等應(yīng)用測(cè)量指標(biāo)。其中，商業(yè)化收入指高校通過(guò)知識(shí)產(chǎn)權(quán)交易帶來(lái)的收益，但不包括科研合同、科研咨詢帶來(lái)的收入，這些屬于科研收入統(tǒng)計(jì)范疇。

四是聲譽(yù)，包括在權(quán)威出版單位擔(dān)任編輯的人數(shù)、參加知名學(xué)術(shù)團(tuán)體的人數(shù)、全國(guó)性科研獎(jiǎng)勵(lì)獲得者人數(shù)和澳大利亞議會(huì)獎(jiǎng)學(xué)金獲得者人數(shù)等聲譽(yù)測(cè)量指標(biāo)。

為了使ERA的評(píng)價(jià)結(jié)果具有國(guó)際可比性，其采用了五分制量表方法對(duì)上述四個(gè)方面的評(píng)價(jià)結(jié)果進(jìn)行等級(jí)劃分，見(jiàn)表1。

表1 ERA科研評(píng)價(jià)結(jié)果的等級(jí)劃分

(3)以學(xué)科為評(píng)價(jià)單元，依據(jù)各學(xué)科特點(diǎn)選取適用的評(píng)價(jià)方法

ERA以學(xué)科作為評(píng)價(jià)單元，學(xué)科分類采用“澳大利亞和新西蘭標(biāo)準(zhǔn)研究分類法 (Australian and New Zealand Standard Research Classification Field of Research，簡(jiǎn)稱FoR)”。2008年，F(xiàn)oR公布了最新的學(xué)科分類標(biāo)準(zhǔn)，包括22個(gè)學(xué)科門類(由2位代碼組成)、157個(gè)學(xué)科子類 (由4位代碼組成)以及更具體的學(xué)科領(lǐng)域 (由6位代碼組成)。例如:氣象學(xué)的學(xué)科代碼是040107，其中04代表地球科學(xué)，0401代表大氣科學(xué)。ERA主要是對(duì)學(xué)科門類和學(xué)科子類兩個(gè)層面進(jìn)行評(píng)價(jià)。同時(shí)，ERA將所有學(xué)科整合為8個(gè)學(xué)科群 (見(jiàn)表2)，包括:“數(shù)學(xué)、信息與計(jì)算機(jī)科學(xué)”、“物理、化學(xué)和地球科學(xué)”、“工程與環(huán)境科學(xué)”、“生物與生物技術(shù)科學(xué)”、 “醫(yī)學(xué)與健康科學(xué)”、 “教育與人類社會(huì)”、“經(jīng)濟(jì)學(xué)與金融學(xué)”、“人文與藝術(shù)科學(xué)”。

表2 ERA科研評(píng)價(jià)體系的學(xué)科群

由于各個(gè)學(xué)科的特點(diǎn)不同，ERA在被評(píng)價(jià)的科研成果形式和具體的評(píng)價(jià)方法上采取了不同方式，如對(duì)于 “農(nóng)業(yè)與獸醫(yī)科學(xué)”在科研應(yīng)用評(píng)價(jià)中，除了專利外，還包括了作物育種方面的科研成果。對(duì)于 “建筑環(huán)境與設(shè)計(jì)”、“教育”、“經(jīng)濟(jì)學(xué)”等學(xué)科的科研質(zhì)量評(píng)價(jià)中，并沒(méi)有采用引用分析方法，而是通過(guò)同行專家評(píng)議方式進(jìn)行評(píng)估。

2012年，ERA將一些利用引用分析方法評(píng)價(jià)的學(xué)科改為同行專家評(píng)議的方式進(jìn)行評(píng)估，如 “信息與計(jì)算機(jī)科學(xué)”、“通信技術(shù)”、“計(jì)算機(jī)硬件”；允許 “經(jīng)濟(jì)學(xué)”和 “人類社會(huì)研究”將政策文件等“非傳統(tǒng)形式科研產(chǎn)出”作為科研成果；對(duì)于 “建筑”和 “工程設(shè)計(jì)”學(xué)科的聲譽(yù)評(píng)價(jià)中，將 “在權(quán)威出版單位擔(dān)任編輯的人數(shù)”作為一項(xiàng)評(píng)價(jià)指標(biāo)。

(4)以國(guó)際知名學(xué)者為評(píng)審專家，通過(guò)公開(kāi)、透明的方式進(jìn)行科研評(píng)價(jià)。

ARC按照學(xué)科群的劃分組成8個(gè)學(xué)科評(píng)審專家委員會(huì) (Research Evaluation Commission，REC)，每個(gè)評(píng)審委員會(huì)選舉一名專家作為首席。評(píng)審專家多數(shù)來(lái)自澳大利亞本國(guó)高校，但也有部分國(guó)外高校的學(xué)者參加學(xué)科評(píng)審委員會(huì)。2015年，ARC公布的8個(gè)學(xué)科評(píng)審委員會(huì)中，共有149名專家組成，其中來(lái)自國(guó)外高校的專家有7人，分別參加 “工程與環(huán)境科學(xué)”、“教育與人類社會(huì)”、“經(jīng)濟(jì)學(xué)與金融學(xué)”、“數(shù)學(xué)、信息與計(jì)算機(jī)科學(xué)”、 “生物與生物技術(shù)科學(xué)”、“醫(yī)療與健康科學(xué)”6個(gè)學(xué)科群的評(píng)審。

為了保證評(píng)價(jià)的公平、公開(kāi)和透明，ARC構(gòu)建了評(píng)審專家?guī)欤婕?00余名的國(guó)內(nèi)外知名學(xué)者。同時(shí)，在評(píng)估年，評(píng)審專家名單及其簡(jiǎn)歷都會(huì)在ARC的官方網(wǎng)站上向媒體和社會(huì)公布。ARC遴選評(píng)審專家的標(biāo)準(zhǔn)主要包括:①科研成就。評(píng)審專家應(yīng)是國(guó)內(nèi)外知名學(xué)者，承擔(dān)或評(píng)審過(guò)重點(diǎn)科研項(xiàng)目，熟悉本領(lǐng)域的科研活動(dòng)和研究前沿；②知識(shí)深度。評(píng)審專家在相關(guān)領(lǐng)域內(nèi)具有深厚的專業(yè)知識(shí)，有過(guò)跨學(xué)科研究的經(jīng)歷；③學(xué)術(shù)地位。評(píng)審專家擔(dān)任過(guò)學(xué)術(shù)科研機(jī)構(gòu)或?qū)I(yè)協(xié)會(huì)組織的領(lǐng)導(dǎo)職務(wù)；④溝通能力與合作精神。評(píng)審專家應(yīng)具有一定的團(tuán)隊(duì)合作能力、高尚正直的個(gè)人品格、較強(qiáng)的工作效率。

(5)以信息科學(xué)方法和計(jì)算機(jī)科學(xué)技術(shù)為評(píng)價(jià)保障，重視科研評(píng)價(jià)全過(guò)程的組織與管理。

為了保證科研評(píng)價(jià)的順利實(shí)施，ARC建立了評(píng)價(jià)系統(tǒng)平臺(tái)SEER(System to Evaluate the Excellence of Research)，并在提交數(shù)據(jù)格式、系統(tǒng)交互機(jī)制、系統(tǒng)平臺(tái)安全等方面制定了詳細(xì)的規(guī)范制度。SEER系統(tǒng)的運(yùn)行邏輯見(jiàn)圖 1。在評(píng)估年，ARC會(huì)發(fā)布 “提交指南 (Submission Guidelines)”、“技術(shù)規(guī)范 (Technical Specifications)”、“業(yè)務(wù)章程(Business Rules and Verification)”、“學(xué)科評(píng)價(jià)內(nèi)容矩陣表 (Discipline Matrix)”等規(guī)范性文件指導(dǎo)受評(píng)高校提交科研評(píng)價(jià)材料。

圖1 SEER系統(tǒng)的運(yùn)行邏輯

按照ARC的要求，受評(píng)高校需要設(shè)置ERA聯(lián)絡(luò)員 (Liaison Officer)崗位，負(fù)責(zé)組織本校全部學(xué)科的科研人員參加ERA評(píng)價(jià)。ERA評(píng)價(jià)材料提交主要包括準(zhǔn)備和提交兩個(gè)階段。在評(píng)價(jià)材料準(zhǔn)備階段，受評(píng)高校應(yīng)依據(jù) “學(xué)科評(píng)價(jià)內(nèi)容矩陣表”準(zhǔn)備評(píng)價(jià)材料，同時(shí)必須對(duì)期刊論文形式的科研成果進(jìn)行電子標(biāo)識(shí)，包括確定論文的所屬學(xué)科，以及期刊的引文數(shù)據(jù)。在此過(guò)程中，受評(píng)高校可以利用其機(jī)構(gòu)庫(kù) (Institutional Repositories)來(lái)收集本校教師的科研產(chǎn)出成果。在評(píng)價(jià)材料提交階段，主要通過(guò)SEER系統(tǒng)平臺(tái)完成，受評(píng)高校的ERA聯(lián)絡(luò)員負(fù)責(zé)上傳科研評(píng)價(jià)材料，所有材料必須符合ERA規(guī)范性文件的要求。SEER系統(tǒng)平臺(tái)會(huì)自動(dòng)審核評(píng)價(jià)材料的數(shù)據(jù)格式，而ARC則重點(diǎn)關(guān)注科研產(chǎn)出成果是否存在重復(fù)提交等問(wèn)題，如有問(wèn)題，其ERA業(yè)務(wù)專員會(huì)通過(guò)SEER系統(tǒng)平臺(tái)向受評(píng)高校反饋。最終提交的科研評(píng)價(jià)材料需要受評(píng)高校的科研副主管或同等職位人員簽署并提交電子版和紙版的確認(rèn)書(shū)，聲明本校提交的科研評(píng)價(jià)材料真實(shí)全面，符合ERA的相關(guān)要求。

3 啟示

從澳大利亞科研評(píng)價(jià)體系的演變過(guò)程與發(fā)展經(jīng)驗(yàn)上來(lái)審視，中國(guó)新的科研評(píng)價(jià)體系建設(shè)可以獲得以下幾方面的啟示。

(1)確立科學(xué)的科研評(píng)價(jià)目標(biāo)，發(fā)揮科研評(píng)價(jià)的引導(dǎo)作用。

科學(xué)的科研評(píng)價(jià)要以促進(jìn)科研實(shí)力提升、調(diào)控科研發(fā)展方向和策略、優(yōu)化科研資源配置為目標(biāo)，同時(shí)還要考慮對(duì)研究人員培養(yǎng)、科技成果轉(zhuǎn)化以及科研文化培育的引導(dǎo)作用。科學(xué)的科研評(píng)價(jià)應(yīng)符合科研活動(dòng)的客觀規(guī)律，通過(guò)制定合理的科研評(píng)價(jià)周期來(lái)減少急功近利的科研 “投機(jī)行為”，通過(guò)評(píng)價(jià)指標(biāo)的設(shè)計(jì)來(lái)引導(dǎo)科研朝著數(shù)量和質(zhì)量雙重增長(zhǎng)的良好態(tài)勢(shì)健康發(fā)展。同時(shí)，科學(xué)的科研評(píng)價(jià)還應(yīng)符合科研人員的成長(zhǎng)規(guī)律，要建立有助于青年科研人員發(fā)展的評(píng)價(jià)體系，營(yíng)造求真、務(wù)實(shí)、誠(chéng)信的科研文化氛圍。總之，科學(xué)的科研評(píng)價(jià)不應(yīng)以 “評(píng)價(jià)”為目標(biāo)，只是將評(píng)價(jià)結(jié)果作為科研資源分配的標(biāo)準(zhǔn)；科學(xué)的科研評(píng)價(jià)應(yīng)以 “引導(dǎo)”為目標(biāo)，指引科技的發(fā)展方向，提升科技的創(chuàng)新力和競(jìng)爭(zhēng)力。

(2)擴(kuò)展科研評(píng)價(jià)內(nèi)容，構(gòu)建多維度的科研成果影響力評(píng)價(jià)體系。

現(xiàn)有科研評(píng)價(jià)主要基于可量化的學(xué)術(shù)論文、專利等常識(shí)性科研產(chǎn)出，而科研成果的價(jià)值并不僅僅局限于學(xué)術(shù)層面。科研活動(dòng)在推動(dòng)科學(xué)和技術(shù)發(fā)展的同時(shí)，培養(yǎng)了未來(lái)的科技人才、帶動(dòng)了勞動(dòng)力就業(yè)、提升了科研環(huán)境建設(shè)。因此，科研評(píng)價(jià)內(nèi)容應(yīng)擴(kuò)展到科研環(huán)境、科研應(yīng)用等與科研活動(dòng)密切相關(guān)的上下游科研過(guò)程中，從而實(shí)現(xiàn)科研生態(tài)的整體優(yōu)化。隨著科研評(píng)價(jià)內(nèi)容的擴(kuò)展，單一的學(xué)術(shù)影響力評(píng)價(jià)體系已不再適用，需要構(gòu)建全面考慮科研活動(dòng)過(guò)程所有環(huán)節(jié)影響力的多維度評(píng)價(jià)體系。評(píng)價(jià)體系不僅包括評(píng)價(jià)科研成果的學(xué)術(shù)影響力，考察科研成果對(duì)科學(xué)知識(shí)進(jìn)步的貢獻(xiàn)；評(píng)價(jià)科研成果的學(xué)術(shù)外影響力，測(cè)度科研成果對(duì)經(jīng)濟(jì)發(fā)展的影響；還要評(píng)價(jià)科研活動(dòng)的社會(huì)影響力，考核科研活動(dòng)對(duì)科研環(huán)境建設(shè)的貢獻(xiàn)，以此引導(dǎo)科研人員重視人才培養(yǎng)、重視科研文化培育。

(3)實(shí)施規(guī)范的科研評(píng)價(jià)標(biāo)準(zhǔn)，建立與國(guó)際接軌的評(píng)價(jià)制度。

規(guī)范的科研評(píng)價(jià)標(biāo)準(zhǔn)要考慮不同學(xué)科的差異性，要從自然科學(xué)、技術(shù)科學(xué)、社會(huì)科學(xué)和藝術(shù)科學(xué)的學(xué)科特點(diǎn)出發(fā)，選擇學(xué)科代表性的科研成果形式，通過(guò)適用的科學(xué)方法進(jìn)行評(píng)價(jià)。同時(shí)，規(guī)范的科研評(píng)價(jià)標(biāo)準(zhǔn)要經(jīng)過(guò) “試點(diǎn)—推廣—完善”整個(gè)過(guò)程，評(píng)價(jià)標(biāo)準(zhǔn)要根據(jù)科學(xué)技術(shù)發(fā)展的進(jìn)程不斷修改完善。此外，規(guī)范的科研評(píng)價(jià)標(biāo)準(zhǔn)要與國(guó)際接軌，使中國(guó)的科研評(píng)價(jià)具有國(guó)際可比性，有利于科研人員準(zhǔn)確定位自身的學(xué)術(shù)位置，也有利于科研管理部門準(zhǔn)確把握未來(lái)的科研發(fā)展方向。

(4)使用多元的科研評(píng)價(jià)方法，減輕科研人員在評(píng)價(jià)過(guò)程中的負(fù)擔(dān)。

多元的科研評(píng)價(jià)方法要吸收多學(xué)科的方法特色，綜合定性和定量的評(píng)價(jià)方法，針對(duì)自然工程科學(xué)和人文社會(huì)科學(xué)建立多樣性的、分學(xué)科的評(píng)價(jià)方法體系。同時(shí)，將數(shù)據(jù)挖掘、自然語(yǔ)言處理、可視化圖譜等大數(shù)據(jù)分析方法和技術(shù)應(yīng)用于科研評(píng)價(jià)，增強(qiáng)科研評(píng)價(jià)的深度和準(zhǔn)確性，減輕科研人員在評(píng)價(jià)過(guò)程中的負(fù)擔(dān)。

(5)組織權(quán)威的科研評(píng)價(jià)專家團(tuán)隊(duì)，鼓勵(lì)科研成果用戶方參與評(píng)價(jià)。

權(quán)威的科研評(píng)審專家不僅要有學(xué)科專業(yè)知識(shí)的深度和廣度，同時(shí)還要具有豐富的科研評(píng)價(jià)經(jīng)驗(yàn)。權(quán)威的科研評(píng)價(jià)專家團(tuán)隊(duì)中最好包括國(guó)際同行專家，其有助于保證國(guó)內(nèi)專家客觀地評(píng)價(jià)研究成果的國(guó)際卓越水平，也檢驗(yàn)國(guó)際標(biāo)準(zhǔn)的應(yīng)用是否恰當(dāng)。同時(shí)，還可以包括評(píng)價(jià)咨詢專家，其有助于保證科研評(píng)價(jià)過(guò)程的公平性和科學(xué)性。此外，科研成果用戶方的參與將有利于對(duì)科研學(xué)術(shù)外影響力的評(píng)價(jià)。

(6)建設(shè)自動(dòng)化的科研評(píng)價(jià)系統(tǒng)平臺(tái)，加強(qiáng)科研數(shù)據(jù)的組織與管理。

自動(dòng)化的科研評(píng)價(jià)系統(tǒng)要以信息科學(xué)的方法為基礎(chǔ)、計(jì)算機(jī)科學(xué)的技術(shù)為保障，為科研管理部門和參評(píng)科研單位提供互動(dòng)的平臺(tái)，同時(shí)也要以 “節(jié)約成本、減輕負(fù)擔(dān)”為原則，提高系統(tǒng)平臺(tái)的運(yùn)行效率。另外，科研數(shù)據(jù)是科研評(píng)價(jià)的基礎(chǔ)，數(shù)據(jù)的質(zhì)量決定著評(píng)價(jià)結(jié)果的準(zhǔn)確性。所以，在科研評(píng)價(jià)的同時(shí)也應(yīng)加強(qiáng)科研數(shù)據(jù)的組織和管理工作，其有利于科研評(píng)價(jià)材料的收集、整理與再利用。

[1]余江.英國(guó)科研評(píng)價(jià)體系及其借鑒問(wèn)題[N].中國(guó)社會(huì)科學(xué)報(bào)，2014-07-30.

[2]中國(guó)科學(xué)技術(shù)信息研究所.2011年度中國(guó)科技論文統(tǒng)計(jì)與分析[M].北京:科技文獻(xiàn)出版社，2011.

[3]郭生練.誰(shuí)撥偏了科研評(píng)價(jià)的方向?[N].科技日?qǐng)?bào)，2010-06-22.

[4]F Larkins.Australian Higher Education:Research Policies and Performance 1987-2010[M].Carlton，Victoria:Melbourne University Press，2011:17.

[5]Australian Research Council.Annual Report 2001-2002[R].Australia:ARC，2002.

[6]Butler L.Explaining Australia's Increased Share of ISI Publications-the Effects of a Funding Formula Based on Publication Counts [J].Research Policy，2003，(32):143-155.

[7]External Reference Group.Evaluation of Knowledge and Innovation Reforms Consultation Report[R].Department of Education，Science and Training:Canberra，ACT，2004.

[8]DEST.Backing Australia's Ability:Building our Future through Science and Innovation[R].Department of Education，Science and Training:Canberra，ACT，2004.

[9]G Roberts.Evaluation of Knowledge and Innovation Reforms Consultation Report[R].Department of Education，Science and Training:Canberra，ACT，2004.

[10]K Garr.A New ERA for Australian Research Quality Assessment[EB/OL].http:archive.innovation.gov.au/ministersarchive2011/Carr/MediaReleases/Pages/NEWERAFORRESEARCHQUALITY.htm.4 March 2008.

[11]Department of Innovation Industry，Science and Research.Sustainable Research Excellence(SRE)in Universities 2010 Guidance Paper[R].http://www.uow.edu.au/content/groups/public/＠web/＠raid/documents/doc/uow085691.pdf.

[12]Group of Eight.Research Performance of Australian Universities[R].https://go8.edu.au/sites/default/files/docs/go8policynote4_researchperformance.pdf.

[13]Australian Research Council.ERA 2012 Evaluation Handbook[R].http://www.arc.gov.au/era/era_2015/era_2015.htm.

(責(zé)任編輯 沈蓉)

Inspiration of the Development and Features of Research Evaluation System in Australia

Zhao Yong1，2，Zhang Lingge1，Han Mingjie1，Li Chenying1
(1.Library of China Agricultural University，Beijing 100193，China；2.Institute of Scientific and Technical Information of China，Beijing 100038，China)

This article investigates the development of research evaluation system in Australia.The features and inspiration of excellence in research for Australia are analyzed，which involve evaluation target，evaluation content，evaluation methods，and evaluation expert selection，in order to provide a reference to improve research evaluation system in Chinese universities.

Research evaluation；Australia；ERA；High education institution

G323

A

2015-05-15

趙勇 (1980-)，男，吉林人，中國(guó)農(nóng)業(yè)大學(xué)圖書(shū)館副研究館員，中國(guó)科學(xué)技術(shù)信息研究所博士后；研究方向:科研評(píng)價(jià)。