文/宋艷輝 朱李 邱均平
2020年,教育部、科技部印發了《關于規范高等學校SCI論文相關指標使用樹立正確評價導向的若干意見》(以下簡稱《意見》),致力于破除“唯論文”“SCI至上”等盲目的學術崇拜之風。該《意見》的制定與實施推動了科技創新活動向高質量發展,對公正化、科學化、規范化的科研評價體系構建進行宏觀引導,有利于打造優良的學術生態環境。目前,我國尚未完全建立具有科學權威、公開透明的科研評價體系。鑒于科研評價的復雜性,以及政策驅動改革的重要性,本文擬從評價政策、評價主體、評價指標體系三個維度梳理我國科研評價制度的演變與變遷,探討其在建立科學的科研評價體系中的地位和作用,分析過度使用SCI指標來進行科研評價存在的弊端和“破五唯”背景下多元化科研評價體系構建的一些思考方向。
新中國成立以來,我國的科研評價制度先后經歷了制度的創立、變更以及被打破的過程。根據重大歷史事件的轉折影響作用,可將我國科研評價政策制度70年的演變大致分為四個階段。(1)發展階段(1949—1976年)。以政治評價為中心,以行政力量為主導,由相關部門推動科研評價的制度變遷。(2)調整階段(1977—1989年)。十一屆三中全會之后,我國全面進入改革開放時期,有關科研評價的研究工作逐漸走向正軌。(3)變革階段(1990—2001年)。國家開始實施“科教興國”戰略,積極探索具有中國特色的科研評價制度。(4)完善階段(2002年至今)。科研評價制度的發展更加快速與規范,為了與國際標準接軌,我國對科研評價政策進行了更加深入的改革,將關注點重新拉回“科研”本身,試圖建立一套以多元化創新為主的分類評價指標體系。
評價主體作為科研評價制度的組成要素之一,是指從不同的評價視角對學術研究成果進行價值判斷的行為主體,主要由期刊編輯、學術共同體、科研管理部門、評價中介機構以及社會公眾媒體等構成。其中,以學術共同體為主導的科研評價制度,其評價標準和評價結果相比其他評價主體更具權威性。評價主體目前的發展趨勢是:行政管理與學術管理間的界限變得更為清晰明確,科研評價的主體趨于多元化,且由政府主導評價慢慢向學界主導評價過渡,或是政府、同行評議和第三方評價機構組成的共同評價,以減少單一的評價主體所帶來的學術問題。
科研評價大致分為學科評價(學科專業排名等)、機構評價(中國大學排名等)和學術論文評價(論文引用、期刊質量等)。
(1)學科評價指標體系。一般認為,正式開展高等教育評估工作始于20世紀80年代。隨著本科生和研究生教育規模的不斷擴大,作為第三方非行政性機構的教育部學位與研究生教育發展中心加入專業評估行列中,其指標體系也不斷調整優化。區別于中央和地方政府、高校,學位中心作為評價主體,其評估特性具有非約束性,且重點關注學科建設的固有內涵。從2002年到2017年,其逐漸弱化“學術隊伍”指標,穩定“科學研究”指標,加強“學術聲譽”“人才培養”指標。推動學術評估走向國際化,提倡引進國際同行評議。
(2)大學評價指標體系。我國大學評價指標體系的發展演變大體可分為三個階段:①起步階段(1985—1992年),評價對象以國內重點大學為主,且偏重于理工類重點大學,評價指標數量較少;②發展階段(1993—1998年),評價對象新增了非重點大學,評價內容更為豐富,評價指標趨于多元化且有所偏重;③繁榮階段(1999年至今),第三方排名評價機構不斷涌現,出現了目前頗有影響力的幾個大學排行榜,如網大榜、校友會榜、中評榜、ARWU等,評價對象更全,指標分類更細,指標體系設置有很多共同之處,普遍是在教育投入、過程、產出這三個指標所組成的大框架下進行調整,形成各自獨具特色的指標體系。
(3)學術論文評價指標體系。1991年發布的《科學技術期刊管理辦法》,標志著我國建立期刊評價指標體系的發端。論文評價指標體系呈現以下特點與趨勢:①大部分評價機構設置的學術期刊評價指標,其內核是被引頻次、影響因子等,偏重于以引文為主導的核心期刊影響力評價,其數據來源為SCI、EI以及國內的CSCD、北大核心期刊目錄等;②多指標綜合評價方法克服了單指標評價結果的片面性;③中國知網發布的綜合影響因子和復合影響因子兩個新指標,促進了我國學術期刊評價體系研究的多元化發展。從論文評價指標來看,傳統的科研評價指標包括“論文數量”“總被引頻次”“篇均被引頻次”“期刊影響因子”等,已經無法滿足如今的科研需求,從而涌現出了一些新興的評價指標,如h指數、i10指數、RG因子、成功論文數量、Altmetric指數等。
最早,南京大學創新性地將SCI收錄的期刊作為科研水平的量化考核標準。之后,其他高校與科研院所紛紛效仿,也取得了一定的成效。但近十年來,在“唯SCI”背景下,科研評價體系遭到扭曲,表現出SCI標準的濫用和誤用,對我國科研工作的良性發展產生了負面影響。
國家自然科學基金(NSFC)作為提高科研創新水平的主要推動力,其基金的投入幅度也在不斷增長,而SCI論文作為衡量科研人員學術水平和科研能力的重要指標,它的產出及國際影響力同樣成為了NSFC資助效益的重要評價指標,甚至沒有SCI論文,國家自然科學基金就很難順利結題,SCI越多,基金結題就越容易獲得優秀。我們比較分析了2005—2019年我國科研人員發表NSFCSCI論文和非NSFC-SCI論文的數量后發現:2005年(341篇)、2006年(253篇)和2007年(320篇)NSFC-SCI論文數量偏少的原因在于Web of Science數據庫(WOS)正式標注論文的基金資助始于2008年,此后的十年間,NSFC-SCI論文數量逐年增加,高水平的科研產出占比也在逐漸提升。同時,受到國家自然科學基金委的制度改革以及建設高水平大學的潛在影響,與非NSFC-SCI發文量的差距逐漸拉大。但僅以論文作為唯一評價指標很難全面反映自然科學基金的資助效益。
通過對2005—2019年NSFC-SCI與非NSFC-SCI的人均論文數進行統計后發現,非NSFC-SCI人均論文數的波動幅度相對較大,NSFC-SCI論文除了2005年、2006年、2007年WOS基金資助的作者人數不完整,與后續年份相差較大外,基本呈現出穩步上升的趨勢,說明獲得NSFC資助對人均SCI論文數量驅動并不明顯。進一步對結果進行Wilcoxon signed-rank檢驗,可判斷科研人員在是否受到NSFC資助的情況下,兩類SCI論文之間的發表差異。經檢驗,二者之間無顯著性差異。雖然基金資助在人才培養、高校發展、科技創新成果等方面發揮了巨大作用,但單從人均SCI發文量來看,NSFC的資助效益并不是很高。
本文還比較分析了2016—2019年國家重點研發計劃——“納米科技”重點專項資助產出情況,結果顯示,91.98%的項目論文發表在了SCI所收錄的期刊上,國內發表的論文僅占8.02%,而由“納米科技”重點專項資助的SCI論文數量在2018年達到高峰(59.81%),造成如此不平衡現象的原因正是“唯SCI”導向。
本文統計了中國SCI論文數量年代分布以及年增長率。2005—2019年間,我國學者共發表了3,153,470篇SCI論文,數量從緩慢增長(2005—2010年)轉向快速增長(2011—2019年)。
從年增長率的統計結果來看,SCI論文數量由2010年的13.4萬篇增長到2019年的46.5萬篇,增幅達3.47倍。相比之下,美國的論文產出增長速度相當緩慢,由2010年的28.3萬增長到2019年的36.8萬,增長了30%。然而,中國SCI論文的這種野蠻增長并不是良性的,需要自上而下的政策加以引導。2013年以前,每年SCI論文的增長速率并不穩定,一般在15%~20%之間波動。2013年,五部委修正并頒布了《關于加強基礎研究工作的若干意見》,提出了科研評價工作的改革方向。同年5月,教育部、科技部聯合發文,不再以SCI作為評價大學排名和科研水平高低的依據。2017年,教育部、財政部、國家發展改革委制定了《統籌推進世界一流大學和一流學科建設實施辦法(暫行)》。這些政策因素對SCI論文的增長有很大的影響,2013年開始,年增長率開始出現下滑,一直到2017年,年增長率又開始出現迅猛增長,這跟2013年與2017年的重要政策關系很大。同時根據近幾年的增長勢頭,如果不加以引導,SCI論文增長很可能陷入一種失控的局面。
而國內SCI論文分布年增長率逐年下滑。2005—2019年,SCI發文總數共335,859篇,歷史最高發文量(25,786篇)出現在2014年。據統計,2010—2014年,我國發表的SCI高被引論文共8,172篇;2015—2019年,我國發表的SCI高被引論文數量增長了153%,而在國內期刊發表的僅占幾十篇。從年代-數量分布來看,國際論文被引用次數排名世界第二,但國內SCI期刊發表的高被引論文數量與之相差懸殊。雖然將論文發表在國際頂尖學術期刊上,可以讓更多的國際同行更快地了解到我國的最新科研成果,但“本土”SCI期刊發表的高被引論文數量卻寥寥無幾,甚至出現了負年均增長率,使得國內期刊的論文質量提升緩慢。
本文總結了我國每5年的SCI論文被引次數的世界排名情況。自2011年起,中國SCI論文被引頻次的排名一路攀升。2005年至2019年,科研人員發表的335,859篇SCI國際論文共被引用了366.57萬次,被引頻次目前僅次于美國,國際排名第二??偙灰螖蹬cSCI論文數量呈現正相關關系。以篇均被引率大于10作為篩選條件,2016年,我國SCI論文的篇均被引率為8.68,之后雖然處于不斷上升階段,但仍舊落后于其他國家,在世界排名中是偏低的,在22個SCI論文的主要產出國中,我國僅排在第16位。至2020年,我國論文的篇均被引率(10.92)與世界平均值(12.68)相比,還是有很大差距的。
將SCI引入科研評價體系,尤其是一定程度上存在的“唯SCI”評價導向,對中國科研環境產生了較大影響:SCI發文量與被引量的增長,或許正是由于一系列獎勵機制發揮了潛在作用。以南京大學為例,2005—2019年,南京大學在SCI期刊中的總發文量為118,775篇,在國內各大高校中排名第一,其中高被引論文占比0.44%。2012—2019年屬于南京大學SCI論文發表的高產階段,部分原因可能是在此期間試行的新SCI獎勵政策引導和激勵了科研人員多發SCI論文。
2012年以后,SCI論文數量的增長較為明顯,高被引論文的數量增長也更為明顯;但從篇均被引率來看,2010年以來篇均被引率逐年變低。在數量逐年攀升的同時,篇均被引率逐年變低,只能說明其在過度追求數量而忽視質量,這恐怕跟“唯數量”而忽略質量的評價體系關系莫大。
本研究依據科學網重要博主武夷山、劉立等學者發布在“科學網”上關于科研評價指標的在線評論信息,運用網絡分析法對“破五唯”背景下的評價改革方向進行量化測度。從文本熱詞的權重分析結果,可以看出眾多學者關于“唯SCI”,如何達到“破SCI”這一過渡階段的想法眾多,其中“指標”“人才”“制度”“期刊”“論文”“SCI”“創新”等詞匯在這些評論文本中出現頻率較高。本文針對這些高頻詞匯進行分析研究,在此基礎上,結合上文的分析結論,提出了一些促進構建高效科學評價體系的建議。
第一,打破“以刊評文”“獎勵驅動”的現狀。從上文的評價制度梳理情況來看,在自然科學領域,目前我國的學術共同體、科研管理部門、第三方評價機構大多把SCI作為重要甚至唯一的評價標準。不僅如此,在學科評價指標體系、大學評價指標體系以及學術論文評價指標體系中,只有在SCI、CSSCI、SSCI、A&H等數據庫所收錄的期刊上發表過一篇以上的論文,才算基本完成了科研績效的指標,不在其中發表的論文都不能被納入評價績效,這種“以刊論文”的情況使得國內高校的評價體系有著很大的弊端。而且,國際頂尖期刊的論文版面費往往非常高,一些期刊出版商會因為自身利益的沖突,而去降低其收錄標準。要想打破這種不利的狀況,必須改變目前“以刊評文”的現狀,期刊評價的內核依舊是其刊載論文的質量,需以此來反映學術期刊真正的辦刊水平,并對期刊采取一些改革措施來提高其吸引更多高水平論文的能力。
第二,引入多元化的評價指標。為了改變不合理的學術評價制度,力戒學術浮躁之風,一系列政策相繼出臺,引導調整各個評價指標,如不能過分依賴影響因子。同時,“破五唯”并不意味著全盤否定論文、專利、獎勵、項目等評價科研工作的主要維度,如可以在SCI數據庫已有指標的基礎上,增加一些重要的輔助性指標,如期刊影響因子四分位數和不包括自引的引文數。還可以引入其他的評估方式:專家學者在新時代的社交媒體做出貢獻的信息數據;科研人員所著的數字化書籍對普通人群的影響力;專家學者工作中的教學部分以及資深科學家對青年科學家的監督和指導等。
第三,完善科研評價制度。如何從行政性評價轉變為社會性評價,如何促進學術創新,這將是我國未來科學評價體系的改革重心。與其重新探索、建立讓學術界認同的評價制度,專家評審/同行評議制度還是存在一定改進空間的,比如在評審過程中,新增論文內容分享和雙向互動討論環節,將研究成果有效地展示出來。破而后立,破除“唯SCI”不代表完全否定SCI指標的價值,相反地,要符合中國的科研特點,將SCI指標與同行評議相結合起來,適時開展綜合評價,這樣既削弱了SCI在科研評價制度中的地位,又能夠很好地把握我國未來的科研評價方向。