文獻(xiàn)計量在科研團(tuán)隊學(xué)術(shù)影響力分析中的實踐與思考
——以凍土工程國家重點實驗室為例

李 娜，賈筱景，毛文梁，馬建霞

（1.中國科學(xué)院西北生態(tài)環(huán)境資源研究院文獻(xiàn)情報中心，蘭州730000；2.華南理工大學(xué)圖書館，廣州510000）

0 引 言

學(xué)術(shù)影響通常是指在學(xué)術(shù)方面產(chǎn)生的影響，包括對人和對相關(guān)學(xué)術(shù)專業(yè)的理論和實踐等的影響［1］。加拿大人文與社會科學(xué)聯(lián)合會于2017年發(fā)布報告《評估人文與社會科學(xué)影響力的途徑》中強調(diào)，對學(xué)者或科研團(tuán)隊影響力的評價研究，一直以來都是科研管理和科研學(xué)術(shù)評價領(lǐng)域研究熱點，也是科技評估實踐中的難點。我國的科研評估工作始于20世紀(jì)70年代末期，隨著獎勵政策、晉升制度與其掛鉤，SCI量化評估指標(biāo)逐漸成為衡量國家級科研機構(gòu)（如國內(nèi)的大學(xué)和中國科學(xué)院）、科研團(tuán)隊（國家級科研機構(gòu)下屬的各研究單元）和科學(xué)工作者學(xué)術(shù)水平最重要的、甚至唯一的標(biāo)尺［2］。現(xiàn)階段我國科學(xué)研究的規(guī)模和專業(yè)性與日俱增；與此同時，國內(nèi)“不唯SCI”的呼聲不斷。在這種形勢下，對于已經(jīng)完成和正在進(jìn)行的各種紛繁復(fù)雜的科研工作及其大量科研產(chǎn)出，單靠組織專家評審方式開展定性考量很難達(dá)到公正而高效的評估效果。

在過去的10多年內(nèi)，國內(nèi)外有不少相關(guān)研究從發(fā)展評估指數(shù)、構(gòu)建評估模型等角度出發(fā)，探索更為精準(zhǔn)的評估和預(yù)測學(xué)術(shù)影響力的新方法［3-11］。然而，在這些工作中多偏重指標(biāo)計算與評價體系的理論研究［12-13］，應(yīng)用時存在執(zhí)行困難、效果欠佳等缺點［14］。2016年5月習(xí)近平總書記在“科技三會”上明確指出，要改革科技評價制度、建立分類評價體系［15］。2018年6月中國科技部發(fā)布“關(guān)于加強國家重點實驗室建設(shè)發(fā)展的若干意見”中指出，要大幅提升國家重點實驗室的原始創(chuàng)新能力、國際學(xué)術(shù)影響力等［16］。合理評判一個國家重點實驗室科研團(tuán)隊的學(xué)術(shù)影響力，在團(tuán)隊自我診斷與管理導(dǎo)向方面均具有實際意義。當(dāng)然，任何一個評估體系的建立需要經(jīng)歷一個較長期的實踐與反復(fù)修正過程。文獻(xiàn)計量作為一種相對客觀、操作性強的方法，被廣泛地應(yīng)用于科研績效評估領(lǐng)域。實際應(yīng)用中，通常是采用文獻(xiàn)計量學(xué)指標(biāo)來量化并分析某一科研團(tuán)體的發(fā)文質(zhì)量與影響力［17-18］。在評價科研工作者及科研團(tuán)隊的工作中，盡管文獻(xiàn)計量學(xué)指標(biāo)的適用性會因評價對象和評價尺度的不同而有差別［19］，但是從現(xiàn)實條件出發(fā)，文獻(xiàn)計量指標(biāo)和方法在定量評估中仍具有其獨特的客觀、明確、可對比性高等優(yōu)勢［20］。

每個科研團(tuán)隊均有其自己的學(xué)科與研究特點，尤其是基礎(chǔ)研究，作為高新技術(shù)發(fā)展的源頭，其高水平的論文一向是他們最主要的研究成果產(chǎn)出，也是文獻(xiàn)計量統(tǒng)計的主要數(shù)據(jù)源。國家重點實驗室評估是基礎(chǔ)研究同行評議中最為復(fù)雜的一類評價工作，所遵循的評估主要原則是定性與定量指標(biāo)有機結(jié)合［21］。本文以國內(nèi)凍土研究領(lǐng)域最為著名的團(tuán)隊——中國凍土工程國家重點實驗室為例，通過細(xì)分可覆蓋整個凍土領(lǐng)域的4個研究分支（凍土工程、凍土力學(xué)、凍土環(huán)境和凍土物理），并利用文獻(xiàn)計量的方法，從學(xué)科領(lǐng)域和研究分支的角度對比分析了該科研團(tuán)隊的學(xué)術(shù)影響力及其隨年份的演化趨勢。研究與實踐的嘗試可為評估工作的定量信息分析提供具體數(shù)據(jù)支持，也可作為科研團(tuán)隊未來學(xué)科發(fā)展與建設(shè)的參考依據(jù)。

1 數(shù)據(jù)來源與研究方法

分析數(shù)據(jù)均來自Web of Science數(shù)據(jù)庫核心合集，利用DDA（Derwent Data Analyzer）文獻(xiàn)計量專業(yè)分析軟件以及office Excel進(jìn)行數(shù)據(jù)處理。整個數(shù)據(jù)集中的文獻(xiàn)類型限制為ARTICLE、REVIEW、LETTER和MEETING （proceedings paper/Article： proceedings paper）四種且均為SCIE/CPCI收錄論文的題錄信息。

根據(jù)《凍土學(xué)辭典》中表達(dá)凍土研究的關(guān)鍵詞進(jìn)行檢索，將檢索到的凍土學(xué)研究領(lǐng)域研究論文的題錄信息作為基礎(chǔ)數(shù)據(jù)集。合并Abstract（Phrases）、Keywords （author＇s）和Title （Phrases）這3 個字段并咨詢領(lǐng)域權(quán)威專家，將整個凍土研究數(shù)據(jù)集按照關(guān)鍵詞控制檢索，劃分為如表1所示的4個研究方向，最終形成用來分類分析的子數(shù)據(jù)集。

表1 凍土領(lǐng)域4個研究分支控制關(guān)鍵詞表

2 應(yīng)用實踐與分析

凍土工程國家重點實驗室是凍土領(lǐng)域知名的科研團(tuán)隊，研究中利用以上收集并分類的整個凍土領(lǐng)域的發(fā)文數(shù)據(jù)，采用文獻(xiàn)計量的方法從不同角度挖掘整個團(tuán)隊在該領(lǐng)域的學(xué)術(shù)表現(xiàn)，從整體（學(xué)科領(lǐng)域）到局部（研究分支）的角度全面分析團(tuán)隊的學(xué)術(shù)影響力。

2.1 從學(xué)科領(lǐng)域看科研團(tuán)隊的學(xué)術(shù)影響力

文獻(xiàn)計量學(xué)常用數(shù)據(jù)源通常來自多學(xué)科的大型數(shù)據(jù)庫，從數(shù)據(jù)庫中提取的常規(guī)指標(biāo)最合適的評價對象是宏觀層面上的國家級科研機構(gòu)（例如國內(nèi)的大學(xué)和中國科學(xué)院）［19］。然而，凍土工程國家重點實驗室是以其所依托上級機構(gòu)中國科學(xué)院在大型數(shù)據(jù)庫中進(jìn)行分類統(tǒng)計。對于評價如此一個“小”的科研團(tuán)隊來說，從宏觀層面獲取的分析結(jié)果的分辨率顯然無法精確地反映出“小”團(tuán)隊在相應(yīng)的學(xué)科領(lǐng)域的真實學(xué)術(shù)影響力。為了呈現(xiàn)“小”團(tuán)隊在“大”領(lǐng)域中的研究實力，首先以“相似規(guī)模且研究領(lǐng)域相對集中”的原則將國際上的科研機構(gòu)細(xì)分成相對獨立的科研團(tuán)隊（或研究單元，即每個國家級科研機構(gòu)下屬的某個實驗室、研究所、研究中心或者院系等），然后將這些具有類似規(guī)模的科研團(tuán)隊作對比分析，最終獲得我國凍土工程國家重點實驗室在這個科研團(tuán)隊群中所處的具體位置。

某一時間段內(nèi)科研團(tuán)隊在相關(guān)學(xué)科領(lǐng)域發(fā)表的論文數(shù)量，在一定程度上可以作為一個指標(biāo)來量化該團(tuán)隊對本學(xué)科領(lǐng)域所產(chǎn)生的學(xué)術(shù)影響力。因此，在表2中首先列出了2013～2017年5年間我國凍土工程國家重點實驗室以及與國際上其具有類似規(guī)模的科研團(tuán)隊在凍土領(lǐng)域發(fā)文量TOP10的排名情況。

表2 凍土研究領(lǐng)域發(fā)文量TOP10科研機構(gòu)（2013～2017）

數(shù)據(jù)顯示最近的5年間中國凍土工程國家重點實驗室在本領(lǐng)域的發(fā)文量（251篇）最多，且遠(yuǎn)遠(yuǎn)超出排名第2的亥姆霍茲極地海洋研究中心（169篇），說明了凍土工程國家重點實驗室的研究實力在凍土領(lǐng)域占有絕對優(yōu)勢地位；通過細(xì)分科研團(tuán)隊后，屬于阿拉斯加費爾班克斯分校的3個團(tuán)隊（國際北極研究中心、地球物理研究所、生物學(xué)及野生動物系）從宏觀層面的分析中成功剝離出來，以獨立的個體呈現(xiàn)出了各自在該學(xué)科領(lǐng)域的學(xué)術(shù)地位。然而，僅從發(fā)文量這一指標(biāo)來描述一個科研團(tuán)隊的學(xué)術(shù)影響力具有明顯的局限性，主要原因是發(fā)文量參數(shù)無法提供發(fā)文質(zhì)量的信息。科研團(tuán)隊發(fā)表的論文質(zhì)量可用論文的被引次數(shù)（可表征被本學(xué)科領(lǐng)域其他團(tuán)隊對其的關(guān)注度）這一指標(biāo)來量化。因此，進(jìn)一步分析了發(fā)文量TOP10的各科研團(tuán)隊的篇均被引頻次和被引頻數(shù)大于10的發(fā)文數(shù)量占總發(fā)文量的比例（以下稱為“高被引論文比例”），并將這兩個參數(shù)同樣呈現(xiàn)在表2中。需要注意的是，盡管凍土工程國家重點實驗室的發(fā)文量在凍土領(lǐng)域占有絕對優(yōu)勢地位，該團(tuán)隊對應(yīng)的篇均被引頻次和高被引論文比例這兩個表征發(fā)文質(zhì)量的指標(biāo)在這10個團(tuán)隊中卻處于最低水平；相反，發(fā)文量排名靠后的阿拉斯加費爾班克斯分校生物學(xué)及野生動物系（排名第8）和美國橡樹嶺國家實驗室（排名第9）的被引頻次和高被引論文比例均處于較高水平。由此可見，若想精確把握諸如凍土工程國家重點實驗室的科研團(tuán)隊在其學(xué)科領(lǐng)域的影響力，首先要將研究相對集中的科研團(tuán)隊單獨從國家級科研機構(gòu)中提取出來，然后與類似規(guī)模的團(tuán)隊群進(jìn)行比較。這種分析方法有效地避免了不對等科研機構(gòu)間的不公平對比。除此之外，在分析可表征學(xué)術(shù)影響力的指標(biāo)時，單一指標(biāo)往往具有很大的局限性和不確定性，再一次強調(diào)了今后的分析工作中研究成果的質(zhì)和量之間的權(quán)衡考慮在獲得精準(zhǔn)評估結(jié)果的重要性。

2.2 從研究分支看科研團(tuán)隊的學(xué)術(shù)影響力

在學(xué)術(shù)影響力的評價中，不同學(xué)科領(lǐng)域及其分支方向都有其獨特之處，“大同行”與“小同行”不可同日而語的現(xiàn)象比比皆是；把不同的研究分支放在一起用同一個尺度去衡量更不科學(xué)；非同一研究分支的團(tuán)隊通過傳統(tǒng)的文獻(xiàn)計量指標(biāo)的統(tǒng)計計算當(dāng)然也無法準(zhǔn)確地反映其在“大”學(xué)科領(lǐng)域的學(xué)術(shù)影響力。雖然WOS數(shù)據(jù)庫中已經(jīng)對期刊學(xué)科類別做了細(xì)致的區(qū)分，但考慮到期刊的綜合性以及學(xué)科的特點與交叉的紛繁，在實際執(zhí)行當(dāng)中卻很難利用。為了恪守文獻(xiàn)計量學(xué)評價中“同類相比”的基本原則［22］，本工作嘗試性的將涵蓋凍土研究領(lǐng)域的4大分支——凍土工程、凍土力學(xué)、凍土環(huán)境（災(zāi)害）、凍土物理（熱力學(xué)、構(gòu)造等），分別進(jìn)行統(tǒng)計分析，分析結(jié)果如表3所示。

表3 凍土研究領(lǐng)域4大分支方向發(fā)文量優(yōu)勢科研機構(gòu)（2013～2017）

在對分析結(jié)果進(jìn)行描述之前，需要強調(diào)的是，對于特定的一個科研團(tuán)隊，4個研究分支的發(fā)文量之和遠(yuǎn)遠(yuǎn)大于其在“大”學(xué)科領(lǐng)域分析的總的發(fā)文量（例如2013～2017年間我國凍土工程國家重點實驗室在4個研究分支的發(fā)文量之和為589篇，而在凍土領(lǐng)域的總發(fā)文量為251篇［見表2］）。導(dǎo)致兩者不同的主要原因是在研究分支層面進(jìn)行分析時，有些論文同時被劃分在不同的研究分支中。僅從2013～2017年間年的發(fā)文量來看，最近5年我國凍土工程國家重點實驗室和俄羅斯莫斯科羅蒙諾索夫國立大學(xué)地質(zhì)與地理系在4個研究分支的學(xué)術(shù)影響力均處于明顯優(yōu)勢地位（這一結(jié)果與在“大”領(lǐng)域分析的結(jié)果類似，見表2），且在這4個分支投入的研究力量相對均衡；需要指出的是，從大領(lǐng)域分析層面發(fā)文量排名第2的阿爾弗雷德魏格納研究所暨亥姆霍茲極地海洋研究中心（AWI）、排名第5的阿拉斯加費爾班克斯分校地球物理研究所和排名第6的加州大學(xué)伯克利分校勞倫斯伯克利國家實驗室，研究方向主要分布在凍土力學(xué)、凍土環(huán)境和凍土物理這3個分支，而對于凍土工程（幾乎）沒有涉及；排名分別為第4的阿拉斯加費爾班克斯分校國際北極研究中心和第8的生物學(xué)及野生動物系、排名第7的瑞典斯德哥爾摩大學(xué)Bolin氣候研究中心，研究方向（幾乎）沒有涉及到凍土工程和凍土物理；排名第9的美國橡樹嶺國家實驗室和第10的美國科羅拉多大學(xué)環(huán)境科學(xué)聯(lián)合研究院國家雪冰數(shù)據(jù)中心，研究方向主要分布在凍土環(huán)境這一分支。除此之外，4個分支在總體發(fā)文量方面差異也相對明顯：凍土環(huán)境分支的論文產(chǎn)出最多，排名前10的團(tuán)隊發(fā)文量都在50篇以上且有2個團(tuán)隊過100篇；其余3個分支的發(fā)文相對較少，尤其是凍土物理方向，發(fā)文量在10篇以上的科研團(tuán)隊只有6家。通過引文分析所呈現(xiàn)的不同分支的研究成果被同行的關(guān)注程度（均篇被引頻次和高被引論文比例，見表3）可以發(fā)現(xiàn)：我國凍土工程國家重點實驗室在4個研究分支中，具有相對較好學(xué)術(shù)影響力的是凍土工程分支，其次為凍土物理分支。從整體上來看，凍土工程領(lǐng)域的整體發(fā)文量、被引頻次以及高被引論文比例都低于其他3個研究分支。這一結(jié)果揭示了在國際凍土領(lǐng)域中凍土工程是相對較弱的一個分支，當(dāng)前推進(jìn)該分支的中堅力量來自我國凍土工程國家重點實驗室團(tuán)隊。

綜上所述，研究分支的細(xì)分可以讓不同的科研團(tuán)隊在自身相對優(yōu)勢的研究方向內(nèi)進(jìn)行對比，一定程度上削弱了研究方向差別帶來的干擾，更準(zhǔn)確地展現(xiàn)研究團(tuán)隊之間的真實差異，客觀公平地呈現(xiàn)團(tuán)隊在對應(yīng)研究方向的學(xué)術(shù)影響力。

2.3 從發(fā)文期刊看科研團(tuán)隊學(xué)術(shù)影響力的演化趨勢

期刊影響因子（IF）是美國SCI創(chuàng)始人加菲爾德（E.Garfield）率先提出并且已經(jīng)得到廣泛應(yīng)用的一項期刊定量評價的重要指標(biāo)［23］，雖然在評價領(lǐng)域存在很多爭議，但它依然是評價論文質(zhì)量的一種直接有效的定量指標(biāo)。實踐中，人們無法完全利用定量的方法來衡量某篇論文或某些論文的學(xué)術(shù)成就，但是如果分析在特定時期內(nèi)某一科研團(tuán)隊發(fā)文期刊的IF隨年份的演化規(guī)律，是可以在一定程度上反映該團(tuán)隊在學(xué)科領(lǐng)域的學(xué)術(shù)影響力的動態(tài)演化。

圖1 凍土工程國家重點實驗室在2013～2017年間發(fā)文質(zhì)量變化趨勢

3 結(jié)論與討論

對科研團(tuán)隊學(xué)術(shù)影響力的客觀評估必須結(jié)合同行評議和定量分析兩種方式。文獻(xiàn)計量分析可以作為同行評議的一種補充，只要分析尺度把握合理，專業(yè)學(xué)科方向精確細(xì)分，分析呈現(xiàn)角度靈活處理，就可以將文獻(xiàn)計量方法有效地利用起來，為學(xué)術(shù)影響力評估提供可靠的數(shù)據(jù)支撐。

本研究以我國凍土工程國家重點實驗室以基礎(chǔ)研究為主的“小”科研團(tuán)隊為例，用傳統(tǒng)的文獻(xiàn)計量方法從不同角度嘗試了如何展現(xiàn)一個科研團(tuán)隊的學(xué)術(shù)影響力：從全球大學(xué)科領(lǐng)域全面把握一個科研團(tuán)隊的總體發(fā)文情況以及在具有類似體量研究單元群之間的國際位置；再通過關(guān)鍵詞控制進(jìn)行具體學(xué)科分支方向的劃分，細(xì)致對比分析出科研團(tuán)隊在大學(xué)科領(lǐng)域中不同研究分支的優(yōu)勢；從團(tuán)隊整體發(fā)文期刊水平的變化，動態(tài)地評估了其學(xué)術(shù)水平在特定時期內(nèi)的發(fā)展演變趨勢。

在科研評價領(lǐng)域，學(xué)者們都在探討如何更好地展現(xiàn)學(xué)術(shù)影響力，但對于“學(xué)術(shù)影響力”尚無清晰且被廣泛接受的定義。學(xué)術(shù)工作本身形式多樣且領(lǐng)域交叉頻繁，定量評價中無法通過某個單一指標(biāo)或某組特定指標(biāo)反映其多樣性的學(xué)術(shù)影響力。雖然文獻(xiàn)計量的評估方法存在一定的局限性，但在現(xiàn)有的條件下，利用發(fā)文數(shù)據(jù)進(jìn)行評價無疑是一種相對客觀公平且易執(zhí)行的方法。如何更合理地利用這種方法來展現(xiàn)一個科研機構(gòu)或者科研團(tuán)隊的學(xué)術(shù)影響力，應(yīng)該根據(jù)其自身長期從事研究工作的學(xué)科特點來“量身定做”。

科研機構(gòu)和科研團(tuán)隊的學(xué)術(shù)影響力評估是一項非常具有挑戰(zhàn)性且支撐科研創(chuàng)新和科研管理的工作。在本文涉及的實踐中，領(lǐng)域?qū)＜以诜治鼋嵌鹊拇_定以及數(shù)據(jù)檢索的過程中都扮演著不可或缺的角色。從第三方評估的角度出發(fā)，在堅持公平公正原則的基礎(chǔ)上，根據(jù)評價對象的特點，充分利用現(xiàn)有的、易獲取且客觀的數(shù)據(jù)資源，探索操作性強且具靈活性和適應(yīng)性的評估方法，是該研究領(lǐng)域需要充分思考、共同努力的方向。