卓越導向的學術論文影響力評價框架構建

王建品 李超

【摘 要】文章首先分析了追求卓越作為學術論文影響力評價價值導向的必要性，并采用基于百分位指標用于學術論文影響力卓越水平評價的原理，提出構建“兩維度—三角度—兩方面”的學術論文影響力評價框架。該框架改進了傳統方法對學術論文總量和均量的衡量，主要采用百分位指標，強調對學術論文影響力卓越水平的評價。

【關? 鍵? 詞】卓越導向;學術論文評價;影響力;百分位指標

【作者單位】王建品，商丘師范學院信息技術學院;李超，華中科技大學外國語學院。

【基金項目】國家社會科學基金重大項目“構建中國話語權的評價科學理論、方法與應用體系研究”（18ZDA325）;河南省高等學校重點科研項目“河南省高校科技發展指數研究”（22A870003）;商丘師范學院科研啟動經費資助項目（7001/700227）。

【中圖分類號】G312 【文獻標識碼】A 【DOI】10.16491/j.cnki.cn45-1216/g2.2022.04.021

學術論文影響力評價和許多科研評價工作一樣，評價的價值取向、指標和方法須根據政策目標與需求、技術條件等不斷調整與完善。當前，如何通過改進評價體系提高我國學術論文的影響力水平是一個重要問題。基于此，本文研究并設計了以追求卓越為價值導向的學術論文影響力評價體系，以期適應國家科技政策及科研環境的變化對學術論文評價的要求，為科技評價改革提供決策支持和理論依據。

一、學術論文影響力評價的卓越價值導向

學術論文是科學研究成果的主要載體，其國際影響力是高水平學術質量的核心表征之一，對提升國家的科技競爭力及增強國際話語權具有重要意義。然而，當前中國學術論文影響力與世界一流水平還有一定差距，且論文評價主要以數量為價值導向，過于看重論文的數量而非質量，這成為中國學術卓越發展的一項阻礙[1]。2014年，中科院學部主席團發布《追求卓越科學》宣言;2020年以來，《關于規范高等學校SCI論文相關指標使用樹立正確評價導向的若干意見》《關于破除科技評價中“唯論文”不良導向的若干措施（試行）》《關于完善科技成果評價機制的指導意見》等文件相繼出臺，為學術成果評價改革指明了方向。

卓越導向的科研評價是當前世界各國科技評價領域的重要話題，受到學界廣泛而持續的關注。20世紀80年代以來，多數國家的教育領域紛紛實施面向卓越計劃的項目，以此促進國家教育和科研競爭力的提高，如英國的“卓越科研評估框架”、德國的大學卓越計劃、法國的“卓越大學計劃”、澳大利亞的“卓越科研評估”、芬蘭的“研究卓越中心”等[2]。中國自1995年實行的“211工程”、“985工程”和“雙一流”建設以資助一批高水平大學的建設，追求學術和教育的卓越，獲得了人才和科技資源的競爭優勢。

學術論文影響力評價實質上是對學術論文的價值進行判斷，具有一定的社會屬性。社會發展階段不同，其社會屬性則有所不同，學術論文的價值判斷標準也會不同[3]。因此，對學術論文的影響力進行評價，其核心問題就是根據社會的評價需求確定價值導向的問題。在當前科技政策及科研環境下，迫切需要建立新的學術論文評價體系，以引導我國的學術論文影響力在世界上取得更大進步。基于此，本文提出了學術論文影響力評價的卓越導向。

二、學術論文影響力評價的方法及指標

1.學術論文影響力評價的主要方法

學術論文影響力評價的方法主要有三種。同行評議，是用于保持質量標準、改進性能和提供可信度的重要方法[4]。但當有大量科研單元需要評估時，同行評議便會顯現其局限性，如高成本以及主觀因素難以控制。此時，基于引文分析的定量評價是最常用的評估方法，它通過文獻計量指標提供的定量信息能夠幫助專家做出更合理的評議，是同行評議方法的重要補充，特別是在宏觀或中觀層面，二者的結合使用將成為主流[5]。隨著社會環境、國家政策的改變，基于社交媒體數據的Altmetric指標作為一個全新的方法引入學術論文影響力評價之中。實質上，Altmetrics指標是文獻計量學與網絡技術相結合的產物，它的提出并回應了科技政策對科研影響力評價的需求及當前科學交流方式的變化。

2.學術論文影響力評價的主要指標

基于文獻計量的學術論文影響力評價主要基于以下幾個指標。一是總和類指標。這類指標的特點是計算簡單、意義直觀，從文獻計量指標發展的初始階段一直到現如今，此類指標仍在普遍使用，總發文量、總被引頻次是評價機構等的重要指標。因為論文的總量指標與論文的內容、發表時間、作者或機構等因素直接相關，而這些因素存在明顯的學科差異。為實現不同學科、不同類型和出版時間的文獻的對比，產生了一系列基于均值的標準化指標，如篇均被引頻次等。二是百分位指標。2011年，Bornmann等提出，由于引文的高度傾斜，應避免采用平均值的方法來實現領域的標準化，而提出采用百分位指標來衡量引用績效，并稱之為接近理想的方法[6]。之后，百分位方法很快得到了計量學界的關注。2013年，Fred Y. Ye和Loet Leydesdorff提出了在I3基礎上引入h指數，并考慮論文集合的發文和引文分布特征的h核發文指數、h核引文指數的學術評價指標體系[7]。該體系中的X1衡量的是論文集合的h核發文能力，Y1衡量的是論文集合的h核引文能力。

當前，基于科學計量學的學術論文影響力評價指標和方法取得了很大進展，這為本研究奠定了基礎、提供了思路，但在卓越性評價方面有待進一步深入研究。現有的學術論文評價主要基于傳統簡單的總量、均量指標，如基于被引頻次、期刊影響因子等，此類評價是了解評價對象影響力的常規內容，但無法詳細地了解評價對象的卓越性表現。而且，近年來百分位指標獲得了廣泛的關注和應用，其在學術論文卓越性評價中具有重要價值，然而相關研究較為分散，缺乏系統、有針對性的學術論文卓越影響力綜合評價研究。

三、學術論文卓越影響力評價框架

1.框架構建的基本原理

本文認為，就評價卓越性而言，可以將評價原理從“誰的平均水平更好”轉移到“誰最好”，這是由引文分布的不均衡性所決定的。Basu等根據一個國家高被引科研人員的數量，提出引文質量指數，結果發現該指數比傳統的篇均被引頻次更能夠揭示一個國家研究的卓越性[8]。Rodriguez-Navarro等研究了諾貝爾獎成果數量與各國和各機構傳統文獻計量指標之間的關系，發現將傳統均值類文獻計量指標作為研究卓越的指標是無效的[9]。可以看到，學術論文影響力的卓越水平應該在引文分布函數的上尾部顯現。因此，在卓越導向的影響力評價中，需要關注的是論文集合中引文分布的高端，而不是比較平均值或中位數。基于此，百分位指標自然就成為衡量學術論文影響力卓越水平的最重要指標。

2.框架構建的思路

學術論文影響力的評價分為單篇論文的影響力評價和集合層面論文影響力評價，本文的關注點主要是集合層面學術論文的影響力評價，即將各個論文集合作為不同的整體，對各論文集合整體的影響力進行評價和比較。這是微觀、宏觀和中觀學術評價的重要組成部分，如基于文獻計量的期刊、學者、機構、地區或國家的影響力評價都屬于此類評價。

構建框架時主要考慮兩點：第一，基于引用的學術論文集合的卓越影響力可以有兩個立腳點，一是整體的被引次數，如果某集合的總被引次數比較大，足以表明其卓越性;二是論文集合中高被引論文的數量或比例情況。第二，Web2.0時代的學術論文影響力內涵較Web1.0時代有了深化與發展，學術論文的影響力不僅要反映社會公眾對學術論文價值的認可程度，還要反映其對社會、經濟、教育等的影響。因此，學術論文卓越影響力評價中不僅應包括基于引用的學術影響力，還應包括基于Altmetrics指標的社會影響力。

3.框架及指標體系

根據評價的基本思路，本文從學術影響力、社會影響力兩個維度，整體影響力、頂級影響力、核心影響力三個角度，以及規模、效率兩個方面設計了卓越導向的學術論文影響力評價框架，在每個角度、每個方面都有相應的指標，如表1所示。

（1）整體影響力

整體影響力指的是被評論文集合中所有論文的影響力總水平。本文采用總被引頻次表示整體影響力的規模，采用百分位平均值表示其效率。其中，總被引頻次指某集合中所有論文被引頻次之和;百分位平均值指該集合中所有論文百分位數的平均值。這兩個指標均測度的是論文集合的整體影響力，總被引頻次反映了整體影響力的規模，百分位平均值反映了整體影響力的效率。

（2）頂級影響力

將所有被評價機構的所有論文按被引頻次從大到小排序，若某機構排在前面的論文數越多或比例越大，說明該機構論文集合影響力的卓越性越強。本文將論文集合中被引次數較高論文所反映的影響力稱為頂級影響力，采用被引次數較高的論文數量或比例來表示，即采用TOP百分位指標來衡量。因評價的需求不同，可以根據論文的百分位指標值將論文進行等級劃分。根據研究的目的，在相關研究的基礎上，本文將學術論文集合中的TOP 50按照等級進行展示，分為“TOP1”“TOP1-5”“TOP5-10”“TOP10-25”“TOP25-50”5個百分位等級，分別指代被引頻次排在TOP1%、TOP1%-5%、TOP5%-10%、TOP10%-25%和TOP25%-50%的論文。然后通過各等級中的論文數量和占比分別從規模和效率兩個角度進行分析，描述被評對象在各等級上的發展態勢和格局。

（3）核心影響力

通過頂級影響力可以對論文的卓越影響力進行分等級的分析和評價，但其劃分標準具有一定的主觀性，而且最后的評價結果不是一個確定的綜合指標。對此，本研究在借鑒前人研究基礎上提出了核心影響力指標。核心影響力是論文集合中那些最具影響力、最為重要的論文及其影響力，采用h指數衡量核心影響力的規模，h核發文指數和h核引文指數衡量核心影響力的效率。

在進行論文集合的影響力評價時，由于發文量和引文量較大，需要采用不同的評價指標給出不同角度的評價信息，但本文主要關心的是論文集合的卓越影響力，故可用h指數、h核發文指數X1和h核引文指數Y1進行評價，放棄h尾信息[10]。這里的h指數、h核發文指數X1和h核引文指數Y1是從h核的角度，并基于百分位的思想對學術論文卓越影響力進行評價，本文稱之為核心影響力評價，也是卓越影響力評價的角度之一。其中，h指數對影響力的測度關注的是重要論文的引用數量，這些高引用論文集合可能是被評價對象對科學進步影響最大的產出，可以稱之為“核心集合”。因此，h指數具有從規模角度測度核心影響力的能力。

但由于h指數在進行論文集合的核心影響力比較時，不考慮論文集合的規模，為消除規模差異，本文引進h核發文指數X1和h核引文指數Y1作為核心影響力的效率指標。從h核發文指數和h核引文指數的數學本質來看，它們分別衡量的是論文集合中h核發文和h核引文的相對分值，因此具有從效率角度測度核心影響力的功能。

（4）社會影響力評價指標的設計

由于本文的社會影響力評價是針對論文集合層面，考慮Altmetrics指標在實際應用中可獲取性等問題。本文認為，一個論文集合的社會影響力可以從兩個角度來評價。一是從整體角度，一方面表現為總體被提及次數多，另一方面表現為消除集合規模大小的不同，采用平均值的方法進行效率方面的比較。二是從頂級角度，顯示高分論文在各集合中的分布數量及比例。本文主要從整體和頂級兩個角度設計相應指標是合理的，因為在大多數論文社會影響力較低或無社會影響力的情況下，有影響力已經是一種卓越。本文集合層面學術論文影響力指標包括AAS、Mendeley讀者數、總提及次數、代表性指標，每種指標均從整體和頂級兩個角度來進行分析。

（5）單篇論文百分位指標的獲取

本文的單篇論文百分位指標采用的是InCite中每篇論文的“學科領域百分位”指標。在具體計算過程中，論文參照集合的選擇決定了單篇論文的百分位等級。InCite中的論文百分位指標是指某文獻在全球同學科、同出版年、同文獻類型的文獻集合中，按被引頻次從高往低排序所得到的位置，稱為“學科領域百分位”。盡管InCites數據庫的學科領域百分位在計算中由于學科分類等的誤差，還存在一定的不確定性，但對于百分位等級來說，其不確定性與參與評價的文獻數量之間成反比關系。也就是說，百分位的等級受參與評價的文獻數量的影響，參與評價的文獻數量越少，百分位等級的不確定性則越大。對于InCites數據庫來說，其內部的基礎數據主要來自WOS，因此學科領域百分位是依靠WOS平臺上的大量數據建立的，并對學科領域的百分位進行了標準化處理。

四、結語

本文嘗試構建卓越導向的學術論文影響力評價框架，摒棄了傳統方法對學術論文總量和均量的衡量，主要采用基于百分位的指標，兼顧學術影響力和社會影響力，聚焦對學術論文影響力卓越水平的評價，以期引導科研的卓越發展。隨著人工智能和信息技術的發展，學術論文卓越影響力評價可以考慮引用內容的相關信息，未來研究有待在此方面有所突破。

|參考文獻|

[1] 徐芳，李曉軒. 跨越科技評價的“馬拉河”[J]. 中國科學院院刊，2017（8）：879-886.

[2] 朱佳妮. 追求大學科研卓越：德國“卓越計劃”的實施效果與未來發展[J]. 比較教育研究，2017（2）：46-53.

[3] 索傳軍. 論學術評價的價值尺度：兼談“唯論文”問題的根源[J]. 中國社會科學評價，2021（1）：122-131+160.

[4] 王國豫，朱曉林. 同行評議與“外行”評議[J]. 科學學研究，2015（8）：1121-1126+1133.

[5] 邱均平，張裕晨，周子番. 新時代我國科研評價體系重構中必須處理好八大關系[J]. 中國圖書館學報，2021（1）：47-60.

[6] Bornmann L， Mutz R. Further Steps Towards an Ideal Method of Measuring Citation Performance： The Avoidance of Citation （Ratio） Averages in Field-normalization[J]. Journal of Informetrics， 2011（1）：228-230.

[7] Ye F Y， Leydesdorff L. The“Academic Trace” of the performance matrix： a mathematical synthesis of the h-index and the integrated impact indicator （I3）[J]. Journal of the Association for Information Science and Technology，2014（4）：742-750.

[8] Basu A. Using ISI' s "Highly Cited Researchers" to obtain a country level indicator of citation excellence[J]. Scientometrics， 2006（3）：361-375.

[9] Alonso Rodríguez-Navarro. Measuring research excellence： Number of Nobel Prize achievements versus conventional bibliometric indicators[J]. Journal of Documentation， 2011（4）：582-600.

[10] 薛霏，魯特·萊茲多夫，葉鷹. 學術評價的多變量指標探討[J]. 中國圖書館學報， 2017（4）：63-73.