國外學科科研績效評估指數的文獻回顧

單承偉 王 紅 張 蘇 楊毓麗

(大連理工大學圖書館，遼寧?大連 116024)

?

國外學科科研績效評估指數的文獻回顧

單承偉 王 紅 張 蘇 楊毓麗

(大連理工大學圖書館，遼寧?大連 116024)

目前很多學者利用RSI，AI，RCR，Specialization Intensity Index等指數從論文數量，引用次數，篇均引文量等指標分析某一研究國家(機構)學科排名情況。本文通過對學科科研績效評估指數的文獻回顧，分析了RSI，AI，RCR，Specialization Intensity Index等學科績效評價指數的適用性和不足。研究結果表明：在開展影響力評價時，學科績效評估不應僅僅是單一指標的比較，還應該遵循堅持同類相比的原則。

RSI，AI，RCR，Specialization Intensity Index；學科評估

如何為機構科研績效尋找有意義的評估方法，呈現本機構的研究績效現狀與發展趨勢，與其他機構間比較分析，以便更好地為學科發展提供依據是科研管理人員普遍關心的問題。很多學者利用RSI，AI，RCR，Specialization Intensity Index等一系列指數從論文數量、引用次數、篇均引文量等指標分析某一研究機構學科的排名情況。本文通過對學科科研績效評估指數的文獻回顧，以期為今后學科評估研究方法的發展提供借鑒。

1 RSI和AI指數

1.1 RSI指數

Balassa(1965)[1]提出了相對比較優勢指數Revealed Comparative Advantage index(RCA)算法，指的是某國家某學科論文比率與全球某學科論文的相對比率，也被稱為學科活躍性指數(Relative Specialization Index，RSI)，算法如下：

其中Pis是國家I在S學科發表的文章數，Pi是國家I在所有學科發表的文章數，Ps是全球在S學科發表文章總數，P是全球在所有學科發表的文章總數。RSI指數反映了某國家在某學科文章發表數量比較優勢。RSI取值在[0，∞]之間，RSI=0表明某國家在S學科領域研究為空白；當RSI取值[0，1]表明某國家在S學科不具有比較優勢；RSI=1表明某國家在S學科領域的研究等于世界平均水平；當RSI取值[1，∞]表明某國家在S學科具有比較優勢。

1.2 AI算法

Frame(1977)[2]同樣提出了利用某國家F學科論文比率與全球F學科論文的相對比率用以衡量學科發文績效的Activity Index(AI)算法，算法如下：

根據RSI和AI算法的定義可知，二者的計算方式相同。

盡管RSI和AI指數可以衡量某國的某學科發文相對指標，但是RSI和AI在實際統計過程中受到兩個因素影響：一個是某國家F學科論文比率與某國家所有學科論文相對比率值；一個是全球F學科論文比率與全球所有學科論文相對比率值，由于RSI和AI最大值是∞，造成了AI最大值是一個變量，所以利用AI指數只能進行同一時間，同一學科不同國家學科比較優勢的比較。

2 RCR及其衍生指數

2.1 RCR指數

Schubert(1986)[3]在AI指數的基礎上，進一步用學科被引頻次衡量機構科研績效，提出了Relative citation Rate(RCR)算法，算法如下：

其中，observed citation rate指的是某國家(機構)某學科實際被引頻次，expected citation rate指的是某學科平均被引頻次。RCR取值在[0，∞]之間，當RCR取值[0，1]時，表明某國家在F學科被引不具有比較優勢；RCR=1 表明某國家在某一學科領域的被引頻次研究等于所在領域的平均水平；當RCR取值[1，∞]時，表明某國家某一學科領域在學科被引具有比較優勢。Schubert盡管在AI指數的基礎上，用學科平均被引頻次對數據進行歸一化處理，但是由于不同學科不同年代平均被引頻次不一致，即有些學科的RCR最大值為10，有些學科的RCR最大值為100，學科基準線不一致，所以如果利用RCR指數將無從判斷不同時間，不同學科的學科被引績效的高低。

Mean observed citation rate指的是某國家(機構)某學科實際篇均被引頻次，expected citation rate指的是某學科平均篇均被引頻次。

VINKLER(1997)[6]在RCR指數的基礎上，又進一步提出了學科相對引用次數Relative Subfield Citedness(RW)：

其中P是文章數總數，c是文章被引次數，GFm是論文m所在期刊的影響因子。

對于RW指數的優點，VINKLER(1997)[6]引用Schubert(1986)[3]建立的分布間MOCR和MECR直接的關系圖(relational charts)加以解釋。Schubert(1986)在圖中取坐標軸X軸為expected citation rate，取y軸為expected citation rate，根據RCR定義，我們可以畫出一條經過(0，0)，傾斜角等于45°的斜線，當A位于斜線上方時，我們可以得出機構A的RCR>1，B位于斜線下方時，我們可以得出機構B的RCR<1，也是說通過直觀圖，我們可以清晰地看到MOCR與MECR的線性關系。

VINKLER(2012)[7]在Mean observed citation rate的基礎上，提出了基于期刊影響因子的RCR指數：

其中P是文章數總數，ci是發表的文章的被引次數，GFi是論文i所在期刊的影響因子。在這里RCR指數反映了某篇文章基于引用和期刊影響因子的比較優勢。盡管RW和RCR(2012)指數考慮了文獻的來源期刊的影響因子對文章質量影響力的評估，期刊影響因子個別評價可以為我們在評價文章論文質量時提供的另一種參考指標。但是RW和RCR指數只單純計算來源期刊的影響因子而存在沒有考慮該論文引用文獻對該論文影響力提升的缺陷。正如Moed所說[8]，文獻被聲望較高的期刊引用應較被一般期刊引用來得顯著，因此，應賦予聲望較高的期刊引用更多權重值。

De Bruin(1993)[9]將RCR變化為CPP/FCSm，稱之為Crown indicator指數。指數定義如下：

CPP/FCSm在2010同樣被Waltman[13]提出了質疑，他認為CPP/FCSm指數受學科平均引用數大小的影響，學科平均引用數越大，機構綜合學科指數越大。因此，他提出了MNCS指數：

CPP/FCSgroup A=(1000/100+4000/100)/(10+20)=1.67

CPP/FCSgroup B=(2200/100+2400/100)/(10+20)=1.53

MNCSgroup A=(1000/100/10+4000/100/20)/2=1.5

MNCSgroup B=(2200/100/10+2400/100/20)/2=1.7

表1 研究團隊A和研究團隊B的發文和引用情況

表2 CPP/FCSm指數和MNCS指數計算結果

由表2計算過程可以看出，根據CPP/FCSm算法Research group A的學科指數值高于Research group B，根據MNCS算法Research group A的學科指數值低于Research group B。

3 基于Percentile impact class的E(x)指數

Bornmann在World Report of the SCImago Institutions Rankings 2011報告中提出了Excellence Indicator這一概念，即同領域、同年份處于全球被引用前10%的論文可以被定義為高影響力論文(Excellence Indicator)。在此基礎上，Bornmann[17]提出了衡量一個機構影響力的百分位數的文獻計量指標方法E(x)指數：一個機構出版的文獻可以根據引用次數，分為6個等級：處于全球被引用前top 1%，處于全球被引用前99th-95th，處于全球被引用前95th-90th，處于全球被引用前90th-75th，處于全球被引用前75th-50th，小于全球被引用前50%。一個機構的E(x)指數定義為：

其中，E(x)是某研究機構績效，x為某等級序號，P(x)為某等級內文章頻次，k為等級數。

假設某研究機構A發表了156篇文章(見表3)，根據各篇文章的引用次數，位于6個等級的文章篇數分別為43，22，33，21，23，14。根據E(x)指數的定義：某研究機構A的績效為：

E(x)=1*(43/156)+2*(22/156)+3*(33/146)+4*(21/156)+5*(23/156)+6*(14/156)=3.1

通過對E(x)的計算可知，E(x)指數避開了利用算數平均數對不同領域的發文進行數據歸一化，也就是說避開了各學科研究特點不同，而導致引用行為存在差異。采用了百分比分類法(Percentile impact class)，因此不同學科，不同類型論文都可以根據所處學科被引頻次等級的高低進行分類，然后進行比較。Leydesdorff[18]認為：E(x)分類法不僅可以用來評價機構學科績效，而且可以用來評價期刊影響因子，作為Impact factor的補充。Rousseau[19]提出，基于6個等級的E(x)指數可以拓展為基于100的E(x)指數，即100th-99th為100，99th-98th為99，…2th-1th為1。ESI數據庫也是根據按被引頻次高低確定出衡量研究績效的閾值，分別排出居世界前1%的研究機構、科學家、研究論文。算法與Rousseau提出的基于100的E(x)指數計算方法一致。

然而，Schreiber[20]在利用E(x)指數進行計算時，發現其存在一個問題：假設某研究機構B的論文發表和被引情況如表4，通過計算，我們可以提出機構B的研究績效為1.9。現在再假設機構B某零被引文獻的被引次數增加1次(表4)，同時擴大數據的統計范圍，則百分比指數排名等級出現了變化，之前10篇被引1～5次的論文在百分比指數排名等級出現了下降，仍位于1級，則根據公式，機構B的研究績效為1.65。也就是說，在機構B發文數量不變，被引次數增加的情況下，其研究績效反而降低，從1.9降低到1.65。因此Schreibe[20]認為：E(x)指數受到數據統計范圍的干擾，從而使研究機構的績效統計出現不一致的情況。

表3 某研究機構B的論文發表和被引情況

表4 E(x)缺點(機構B的績效統計對比)

4 Specialization Intensity Index指數

Laursen(2000)[21]在RCR的基礎上又提出了將卡方檢驗(Chi square)作為RCR指數的進一步拓展，用以衡量經濟行業某個部門的專業化程度。所謂卡方檢驗，就是比較理論頻數和實際頻數的吻合程度或擬合優度問題，基本思路如下[21]：

其中A代表某個類別的觀察頻數，E代表期望頻數，A與E之差稱為殘差。由于偏差之和為0，所以需要對偏差進行平方。

Confraria(2015)[22]將卡方檢驗進行變換，稱之為Specialization Intensity Index(SII)，SII指數算法如下：

其中Xsi是國家i在s學科發表文章被引次數，∑sXsi是該全球在s學科發表被引次數總數，∑sXsi是國家i在所有學科發表文章被引次數總數，∑s∑iXsi是全球在所有學科發表文章被引次數總數。SII反映了某國家在i學科的文章影響力。SII具有以下優點：(1)不僅可以比較某個研究機構某個學科與世界上這個學科水平的差距，而且可以用來比較兩個機構某個學科水平的差異。(2)SII指數也可以用來比較某個機構某個學科在不同時間的學科水平。但是SII也存在以下缺點[23]：(1)SII對極值比較敏感；(2)SII值的大小又跟子集大小有關，子集個數越多，SII也會越大。假設有兩個分類變量X和Y，樣本數據如表5：

表5 SII計算舉例

根據計算公式，我們可以得到：

由此可見，由于卡方校驗的值SII受到n的影響，n越大，X2越大。

5 Yit指數

Pastor(2015)[24]提出了Yit指數，算法如下：

其中Yit代表某個機構i的t學科綜合評價指數，No.Documentsit指的是某機構學科發文數量，No.citationsperdocumentsit代表某個機構t學科篇均學科被引次數，No.citationsperdocumentswt代表全球t學科篇均學科被引次數，盡管Yit從學科發文和篇均被引兩個方面綜合評價了某機構學科的影響力，但是Yit存在數據標準化的問題：假設A機構學科發文篇Nat，總被引頻次Cbt次，B機構學科發文Nat篇，總被引頻次Cbt次，那么機構A，B的學科影響力哪一個大？根據Yit指數的定義，機構A，B的學科影響力分別為：

通過公式換算我們可以看出，A，B機構影響力Yit指數的不同為A，B機構總被引頻次的差值，由于總被引頻次受到機構規模以及學科的影響，即使對于同一學科，不同年代的學科篇均被引頻次也不同，因此Yit同樣無法比較不同機構，不同年代的學科影響力。

盡管以上各個學者從不同角度，利用不同方法對學科標準化指數提出了自己的觀點(見表6)，我們發現，學科標準化指數在設計上仍然需要考慮以下問題：

(1)學科標準化指數是否需要考慮文獻類型對文章引用次數的影響[25]。我們知道綜述由于能夠較全面地羅列相關研究主題文獻，詳盡地論述相關領域的進展及特點，它能使讀者快捷、全面地了解相關研究領域的研究水平和發展動態。所以，發表綜述類文獻引用率較高。因此，如何區分文獻類型對文章引用次數的影響是我們在設計學科評價指標時應考慮的一個問題。

(2)一個機構學科發文和引用次數受到機構規模的影響，因此計算機構學科影響力不僅需考慮引用次數，還需考慮規模。一個機構科研人員越多，每年發表的文章篇數可能越多，學科引用次數可能越多，RSI，AI，RCR指數值可能越高。因此在分析機構學科指數時，不應忽略學校規模對科研成果的影響，正如Glnzel[26]所說，學科績效評估不應僅僅是單一指標的比較，還應該遵循堅持同類相比的原則，需要對數據進行歸一化處理。

(3)僅僅以發文或者引文次數作為機構學科影響力的指標是否過于單一[27]。隨著網絡的發展，學術文獻的影響力已經不僅局限于某些數據庫的被引數據。社交媒體的出現，論文被廣泛地分享在科學博客、BBS論壇，維基百科、及其他社會媒體，因此，目前有學者利用全新的Altmetrics指標[27]：如Mendeley下載、tweet推薦、Facebook轉發，html view，PDF view等指標對機構學科影響力進行評價。隨著學術傳播模式的轉變，是拋棄傳統機構評價指標或是兩者配合使用，也是學者今后需要研究和討論的一個問題。

表6 學科科研績效評估指數的文獻回顧

表6(續)

6 結 語

隨著數字環境的發展，如何結合傳統以引用次數為主的學術評價方式，反映網絡環境下的學術影響力。希望藉由本文引發更多的學者投入機構評價研究，以發展出更多具有參考價值的相關論文。學術評價本來就不存在最好的方法，永遠只有相對參考價值。

[1]Balassa B.Trade Liberalisation and“Revealed”Comparative Advantage[J].The Manchester School,1965,33(2):99-123.

[2]Frame,J.D..Mainstream research in Latin America and the Caribbean[J].Interciencia,1977,(2):143-148.

[3]Schubert,A.,& Braun,T.Relative indicators and relational charts for comparative assessment of publication output and citation impact[J].Scientometrics,1986,9(5-6):281-291.

[6]Vinkler P.Relations of relative scientometric impact indicators.The relative publication strategy index[J].Scientometrics,1997,40(1):163-169.

[7]Vinkler P.The case of scientometricians with the“absolute relative”impact indicator[J].Journal of Informetrics,2012,6(2):254-264.

[8]Moed F.,H,E.De Bruin R,N.Van Leeuwen T.New bibliometric tools for the assessment of national research performance:Database description,overview of indicators and first applications[J].Scientometrics,1995,33(3):381-422.

[9]Bruin R E D,Kint A,Luwel M.A study of research evaluation and planning:the University of Ghent[J].Research Evaluation,1993:25-41.

[10]Lundberg J.Lifting the crown—citation z-score[J].general information,2007,(1):145-154.

[11]Colliander C,Ahlgren P.The effects and their stability of field normalization baseline on relative performance with respect to citation impact:A case study of 20 natural science departments[J].Journal of Informetrics,2011,5(1):101-113.

[12]Raan A F J V.Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups[J].Scientometrics,2006,67(3):491-502.

[13]Waltman L,Eck N J V,Leeuwen T N V.Towards a new crown indicator:An empirical analysis[J].Scientometrics,2010,87(3):467-481.

[14]Waltman L,Eck N J V,Leeuwen T N V.Towards a new crown indicator:Some theoretical considerations[J].Journal of Informetrics,2010,5(1):37-47.

[15]Leydesdorff L,Opthof T.Remaining problems with the“New Crown Indicator”(MNCS)of the CWTS[J].Journal of Informetrics,2011,5(1):224-2.

[16]Opthof T,Leydesdorff L.Caveats for the journal and field normalizations in the CWTS(“Leiden”)evaluations of research performance[J].Journal of Informetrics,2010,4(3):423-430.

[17]Bornmann L,Mutz R.Further steps towards an ideal method of measuring citation performance:The avoidance of citation(ratio)averages in field-normalization[J].Journal of Informetrics,2011,5(1):228-230.

[18]Leydesdorff L,Bornmann L.Integrated impact indicators compared with impact factors:An alternative research design with policy implications[J].Journal of the American Society for Information Science and Technology,2011,62(11):2133-2146.

[19]Rousseau R.Basic properties of both percentile rank scores and the I3 indicator[J].Journal of the American Society for Information Science and Technology,2012,63(2):416-420.

[20]Schreiber M.Inconsistencies of Recently Proposed Citation Impact Indicators and how to Avoid Them[J].Journal of the American Society for Information Science and Technology,2012,63(10):2062-2073.

[21]Laursen K.Do Export And Technological Specialisation Patterns Co-Evolve In Terms of Convergence or Divergence?Evidence From 19 OECD Countries,1971-1991[J].Social Science Electronic Publishing,2000,10(4):415-436.

[22]Confraria H,Godinho M M.The impact of African science:a bibliometric analysis[J].Scientometrics,2015,102(2):1241-1268.

[23]The Chi Square Statistic[EB/OL].http:∥math.hws.edu/javamath/ryan/ChiSquare.html，2015-03-30.

[24]Pastor,José Manuel.The research output of European higher education institutions[J].Scientometrics 2015,102(3):1867-1893.

[25]Crespo J A,Ortu?-Ortín I,Ruiz-Castillo J.The Citation Merit of Scientific Publications[J].Plos One,2012,7(11):488-488.

[27]Peters,Isabella.Altmetrics for large,multidisciplinary research groups:A case study of the Leibniz Association[C].Proceedings of Libraries in the Digital Age,2014:9-14.

(本文責任編輯：孫國雷)

A Review of Subject Assessment Index

Shan Chengwei Wang Hong Zhang Su Yang Yuli

(Library，Dalian University of Technology，Dalian 116014，China)

Many scholars use RSI,AI,RCR and Specialization Intensity index to evaluate research institutes’ research performance. In this paper,it first provided an overview of a number of source normalization approaches,and then compared the advantage and disadvantage of these indexes.The results showed that different scientific fields had different citation practices.Citation-based bibliometric indicators need to normalize for such differences between fields in order to allow for meaningful between-field comparisons of citation impact.

RSI,AI,RCR,Specialization Intensity Index;subject performance

2015-04-14

中央高校基本科研業務費專項資金“基于ESI和Incites學科影響力評價體系及實證分析”(項目編號：DUT14RW110)。

單承偉(1982-)，男，館員，研究方向：信息檢索和利用，發表論文5篇。

10．3969/j．issn．1008-0821．2015．11．031

G250.73

A

1008-0821(2015)11-0171-07