高校大學排名中學術影響力歸一化因子科學性芻議

朱高風

(湖州師范學院 高等教育研究所，浙江 湖州 313000)

高校大學排名中學術影響力歸一化因子科學性芻議

朱高風

(湖州師范學院 高等教育研究所，浙江 湖州 313000)

西班牙著名SCImago研究組的世界大學及研究所論文排名和上海交通大學世界大學學術排名都是權威的世界大學排名。其中西班牙大學論文排名中的論文歸一化指標(NI)代表高校或研究所的平均學術影響力，在荷蘭萊頓大學排名中也存在這個指標。而2015年上海交通大學中國最好大學排名榜發(fā)布，其中科研質量(論文質量)指標解釋與西班牙論文歸一化指標(NI)解釋一致。但是這兩個大學排名中的這個指標中部分全國綜合排名較落后的高校卻非常領先。本文以NI指標為例，深入分析該指標的來源、計算公式，并闡述該指標的價值，分析該排名結果的原因。為研究西班牙世界大學及研究所論文排名和推進不同國家、區(qū)域、大學之間學術水平比較提供研究基礎。

世界大學排名；論文排名；歸一化因子；排名指標

現(xiàn)今大學排名無法用簡單的原始數(shù)據(jù)對比來顯示高校的學科專業(yè)和優(yōu)勢、論文質量優(yōu)異，而其中代表高校科研產出的高校論文之間的排名歸一化研究又尤為重要。如何比較不同專業(yè)、不同年限、不同類型論文的質量呢？比如生物學發(fā)表一篇文章，醫(yī)學發(fā)表一篇文章，哪篇論文在各自學術領域中的影響力大一點？或者某校前幾年就發(fā)表一篇文章，而今年有另一所學校發(fā)表了類似的研究論文，哪篇影響力大？如何科學的比較？近年來，隨著歐洲文獻計量學的迅速發(fā)展，使得它們在歸一化研究中取得了重要突破，其中西班牙SCImago 研究小組世界大學與研究所論文排名(SCImago Institutions Rankings)中的歸一化指標(Normalized Impact,NI)便是其中的亮點之一。SIR排名的歸一化因子通常解釋為基于單篇論文引文分值計算的評估指標，用于評估機構的平均學術影響力。[1-2]在SCImago網(wǎng)站的表述中，NI指標被描述為“該值顯示的是研究機構和世界平均影響力的關系，以世界的平均水平為1，NI為0.8，表示該研究機構平均引用率比世界低20%；而NI值為1.3，表示該研究機構平均引用率比世界高30%”[3]甚至在很多引用SCImago排名的網(wǎng)站中，直接表述為“論文世界水平位1，低于1表示低于世界水平，高于1則高于世界水平。”

在荷蘭萊頓大學排名中也存在著類似指標，被稱為皇冠指標。兩者最大的區(qū)別是西班牙SIR大學排名NI指標與荷蘭萊頓大學排名皇冠指標計算數(shù)據(jù)來源所用的數(shù)據(jù)庫不同，前者計算數(shù)據(jù)來自是荷蘭Elsevier(愛思唯爾)公司的Scopus數(shù)據(jù)庫，這也是《美國新聞與世界報道》的QS大學排名所用的數(shù)據(jù)庫，后者是Thomson Reuters (湯森路透公司)的Web of Science(簡稱WOS)數(shù)據(jù)庫，也是英國《泰晤士報》THES世界大學排名所采用數(shù)據(jù)庫。

其實我國國內也有這樣的指標。曾發(fā)布過著名“世界大學學術排名”的上海交通大學世界一流大學研究中心發(fā)布的“中國最好大學排名”中就存在。2015年該研究機構設立上海軟科教育信息咨詢有限公司，除發(fā)布世界大學學術排名外，開始發(fā)布中國最好大學排名。該排名對科學研究設立了四個二級指標，其中的科研質量(論文質量)指標是指學科標準化后的科研論文影響力(Field Weighted Citation Impact，簡稱FWCI)。對于該指標的解釋中指出“科研評價中測量論文的影響力或者質量的基本指標是論文的被引用次數(shù)。但是，不同學科的論文被引用次數(shù)的整體情況存在顯著差異，需要標準化處理后才能進行跨學科比較。”[4]除了不同學科，該解釋還指出發(fā)表年份不同、類型不同的論文也必須進行標準化。認為“FWCI是標準化后的論文影響力，計算的是對象論文的被引用次數(shù)和相同學科、相同年份、相同類型論文平均被引次數(shù)的比值。”[4](下文把該指標稱為論文歸一化因子)。

一、論文歸一化因子指標

筆者查詢2015年SCImago大學論文排名的其中NI因子排名的中國高等教育機構的部分排名(見表1 ，數(shù)據(jù)中的NI值已經(jīng)過SCImago研究小組處理，不是NI指標的原始值，是NI指標的得分)，[5]獲得結果讓人驚訝，國內大學排名450名(艾瑞深中國校友會大學排行榜)左右的A學院NI因子得分高達14.02分為國內第一名，是北京大學或者清華大學得分的2倍以上；此外國內大學排行榜400名左右的B學院(6.68分)排名位于中國第五，高出北大0.27分。更不可思議的根據(jù)其世界平均學術排名，A學院位于世界第五名，排名僅次于美國哈佛大學(14.09分)，得分甚至還要高于美國斯坦福大學(13.98分)。而中國最負盛名的北京大學(6.41分)、清華大學(6.1分)兩所高校僅僅位列國內第8和13名。如果NI代表論文世界平均水平比較，這就代表A學院論文學術平均水平遠高于北大、清華等名校。

表1 SCImago大學論文排名的其中NI因子排名的中國大學排名

注：為避免產生誤解，將幾所地方高校名稱隱去，2016年數(shù)據(jù)因網(wǎng)站加密而無法獲取。

如果繼續(xù)觀察SIR排名的科研論文產出量(Output)和國際合作論文排名(IC)[5]，SCImago選取了2706所世界高等教育機構進行排名(研究所等機構除外)，反差明顯的是A學院以論文產出量排名2532名和國際合作論文比例排名2692名的兩項幾乎墊底的名次，而竟以NI因子排名高達世界第五，與數(shù)所世界名校比肩。如果把NI解釋為對世界學術的平均影響力，那么一個論文產出墊底和國際合作論文比例幾乎墊底的大學是怎樣具有如此強大的世界平均學術影響力？

表2 SCImago大學論文排名的其中NI因子世界大學排名

荷蘭的萊頓大學排名的皇冠指標只是其排名計算的中間值，并沒有對該值進行排名，因此無法獲取其排名情況。中國最好大學科研質量指標沒有像西班牙論文歸一化指標問題那么明顯，但是也有一些地方新建本科院校科研質量超越211、985高校，像上文提到的B學院雖然在國內排行榜在400名左右，但在中國最好大學科研質量排名中2015年和2016年分別為全國30名和51名。這個現(xiàn)象也讓人費解，而上文所述西班牙大學論文排名中的表現(xiàn)優(yōu)秀的A學院，在“中國最好大學”的科研質量指標中沒有上榜。

二、論文歸一化因子指標的分析

(一)SIR排名的NI指標

1.指標來源

那么NI指標來源何處，又是如何會有這種現(xiàn)象產生的？SCImago 研究小組在其網(wǎng)站上解釋，NI指標是建立在瑞典卡羅琳斯卡醫(yī)學院的“項目導向領域歸一化引文的平均值”基礎上(Item oriented field normalized citation score average)，[6]其特點是引文值的歸一化建立在個人文章的水平上。進一步分析則必須找到NI指標的計算方法。

2．指標計算方法

一般情況下，以論文引用頻次來計算和表現(xiàn)論文的價值，論文所發(fā)期刊的水平往往代表著論文的水平。瑞典卡羅琳斯卡醫(yī)學院曾出版《計量指標—卡羅琳斯卡醫(yī)學院的定義和實用》[7]，其中就有“項目導向領域歸一化引文的平均值”這一計量標準，通過查詢發(fā)現(xiàn)該項計量指標與特定單位的出版物相對引用次數(shù)有關，與世界相同文章類型*文章類型是指包括在傳統(tǒng)的學術期刊上也都存在著不同文章類型，比如文章(article)、評論(reviews)等等，顯然評論是無法直接與論文直接比較的。、相同文章時間，相同文章主題領域的世界平均引用次數(shù)相比的相對值。萊頓大學排名所采用的歸一化計量標準和這個非常像，被稱為“皇冠指標”。將每個單位(機構)的出版物的引用次數(shù)總數(shù)除于世界相同文章類型、相同發(fā)表年、相同主題領域的平均引用次數(shù)，這個所謂的平均引用量就是“領域內參考值(Uf)”。然后通過這個領域內參考值來進一步計算。通過總結查詢的資料，由于比較復雜，這個計量標準要分三步來計算：

(1)計算期刊內文章相對引用值A(領域內參考值)：

要計算文章的相對引用值，先要確定文章發(fā)表所在出版物的相對引用值，假設某單位在i出版物上發(fā)表了j領域的P篇文章，那么首先要通過引用次數(shù)的比值來確定在i出版物上發(fā)表一篇文章所獲得的相對引用值A。計算如下：

這個公式的分子是發(fā)表在該期刊的文章在特定領域內的學術水平，分母其實就相當于特定領域內的世界平均學術水平，A大于1，則表示該期刊的文章高于該領域內平均學術水平，A小于1，表示該期刊文章低于該領域內世界平均學術水平。

(2)計算期刊內文章平均領域相對引用值B：

由于該期刊內的文章往往存在著跨多個領域的情況，則要計算該期刊的文章在每個領域的平均領域相對引用值B。(Ni為該期刊屬于的領域數(shù))計算如下：

該期刊可能存在有些領域內的文章高于世界平均水平，有些領域內的文章低于世界平均水平，采用平均的方法，可以獲得該單位發(fā)表的文章在不同領域內的平均水平。

(3)計算該單位篇均文章的平均領域相對引用值C：

該單位在數(shù)據(jù)庫中發(fā)表了P篇文章，這P篇文章有些在優(yōu)秀期刊上發(fā)表則B值較高，有些在質量不高的期刊上發(fā)表，則B值較低，在計算該單位平均學術水平時，則需要對該單位發(fā)表在不同期刊上的文章進行平均。那么計算單位的平均每篇文章的平均領域相對引用值C。計算如下：

上述的公式中C就是“項目導向領域歸一化引文的平均值”，其實NI指標就是該單位平均每篇文章在平均每個領域的論文平均引用值。只是用學術性的語言表述為“項目導向領域歸一化引文的平均值”。這里的“項目導向”就是指歸一化的相對引用值建立在個人文章的基礎上的，從公式上我們也可以看到這一點。

3.NI指標的宏觀統(tǒng)計價值

NI指標的分析通常以國家和區(qū)域為單位的宏觀統(tǒng)計更為有價值，反應一個國家或地區(qū)的科學水平對世界學術平均的影響力。NI是建立在Elsevier(愛思唯爾)公司的Scopus數(shù)據(jù)庫基礎上，因為Scopus是全球最大的數(shù)據(jù)庫，涵蓋了世界上最廣泛的科技和醫(yī)學文獻的文摘、參考文獻及索引。建立在該數(shù)據(jù)庫基礎上計算的NI指標具有較高的研究價值。

(1)國家和區(qū)域平均學術影響力研究

以2014年大學排名表為例，選取6分以上986所高等教育研究機構分布，可得下表(NI得分與NI指標原始值不同，已經(jīng)過SCImago小組數(shù)據(jù)處理，并不是以世界平均NI值為1分)：

表3 世界各國NI指標6分以上高等教育機構數(shù)量

從上表可以得出，NI指標得分6分以上的986所高等教育機構(即論文科學水平對世界影響力大的機構)大多分布在歐美國家，其中美國第一，占26.6%，法國第二，占9.6%，英國為8.7%，德國為7%，而中國僅占1.3%，這個結果說明歐美國家論文對世界平均學術影響力非常大。凡高NI值的機構越多，則該國家或地區(qū)的平均學術水平就越高，對世界平均學術影響力也越大。

(2)科學依賴性研究

從國家或地區(qū)總體來看，特別是發(fā)展中國家，NI指標和IC指標(是指國際間合作論文占該校或研究所的總論文比例)還具有一定的相關性，尤其是發(fā)展中國家中，論文與高學術水平的國家的國際合作比例越高，則顯示該國家的NI值也偏高，這種被稱為“科學依賴”。[8]這一點在拉美國家很明顯。越重視國際間合作的國家，越能通過高學術水平合作從而對世界產生更高的平均學術影響力。從下表(下表的NI指標值為原始值，未經(jīng)數(shù)據(jù)處理，世界平均學術水平為1)可得哥倫比亞IC達到53.9%，NI也高達0.83，其次阿根廷IC達到42.93%，NI值為0.90，而巴西和古巴IC僅為25.35%和39.38%，NI值也僅為0.77和0.46。

表4 拉美國家NI指標與IC指標的關系[8]

4．NI在我國大學排名現(xiàn)象分析

NI指標具有的一定的國際公認性，但我國高校出現(xiàn)了前述反常現(xiàn)象。筆者從公式上和指標來源上分析，其實NI指標就是該單位平均每篇文章在平均每個領域的論文相對引用價值。但上述計算有個前提，首先是論文發(fā)表的期刊要被SCImago采用的Scopus摘要和引文數(shù)據(jù)庫收入。根據(jù)計算公式，NI值與發(fā)文數(shù)量無直接關系。只與進入數(shù)據(jù)庫的篇均文章引用次數(shù)(或者說平均學術質量)直接有關。

以極端的現(xiàn)象為例，比如兩所高校，第一所高校上千員工，只有一個教授能發(fā)被數(shù)據(jù)庫收錄的質量非常高(領域內相對引用量極高)的論文，同時其他教工都不寫論文，或論文不被數(shù)據(jù)庫收錄，這所高校的NI指標很可能超越北大和清華。另一所高校也具有上千員工，這上千員工都能發(fā)表被數(shù)據(jù)庫收錄的高質量論文(領域內的相對引用率有高有低)，但是通過平均計算，這所高校的NI指標卻無法超越第一所高校。

為了驗證上述分析，筆者先后聯(lián)系了西班牙SCImago研究小組和上海交通大學世界一流大學研究中心，前者沒有回應筆者的郵件，關閉了網(wǎng)頁的NI指標，把網(wǎng)頁設置成了密碼登錄才能查看。筆者對其做法提出質疑后，SCImago研究小組回復，暫時無法分享研究數(shù)據(jù)，正在研究明確的解決方案。上海交通大學世界一流大學研究中心設立的上海軟科公司派高級咨詢顧問專程來筆者單位進行了溝通，該顧問承認了該指標的確會出現(xiàn)上述極端現(xiàn)象，并稱為了校正這個結果，該排名設立了專門的閾值對論文數(shù)量做了限定，即發(fā)表500篇文章以上的單位才能進入論文排名，因此上文提到的像A學院這種情況，在新的標準下會因為論文數(shù)量不達標而無法進入論文質量指標排名，從而在一定程度上避免上述極端現(xiàn)象出現(xiàn)。

三、結 語

綜上所述，NI指標在一定程度上衡量了機構與世界學術平均水平差距，但是在NI指標的實際應用中，計算的是參與高水平研究的人員的學術平均影響力的差距，無法反映該校的學術水平總量，因此該值只能作為一個單位平均學術水平的參照值，無法整體呈現(xiàn)一個高校真正的學術水平。

但該指標存在也并不是毫無意義，仍具有很高的研究價值，一方面在地區(qū)和國家等區(qū)域性等大樣本高校和研究機構數(shù)量下，平均學術水平比較下具有很大的參考意義，因為大樣本數(shù)量情況下可以抵消出現(xiàn)的偶然極端情況；另一方面如果需要對單個高校或研究所之間的比較，則對于層次相近，規(guī)模相近的同類高校之間平均學術水平比較更具有準確性。此外這個值表現(xiàn)出來的“學術依賴”情況，也反應了高校間通過國際間、地域間合作，對提升學術水平具有重要意義。通過研究、利用和修正NI指標，讓該指標真正成為衡量不同學科、不同形式、不同年份的學術論文比較的工具，也成為反映大學間學術水平差距的重要指標，這需要大學排名研究工作者繼續(xù)深入研究和完善。

[1][西]SCImago.SCImagoInstitutionsRankings:Introduction[EB/OL].(2015-01-01).http://www.scimago.es/

[2][西]SCImago.SCImagoInstitutionsresearch[EB/OL].(2015-05-23).http://www.scimagoir.com/research.php

[3][西]SCImago.SCImagoInstitutionsmethodology[EB/OL]. (2015-03-05).http://www.scimagoir.com/methodology.php?page=indicators

[4]最好大學網(wǎng).中國最好大學排名[EB/OL].(2016-02-01).http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html.

[5][西]SCImago.SCImagoInstitutionsresearch[EB/OL]. (2015-03-01).http://www.scimagoir.com/research.php?rankingtype=research&indicator=Normalized%20Impact§or=Higher%20educ.&country=CHN&display=table&year=2008

[6][西]SCImago.SCImagoInstitutionsmethodology[EB/OL]. (2015-04-05).http://www.scimagoir.com/methodology.php?page=indicators

[7][瑞]Karolinska.Institutet.bibliometricindicators2014[M].Sweden：KarolinskaInstitutet，2014:9

[8][西]SCImago.Distributionbycountryoftheresearchinstitutions[EB/OL].(2014-08-17).http://www.scimagolab.com/blog/

Study on The Average Academic Influence Factors of Domesti and Foreign University Rankings

ZHU Gao-feng

(Research Institute of Higher Education, Huzhou University, Huzhou 313000, China)

The world famous SIR of Spanish SCImago Institute and the ARWU of Shanghai Jiao Tong University are two of the authorities of the world university rankings. The NI is the average academic influence representatives of universities or Research Institute, and the Leiden University in Holland also has the index. The Chinese best university rankings of Shanghai Jiao Tong University was released in the year 2015, and the quality of scientific research (the Paper quality index) interpretation is the same as Spanish paper normalized index (NI). The indicator was clearly international. But it is difficult to understand that some backward universities are in a very leading place in the index of the two university rankings. Based on the NI index, an in-depth analysis of sources and the index calculation formula have been given, and the index value has been disclosed, meanwhile an analysis the reasons for the result have been done. The paper provides a research basis for the study of the Spanish World Universities and the promotion of the comparison of the academic researches between different universities in different countries and regions.

the World University Ranking; the ranking of the papers; Normalized Impact; the ranking index

2016-10-23

朱高風，碩士，實驗師，從事世界大學排名的研究。

G647

A

1009-1734(2016)12-0081-06