跨學(xué)科學(xué)術(shù)評(píng)價(jià)指標(biāo)PR8和FNII的構(gòu)建及實(shí)證研究
——以河南省高校哲學(xué)社會(huì)科學(xué)評(píng)價(jià)為例

劉雪立,盛麗娜,董建軍,方紅玲,付中靜,王 燕,周志新

(新鄉(xiāng)醫(yī)學(xué)院期刊社/河南省科技期刊研究中心，河南 新鄉(xiāng) 453003)

跨學(xué)科學(xué)術(shù)評(píng)價(jià)指標(biāo)PR8和FNII的構(gòu)建及實(shí)證研究
——以河南省高校哲學(xué)社會(huì)科學(xué)評(píng)價(jià)為例

劉雪立,盛麗娜,董建軍,方紅玲,付中靜,王 燕,周志新

(新鄉(xiāng)醫(yī)學(xué)院期刊社/河南省科技期刊研究中心，河南 新鄉(xiāng) 453003)

對(duì)學(xué)者及機(jī)構(gòu)科學(xué)研究水平的跨學(xué)科評(píng)價(jià)，國(guó)內(nèi)外至今仍未有建立令人信服的指標(biāo)體系。以學(xué)術(shù)論文被引頻次在學(xué)科內(nèi)的百分位數(shù)排序?yàn)榛A(chǔ)，建立了論文被引頻次的百分位數(shù)位置指標(biāo)PR8值；以被引量和下載量為基礎(chǔ)，建立了學(xué)科標(biāo)準(zhǔn)化影響力指標(biāo)(Field Normalization Impact Indicator，F(xiàn)NII)，用以實(shí)現(xiàn)學(xué)者和機(jī)構(gòu)的跨學(xué)科評(píng)價(jià)。以河南省高校哲學(xué)社會(huì)科學(xué)為例，分別使用PR8值和FNII對(duì)河南省高校哲學(xué)社會(huì)科學(xué)研究績(jī)效進(jìn)行評(píng)價(jià)，并篩選出河南省哲學(xué)社會(huì)科學(xué)50強(qiáng)學(xué)者。采用PR8值和FNII對(duì)高校不同學(xué)科研究績(jī)效進(jìn)行評(píng)價(jià)，并篩選出各學(xué)科20強(qiáng)學(xué)者(本文僅給出管理學(xué)學(xué)科的評(píng)價(jià)結(jié)果)。

百分位數(shù)指標(biāo)；學(xué)科標(biāo)準(zhǔn)化影響力指標(biāo)；跨學(xué)科評(píng)價(jià)；學(xué)者評(píng)價(jià)；大學(xué)評(píng)價(jià)

《中華人民共和國(guó)高等教育法》規(guī)定，本科及其以上高等教育在中國(guó)社會(huì)職能分工中的責(zé)任和義務(wù)是：培養(yǎng)高級(jí)專門人才和開(kāi)展科學(xué)研究工作。據(jù)此，自2000年始《中國(guó)大學(xué)評(píng)價(jià)》課題組對(duì)中國(guó)大學(xué)評(píng)價(jià)設(shè)了人才培養(yǎng)、科學(xué)研究?jī)身?xiàng)一級(jí)指標(biāo)[1]。其中，對(duì)各高校科學(xué)研究水平評(píng)價(jià)的具體方法受到諸多質(zhì)疑。大多數(shù)學(xué)者認(rèn)識(shí)到對(duì)論文數(shù)量和論文被引頻次簡(jiǎn)單相加不可取，針對(duì)不同高校不同學(xué)科研究績(jī)效評(píng)價(jià)的問(wèn)題至今仍沒(méi)有令人信服的辦法。目前研究比較成熟的是同一學(xué)科內(nèi)的研究績(jī)效評(píng)價(jià)，如美國(guó)湯森路透的基本科學(xué)指標(biāo)(Essential Science Indicators，ESI)數(shù)據(jù)庫(kù)，把科學(xué)研究分為22個(gè)學(xué)科進(jìn)行研究績(jī)效評(píng)價(jià)，以某機(jī)構(gòu)某學(xué)科論文被引頻次全球排名前1%作為學(xué)科入選ESI的條件[2]。InCite數(shù)據(jù)庫(kù)中提供了更多學(xué)科分類體系，如WoS 的250多個(gè)學(xué)科、ESI 中22個(gè)學(xué)科、OECD 中48個(gè)學(xué)科、澳大利亞ERA(Excellence in Research for Australia)和英國(guó)RAE(Research Assessment Exercise)、中國(guó)國(guó)務(wù)院學(xué)位委員會(huì)和教育部2011 年制定的《學(xué)位授予和人才培養(yǎng)學(xué)科目錄》中的12個(gè)學(xué)科門類，77 個(gè)一級(jí)學(xué)科[3-4]，目的都是基于不同學(xué)科的差異把科研績(jī)效評(píng)價(jià)局限在某一學(xué)科內(nèi)。目前關(guān)于跨學(xué)科研究績(jī)效評(píng)價(jià)的焦點(diǎn)和熱點(diǎn)集中在對(duì)學(xué)科標(biāo)準(zhǔn)化方法的探索上[5-7]，2015年版《期刊引證報(bào)告》(Journal Citation Reports，JCR)新增加的兩個(gè)指標(biāo)之一：影響因子百分位(Journal Impact Factor Percentile，JIFP)[8]，也是為了實(shí)現(xiàn)SCI來(lái)源期刊的跨學(xué)科評(píng)價(jià)。本研究從文獻(xiàn)計(jì)量學(xué)角度，針對(duì)不同學(xué)科間論文量和被引頻次的差異，設(shè)置了PR8(8個(gè)百分位數(shù)區(qū)段排序)和學(xué)科標(biāo)準(zhǔn)化影響力指標(biāo)(Field Normalization Impact Indicator，F(xiàn)NII)兩個(gè)評(píng)價(jià)指標(biāo)，目的是對(duì)不同學(xué)科的學(xué)者和不同屬性的大學(xué)或研究機(jī)構(gòu)科學(xué)研究能力進(jìn)行評(píng)價(jià)，并以河南省高校哲學(xué)社會(huì)科學(xué)研究為例，詳細(xì)介紹大學(xué)、學(xué)科和學(xué)者研究績(jī)效評(píng)價(jià)方法。

1 指標(biāo)設(shè)計(jì)

1.1 PR8的設(shè)置

PR8屬于百分位數(shù)位置指標(biāo)，是基于論文被引頻次降序排列所處的百分位數(shù)位置賦值的。2012年，LEYDESDORFF[9]在PR100的基礎(chǔ)上，建立了一個(gè)百分位數(shù)等級(jí)分?jǐn)?shù)指標(biāo)，稱為綜合影響力指標(biāo)(Integrated Impact Indicators，I3)，期待能夠替代影響因子進(jìn)行期刊評(píng)價(jià)。但他的研究沒(méi)有對(duì)位置指標(biāo)和影響因子的期刊評(píng)價(jià)效果進(jìn)行比較，實(shí)際上，他定義綜合影響力指標(biāo)主要想實(shí)現(xiàn)學(xué)術(shù)期刊的跨學(xué)科評(píng)價(jià)[10]。2011年，BORNMANN和MUTZ[11]把百分位數(shù)排序位置(Percentage Rank Position，PRP)指標(biāo)細(xì)分為6個(gè)等級(jí)，稱作PR6。美國(guó)國(guó)家自然科學(xué)基金會(huì)將這6個(gè)等級(jí)分別賦予不同的權(quán)重(分別賦予6分、5分、4分、3分、2分和1分)[12]，用以評(píng)價(jià)不同學(xué)科領(lǐng)域論文的重要性和影響力。2014年，VINKLER[13]對(duì)PRP進(jìn)行了一系列詳細(xì)的計(jì)算，說(shuō)明PRP指標(biāo)在不同學(xué)科領(lǐng)域期刊和論文評(píng)價(jià)中的作用。最新研究認(rèn)為，使用百分位數(shù)來(lái)標(biāo)準(zhǔn)化被引頻次可以比算術(shù)平均數(shù)更好地用于對(duì)不同學(xué)科領(lǐng)域論文學(xué)術(shù)影響力的比較[14]。本研究即根據(jù)PR6的設(shè)置方法做一改進(jìn)，即將某學(xué)科論文被引頻次降序排列，對(duì)被引頻次最高的前0.01%(Top0.01%)篇論文賦予8分，對(duì)被引頻次最高的前大于0.01%～0.1%(Top0.1%)篇論文賦予7分，對(duì)被引頻次較高的前大于0.1%～1%(Top1%)篇論文賦予6分，對(duì)被引頻次較高的前大于1%～5%(Top5%)篇論文賦予5分，對(duì)被引頻次較高的前大于5%～10%(Top10%)篇論文賦予4分，對(duì)被引頻次較高的前大于10%～25%(Top25%)篇論文賦予3分，對(duì)被引頻次較高的前大于25%～50%(Top50%)篇論文賦予2分，對(duì)被引頻次較低的后50%篇論文賦予1分。計(jì)算時(shí)，相同被引頻次的論文如果被賦予了不同的分值，那么這些相同被引頻次論文的PR8值均取所賦予分值的均值，數(shù)值計(jì)算時(shí)均遵照四舍五入的方法。這樣各高校發(fā)表的所有論文，均在各自學(xué)科內(nèi)有一個(gè)自己的PR8分值。將不同高校發(fā)表所有論文的PR8分值之和相比，即可看出不同高校間科學(xué)生產(chǎn)率的差異；同理，將不同高校相同學(xué)科論文的PR8總分值作對(duì)比，即可看出不同高校某學(xué)科研究績(jī)效水平；將不同學(xué)者間論文的PR8總分值作對(duì)比，即可得出不同學(xué)者科學(xué)研究能力的差異。

1.2 FNII的設(shè)置

被引量和下載量是反映學(xué)術(shù)論文影響力的兩個(gè)基礎(chǔ)指標(biāo)。有研究顯示[15]，論文被引量和下載量并不完全一致。另外，由于不同學(xué)科規(guī)模及學(xué)科性質(zhì)差異很大，導(dǎo)致不同學(xué)科論文被引量和下載量也存在較大差異，因此，直接比較不同學(xué)科論文的被引量和下載量是極不科學(xué)的。本研究即按照學(xué)科不同對(duì)論文進(jìn)行分類，然后對(duì)每篇論文的被引量和下載量做標(biāo)準(zhǔn)化處理。具體方法為：按學(xué)科將每篇論文的被引量由高到低排序，將學(xué)科被引量最高者賦值為1，第i篇論文賦值(Ci)，Ci被定義為：

同樣方法對(duì)論文下載量做標(biāo)準(zhǔn)化處理，第i篇論文下載量分值記為Di，則：

根據(jù)實(shí)際評(píng)價(jià)時(shí)的重要程度，設(shè)計(jì)論文被引量和下載量的權(quán)重比為8:2，那么第i篇論文的FNII的計(jì)算公式即為：

FNIIi=Ci×0.8+Di×0.2

按上述方法計(jì)算出所有論文的FNII，將不同高校發(fā)表所有論文的FNII分值之和相比，即可看出不同高校間科學(xué)研究的能力差異；同理，將不同高校相同學(xué)科論文的FNII總分值作對(duì)比，即可看出不同高校各學(xué)科科學(xué)研究水平的差異；將不同學(xué)者間論文的FNII總分值作對(duì)比，即可得出不同學(xué)者科學(xué)研究能力的差異。

2 實(shí)證研究

本研究以河南高校哲學(xué)社會(huì)科學(xué)為例，以CSSCI論文為基礎(chǔ)，以CSSCI對(duì)論文的學(xué)科分類為依據(jù)，使用CNKI數(shù)據(jù)庫(kù)的被引量和下載量，對(duì)河南高校的哲學(xué)社會(huì)科學(xué)研究水平進(jìn)行評(píng)價(jià)。本研究選取的論文發(fā)表時(shí)間窗口為2005—2014年，時(shí)間跨度為10年；所有資料檢索日期為2015年6月至8月，數(shù)據(jù)核對(duì)日期為2015年10月。

2.1 研究對(duì)象

在中華人民共和國(guó)教育部發(fā)展規(guī)劃司網(wǎng)站(http://www.moe.gov.cn/)下載全國(guó)普通高等學(xué)校名單，選擇河南省公辦本科高校為研究對(duì)象。

2.2 方法

(1)數(shù)據(jù)資料的獲取。進(jìn)入中文社會(huì)科學(xué)引文索引數(shù)據(jù)庫(kù)(http://cssci.nju.edu.cn)，選擇“高級(jí)檢索”中的“來(lái)源文獻(xiàn)檢索”，“作者機(jī)構(gòu)”內(nèi)勾選“第一機(jī)構(gòu)”，并逐一輸入河南各高校名稱，發(fā)文年代選擇2005—2014年，即得10年各高校發(fā)表的CSSCI論文，將結(jié)果下載后，保留“來(lái)源篇名”“來(lái)源作者”“第一機(jī)構(gòu)”“學(xué)科分類”等內(nèi)容，整理至Excel內(nèi)為Excel 1。本研究以CSSCI數(shù)據(jù)庫(kù)中的學(xué)科分類為依據(jù)。

(2)被引量和下載量的獲取。進(jìn)入中國(guó)知網(wǎng)(www.cnki.net)，點(diǎn)擊“期刊”內(nèi)的“高級(jí)檢索”，在“單位”欄內(nèi)輸入各高校名稱，“來(lái)源類別”內(nèi)選擇“CSSCI”，年代選擇為2005—2014年，將得到的檢索結(jié)果(包括“篇名”“作者”“刊名”“年/期”“被引”“下載”)復(fù)制至Excel內(nèi)為Excel 2，即得到各大高校10年發(fā)表的各篇CSSCI論文的被引量和下載量。

(3)數(shù)據(jù)整合與分析。整合Excel 1和Excel 2，保留檢索各篇論文的篇名、第一作者、刊名、發(fā)表年代、學(xué)科分類、第一機(jī)構(gòu)、被引量、下載量等，并做分類處理。

3 實(shí)證研究結(jié)果

3.1 一般結(jié)果

本研究共納入河南省34所公辦本科高校，2005—2014年共發(fā)表CSSCI論文17543篇，截止至檢索日期共被引用115101次，篇均被引6.6次；總下載量為5801872次，篇均下載量為330.8次。34所高校的17543篇論文來(lái)自6281位學(xué)者，涉及26個(gè)論文學(xué)科，包括法學(xué)，管理學(xué)，環(huán)境科學(xué)，教育學(xué)，經(jīng)濟(jì)學(xué)，軍事學(xué)，考古學(xué)，歷史學(xué)，馬克思主義，民族學(xué)，人文、經(jīng)濟(jì)地理，社會(huì)科學(xué)總論，社會(huì)學(xué)，體育學(xué)，統(tǒng)計(jì)學(xué)，圖書館、情報(bào)與文獻(xiàn)學(xué)，外國(guó)文學(xué)，文化學(xué)，心理學(xué)，新聞學(xué)與傳播學(xué)，藝術(shù)學(xué)，語(yǔ)言學(xué)，哲學(xué)，政治學(xué)，中國(guó)文學(xué)，宗教學(xué)。

3.2 河南省34所高校社會(huì)科學(xué)研究績(jī)效

河南省34所高校社會(huì)科學(xué)研究論文產(chǎn)出量及學(xué)術(shù)影響力比較見(jiàn)表1。由表1可以看出，河南省34所高校社會(huì)科學(xué)研究績(jī)效差異明顯，河南大學(xué)、鄭州大學(xué)和河南師范大學(xué)為河南省社會(huì)科學(xué)研究論文的主要產(chǎn)出機(jī)構(gòu)，3所大學(xué)10年發(fā)表CSSCI論文數(shù)占河南省所有高校發(fā)展論文總數(shù)的53.90%(9455/17543)，被引量占59.02%(67929/115101)，說(shuō)明3所高校無(wú)論是論文數(shù)量還是質(zhì)量都遙遙領(lǐng)先于省內(nèi)其他高校，社會(huì)科學(xué)研究實(shí)力雄厚；3所高校的層次也很明顯，河南大學(xué)為領(lǐng)頭羊。3所高校之后呈現(xiàn)“斷崖式”下降，處于第4名的鄭州航空工業(yè)管理學(xué)院論文量10年僅660篇。10年發(fā)表論文數(shù)500～1000篇者共6所高校，分別為鄭州航空工業(yè)管理學(xué)院、河南財(cái)經(jīng)政法大學(xué)、信陽(yáng)師范學(xué)院、洛陽(yáng)師范學(xué)院、南陽(yáng)師范學(xué)院和河南理工大學(xué)；10年發(fā)表論文數(shù)不足100篇者9所高校，分別為平頂山學(xué)院、河南工程學(xué)院、河南城建學(xué)院、安陽(yáng)工學(xué)院、華北水利水電大學(xué)、河南中醫(yī)學(xué)院、河南牧業(yè)經(jīng)濟(jì)學(xué)院、河南警察學(xué)院、信陽(yáng)農(nóng)林學(xué)院。這可能與不同高校專業(yè)設(shè)置差異密切相關(guān)。

由表1也可以看出，使用PR8和FNII分別對(duì)機(jī)構(gòu)排序的結(jié)果一致性較好，使用SPSS 20.0統(tǒng)計(jì)學(xué)軟件的Spearman等級(jí)秩相關(guān)分析后發(fā)現(xiàn)，二者相關(guān)系數(shù)為0.989(P=0.000)。

表1 河南省高校哲學(xué)社會(huì)科學(xué)研究論文產(chǎn)出量及學(xué)術(shù)影響力比較

3.3 河南省34所高校哲學(xué)社會(huì)科學(xué)研究學(xué)者評(píng)價(jià)

34所高校的17543篇論文來(lái)自6281位學(xué)者，對(duì)6281位學(xué)者按PR8分值排序和FNII排序的五十強(qiáng)分別見(jiàn)表2和表3。由表2和表3可知，共有28位學(xué)者均在五十強(qiáng)內(nèi)，其中來(lái)自河南大學(xué)者11位，來(lái)自鄭州大學(xué)者8位，來(lái)自河南師范大學(xué)者4位，來(lái)自鄭州航空工業(yè)管理學(xué)院者2位，來(lái)自新鄉(xiāng)醫(yī)學(xué)院(劉雪立)、洛陽(yáng)理工學(xué)院(沈光亮)、信陽(yáng)師范學(xué)院(張新光)各1位。本結(jié)果表明了河南大學(xué)和鄭州大學(xué)在河南省哲學(xué)社會(huì)科學(xué)人才儲(chǔ)備方面的優(yōu)勢(shì)地位。另外，諸如新鄉(xiāng)醫(yī)學(xué)院、洛陽(yáng)理工學(xué)院等高校，雖然整體哲學(xué)社會(huì)科學(xué)院研究實(shí)力不強(qiáng)，但不乏其內(nèi)有部分學(xué)者在其學(xué)科領(lǐng)域內(nèi)有較大影響力。28位學(xué)者共涉及18個(gè)學(xué)科(同一作者可涉及多個(gè)學(xué)科)，其中涉及最多的學(xué)科為歷史學(xué)和圖書館、情報(bào)與文獻(xiàn)學(xué)(各有7位學(xué)者)，其次為6位學(xué)者涉及的經(jīng)濟(jì)學(xué)和各有4位學(xué)者涉及的法學(xué)、政治學(xué)。可見(jiàn)，河南省優(yōu)秀學(xué)者所在的研究領(lǐng)域相對(duì)集中。

需要指出的是，本研究選取的研究時(shí)間是2005—2014年，時(shí)間跨度較大，在這個(gè)時(shí)期內(nèi)調(diào)入河南的和從河南調(diào)離的，以及在外省攻讀研究生分配到河南高校工作的，可能數(shù)據(jù)不全，導(dǎo)致部分學(xué)者的貢獻(xiàn)值可能被低估。另外，由于本研究?jī)H計(jì)算了第一作者，作為通訊作者的碩士生導(dǎo)師或博士生導(dǎo)師的實(shí)際貢獻(xiàn)會(huì)被低估。

表2 河南省高校哲學(xué)社會(huì)科學(xué)PR8分值排序的50強(qiáng)學(xué)者

表3 河南省高校哲學(xué)社會(huì)科學(xué)按FNII分值排序的50強(qiáng)學(xué)者

3.4 分學(xué)科評(píng)價(jià)

使用PR8和FNII還可以進(jìn)一步對(duì)不同學(xué)科領(lǐng)域的學(xué)者和高校影響力進(jìn)行比較,現(xiàn)以管理學(xué)為例進(jìn)行分析。

河南省34所高校管理學(xué)領(lǐng)域論文產(chǎn)出量及學(xué)術(shù)影響力見(jiàn)表4，以PR8和FNII分別排序的20強(qiáng)學(xué)者見(jiàn)表5和表6。

表4 河南省高校管理學(xué)領(lǐng)域論文產(chǎn)出量及學(xué)術(shù)影響力比較

注：信陽(yáng)農(nóng)林學(xué)院統(tǒng)計(jì)期內(nèi)未有管理學(xué)CSSCI論文產(chǎn)出。

表5 河南省高校管理學(xué)領(lǐng)域PR8分值排序20強(qiáng)學(xué)者

表6 河南省高校管理學(xué)領(lǐng)域FNII分值排序20強(qiáng)學(xué)者

續(xù)表6

3.5 各學(xué)科的強(qiáng)勢(shì)高校

使用PR8或FNII還可以實(shí)現(xiàn)對(duì)不同學(xué)科領(lǐng)域各高校的評(píng)價(jià)，以了解不同學(xué)科各高校的研究績(jī)效。現(xiàn)以PR8為例對(duì)不同學(xué)科領(lǐng)域各高校影響力進(jìn)行排序，得出河南省哲學(xué)社會(huì)科學(xué)各學(xué)科領(lǐng)域五強(qiáng)高校(見(jiàn)表7)。由表7可知，在26個(gè)學(xué)科中，河南大學(xué)有18個(gè)學(xué)科排名第1，鄭州大學(xué)有6個(gè)，河南科技大學(xué)(軍事學(xué))和鄭州航空工業(yè)管理學(xué)院(統(tǒng)計(jì)學(xué))各1個(gè)。在26個(gè)學(xué)科中，河南大學(xué)和鄭州大學(xué)均有25個(gè)學(xué)科躋身前5位。這些資料再次印證，河南省哲學(xué)社會(huì)科學(xué)領(lǐng)域由河南大學(xué)和鄭州大學(xué)一統(tǒng)天下，另一方面也說(shuō)明，河南省社會(huì)科學(xué)研究資源過(guò)度集中于河南大學(xué)和鄭州大學(xué)。

表7 26個(gè)學(xué)科領(lǐng)域河南省五強(qiáng)高校

4 討論

4.1 關(guān)于指標(biāo)的設(shè)計(jì)依據(jù)

中國(guó)管理科學(xué)研究院以武書連為組長(zhǎng)的《中國(guó)大學(xué)評(píng)價(jià)》課題組，自1997年開(kāi)始在核心期刊按年度發(fā)表《中國(guó)大學(xué)評(píng)價(jià)》并向社會(huì)公布大學(xué)排行榜以來(lái)，其評(píng)價(jià)指標(biāo)一直在改進(jìn)，但其中有關(guān)科學(xué)研究的評(píng)分方式受到諸多質(zhì)疑。《中國(guó)大學(xué)評(píng)價(jià)》提出的科學(xué)研究中有關(guān)論文的引用分僅是數(shù)據(jù)的簡(jiǎn)單相加，沒(méi)有考慮學(xué)科間的引用差異問(wèn)題。泰晤士高等教育增刊與湯森路透數(shù)據(jù)庫(kù)聯(lián)合推出的《2011 Times Higher Education World University Rankings》中，在利用“論文及論文被引”反映科學(xué)研究質(zhì)量時(shí)，將論文、論文被引按照學(xué)科進(jìn)行歸一化處理，以反映不同學(xué)科領(lǐng)域之間論文及引用量的變化，避免“傳統(tǒng)上在某一學(xué)科領(lǐng)域從事高水平科研活動(dòng)擁有高論文量及高被引論文的大學(xué)獲得不公平的優(yōu)勢(shì)”[16]。為了進(jìn)一步提高國(guó)內(nèi)大學(xué)排行榜的科學(xué)性和公信力，建議進(jìn)行“分類型、分層次、分學(xué)科的大學(xué)評(píng)價(jià)”以及“倡導(dǎo)評(píng)價(jià)指標(biāo)體系和原始數(shù)據(jù)更多公開(kāi)。包括：評(píng)價(jià)指標(biāo)公開(kāi)，評(píng)價(jià)指標(biāo)的含義確定，采集數(shù)據(jù)的渠道明確，數(shù)據(jù)計(jì)算方法明確，原始數(shù)據(jù)盡可能多地公開(kāi)，上述相關(guān)信息很容易在其網(wǎng)站上查到等[17]。”本文從文獻(xiàn)計(jì)量學(xué)角度正視不同學(xué)科間規(guī)模及引文習(xí)慣的差異，設(shè)計(jì)了兩個(gè)跨學(xué)科評(píng)價(jià)指標(biāo)——PR8和FNII。

4.2 FNII的優(yōu)勢(shì)和局限性

被引量是評(píng)價(jià)論文學(xué)術(shù)影響力的重要指標(biāo)，但不同學(xué)科規(guī)模、活躍度、引用習(xí)慣等存在較大差異，因此不同學(xué)科之間論文被引量差異明顯，故單純以絕對(duì)量來(lái)衡量不同學(xué)科間論文學(xué)術(shù)影響力極不科學(xué)。本研究選擇了“相對(duì)學(xué)科最高值”的方式，即將論文被引量與學(xué)科最高論文被引量的比值作為標(biāo)準(zhǔn)化后的論文的被引指標(biāo)。該值應(yīng)該是≤1的數(shù)值，其值越大，說(shuō)明論文被引頻次距離學(xué)科最高論文被引頻次的距離越近，論文在學(xué)科內(nèi)的影響力也就越大；當(dāng)其值為1時(shí)，說(shuō)明該篇論文的被引頻次即為該學(xué)科被引頻次的最高值，也即是說(shuō)，該論文在其學(xué)科內(nèi)影響力最大。

除被引量外，下載量也是衡量論文影響力大小的常用指標(biāo)。一般論文在數(shù)據(jù)庫(kù)內(nèi)即可免費(fèi)查看其摘要，讀者通過(guò)閱讀摘要后，認(rèn)為論文有價(jià)值時(shí)才會(huì)下載全文。論文下載量一般是在論文刊發(fā)后2年即達(dá)到高峰[18]。因此，論文下載量比被引量能更及時(shí)地反映論文被關(guān)注的程度。自2008年始的中文核心期刊評(píng)選指標(biāo)內(nèi)，也增加了下載量這一指標(biāo)[19]。但是，下載量和被引量一樣，在學(xué)科間都不具有可比性，因此，本文也計(jì)算了論文下載量的相對(duì)學(xué)科最高值。與被引量一樣，該值也是≤1的數(shù)值，其值越大，說(shuō)明論文的下載量距離學(xué)科最高論文下載量的距離越近，論文在學(xué)科內(nèi)的影響力也就越大。

FNII的構(gòu)成中，被引量和下載量的權(quán)重設(shè)計(jì)為8:2，這也是我們總結(jié)長(zhǎng)期在文獻(xiàn)計(jì)量學(xué)方面的研究后得出的結(jié)果。下載量雖然時(shí)效性較強(qiáng)，但有些下載可能只是占有性下載，下載者并沒(méi)有直接利用[20]，而被引量則說(shuō)明論文確實(shí)被讀者利用，并產(chǎn)生了實(shí)際影響力。另外，中文核心期刊評(píng)價(jià)體系中被引量和下載量的權(quán)重分配也是我們參考的一個(gè)方面。

FNII既對(duì)論文被引量和下載量進(jìn)行了學(xué)科領(lǐng)域的標(biāo)準(zhǔn)化，又考慮到了反映論文被使用情況的被引量和論文受關(guān)注度的下載量，因此能夠較為客觀地評(píng)價(jià)不同學(xué)科間論文的學(xué)術(shù)影響力。FNII用于學(xué)科評(píng)價(jià)時(shí)，將各自學(xué)科內(nèi)發(fā)表論文的FNII值相加，F(xiàn)NII值大的學(xué)科其科研水平就強(qiáng)。相反，F(xiàn)NII值小的學(xué)科其科研水平相對(duì)較弱；將FNII用于高校評(píng)價(jià)時(shí)，將某高校發(fā)表所有論文的FNII值相加，F(xiàn)NII值大的高校其科研水平就強(qiáng)。相反，F(xiàn)NII值小的高校其科研水平相對(duì)較弱；同樣方法適用于不同學(xué)科學(xué)者的評(píng)價(jià)。

任何一種指標(biāo)都不是完美的，F(xiàn)NII也有其自身的不足，例如：如果某一學(xué)科內(nèi)某篇論文的被引量或下載量異乎尋常地高，會(huì)造成其他論文的實(shí)際影響力被低估；不同學(xué)科論文被引量或下載量離散度差異較大時(shí)，也會(huì)影響學(xué)科間論文實(shí)際影響力的比較。另外，由于種種原因沒(méi)有產(chǎn)生被引或下載的論文，其計(jì)算FNII時(shí)該項(xiàng)為0，那么該文的實(shí)際價(jià)值就被忽略，故在學(xué)者或機(jī)構(gòu)評(píng)價(jià)時(shí)其實(shí)際影響力可能被低估。還需要指出的是，F(xiàn)NII計(jì)算時(shí)同時(shí)需要被引量和下載量的數(shù)據(jù)，這要求數(shù)據(jù)庫(kù)功能較為強(qiáng)大。目前國(guó)內(nèi)僅有CNIK提供了每篇論文的下載量，這在部分程度上限制了FNII的應(yīng)用范圍。

4.3 PR8的優(yōu)勢(shì)和局限性

將同一學(xué)科內(nèi)的所有論文按被引頻次降序排列，根據(jù)論文被引頻次的百分位數(shù)位置賦值，得到的PR8一定程度上彌補(bǔ)了FNII的不足。該指標(biāo)屬于位置指標(biāo)，不受學(xué)科離散度的影響，更符合統(tǒng)計(jì)學(xué)原理。另外，在PR8賦值時(shí)，對(duì)于被引頻次是0的論文也給予1分的分值，賦值的原因?yàn)椋孩俦灰l次是0未必就代表其學(xué)術(shù)水平差，也可能是由于論文偏向?qū)嵱眯裕m然被很多學(xué)者認(rèn)可并應(yīng)用于實(shí)踐，但學(xué)術(shù)論文寫作時(shí)可能不會(huì)被引用；②有些論文有“沉睡期”，可能其先進(jìn)性并未被現(xiàn)在的讀者所認(rèn)可，若干年后才會(huì)迎來(lái)被引的爆發(fā)期，這種現(xiàn)象被Van Raan命名為“科學(xué)中的睡美人”[21]；③CSSCI選刊嚴(yán)格，而能入選CSSCI期刊都有嚴(yán)謹(jǐn)?shù)膶徃逯贫龋髡叩恼撐目梢员籆SSCI期刊錄用，其本身就說(shuō)明論文達(dá)到了某一學(xué)術(shù)水平，故這部分論文在研究績(jī)效評(píng)價(jià)中不應(yīng)該被忽視。

將不同學(xué)科內(nèi)論文的PR8值相加，即可進(jìn)行學(xué)科間學(xué)術(shù)影響力的比較；將不同高校發(fā)表論文的PR8值相加，即可進(jìn)行高校學(xué)術(shù)影響力的比較；同樣方法適用于不同學(xué)科學(xué)者研究績(jī)效評(píng)價(jià)。

當(dāng)然，PR8指標(biāo)也有其局限性。由于其按照論文被引量的百分位數(shù)位置賦值，百分位數(shù)等級(jí)的設(shè)置會(huì)對(duì)論文PR8指標(biāo)產(chǎn)生一定影響。另外，同一百分位數(shù)區(qū)間內(nèi)(如90%～75%)論文的被引頻次可能存在較大差異，但賦值相同，因此該指標(biāo)不十分精細(xì)，個(gè)別高被引論文可能會(huì)被低估，同樣，個(gè)別低被引的論文也可能會(huì)被高估。

通過(guò)以上分析，認(rèn)為在大學(xué)和學(xué)者評(píng)價(jià)中，F(xiàn)NII和PR8評(píng)價(jià)結(jié)果高度相關(guān)但又不完全吻合，發(fā)文量少而被引量和下載量高者，其FNII表現(xiàn)突出；發(fā)文量大而被引量和下載量偏低，其PR8優(yōu)勢(shì)明顯。因此，聯(lián)合應(yīng)用FNII和PR8進(jìn)行大學(xué)、學(xué)科和學(xué)者研究績(jī)效評(píng)價(jià)是科學(xué)可行的。

[1]武書連,呂嘉,郭石林.2010中國(guó)大學(xué)評(píng)價(jià)[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2010(4):5-13.

[2]劉雪立，周晶，蓋雙雙.C9 高校學(xué)科建設(shè)的績(jī)效評(píng)價(jià)與預(yù)測(cè)——基于ESI 和InCites 數(shù)據(jù)庫(kù)[J].中國(guó)科技論壇，2016(5)：130-135.

[3]劉雪立，張?jiān)姌?lè)，蓋雙雙.基于論文產(chǎn)出的科研績(jī)效評(píng)價(jià)——ESI 和InCites 應(yīng)用研究綜述[J].現(xiàn)代情報(bào)，2016,36(3)：172-177.

[4]張靈閣，韓明杰，趙勇，等.英澳新三國(guó)高等學(xué)校科研評(píng)價(jià)體系的比較及啟示[J].中國(guó)科技論壇，2017(1)：179-185.

[5]VINKLER P.Comparative rank assessment of journal articles[J].Journal of informetrics,2013,7(3)：712-717.

[6]陳仕吉，史麗文，李冬梅，等.論文被引頻次標(biāo)準(zhǔn)化述評(píng)[J].現(xiàn)代圖書情報(bào)技術(shù)，2012(4)：54-60.

[7]張學(xué)梅，李華.跨學(xué)科領(lǐng)域期刊評(píng)價(jià)指標(biāo)PRP指數(shù)及其改進(jìn)研究[J].情報(bào)理論與實(shí)踐，2016,39(2)：50-53.

[8]俞立平．影響因子百分位指標(biāo)的特點(diǎn)研究[J]．圖書情報(bào)工作，2016,60(10)：103-107.

[9]LEYDESDORFF L.Alternatives to the journal impact factor:I3 and the top-10%(or top-25%)of the most-highly cited papers[J].Scientometrics,2012,92(2):355-365.

[10]LEYDESDORFF L,BORNMANN L.Integrated impact indicatorscompared with impact factors：an alternative research design with policy implications[J].J Am Soc Inf Sci Technol,2011，62(11):2133-2146.

[11]BORNMANN L，MUTZ R.Further steps towards an ideal method of measuring citation performance：the avoidance of citation averages in field-normalization[J].J Informtr，2011，5(1):228-230.

[12]National Science Board.Science and engineering indicators:2010[EB/OL].[2012-06-01].http://www.nsf.gov/statistics/seind10/pdf/seind10.pdf.

[13]VINKLER P.The use of thepercentage rank position index tor comparative evaluation of journals[J].J Intormetr,2014，8(2):340-348．

[14]劉雪立,周晶,蓋雙雙,盛麗娜,付中靜,董建軍,方紅玲.基于被引頻次分布特征的影響因子缺陷矯正——位置指標(biāo)應(yīng)用于期刊評(píng)價(jià)的實(shí)證研究[J].圖書情報(bào)工作,2016,60(9):1-8.

[15]LIU X L，F(xiàn)ANG H L，WANG M Y.Correlation between download and citation and download-citation deviation phenomenon for some papers in Chinese medical journals[J].Serials review,2011,37(3)：157-161．

[16]Change for the better the 2011-12 rankings even more accurate and comprehensive[EB/OL].http://www.timeshighereducation.co.uk/world-university-rankings/2011—2012/analysis-rankings-methodology.html.

[17]湯建民.大學(xué)排行榜的改進(jìn)之策[J].高教發(fā)展與評(píng)估,2016,32(4):1-5.

[18]方紅玲.我國(guó)科技期刊論文被引量和下載量峰值年代——多學(xué)科比較研究[J].中國(guó)科技期刊研究,2011,22(5)708-710.

[19]劉雪立.中文核心期刊評(píng)價(jià)指標(biāo)體系:演進(jìn)·問(wèn)題·建議[J].編輯學(xué)報(bào),2014(01):92-95.

[20]劉雪立，方紅玲，苗媛，等.五種綜合性眼科學(xué)期刊論文下載量與被引量的關(guān)系及部分論文的量引背離現(xiàn)象[J].中國(guó)科技期刊研究,2010,21(5)629-632.

[21]VAN RAAN J.Sleeping beauties in science[J].Scientometrics,2004,59(3):467-472.

TheBuildingandEmpiricalResearchonPR8andFNII： ——AnExampleofPhilosophyandSocialScienceofHenanProvinceinChina

Liu Xueli，Sheng Lina，Dong Jianjun，F(xiàn)ang Hongling，F(xiàn)u Zhongjing，Wang Yan，Zhou Zhixin

(Periodicals Publishing House of Xinxiang Medical University，Xinxiang 453003，China)

There has not yet established a convincing indicator system at home and abroad for interdisciplinary evaluation of scholarly and institutional scientific research.Based on the percentile ranking of citations of academic papers in the discipline，the PR8 indicator was established.Based on the citations and downloads of the papers，the field normalization impact indicator(FNII)was established，aiming to achieve interdisciplinary evaluation of scholars and institutions.Taking the philosophy and social science of Henan province as an example，we used the PR8 and FNII to appraise the performance of philosophy and social science research of Henan universities respectively，and screen out the top 50 scholars of philosophy and social sciences in Henan province.The PR8 and FNII were used to evaluate the performance of different disciplines，and the top 20 scholars were selected(Only the evaluation results of management discipline are given in this paper).

Percentile indicator；Field normalization impact indicator；Interdisciplinary evaluation；Scholar evaluation；University evaluation

國(guó)家社會(huì)科學(xué)基金項(xiàng)目“影響因子缺陷的多維度矯正與學(xué)術(shù)期刊跨學(xué)科評(píng)價(jià)研究”(15BTQ061)，河南省高等學(xué)校哲學(xué)社會(huì)科學(xué)基礎(chǔ)研究重大項(xiàng)目“河南省高校哲學(xué)社會(huì)科學(xué)研究績(jī)效評(píng)價(jià)和發(fā)展對(duì)策”(2015-JCZD-013)。

2017-02-16

劉雪立(1965-)，男，河南許昌人，教授/編審，碩士生導(dǎo)師，新鄉(xiāng)醫(yī)學(xué)院期刊社社長(zhǎng)，河南省科技期刊研究中心主任；研究方向：科學(xué)計(jì)量學(xué)與科學(xué)評(píng)價(jià)，文獻(xiàn)計(jì)量學(xué)與期刊評(píng)價(jià)。

G301

A

(責(zé)任編輯 沈蓉)