基于代表作制度的z指數(shù)學者評價方法改進研究*

張學梅

（蘇州市職業(yè)大學圖書館 江蘇蘇州 215011）

1 引言

學者是科學研究過程中最具活力的因素，學者評價是學術評價的重要組成部分。對學者開展科學、合理、公正的評價，不僅有助于科研單位、大學、機構的聘任、評獎等工作，還可以充分調(diào)動學者的科研積極性，激勵他們持續(xù)從事科研活動，從而產(chǎn)生更多高質量的研究成果，由此促進科學發(fā)展。許多對學者進行評價的方法也可以直接或改造后推廣到大學、科研單位、科技期刊等多種對象的評價中。

對學者的評價離不開對其科研成果的評價，無論是同行評議法還是基于科學計量學原理的定量評價方法，均是以學者科研成果為基礎來開展。隨著科學技術的飛速發(fā)展，產(chǎn)生了越來越多的作為科研成果的科技論文，科技論文是體現(xiàn)學者科研成果最重要的載體，是學者之間進行學術交流最重要的媒介，也是開展學術評價最重要的依據(jù)。目前同行評議法在學術評價中的應用范圍還很廣，如論文發(fā)表前的專家評審階段、各種科技評獎、職稱評審等。以定性評價為主要特點的同行評議法存在一些難以克服的缺陷，如實施成本高、不公開性、評價結果受專家知識結構和主觀局限大、人為因素影響大等，從而使得評價結果不夠真實公正?；诳茖W計量學的定量評價主要是在論文發(fā)表之后開展，借助于論文發(fā)表的數(shù)量及被引量等數(shù)據(jù)而得出，具有實施成本低、更加公正客觀的特點，越來越受到相關學者的重視，學者們從多種角度開展研究并產(chǎn)生了大量研究成果。

近年來新出現(xiàn)的科學計量學學者評價指標中，影響力最大的是2005年由Hirsch提出的h指數(shù)[1]，其創(chuàng)造性地將發(fā)文量與被引量結合到一個數(shù)字中，從而實現(xiàn)同時反映論文數(shù)量與質量的效果。在h指數(shù)出現(xiàn)之前，能夠同時考慮到發(fā)文量和被引量的指標主要是平均被引率，即用學者全部論文的被引量總和除以發(fā)文量，以此反映出學者的學術水平。盡管具有一定意義，但是其存在的缺陷也很明顯。它的計算方法非常粗獷，并且懲罰高產(chǎn)者獎勵低產(chǎn)者，所以可能得到很不合理的結果，而h指數(shù)計算過程更加精細，在一定程度上克服了平均被引率的諸多缺陷，可以說h指數(shù)體現(xiàn)了一種科研質量的價值取向，是微觀科研評價中的一項革命性的指標[2]。正因如此，h指數(shù)一經(jīng)提出便引起廣泛關注，產(chǎn)生了大量相關研究，主要包括利用h指數(shù)法開展學術評價[3-4]、h指數(shù)應用范圍的推廣研究[5-6]、h指數(shù)與其他評價方法的比較研究[7]、h指數(shù)原理研究[8-9]、針對h指數(shù)不足提出改進策略的研究[10-12]等。這些研究不斷推動著h指數(shù)的發(fā)展，特別是各種改進策略的嘗試，從不同角度著手設計出不少新指標，為學術評價提供了更多思路。但是這些指標絕大多數(shù)與h指數(shù)一樣屬于二維復合指標，也即主要是考慮發(fā)文量和被引量兩個層面，而Prathap于2014年提出的Z指數(shù)[13]，將作者引文分布特征引入評價指標中，所以可稱為三維評價指標，為h指數(shù)的發(fā)展提供了新的研究視角，目前已引起部分學者興趣，出現(xiàn)一些相關研究。

另一方面，在以論文為基礎的學者評價中，從對評價結果產(chǎn)生影響的論文選取方法的角度，可以把評價方法分成兩類：一種是全部論文均進入計算，在這類方法的框架下，作者的每一篇論文都對評價結果產(chǎn)生影響；另一種是部分有代表性的論文進入計算，在這種框架下，作者的一部分論文對評價結果產(chǎn)生影響，而另一部分論文對評價結果完全沒有影響。前者如總發(fā)文量、總被引量、篇均被引量、EM指數(shù)[14]、hm指數(shù)[15]等，后者如高被引論文數(shù)、h指數(shù)、g指數(shù)[16]、e指數(shù)[11]等。它們實際也代表了兩種學術評價的理論基礎：在開展學者個人評價中，應該以學者全部論文的總體水平為依據(jù)，還是以其質量最高的部分論文為依據(jù)，后者是目前引起人們興趣的代表作制度。

一般來說，在科研生涯中的不同階段，一名科研人員在各項研究中投入的時間和精力不可能完全相等，所以作為科研成果的相關論文質量也會有所差異，那些集中全力而產(chǎn)生的論文可能質量更高從而成為其代表作[17-18]。在求職、晉升、評獎、基金申請等多個場合，科研人員都需要選擇他們的代表作。迄今為止，如何選擇代表作在學界仍然沒有定論。例如，一名科研人員可以選擇自己被引量最高的論文或者發(fā)表在頂級期刊上的論文作為自己的代表作[19]。Niu等人提出一種自避免最優(yōu)擴散程序來確定個人的代表作[20]。Bao等人考慮到合作者對一篇論文的貢獻差異，以分值分配為基礎來確定科研人員的代表作[21]。周建林等人提出一種以被引量為基礎選擇學者代表作的方法（為下文敘述方便，暫稱其為representative方法）：首先將學者的全部論文（共N篇）按被引量從高到低排序，論文編號記為正整數(shù)n（1≤n≤N），每篇論文的被引量記為Cn，有Cn＞Cn+1，然后依次計算相鄰2篇論文被引量的差值C1—C2、C2—C3、……、Cn—Cn+1、……、CN-1—CN，并找到所有差值中的最大值max（Cn—Cn+1），那么此時的前n篇論文就是該作者的代表作，作者通過實證研究證實了該方法的有效性[22]。此外，h指數(shù)的實質是在對學者進行評價時，只選擇其發(fā)表的論文中被引量最高的若干篇（也即h核心論文）作為代表進入h指數(shù)的計算，而忽略非h核心論文的影響。這種思想與代表作制度的原理不謀而合，可以認為h指數(shù)核心論文即是該作者的代表作，無論其他論文數(shù)量多少、質量如何，均不對學者的學術水平分值產(chǎn)生影響。

推行代表作制度是當前學術評價改革的一項重要內(nèi)容，考慮到h指數(shù)應用的廣泛性和representative方法的理論新穎性與實踐簡便性，結合目前國內(nèi)外已出現(xiàn)一些針對Z指數(shù)的研究，本研究嘗試從對其評價原理加以探討為出發(fā)點，試圖將該指標與以代表作制度為特征的評價方法相結合，從而對Z指數(shù)的計算原理進行改進和探討，并通過定量研究分析采用不同的評價原理對評價結果影響的異同，目的在于對Z指數(shù)的設計原理進行探索，為相關研究者提供更多的理論與方法上的參考，為學術評價實施者實施不同目的的學術評價提供更多的選擇，同時激發(fā)相關學者的思考，共同討論究竟哪種評價原理更加合理。

2 Z指數(shù)發(fā)展過程及原理

為了更加清晰地厘清思路，首先對Z指數(shù)的發(fā)展脈絡作一簡要回顧。

2005年，加州大學Hirsch提出一種新的評價科學家個人學術水平的指標h指數(shù)，定義為某一學者所發(fā)表的全部論文中至少有h篇的被引量不少于h次。用數(shù)學公式表示為：

式（1）中k是將論文按被引量降序排列后的序號，k是正整數(shù)且滿足1≤k≤N，N表示該學者的發(fā)文量，Ck是第k篇論文的被引量。

在h指數(shù)基礎之上，學者們不斷提出大量新的評價指標，p指數(shù)（performance index）是由Prathap在2010年通過模擬h指數(shù)而設計的一個綜合指標，計算公式為：

式（2）中C表示學者的總被引量，p指數(shù)提出后已經(jīng)被用于評價學者[23]、國家[24]、期刊[25-26]和論文[27]等，產(chǎn)生了一定的影響。Prathap使用該指標對100位最多產(chǎn)的經(jīng)濟學家進行排序，認為p指數(shù)相對于h指數(shù)的效果更好，因為它能夠反映出學者科研成果總被引量和平均被引率之間的最佳平衡[23]，從而彌補h指數(shù)靈敏度不高與區(qū)分度較低的缺點。該指數(shù)的缺陷在于它將學者的總被引量作為一個整體來進行計算，不能反映各篇論文被引量的分布情況，針對這一點，Prathap在2013年對p指數(shù)進一步改進，引入被引集中度指標η（consistency），從而提出Z指數(shù)。

那么，Z指數(shù)的計算公式為：

與p指數(shù)相比，Z指數(shù)在反映數(shù)量因素的總發(fā)文量和反映質量因素的平均被引率之外，又引入描述被引集中程度的η，通過計算每篇論文被引量的平方和，將三者有機地融合在一個指數(shù)中，從而使得論文被引量的分布狀況在評價結果中得到一定程度上的體現(xiàn)。因此Prathap認為，Z指數(shù)是一種數(shù)量—質量—連續(xù)性（Quantity-Quality-Consistency）的3D效能評價指標。在p指數(shù)一定的情況下，論文被引量的平方和越大，說明被引集中度η越高，也即大量引用都集中在一篇或少數(shù)幾篇論文上，評價對象之間的差距較大，Z指數(shù)越低；論文被引量的平方和越小，說明被引集中度越低，也即各篇論文被引量相對來說更接近，評價對象之間的差距更小，Z指數(shù)越高。俞立平認為，無論是團隊、機構還是學術期刊，在水平較高的情況下，個體差距越小越好[28]，這時Z指數(shù)反映的是一個集合中多個對象的總體水平，所以被引集中度越低，總體水平越高，Z指數(shù)就越高。但是對于單個學者來說，情況可能有所不同：被引集中度高，說明該學者可能擁有1篇或幾篇被引量極其突出的論文。對于一名學者來說，在整個學術生涯中，也許就是這1篇或幾篇高水準的論文奠定了其在學術界的地位，但是這時Z指數(shù)得分卻可能比較低，所以Z指數(shù)在進行學者評價時的計算原理與應用范圍，需要更進一步探討。

3 基于代表作制度的Z指數(shù)改進方法設計與實證分析

3.1 基于代表作制度的Z指數(shù)改進方法原理

本文對Z指數(shù)改進的原理具體就是：在Z指數(shù)的計算過程中，不是學者的全部論文都進入計算，而是選擇其中部分代表作來參加計算，具體是以h指數(shù)核心法和representative方法為例進行探討。為方便討論，分別用Zh和Zr表示使用h指數(shù)核心法和representative方法改進后所得到的指標，計算公式為：

（5）和（6）式中Ch表示用h指數(shù)核心法選擇出的學者代表作總被引量，也就是h核心論文總被引量，Nh表示h核心論文篇數(shù)，數(shù)值上等于h指數(shù)；Nr和Cr分別表示用representative方法選擇出來的學者代表作篇數(shù)和這些代表作的總被引量。

3.2 實證分析

3.2.1 數(shù)據(jù)來源與獲取

選擇國內(nèi)圖書情報學領域60名知名學者為研究樣本，以中國知網(wǎng)（CNKI）的中國引文數(shù)據(jù)庫為數(shù)據(jù)統(tǒng)計源，檢索這些學者2009—2018年間論文發(fā)表及引用情況。選擇這一引文窗是考慮到學者撰寫、發(fā)表論文及積累一定量的引用是一個需要較長時間的過程，通常10年的時間基本可以保障一名持續(xù)從事科研活動的學者能夠發(fā)表一定量的論文并獲取相當數(shù)量的引用。為盡量減少由于數(shù)據(jù)庫更新給研究帶來的誤差，全部數(shù)據(jù)在2019年3月1日—7日檢索完畢。由于本次研究主要目的為探索不同的評價原理對Z指數(shù)評價結果的影響，為降低復雜度，并未對合著論文的作者排序進行區(qū)分，如果有必要，可以在后續(xù)的研究中進一步專門分析作者署名順序對評價結果的影響。

3.2.2 各指標總體分布情況

利用獲取到的數(shù)據(jù)計算出每一名學者的排序與表1同。表1是各指標的描述性統(tǒng)計，對于非整數(shù)值，精度保留到小數(shù)點后4位數(shù)字。從表1可以看出，4種指標的極差（最大值—最小值）是Zr指數(shù)＞Zh指數(shù)＞h指數(shù)＞Z指數(shù)，所以相比Z指數(shù)，Zr指數(shù)和Zh指數(shù)各值之間相差更大，在進行比較時可能更加直觀地顯示出學者之間的差距。

表1 各指標描述性統(tǒng)計

鑒于所使用的4種指標計算原理的不同，對各指標排序結果產(chǎn)生影響的論文篇數(shù)有所差異。總體上看，學者全部論文——無論是否獲得過引用、無論被引用過多少次——對其Z指數(shù)的計算結果都產(chǎn)生影響，從14篇到345篇不等；只有h指數(shù)核心的論文對其Zh指數(shù)和h指數(shù)產(chǎn)生影響，從6篇至35篇不等；對學者Zr指數(shù)產(chǎn)生貢獻的論文篇數(shù)最少，從1篇到7篇不等，其中只有1篇代表作的學者有38人，所以，representative方法對學者代表作的遴選機制更加嚴格。

3.2.3 各指標之間的相關性分析

Zh指數(shù)、Zr指數(shù)、Z指數(shù)和h指數(shù)之間的相關性分析如表2所示。從表2容易看出它們兩兩之間都存在相關性，且都通過了統(tǒng)計檢驗，這是因為這幾種指標都來源于h指數(shù)，具有同源性。其中Zr指數(shù)與Z指數(shù)、Zh指數(shù)與Z指數(shù)、Zh指數(shù)與Zr指數(shù)的相關系數(shù)最高，分別為0.904、0.869、0.867，達到高水平相關，主要是因為這幾種指數(shù)的計算方法相似，只是參加計算的論文選取方法有異；Z指數(shù)與h指數(shù)的相關系數(shù)是0.744，屬于中高水平；Zr指數(shù)和Zh指數(shù)與h指數(shù)的相關系數(shù)分別是0.579和0.516，屬于中等水平。

表2 各指標之間的相關性分析

圖1 樣本作者各指標的散點圖

3.2.4 樣本作者各指數(shù)分布情況

圖1是60名樣本學者的各指標散點圖，橫坐標表示學者序號，縱坐標表示該學者各指標分值的大小，為便于觀察，按照各學者Z指數(shù)大小降序排列的名次作為其序號，故圖中Z指數(shù)的分值隨橫坐標遞減。從圖1中可看出，其他三種指數(shù)的得分，總體上與Z指數(shù)變化趨勢保持一致，即隨著橫坐標的上升而呈不同程度的下降趨勢，主要原因是由于這幾種指數(shù)具有同源性，而各指數(shù)的變化趨勢又有差異，Zr指數(shù)的最高點和次高點偏離橫坐標原點非常明顯，顯示出其對高影響力學者的界定原理與其他三種指數(shù)的差異相對更大。

3.2.5 學者名次變化情況分析

表3給出4種指標分別位于前10名的學者數(shù)據(jù)，共涉及到17名學者。

從表3中的數(shù)值可以發(fā)現(xiàn)，邱均平的Zh指數(shù)、Z指數(shù)和h指數(shù)均排名第1，而Zr指數(shù)排名第11，與其他三個指標相差10名，主要原因在于他被引量最高的1篇論文與其他論文被引量相差較大，所以他的representative代表作只有1篇，被引量193次，而這篇論文的被引量卻不是全部學者中最高的，導致他的Zr指數(shù)排名下降。

樣本學者中Zr指數(shù)最高的是范并思，達到64.04，而他的Zh指數(shù)與Z指數(shù)排名第3，也是名列前茅，h指數(shù)排名第9。他的兩篇representative代表作共被引726次，占其總被引量的37.46%，每篇論文被引量比第3篇論文高出近200次。被引量在前2篇論文上的集中程度較高，所以獲得了很好的Zr指數(shù)排名。

表3 4種指標排名前10的學者數(shù)據(jù)一覽表

Zr指數(shù)與Z指數(shù)相比，共有3名學者名次沒有發(fā)生變化，名次上升最多的是侯漢清和葉鷹。侯漢清Zr指數(shù)排名7，Z指數(shù)排名48，名次上升41名；葉鷹Zr指數(shù)排名2，Z指數(shù)排名42，名次上升40名。葉鷹被引量最高的1篇論文（也是其representative代表作）被引量達到429次，侯漢清被引量最高的1篇論文被引量為255次，所以他們的Zr指數(shù)分值較高，而從他們的論文被引量分布情況來看，他們各自的representative代表作論文被引量分別約占總被引量的45.1%和50.4%，整體上論文被引集中程度較高，所以Z指數(shù)較小，導致他們的Zr指數(shù)排名大大高于Z指數(shù)排名。總被引量名次下降最多的是王知津，Zr指數(shù)排名55，Z指數(shù)排名21，下降了34名。他的representative代表作論文也是1篇，被引量85次，在全部樣本作者中并不算多，所以他的Zr指數(shù)較低；另一方面，從他的論文被引總體情況來看，他的各篇論文被引量相差不是很懸殊，論文被引集中程度較低，所以Z指數(shù)較大，故而他的Z指數(shù)排名大大高于Zr指數(shù)排名。另一位Zr指數(shù)比Z指數(shù)名次下降較多的學者畢強，其論文被引情況與之相似。Zr指數(shù)與Z指數(shù)排名變化情況最大的4名學者如表4所示。

Zh指數(shù)與Z指數(shù)相比，共有5名學者名次沒有發(fā)生變化，而名次上升最大的是趙蓉英和袁勤儉。如表5所示，袁勤儉Zh指數(shù)排名25，Z指數(shù)排名45；趙蓉英Zh指數(shù)排名14，Z指數(shù)排名34，分別上升了20名。這兩名學者的總發(fā)文量較高，分別是176篇和159篇，而且他們的h指數(shù)核心論文與其他論文被引情況差距比較顯著，使得使用Z指數(shù)進行排名時，總發(fā)文量出現(xiàn)在分母的位置，便出現(xiàn)了這類計算方法固有的“懲罰高發(fā)文者，獎勵低發(fā)文量”的缺陷，而Zh指數(shù)計算過程只有h指數(shù)核心論文發(fā)生作用，規(guī)避了這一缺陷。名次下降最大的是畢強，Zh指數(shù)排名38，Z指數(shù)排名12，下降了26名；任樹懷Zh指數(shù)排名44，Z指數(shù)排名19，下降了25名。名次下降幅度明顯的作者與全部樣本相比，畢強總發(fā)文量149篇，與趙蓉英和袁勤儉相差不大，但是總被引量與前2名學者相差較大，但Z指數(shù)是最高的。任樹懷的發(fā)文量和總被引量與前2名學者相比也是相差懸殊，同樣Z指數(shù)是高于這2名學者。從這些指標來看，Z指數(shù)對學者的評價不夠合理，而從Zh指數(shù)評價結果看，更加符合實際情況。

表4 Zr指數(shù)與Z指數(shù)排名變化情況最大的4名學者

表5 Zh指數(shù)與Z指數(shù)排名變化情況最大的4名學者

4 結語

從以上分析可以看出，Zr指數(shù)和Zh指數(shù)汲取了Z指數(shù)的計算原理并加以改進得來，而Z指數(shù)是在p指數(shù)基礎之上引入反映被引用集中程度的η而提出，p指數(shù)又來源于h指數(shù)，所以這些指標是一脈相承又各有特點。使用Z指數(shù)對學者開展學術評價時，學者全部論文與被引量都參加計算，即使是1次引用，也會對評價結果產(chǎn)生影響。而參加Zr指數(shù)和Zh指數(shù)計算的論文需要通過一定的方法遴選出來，所以只有部分論文對計算結果產(chǎn)生影響。

所選樣本對象都是圖書情報學領域的著名學者，他們?yōu)槲覈鴪D書情報學研究的發(fā)展作出了不懈的努力，其發(fā)文和被引情況也各具特點。通過對他們各指數(shù)的實證研究，發(fā)現(xiàn)如果學者的1篇或幾篇論文被引量顯著高于其他論文及樣本集合中其他學者的最高論文被引量，則有可能獲得更好的的Zr指數(shù)排名；如果學者的h指數(shù)核心論文的總被引量較高，則有可能獲得較好的Zh指數(shù)排名；如果學者的論文總被引量在樣本集合中不算太低且相對來說比較平均，則有可能獲得較好的Z指數(shù)排名。

學術評價是當今學術界的未解難題，至今沒有一種公認的盡善盡美的學術評價方法或代表作選取方法，但是無論如何，一名科研人員代表作的質量應該優(yōu)于其其他作品[22]。使用其他代表作選取方法對Z指數(shù)進行改進也有可能得到其他不同的評價結果，在實際工作中需要根據(jù)具體的評價目的，選擇適合的方法開展評價工作，才能達到評價目的，并發(fā)揮出學術評價本身的意義。