基于引文分析的科學家投入產(chǎn)出績效算法研究

郭 強，陳清文，劉建國

(1. 上海理工大學復雜系統(tǒng)科學研究中心 上海 楊浦區(qū) 200093；2. 上海財經(jīng)大學會計學院 上海 楊浦區(qū) 200433)

引文網(wǎng)絡的建模與分析已經(jīng)被廣泛用于評價科學家、科研單位甚至地區(qū)或國家的學術影響力。論文的應用次數(shù)對科學家、科學家的職稱評定、科研獎勵等方面都具有重要意義[1-3]。引文網(wǎng)絡的分析結果已經(jīng)被應用于科研管理政策的制定、科研激勵等措施，對學科發(fā)展具有重要意義[4]。

當前，基于科研引文網(wǎng)絡分析方法主要歸為兩類：基于統(tǒng)計和基于網(wǎng)絡結構的評價方法。基于統(tǒng)計的評價方法包括基本科學指標數(shù)據(jù)庫(ESI)[5-7]、總引用次數(shù)、總論文發(fā)表數(shù)、H 指數(shù)[8]、G 指數(shù)[9]、I10 指數(shù)[10]等指標。2001 年，美國科技信息所(ISI)提出ESI 指標用來度量科學研究績效[5-6]。ESI 是從論文發(fā)表總數(shù)、引文次數(shù)、平均被引頻次等多個方面對國家/地區(qū)科研水平、機構學術聲譽以及期刊學術水平進行衡量。但是ESI 只考慮編入Thomson Reuters 索引的期刊中發(fā)表的書籍、文獻[7]，限制了其客觀性。文獻[8]提出既考慮引用量又考慮發(fā)文章數(shù)的H 指數(shù)。一個人或組織的H 指數(shù)定義為其發(fā)表的所有文章中被引次數(shù)大于等于H 次的論文超過H 篇。一名科學家的H 指數(shù)越高，他的論文影響力越大。但是H 指數(shù)無法對只發(fā)表了少數(shù)幾篇重要文獻的科學家的工作進行評價。文獻[9]在H 指數(shù)上做出改進，提出了G 指數(shù)。G 指數(shù)是一種基于學者以往貢獻的科學家影響力評估方法。此外，一些用來完善或優(yōu)化H 指數(shù)的指標也相繼被提出。2011 年，谷歌提出了I10 指數(shù)[10]，即科學家發(fā)表文章中被引次數(shù)大于等于10 次的文章數(shù)。基于網(wǎng)絡結構的評價方法包括基于科學家合作[11-12]和引用網(wǎng)絡的PageRank 算法[13-14]。基于合作網(wǎng)絡的PageRank 算法是指基于合作網(wǎng)絡中科學家之間的合作關系對科學家進行評價，該方法主要反映了科學家在合作網(wǎng)絡中的影響力。基于引用網(wǎng)絡的PageRank 算法則是基于文獻之間的引用關系和科學家之間的引用網(wǎng)絡對科學家的學術水平進行評估。但是，上述全部方法都只考慮了科學家發(fā)表文章數(shù)、文章引用量，沒有考慮到科學家的溝通、時間等投入成本。因此，本文提出一種考慮輸入和輸出變量的投入產(chǎn)出模型，對科學家的績效進行綜合評價。

假設有甲乙兩位科學家，科學家甲與多名科學家合作發(fā)表了一篇文章，而科學家乙與一名科學家合作也發(fā)表了一篇文章，同時他們文章的引用量也相同。用H 指數(shù)等指標計量甲乙兩名科學家的投入產(chǎn)出績效是相同的。但是，甲比乙投入的多，占用的社會資源更多。如果乙和甲擁有相同的社會資源，乙就可能有更多的產(chǎn)出。綜合考慮科學家的投入和產(chǎn)出要素，本文工作主要是提出了一種考慮投入和產(chǎn)出的科學家績效算法。算法在考慮科學家的科研產(chǎn)出的同時，也考慮了科學家的溝通、時間等投入成本，從投入和產(chǎn)出的視角對科學家的績效進行建模評價。在APS 實證數(shù)據(jù)集上的實驗結果表明，本文提出的方法可以更準確地識別出獲諾貝爾獎的科學家，其中本文算法的AUC 值為0.7957，比只考慮總引用量的評價方法的準確度提高了8.77%。此外，對于APS 數(shù)據(jù)集，64.29%的科學家獲得諾獎前的投入產(chǎn)出績效高于獲得諾獎后的投入產(chǎn)出績效。對于Web of science 數(shù)據(jù)集，81.25%的科學家獲得杰青前的投入產(chǎn)出績效高于獲得杰青后的投入產(chǎn)出績效。

1 科學家投入產(chǎn)出績效算法

1.1 科學家投入產(chǎn)出績效算法的建立

本文限定科學家的投入產(chǎn)出績效 hj不超過1，即maxhj≤1，這意味著，若第j位科學家hj=1，則第j位科學家相對于其他科學家而言，他的投入產(chǎn)出績效最高；若hj<1，則說明第j 位科學家相對于其他科學家而言，他的投入產(chǎn)出績效有待提高。科學家j*(j?∈j，且j*為j 中任意一個科學家)的投入產(chǎn)出績效經(jīng)Charnes-Cooper 變換，可得[15]：

1.2 投入要素、產(chǎn)出要素的選取

當前，科研合作是科研人員進行科學研究的主要方式。科研合作伙伴之間技能互補、相互信任，有助于科學家雙方科研事業(yè)長期可持續(xù)發(fā)展。其中，科研論文合作是科研合作的重要形式，論文的質(zhì)量是度量科研產(chǎn)出的重要指標。已有的文獻顯示，論文作者越多，則論文被引用次數(shù)越多[16]。也有學者發(fā)現(xiàn)一篇論文的署名機構越多，則論文被引用次數(shù)越高。因此，本文假定合作科學家數(shù)量和合作機構數(shù)量可以作為投入產(chǎn)出模型的輸入變量[17-18]。

科學家間的合作能夠促進科研產(chǎn)出[19-20]。圖1給出了科學家發(fā)文量和平均被引用次數(shù)與合作科學家數(shù)量，以及合作機構數(shù)之間的關系。從中可以發(fā)現(xiàn)，合作科學家數(shù)量和機構數(shù)對于提高論文數(shù)量和平均被引次數(shù)具有促進作用。

圖1 論文平均被引次數(shù)與合作科學家數(shù)和合作機構數(shù)的關聯(lián)關系

1.3 科學家投入產(chǎn)出績效算法的計算示例

假如科學家甲和乙都發(fā)表了1 篇論文，其被引次數(shù)都為0，科學家甲與3 人合作，分別隸屬于與科學家甲不同的3 所科研機構，而科學家乙與1 人合作，隸屬于與科學家乙不同的1 所科研機構，則甲、乙科學家的H 指數(shù)、發(fā)文章量、引用量也一樣。此時，如果不考慮科學家合作的科學家數(shù)量以及科學家合作的機構數(shù)量，則無法準確地判定出哪一位科學家的績效更高。根據(jù)投入產(chǎn)出績效算法可以計算得出：

可以看到，h甲=0.333

2 數(shù)值實驗

2.1 數(shù)據(jù)集

本文采用美國物理學會(APS)1893～2009年的數(shù)據(jù)。為了研究科學家的投入產(chǎn)出績效，最終處理的APS 數(shù)據(jù)集包含超過247 889 名科學家(包括35 名獲得諾貝爾物理學獎的科學家)、451 034 篇論文和462 145 次引用。此外，本文采用了Web of science 數(shù)據(jù)集包括2011?2015 年國家杰出青年科學基金(NSFDYS)管理科學部的資助者在Web of science 數(shù)據(jù)庫發(fā)表的所有論文。數(shù)據(jù)集包含標題、出版年份、科學家名稱、每位科學家的隸屬機構以及每篇論文的引用次數(shù)。為了研究獲獎者獲獎前后科學家的投入產(chǎn)出表現(xiàn)，本文手動處理了科學家獲獎前后論文的引文量，篩選出獲獎前后都有數(shù)據(jù)的科學家為實驗對象。Web of science 最終處理的數(shù)據(jù)集包含32 位管理學科的獲杰青的科學家、1680 篇論文和22335 次引用，APS 的最終處理數(shù)據(jù)集包含28 位獲得諾獎的科學家、2433 篇論文和6949 次引用。

2.2 實驗結果

在APS 數(shù)據(jù)集中，獲諾貝爾獎的35 名科學家占總科學家數(shù)的1.4?，本文分別計算諾貝爾獎科學家和非諾貝爾獎科學家的投入產(chǎn)出績效，其中投入產(chǎn)出績效值在0～1 之間，1 代表科學家的投入產(chǎn)出績效最高，0 代表科學家的投入產(chǎn)出績效最低，結果分布如圖2 所示。在投入產(chǎn)出績效為0～0.2 時，非諾貝爾科學家的績效累積分布的趨勢急劇上升，而諾貝爾科學家的上升趨勢比較平緩。總體上，在同一投入產(chǎn)出績效下，非諾貝爾科學家的績效累積分布比獲諾貝爾科學家的累積分布高。

圖2 科學家的投入產(chǎn)出績效累積分布圖

為了直觀看出本文提出的投入產(chǎn)出績效算法的準確性[21]，圖3 給出了投入產(chǎn)出績效算法與其他指標結果的對比圖，子圖展示了績效排名前1000 名的科學家中獲諾貝爾獎的科學家數(shù)分布狀態(tài)。從中可以發(fā)現(xiàn)本文提出的投入產(chǎn)出績效算法對科學家排名的準確性比其他指標高。

圖3 投入產(chǎn)出績效算法與其他指標結果對比

本文采用AUC 指標評價投入產(chǎn)出績效算法的準確性。具體定義過程如下：分別從測試集合和非測試集合中隨機選取一位科學家，比較其投入產(chǎn)出績效。進行n 次抽樣后，如果測試集合中的科學家投入產(chǎn)出績效高于非測試集合中的科學家績效，則記為n1。如果兩者相同，則記為n2，AUC值定義為：

當AUC＝1 時表示所有測試集中的科學家績效均高于非測試集中的結果；AUC＝0.5 則表示結果與隨機抽樣的結果相同。抽樣次數(shù)n 越大，結果越可靠，本文取n=105。表1 給出了不同指標的AUC 值，從中可以發(fā)現(xiàn)本文方法的結果為0.7957，比其他指標中最高的總引用量指標提高了8.77%。

表1 各指標的AUC 值

2.3 獲獎前后的投入產(chǎn)出績效

本文研究了杰出青年基金獲得者和諾貝爾獎獲得者兩個數(shù)據(jù)集的科學家投入產(chǎn)出績效：APS 數(shù)據(jù)集和web of science 數(shù)據(jù)集。圖4a 是28 位科學家獲諾貝爾獎前后投入產(chǎn)出績效柱狀圖。其中，紅色代表科學家獲得諾貝爾獎前的投入產(chǎn)出績效，藍色代表獲得科學家諾貝爾獎后的投入產(chǎn)出績效。從圖4a 可以看出18 位科學家的獲獎前的投入產(chǎn)出績效比獲獎后的投入產(chǎn)出績效高，1 位科學家的投入產(chǎn)出績效不變。圖4b 的2011?2015 年獲得國家杰出青年科學基金的管理學部的32 位科學家投入產(chǎn)出績效柱狀圖。其中，紅色代表獲得杰青基金前的投入產(chǎn)出績效，藍色代表獲得杰青基金后的投入產(chǎn)出績效。從圖4b 可以看出26 位科學家獲獎前的投入產(chǎn)出績效比獲獎后的投入產(chǎn)出績效高，1 位科學家的投入產(chǎn)出績效不變。

圖4 科學家獲獎前后投入產(chǎn)出績效柱狀圖

3 結 束 語

本文提出了一種考慮科學家投入和產(chǎn)出信息的績效評價算法。在評價科學家績效的時候，除了要考慮科學家的發(fā)表論文和論文影響力等產(chǎn)出績效，還需要考慮科學家的投入精力因素。如科學家需要花大量的時間進行溝通、協(xié)商才能夠彼此合作。因此，本文考慮了合作科學家數(shù)和合作機構數(shù)等投入因素，對科學家的投入產(chǎn)出績效進行綜合評價。在包含近百年數(shù)據(jù)的美國物理學會上的實驗結果表明，本文提出方法的AUC 值為0.7957，相比于總引用量的評價結果，準確率提高了8.77%。此外，科學家在獲獎前后的投入產(chǎn)出績效實驗結果表明，大部分科學家獲獎前的投入產(chǎn)出績效高于獲獎后科學家的投入產(chǎn)出績效。

科學家投入產(chǎn)出績效算法取決于投入要素和產(chǎn)出要素的選取，因此可以研究更多投入要素，使科學家的排名更準確。如科學家投入產(chǎn)出績效在一定程度上取決于科學家研究的主題，而本文方法并沒有考慮到研究主題這個投入變量。同時，具有意義的研究主題可能會有更多的產(chǎn)出(發(fā)表的論文數(shù))，在未來的工作里會考慮加入研究主題來研究科學家的投入產(chǎn)出績效[22-23]。除此之外，獲獎科學家獲獎前后績效的差異的原因很多，如得獎的年齡很大，得獎后文章的價值還沒有完全發(fā)揮出來等，而本文的方法中并沒有考慮到這些影響因素。