





摘要:國際學術期刊編委在國際學術評價體系中扮演著重要角色,通過分析大學擁有的編委數量與傳統科研產出指標的相關性,有助于完善中國現階段的學術評價體系。文章以296本SSCI經濟學期刊中擁有編委的984所大學作為樣本,通過普通最小二乘回歸以及分位數回歸等方法對這些大學的編委數量與傳統科研產出指標進行了相關性的實證檢驗。結果表明:編委數量與論文數量、總被引頻次、篇均被引、h指數均有著顯著的正向相關關系;分位數回歸結果進一步表明當一所大學的論文數、總被引、h指數指標位于越高(低)分位點時,編委數量對它們的影響系數也越大(小),編委數量與篇均被引的影響系數在篇均被引的不同分位點也有所不同。建議編委數量指標可作為傳統科研產出評價指標的有益補充,完善目前的學術評價體系。
關鍵詞:期刊編委;科研產出;學術評價;分位數回歸
中圖分類號:G2552 文獻標志碼:A 文章編號:
10085831(2017)01006110
一、背景及研究概述
近些年來,中國學界關于學術評價改革的呼聲日趨高漲,教育部先后印發了《關于深化高等學校科技評價改革的意見》[1]《高等學校科技分類評價指標體系及評價要點》[2]《關于開展高等學校科技評價改革試點的通知》[3]等指導性文件。學術評價改革,特別是人文社會科學評價的改革已經成為學界討論的熱點話題[4-6]。在目前已有的學術評價體系中,科研產出類的評價指標占有一定的比例。然而,傳統的基于科研產出的評價指標由于存在諸如無法完全反應論文真實質量、引文時滯過長、不完全適用于人文社會科學評價等諸多弊端也常受到學界的詬病[7-9]。事實上,科研產出類指標大多把注意力放在了產出的結果上,而較少有研究或評價實踐將注意力放在影響文章能否發表、擁有學術話語權的國際學術期刊編委上[10]。在這種背景下,傳統的只關注科研產出最終結果的評價指標體系需要不斷補充和完善。
國際學術期刊編委在國際學術界有著重要的地位,他們保障著最終發表文章的學術品質,被喻為期刊的把門人。編委的當選多是基于自身較高的學術水平,在學界享有較高的學術聲譽。這些基于同行評議選出的編委人才相比論文可能更能反映一國或一個機構的科研實力[10]。如能從國際學術期刊把門人——期刊編委這一科研產出的前置因素視角進行學術評價,分析其與傳統的科研產出評價指標的相關性,探討指標之間的關系特點,對于探索和完善中國現階段的學術評價體系,提高期刊的辦刊質量及國際學術話語權水平無疑有著重要的理論與現實意義。
國外一些學者就大學擁有的編委數量與大學的科研產出指標進行了相關性實證檢驗。這些研究主要來源于經管商學等領域。具體涉及的學科包括財政學[11-12]、市場營銷[13]、經濟學[14-15]、管理學[16]、國際商學、傳播學[17]、酒店與旅游管理[18]等。事實上,現有文獻還存在以下兩點不足:第一,現有研究缺乏對大學的編委數量與反映大學科研產出影響力的指標進行相關性實證檢驗。學者們選擇科研產出指標多為科研產出數量的指標,而諸如篇均被引等反應產出影響力的指標則很少涉及[14]。第二,現有研究缺乏對大學編委數量與科研產出指標相關性的全面而細致的刻畫。現有研究多選取編委數量排名靠前的院校與其科研產出排名進行分析,比較二者重疊的部分,或者計算兩類排名的相關系數,或基于OLS回歸計算編委數量對科研產出指標的影響系數。然而選取編委數量排名靠前的院校,人們并不清楚編委數量排名中間及靠后的院校或者從總體上看所有院校編委數量與科研產出指標的相關關系。此外,OLS回歸度量的是自變量對因變量的“平均影響”,結果較為粗糙,缺乏對編委數量與科研產出指標二者關系細致深入的分析,例如大學的編委數量與科研產出指標的相關性在科研產出的不同條件分位點結果可能是不同的,因而存在一定的局限性。
本研究選擇在編委數據信息相對較為完整的經濟學學科中進行實證。針對以上兩點不足的分析,本研究選取國際上擁有經濟學SSCI期刊編委的984所大學為樣本,首先通過OLS回歸對這些大學的編委數量與論文數量、總被引頻次、篇均被引、h指數等指標進行相關性實證檢驗,以考察編委數量指標的特點。然后通過分位數回歸方法詳細刻畫大學科研產出指標位于條件分布不同位置時編委數量與這些科研產出指標的相關性特點,以期能夠展現兩類指標更為豐富的信息,進一步深入了解編委數量作為評價指標的特性,為完善中國學術評價指標體系、提升中國期刊國際學術話語權水平提供相關信息。
二、研究方法
(一)數據收集
本研究首先以期刊引證報告JCR數據庫中的economics學科類別下的321本期刊作為本研究的樣本期刊(由于部分期刊不提供編委數據信息,實際獲取296本期刊),在這些期刊的網站上手工獲取這些期刊的編委信息,并通過Excel的匯總統計功能計算每所擁有編委大學的編委數量[19]。最終獲取了984所大學的編委數量信息。
在此基礎上,筆者在Web of Science數據庫通過創建高級檢索式的方法獲取984所大學論文數量、總被引頻次、篇均被引、h指數四個指標的數據。其中引文窗口選擇2008-2012年引文窗。此外,為了減少一些大學由于發文數量較少從而帶來篇均被引指標的較大波動、獲取更加可靠的統計分析,我們在做編委數量與篇均被引指標的回歸分析時,人為設定89篇的閥值(也即發文數量最多5所大學的論文數量平均值的10%),將論文數量少于89篇的大學剔除,最終318所大學構成了編委數量與篇均被引回歸分析的樣本。
(二)分位數回歸方法
普通最小二乘回歸(OLS)擬合因變量的條件均值與自變量之間的線性關系,而分位數回歸是通過因變量取不同分位點時(如30%或60%分位點),對特定分布的數據進行估計。因此,它能詳細刻畫因變量位于條件分布不同位置時自變量對因變量的影響差異,能夠為我們提供編委數量與科研產出指標二者關系更為豐富的信息。
此外,普通回歸當數據出現尖峰或肥尾分布、異方差時,將不再具有最佳線性無偏估計的優良性。一方面,由于本研究的變量中涉及總被引等引文數據,而引文數據通常具有非正態分布的性質,在此種情況下,分位數回歸是一個較好的替代方法[20];另一方面,本研究的樣本中共有984所大學之多,這些大學也有很大的差異,在很難獲取具體某一學科中諸如科研投入等一些影響科研產出的變量的情況下,遺漏的這些變量多數情況下會被加入到誤差項中,模型中存在異方差的可能性很大,分位數回歸可以避免普通回歸中誤差項同分布的嚴格假設,允許異方差的情況下對變量進行分析。而異方差的存在也可能導致大學的編委數量與科研產出指標的相關性在科研產出條件分位點有所不同。因此,綜合以上因素分析,我們選擇分位數回歸模型。分位數回歸模型可表示如下:
三、結果與討論
(一)OLS回歸結果
本研究以編委數量作為自變量,論文數量、總被引頻次、篇均被引、h指數分別作為因變量,首先進行OLS回歸分析。各變量數據的描述性統計見表1。
表2給出了OLS回歸結果。表2顯示,編委數量與論文數量、總被引頻次、篇均被引、h指數的回歸系數均為正,且均在1%的水平上顯著,表明經濟學學科中,大學的編委數量與大學的這4個科研產出指標均具有顯著的正向相關關系。然而從回歸方程的擬合優度R2來看,其相關程度并不相同。其中編委數量與論文數量、總被引頻次的相關性最高(R2分別高達818%和861%),編委數量與h指數的相關性次之,也有著較高的相關性(R2為625%),但是編委數量與更加反映科研產出影響力的篇均被引的相關性則相對較低(R2為281%)。
(二)分位數回歸結果
在OLS回歸結果中,我們發現編委數量與論文數量、總被引頻次以及h指數三個回歸方程存在異方差(見表2中的White異方差檢驗)。異方差也可以由編委數量與科研產出指標的散點圖看出,以編委數量和總被引頻次為例(圖1)發現:隨著編委數量的提高,總被引指標呈現發散的趨勢,這是典型的異方差特征。R為根據OLS回歸結果擬合的回歸線,R1為相對較高分位點處的回歸線,而R2為相對較低分位點處的回歸線。三條不同斜率的回歸線也反映出編委數量與總被引的相關性在科研產出的不同條件分位點時可能并不相同。因此我們運用分位數回歸方法進一步探究編委數量與科研產出各指標的相關性。
這里仍以編委數量作為自變量,論文數量、總被引頻次、篇均被引、h指數分別作為因變量,并將論文數量、總被引頻次、篇均被引、h指數各以5%為間隔,分為19個分位點。分位數回歸結果如表3(5%~50%)和表4(50%~95%)所示。
表3和表4結果顯示,編委數量與論文數量、總被引頻次、篇均被引、h指數指標在所有分位點均有著顯著的正向相關關系,且從擬合優度R2來看,編委數量與論文數、總被引、h指數的相關性相對較高,與篇均被引的相關性相對較低,這和OLS回歸結果有著很好的印證。
更為重要的是,分位數回歸結果展現了更為豐富的信息:編委數量對論文數量、總被引頻次、h指數三個指標的回歸系數呈現逐漸增大的趨勢,一所大學的論文數量、總被引頻次、h指數位于越高(低)分位點時,編委數量對它們的影響系數也越大(小)。編委數量與篇均被引的回歸系數在不同分位點也有所不同,但是在35%分位點后,回歸系數的變化不明顯。分位數回歸結果所展現的這些特點也可由圖2~圖5看出。
由圖2~圖5中OLS回歸與分位數回歸結果的對比也發現:編委數量對論文數量、總被引頻次、h指數的回歸系數分別在35%分位點、55%分位點、30%分位點及以上時要高于OLS回歸的結果,而在上述三個分位點以下時要低于OLS回歸的結果;編委數量對于篇均被引的回歸系數在30%分位點及以下、60%、80%分位點時低于OLS回歸的結果,在其余分位點都要高于OLS回歸的結果。由此可見,分位數回歸呈現了OLS回歸無法觀測到的更加全面完整的信息。
(三)討論
1.編委數量與各科研產出指標形成顯著正相關的原因
OLS回歸與分位數回歸都表明大學的編委數量與各科研產出指標具有顯著的正向相關關系。兩類指標形成顯著的正向相關關系可能有以下兩方面原因。首先從科研產出影響編委數量的方向上看,編委能夠當選正是由于他們自己具有較高的科研產出能力。一些來自不同學科的實證也都證實編委具有較強的產出能力[24-27]。由此推廣到學校層面,一所大學科研產出的數量與影響力越高,這里面所蘊含的編委數量越多的機率也應該越大。再從編委數量影響科研產出的方向上看,一方面,編委可能基于自身較高的科研產出水平直接為本校貢獻了較多高影響力的科研產出;另一方面,一些學者認為編委可能由于掌握著學術話語權的原因而影響著一所大學的科研產出,編委把握著期刊的研究主題、決定著文章能否發表,而與編委有著相同學術背景的學者可能與編委有著共同關注的研究主題、有著相類似的學術觀點和研究范式,由于這種研究主題、學術觀點、研究范式上的相似性和認同感,與編委有著共同學術背景作者的文章可能相對容易得到發表[28-29]。
2.編委數量與篇均被引相關性相對較低的原因
編委數量與篇均被引的相關性相對較低與我們的預期有所不同,我們認為可能和兩個指標的性質有一定關系。編委數量與大學規模有一定關系,規模大的大學自然編委數量要多一些,因此它和同樣反映規模的論文數量、兼顧反映規模與影響力的總被引頻次、h指數的相關性相對較高。而篇均被引指標與規模無關,它更多地反映了一所大學的篇均影響,且可能對于一些規模較小的大學更為有利。我們即使對各大學的最少發文數量設置了閥值,但可能仍然無法完全消除這種規模上的影響。例如規模相對較大的牛津大學發文數量為845篇,編委數量有136人次,篇均被引僅為55,而規模相對較小的達特茅斯學院和布朗大學,兩所學校的發文數量分別只有139篇和175篇,兩校的編委數量分別為31人和40人,但是兩校的篇均被引卻分別高達1078和1034次。這些學校很難靠設置閥值來消除規模上的影響。
3.分位數回歸結果的解釋
分位數回歸結果表明一所大學的論文數量、總被引頻次、h指數位于越高(低)分位點時,編委數量對它們的影響系數也越大(小),編委數量與篇均被引的影響系數在不同分位點也有所不同,為什么會有這樣的結果呢?正如我們在介紹分位數回歸時所說,使用分位數回歸方法正是考慮到一些遺漏的變量會產生異方差,正是這些遺漏的變量影響著大學科研產出的條件分布,從而造成編委數量與科研產出的相關性在科研產出的不同條件分位點有所不同(圖1)。因此,要分析不同分位點的不同結果,就要分析這些遺漏影響大學科研產出的因素。這些因素可能有:編委自身科研水平的差異、科研投入的影響、科研政策的影響。
首先,如果將編委視作一種投入的話,我們并沒有對編委這一因素本身進行區分。不同的編委,他們自身的科研產出水平可能有很大差異,即使投入相同的編委數量,但是因為編委自身的科研產出水平的不同,他們對科研產出的影響也會有所不同。編委的科研產出水平越高,越能為本校貢獻更多的論文和被引頻次,因此,一所大學擁有越多科研產出水平較高(低)的編委,該校越有可能位于科研產出條件分布的高(低)分位點。 第二,科研投入是影響科研產出非常重要的變量。由于大學某一具體學科中的科研投入數據較難獲得,我們沒有把科研投入這一影響大學科研產出的重要變量納入到模型中,因此可能造成了大學編委數量與科研產出的關系在科研產出的不同條件分位點的結果有所不同。科研投入較多(少)的大學越有可能位于科研產出條件分布的高(低)分位點。第三,相關的科研政策也是影響一所大學科研產出的重要因素之一。例如一些研究型大學關于發表SCI和SSCI論文的獎勵政策以及博士生畢業發表SCI和SSCI論文的硬性規定可能也會使得這些高校的論文數量相對較多,我們也限于科研政策較難量化而沒有把這一因素納入到模型中。各大學科研政策的不同可能也是造成大學編委數量與科研產出的相關性在科研產出的不同條件分位點有所不同的原因。
4.編委數量作為評價指標的優勢與不足
論文數量、被引等指標應用于科研評價已經較為成熟。編委數量與這些已經較為成熟的計量學指標有著顯著的正相關性且相關性較高,說明編委數量也是較為合理可靠的指標。當然編委數量與篇均被引指標相關性較低也說明編委數量指標并不能完全取代篇均被引,編委數量指標也有著自身的特點。編委數量作為評價指標有著以下兩點優勢:第一,被引作為評價指標有著一些難以克服的缺點,比如不能完全反應論文質量、引文窗口的選擇較為復雜等。而使用同樣可以反映科研實力的編委數量指標則不存在上面這些問題。第二,人文社會科學相比自然科學評價更為復雜,以發表論文為評價基礎可能更適合于自然科學學科,在強調人文社會科學評價標準多元化的今天,基于學者長期學術聲譽建立起的編委數量指標也可以為人文社會科學評價提供一個新的思路。而編委數量作為評價指標的不足之處可能在于相應的編委數據庫還比較缺乏,在目前的評價實踐中,數據的獲取有一定難度。
四、結論
本研究從國際學術期刊編委的視角出發,以經濟學296本SSCI期刊中擁有編委的984所大學作為樣本,對這些大學的編委數量與論文數量、總被引頻次、篇均被引、h指數等科研產出指標進行了相關性的實證檢驗。主要得出以下結論。
第一,編委數量作為評價指標合理可靠,可作為科研產出類指標的有益補充,完善目前的學術評價體系。
編委數量與論文數量、總被引頻次、篇均被引、h指數均有著顯著的正向相關關系,且編委數量與論文數量、總被引頻次、h指數相關性較高。這說明編委數量與這些較為成熟的評價指標具有相似性,編委數量作為評價指標也較為合理可靠。編委數量指標也有著相比引文類指標的一些優勢,今后可考慮將編委數量指標作為一種較為簡單便捷的學科評價指標與論文數量、總被引頻次等指標相互補充借鑒。編委數量與篇均被引也有著顯著的正向相關關系,但相關性相對較低。這說明編委數量指標還不能完全取代篇均被引評價指標,編委數量指標也有著自身的特點。今后可以根據評價的具體需要,將編委數量與篇均被引等指標共同構成學科評價的參照系,以完善目前的學術評價體系。特別是在人文社會科學評價日益多元化的今天,以國際學術期刊編委數量作為評價指標也為我們提供了一個新的思路。
同時,這一結論也啟示我們,作為科研產出前置因素的期刊把門人——期刊編委與最終的科研產出成果兩者有著緊密的聯系,不可偏廢。在中國大學科研產出影響力還與世界發達國家存在差距、學術話語權在國際上還處于弱勢地位的背景下,研究型大學可以鼓勵支持本校的優秀學者積極擔任國際期刊編委,同時注重加強國際學術話語傳播平臺——國際期刊的建設,
以增加研究型大學的國際學術話語力量。
第二,分位數回歸展現了更為豐富的信息,對于位于不同分位點的大學,評價標準應有所不同。
分位數回歸為我們展現了更為豐富的信息:當一所大學的論文數量、總被引頻次、h指數指標位于越高(低)分位點時,編委數量對它們的影響系數也越大(小),編委數量與篇均被引指標的影響系數在篇均被引的不同分位點也有所不同。從評價的角度看,對于位于科研產出高分位點的大學,他們投入一定的編委數量后,所應達到的科研產出水平與位于較低分位點的大學所應達到的科研產出水平應該是不一樣的,評價應根據大學的實際情況進行分類評價,防止科研評價“一刀切”的現象。此外,如果將編委人才視作一種科研人才投入的話,對于論文數量、總被引、h指數位于較高分位點的大學,投入編委人才的回報也越大,這些大學可以充分利用科學界的馬太效應,積極促成編委人才與科學研究成果二者的積極良性循環互動。參考文獻:
[1]中華人民共和國教育部.教育部關于深化高等學校科技評價改革的意見[EB/OL].[2015-12-30].http://www.gov.cn/gzdt/2013-12/20/content_2551954.htm.
[2]中華人民共和國教育部.高等學校科技分類評價指標體系及評價要點[EB/OL].[2015-12-30].http://www.cutech.edu.cn/cn/rxcz/2014/07/1406742041912069.htm.
[3]中華人民共和國教育部.關于開展高等學校科技評價改革試點的通知[EB/OL].[2015-12-30].http://www.moe.edu.cn/publicfiles/business/htmlfiles/moe/s5972/201409/175572.html.
[4]科學網.科研評價指標功與過[EB/OL].[2015-11-05].http://news.sciencenet.cn/news/sub26.aspx?id=2281.
[5]王磊.推動高校學術評價體系改革[EB/OL].[2016-01-02].http://sky.cssn.cn/jyx/jyx_jyqy/201512/t20151201_2721348.shtml.
[6]陳軍.科研評價改革關鍵在人[EB/OL].[2016-01-26].http://www.cssn.cn/zx/201601/t20160112_2822012.shtml.
[7]朱少強.人文社會科學研究的特征及其對學術評價的影響[J].重慶大學學報(社會科學版),2007,13(5): 68-71.
[8]蔡言厚,楊華.論被引頻次評價的適應性、局限性和不合理性[J].重慶大學學報(社會科學版),2009,15(5): 59-62.
[9]MARTIN B R,IRVINE J.Assessing basic research: Some partial indicators of scientific progress in radio astronomy[J].Research Policy,1983,12(2): 61-90.
[10]BRAUN T,DI SPATONYI I.The counting of core journal gatekeepers as science indicators really counts.The scientific scope of action and strength of nations[J].Scientometrics,2005,62(3): 297-319.
[11]CHAN K C,FOK R C W.Membership on editorial boards and finance department rankings[J].Journal of Financial Research,2003,26(3): 405-420.
[12]KAUFMAN G G.Rankings of finance department by faculty representation on editorial boards of professional journal: A note[J].Journal of Finance,1984,39(4): 1189-1195.
[13]URBANCIC F R.Faculty representation of the editorial boards of leading marketing journals: An update of marketing department[J].Marketing Education Review,2005,15(2): 61-69.
[14]FREY B S,ROST K.Do rankings reflect research quality?[J].Journal of Applied Economics,2010,13(1): 1-38.
[15]GIBBONS J D,FISH M.Rankings of economics faculties and representation on editorial boards of top journals[J].Journal of Economic Education,1991,22(4): 361-366.
[16]BURGESS T F,SHAW N E.Editorial board membership of management and business journals: A social network analysis study of the financial times 40[J].British Journal of Management,2010,21(3): 627-648.
[17]MUSAMBIRA G W,HASTINGS S O.Editorial board membership as scholarly productivity: An analysis of selected ica and nca journals 1997-2006[J].Review of Communication,2008,8(4): 356-373.
[18]LAW R,LEUNG R,BUHALIS D.An analysis of academic leadership in hospitality and tourism journals[J].Journal of Hospitality Tourism Research,2010,34(4): 455-477.
[19]王興.國際學術期刊“把門人”視角下的大學學科評價研究——以計算機學科國際1573所大學為例[J].情報雜志,2015,34(1): 83-87,99.
[20]DANELL R.Can the quality of scientific work be predicted using information on the author’s track record?[J].Journal of the American Society for Information Science and Technology,2011,62(1): 50-60.
[21]KOENKER R,BASSETT G.Regression quantiles[J].Econometrica,1978,46(1): 33-50.
[22]俞立平,隆新文,武夷山.不同水平特征因子與文獻計量指標的關系研究[J].圖書情報工作,2011,55(20): 23-27.
[23]俞立平,潘云濤,武夷山.基于分位數回歸的期刊影響因子影響因素研究[J].圖書情報工作,2010,54(16): 145-149.
[24]BAKKER P,RIGTER H.Editors of medical journals: Who and from where[J].Scientometrics,1985,7(1): 11-22.
[25]BRAUN T,DI SPATONYI I.Gatekeeper index versus impact factor of science journals[J].Scientometrics,2007,71(3): 541-543.
[26]VALLE M,SCHULTZ K.The etiology of toptier publications in management[J].Career Development International,2011,16(3): 220-237.
[27]WILLETT P.The characteristics of journal editorial boards in library and information science[J].International Journal of Knowledge Content Development Technology,2013,3(1): 5-17.
[28]GARC A-CARPINTERO E,GRANADINO B,PLAZA L M.The representation of nationalities on the editorial boards of international journals and the promotion of the scientific output of the same countries[J].Scientometrics,2010,84(3): 799-811.
[29]王興.國際學術話語權視角下的大學學科評價研究——以化學學科世界1387 所大學為例[J].清華大學教育研究,2015,36(3): 64-75.