標準化(h,R)指數在科研績效評價中的應用研究
——以中國大陸地區教育學領域研究人員為例

魏順平，王麗娜，張翔宇

(國家開放大學 信息化部(工程中心)，北京 100039)

?

【開放大學與遠程教育】

標準化(h,R)指數在科研績效評價中的應用研究
——以中國大陸地區教育學領域研究人員為例

魏順平，王麗娜，張翔宇

(國家開放大學 信息化部(工程中心)，北京 100039)

該文運用標準化(h,R)指數對中國大陸地區教育學領域1994年至2013年20年間研究人員的科研績效進行了評價，評選得到100位“1994至2013年段中國教育學領域最具影響力學者”，并對這100位學者進行教育學二級學科聚類分析，非常準確地發現了“高等教育學”和“教育技術學”兩個二級學科的期刊特征及主要學者，較為準確地發現了“比較教育學”這一、二級學科的期刊特征及主要學者。

標準化(h,R)指數；中國大陸地區；教育學；研究人員；科研績效評價

一、引言

科學研究是推動學科領域發展的重要方式。如何評價科學研究成果，以客觀方式呈現科學研究的發展態勢，是科學評價研究領域中一直在探討和深思的問題。長期以來，眾多學者對機構、期刊、地區等學術影響力進行了系列分析。蘇新寧等根據研制的《中文社會科學引文索引》，分別對2000-2004年、2004-2006年之間的各類數據借助引文索引對我國人文、社會科學成果的學術影響進行了全面的評價，涉及期刊影響分析、作者學術影響分析、機構學術影響分析、地區影響分析、論文影響分析等方面。[1][2]它對我國科學研究成果評價相關研究發揮了重要的推動作用。

研究人員是開展科學研究的主體。對于學科發展來說，分析研究人員對該學科領域的貢獻力及影響力能夠更準確地把握學科研究的脈絡，聚焦學科發展熱點，同時也有利于進一步激發個體的學術生命力，促進學科發展。在個人科研績效評價方法上，最為著名也最為常用的方法是美國物理學家Jorge E. Hirsch提出的h指數方法，[3]但其在評價科學家個人科研績效方面存在三個方面的缺陷，即缺乏靈敏度、缺乏區分度、缺乏波動性。針對這些缺陷，金碧輝和Rousseau Ronald進一步提出了R 指數和AR 指數。[4]鑒于不同的評價方法在精確性、相關性等方面的差異，探索在科研績效更為精確的評價方法具有重要意義。金碧輝和Rousseau Ronald指出，當以質量為科研績效評價的價值取向時，標準化(h, R)指數更能體現這樣的價值取向。也就說將h指數與R指數配伍使用，最終形成一個復合指標，即標準化的(h,R)指數。

本研究將選擇教育學學科為例，采用標準化(h, R)指數作為主要指標來對中國大陸地區教育學領域的研究人員(這里“中國大陸地區”用于限定研究人員的學術活動范圍，而不是限定研究人員的所在研究機構)進行科研績效評價，以發現我國教育學領域主要研究人員，以及這些研究人員在教育學二級學科的分布情況。

二、文獻研究

在教育學領域，針對研究人員的科研績效評價并不多見。王澤龍和蘇新寧以南京大學中國社會科學研究中心《中文社會科學引文索引》(CSSCI)收錄的2001-2009年中國高等教育研究論文為基礎，通過對該領域論文發表數量、發文類型、引用文獻的語種類型、發文分類、論文作者、研究機構和地區分布、被引用情況、發文基金資助等信息進行分析，對中國近10年的高等教育研究總體特征、發展態勢和學術影響力做了較系統的評估。[5]路秋麗等人通過中國知網(CNKI)和北京萬方數據股份有限公司的若干數據庫對教育技術研究領域的研究者進行發表文章數、被引文獻數、被引文獻比例、被引頻次等多項指標的計量分析，從中選出16位最具影響力的關鍵學者，并進而對這16位關鍵學者的工作單位、指導碩士論文數量、歷年發表論文數進行調查和統計分析，從而進一步展現了這16位關鍵學者的學術表現。[6]綜合來看，上述兩項研究均是采用“發文數”“被引頻次”等單項指標進行評價，并未用到h指數這樣的綜合指標。

魏順平等人進一步改進了教育學領域研究人員的科研績效評價方法，通過中國知網(CNKI)期刊論文數據庫和引文數據庫采集1998年至2007年中國教育學領域研究人員發表論文的信息以及論文被引用的信息的相關數據，運用h指數和w指數對我國教育學領域研究人員的科研績效進行了分析，得到了最具影響力的43位學者，[7]在學術領域中產生了較大的影響。當然，這一研究也存在若干缺陷，包括：在研究樣本跨度上，所采用的論文和引文數據的持續時間只有10年，這對于一個研究人員的科研生涯和研究人員h指數、w指數的計算都顯得過于短暫；在評價方法上，該研究只用了h指數以及與之相似的w指數，如前文所言，這將導致科研績效評價缺乏靈敏度和區分度；在結果呈現上，這一研究給出的評價結果并未標明每位最具影響力的學者所屬教育學科的二級學科，這不利于研究結果的擴散和傳播。

隨著時間的推移，中國知網(CNKI)期刊論文數據庫和引文數據庫在不斷完善，我們可以采集到時間跨度更長的論文信息及其被引用信息，并且采用標準化的(h,R)指數可以優化單一h指數的評價方法，最后對評選得到的最具影響力學者進行教育學二級學科聚類分析，想必可以取得更為準確、更為有用的研究人員科研績效評價結果。

三、研究樣本

本研究以中國大陸地區教育學領域的研究人員為研究對象，通過對中國教育學領域重要學術期刊中研究人員的論文發表信息以及引用信息，以此為基礎開展對研究人員科研績效的評價。在時間跨度上，作者選擇2013年作為論文及引文信息采集終點。之所以沒有選擇剛剛過去的2014年，是因為2014年發表的論文，大多還沒有被引用過，沒有太多的研究價值。然后選擇1994年作為信息采集起點，由此構成一個20年的時間跨度。在中國教育學領域重要的學術期刊選取方面，筆者參考CSSCI來源期刊(1998-1999)、CSSCI來源期刊(2000-2002)、CSSCI來源期刊(2003)、CSSCI來源期刊(2004-2005) 、CSSCI來源期刊(2006-2007) 、CSSCI來源期刊(2008-2009) 及擴展版、CSSCI來源期刊(2010-2011) 及擴展版、CSSCI來源期刊(2012-2013)及擴展版，選取該引文索引來源期刊及擴展版來源期刊列表中屬于教育學領域的學術期刊(不同年份的期刊數略有差異)，整理得到歷年(1998-2013年)中國教育學領域重要學術期刊列表。

對于1994年至1997年的學術期刊，筆者對前面整理得到的1998年至2013年學術期刊列表中各個期刊出現的次數進行統計，選取出現頻次較高的40余種期刊作為1994年至1997年的教育學領域重要學術期刊。

接著，筆者按照1994年至2013年歷年教育學領域重要學術期刊列表，從中國知網(CNKI)期刊論文數據庫逐年下載對應期刊所刊發的有被引用記錄的論文及其被引用頻次(下載時間為2015年3月1日)。所下載得到的論文共計114 362篇論文。相比CSSCI數據庫，中國知網(CNKI)引文數據庫的引文來源更為廣泛，更能反映論文的影響范圍。因此，本研究選擇中國知網(CNKI)引文數據庫。

四、研究過程與討論

1.評選中國大陸地區教育學領域最具影響力學者

基于前文獲得的約11萬篇研究論文信息，通過拆分論文信息的作者字段，計算每位作者的h指數和R指數，然后根據h指數和R指數計算標準化(h,R)指數，最終得到教育學領域研究人員科研績效評價表。筆者選取標準化(h,R)指數排名前100的研究人員，如表1所示，這些學者可被看做1994至2013年段中國大陸地區教育學領域最具影響力學者。

表1 1994至2013年段中國教育學領域最具影響力學者(TOP100)

由表1可知，標準化(h,R)指數的應用，使得每位學者的得分都有所差異，有效克服了以往h指數區分度不夠的弱點，同時能將一些低產高被引作者如葉瀾教授、魯潔教授推向前列，更為注重對科研質量的評價。

表1所示的TOP100學者來自中國大陸、中國香港乃至美國的31家機構，其中學者數不少于2名的機構列表如表2所示。

表2 TOP110學者的機構分布情況

表2可以窺見,一些師范大學如北京師范大學、華東師范大學、南京師范大學、華南師范大學等,綜合實力排名位居全國前列的綜合性大學如北京大學、華中科技大學、廈門大學、南京大學、清華大學、浙江大學,以及來自中國香港的香港中文大學在教育學領域具有的較強研究實力。另外,我們還可以看到,教育部行政人員在教育學研究領域的影響力也是不可小覷的。

2.聚類發現教育學各二級學科最具影響力學者

在我國,教育學作為一級學科,有10個二級學科,包括教育學原理、課程與教學論、教育史、比較教育學、學前教育學、高等教育學、成人教育學、職業技術教育學、特殊教育學和教育技術學等。對最具影響力學者進行二級學科細分,將有助于評價結果的應用和推廣。

上述100位學者的論文發表在46種期刊上。因此,可以將每位作者視為由這46種期刊維度構成的一個向量,如表3所示,作者在某種期刊上發表論文則在這個期刊維度上取值為1,否則為0。

表3 46種期刊維度的作者向量(局部)

我們假定,來自同一、二級學科的學者將會在同一組期刊上發表論文,他(她)的作者向量更為相近。因此,我們可以采用k-means聚類方法,通過計算比較100個作者向量間的距離來實現作者聚類,然后根據每個類別的期刊特征來判斷每類作者所屬二級學科,從而實現最具影響力學者的二級學科細分。

筆者采用SPSS19.0的k-means聚類算法,對表3所示的100個作者向量進行聚類。在分別嘗試3-6中預設類別的聚類后發現,分為4類,可以使每類的作者數相當。因此,最終分為四類。這四類的特征期刊如表4所示。通過每個類別的主要特征期刊,我們基本可以判別該類別對應的教育學二級學科。

接著我們再來看上述每個類別對應的學者，如表5所示。

表5 最具影響力學者的二級學科分布

通過咨詢高等教育學、教育技術學、比較教育學等三個二級學科的研究者，分類結果“第1類：高等教育學”和“第2類：教育技術學”的期刊特征非常明顯，類別中的學者全面而準確，“第3類：比較教育學”的期刊特征不是很突出，類別中的學者比較全面和準確。除高等教育學、教育技術學、比較教育學之外，教育學中的其他二級學科未能通過期刊特征凸顯出來。這四個類別聚類中心間的距離如表6所示。

表6 四個類別聚類中心間的距離

“第2類：教育技術學”與其他各類的距離相對較遠。在其他三類之間，“第1類：高等教育學”又與其他兩類的距離相對較遠。

通過上述聚類結果分析我們可以看出：(1)在教育學的二級學科中，高等教育學和教育技術學有著若干種相對專門的學術期刊，對于高等教育學而言這些期刊是《高等教育研究》《中國高等教育》《清華大學教育研究》《中國高教研究》《江蘇高教》，其中《高等教育研究》最具代表性；對于教育技術學而言這些期刊是《電化教育研究》《中國電化教育》《開放教育研究》《現代教育技術》《現代遠程教育研究》《中國遠程教育》《遠程教育雜志》《現代遠距離教育》，其中，《電化教育研究》《中國電化教育》最具代表性。(2)在教育學的二級學科中，高等教育學和教育技術學的研究隊伍主要在其二級學科對應的學術期刊上發表論文。

我們仍然對前文統計得到的TOP100學者數不少于2位的機構，統計這些機構中各個類別的學者數量，得到如表7所示結果。

表7 各個類別學者的機構分布情況

由表7可知，華中科技大學、廈門大學、北京大學在“高等教育學”方面研究實力更強，北京師范大學、華東師范大學、華南師范大學在“教育技術學”方面研究實力顯著，北京師范大學、華東師范大學在“比較教育學”方面研究實力較為突出。

五、研究結論

本文運用標準化(h,R)指數作為研究人員科研績效評價的主要方法，通過CNKI期刊論文數據庫采集歷年教育類CSSCI來源期刊共計72種期刊在1994年至2013年20年間所刊發論文(約11萬篇)及其引文信息，計算每位作者的標準化(h,R)指數，最終評選得到100位“1994至2013年段中國教育學領域最具影響力學者”，并對這100位學者進行教育學二級學科聚類分析，非常準確地發現了“高等教育學”和“教育技術學”兩個二級學科的期刊特征及主要學者，較為準確地發現了“比較教育學”這一、二級學科的期刊特征及主要學者。

研究結果表明，標準化(h,R)指數的應用，使得每位學者的得分都有所差異，有效克服了以往h指數區分度不夠的弱點，同時能將一些低產高被引作者推向前列，更為注重對科研質量的評價。

盡管h指數與R指數的配伍使用即標準化(h,R)指數在科學家個人績效的評價中具有科研質量的價值導向，但是，面對錯綜復雜的科學研究活動，我們不能單憑一兩項指標對研究人員個人科研績效作簡單的評價，而是應該著力于建立以同行評議為主的科學合理的評價機制和評價制度，各種定量指標的設定可為同行得出公平合理的評價意見提供相關參考。

[1]蘇新寧.中國人文社會科學學術影響力報告[M].北京:中國社會科學出版社,2007.

[2]蘇新寧.中國人文社會科學學術影響力報告[M].北京:高等教育出版社,2001.

[3]Hirsch JE. An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences of the USA, 2005, 102(46):16569-16572.

[4]金碧輝,Rousseau Ronald. R指數、AR指數:h指數功能擴展的補充指標[J].科學觀察,2007(3):1-8.

[5]王澤龍,蘇新寧.中國高等教育研究現狀與學術影響力評估——基于2001—2009年CSSCI論文數據[J].華中師范大學學報(人文社會科學版),2011(3):27-34.

[6]路秋麗,田雨,魏順平.教育技術研究領域關鍵學者研究[J].電化教育研究,2008(8):26-31.

[7]魏順平,路秋麗,王冰潔.中國教育學領域研究人員科研績效評價研究[J].開放教育研究,2009(3):73-79.

Application of Standardized (h,R) Index in the Research Performance Evaluation:A Case Study of Evaluating Researchers from Pedagogy Field in China Mainland

WEI Shunping, WANG Lina, ZHANG Xiangyu

(R&D Center for E-Learning, the Open University of China, Beijing 100039, China)

In the study, the authors apply standardized (h,R) index in evaluating the research performance of researchers in pedagogy field of China mainland during the period of 1994 to 2013 and bring forward a scholars list which is the 100 most influential scholars in pedagogy field of China mainland during the period of 1994 to 2013. Through cluster analysis of the 100 most influential scholars into different second disciplines of pedagogy field, the study accurately finds the journal characteristics of two second disciplines (higher education and educational technology) and major scholars, and also finds the journal characteristics and major scholars of another second discipline, comparative education.

standardized (h,R) index; China Mainland; pedagogy; researchers； research performance evaluation

2015-09-17

國家社科基金教育學2012年度重點課題《工業化、信息化、城鎮化、農業現代化同步推進下的農村教育發展與改革研究》(AGA120007)

魏順平(1981-)，男，江西南昌人，理學博士，副研究員，主要從事教育數據挖掘研究。

G40-03

：A

：1008-469X(2015)06-0017-06