構建科學有效的學術產出測量體系

王嘉穎

摘 要：通過對學術產出的測量方法，包括數量測量、質量測量以及混合測量等進行全面梳理，以期在“雙一流”建設的背景下，探討科學有效的學術產出測量體系，對首都高校師資隊伍績效評價提出建議。

關鍵詞：“雙一流”建設；學術產出；測量體系

“十三五” 時期是落實新時期首都城市戰略定位、建設國際一流和諧宜居之都的關鍵時期。高等教育在堅持和強化首都核心功能上發揮著重要作用。同時，國務院頒布《統籌推進世界一流大學和一流學科建設總體方案》（以下簡稱《方案》）定調了未來我國高教發展的重心—“雙一流”建設。因此，建成一批世界一流大學以及一流學科，已成為首都高教改革題中之義。從世界公認的大學排行榜來看，教師隊伍在指標體系中占據重要地位，尤其是教師的學術產出。建設世界一流大學必須有一流的教師，必須有一流的學術產出，必須遵循世界上通用的大學教師評價考量體系，必須構建科學有效的學術產出測量體系。《方案》明確指出堅持以績效為杠桿；強化目標管理，構建完善中國特色的世界一流大學和一流學科評價體系。近年來，隨著新管理主義的滲透，高校運作已更加市場化，首都高校也紛紛開展以提高學術產出效率為目標的用人制度改革。在此改革進程中，理解并且準確測量學術產出成為核心議題之一。本文對學術產出測量方法進行梳理，以期在“雙一流”建設背景下，探討科學有效的學術產出測量體系以對首都高校學術產出績效評價提出建議。

學術產出的概念內涵

學術產出內涵豐富，這與“學術”含義寬泛有關。梁啟超先生認為：“學也者，觀察事物而發明其真理者也；術也者，取所發明之真理而致諸用者也。”而目前所談的“學術”多引自西方“Academic”一詞，泛指高等教育和研究，即由受過專業訓練的人在具備專業條件的環境中進行的探索。

國際學者對學術產出的研究頗豐。伯頓·克拉克認為大學是“知識的生產者、批發商和零售商”，是“建立在各種知識群基礎上，并包含懂得如何運用這些知識群的各種不同集團”。各集團“發現、保存、提煉、傳授和應用知識的工作組合形式”各異。高校學術產出包括“新知識、畢業生、或法學、或醫學、或自然科學、或哲學領域中的各種服務”等。[1]在高校生產過程中，雖然學術職業者承擔研究、教學及服務等角色，但多數文獻將學術職業者個人的學術產出定義為學者的學術性出版物，如期刊論文、會議論文、專著、指導論文數、原始數據的搜集、研究資助、編輯工作、專利、實驗設計、設計作品及社會評論工作等。較多國內學者研究大學作為科研團隊的學術產出考核。有研究將高校團隊考核分為團隊整體考核和團隊成員個人績效考核指標體系。[2]有學者認為影響科研業績評價的因素包括投入，產出，效益；其中產出主要包括承擔項目、論文、論著、獎勵、專利、成果轉化等。[3]學術產出既可從院校或團隊層面考量，也可從個體層面測算。本文討論的測量方法對不同層面的學術產出均有一定應用空間。

學術產出的數量測量

學術產出數量測量是計算某段時間的學術發表情況。那么不同類型的產出權重如何界定？傳統測量方法將不同類型的產出乘以相應產出的權重之后求和得到最后的產出水平。例如：凱韋克（Kyvik，1989）曾提出，每篇文章（1分）、學術類專著（2分～6分）、教科書（2分～4分）、編著（2分～3分）、譯書（2分～3分），其中各類產出的浮動得分根據該類產出的頁數多少調整。布拉克斯頓與圖姆斯（Braxton，Toombs，1982）提出“專家評議法”，即通過問卷咨詢若干知名學者對不同類型產出權重打分而后取均值。某次專家評議結果顯示：權重從高到低的產出分別為教科書（9.3分）、會議論文（8.9分）、學術刊物評論（8.8分）、列為課程閱讀的書目（5.5分）、新聞等出版物上的文章（4.5分）、編著（4.2分）等。[4]

但是，傳統方法的缺點是同一類型產出的權重對每位學者都是相同的，而學者內部及高校管理者對相同類型產出的重要性理解不同，易對指標信效度產生懷疑。因此，有些學者認為需構建多維度的產出得分，使不同學者的同類產出權重是浮動的，如基于數據包絡分析原理發展而來的BOD（Benefit-of-the doubt）模型。而數據包絡分析法用于評價生產效率，首先找到處于前沿線（面）上的決策單位，認為該決策單位是最小化投入或最大化產出的單位，再測量其他決策單位距離前沿線的距離。據此，BOD模型假定相比其他個體，某位學者在某類學術產出上的表現越好，那么這類產出在這位學者的權重體系中被賦予越高權重。[5]但是，BOD模型的缺陷是容易受異常值影響。因此，如何對數據做分樣本處理以消除異常值影響是BOD模型改進的方向之一。[6]

學術產出的質量測量

質量測量包括同行評議以及引文分析。同行評議指若干專家對一位學者的產出的評價。但同行評議也存在兩點不足：一是同行評議易受到被評議人個人魅力及學者所在工作單位的聲望所影響。二是同行評議結果往往與學者的發表數量存在顯著相關性，而不同評議人對不同類型發表的心理權重難以把握。即使是同類產出，評議人對其發表內容的心理權重也不同，以發表期刊為例，有些評議人側重被評議人對知識的應用，而有些側重被評議人的創新研究。[7]

相比同行評議，引文測量受到更多學者的關注。引文分析能較好地反映學者的研究認可，一位學者的文章引用次數越多，表明他為學術界貢獻了越多的思想、概念、發現與方法。但是引文測量同時存在多處不足：一是不同學科的引用情況不同。學科部落的規模、生產周期等因素都將影響一篇文章的引用情況。喬納森·科爾與斯蒂芬·科爾（Cole，Cole，1973）（以下簡稱科爾兄弟）認為，引文分析應當對每個學科領域分別統計并標準化。二是相比文章發表，文章引用存在滯后，引文數量與學者工作年限存在高相關性。[8]三是引文分析往往只計算第一作者，而年輕學者往往不是第一作者，即引文分析將低估年輕學者的產出質量。四是引文的作用參差不一，斯蒂芬·科爾（Cole，1975）的研究發現，默頓的經典文獻Social Structure and Anomie在1950年—1972年間被引用共123次。其中，24%的文獻中，引文無實質性貢獻；在18%的文獻中，引文為文章觀點提供支持。[9]類似認為引文的作用不過“敷衍了事”的研究還有穆拉維斯克與穆魯格山（Moravcsik，Murugesan，1975）、丘賓與莫伊切（Chubin，Moitra，1975）。[10] [11]

因此，有學者提出改進意見。穆拉維斯克與穆魯格山提出應從以下四個方面辯證看待被引文章：第一，概念化或者操作化，被引文章為待發表文章提供了理論或概念框架，還是提供可行的分析工具？第二，用途化或形式化，被引文章是待發表文章真正需要的，還是僅僅因為兩篇文章的關注點類似？第三，推進貢獻或同義轉化，被引文章是否為待發表文章提供改進空間？第四，贊同或反對，被引文章的觀點是被認可的，還是被批判的？從文章發表時間上看，科爾兄弟提出引文加權的觀點。以物理學為例，論文的半衰期不超過5年，即在某一特定年份內發表的論文中，至少有半數的引證出自前5年內發表的工作成果。因此，引文分析需考慮時間限制，即加權引證技術，對舊引證的加權比對新近引證加權大一些。但是，科爾兄弟將物理學家三年內的成果的加權引證數與未加權引證數對比后發現，兩者存在極高相關性（相關系數達到0.96），并因此認為，如果不采用加權方法，也不影響研究結論。[12]

學術產出的混合測量

如何克服單一測量方法的不足、設計出混合測量方法一直是學術產出評價領域的難點。該方面最具代表性的是美國物理學家赫希（Hirsch）于2005年提出的H指數。在某個科學家發表的所有論文中，有H篇論文至少被引用了H次，同時其余論文的引用次數都小于H時，該科學家 H指數值為H。[13]相比其他測量，H指數有四方面優勢：第一，簡單易懂，適用于任何層面的評估；[14]第二，鼓勵學者發表高質量的論文；[15]第三，對高被引論文和低被引論文均不敏感，論文數量上的增長對其不產生直接影響，一定程度遏制片面追求論文數量的不良傾向；[16]第四，數據庫收錄錯誤不會對H指數產生較大影響，H指數具有一定彈性和恢復能力。[17]鑒于以上優勢，近年來，H指數的運用較為廣泛。例如：研究人員的學術產出評價有高江勇（2015）對農林院校大學校長的學術影響力進行評估[18]，崔建強等（2015）對體育研究界高影響力的57位體育學者的H指數的計算[19]。期刊評價方面有布勞恩（Braun，2005）對SCI收錄的63種期刊的H指數計算，杜建杰、張桂東對圖書館學核心期刊的H指數實證研究等[20]。在組織評價方面有陳萬超、夏瑩（2015）對近十年南京市高校圖書館科研產出及學術影響力的計量分析[21]。此外，H指數還被應用于科學基金的評價（趙星等，2009）[22]、專利評價（官建成等，2008）[23]。

H指數在學術產出評價中仍存在諸多不足，金碧輝等將其總結為以下六點：第一，對從事科研時間較短的人員不利，因為他們的論文數量和被引次數相對較低；第二，不利于論文數量少但被引頻次高的科學家；第三， H指數只升不降，無法反映學者研究活力的衰退情況；第四，缺乏靈敏度， H指數越大，上升所需時間越長， H指數可能常年不變；第五，缺乏區分度，大部分學者的H指數相近，對個體績效評估缺乏效度；第六，不同學科間的H指數無法直接比較。[24]此外，H指數對獨著與合著一視同仁的做法也值得商榷。[25]為此，大量研究聚焦于如何修正H指數以提高其測量效度，如埃格赫（Egghe）提出g指數以反映高被引論文對學術產出的貢獻，金碧輝與魯索（Rousseau）提出A指數、R指數以及AR指數以改善H指數的靈敏度、區分度等。[26]

結語

在全球化浪潮中，各國高等教育體系有了越來越多的共同活動準則。雖然大學排名不能充分說明世界一流大學、一流學科的完整內涵，但這樣的標準化評價使得大學主動向其靠攏。在“雙一流”建設進程中，任何一所大學都將在一定程度上受到這些評價的影響。各國的情況不同，高等教育環境也不同，采用一味趨同的評價標準指導大學辦學也是不科學的。如何在“雙一流”建設背景下，借鑒世界先進經驗，立足首都本土實際，建立更適應我國國情和首都自身特點的師資隊伍學術產出考核評價體系，服務于建設世界一流大學和一流學科，是未來首都高等教育必須聚焦用力的方向。

本文梳理了學術產出的數量測量、質量測量以及混合測量。通過梳理發現，三類方法各有優勢與不足：第一，數量測量優勢在于覆蓋了各種類型的學術產出，其計算結果能全面反映出學術產出水平，但是核心問題在于如何界定不同類別產出的權重。BOD模型提出了浮動權重的分析思路，但BOD方法易受異常值影響，結果較敏感。第二，質量測量包括同行評議與引文分析，關注學術產出的高質量部分，其計算結果更能體現個人、團體或組織的學術影響力。相比同行評議，引文分析受到更多關注，但是引文測量仍存在滯后性、不利于低谷年輕學者以及引文原因多樣化等不足，并且引文分析更多運用于發表文章。第三，以H指數為代表的混合測量優勢明顯，兼顧學術產出的數量、質量兩個維度，但仍存在不利于年輕的科研人員、低靈敏性、區分度等不足。此外，三種測量的共同問題在于學科間的可比性低。為此，有學者提出分學科進行學術產出評價，或者對每個學科領域分別統計后再標準化處理，或者對指標進行相應修正。但是，造成學科之間可比性低的根本原因還在于各學科在發展過程中所形成的學科文化差異。

綜上，構建科學有效的首都高等教育學術產出測量體系應注意以下幾個方面：第一，首都高等教育資源豐富，各高校辦學定位、發展階段均不同。不同類型的高校應結合自身特點側重不同的測量方式或做不同的技術處理，切忌“一刀切”。例如：對市屬應用型高校與部屬研究型高校作為整體構建BOD模型容易導致測量結果失效。第二，尊重學科文化對學術產出的影響，適當借鑒相關學科分類思路對不同類型的首都高校進行測量，首都高校內分學科進行產出測量。例如：采用數量測量時，將綜合性大學與專科性大學區別測量；將物理、化學、藥學、數學等學科與歷史學、語言學、社會學、法學等學科區別測量。采用質量測量時，相比歷史、社會、地理等學科，物理、生物化學等注重學術共同體交流、研究領域較為聚集的學科采用質量測量的效果更佳。

參考文獻：

[1]伯頓·R.克拉克.高等教育系統—學術組織的跨國研究[M]. 王承緒，等，譯.杭州：杭州大學出版社，1994：17.

[2]姬煥芳.高校科研團隊考核工作方法探微[J].科技與創新管理，2010（3）：282-284.

[3]陳春花，楊映珊.科研團隊運作管理[M].北京：科學出版社，2004：1-10.

[4]Braxton， J & Toombs， W.. Faculty uses of doctoral training： consideration of a technique for the differentiation of scholarly effort from research activity[J]. Research in Higher Education， 1982（3）： 265-286.

[5] Melyn， W.， & Moesen， W.. Towards a synthetic indicator of macroeconomic performance： Unequalweighting when limited information is available[R]. Public Economics Research Paper 17. Leuven： CES，KULeuven，1991.

[6]Cazals， C.， Florens， J. P.， & Simar， L.. Nonparametric frontier estimation： A robust approach[J]. Journal of Econometrics，2002， 106（1）， 1-25.

[7]Nelson， T， Buss， A & Katzko， M. Rating of scholarly journal by chairpersons in the social sciences[J]. Research in Higher Education， 1983（19）：469-497.

[8]Line， M.. Citation decay of scientific papers： variation according to citations Received[J]. Journal of Information Science， 1984（9）：90-91.

[9]Cole， S. The growth of scientific knowledge： Theories of deviance as a case study[C].L. A.Coser （Ed.）， The idea of social structure： Papers in honor of Robert K. Merton. NewYork： Harcourt Brace Jovanovich， 1975.

[10]Moravcsik， M. J.， & Mumgesan， P. Some results on the function and quality of citations[J].Social Studies of Science， 1975（5）： 86-92.

[11]Chubin， D. E.， & Moitra， D. Content analysis of references： Adjunct or alternative to citation counting？[J]. Social Studies of Science， 1975（5）： 423-441.

[12]Cole R， Cole S. Social stratification in science[M]. University of Chicago Press.1973.

[13][24] Hirsch JE . An index to quantify an individual's scientific research output [C]. Proceedings of the National Academy of Sciences of the United States of America， 2005，102（ 46） ： 16569-16572.

[14]Glnzel W. On the opportunities and limitations of the H-Index [J].Vision Research，2006，35（10）：1393-1399.

[15]Egghe L， Rousseau .An improvement of the h-index： the g-index[ J] .ISSI Newsletter，2006，2（1）：8-9.

[16]金碧輝.科學家為自己設計了一項評價指標：h指數[J].科學觀察，2006，1（1）：8-9.

[17]Vanclay J.On the robustness of the h-index[J] .Journal of the American Society for information Science & Technology，2007，58（10）：1547-1550.

[18]高江勇.農林院校大學校長學術影響力探析—基于我國32所農林大學校長科技論文產出分析的視角[J].高等農業教育.2015（8）13-17.

[19]崔建強，劉文娟，李勇勤.h指數在體育學者學術影響力評價中的應用及其相關性分析[J].北京體育大學學報.2015（2）：43-47.

[20]杜建杰，張桂東.H指數在圖書館學核心期刊評價中的實證研究[J].中華醫學圖書情報雜志，2011（5）：65-72.

[21]陳萬超，夏瑩.近十年南京市高校圖書館科研產出及學術影響力的計量分析[J].上海高校圖書情報工作研究，2015（2）：28-35.

[22]趙星，高小強，何培.科學基金h指數：基金論文成果數量與影響力的綜合衡量[J].中國科學基金.2009（1）：15-18.

[23]官建成，高霞，徐念龍.運用h指數評價專利質量與國際比較[J].科學學研究，2008（5）：932-937.

[25]Wan JK， Hua PH， Rousseau R. The pure h-index： calculating an author's h-index by taking co-authors into account [J]. Journal of Scientometrics and Information Management， 2007（2）：4-6.

[26]金碧輝，Rousseau Ronald.R指數、A R指數： h 指數功能擴展的補充指標[J].科學觀察， 2007， 2（3）： 1-8.

（作者單位：北京教育科學研究院高等教育科學研究所）

[責任編輯：卜 珺]