科研評價體系中學術論文評價實證分析

陳峰，楊曉，陳曉江

(1.西北大學科技處，陜西西安 710127；2.西北大學經濟管理學院，陜西西安 710127；3.西北大學信息學院，陜西西安 710127)

科研評價體系中學術論文評價實證分析

陳峰1，楊曉2，陳曉江3

(1.西北大學科技處，陜西西安 710127；2.西北大學經濟管理學院，陜西西安 710127；3.西北大學信息學院，陜西西安 710127)

針對當前科研評價體系中學術論文質量評價存在的問題，以計算機學科學術論文評價為實證，以某大學的科研評價標準體系與考核指標為案例，對學術論文評價的相關問題進行研究。研究認為，如何判斷會議論文和SCI期刊論文在科研評價體系中的價值與定位，能否堅持正確導向是科研管理評價體系面臨的主要問題；在計算機學科中，國際上大部分標志性成果都會發表在頂級會議上，但中國的科研評價體系仍以SCI期刊論文為主，中國學者參與國際計算機學會的權威會議及其發文量均較低；中國科研評價體系應重視頂級會議論文的重要性，平衡不同評價指標的權重，平衡不同學科領域之間的差異，提高會議論文認定的等級，發揮評價體系的導向作用，制定科學的評價指標，完善科研評價管理制度；某高校制定了分學科科研評價標準體系和差異化的考核指標，依據不同的專業領域擬定了同行專家評價認可的期刊與會議列表，規范了期刊文章和會議文章的量化指標來綜合衡量學術論文的學術和文獻價值，在學術科研國際化方面取得了顯著成績。

科研評價；頂級會議論文；SCI期刊論文；計算機學科

一、學術論文評價存在的問題

科研評價指標體系是由各級各項指標及相應權重和評價標準所構成的有機整體，而國際和國內對SCI期刊論文和會議論文這兩種不同形式的論文評價各有偏重[7]。從中國科研現狀來看[8-9]，科研評價體系比較單一，過分強調期刊論文而忽視會議論文。該評價體系與高校及其教師的切身利益密切相關，對高校和教師的科研工作有著很強的導向作用。因此，如何定位會議論文和SCI期刊論文在科研評價體系中的價值與地位，能否堅持正確導向是科研管理評價體系面臨的主要問題。如果兩者權重分配有失偏頗，科研工作者的科研熱情和創新積極性將會大打折扣，進而會影響相關學科師資隊伍建設，最終會影響學科發展。

SCI體系和中科院分區體系對引導普通論文評級有一定的積極意義。SCI期刊論文對算法理論描述更為詳細、考慮更全面、實驗更充分，從統計意義上看，學術水平高于一般的期刊，具有一定的區分度，在科研評價上能達到一定程度的公正性與合理性。但是，如果只采用“SCI標準”，會造成許多國際性高水平的會議成果被排斥在外，得不到公正的評判。由于期刊論文發表周期長，在國際領域最為前沿性工作的導向性和區分度稍顯不足，難以對快速發展的學術科研起到引領作用。然而，中國高等院校SCI評價對象恰恰是要引領學科發展研究者，在教師職稱評審、博士學位點申報與評審、重點學科申報與評審、科研獎勵中熱衷于追求SCI論文收錄數，這是目前存在的重要問題[10-11]。

二、學術論文評價現狀實證分析

計算機的迅速普及與發展為人類社會生活帶來了巨大的便利，計算機學科的研究成果被全社會廣泛關注。但是，與其他歷史悠久的一些學科相比，計算機學科作為一門新興學科具有其自身特點，主要表現為創立時間短、實踐性強、發展迅速等。該學科的科研評價標準與體系也在逐步完善與發展，評價體系不僅是反映計算機學科發展的晴雨表，而且會直接影響計算機科研管理和學科建設。

計算機學科既有基礎理論性研究，也有應用性研究，很多科研成果具有極強的社會應用功能，以標志性大型系統等普適性應用為主導。比如，國外計算機學科的頂級名校麻省理工學院、加州大學伯克利分校、斯坦福大學等，其科研成果有我們現在廣泛使用的UNIX系統或者數據庫系統，這成為人類文明的共同財富。國內有國防科技大學所研制的銀河、天河系統等。而計算機學科的大部分科研成果(從大型系統到局部創新)都是以論文的形式發表，包括SCI期刊論文和會議論文。因此，計算機學科科研評價指標中的一個重要部分就是論文質量的評價。

反觀國際上大部分計算機學科的最新標志性工作都會在頂級會議上發表論文。例如計算機網絡中最為經典的TCP協議中的擁塞控制算法，首先發表在1988年計算機網絡的頂級會議SIGCOMM上。MIT、斯坦福大學等高校計算機系的領軍人物的很多開創性工作也發表在計算機領域的頂級會議上。從目前發表的論文數量看，在多個世界一流名校中計算機學科很多學者的研究成果由80%的會議論文和20%的SCI期刊論文構成。

國際計算機領域的特點是追蹤頂級會議，發表頂級會議論文。第一，計算機學科很多高水平的期刊一期只能登刊十幾篇論文，有的期刊甚至只有三四篇論文。與之相比，計算機領域的大部分頂級會議是每年一次，部分會議也有隔年一次。這些會議每年錄用三四十篇論文，或者20篇左右的論文。因此，計算機學科高水平的期刊和會議的規模都是非常有限，論文錄用率很低。第二，大多數正規的會議論文需要經過4個以上審稿人進行雙向匿名評審，并且還要組織會議的程序委員會對投稿論文專門召開會議進行討論。因此，會議論文相比期刊論文具有發表周期短、有較好學科科研前瞻性等優勢。第三，中國科研評價體系還是以SCI期刊論文為主，頂級會議論文并不為其他學科科研工作者所關注。2006年法國巴黎大學陳鋼博士的研究發現作為第一作者的中國大陸學者在歷年國際計算機學會(ACM)權威會議發表的論文僅占總量的0.83%[12]，半數以上ACM會議上沒有中國論文的聲音，反映出中國計算機學科大部分工作還處于內循環時代，未能較好地與國際學術界接軌。因此，對會議期刊的忽視不僅阻礙了國內計算機學者的科研動力，也嚴重地影響到中國計算機學科在國際上的影響力與聲譽。

三、優化科研評價體系的路徑

根據計算機學科的特點，結合對中國科研評價現狀與問題的理性分析，在科研評價體系中應完善SCI標準、重視頂級會議的重要性，才能形成科學的科研管理體系，為科學研究發揮更具針對性、更符合現實的價值導向作用。美國教育家斯塔費爾比姆指出：“評價的目的不是為了證明，而是為了提高科研水平。”[13]只有不斷完善計算機學科的科研評價體系，才能更好地促進該學科快速發展。

(一)重視頂級會議論文，平衡評價體系標準

面對計算機學科在國際和國內的評價制度之間越來越明顯的差異，以及目前國內計算機學科實行的“SCI標準”體系所存在的弊端，中國計算機學會率先進行了反思。2005年，中國計算機學會舉辦了主題為“從SCI反思中國的學術評價體制”的YOCSEF論壇。論壇上李國杰認為片面地追求SCI數量的做法不可取，呼吁要重視頂級國際學術會議上發表論文[14]，并撰文《要高度重視在頂級國際學術會議上發表論文》在國內積極倡導論文發表標準與國際接軌[15]。2010年，中國計算機學會發布《中國計算機學會推薦國際學術會議和期刊目錄》(以下簡稱《目錄》，可以供國內高校和科研單位作為學術評價的參考依據，并期望能起到推動國內計算機領域學術進步的作用[8]。

教育部2012年采用該《目錄》作為計算機科學和軟件工程評估的指標之一，受到科研人員和管理部門的重視，改變了長期以來計算機學科學術評價不重視會議論文的傳統，為提高中國計算機學科基礎研究水平作出積極貢獻，促進學科特點的認同，規范了會議期刊，促進了論文水平的提升[16]。據包云剛初步統計結果顯示：中國大陸學者發表的論文數已經占到ACM會議論文總數的2.7%，2006年以后則占到了4%，與2006年前的數據(0.8%)相比取得了長足進步[17]。

總之，“SCI標準”仍然是國內評價科研成果的主要標準，但伴隨著國際計算機學科科研評價體系的影響以及國內相關科研組織的發聲，國內不同高校或科研院所對計算機學科科研成果的評價在逐步推動，重視SCI期刊論文的同時，重視頂級會議論文的重要性，逐步平衡評價體系中不同評價指標的權重。

(二)依據計算機學科特點，完善“SCI”評價標準

計算機學科不同于其他自然學科，學科內部差別較大，難以進行橫向比較。計算機理論領域以數學分析論證和推導或者算法改進為主，研究周期短；計算機系統或者應用領域，需要研發實用系統，并有真實的數據驗證，研究周期比較長。但是，《國際學術會議和期刊目錄》在評價標準方面忽略了不同領域的特點，計算機學會推薦的A類會議CVPR一次錄用論文約400多篇，而SIGCOMM僅錄用30～40篇論文。因此，在科研評價中不僅要關注計算機領域的特點，還要充分考慮不同領域之間的差異性，才能更好地搞好計算機學科的科學研究管理工作[18]。

(三)加強自身評價體系的宣傳

計算機學科的科研評價體系是為學科發展提供科學的決策依據，能夠推動科研水平和科技發展創新，計算機科研工作者應加強自身專業特殊性的宣傳，提升各行業領域對計算機學科成果特殊性的認知和重視。科研管理人員應合理界定科研目標、科研評價目標，在科研管理過程中逐步形成科學的評價理念，推動科研評價的科學化，在項目評審、職稱評定、獎項設置、成果應用等工作中，加強對教師學科認知的引導，提高會議論文認定的等級，發揮評價體系的導向性作用[19]。應強調科研論文的質量，注重營造科研的氛圍，不將SCI、會議期刊作為主要依據，努力改變和其他學科成果認定一視同仁的做法。同時，建立全面的會議宣傳及參會激勵機制，加大對科研工作者參加頂級會議的支持力度，鼓勵將優秀學術成果提交到頂級會議。

(四)結合學科特點，完善科研評價管理制度

客觀、公正的科研評價制度事關廣大科研工作者的切身利益，是學術得以健康發展的基石，也是保障科技管理工作正常運轉的前提。在對計算機學科進行科研評價時，應當針對當前存在的主要矛盾，采取相應的政策和措施加以解決：第一，按專業領域制定相應的科研評價標準。科研評價指標會受到評價方法、評價目的、評價對象等多方面因素的影響[20-21]。與物理、化學類專業截然不同，計算機類專業對應的科研成果評價標準應有所差別。第二，重視會議論文的學術影響力。計算機學科的頂級會議文章采用“雙盲”評審，每篇文章歷經“先通訊評審再會評”的常規程序，錄用率低，通常不到20%，每篇文章或被錄用或被拒絕，沒有修改機會。若論文被頂級會議接受，很大程度上能彰顯其科研實力。而且，計算機學科的最新研究成果主要發表在頂級會議上。更有甚者，計算機學科的領軍人物僅將研究成果發表在頂級會議上，如MIT的Katabi教授。第三，制定科學的科研評價指標。科研評價標準本身也是一個動態適應、不斷完善的過程，指標設置合理會促進評價結果的科學性和權威性。高校的科研成果不是靠簡單的指標“抓”出來的，要遵循整體性、公正性、戰略性、操作性等原則[22]。科研管理部門要更多地在“搞好服務”方面下功夫，為本單位科研工作制定更為有效的激勵制度，為科研人員創造工作條件、排憂解難等。論文的具體評價應綜合考慮論文的自身價值、同行專家的評議結果與科研管理專家的判斷。

四、實例驗證

高校自身特點也決定了科研評價工作的特點，后者對前者及其教師有著很強的導向性，不同類型的高校、不同學科之間應當采用不同的評價方法和評價標準。基于其職能與不同側重點，中國589 所本科院校被《中國大學評價》課題組分為研究型、研究教學型、教學研究型和教學型4類，占比分別為6.83 %(40 所)、15.87 %(93所)、23.89 %(143 所)和53.41 %(313 所)[23]。

某大學作為一所綜合性重點高校，從2015年起試行“一院一策”管理體制，從科研角度看就是要充分發揮二級學院教學科研和辦學的主體地位，試圖根據不同學科特點分類考核、分類指導，制定與學科性質相適應的科研評價標準體系和差異化考核指標，實行學科間單獨考核，充分尊重教師個體差異，尊重不同學科科研人員的成果價值，營造寬松的研究氛圍，激發各個學科的科研活力。具體舉措包括：第一，依據專業領域擬定同行專家評價認可的期刊與會議列表。鑒于計算機學科頂級期刊文章與頂級會議文章的數量在一定程度上皆可反映其國際影響力，同時不斷加大獎勵頂級期刊文章與頂級會議文章的獎勵力度。第二，規范期刊文章與會議文章的量化指標。計算機學會推出了“CCF推薦A/B/C類會議”“CCF推薦A/B/C類期刊”列表。“CCF推薦A類會議”是計算機學科最具難度的標志，越受推崇的頂級會議論文接受率越低，發表難度越大，我們在評價體系中予以高度認可。為了簡單有效地推進科研評價，我們嘗試將“CCF推薦A類會議和期刊”與JCR/SCI一區期刊相對應，“CCF推薦B類會議和期刊” 與JCR/SCI二區期刊相對應，“CCF推薦C類期刊” 與JCR/SCI三區期刊相對應。“CCF推薦C類會議”等同視為JCR/SCI期刊。第三，綜合衡量學術論文的學術價值和文獻價值。基于論文所發表期刊的影響因子、平均被引次數、當年指數等指標，全方位衡量其學術價值。這些舉措將有效避免學術評價中“一刀切”現象。一方面使科研評價更具規范性，對期刊論文和會議論文的學術價值進行合理量化；加大會議論文，尤其是計算機學科會議論文的支持力度，增加科研活動經費，資助教師與有潛力學生前往頂級會議借鑒學習，提升教師的科研素養；加強國際和國內高校的學術交流與合作。另一方面也符合計算機學科的研究規律，對后期計算機科研成果評價具有指導性作用。

另外，某大學的科研評價體系是建立在與國際、國內同行論證的基礎之上，向國際一流院校看齊的自主制定考核指標。特別是計算機學科，在中國計算機學會制定的論文標準基礎上，有分類地加以適用，引導該學科與國際化接軌，走國際化發展道路，并取得顯著成績。2011年該大學計算機學科并沒有A類論文，而到2017年初已錄用和發表8篇，這對于一所綜合性高校是長足的進步。

五、結語

SCI論文和頂級會議對于計算機學科的發展都起著舉足輕重的推動作用，SCI側重基礎，研究比較深入，而頂級會議時間快，信息量大，對學科發展的導向作用比較明顯。科研管理應結合學科的特點，重視SCI期刊論文的同時，也應當重視頂級會議論文的重要性，發揮制度的導向作用。同時，科研部門都應根據學科特點，制定符合并推動學科發展的科學評價體系，激勵引導研究人員參加科學研究，提高其積極性和創造性，使相關學科的科研評價系統制度化、規范化，進一步推動學科和學術科研的發展。

[1] 滕穎，蔣新.對我國學術論文評價體系的幾點思考[J].無錫教育學院學報，2005(1)：93-95.

[2] 王倩.h指數及其衍生指數在評價學術會議中的應用研究[J].科技情報開發與經濟，2015(15)：135-139.

[3] 尚海茹，馮長根，孫良.用學術影響力評價學術論文——兼論關于學術傳承效應和長期引用的兩個新指標[J].科學通報. 2016(26)：2853-2860.

[4] 梁耘. 學術論文評價工作模式研究[J].湖北汽車工業學院學報，2005，19(2)：78-80.

[5] 孫君，閆雅娜.EI與科技論文收錄[J].情報探索，2006(6):47-48,16.

[6] 任火.SCI評價及其對策[J].中國出版，2002(1)：41-42.

[7] 王漢瀾．教育評價學[M].開封：河南大學出版社，1995.

[8] 李志河.我國高校教學科研人員績效考評研究[M].北京：科學出版社，2012.

[9] 劉在洲，徐紅，陳承.高校科研質量評價標準研究[M].北京：科學出版社，2015.

[10] 劉恩允.高校科研評價的問題與對策[J].高等工程教育研究，2004(1)：39-42.

[11] 彭蘭，唐慧君.構建高校科研內部評價體系之思考[M].黑龍江高教研究，2005(2)：68-70.

[12] 陳鋼.從ACM會議分析我國計算機學科近十年發展情況[J].中國計算機學會通訊，2015，11(10)：42-51.

[13] 瞿葆奎.教育學文集·教育評價[M].北京：人民教育出版社，1989.

[14] 譚英.從SCI反思中國的學術評價體制——中國計算機學會YOCSEF論壇綜述[J].中國計算機學會通訊，2005，1(2)：75-79.

[15] 李國杰.要高度重視在頂級國際學術會議上發表論文[J].中國計算機學會通訊，2006，2(5)：93.

[16] 梅宏.中國計算機學會發布《國際學術會議和期刊目錄》得失談[J].中國計算機學會通訊，2015，11(7)：36-42.

[17] 包云崗.CCF《國際學術會議和期刊目錄》得大于失[J].中國計算機學會通訊，2015，11(8)：38-42.

[18] 杜偉錦.高校科研評價現狀與完善途徑探析[J].高等教育研究，2004(4)：61-64.

[19] 毛娜.淺議高校科研評價制度創新[J].黑龍江教育：高教研究與評估版，2008(C2)：183-185.

[20] 曾玉清.高校科研產出評價方法及應用研究[J].湖南社會科學，2006(4)：201-204.

[21] 楊瑞仙，梁艷平.國內外高校科研評價方法比較研究[J].情報雜志，2015(9)：107-110.

[22] 蔡言厚,等.大學科研定量評價指標設置若干原則的探討[J].研究與發展管理，2002，14(5)：76-80.

[23] 武書連.再探大學分類[J].科學學與科學技術管理，2002，23(10)：26-30.

Empirical study on appraisal of the academic paper in scientific research evaluation system

CHEN Feng1, YANG Xiao2, CHEN Xiao-jiang3

(1. Office of Science & Technology, Northwest University, Xi’an 710127, Shaanxi, China; 2. School of Economic & Management, Northwest University, Xi’an 710127, Shaanxi, China; 3. School of Information and Technology, Northwest University, Xi’an 710127, Shaanxi, China)

To solve the problem that there are certain limitations to the appraisal of the academic paper in scientific research evaluation system, this paper took the appraisal of academic papers concerned with computer science as example and chose one university’s scientific research evaluation criteria and indicators for performance appraisal as case to study relevant issues of academic papers appraisal. The results show that the key point of determining the value and orientation of top conference papers and SCI journal papers lies in whether to insist on correct guidance in scientific management evaluation system. In computer science, most symbolic achievements are published on the papers of international top conferences while Chinese scientific research evaluation system still puts focus on SCI journal papers, which leads to the low participation and quality of Chinese scholars’ published papers at international computer science conferences. It puts forward some suggestions, such as top conference papers should be stressed in Chinese scientific research evaluation system, the weight of different evaluation indicators should be balanced, the difference between different disciplines should be considered, quality evaluation grade of conference papers should be raised, the guidance role of evaluation system should be played, a new scientific evaluation indicators should be formulated, and the management system of scientific research evaluation should be improved. A university formulated a scientific research evaluation system which considered the difference of disciplines and specified different evaluation indicators. It also listed the journals and conferences for different disciplines, which are recognized by experts and professionals, and gave specification for quantitative indicators of journal papers and conference papers to comprehensively determine the academic and documentary values of academic papers, which made great achievements in the internationalization of academic research.

research evaluation; top conferences’ papers; SCI journal papers; computer science

2017-01-07

國家自然科學基金項目(61373177)；陜西省科技計劃(自然基金)項目(2012JQ8049)

陳峰(1978-)，男，安徽天長人，工學博士。

G321

A

1671-6248(2017)02-0058-06

評價是以學術論文被同行引用的次數衡量其影響力與重要性[3]。衍生物為期刊影響因子，即期刊論文的平均被引率(等于引用某刊前兩年論文的總次數與前兩年該刊所發表的論文總數之比)。論文短期高被引說明其選題的先進性和前沿性；長期高被引體現其學術影響力、學術價值和貢獻。這也與學科特點有關，不同學科期刊的平均影響因子存在著系統差別。比如，醫學領域影響因子在10以上的很常見，而數學領域基本在3以內。

科學研究是高等院校和研究院所的基本活動，研究成果是研究價值的重要體現，進行科學研究評價便成為高校科研管理工作中的重要環節之一。目前科學家在對科學問題和方法探索的過程中，還需要花費大量的精力形成高水平科研成果，如發表期刊或會議論文、出版著作等。通常意義上的科研評價內容包括項目、論文、專利、成果獎等。其中，學術論文是評價體系中的重要組成部分，特別在高校中論文的質量和數量是衡量個人和團隊研究水平的重要指標。

目前，學術論文評價的主要方式包括期刊評價[1]、會議評價[2]、引用評價[3]等。期刊評價側重于通過對期刊整體水平的評價來界定其刊載學術論文的水平[4]，期刊分為：核心期刊、EI源刊(美國工程索引，The Engineering Index，簡稱EI)、SCI(Science Citation Index，科學引文索引)源刊等。核心期刊源于英國著名文獻計量學家布拉德福的研究，指刊載某學科學術論文較多的、論文被引較多、受領域科研人員重視、能反映該學科前沿研究熱點和焦點的期刊。國內核心期刊的主流是中國科學引文數據庫(CSCD)、北大核心期刊目錄等推薦的期刊。EI源刊創始于1844年，是美國首個以了解全球工程文獻為目的可供檢索的文獻摘要和期刊[5]。EI源刊對學術論文水平有一定要求，選刊嚴格，逐漸成為理工科高等院校和工程研究院所學術水平評價的重要依據。SCI是美國科學技術信息研究所ISI(Isntitute for Scientific Information)對科技刊物和論文進行評價的一種工具[6]，能否在世界頂尖SCI期刊上發表論文已成為國內高校評判大多數科學工作者科研能力的重要標志以及評職晉級的重要依據。

學術會議是學術交流活動的核心，隨著國際學術交流與日俱增，會議評價方式也成為論文評價的重要手段[2]。傳統的會議評價為定性指標，如會議主題內容等，定量化指標和評價公式難以直接應用。一些學科則采用專家評估的辦法對會議質量進行評定，形成領域列表，作為的指南。