科研人員信用評價指標體系研究

李艾丹，李春梅，楊思維

科研人員信用評價指標體系研究

李艾丹1，李春梅2，楊思維2

本文在對國內外信用評價相關研究的基礎上，結合國家科技計劃管理制度和政策，設計了一種科學、客觀、可行的科研人員信用評價指標體系，并給出指標計算方法、數據采集和數據來源，通過AHP方法和專家打分法得出合理的權重值，利用YAAHP方法科學、快速地計算出權重，給予各指標的評價評分標準，采用國際上通用的十級評分等級進行評價，通過實證分析證明本文所采用的科研人員信用評價方法的可行性。

科研人員；信用評價；指標體系

1 引言

近年來，中國的科技投入總量逐年增加，2016年科學技術支出已達6568億元，比2015年增長12%[1]。中國科研學者發表SCI論文數量也呈現出持續增長的趨勢，2016年SCI收錄的中國學者發表的論文共304054篇，是2006年的4.3倍，其中2526篇被選作ESI高水平論文[2]。2006—2016年，中國處于世界前1%的高被引論文為1.69萬篇，占比12.8%，居世界第三位；近兩年間，中國發表的論文被引用次數進入本學科前1‰的國際熱點論文為495篇，占比18%，同居世界第三位[3]。在中國科研論文數量大幅增加的同時，也不時有學術和科研不端行為被披露出來，損害了國家和中國科研人員的聲譽，凸顯出中國的科研誠信環境建設亟待加強。

國內外對科研誠信并沒有統一的定義，美國學術誠信研究中心將其定義為：即使在逆境中仍堅持誠實、信任、公正、尊重和責任這五項根本的價值觀[4]。在科研誠信方面，中國正面臨著一個巨大的難題[5]。科技計劃是指一定范圍內，行政主體為實現科技要素優化配置的一系列科技行動方案，所構成的相互聯系、相互協調、相互促進的體系[6]。目前，中國針對國家科技計劃實施中的不同主體(科研人員、項目承擔單位、評審專家、從事項目管理和中介服務的機構等)的信用評價指標體系研究較少。

本文在對國內外科研人員信用評價情況調研的基礎上，參考國家科技計劃管理制度和政策，提出了科技計劃科研人員信用評價指標體系，并給出評價指標計算方法。通過AHP方法和專家打分綜合判斷得出指標合理的權重值；利用YAAHP軟件，科學、快速地計算出權重；設計了科研不端的一級指標作為減分項指標，強調科研不端行為對科研信用的重大影響；設置信用基數，以體現無業績、無職稱青年科研人員的基本信用。

2 科研人員信用評價指標

2.1 研究現狀

信用評價研究在歐美等西方國家已有100多年的歷史，發達國家推進信用管理的歷程和經驗表明，形成完整的信用評價體系的一個基本要件是能對相關主體進行公平、公正的信用評價[7]。中國信用評級方法研究發展較晚，可追溯到20世紀80年代末，主要運用于銀行、金融、保險、個人消費等領域或行業，對于科研方面的信用評價指標體系研究仍處于探索階段。

在西方發達國家，形成了大眾誠信的全社會性信用文化，科研人員早已習慣和遵循這種信用模式。美、英、德、法、丹等歐美國家進行了有益的嘗試，而美國國家科學基金會(NSF)的運作是典型代表[8]。圍繞“人的行為”，NSF倡導科研誠信，預防、監測、調查、處理科研不端行為。建立了思路、工具、人員、組織卓越性4項指標，要求高效、誠信、多樣化、有能力、有活力的人才隊伍[9]。NSF設立了總監察長辦公室(OIG)，下設調查辦公室(OI)，以調查與其有關科學研究中的不正當行為[10]；2006年以來，科技部等部門在科研誠信方面頻出重拳，2007年，科技部、教育部、中科院、中國工程院、國家自然基金委、中國科協6個部門建立了科研誠信建設聯席會，指導全國科研誠信建設[11]。2016年3月，科技部、國家衛生計生委等十五個部委聯合下發了《關于印發〈國家科技計劃(專項、基金等)嚴重失信行為記錄暫行規定〉的通知》，以達到加強科研信用體系建設，凈化科研風氣，構筑誠實守信的科技創新環境氛圍的目的[12]。一些學者從如何建立抑制和懲處科研不端行為的法律規制角度進行了研究，張九慶認為有必要引入刑法規制來積極處理那些后果嚴重的科研不端行為，使用相關刑法手段配合行政處罰組成完整的法律規制來抑制科研不端行為的發生[13]。

為了提高科技計劃項目的執行力度和完成質量，一些學者從參與科研人員的信用入手進行研究。徐華以“培養科技工作人員良好的守信與創新能力”為主要目的，提出“一評終評”以及“初評終評”兩種評價方法。徐華設計的科技人員信用評價指標體系包括品格、能力和資源環境3個一級指標及個性、作風等14個二級指標，采用德爾菲法獲取了指標權重[14]。李芳頌從性格品德、個人能力、資源條件三個方面建立評價指標模型[15]。呂躍華采用探索性因子分析、信度分析等方法對科研人員信用評價指標進行了實證研究[16]。

本研究針對國家科技計劃實施中的不同主體，研究科研信用管理相關的指標體系和評價方法，本文提出的科研人員信用評價指標體系，主要依據的是國家科技計劃相關管理制度與政策法規，目的在于在實際評價運用時，使得評價指標與相關規定中的要求及定義相一致，增加指標體系的可用性，指標體系的設計也參考借鑒了國內外關于科研信用評價體系的研究成果。

2.2 指標體系

科研人員信用評價指標的設計主要依據國家科技計劃相關管理制度與政策法規，在國內外關于科研信用評價體系研究成果的基礎上，結合科研項目立項、實施、驗收等過程，采用專家調查、問卷、訪談等多種方法，最終確立了科研人員信用評價指標體系，包括一級指標為3項，二級指標為6項，三級指標為19項，如表1所示。其中“關聯信用”指標可以根據具體情況有所增減，但整個指標權重、打分標準、計算公式和評價等級的方法和思路是一致的。

信用是針對科研不端行為而言的，存在不端行為即為失信。因此，本文中科研人員信用評價指標體系一級指標中的科研不端為減分項。關于科研不端行為的信用指標設計，參考了學者張九慶[13]和董興佩[17]的論文研究成果，為避免“行政法規制對嚴重的違規者來說，不具備較強的警示和懲戒作用，達不到以儆效尤的效果[13]”，通過調整減分項權重，當受評對象因科研誠信受到3次以上行政處罰即為信用極差，對受到5次以上行政處罰或犯有嚴重科研不端行為、構成犯罪前科的受評對象，直接判定其無信用。

2.3 指標數據采集和來源

科研人員信用信息的采集應確保其客觀性、準確性和合理性，保障信息安全，不涉及個人隱私信息，任何機構、組織和個人不得以科研信用信息采集的名義收集信息，達到商業獲利或侵害他人隱私的目的。

為貫徹國家關于加強科技計劃信用管理的精神，提高政府科技資源分配的公正性和有效性，提高國家科技計劃相關主體的信用意識與信用水平，各級行政主體在實際項目管理中應結合具體科技計劃項目，選取科技項目申報書、任務書、驗收材料等管理過程中具有代表性的資料和數據作為評價對象，通過收集、整理、分析等，對科研人員信用進行評價，同時可以要求科研人員所在單位等相關單位上報數據或進行數據交換，使科研信用評價的數據來源更加客觀公正。

中介機構對所采集的科研人員信用信息必須認真核實，未經核實或核查無實據的信用信息不得作為信用評價依據[18-19]。科研人員信用數據來源如表2所示。

表2 科技計劃科研人員信用數據來源

3 評價指標權重和評價標準

3.1 評價指標權重獲取方法

利用AHP(Analytic Hierarchy Process)法，通過構建判斷矩陣來獲取評價指標的權重。AHP法是美國運籌學家T.L.Saaty最早提出的一種多目標評價決策方法，將復雜的問題分解成各個組成因素，又將這些因素按支配關系分組形成遞階層次結構，通過兩兩比較的方法確定層次中諸因素的相對重要性。

當以上一層次某因素作為比較準則時，可用一個比較標準aij來表述某一層次中第i個元素與第j個元素的相對重要性的認識，aij取正整數1～9及其倒數，取值規則如表3所示。

表3 判斷矩陣取值規則

用aij表示判斷矩陣A—B的比較標準，構成判斷矩陣(aij)，用bij表示判斷矩陣B—C的比較標準，構成判斷矩陣(bij)。

得到評價指標的權重：(wi,wi,…,wm)，m=1,2,…,11。

令wj為減分項評價指標的權重，j=12,13,…,19。每一層次所含各因素均可用上一層次的一個因素作為比較準則來做相互比較。比較方法和取值規則與正向評價指標相同。得到評價指標的權重：(wi,wi,…,wj)，j=12,13,…,19。

本文選取50名科技管理領域相關專家，利用AHP方法，通過矩陣計算得出指標權重。利用YAAHP進行矩陣權重的計算，YAAHP是以層次分析法和模糊評價法為基礎的綜合評價輔助軟件，為利用層次分析法和模糊綜合評價的決策過程提供模型構造、計算和分析等方面的幫助。

通過YAAHP錄入數據，或通過由YAAHP導出的專家調查表填報兩兩指標比較的調查問卷，最終在YAAHP中檢查所有專家判斷矩陣的一致性，計算得出指標權重，如表1所示。

在計算權重時，實現科研信用層次模型繪制、判斷信用矩陣生成及兩兩比較數據輸入、判斷矩陣一致性比例及排序權重計算、不一致判斷矩陣自動修正、殘缺但可接受判斷矩陣的計算、殘缺且不可接受判斷矩陣的自動補全、總目標或子目標排序權重計算、根據排序權重的加權分數計算、靈敏度分析、群決策、群決策調查問卷、群決策專家數據錄入、專家數據檢查、群決策計算前數據處理、導出計算數據、模糊綜合評價等多種功能，該方法可應用于其他領域的決策分析工作中。

3.2 評價標準

科研人員信用評價指標標準值的分值一般由評價機構組織專家評審會議，匯總得出評價結果。通常要選取連續幾年的數據對其進行綜合評價，只有對連續幾年的綜合考核，才能反映受評對象的發展趨勢。

采用定量指標標準值的賦值方法和定性指標的評價標準，其中定量指標標準值的賦值方法包括遞進平均法和信用比例定分法。遞進平均法采用多步定界平均的方式，分別確定各指標的優秀、良好、平均值和較差等不同檔次的標準值。比例定分法采用評價指標的行業平均值或全國平均值作為標準值，然后按照與標準值的偏離距離確定一定的百分比，以此計算指標分值。指標評分的標準值主要從《中國科技統計年鑒》和《國務院部門屬社會公益類科研機構改革與發展情況調查統計報告》相關數據統計得出。

(1)職稱及從事研究工作C1評分標準:

標準值高級職稱(或工作年限≥20)中級職稱(或10≤工作年限<20)初級職稱(或3≤工作年限<10)無職稱(或0≤工作年限<3)標準系數10[08，10)[06，08)[0，06)

(2)承擔國家級項目C2評分標準:

標準值項目數≥2015≤項目數<208≤項目數<150≤項目數<8標準系數10[08，10)[06，08)[0，06)

(3)專業學術機構任職C3的評分標準:

標準值標準系數在全國性專業學會或專家委任主要領導職務。10在全國性專業學會或專家委任非主要領導職務，或在省級專業學會或專家委任主要領導職務。[08，10)在全國性專業學會或專家委任一般職務，或在省級專業學會或專家委任非主要領導職務。[06，08)未在全國性或省級專業學會、專家委任職。[0，06)

(4)專利申請及授權C4評分標準：

標準值專利申請及授權量≥6(或專利授權量≥4)4≤專利申請及授權量<6(或2≤總專利授權量<4)2≤專利申請及授權量<4(或專利授權量=1)0≤專利申請及授權量<2標準系數10[08，10)[06，08)[0，06)

(5)獲得省部級及以上科技獎勵C5評分標準:

標準值省部級及以上獎勵≥6(或國家級獎勵≥3)4≤省部級及以上<6(或國家級獎勵=2)2≤省部級及以上<4(或國家級獎勵=1)0≤省部級及以上<2(無國家級獎勵)標準系數10[08，10)[06，08)[0，06)

(6)發表論文及出版專著C6評分標準:

標準值論文及專著數≥77(或專著數≥6)49≤論文及專著數<77(或4≤專著數<6)30≤論文及專著數<49(或1≤專著數<4)0≤論文及專著數<30標準系數10[08，10)[06，08)[0，06)

(7)科研項目完成情況C7評分標準：

標準值標準系數承擔的科技計劃項目全部按照預期目標完成，達到預期的目標。10承擔的科技計劃項目完成率在95%(含)以上，較好地達到預期的目標。[08，10)承擔的科技計劃項目完成率高于90%(含)、低于95%，基本達到預期的目標。[06，08)承擔的科技計劃項目完成率低于90%，基本達到預期的目標。[0，06)

(8)科研項目履約C8評分標準:

標準值項目履約=100%90%≤項目履約<100%80%≤項目履約<90%項目履約<80%標準系數10[08，10)[06，08)[0，06)

(9)個人貸款及償還C9評分標準:

標準值不良信用次數=00<不良信用次數≤22<不良信用次數≤4不良信用次數>4標準系數10[08，10)[06，08)[0，06)

(10)個人納稅C10評分標準:

標準值不良信用次數=0不良信用次數=1不良信用次數=2不良信用次數≥3標準系數100806[0，06)

(11)合同履約C11評分標準:

標準值合同履約=100%90%≤合同履約<100%80%≤合同履約<90%0≤合同履約<80%標準系數10[08，10)[06，08)[0，06)

(12)篡改剽竊C12評分標準:

篡改剽竊標準系數=因篡改剽竊受到行政處罰的次數

(13)抄襲作假C13評分標準：

抄襲作假標準系數=因抄襲作假受到行政處罰的次數

(14)違規署名C14評分標準：

違規署名標準系數=因違規署名受到行政處罰的次數

(15)其他行政處罰C15評分標準：

其他行政處罰標準系數=因其他科研不端受到行政處罰的次數

(16)盜用經費C16評分標準：

盜用經費標準系數=因盜用經費受到刑事處罰次數

(17)學術詐騙C17評分標準：

學術詐騙標準系數=因學術詐騙受到刑事處罰次數

(18)重大危害C18評分標準：

重大危害標準系數=因科研活動造成重大危害受到刑事處罰次數

(19)其他刑事處罰C19評分標準：

其他刑事處罰標準系數=因其他科研不端受到刑事處罰次數

4 綜合得分和評價等級

4.1 綜合得分

科技計劃科研人員信用評價綜合得分的計算公式為：

式中，N為科研人員信用評價綜合得分；n為信用基數。引入信用基數以體現無業績、無職稱科研人員的基本信用；本文中選取n=50進行計算，實際應用中可根據具體科技計劃項目特點進行調整；wi為科研人員信用指標三級指標中第i項指標的權重；ci為科研人員信用指標三級指標中第i項指標的標準系數。

4.2 評價等級

采用符合國際通用的10級標識并自動累計浮動確定評價等級，級別的劃分如表4所示。

表4 科技計劃科研人員信用等級標識

5 科研不端行為減分實例

2017年4月21日，國際知名出版商斯普林格(Springer)下屬期刊《腫瘤生物學》(Tumor Biology)公布的107篇科研論文因中國作者編造審稿人和審稿意見而被撤稿的消息，引起國內外的廣泛關注，給中國學術界的聲譽造成嚴重的負面影響[20]。由國家科技部、教育部等部委組成的聯合工作組進行了調查。根據調查結果，科技部暫停了21名涉事作者參加的20個國家科技計劃項目(課題)的立項程序；國家自然科學基金委對與撤稿論文相關的51個項目終止了項目評審；工程院暫停了1名涉事作者的院士候選人資格[21]。

根據本文的科研信用評價指標體系，以上科研不端行為可以歸類為抄襲作假和違規署名兩項負分指標，見表5。

科研人員由于科研不端行為被減去20分后，即使具有豐富的科技計劃項目研究經歷，很強的項目組織實施能力和研究開發能力，其信用等級最高也只能達到信用一般(BB)。以體現出該不端行為對科研信用的嚴重影響。

表5 科研不端行為減分實例

6 結語

本文設計了一種科學、客觀、可行的科研人員信用評價指標體系，并給出指標計算方法、數據采集和數據來源，通過AHP方法和專家打分法得出合理的權重值，利用YAAHP方法科學、快速地計算出權重，給予各指標的評價評分標準，采用國際上通用的十級評分等級進行評價，通過實證分析證明本文所采用的科研人員信用評價方法的可行性。隨著指標體系、評價方法研究的進一步深入和完善，科研人員信用評價指標體系將得到普及和使用，成為科研信用評價體系建設中重要的科學評價工具。該指標體系作為一種客觀可行的評價決策工具，也可以用于其他領域科研主體信用評價的參考。

[1]科技部.2017年全國科技工作會議在京召開[EB/OL].http://www.most.gov.cn/ztzl/qgkjgzhy/2017/2017tpxw/201701/t20170110_130385.htm,2017-01-10.

[2]LetPub編輯科學網.2016年中國高校及科研院所發表SCI論文排名情況[EB/OL].http://blog.sciencenet.cn/blog-1232242-1032041.html,2017-02-07.

[3]科技日報.中國論文“高被引”“熱點論文”均沖入世界前三[EB/OL].[2016-10-13].http://digitalpaper.stdaily.com/http_www.kjrb.com/kjrb/html/2016-10/13/content_351212.htm.

[4]Final report to ESF and ORI：First World Conference on Research Integrity；Fostering Responsible Research[EB/OL].2017-05-12.

[5]QIU J.Safeguarding research integrity in China[J].National science review,2015,2(1):122-125.

[6]徐建國,吳貴生.國家科技計劃與地方科技計劃關系研究[J].中國科技論壇,2004(5)：13-17.

[7]李麗亞,畢京波,宋揚.關于建立我國科技信用評價系統的幾點思考[J].中國科技論壇，2006(5):47-51.

[8]曾原.國內外科研信譽管理研究綜述[J].圖書與情報,2008(2):26-30.

[9]FY2005 performance and accountability report[EB/OL].http://www.nsf.gov,2005-11-15.

[10]Research Misconduct[EB/OL].[2007-06-29].

[11]科技部等六部門聯手強化科研誠信建設[EB/OL].http://news.xinhuanet.com/tech/2007-01/18/conten_5622384.htm,2007-02-02.

[12]科技部.國科發政(2016)97號文[EB/OL].http://www.most.gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/gfxwj2016/201604/t20160407_125044.htm,2016-03-25.

[13]張九慶.我國科研不端行為的法律規制：從行政法到刑法[J].山東理工大學學報(社會科學版),2012,28(1):58-61.

[14]徐華.基于科技人員的信用評價模型設計[J].科學學與科學技術管理,2009,30(6):182-187.

[15]李芳頌.科技人員信用評價指標體系的構建研究[J].電腦知識與技術:學術交流,2016,12(5):134-135.

[16]呂躍華.科技人員信用評價指標體系的構建研究[J].特區經濟,2014(9):182-185.

[17]董興佩.中美科研不端舉報人保護制度之比較[J].中國科技論壇，2016(10):155-160.

[18]趙錦華.依法采集和使用信用信息切實保障信用信息安全[J].南方金融,2013(5):11-13.

[19]國務院辦公廳.征信業管理條例[EB/OL].http://www.gov.cn/flfg/2013-01/29/content_2323780.htm,2013-01-29.

[20]孫武.太丟人！中國學者集體欺騙國際醫學期刊 被撤稿107篇論文[EB/OL].觀察者網，http://www.guancha.cn/TMT/2017_04_21_404716.shtml,2017-04-21.

[21]科技部公布107篇論文撤稿調查結果：486人存在過錯[EB/OL].觀察者網，http://www.guancha.cn/Education/2017_07_28_420333.shtml,2017-07-28.

CreditEvaluationIndexSystemofScientificResearchPersonnel

Li Aidan1,Li Chunmei2,Yang Siwei2

(1.Institute of Scientific and Technical Information of China，Beijing 100038，China；2.Beijing Zhongjikehai Technology& Development Co.，Ltd，Beijing 100048，China)

Based on the researches on the credit evaluation index system at home and abroad，and combining with national science and technology project management rules and policies，this paper proposed a scientific，objective and feasible credit evaluation index system for the personnel who engage in national scientific and technological researches.The paper also gave the index calculation method and the data acquisition method and source.The evaluation was rated by the ten-grade scoring.The AHP and expert scoring methods were applied to obtain a reasonable weight value，and the YAAHP software was used to quickly calculate the weight and give the evaluation criteria of each index.Finally，the empirical analysis was taken to verify the feasibility of this credit evaluation method.

Scientific research personnel；Integrity evaluation；Index system.

中國科學技術信息研究所科研誠信建設項目“科研信用評價體系研究”(CRI2016002)。

2017-07-13

李艾丹(1984-)，女，北京人，博士，高級工程師；研究方向：信息管理與知識管理。

(1.中國科學技術信息研究所，北京 100038；2.北京中機科海科技發展有限公司，北京 100048)

G311

A

(責任編輯 劉傳忠)