科技項目評審專家工作質量元評價體系及應用研究
——以廣東省重點領域研發項目為例

羅 軍，陳之瑤，莎 薇，侯小星

（廣東省技術經濟研究發展中心，廣東廣州 510070）

科技項目評審專家質量評價工作是科研誠信管理中不可或缺的一部分，作為政府投入科技計劃項目評審、驗收等工作的主要成員，科技項目評審專家的業務能力、職業道德等要素均會對項目評審結果產生直接影響。在科技事業高度市場化的今天，政產學研合作日益深化，為避免受不正當市場行為的影響，防范因評估專家與科技項目成員形成利益共同體而人為干涉指南編制、項目評審、驗收等工作，造成科技資源浪費、項目無法達到預期的投資目標，迫切需要建立一套完善的科技項目評審專家工作質量管理體系。

科技項目評審專家評分偏差是影響專家評審公平、公正、客觀的重要因素之一，專家的個人偏見、評分習慣、同行專家間非共識性爭議均會導致偏差的產生［1］，需要對評分偏差產生原因進行診斷分析，最大限度減少評分偏差對科技項目評審結果的影響。本文依據元評價理論的思想，從專家評審偏差的角度出發，建立科技項目評審專家工作質量評價模型，并以廣東省重點領域研發計劃項目專家評審數據為例進行實證分析，闡釋專家評審工作質量狀況以及存在的問題，結合國內相關政策實施現狀，提出進一步完善科技項目評審專家科研誠信建設的對策建議，對于科技事業的健康發展具有一定的理論價值和指導意義。

1 文獻綜述

科技項目評審環節的質量對于科研成果的有效性具有極大的影響，國內外學者對科技項目評審專家質量管理的相關研究主要集中在專家評分偏差、專家信用體系構建、科研誠信管理等方面。在專家評分偏差方面，蔡文學等［2］分別對軟科學項目和技術類指標項目構建差異化的專家評分偏差度權重；唐光杰［1］從科技項目評審專家評分偏差的角度構建模型并進行計算，主要針對偏好偏差、爭議性偏差以及慣性偏差等3 種偏差類型進行分析，給出合理的修正意見；田林琳等［3］運用互逆強化模型和數理統計方法，系統性分析了專家評分偏差問題，基于總體偏差、異常評分、固有等3 個評價指標，劃分出8 種專家偏差類型，并分別給出應對建議。在專家信用體系構建方面，丁雪偉等［4］從創新基金項目立項審查的管理特點出發，提出了專家信用體系框架、信用信息的采集、記錄、評價，為創新基金項目評審工作選聘專家提供參考依據；施榮捷［5］從政府采購專家評審角度，運用“物理隔離”和“軟件防范”的創新管理模式，建立專家評審數據庫，進一步完善政府采購專家評審機制；於翼等［6］從招投標的角度，構建了以工作態度、行為規范、評標質量、相關方評價為一級指標的信用評價模型，設計了評標專家評價指標體系，對評標專家工作水平進行定量評價，為管理者科學合理評價評標專家行為提供一定的科學依據。在科研誠信管理方面，國外研究學者對科研誠信管理制度發展、衍生的問題及深層原因有較為系統的研究，如：STENECK NH［7］評價了自1985 年以來，科研不端行為的專業應對方式發展變化；HAVEN TL 等［8］采用序貫混合方法進行實驗設計，研究科研不端行為對不同學科領域產生不利影響的最主要因素。我國科研誠信領域的研究熱點主要集中在學術不端的防治與檢測［9］，劉蘭劍等［10］對科研誠信歷史、表現進行研究，分析其深層原因，并提出相應治理對策；蔣來等［11］以高校為研究對象，系統分析了項目從立項到成果轉化各環節存在的不端行為，并提出防范措施。

元評價是當前科技評價研究中廣泛運用的一種方法，其本質上是對評價結果的評價。已有研究表明，元評價方法是提高評價質量的有效手段［12］，其最早是由美國學者Michael［13］提出，并將其應用于教育領域，之后隨著學術界的發展，逐漸有學者將其應用于科技評價，如俞麗平等［12］以科技評價作為元評價主體構建了宏觀元評價體系結構；汪建等［14］考慮元評價指標的相關性及元評價效果的影響因素，建立了元評價綜合模型，并利用實際的科技項目評價數據對模型進行檢驗；蔣悅等［15］基于元評價理論，設計了評估目標、評估對象、指標體系與評估方法、運行機制等4 個維度的政府績效評估體系架構；楊毅等［16］從元評價的角度，應用SPEARMAN 相關系數對科技進步評價指標進行分類，確定指標之間的相關性強弱，分析了不同指標在評價中的作用，提出了評價體系中指標設置方面的問題，為不斷優化完善評價指標體系提供依據；朱少強等［17］提出構建中國學術評價體系的元評價機制可以從評價評審專家、評價機構、行業協會、學術出版認證等角度進行，進一步推動學術評價的發展。

綜上，當前大部分研究尚處于理論研究階段，由于數據可得性等問題未實現大規模的應用，且鮮有針對專家評審工作建立完善的質量評價監測系統的相關研究。基于此，本文借助元評價方法的理論基礎，結合科技項目評審專家工作特點，針對性構建專家工作質量評價模型，為專家評審這一重要環節提供質量保障。

2 科技項目評審專家評審質量管理政策分析

當前，國家正加大力度投入和配置創新資源，大力推進科技事業健康發展，先后制定出臺了一系列相關政策，旨在建立完善的科技項目管理體系。其中，在科技項目評審專家的評審質量管理問題上，中央針對科技項目評審專家的行為準則、信用監督和管理辦法等方面出臺了相應的政策制度，而廣東省積極貫徹落實國家相關文件精神，在科技評審的信用監督與管理規定、失信行為界定與懲戒等方面也出臺了相應的政策措施。

2.1 國家層面政策措施

2003 年，科技部印發了《國家科技計劃項目評審行為準則與督查辦法》，首次明確了項目評審專家等主體的行為規范和違規處理措施。2018 年，中央辦公廳、國務院辦公廳印發了《關于深化項目評審、人才評價、機構評估改革的意見》，提出要提高項目評審質量和效率，要實行“陽光下的評審”，形成覆蓋項目評審全流程各關鍵環節的制度規范。同年，科技部監督司會同辦公廳共同制定了《專家評審行為監督檢查專項工作方案（草案）》，強調要對科技項目評審專家的行為合規性、評判能力水平、工作作風態度等方面進行監督檢查，形成權責一致的專家咨詢制度，從而保障科技項目評審工作科學、公平、公正地開展。

2.2 廣東省政策措施

依據國家相關文件的規定，廣東省接連出臺相應的政策措施。2015 年，廣東出臺《廣東省科學技術廳科技咨詢專家信用管理實施細則（試行）》，這是廣東省領先于全國出臺的首個關于科技咨詢專家信用管理的專題文件，對專家信用評級作出了明確的等級劃分標準。2017－2018 年間，廣東陸續出臺了《省級科技計劃（專項、基金等）嚴重失信行為記錄與懲戒暫行規定》《廣東省科技計劃監督規定》等文件，逐步從理論研究文本走向實踐應用中，2020 年，廣東出臺《廣東省科學技術廳科技業務評審會議現場監督工作規程（試行）》，明確了科技項目評審專家正面規范和監督事項，為大力開展科技項目評審專家評審質量管理工作保駕護航（見表1）。

表1 科技項目評審專家信用管理政策措施（主要措施）

雖然國家層面和省級層面在科技項目評審專家質量管理方面已有相關政策出臺，但在科技項目評審專家動態監測手段方面尚未建立有效的追蹤、評估等方法，對科技項目評審專家評審工作的全流程監管較為薄弱，迫切需要開展有關專家工作質量評價方面的應用研究。

3 科技項目評審專家工作質量元評價模型的構建

元評價是“對評價的評價”，是對評價本身的好壞進行反思，糾正評價過程中出現的偏差和失誤，總結實踐經驗，是提高評價工作質量、實現評價活動科學化和規范化的有效方法［17］。本文基于系統性、獨立性、數據可測性等基本原則，結合廣東省科技項目評審工作實際，并參考相關學者的評價方法［1,2,5,14］，最終選取偏差系數、差比率、綜合離散度、SPEARMAN 秩相關系數等指標，并運用熵權法確定指標權重，構建科技項目評審專家工作質量元評價模型。模型側重于衡量和診斷專家評審偏差，評價結果可作為完善科技項目評審專家質量管理、專項評審工作機制的參考依據。各指標的解釋及計算如下。

3.1 元評價指標體系

3.1.1 偏差系數

偏差系數衡量的是專家個體打分結果與項目整體得分的偏離程度，能夠反映專家對項目打分的合理性。假設有m個專家和n個項目，第i個專家給第j項目的打分值為Xij(i=1,2,3,…,m,j=1,2,3,…,n)，則專家i的偏差系數計算公式為：

3.1.2 差比率

差比率通過觀察專家評分的相對極差，判斷出專家對項目是否存在傾向以及傾向程度的大小，以此衡量專家評審工作質量。計算公式為：

式中Yij表示專家i對項目j的傾向度，Xij表示專家i對項目j的評分，Ai表示專家i對所有評價項目的平均分，一般認為當Yij≥20%時，專家對某項目存在傾向。Ci表示專家i的評價差比率，Ymax、Ymin分別代表專家i評價項目的最大傾向度和最小傾向度，差比率越大，專家評審工作質量越差。

3.1.3 綜合離散度

綜合離散度考察的是專家評分結果的波動程度，項目得分的離散度較大時，說明該項目的評價質量不高，而專家打分的綜合離散度是決定項目評審質量的主要因素之一。綜合離散度的表達式為：

上述表達式中，Dij表示專家i對項目j的評分離散度，Wi專家i的綜合離散度，更高的綜合離散度意味著更低的專家評審工作質量。

3.1.4 SPEARMAN 秩相關系數

SPEARMAN 秩相關系數利用專家打分與項目整體得分排序后的順序號，計算二者的相關程度，從而衡量專家個體打分與項目最終得分的一致性。計算之前需對評分結果進行排序得出各項打分對應的順序號，設專家i對項目j打分的順序號（從小到大）為xij(j=1,2,3,…,n)、j項目總體得分的順序號為yj(j=1,2,3,…,n)，則專家i的SPEARMAN 秩相關系數計算式為：

ρi表示SPEARMAN 秩相關系數，其取值范圍為［-1，1］。秩相關系數小于0，說明專家個體評分與項目整體得分負相關，反之則正相關，秩相關系數越大，反映出專家評審工作質量越好。

3.2 利用熵權法確定指標權重

3.2.1 數據標準化處理

由于不同指標的量綱和閾值存在差異，為使得指標之間具有可比性，在確定指標權重計算綜合得分之前，需對指標進行標準化處理。為避免標準化產生負值影響評價結果，本文采取最小最大法對指標數據標準化，具體處理方式如下：

Si是標準化之后的指標值，Zi為標準化前的指標值，Zmax和Zmin分別為指標的最大值與最小值。

3.2.2 指標權重的確定

熵權法是在客觀條件下,根據評價指標值離散程度來確定指標權重的一種方法。它能盡量消除各因素權重的主觀性,使評價結果更符合實際。利用熵權法對偏差系數、差比率、綜合離散度、SPEARMAN秩相關系數四個評價指標進行自動賦權，具體的計算步驟如下。

其中，αik是專家i的指標值Sik在指標k下的權重，ek是指標k的熵，gk是其差異系數，wk是指標的最終權重。

按照熵權法計算得到科技項目評審專家工作質量評價指標權重如表2 所示，SPEARMAN 秩相關系數所占的比重最大，達到0.35，其次是差比率的0.31，偏差系數和綜合離散度權重較小，分別為0.18與0.16。

表2 科技項目評審專家工作質量評價指標權重

4 科技項目評審專家工作質量元評價模型的應用分析

依據建立的評審工作質量元評價模型，本文以廣東省重點領域研發計劃項目的評審數據進行實例分析。案例中包含26 類、共425 個科技項目，130位專家參與了評審。運用式（1）-式（8）計算評價指標的大小，并結合熵權法得出的指標權重計算評審專家工作質量的綜合得分。指標得分的標準化結果及綜合得分如圖1 所示，可以看出，評審專家之間打分結果的差比率和SPEARMAN 秩相關系數差異較大，圖形曲線的起伏程度較高，從標準差也可以體現出來，偏差系數、差比率、綜合離散度、SPEARMAN 秩相關系數以及綜合得分的標準差依次為0.155，0.189，0.151，0.200 和0.104，差比率和SPEARMAN 秩相關系數的標準差明顯高于其他三項，在評價專家工作質量時應當受到更多的關注。五項結果的平均值依次為0.723，0.671，0.762，0.688和0.701，綜合離散度的平均得分最高，這說明評審專家在控制項目得分離散度方面做的比較好，有助于提高項目整體得分的可靠性。SPEARMAN 秩相關系數的平均得分最低，且標準差最大的，說明大多數專家總體打分結果與項目整體得分的吻合度不高，其評審結果有待進一步的斟酌和討論。

圖1 科技項目評審專家工作質量各項指標評價得分

表3 列出了130 位專家各指標得分的區間分布情況，將得分結果分為很好、較好、一般、較差、很差五類，具體結果如下。各項評價指標中，表現很好的專家數量都比較少，大多數專家在偏差系數、差比率、SPEARMAN 秩相關系數方面得分居中（包括較好和一般），占比都超過50%。而綜合離散度雖然平均得分最高，但是大部分專家處于較差水平以下，比例接近50%。從綜合得分來看，只有4 位評審專家的總體工作質量很好，80%的專家表現居中，另外還有接近17%的評審專家綜合得分低于0.7，由此可見，大部分專家評審結果均存在一定程度的偏差。結合評審對象本身的特性、評審開展時的政策背景等因素進行分析，產生這種結果的可能原因有以下幾點：一是因為專項工作的開展尚處于起步階段，參與評審的專家對專項背景、定位等基礎信息不熟悉，對評價指標和評判標準的認識不夠深入，不能達成統一共識；二是因為專項研究內容屬于國際前沿創新領域，專家組內對項目判斷存在較大爭議；三是因為部分專家個人存在評審偏好、評審習慣或涉及科研誠信方面的問題。對于前兩種情況的出現，需要對偏離度普遍較高的項目進行進一步評審討論，確保評審結果的準確性，針對第三種情況，由于專家主觀原因導致評審結果缺乏可信度，建議剔除此類專家評分，并連續跟蹤觀察這部分專家的評審工作情況，進一步提高專家業務能力、提升職業素養，若確定存在科研誠信問題，必須按照科研誠信建設的相關政策和管理辦法規定，對此類專家作出相應處置。

表3 科技項目評審專家工作質量評價得分區間分布

5 結論與建議

本文聚焦科研過程中的科技評審工作質量，在梳理國內外相關文獻以及國內各級政府政策的基礎上，從專家評審偏差角度構建了包含偏差系數、差比率、綜合離散度、SPEARMAN 秩相關系數等指標的科技項目評審專家工作質量元評價模型，并運用廣東省重點領域研發計劃項目評審數據對模型進行實證分析，探索模型的應用效果。實例結果表明，（1）不同評審專家的差比率和SPEARMAN 秩相關系數差異較大，不同指標的標準差存在明顯差異，應當據此得到相應的重視程度；（2）總體上，評價等級達到很好的專家比較少，絕大部分的科技項目評審專家評審質量等級為一般，對于評價等級為一般以及較差的專家，應當進一步分析偏差產生原因，采取相應的完善措施，提升科技項目評審質量，并進一步提高科技業務水平。根據前文的分析，文章提出以下幾條對策建議：

5.1 進一步完善專家工作質量評價體系

本文建立的元評價模型，僅針對專家的評審工作以及打分結果，可在此基礎上進一步考慮專家的背景經歷，以當地現有科技項目評審專家庫為基礎，進一步豐富和完善專家評價指標，從專家工作態度、評審經驗、專業水平等方面綜合反映專家質量的客觀情況，采用定性定量相結合方法，因地制宜建立全面的工作質量評價指標體系，并在探索實踐應用中，逐步建立標準化評價模型。

5.2 加強專家評審工作的跟蹤觀察與質量監督

科技項目評審專家工作質量是影響科技項目評審效果的關鍵因素，為了避免專家因個人主觀原因導致評審結果出現較大的偏差而缺乏可信度，有必要對專家的各項工作質量指標進行跟蹤管理，尤其是過往評審質量較差的專家，更應該受到嚴格的信用管理。根據評價結果發現專家存在的問題，從而督促科技項目評審專家提高相應的業務能力與職業素養，確保高效的項目評審質量。

5.3 加強定量與定性評價手段的融合應用

在當前廣泛應用的基于同行評議的定性評價方法上，研究探索項目技術就緒度、知識產權評議、項目關鍵技術先進性比對等定量評價方式，為科技項目評審專家提供項目所處階段、項目單位知識產權情況、項目技術先進性對標等綜合信息，同時也以多維度的客觀評價數據作為專家評價意見的有益補充，為項目遴選提供更加科學的支撐。

5.4 建立閉合循環的評審信息化管理系統

在現有評審數據庫、專家庫基礎上，搭建專家工作質量監測平臺，采集專家基本信息并且定期更新專家信息狀態，相關數據作為專家個人能力、經驗的評價依據。集成庫內專家歷史評審數據，結合線下評估專家工作態度，動態監測專家參與項目評審的工作質量，并形成專家評審長期跟蹤機制，相關數據可作為專家評審工作質量評價的依據。根據監測平臺對專家進行評估的情況，將結果反饋至專家庫管理系統，從而形成閉合回路的專家工作質量管理體系，為后續的科技計劃項目評審專家遴選工作提供決策依據。

5.5 探索實踐新型項目遴選機制

探索實踐主審制、賽馬制等新型項目遴選形式，以項目遴選組織機制的創新對評審專家同行評議結果進行有益補充。如依托知名專家為主審專家先期進行項目評價的遴選方式，在后期的評審中將項目論證的重點更加聚焦在有爭議的問題上面，在一定程度上解決同行評議專家評分過于分散的情況。對立項項目采用賽馬制的并行資助方式，聚焦于項目執行本身，對立項后且執行良好的項目給與后期財政資金資助，減少因評審專家主觀評價誤差等因素造成的立項項目質量不高的情況。