基于評審結果的專家評價指標體系研究

遲宸 劉馨陽 丁春光 聶國健

（工業和信息化部電子第五研究所工業裝備質量大數據工業和信息化部重點實驗室，廣東 廣州 511370）

一、緒論

出于創新性與獨創性等各類考慮，目前行業內專家評議形式是各類項目評審采取的主要方式。專家評議形式指各類同領域的專家依據事先確定的評審規則，評判該項目立項及擇優的可行性、必要性、經費安排、預期成果等內容[1]。而每位專家作為可獨立評判分數個體，同樣會受到專業性因素，喜好性因素或其他因素的影響，進而影響評審的公正性。而項目評審結果是否客觀公正，直接關系到能否合理分配各級科研資源。因此，如何建立一套量化、直觀的專家評價指標體系，基于每位專家長期以來的各輪評審評價，反向分析專家在評審過程中是否盡職盡責，支撐高水平、高素質專家信息庫的建設，是項目管理部門必須面對的問題。

目前國內外公開報道中，尚未見系統完整的基于評審結果的專家評價指標體系[2]。盡管有少量相關研究報道，但目前仍很少見各類可數值化表示的指標體系，對于評審專家的評價工作無法定量考核，難以直接應用。在當前項目管理工作中，專家管理更側重于專家選拔、任務分配、能力培訓、綜合考評等方面，而疏于使用數學工具挖掘評審結果。因此建立一套量化的基于評審結果的專家評價指標體系，為專家管理提供數值依據，能夠有效的彌補當前專家管理工作缺乏對評審結果分析的缺憾。

本文中研究在研究分析評審結果表述形式、評審專家評價偏差來源、評價偏差與評審外因素的關聯性、評價偏差的分布模式的基礎上，針對大數據支撐專家評審的需要，基于統計學相關理論基礎，提出一套兼具適用性、表征性、實用性的專家評價指標體系。該指標體系有以下優點：

（一）適用性強。可同時適用于各類評分評價體系、經費評價體系、通過/不通過評價體系等多種數值體系的評審結果。可廣泛應用于各級項目評審、競爭擇優等各類活動中。

（二）表征性強。能夠定量的反映專家打分習慣、專家對特定項目及特定承接單位的傾向性。

（三）實用性強。貼近量化支撐專家評價工作的實際需求，滿足對評審過程中的專家的專業性、公正性的分析需要。

二、評價體系指標總體要求

在各類項目評審中，參與評審專家主要基于自身技術水平及信息積累，對參與項目評審的各參評方的參評材料開展審核并給出相應評分。而本文中就是基于每一位專家評分數據的積累，進而對各位專家本身專業性和公正性開展評價。該評價出于以下體系指標考慮，有幾點要求：

（一）專家專業性因素對項目評審影響

隨著目前項目評審數進一步增加，涉及邀請專家人數隨之增長，但可能由于主辦方篩選疏忽，無法保障專家對該項目有足夠了解，導致個別專家專業性有所不足，對該項目本身技術要求認知不夠全面，對項目本身專業性評審產生影響。

（二）專家喜好因素對項目評審影響

個別專家可能對于特定項目涉及參評方會有偏好考慮，例如專家對于某項技術路線有所偏好，對其他技術路線評價不高，因此導致對自己偏好的技術路線參評方打分較高，進而會對項目評審本身公正性產生影響。

（三）專家偶然因素對項目評審影響

個別專家由于各類偶然因素，對于項目本身具有不確定性考慮，也可能對項目本身公正性評價產生影響。

通過分析各專家對于項目評審數據的積累，基于以上指標體系構建要求，建立本指標體系。本指標體系由評審結果表示、評審結果歸一化、項目真實水平估計、偏差值計算、評價指標體系構建、分項得分計算、總評價分計算幾部分組成，內在邏輯關系如圖1所示。

圖1 基于評審結果的專家評價指標體系工作流程

當專家評價指標體系建立后，可有效定量評估所選評審專家過去評價是否公平公正，通過對其評分指標的考核，了解專家在評議工作中的表現，有利于今后對評審專家的篩選，形成基本評審專家隊伍，建立專家庫，對后續項目評審提供重要支撐。

三、具體思路

（一）評審結果表示

就每位專家對每個項目的評審結果（包括評分數據/經費數據/是否通過）用數據矩陣表示，即為記為α。若m位專家對個n項目評審，最終的評審結果可記為：

矩陣中數值為專家i對項目j的評審結果。對于評分評審，的數值為評審得分；對于經費評審，的數值為建議經費；對于是否通過評審，通過時的數值為1，不通過時的數值為0。

（二）評審結果歸一化

由于評審結果的不同類別，會形成各類不同數值體系。為建立統一的比較標準，需要進行歸一化。歸一化后的評審結果矩陣為：

根據不同需要設置ρ的數值，對于評分評審，ρ的數值為評分滿分；對于經費評審，ρ的數值為評審建議經費；對于通過/不通過評審，ρ的數值為1。

若評審采取了唯一的數值體系要求，可不進行歸一化處理，即ρ的數值為1。

（三）項目真實水平估計

基于專家專業、公正，且評審結果相互獨立的情況下，建立項目真實水平評估體系，將項目j獲得的平均評審結果作為項目真實水平估計，即

若評審專家人數較少（一般可取值在30以下）的評審，為提升結果的準確度，可選取去除最高評價與最低評價之后的平均值作為項目真實水平估計，即

或選取評分中位數作為項目真實水平估計，即

（四）偏差值計算

偏差值是某一位專家的評審結果與該項目真實水平估計的差值，專家i對項目j評審結果的偏差值為：

根據我們前期需求分析的結果，偏差值?ij可拆分為為個性偏差、隨機偏差與傾向偏差，即：

個性偏差?Ci：專家對技術難度和評價標準的理解存在不同差異，給出整體偏高或偏低的評價。?Ci可使用專家i的所有偏差值的平均值估算。

隨機偏差?Ri：專家受偶然因素影響，在對受主觀影響較強的評審項打分時，評審結果無意識的波動；

傾向偏差?Bij：專家受個人喜好因素影響，對特定的項目或承接單位，主動的提升或壓低評審結果。

（五）構建基于評審結果的專家評價指標體系

表1 專家評價指標體系指標計算方法

（六）分項得分計算方法

專家得分由4個分項得分綜合計算得到，各分項得分計算方法如下：

表2 分項得分計算方法

（七）綜合評價得分

專家得分計算方法如下：

專家評分=個性偏差分項得分×K1+隨機偏差標準方差分項得分×K2+平均項目傾向值分項得分×K3+平均單位傾向值分項得分×K4+傾向正確率分項得分×K5

其中，K1、K2、K3和K4都是比例系數，可根據需要調整，但需滿足以下條件：

K1+K2+K3+K4+K5=1

K1≥0，K2≥0，K3≥0，K4≥0，K5≥0

四、結束語

本文所建立的基于評審結果的專家評價指標體系，能夠對參評項目專家的專業性與公正性開展分析，可以定量評價專家對項目、專家對承接單位的主觀傾向性，并運用數理統計方法篩選需要關注的分歧項目。

該指標體系為我國元器件科研領域評審專家評價工作提供了依據，解決了對評審專家進行反評價的難題，填補了國內空白。本文提出的基于評審結果的專家評價指標體系將作為專家評價手段運用于評審專家保留與淘汰工作中，確保項目的評審工作由具備紀律性、責任性、技術要求達標的專家團隊完成，為項目評審公平公正提供了有力的保證，提供巨大社會效益。