基于TOPSIS的科技項目評審專家信用評價模型研究

賀曉宇

（浙江省科技信息研究院/浙江省科技發展戰略研究院；“智江南”智庫，浙江杭州 310006）

隨著我國創新驅動發展戰略的實施，科研項目管理被擺在了科研體制改革的重要位置。為提高科學決策能力，確保科技資源有效、公正地分配，在科技項目評審中引入同行評議已經是程序化、制度化的工作，其中，進行同行評議的專家的學術水平、學術道德直接影響到科研立項的擇優性和公平公正性[1]。因此，評審專家的能力水平、權威性及其信用就成為關注的重點，如何確保評審專家客觀公正地評價項目，如何評價評審專家的信用，給科研項目管理提出了新的課題。

近年來，在市場經濟某些不正當行為的影響下，有的評審專家在實際項目評審中存在違背信用的行為，在科技計劃制定、項目評審、成果鑒定等方面放松評價標準，造成科技投入風險加大，交易成本增加[1]。為預防這些不良行為的發生，加強評審專家信用評價管理至關重要。

目前，我國理論界已針對評審專家信用評價指標體系的建設與評價模型的構建開展了許多研究。徐華[1]從品格、能力和評估能力3方面評審構建專家評價指標體系；鄭磊等[2]構建了以誠信基礎、評標誠信和誠信環境為指標的評價指標體系；丁雪偉等[3]以創新基金項目為例，從基本信息、評審活動記錄、不良行為信息和獎勵及榮譽記錄4方面構建評審專家評價指標體系；陳媛等[4]從科研活動程度、評審業績和工作態度3方面構建評審專家評價體系；在信用評價方法方面，于宏國[5]提出了TOPSIS的方法評價專家水平；於翼等[6]采用AHP和德爾菲法對專家信用進行評價；游慶根等[7]通過熵權法確定指標權重,并構建了評審專家的遴選模型；徐錦英等[8]運用層次分析法與熵權法相結合的方法評價評審專家信用。國內學者的研究文獻為評審專家信用評價模型的構建提供了良好的基礎，但總的來看，專家信用評價模型構建還需在指標設定、方法選擇、結果應用等細節方面不斷完善。

本文在梳理現有信用評價理論和方法文獻的基礎上，從科技項目評審專家的視角出發，圍繞同行評議公正性的影響因素進行分析，結合評價指標體系的構建思路及原則，構建了一套以資質能力、行為規范、評審表現為一級指標的評審專家信用評價指標體系。在此基礎上，本文首先通過AHP（層次分析法）和熵權法確定主、客觀指標權重，采用組合賦權的方法得到總和全總，并根據TOPSIS(逼近理想解排序法)，最終建立評審專家信用評價模型，以期實現對評審專家信用的客觀、公平、公正的評價。

1 評審專家信用評價指標體系的構建

同行評議指的是，由科學系統的同行組成的群體，根據一定的標準對某些人提交的項目申請進行評議。這樣評議出的結果是有關部門確定項目（科學資源的分配）的重要依據[9]。

由于同行評議具有一定的主觀色彩，其結果不僅受到諸如評審專家本身研究領域、評審能力等內部因素干擾，也受到多重外界環境因素干擾，因此，針對評審專家的信用評價指標體系是一個多維度全方面的評價指標體系。

1.1 影響同行評議公正性的因素

龔旭[10]指出，影響同行評議公正性的因素包括內部因素和外部因素，內部因素對評議公正性產生直接影響；與此同時，同行評議作為科技資源配置的重要手段，必然受到經濟社會環境、科技政策等外部因素的影響。在此基礎上，本文從評審專家的視角出發，將影響同行評議結果公正性的因素分為兩大類：主觀因素和客觀因素。主觀因素是指評審專家個體性特征影響評審結果的因素，客觀因素是指評議過程中評審專家之外的外部環境等影響評審結果的因素。主觀因素主要包括評審專家的道德水平、個人偏好、知識能力、人際關系、對評審準則的理解以及評審中的利益沖突等。客觀因素主要包括評審制度、政策導向、科研環境以及同行評議制度的固有缺陷等。其中，客觀因素是客觀存在的，由于受到一系列外部環境的制約很難消除其影響；而主觀因素則可通過事前預防、事中事后監管等措施加以防范和解決，因而本文主要基于主觀因素，構建評審專家信用評價指標體系（見圖1）。

圖1 同行評議公正性的影響因素

1.2 評審專家信用評價指標體系的構建思路與原則

評審專家信用評價指標體系的構建思路是，從科技項目評審實際情況出發，堅持目的性、科學性、實用性原則，以確保評審結果的公正性為出發點，圍繞評審專家的資質能力、行為規范，評審表現3方面建立定量與定性相結合、全面反映評審專家信用狀況的信用評價指標體系。

評審專家信用評價指標體系的構建原則是：

（1）目的性原則。評審專家信用評價指標體系的構建目的是提高科學決策能力，更加公正有效地進行科技資源分配，加強對科技工作者的信用意識的培養，實現科技管理的客觀公正。

（2）科學性原則。要充分尊重評審活動自身的規律，使用的評價方法、程序、指標體系、標準等必須符合評審專家的特點。

（3）實用性原則。評價指標的設計要符合客觀實際，盡量利用可收集到各項信息設計指標，做到數據收集方便、計算簡單、易于操作。

1.3 評審專家信用評價指標體系的建立

本文參考徐錦英等[8]設置的指標體系與度量方法，結合影響同行評議公正性的主觀因素以及評價指標體系的構建思路和原則，最終確定了包含三級指標的評價指標體系。科技項目評審專家信用評價指標體系分為三級指標，其中一級指標3項、二級指標7項、三級指標23項。本文選用資質能力、行為規范、評審表現等3個指標作為一級指標，選用基本特征、工作態度、評審經歷等7個指標作為二級指標，選用職稱、承擔項目情況、參與評審項目累計數等23個指標作為三級指標（見表1）。

（1）資質能力包括基本信息、學術成就、資質特長三部分。科技項目支持創新，鼓勵創新，不僅要求專家具有一定的知識能力可以對項目的技術水平做出判斷，更需要專家對項目的創新性、產業化以及發展潛力做出評價。因此，對專家資質能力的評價不僅包括其基本信息和學術成就如職稱、承擔項目情況、學術論著等指標，更包括其資質特長如近期發表相關論著的情況，對前沿問題把握程度等指標。

（2）行為規范包括工作態度、信用記錄兩部分。由于項目評審是一項具有主觀性色彩的工作，因此專家的行為規范應作為重點內容來考察。其中，工作態度是指專家在評審過程中的工作態度，以評審及時性、評語字數、評語態度、評審時間等指標來考察，信用記錄是指專家的信用記錄情況，通過考察是否有被投訴或其他不良記錄等指標來確定。

（3）評審表現包括評審經歷、評審質量兩部分。評審表現是評審專家不同于其他科技人員的特質，評審專家既需要擁有優秀的品質和良好的資質能力，更要理解評審準則，掌握評審方法，具備評審經驗，以此保證評審建議的權威性以及評審的公正性。

表1 評審專家信用評價指標體系

2 基于TOPSIS方法構建評審專家信用評價模型

為充分反映專家信用評價的主客觀因素，提出更優化的專家信用評價機制，本文采用TOPSIS方法構建評審專家信用評價模型。首先利用AHP和熵權法得出主、客觀權重，然后通過組合權重的方法得到綜合權重，最后根據TOPSIS方法得到綜合排序結果，形成評審專家信用評價模型（如圖2所示），并應用于項目管理專家評價中。

圖2 基于TOPSIS的評審專家信用評價模型

2.1 評價指標體系中權重值確定

2.1.1 AHP法主觀指標權重確定

AHP方法（層次分析法）是綜合定性與定量分析，對多目標多準則的系統進行分析評價的一種方法[11]。它首先構造兩兩比較的判斷矩陣，通過計算判斷矩陣的最大特征根與特征向量，進而得到層次單排序與總排序指標權重，最終確定主觀指標權重，其步驟如下所示：

第一，構造兩兩比較判斷矩陣。假設每一層的決策目標為P，根據每一層的評價指標集構建兩兩判斷矩陣A。通過上述判斷矩陣的構建來實現每層層內評價指標的兩兩比較，以此確定每個層內指標相對于上層指標的重要程度。本文采用1—9來判斷矩陣標度，1表示同等重要，數值越大表示重要程度越大。

第二，權重計算。利用方根法確定權重并通過一致性系數CR=CI/RI（RI查表可得）進行一致性檢驗。

（2）對每行的幾何平均值做歸一化處理，確定層次單排中各因素在上層評價因素中所占的比重

（3）一致性檢驗。當CR＜0.1,則認為矩陣通過一致性檢驗；否則調整判斷矩陣。

第三，層次總排序及其一致性檢驗。計算同一層次所有決策因素相對于總目標的排序權值，同時進行一致性檢驗。

2.1.2 熵權法客觀指標權重確定

熵權法首先對原始數據進行無量綱化和標準化，通過計算熵值來確定客觀指標權重，其中熵值越大，指標權重越高，其步驟如下所示：

第二，確定熵值。

第三，確定指標權重。

2.1.3 組合權重(CW)確定

無論是主觀指標權重還是客觀指標權重，都有其自身的局限性，為了更加合理地確定指標權重，充分體現信用評價指標的主觀意識和客觀實際，本文采用組合賦權的方法來確定綜合權重。在主、客觀權重基礎上，通過拉格朗日函數，確定綜合權重；利用歐式距離函數計算主、客觀權重的偏好系數，從而得到更加合理的綜合權重。其步驟如下所示：

2.2 TOPSIS評價模型

TOPSIS（逼近理想解排序法）是一種逼近于理想解的排序法，其基本原理是通過有限個評價對象與最優解、最劣解之間的距離來進行排序[12]，具體步驟如下所示：

第二，數據標準化處理：

第三，構建加權決策矩陣。依據式（1）至式(10)確定綜合權重后帶入Y,構建加權決策矩陣

第五，計算各指標與理想值的歐氏距離：

3 模型應用

本文選取浙江省科技計劃項目管理系統專家庫中的10位專家作為分析對象，以說明TOPSIS評價模型在評審專家信用評價中的應用步驟。

第一，通過AHP法計算主觀指標權重。通過式（1）—式（4），構造判斷矩陣，并計算最大特征根，最終得到各層次的權重值，如表2所示。

表2 AHP法主觀指標權重

第二，通過熵權法計算客觀指標權重。在原始數據的基礎上，通過式(5)至式(8)，計算客觀指標權重，如表3所示。

表3 熵權法客觀指標權重

第三，結合前兩步計算得到的主觀指標權重和客觀指標權重，進行組合賦權，根據式(9)、式(10)確定主觀權重、客觀權重的偏好系數(0.646,0.354)，獲得更接近實際的綜合權重，如表4所示。

表4 指標體系綜合權重匯總

第四，通過TOPSIS方法結合綜合權重，利用式(11)至式(17)計算相對貼近度并對10位專家進行排序，相對貼近度越大，專家的信用評價結果越好，反之越差，排序結果如表5所示。

表5 TOPSIS評價模型排序結果

由表5可知，根據TOPSIS評價模型的排序結果，第7位專家在科技項目評審工作中的履職能力和可行性較差，而第5位專家的信用評價結果最佳。此評價結果與科技項目管理部門對10位專家的績效評價結果較一致。因此，基于TOPSIS方法的科技項目評審專家信用評價模型符合應用實際，評價方法科學，所設置的評價指標體系合理，具有借鑒意義，并可為科研誠信庫建設與專家管理工作提供參考依據。

4 結語

評審專家信用評價是我國科技管理體制改革的一項重要內容，建立科學、可行的評審專家信用評價模型是建立健全科研誠信庫、科技計劃健康發展的關鍵。本文在總結國內關于評審專家信用評價研究和實踐的基礎上，從主觀因素和客觀因素2方面剖析了制約同行評議公正性的影響因素，構建了以資質能力、行為規范、評審表現為一級指標的評價指標體系。在構建評價模型方面，本文提出一種基于TOPSIS的評價方法。TOPSIS評價模型運用AHP和熵權法組合賦權的方法計算綜合權重，兼顧了主觀性和客觀性，并通過TOPSIS方法對評審專家進行相對貼近度排序，實現對評審專家信用客觀、公正的評價。