構建科學的同行評議專家綜合評價體系研究

張 瑩

（昆明理工大學科學技術院，云南 昆明 650500）

0 引言

科學技術對社會經濟發展的影響日益增強，科學基金制度在推動社會發展和科學技術進步的過程中發揮著巨大的作用。當前，科學基金評審普遍采用同行評議方法，該方法按照“充分依靠專家隊伍，發揚民主，引入競爭機制，堅持擇優支持、公正合理”的指導方針[1]，從而實現對科技資源的優化配置。同行評議方法在項目評審、中期檢查、成果評獎、人才及團隊推選等眾多領域獲得了廣泛應用，它是一種有效且可行的民主決策評價方法，尤其在基金評審工作中發揮著重要作用，是科研項目評審的生命線[2]。

然而，同行評議方法本身具有一定的局限性，在實際運用過程中尚存在一些問題，曾一度受到國內外學術界一些專家的批評和責難，爭議的核心主要是針對同行評議專家。評議專家在項目評審過程中會出現無人監管，評審專家的權利無限放大，并且不需要付出相應責任等有失科學公正的行為，甚至有一小部分專家出現人情照顧，瞎評，亂評，故意惡評的行為。同行評議要求同行評議專家客觀、公正、科學地進行評審，遴選同行評議專家是同行評議的重要內容，也是同行評議過程中的重要環節，如果沒有科學、合理的評價體系對評審行為進行約束，將很難保證評審結果的公正性。因此，構建合理的同行評議專家綜合評價體系，對評審專家自身科研水平及其以往評審情況進行有效分析和評估顯得尤為重要，這也是進一步提升同行評議專家評審水平及動態調整專家庫亟待解決的問題。

關于同行評議專家綜合評價體系的構建問題已有很多學者進行了研究。趙黎明（1994）從同行評議專家個人基本情況、個人修養、評審業績等方面進行了定性評價，但未給出評價的具體量化數學模型[3]。隨后，他們又從評審項目的累計數、離散率、命中率、成功率等幾個方面對同行評議專家進行了評價，但并未對這些指標進行綜合分析評價[2]。李淑芬等人（1995）利用層次分析法從專家的資歷、科研成就、對學科的熟悉程度、公正性等5個方面建立了量化模型并給出每個指標所占的權重，但未對每個指標進行定量化分析[4]。鄭稱德（2002）主要從項目評審總量、偏離程度、命中率、有效性等幾個指標對專家進行評價，給出了各指標的量化模型并對各指標進行了歸一化處理，最終給出了綜合評價指標，但關于綜合評價指標的權重未做定性評價，沒有構建量化評價模型[5]。馬曉光等人（2003）從評審專家的社會屬性、學術水平、評議水平、評審態度等方面進行了定性的描述，同樣沒有給出具體的定量分析[6]。

文章結合了大量學者的研究成果，從同行評議專家的個人資歷、科研能力、評審離散率、評審有效率和評審態度等五個方面構建了專家綜合評價指標，通過建立數學模型進一步實現了評價指標的定量化處理，然后利用層次分析法確定了各評價指標的權重，最終可以獲得評審專家的綜合評價得分。通過對評審專家的評審行為進行定性和定量評估，可以為專家的合理遴選和統籌分配提供決策依據，使更多專業基礎扎實、視野開闊、評審態度認真的專家參與到評議工作中來，從而使評審結果更加客觀公正，評審質量得到進一步提升。

1 同行評議專家綜合評價體系的構建

科研項目通常來自各領域最前沿的研究方向，它具有多學科交叉融合和創新性強等特點?？蒲许椖康倪@種特性對于評審專家的基礎理論知識、專業素養和認真負責、公平公正的評審態度提出了較高的要求[7]。因此，專家評價指標應針對性地從上述幾個方面進行綜合考量，評價指標應盡量可測度，有定量化的評價標準。通過制定科學合理的評價指標并進行定量化處理，可以有效降低評價主體受個人傾向和主觀偏見的影響程度。

專家綜合能力評價指標主要從專家的個人資歷、科研能力、評審離散率、評審有效率及評審態度5個方面來構建。

1）個人資歷反映了一個專家知識的深度和廣度，可對專家專業素質評價起到初步篩選的作用。個人資歷主要包括學位和職稱2個要素。學位是指通過學習獲取學識及相應學習能力程度的標志，反映了專家接受教育的層次，主要包括學士、碩士、博士3種。職稱代表了專業技術水平和能力，分為中級、副高級和正高級3種。學位和職稱可以通過如下所示的評價等級進行定量化處理。

表1 學位評分表

表2 職稱評分表

2）隨著科技的飛速發展和多學科交叉融合程度的不斷增強，科研合作程度逐步增強，跨學科、跨專業的合作日益增多。同級別的科研成果排位第一的作者貢獻率大于排位靠后的作者，合著成果的署名一般也是按照貢獻的大小依次排序，所以利用合著者加權處理可以定量化作者的貢獻大小。

表3 合著者貢獻權重表

科研成果主要包括論文及專利、科研項目和獲獎情況3個要素?？蒲谐晒牡燃壴谝欢ǔ潭壬戏从沉顺晒膶W術質量和受關注程度。論文及專利依據認定類別劃分為A、B、C類，科研項目、獎勵依據認定機構分為國家級、省部級和地廳級?？蒲屑墑e不同對應不同的權重。

表4 科研成果權重表

科研成果定量化公式如下所示：

3）對于同一個科研項目往往需要不同的同行評議專家從不同角度給出評審意見，同行評議專家的共識度可以為管理者進行科學決策提供全方位的信息。離散率指標用于表示一位評審專家的評審結果相較于其他專家評審結果的偏差程度，它能較好地反映出一個專家的評審水平及評審的公正性[2]。離散率可分為橫向離散率和縱向離散率。

其中，橫向離散率表明一位評審專家相較于其他專家在所評審項目認識上的差異性。不同專家對同一組項目的評議值可構成評議值矩陣，如式（4）所示，式中表示第個專家對第個項目的評議值。

縱向離散率反映了評審專家在以往項目評審中對所評項目在認識上的波動性大小，該評價指標能夠在一定程度上反映出評審專家的認真和公正程度[2]。評審專家歷年評審項目的評分值可構成如下矩陣：

則由式（8）可確定第個項目的縱向離散率：

由式（9）得到的專家所評項目的縱向離散率，可由二維坐標軸繪制出其分布情況。具體的分布曲線可以分為四類：波浪形曲線、直線形曲線、平行形曲線、跳躍形曲線。對于出現的波浪形曲線和直線型曲線的情況，一般是同行評議專家所評審項目質量水平參差不齊的原因，屬于項目評審過程中的正?，F象。平行形曲線說明了專家對于不同項目的打分差別很小。通常，所評項目樣品量較大時，項目質量會有優劣之別，相應的評審分數也必有高低之分。因此，平行形曲線反映了專家評審時的態度不夠認真，評分也不夠客觀嚴謹。跳躍形曲線表明專家在個別項目上的打分和其他項目出入較大，此種現象應引起科研管理者的重視，需要進一步核實是人為主觀因素造成的不公還是由于項目存在重大創新性所造成的[6]。

4）命中率指同行專家評議結果與最終結果一致性的百分比，命中率的高低體現了專家的自身科研素質及精準的判斷力[2]。專家所評議的項目如果達到一定的數量，則該評價指標可以一定程度上反映出專家的評審能力及公正性[7]。

將各評審專家命中率構成命中率矩陣：

成功率是指獲資助的項目經實踐證明獲得成功的項目數與獲資助項目總數的百分比。成功率反映了同行評議專家評審結果的正確性及總體評議水平的高低[2]。

將各同行評議專家的成功率構建為成功率矩陣：

則可得到專家 的成功率的具體得分 ：

5）評審專家具有較強的責任心和積極的評審態度，才能夠高效、有效地完成同行評議工作，因而評審態度也應作為專家綜合評價體系中的構成要素。評審專家應按照相關項目評審要求進行評審，評審與自己專業知識相符合的申請書，評審意見不得“張冠李戴”，敷衍籠統。評審態度可以通過反饋意見的明確性、精準性和及時性來衡量[2]。

同行評議專家評審意見的明確性是指評審意見應具體、明確、鮮明且具有針對性，明確闡明項目的創新性及存在的優勢和劣勢。評審意見詳細而明確對于下一步的資助決策具有重要的參考價值，同時可對申請人完善研究設想和研究方案提供幫助，論點明晰、論據充分且具有啟發性和建設性的評審意見可使項目申報者認識到項目上存在的不足之處，從而根據評議專家的建議對項目申報材料進行修改完善，促進申報質量的不斷提升[4]。通?？蒲许椖可陥罅看?，評審環節多，及時反饋評審意見是項目下一輪評審工作順利開展的有利保障，對于不按時反饋意見的專家，科研管理者應酌情給予減分。

專家的各評價指標是緊密關聯的，單獨進行評價勢必具有一定的局限性，因此應將各評價指標進行綜合分析并依據其重要性給出相應的權重。利用層次分析法可以確定專家各評價指標的權重，從而最終得出專家的評價值[3]。

2 利用層次分析法確定同行評議專家指標權重

層次分析法將人員的思維過程系統化、數學化和模型化，是一種定性與定量相結合的多目標決策綜合評價方法。它將總目標分解為相互關聯的若干層次和組成要素，這些要素按支配關系分組形成一個多層次的分析結構模型，各要素之間通過重要性的兩兩比較和計算，可確定出不同方案所占的權重，從而為最佳方案的決策提供依據，適用于缺少定量數據進行判斷的多目標決策情況[8]。

層次分析法首先根據問題，建立相應的層次結構，通過兩兩比較構建判斷矩陣，再通過計算層次單排序，進而得到層次綜合排序結果。

層次分析法的步驟包括：構建層次結構、構建判斷矩陣、層次排序及一致性檢驗等步驟[9]。

判斷矩陣的構建是通過上一層某要素，本層次與其他有關要素之間重要程度的相對比較得出的，將重要程度進行定量化描述可形成如下表所示的重要性標度[9]。

表5 1-9的重要性標度

根據層次分析法的步驟，首先應將同行評議專家綜合評價體系中涉及的各要素進行分層。其中，第一層為總目標層，即同行評議專家綜合評價體系C；第二層為準則層，通過專家的個人資歷，科研能力，評審離散率，評審有效率，評審態度等五個方面來實現對專家的綜合評價?？偰繕藢影诙蕜t層的5個要素，即C={C1C2C3C4C5}；第三層準則層包含學位、職稱、論文專利、項目、獲獎、橫向離散率、縱向離散率、命中率、成功率、意見明確性、反饋及時性等11個要素，可歸納到第二準則層的5個要素中，即C1={C11C12C13C14C15}，C2={C21C22C23}，C3={C31C32}，C4={C41C42}，C5={C51C52}。因此，每位專家評審質量的綜合得分可由圖1所示的層次結構圖進行量化評估。

圖1 專家綜合能力評價層次結構圖

利用調查收集法確定同行專家各評價指標的重要性，構建判斷矩陣。

表6 判斷矩陣

隨機一致性比率小于0.1，表明判斷矩陣具有可以接受的一致性。

表7 判斷矩陣

表8 判斷矩陣

表9 判斷矩陣

表10 判斷矩陣

表11 判斷矩陣

根據判斷矩陣確定的權重，可以最終確定各評價指標的權重。指標權重可以從多個方面綜合考量，同時需要根據實際情況進行不斷地修正優化。

表12 專家評價指標權重

評審機構利用定性和定量相結合的辦法對每位專家的各評價指標給出具體的分數，通過各評價指標分數與權重相乘后累加可最終得出同行專家的綜合評價得分?？茖W的定量綜合評價得分可以避免定性指標不能排序帶來的決策困擾，設置科學、合理的量化評價體系，可以助力管理者科學決策。

3 結論

同行專家評價指標體系非常復雜和煩瑣，有些指標的科學性有待進一步探索，這些指標體系參考價值隨著專家評議項目數的增多而得到提升。另外，同行評議專家綜合評價體系的構建非常復雜，有些指標的數學化模型難于構建，科學性也有待于在實踐中進一步驗證[10]。因此，對專家評審行為進行的評估是一種統計分析而非定性分析，因此在實際的運用過程中可以為科研管理者提供參考作用，而不應作為不可更改的定論[2]。

文章查閱了大量的文獻，在充分調研的基礎上結合科研管理工作者積累的資料和認真細致的記錄總結進行了相關的數據分析，并進行了小范圍的實驗，對構建合理的同行專家綜合評價體系提出了一些意見和建議，以期對科研管理者對同行專家的評價和遴選起到一定程度的推動作用。