同行評議專家反評估實證研究

李光文 吳達 （天津市科技統計與發展研究中心 天津300041）

0 引言

我國“國家中長期科技發展規劃綱要（2006—2020）”中指出，到2020年，中國科技進步對經濟增長的貢獻率要提高到60%左右，研發投入占GDP比重要提高到2.5%。[1]隨著我國政府對科技研發投入的不斷增加，如何公平、合理地分配科研資源成為社會日益關注的熱點問題。現實社會中存在的學風浮躁、學術不端等問題對科研事業的健康發展產生了消極影響。中國科協新當選主席韓啟德在與媒體見面時講到：“學風問題的解決是一個長期的過程，在一定程度上還是很不理想，我覺得它有深遠的歷史原因、文化原因、社會原因，甚至是制度原因，如果我們科學體制機制不進一步改革，如果我們的評價技術不改革，如果我們的管理機制不進行改革，包括科研資源分配的機制不進行改革，那么影響我們學風的這些根源還不能夠得到根本改變，我們在長期之內還需要努力改進這些問題。”[2]

同行評議作為一種評價方法被廣泛運用到規劃設計、項目評議、經費資助、課題結項、科技獎勵、刊物論文評議、成果出版等方面，被國內外專家公認為是目前最切實可行的方法。同行評議可以促使科研管理機構的決策更加民主和科學，使科學技術的發展更契合我國社會的發展要求。

在同行評議過程中，專家的評價意見直接影響評審結果。本文利用專家反評估指標對同行評議數據進行分析，反映出同行評議過程中的一些問題，為同行評議工作提供參考。

1 研究現狀

1.1 同行評議研究

同行評議最早始于專利申請中的查新，隨后應用到論文評審、科學技術評價。目前同行評議已被國內外科研管理機構廣泛使用。

英國學者Gibbons認為同行是“該領域的科學家或鄰近領域的科學家”。我國自然科學基金委對同行的解釋是“由科學系統的同行組成的群體”。美國學者Chubin對同行評議的定義是“被科學界用來判斷工作程序的正確性，確認結果的可靠性以及對有限資源的分配，諸如雜志版面、研究資助經費、公認性和特殊榮譽”。英國G&G認為評議是以提問的方式評價本領域研究工作的科學價值。“國家自然科學基金項目管理規定（試行）”指出，評議是對申請項目的創新性、研究價值、研究目標、研究方案等做出獨立的判斷和評價。[3]

綜上所述，同行評議是以申請者的客觀材料為基礎，借助評議專家對某一學科較深入的了解和研究，對一項成果未來的價值做出主觀評議和判斷的評審方法。同行評議方法方便易行，集成性、科學性的特點使其在科技項目評審決策中占據重要地位，但是這種評議方式受專家個體差異性，如主觀意志的影響和專業知識水平的局限以及評議過程中其他偶然因素影響，容易產生個人偏見和片面性。[4]

1.2 同行評議專家反評估研究

趙黎明等（1995）提出了累計數、離散率、命中率、成功率4個反評估指標，成為國內考察評審專家指標的基礎，但是對于如何基于這些單項指標建立評價體系并未做出說明。[5]鄭稱德（2002）提出基于評議結果的專家評議工作業績評測指標，包括經驗指標、偏差指標、命中指標及有效性指標，并根據專家意見得出這3個指標的權重分別為0.25、0.35和0.4。[6]王成紅等（2004）進一步探討了對同行評議專家評議結果進行定量評估的問題，給出了科研項目評價值的數學模型。文章給出了同行評議專家關于基金申請項目評價值的調整算法，對已有的2個定量指標進行了改進，并給出了算數偏差、最大絕對值偏差和項目的非共識度等3個新的定量評估指標。這些定量指標具有的物理、數學意義，對合理選擇同行評議專家有重要意義。[7]

保羅·尼文（2003）曾在《平衡計分卡》中提出了指標的選擇原則和指標數據字典的概念，對建立專家評價指標體系做了較深入的研究。[8]英國同行評議調查組給研究理事會咨詢委員會的報告中全面討論了定量方法的作用，他們認為“如果用合理的價格能獲得相關有用的信息，例如使用自然和社會科學引文索引，也許在檢查同行評議全面實施的時候，可以切合實際地、試驗性地使用它。”[9]

2 同行評議專家反評估實證研究

2.1 數據來源

天津市科技計劃項目立項和結題評審使用了同行評議方式，從2007年起使用了局域網評審，2008年開始將結題工作專家評審意見進行數據庫管理，評審過程中積累了大量數據。本文使用這些數據進行專家評審反評估實證研究，共選用了140個項目組，2 653個項目的評審數據。

2.2 實證研究

2.2.1 評審累計數分析 對專家參加評審次數進行統計，統計結果數據顯示，參加7次評審的專家有1位；參加5次評審的專家共6位；參加4次評審的專家共9位；參加3次評審的專家共40位；參加2次評審的專家共103位。

表1數據說明，天津市科技計劃項目評審盡可能多的邀請專家參與，讓更多專家參與項目評審，這樣有兩個好處：一方面可以避免評審專家隊伍過于固定，影響同行評議的公正性；另一方面邀請更多專家參與評審，擴大了專家隊伍，特別是給年輕學者更多參與項目評審的機會，增加了學者參加科學研究的積極性，有利于良好學術氛圍的形成。

表1 專家參加評審次數統計

2.2.2 評審結論一致性分析 每個項目組邀請5位專家獨立為項目評審打分和做評價結論，評價結論分立項和不立項，限定每位專家評審結論為立項的項目數量。其中，3名及以上專家同意立項的項目視為通過專家評審。

表2說明同行評議結論符合要求，為天津市科技計劃項目立項提供了重要的參考依據。

表2 同意立項比分布情況

2.2.3 專家評審命中率分析 對專家的某次評審結果進行分析，將專家對每個項目的評審結論與該項目最終是否立項進行比較。如果專家結論與項目評審結果一致，則設為命中。將專家在該次評審中所有項目的命中數量與項目立項總數進行比較得出命中率。

統計數據中，共有56位專家參加了3次以上評審，選取這部分專家評審數據進行命中率統計。統計結果顯示命中率最低為58.3%，最高為100%，56位專家歷次評審結果命中率分布如圖1。從圖中可以看到絕大多數專家命中率很高，在80%以上。

圖1 所有專家評審結果命中率分布情況

圖2 專家歷次評審命中率標準差分布情況

對這56位專家歷次評審結果進行的命中率標準差統計，統計結果顯示命中率標準差最大是0.198，最小是0.014，多數專家的命中率在0.1以內，如圖2。參加3次以上評審的專家命中率很高，歷次評審命中率標準差很小，說明這部分專家在評審工作中公平公正，科學嚴謹地完成評審任務。

2.2.4 離散率分析 項目最終得分是根據5位專家打分加權計算得到，項目得分滿分為100分，對專家打分和項目最終得分進行比較。專家打分與項目匯總得分差距最小的為2.6分，最大為31.9分。專家打分與匯總得分差距小于10分的占74.4%，如圖 3。

圖3 專家打分橫向離散率

對參加3次以上評審專家的打分差距進行分析，差距最小的為3.04分，最大為18.54分，專家打分與匯總得分差距小于10分的占84.5%，如圖4。對參加3次以上評審的專家打分差距明顯小于所有專家。

2.2.5 項目結題評審意見與項目執行結果比較分析 選取部分已結題項目，對合同書與結題報告數據進行比較研究，選取可量化的指標：出版專著、培養人才、申請專利、申請發明專利、發表論文。通過這些指標判斷項目實際完成情況，統計結果顯示5項指標完成率平均為90.9%，如表3。

圖4 專家打分橫向離散率（部分專家）

表3 合同書指標完成情況

項目實際完成指標，且專家對“項目完成情況”的結論為“完成”，則認為專家評價意見與項目實際完成情況一致。統計顯示一致率平均為91.85%。說明結題評審中專家能根據項目的實際完成情況進行客觀公正的評價。

3 相關建議

3.1 適當加強同行評議過程信息公開

同行評議被我國采用以來，各級科研管理機構都制定了完善的管理辦法。絕大多數專家的評審工作是公平、公正的。但是少數專家的失信行為被媒體放大。主要是因為專家評審工作要求保密，信息發布較少，再加上立項命中率較低，使沒有成功立項申報者對同行評議過程產生了質疑。

建議在保證專家評審工作保密的前提下，在評審結束后加大評審信息公開，將專家評審意見和評審結論適當向社會公開。一方面可以擴大社會各界對同行評議工作的監督，促進專家評審工作的公平公正；另一方面將專家評審結果反饋給項目申請者，使申請者了解自己項目存在的不足，同時也是一次學術交流過程，有利于學術發展和創新，部分基金項目已經實行了評審結果反饋。

3.2 建立統一的評審專家庫

豐富的專家庫資源是項目準確遴選評審專家的基礎，建立統一專家庫可以解決同行評議中的一些問題。統一專家庫建立后，實現在國家與省市科研管理機構中共享，各級科研管理機構共同維護、完善專家信息。建設統一專家庫的同時建立專家誠信檔案，將專家在評審工作中的行為記錄到誠信檔案中，建立起專家后評估體系，專家后評估得分作為專家遴選的主要依據，形成專家誠信體系建設的良性循環。

3.3 完善專家評審過程的組織工作

完善評審過程組織工作。保證評審工作過程的公平、公正、公開。在專家評審前，認真審查評審專家資格，嚴格執行專家回避制度，避免項目申請者與評審專家發生利益沖突。健全專家遴選辦法，為項目匹配最合適的評審專家。在專家評審過程中，嚴格執行保密規范，嚴格要求參加評審的工作人員，避免評審信息泄露。評審工作結束后，客觀公正地匯總評審結果，將專家評審意見反饋給項目申請者。

4 結語

通過對天津市科技計劃項目評審實證研究可以看出，同行評議中絕大多數專家能夠按照評審要求，認真負責地完成項目評審，專家評審效果較好，專家評審結果與項目完成情況一致性高，說明同行評議是一種比較科學、可靠的科研項目評價方法。特別是多次參加評審的專家的各項反評估指標明顯高于其他專家，說明這部分專家的學術水平較高、科研誠信好，應該充分利用好這部分專家資源，特別是用于重大科研項目的評價工作。

但是，在研究過程可以看出專家反評估方法本身具有一定的局限性，只能作為反映專家評審能力的一個參考，不能作為判斷專家評審能力的標準。在實際操作中應該結合專家誠信檔案，以事實為依據，嚴肅、客觀地對專家評審能力進行評價。■

[1]中國人民共和國科學技術部[EB/OL].http://www.most.gov.cn/kjgh/.

[2]人民網[EB/OL].http://scitech.people.com.cn.

[3]劉魯寧.科技項目同行評議體系反評估模型分析與設計[D].哈爾濱：哈爾濱工業大學，2007.

[4]毛莉莉.論同行評議的公平、公正原則[D].上海：東華大學，2007.

[5]趙黎明，徐孝涵，張衛東.對同行評議專家的反評估分析[J].中國科學基金，1995（7）：66-70.

[6]鄭稱德.同行評議專家工作業績測評及其模型研究[J].科研管理，2002，23（2）：43-47.

[7]王成紅，何杰，劉克，等.關于同行評議專家定量評估指標研究的幾個新結果[J].系統工程理論與實踐，2004（2）：83-90.

[8]張艷，江志斌.重大建設項目評審專家遴選指標體系研究[J]，理論探討，2004（12）：9-11.

[9]Mohammadreza Hojat.Impartial Judgment by the“Gatekeepers”of Science:Fallibility and Accountability in the Peer Review Process[J].Advances in Health Sciences Education，2003（3）：75-96.