高?？蒲锌冃гu價方法比較

□文/馬世猛 時 偉 陳 敏

（石家莊學院 河北·石家莊）

目前，科學研究活動已成為各個國家、地區、組織以及個人的重要活動，對科研績效如何進行評價則成為大家關心的問題。本文結合國內外研究成果，對科研績效的評價方法進行系統研究，探討各種方法的適用特點。

一、同行評議法

同行評議法，是通過同行業的專家進行評價的定性的方法。它經過不斷的發展和完善，已成為科研評價方法的主要方法之一。

（一）同行專家的選擇。在實際應用時，最關鍵也最困難的一環是同行專家的選擇。隨著科學發展的深入和細化，科學研究的領域越來越專深，研究領域的劃分越來越細，真正的同行似乎越來越少；而另一方面，科學發展的綜合化趨勢也在加強，學科交叉和滲透越來越普遍。一項科學研究常常需要多學科的知識，要找出具有與研究課題相對應的知識結構的同行專家也很難。因此，在選擇同行專家時，應考慮被評價對象所涉及的專業、研究領域等具體方面，要求同行專家人數要不低于五人，與被評價對象專業相同且研究領域相同或相近，在其科學技術領域和相關領域的研究發展態勢有相當了解，對學科前沿有深刻的認識，有較高的業務水平和思想素質。

（二）同行專家評議形式與特點

1、通信評議。即評價機構把評估材料通過信件或者網絡寄送給評議專家，專家獨立做出書面判斷，然后將評議意見反饋給評價機構。其主要優點是匿名性和保密性好，可以避免人情干擾；專家考慮時間充裕，意見表達充分，無從眾心理和權威主義的干擾；開支少，成本低。主要缺點是不能對所有申請對象作比較；無法與申請人和其他同行交流；回收率無法保證；評審周期長，不利于及時決策。因此，它適用于所有的科研項目評審，也適用于文獻形式的科研成果鑒定。

2、會議評議。即專家組評議，指評價機構事先把相關材料寄送給評議專家，并請專家按指定的時間和地點參加專家評審會，通過討論和交流，形成集體評審意見。其主要優點是專家意見可以得到充分交流和討論；同類的評議對象可以集中評議，效率高；必要時評議對象可以現場答辯和申訴；評審周期短，有利于及時決策。主要缺點是“從眾心理”和權威的壓力可能影響會議的民主；專家彼此見面，保密性相對減弱；評議費用較高；有的專家可能不能在指定時間、地點出席，從而影響代表性。它較適用于項目的集中評審、重大項目和有爭議項目的評審。

3、調查評議。如果評價機構組織專家到現場調查、了解，然后給出評價意見。其主要優點是可以實地調查、現場評議，客觀性強；主要缺點是需要花費較多時間和費用，成本較高。它適用于研究機構的評估和資金投入較大的重大研究項目的評審。

4、組合評議。就是根據評價工作的需要，將上述三種方法中的某幾種組合起來進行評價的方法。

二、德爾菲法

德爾菲法是評價機構針對特定問題，采用專家匿名發表意見的方式，專家之間不得互相討論，不發生橫向聯系，只能與調查人員發生關系，通過多輪次調查專家對問卷所提問題的看法，經過反復征詢、反饋、修改和歸納，最后匯總成專家基本一致的看法，作為專家調查的結果。它作為一種主觀、定性的方法，可以有效地消除成員間的相互影響，可以充分發揮專家們的智慧、知識和經驗，在科研評價以及各種評價指標體系指標權重的設置等工作中有廣泛的應用。

（一）德爾菲法問卷設計。在第一輪調查開始時，設計專家調查表是一件非常重要的事情。專家調查表設計的好壞，直接關系著調查結果的優劣。在制定調查表時，應該注意以下幾點：1、對德爾菲法做出簡要說明。在調查表的前面，應該簡要說明調查背景和目的、專家在調查中所起的作用，以便使專家全面了解情況。此外，對德爾菲法的程序和規則也應作簡要說明；2、背景材料要全面而精煉。背景材料一般多是客觀事實，且應該與問題及目標密切相關，以有利于專家做出判斷；3、問題要有針對性，要由淺入深，從易到難，使專家容易接受；4、每個句子所含的問題要單一，避免組合問題；5、用詞要確切。所列問題應該明確，含義不能模糊；6、調查表要簡潔明了。調查表應有助于專家迅速理解問題，做出評價；7、問題數量不應該太多。如果對問題只要求做出簡單回答，問題的數量可適當多些；如果問題比較復雜，則數量可以少些。一般認為，問題的數量上限以25個為宜。

（二）德爾菲法的數據處理。德爾菲法用于科研評價一般是請專家對不同指標或者研究項目確定權重或者等級，相應的量化方法也可以分為兩種：一種是量化打分，一種是等級打分。在對不同專家的數據進行處理時，如果組織者對專家情況較為了解，可以根據專家對評價對象的了解情況對不同專家的數據人工確定不同權重；也可以在發送問卷的同時發送專家調查表，根據返回的信息確定權重；也可以對所有專家采取相同權重。調查問卷回收后常常需要用統計方法對專家的打分結果進行處理。一般來說，用來總結和描述專家意見的常用統計量有秩和、均值、眾數、中位數、上四分位數和下四分位數等。

（三）德爾菲法的適用范圍。由于德爾菲法具有集思廣益，發揮專家優點，使專家既可吸取其他專家的意見，進行修正，又不受權威影響，結果宜合理。同時，德爾菲法的主要缺點是過程比較復雜，征詢意見的時間較長。因此，德爾菲法更適合周期較長的大型評價項目的咨詢，而很難滿足一些評價周期較短、需要較快得出判斷結論的科研評價活動的要求。

三、文獻計量法

文獻計量方法是指利用出版物、專利、引文等科技績效指標進行科研評價的一種定量評價方法，主要包括論文、著作、學術報告、引文、課題、專利等。其中，論文和引文是較為常用的計量指標，這兩項指標易于統計和核實，因而受到了研究者和科研管理部門的普遍青睞。論文和引文指標分析的常用數據源是：美國科學信息研究所的科學引文索引（SCI）數據庫、社會科學引文索引（SSCI）數據庫、科技會議錄索引（ISTP）數據庫與科學評論索引（ISR）。SCI主要針對基礎科學；SSCI主要針對不同國家和地區的社會科學期刊和論文；ISTP主要針對的是國際會議論文。美國工程信息公司的工程引文索引（EI）數據庫，主要針對的是機械、制造、土木、冶金、材料等工程技術領域。ISR主要針對的是綜述評論方面的論文。

我國國內論文和引文的常用統計源有中國科技信息研究所研制的“中國科技論文統計與引文分析數據庫”（CSTPC）、中國科學院文獻情報中心的中國科學引文數據庫（CSCD）、南京大學的中國社會科學引文索引（CSSCI）和中國社會科學院文獻情報中心研制的中國人文社會科學引文數據庫等。

在科研績效評價中，對文獻計量指標的量化分析也是非常重要的，一些常用計量指標有：1、引文量：指引用文獻所擁有的被引文獻的數量。它是研究文獻被利用的程度和廣度的重要參量；2、被引頻次：指特定文獻或者某評價對象（可以是科研人員、學術期刊、研究機構甚至特定地區和國家）所生產的文獻在某一時間段的被引次數；3、即年指標：是指文章發表當年期刊的平均被引用數。它是衡量一種期刊被其他期刊引用速度的指標；4、影響因子：是一種期刊論文的平均被引率；5、學科影響因子：學科影響因子與影響因子的計算方法類似，不同的是，影響因子是測度某一給定期刊中論文的平均被引次數，而學科影響因子則是測度某刊中論文被某一學科的核心期刊所引用的平均次數。

雖然文獻計量指標的確可以用于科研評價的各個層次，但在不同層次、不同目的的評價中，對文獻計量指標的使用方式應該是有嚴格區分的。具體說來，在國家、地區科研狀況評估等宏觀評價活動中，文獻計量指標和方法可以作為主要的評價手段，并輔之以專家的定性分析；在諸如科研人員評價等微觀評價中，文獻計量指標和方法則只能作為輔助手段，而應該以同行評議為主。

四、綜合評價法

綜合評價法又稱系統評價法，是將評價對象看作一個系統，對該對象的屬性的多個指標進行評價，從而得出該評價對象的整體結果。在科研績效評價中，由于評價對象的復雜性，層面的多樣性，單一的指標很難體現評價對象的整體情況，因此綜合評價法更有其優勢。

（一）層次分析法。它是把一個復雜問題分解成若干組成因素，并按支配關系形成層次結構，然后應用兩兩比較的方法確定各因素（包括指標和方案）的相對重要性，然后計算各因素的權重，并以此為基礎實現對不同決策方案的排序。層次分析法簡便、靈活而又實用，是一種系統化、層次化的分析方法，它為復雜評價問題的決策和排序提供了一種簡潔實用的建模方法。

（二）模糊評價法。它是通過建立隸屬函數、模糊關系矩陣，可以較好地解決系統評價中由于對象概念本身不夠清晰引起的模糊性問題（如事物類屬間的不清晰性，評價專家認識上的模糊性等），是對涉及模糊因素的對象進行系統評價的有力工具。它的基本思想是：應用模糊關系合成的原理，根據多個因素對被評價對象本身存在的性態或類屬上的亦此亦彼性，從數量上對其所屬程度給予刻畫和描述。該方法適用于樣本數據中含大量模糊指標的現象的評價，不足之處是評價過程本身不能解決評價指標間相關造成的評價信息重復問題。

（三）主成分分析法。它是利用多元統計分析及線性代數的知識，把多指標轉化為少數幾個綜合指標的一種數理統計方法。其基本思想是用少數幾個彼此不相關的新指標代替原來為數較多的彼此有一定相關關系的指標。同時又盡可能多地反映原來指標的信息量。作為一種定量分析方法，主成分分析克服了專家評價法、層次分析法等定性方法因受到人為因素的影響，夸大或降低某些指標的作用的弊端；消除評價指標之間的相關性；減少指標選擇的工作量；采用信息量權數，有助于客觀地反映樣本間的現實關系。但由于同一被評價對象在不同樣本集合中的均值和離散程度不同，所以這種方法綜合評價結果不穩定。

（四）數據包絡分析法。它是一種進行多目標決策的系統分析方法，特別適用于多輸入多輸出的復雜系統。DEA方法以相對效率概念為基礎，以凸分析和線形規劃為工具的一種評價方法，應用數學規劃模型計算、比較決策單元之間的相對效率，對評價對象做出評價，它能充分考慮對于決策單元本身最優的投入產出方案，因而能夠更理想地反映評價對象自身的信息和特點；同時對于評價復雜系統的多投入多產出分析具有獨到之處，適用于多輸出-多輸入的有效性綜合評價問題，在處理多輸出-多輸入的有效性評價方面具有絕對優勢。DEA方法并不直接對數據進行綜合評價，因此決策單元的最優效率指標與投入指標值及產出指標值的量綱選取無關，應用DEA方法建立模型前無須對數據進行無量綱化處理。

［1］張蕾.高?？蒲锌冃гu價方法研究與開發.南京理工大學，2010.

［2］劉莉.歐洲各國大學科研評價及其啟示.高教管理，2005.

［3］陳敬全.科研評價方法與實證研究.武漢大學博士學位論文，2004.