社會科學研究成果綜合評價方法研究

摘要：社會科學研究成果評價是社會科學科研管理的重要環節，也是一個廣受關注的難題。現行的評價方法主要有同行評議法、引文分析法和綜合評價法三類。文章在對這三類方法進行了比較分析后，著重對綜合評價法進行了深入探討和研究。分別對指標綜合評價的四個環節，即指標體系的建立、權重的確定、指標分值的獲得和組合評價方法，進行了綜合評價思路的闡述，并提出了社會科學研究成果綜合評價方法體系的雛形。以期對社科研究成果評價的研究和應用有所啟發和幫助。關鍵詞：社會科學研究成果評價；同行評議法；引文分析法；綜合評價法中圖分類號：C03

文獻標志碼：A

文章編號：1008-5831(2010)01-0110-05

一、社會科學研究成果評價的必要性與價值性

社會科學研究成果是人們在研究和探索各種人類社會現象的本質及其發展規律的實踐過程中創造出來的具有一定學術價值、社會效益或經濟效益的精神產品，是社會科學工作者聰明才智的結晶。它主要是以文獻為知識載體(包括學術專著、期刊論文、譯著、研究報告等成果形式)進行信息交流和傳播的。與自然科學研究成果相比，既具有客觀規律性研究的相同點，又具有表現無形性、效益潛在性與作用公用性等獨特之處。這也在一定程度決定了社會科學成果評價與自然科學的不同，前者具有更強的復雜性和主觀性。

社會科學研究活動本身就是一種價值創造的過程。社會科學成果評價的實質就是采用特定的評價標準和評價方法對社會科學研究成果的一種價值判斷，也是對其所產生影響的評判、研究成本的測度及總價值的評價。就社會科學研究成果評價在科研管理中所處的地位來講，一方面它直接影響著科研規劃的制定、人才的培養和其他科研活動的開展，并起著強而有力的導向和激勵作用；另一方面它又直接影響著科研成果的轉化、應用，即社會影響和經濟效益的發揮。總之，社會科學的發展需要對科研成果進行評價，也只有建立正確適當的評價體系才能充分挖掘并體現出科研成果的價值。

二、評價方法的發展與比較

縱觀社會科學研究成果評價的發展，經歷了一個從同行學者之間的單一定性評議，到使用評價指標將定性評價與定量評價相結合，從較為單一的同行評議的評價方式，到同行評議與文獻計量分析多種評價方法互相補充的綜合評價演變過程。現行的成果評價方法，大致可分為三類，即定性評估、定量評估及定性與定量相結合的評估，它們的主要實踐形式有同行評議、引文分析和文摘法、指標綜合評估法等。

定性評估的典型方法是同行評議，也稱專家評議，是針對某一領域的學術研究成果，組織該領域或與該領域相近的專家進行評價的活動。由于同行專家對學科發展、研究力量等比較了解，并且具有豐富的專業智慧和經驗，他們能夠做出比較準確的判斷，尤其在指標難以量化或者資料難以收集的情況下，這種方法被更多的采用。但由于同行評議在評價過程中缺乏公認的評價標準，加上受諸多學術和非學術因素影響，致使同行評議的科學性和公正性受到越來越多的質疑與批判。盡管如此，同行專家評議在定性分析研究方法中仍具有不可替代的作用，是社科研究成果評價活動中最重要的方法之一。定量評估大致可分為兩類：一是定性指標量化法，即將成果的科學性、創新性、社會價值等定性指標在相對意義上轉化為數量化的指標。這種方法在一定程度上限制了評審專家的主觀因素的干擾，增強了評價結果的公正性，但是在實現指標數量化的完整性上具有較大難度，處理不當反而失去了原始評價的準確性。二是計量指標評價法，即根據發表科學論著的數量和引證次數，根據不同的評價要求采用對應的細化指標，運用綜合集成的方法求得分值，用以衡量科研機構和科學家的科研貢獻和學術水平所達到程度，典型的有引文分析法和文摘法兩種。引文分析法是對科學期刊、論文、著者等分析對象的引證與被引證現象進行統計、歸納、比較、抽象、概括等分析，以揭示知識信息內容的繼承和利用，標志著學術研究的進展，是對學術成果進行評價影響最大的方法。引文分析評價具有事實上的客觀性、數量上的可累積性、學科上的公平性、實踐上的易操作性。但是由于中國的引文制度還不規范，錯引、漏引、引文格式不當等現象比較常見，所以如果將引文分析作為唯一的評價指標，對學術成果可能是有失公允的。文摘法是以被二次文獻轉載頻率作為評價標準的一種方法，它作為一種對論文的科學水平進行間接評價的手段具有一定的理論基礎。文摘法操作性很強，在期刊評價中被廣泛運用和認可，但在科學性、通用性和時效性等方面卻有很大欠缺。

定性評價法和定量評價法各有優劣，各有其適用范圍，其局限性是很難甚至是無法消除的。社會科學研究成果評價的理論和實踐證明，要使成果評價結果具有更多的科學性、公正性與合理性，必須將二者有機結合，采用指標綜合評價法。它以同行評議制為基礎，為同行專家提供一個可參照的標準體系，利于專家根據統一的標準做出評價。綜合評價指標不僅包括學術界內部的評價，還涉及到成果的社會與經濟效益的評價；不僅采用同行評議方法對成果的直接指標進行評價，還采用信息計量方法對成果的間接指標進行定量評價。這種方法不僅是上述各種具體科研成果評價方法的綜合，而且是成果評價與成果推廣的綜合。筆者也是在這種“綜合”的觀點上提出了社會科學研究成果綜合評價方法體系。

三、綜合評價方法模型的提出與分析

綜合評價技術是通過對研究對象多個方面的數量或質量表現進行抽象和概括，以定量的形式評判研究對象的綜合優劣程度的一種統計分析方法。這類方法技術是利用一套指標體系，以全面的、綜合的觀點來研究社會經濟現象，避免了認識上的片面性和狹隘性，提高了評價的準確性。基于這種功能，綜合評價技術得到了廣泛的應用，已經滲人到社會經濟生活的各個領域，在自然科學和社會科學成果評價中也具有較為廣泛的應用。然而就目前情況而言，綜合評價技術的單一化現象頻現，導致了評價方法選擇的隨意性，進而影響了結論的可信度。蘇為華和陳驥也從評價主體、評價方法、評價的層次結構、評價的時間維度、評價的數據表現形式等方面就綜合評價技術的擴展進行了探討，提出了群組評價、組合評價、分層評價、動態評價以及區間數評價等方法。這對于綜合評價技術在社會科學成果評價中的應用提供了很大啟發。

在社會科學成果評價中，典型的綜合評價思路的應用是李志平先生從同行評議維、引文分析維、貨幣貢獻維與現實收益維四個維度所設計的高校社會科學成果四維評價模型。該模型從多個角度對社科成果的價值進行評判，同時柔和了同行評議法和引文分析法的應用，既體現了定性和定量評議相結合的思想，又體現了人文社會科學研究與社會需求相結合的觀念意識，是社科成果綜合評價的典范。筆者以該模型為楔子，在指標評價方法上引入綜合評價的思路，提出社科研究成果指標綜合評價的方法體系，如圖1所示。

(一)建立綜合指標體系

在綜合查閱文獻以及專家咨詢反饋意見的基礎上，本文將社會科學研究成果的綜合指標體系設置為五個主要部分，即學術水平、學術價值、社會價值、基礎投入與效益情況。針對不同類型的科研成果，可以對指標體系進行適當的調整。

社會科學研究成果的學術水平指標主要包括成果的先進性、創新性、科學性和出版發表層次等方面，其中創新程度是多數研究者最關注的一個指標之一。這一類指標是綜合性、定性層面的考察，在實施過程中有一定難度。科研成果的學術價值主要通過學術同行對已公開成果的引用或下載體現出來，在間接指標體系中可被分解為“被引用”和“被下載”兩個可測指標。社會價值主要通過公眾社會反響和成果采納部門的采納程度來反映，被分解為“社會反響”指標和“采納部門”指標，在直接定性評價體

系中則主要體現在成果評審或鑒定專家的定性評語措辭中。基礎投入指標包括研究者的研究基礎情況，如知識體系的更新與研究的連續性等，還包括科研項目的課題來源、資金與人力投入情況等。效益情況涉及了成果的推廣和轉化以及轉化之后所帶來的經濟效益兩個方面的評價，同時也可以與基礎投入做比較，進行投入產出的分析。這五大指標既相互獨立又具有密切的聯系。科研項目的基礎投入在一定程度上也就決定了成果的學術水平，從而也就有相應的學術價值。而社會價值與效益程度也是以前面的指標組成為前提的。這一綜合指標體系的設計也體現了綜合評價思想的滲透。

(二)確定指標權重

科技成果評價中權重的確定有三大類方法，即主觀賦權法、客觀賦權法以及兩種方法的結合。主觀賦權法是由評價主體依據對評價客體各屬性或指標的主觀偏好程度而賦權的方法。它是首先采取定性的方法，由專家根據經驗進行主觀判斷而得到權數，然后再對指標進行綜合評價，主要包括層次分析法、功效系數法、模糊評價法、專家調查法等。客觀賦權法是由評價主體單純利用評價客體各屬性或指標提供的客觀信息而確定權重的方法。它是根據指標之間的相關關系或各項指標的變異系數來確定權數進行綜合評價，主要包括因子分析法、熵值法、聚類分析法、變異系數法、灰色關聯分析法、TOPSIS法、神經網絡分析法、判別分析法、路徑分析法等。在社會科學研究成果評價中采用較多的方法有層次分析法、模糊評價法、因子分析法、熵值法、組合客觀賦權法等，其中主觀賦權類方法研究比較成熟，可操作性也比較強，其應用更為普遍；但其主觀隨意性大。所得權重結果可能會與實際情況存在較大差異。因此，有些研究者采用主客觀組合賦權的方法來達到優勢互補的效果，使指標權重更加接近實際情況。

層次分析法作為一種多層次指標評價方法，是目前應用最多的賦權方法之一，對這種方法的研究也比較多，筆者在此不做詳細闡述。熵值法是一種典型的客觀賦權法，它是根據各指標傳輸給決策者的信息量的大小來確定指標權數的方法。某項評價指標的差異越大，熵值越小，該指標包含和傳輸的信息越多，相應權重就越大。有學者提出了基于路徑分析的方法來進行科技成果評價指標權重的確定。這也是一種客觀賦權法，它是通過分析變量間的因果關系，運用路徑圖找出合適的路徑模型，然后對其進行調試，從而確定路徑系數。路徑系數反映了原因變量對結果變量的直接影響，能夠從本質上說明變量的相對重要程度，歸一化后的路徑系數就是確定指標權重的依據。也有些學者試圖以組合賦權的方式來進一步優化指標的權重，例如因子分析法與熵值法的組合應用，變異系數法和距優平方和法組合賦權等。變異系數賦權法就是根據各個指標在所有被評價對象上觀測值的變異程度大小，來對其賦權。這種組合客觀賦權法不但能夠充分挖掘原始數據本身蘊涵的信息，克服專家調查法和層次分析法主觀性強、周期長的缺點，還能夠避免單一賦權法的片面性。客觀賦權法雖然排除了人為干擾，但其公認度還不是很高，在具體工作中，有時要參考主觀賦權法對客觀賦值的權重做出適當的調整，比如AHP(層次分析法)主觀賦權與熵值法賦權的結合就是一種很好的嘗試。總之，主客觀賦權法各有優劣，二者的結合將是綜合評價的發展方向，也是社科研究成果指標綜合評價方法體系的重要層面。

(三)獲得各項指標分值

評價指標分值的獲得同樣離不開綜合評價的思想。一般來講，對于涉及引文質量方面的指標，直接利用引文分析獲得各項得分；其他定量指標也可以通過深度的調查和數據分析獲取其數值得分。對于涉及定性評價的指標，則采用專家評議打分制。另外，社會科學研究成果的獨特性決定了引文分析等計量評價也是一種廣義的專家評議，看似客觀，但是各種復雜情形的區分仍須由專家參加，計量信息不能代替專家進行評價。當前比較合理的做法就是將計量方法引入專家評議，將被引頻次、被轉摘等客觀指標引入專家評議中，讓專家來駕馭和運用這些數據，最終結果由專家評議綜合各種因素給出。

由于專家評分的缺陷，就要求對專家評議的質量進行控制，也就是專家評議信度的確定。對此，國內外很多學者都進行了一些研究，Ramanathan R和Ganesh L s在假設專家之間相互熟識的基礎上，通過專家之間的互評來確定專家信度，國內也有學者通過建立專家權威性量化模型或者對專家的評估效果進行反評估等方法來考察專家評議的質量問題。當前，在科技成果評價中，應用較廣泛的是采用教育和心理測量技術中的信度系數來評價專家的可信度。專家評判的信度是指評判結果的準確程度或可信程度，表明信度大小的統計量叫做信度系數。系數越高，則說明該專家的打分結果越接近實際，應適當增加其打分的影響力度；反之，則打分結果越偏離實際，應降低其影響力度。也有學者采用一致性系數或者相關系數對專家評議質量進行測度，并驗證了其可操作性和實用價值。由于在科技成果評價中離不開專家評價這一基本環節，所以在評審過程中必須通過合理的方法來控制專家評審行為。依據專家信度的不同對他們的打分結果進行適當的加權匯總，力求指標分值的準確性。

(四)多方法組合評價

目前，在社會科學研究成果評價中所采用的方法很多，在進行方法選擇的時候也就有了極大的不確定性。通常在無法確認哪種評價方法最可行的前提下，對多種“可行”的評價方法進行組合可望產生一個更好的結果。對兩種或兩種以上的綜合評價結果(或評價技術)進行集成的技術，即為組合評價技術。在保證評價方法正確性和適用性的前提下，采用組合評價技術，往往可以盡量減少單一方法產生的偏差，有利于提高綜合評價結果的準確度。然而評價方法的組合也是有一定原則的。有學者提出采用一定的組合算法或者基于一定最優目標函數之下的合成模型來進行不同方法的組合，但都有一定的缺陷。蘇為華和陳驥提出一個組合思路是：把不同評價方法的評價結果轉化為具有相同數量級別的評價值(一般應該是采用線性變換)，然后直接合成(合成算法可以是直接平均或者基于一定的最優化目標函數導出相應合成模型)，最后據之做出排序或者分類評價。另外還要求參與組合評價的單一方法具有強有效性和弱共性的特點。具備了這些前提，才能保證組合評價在理論上的正確性，否則，組合后的評價結果與真實的評價結果之間的偏差可能會更大。

在社科研究成果評價中應用較為廣泛的評價方法有層次分析法(AHP)、數據包絡分析(DEA)、灰色關聯分析、TOPSIS方法(逼近理想解排序法)、人工神經網絡法以及模糊綜合評判法等。這些方法都有各自的適用范圍和評價特性，有的適用于定性評價，比如層次分析法、模糊綜合評判法；有的則適用于定量評價，如數據包絡法、灰色關聯法，人工神經網絡法等；也有的可以在定量與定性分析中同時使用，如TOPSIS方法。如果能綜合考慮這些方法的不同適用范圍和特性，使其優勢互補，這樣形成的評價方法將會有更加廣泛的適用性。通常層次分析法與模糊綜合評判、神經網絡法以及灰色評價法等都可以進行不同程度的集成，這些也是被經常運用到實踐中的組合評價策略。另外，還有模糊評價與人工神經網絡結合法，模糊評價與灰色關聯分析結合法，TOP-sIs法與人工神經網絡結合法，AHP、熵值法與模糊評判結合法以及遺傳算法與人工神經網絡相結合產生的動態評價方法等。各種組合評價方法的理論與實踐已成為綜合評價領域內的研究熱點，這也將是社科研究成果綜合評價方法的發展趨勢。

四、結束語

當前，無論是在自科研究成果評價還是在社科研究成果評價中，綜合評價的方法與理論已經越來越多地涌現m來，引起了很多研究者和評價實踐者的關注。本文在綜合評價觀點的基礎上提出了社會科學研究成果指標綜合評價方法體系。該體系涉及了建立指標體系、確定權重、獲得指標分值以及多方法組合評價四方面的綜合評價思路，雖然體系尚不成熟，但是對于社科研究成果的綜合評價將有所啟發。另外，現有對社科研究成果綜合評價的研究大多集中于評價的一個或兩個環節，而本文則從整個指標綜合評價體系的角度進行了綜合思路的闡述，在研究的廣度上有較大的延伸，具有一定的理論價值和應用價值。