哲學社會科學學術(shù)成果評價方法的比較研究

摘要：哲學社會科學的學術(shù)成果評價是廣受關(guān)注的難題。在哲學社會科學學術(shù)成果評價中經(jīng)常使用的三大類方法，分別是同行評議法、引文分析法和指標綜合評價法。本文比較詳盡地列出了各種方法的資源、思想和適用范圍，以及在國際學術(shù)環(huán)境和在中國的應(yīng)用情形，并進行了比較研究．提出了我國社會科學成果評價的方法采納與取舍原則。

關(guān)鍵詞：哲學社會科學；評價方法；同行評議；計量方法；指標綜合評價

中圖分類號：C05 文獻標識碼：A 文章編號：1003—1502(2007)01-0108—06

一、引言

社會科學研究成果評價是社會科學科研管理的重要環(huán)節(jié)，也是一個難題。近年來，哲學社會科學得到了迅猛發(fā)展，隨著學科之間的滲透、交叉與融合的不斷加強，對哲學社會科學成果的評價越來越要求從重數(shù)量向重質(zhì)量、從重過程向重結(jié)果、從重靜態(tài)評估向重動態(tài)評估轉(zhuǎn)變。由于社會科學研究成果的預(yù)測性和超前性、社會效益的滯后性、實踐檢驗的不普遍性和間接性，它與自然科學研究成果在評價的客觀性方面存在著較大差異。目前，在理論與實務(wù)界，許多研究者對此難題作過各種角度的研究。本文較全面地對幾種主要評價方法進行評述，討論各自的特點和適用范圍，從國際視野進行比較研究。在此基礎(chǔ)上提出正確選擇和運用評價方法的建議，在力求完善評價體系理論與方法的同時，為研究和運用者科學地選擇評價方法提供參考。

經(jīng)過對將近二十年來的研究結(jié)果的甄別，關(guān)于成果評價方法，大致可分為三類，即定性評估、定量評估及定性與定量相結(jié)合的評估。這三類方法的主要實踐形式即同行評議、引文分析和文摘法、綜合評估法。所謂綜合評估是以定量為目標，將定性因素融合于評價指標體系當中，按一定的方法和程序計算出定量的結(jié)果。

二、定性評價——同行評議

(一)同行評議的內(nèi)涵

同行評議、同行咨詢、同行評估、同行審查、專家鑒定等等，國內(nèi)外都統(tǒng)稱為同行評議，其實質(zhì)是針對某一領(lǐng)域的學術(shù)研究成果，組織該領(lǐng)域或與該領(lǐng)域相近的專家進行評價的活動。

(二)同行評議在國外社會科學組織中的運用

同行評議在美國的使用可以追溯到19世紀。美國國家科學基金會(The National Science Foundation，簡稱NSF)是世界上最早大規(guī)模采用同行評議方法支持科學活動的政府資助機構(gòu)之一。NSF支持的一個分支領(lǐng)域就是“社會、行為、經(jīng)濟學”，包含了大部分社會科學領(lǐng)域。NSF實行決策與執(zhí)行相分離并相互制衡的組織形式，對項目申請的評議有三種方式：通信評議、會議評審、函評加會評。NSF的中心電子專家?guī)旒s有295000名評議人。NSF對評議人的要求是：在所評議的領(lǐng)域具有專長；沒有利益沖突；客觀公正；在學術(shù)生涯的不同階段、在研究機構(gòu)的不同類型和地域分布、在研究及研究人員的多樣性等方面平衡分布。

德意志聯(lián)合研究會(German Research Founda—tion，簡稱DFG)是涵蓋科學和人文學科的基金會，同行評議系統(tǒng)的主體是選舉產(chǎn)生的評議委員會，評議委員會的成員從眾多科學學會推薦的人選中選舉產(chǎn)生，只考慮學術(shù)上的領(lǐng)先水平，這種選舉的方式使得同行評議系統(tǒng)具有很高的權(quán)威性。

英國的人文與藝術(shù)基金會(Art＆Humanities Re-search Council，簡稱AHRC)成立于2005年，忠實執(zhí)行同行評議，并視為所有資金投放的決策依據(jù)。擁有15個評議組、超過500人的專家隊伍，并且在2004年先成立了一個同行評議協(xié)會。在2005年夏天基金會對評議協(xié)會和評議組的工作效率與效力也作了問卷調(diào)查和統(tǒng)計分析，包括各個評議組的表現(xiàn)、評議專家的表現(xiàn)和基金會官員收集意見的經(jīng)驗，意在完善同行評議的過程。

加拿大的社會科學與人文基金會(The Social Sci-ences and Humanities Research Council 0f Canada．簡稱SSHRC)成立于1977年，獨立、全國范圍的同行評議是基金會認為最有價值的評審方法，每年有4600名本土和外埠專家參與書面評估申請書，6個顧問委員會把握基金會的方向并設(shè)立指南。 歐洲科學基金會(The European Science Founda-tlon，簡稱ESF)包括18個人文學科領(lǐng)域和15個社會科學領(lǐng)域。簡稱ESF共包括78個科學組織，分別來自30個歐洲國家，在整個歐洲范圍內(nèi)組織完成同行評議工作。

(三)同行評議在中國社會科學研究評價中的應(yīng)用

中國國家社科基金項目實行同行專家評審制，設(shè)立評審專家?guī)欤磳W科劃分為學科評審組，屆時抽取一定數(shù)量的成員參加會議評審，對同行評議專家實施信譽制管理。

《中國高校人文社會科學研究優(yōu)秀成果獎勵暫行辦法》中提到，獎勵委員會根據(jù)需要設(shè)立若干學科專家評審組，負責從通訊評審結(jié)果中篩選優(yōu)秀成果，評定優(yōu)秀成果的獎勵等級。

一些省市地區(qū)在地方社會科學基金和成果獎勵等工作中，采用以同行評議為主的評價方法。教育部、科技部、各級政府采購部門等等，都建立了專家?guī)?，對各個領(lǐng)域的專家信息，進行登記、整理、歸類，統(tǒng)一管理形成專家?guī)臁?/p>

(四)對同行評議制度的評議

同行評議制度在推動科學研究方面起了重要的作用。但是，也有不少研究者指出這一評價方法的局限性：

1．保守性。在科學研究中，最具開創(chuàng)性的工作都是突破現(xiàn)有常規(guī)思維的工作。很可能被局限于常規(guī)思維的評議專家否定。

2 主觀性。同行評議的過程是評議專家個人意見表述的過程，專家個人的世界觀、學識、年齡、心理素質(zhì)、修養(yǎng)等因素都會對評議過程和結(jié)果產(chǎn)生一定程度的影響。

3．非同行現(xiàn)象。同行評議要求參加評審的專家應(yīng)當掌握有關(guān)專業(yè)的語言、方法和動態(tài)，并且熟悉相關(guān)的資料文獻，有能力對評價對象的價值作出公允的判斷。但是在學科高度細分和廣泛交叉的情況下，尋找真正的同行是困難的，評議中偏差就不可避免了。

4．難以達到的假設(shè)。同行評議假定評議人是誠實、公正的，然而，那些不夠誠實公正的評議人則有條件利用他們的特殊地位為己謀利，包括剽竊與利益交換。

5．馬太效應(yīng)。專家的名望增加其參與同行評議的機會，因此，機會不均帶來評審的不公。

為了改進這一制度，科學界做了許多努力，改進的思路主要是對評價程序上的各個環(huán)節(jié)加強控制，以減少評議人主觀因素對評議結(jié)果客觀性的影響。學術(shù)評價的實踐說明，這些方法或手段在有些情況下是有效的，但在有些情況下無效。由此，國內(nèi)近年來有一種趨勢，評價過程大量依賴科學計量信息。

三、計量評價方法——引文分析、文摘法

文獻計量法用于定量評價成果的價值和影響力。計量指標有：①學術(shù)論著的公開發(fā)表與出版及出版物級別以及期刊的影響因子；②學術(shù)論著的傳播與反響程度(被轉(zhuǎn)載、摘錄，被權(quán)威檢索工具收錄情況)；③學術(shù)論著的被引用(或應(yīng)用)與被(綜述文獻、權(quán)威評論刊物)評論量，對該指標的統(tǒng)計即引文分析，一般以被引頻次為具體評價指標。這三個指標的重要性依次增加。

(一)引文分析法

引文分析法是對專業(yè)人員論著之間的引用與被引用的現(xiàn)象進行統(tǒng)計、歸納、比較、抽象、概括等分析，以揭示知識信息內(nèi)容的繼承和利用．標志著學術(shù)研究的進展，是在對學術(shù)成果進行評價的方法中影響最大的方法。

隨著計算機技術(shù)的發(fā)展．大型引文文獻數(shù)據(jù)庫逐漸建立起來，一經(jīng)推出，立即引起了人們的廣泛關(guān)注，一些文獻計量學、科學計量學、科學管理學研究逐漸開展起來。引文分析法具有更大的視野和更完備的信息基礎(chǔ)。

1．國際信息庫

20世紀50年代，美國著名科學計量學家加菲爾德系統(tǒng)地提出了以引文索引來檢索和評價文獻的方案。《社會科學引文索引》(Social Sciences Citation In-dex，簡稱SSCI)和《藝術(shù)和人文學科引文索引》(ArtsHumanities Citation Index，簡稱AHCI)是美國科學情報研究所(IsI)繼科學引文索引(Sciences Citation In-dex，簡稱SCI)創(chuàng)立后編輯的另外兩種大型綜合檢索工具，是目前國際上普遍使用，旨在記錄和反映期刊中社科和人文文獻的收錄和引證關(guān)系的檢索工具。SSCI目前收錄了3300余種社會科學刊物，其范圍幾乎涵蓋了50個社科領(lǐng)域的學科，在世界范圍內(nèi)有較大的影響?！镀诳脠蟾妗?Journal Citation Re-ports，簡稱JCR)，是ISI編制出版的評價期刊的重要工具。JCR每年對ISI收錄期刊之間的引用和被引用數(shù)據(jù)進行統(tǒng)計分析，并針對每種期刊定義了“影響因子”等指標加以報道。JCR有兩個版本：一是自然科學版，二是社會科學版。

2．中國的引文分析成果

有研究者總結(jié)目前國內(nèi)比較權(quán)威的期刊評價系統(tǒng)主要有以下六種㈣：中國科學引文數(shù)據(jù)庫CSCD，中文社會科學引文索引CSSCI，中文核心期刊要目總覽GCJC，中國科技論文與引文分析數(shù)據(jù)庫CSTPCD，中國人文社會科學引文數(shù)據(jù)庫CHSSC，中國學術(shù)期刊綜合引證報告CAJ-CCR。其中CSCD和CSSCl影響最大，共同構(gòu)成了我國中文學術(shù)論文引文系統(tǒng)，成為我國學術(shù)研究成果評價的定量工具。

CSCD于1989年創(chuàng)建，經(jīng)過多年的數(shù)據(jù)積累，CSCD已發(fā)展成為我國規(guī)模最大、最具權(quán)威性的科學引文索引數(shù)據(jù)庫——中國的SCI，為我國科學文獻計量和引文分析研究提供了強大工具。社會科學研究評價在1998年也有了新的突破，南京大學“中國社會科學研究評價中心”，承擔教育部研制開發(fā)《中文社會科學引文索引》(CSSCI)的重大項目，參照SCI開發(fā)CSS-cI。CSSCI在來源期刊的篩選標準、原則等方面都是與國際接軌的，強調(diào)定性與定量，即專家意見與引文數(shù)據(jù)相結(jié)合的評價方法。因此它提供的數(shù)據(jù)在進行成果評價時，有著較大的借鑒意義和價值。CSSCI的意義不僅在于它“可以提供多途徑的檢索渠道，實現(xiàn)查新功能．重要的是它通過文獻計量指標的排序和比較，為社會科學管理部門從宏觀到微觀、從不同角度管理和評價社會科學成果提供了可以操作的定量手段”。CSSCI在國內(nèi)尤其是高校的影響和使用日益廣泛，已成為評價社會科學研究實力的主要指標。

我們特別注意到，葉繼元提出引文分析法既是定性評價法(同行評議)，又是定量評價法。因為成果被引用的前提是同學科的專業(yè)人員要閱讀，且認為它有價值，這實際上就是大同行評議，爾后又能計算出被評價的次數(shù)，這又是定量評價㈣。但是由于我國的引文制度還不規(guī)范、錯引、漏引等現(xiàn)象比較常見，引文格式也不規(guī)范，所以在進行評價的時候，如果將引文分析作為唯一的指標，對學術(shù)評價可能是有失公允的。

(二)文摘法

文摘標識是以社會科學領(lǐng)域著名的、帶有權(quán)威性的轉(zhuǎn)錄刊物、文摘和題錄刊物收錄情況作為衡量社會科學研究成果價值和質(zhì)量的一個重要標識。社科文獻摘錄方式主要有全文轉(zhuǎn)載式、全文摘載式、內(nèi)容摘要式和文獻題錄式四種。

全文轉(zhuǎn)載式是從大量社會科學論文中選擇出若干質(zhì)量高、學術(shù)價值或?qū)嵺`意義重大的重點論文，不作任何壓縮而匯集出版發(fā)行。在我國，全文轉(zhuǎn)載刊物目前主要是中國人民大學《復印報刊資料》和《中國跨世紀戰(zhàn)略文獻》等。

全文摘載式是從大量社會科學論文中選擇出若干學術(shù)價值和實踐意義重大的重點論文，不改變原文結(jié)構(gòu)，只進行少量文字壓縮后匯集出版。全文摘載式的文獻有《新華文摘》中的主體部分．《中國經(jīng)濟文庫》、《中國圖書情報工作文庫》等。

內(nèi)容摘要式包括指示性文摘、報道性文摘和聚焦文摘等三種形式。被做成內(nèi)容摘要后由文摘刊物收錄的文獻具有某些獨到之處，包含有一些新的觀點、新的理論或新的方法。在我國，這類專業(yè)性文摘刊物較多，收入《新華文摘》“論點摘編”中的文獻也屬此類。

題錄是對文獻的題名、著者、出版者、出版時間等外形特征的描述與揭示，通常以專門的題錄刊物加以匯集排序、出版發(fā)行，也有些文獻題錄附于文獻集萃和文摘刊物之中，前者如《全國報刊索引》和某些專題索引，后者如中國人民大學《復印報刊資料》所附的文獻題錄、《新華文摘》中“報刊文章篇目輯覽”下的文獻題錄等。

1．國外社會科學文摘資源

劍橋科學文摘(cambridge Scientific Abstracts，CSA)包括60多個數(shù)據(jù)庫，覆蓋的學科范圍包括藝術(shù)與人文學科、自然科學、社會科學和技術(shù)。檢索結(jié)果為文獻的題錄文摘信息㈣。

2．國內(nèi)社會科學重要文摘資源

中國社會科學界比較重要的學術(shù)類轉(zhuǎn)摘刊物包括：《新華文摘》、《中國社會科學文摘》、《高等學校文科學報文摘》和中國人民大學《復印報刊資料》。

《中國社會科學文摘》是擇優(yōu)推介人文社會科學重要研究成果的文摘類期刊，強調(diào)學術(shù)品位，突出問題意識，倡導理論創(chuàng)新，兼及新知趣味。轉(zhuǎn)摘期刊發(fā)表的重要論文，并設(shè)有新書評介、學術(shù)動態(tài)等欄目。

《新華文摘》是大型的綜合性、學術(shù)性、資料性文摘半月刊，設(shè)有政治、法律、社會、哲學、經(jīng)濟、管理、歷史、文藝評論、教育、科學技術(shù)及讀書與傳媒、國外社會科學、論點摘編等欄目。

《復印報刊資料》收錄了歷年來，由專家學者精選、分類加工整理的學術(shù)文獻，匯集成以專業(yè)性、學術(shù)性為代表的百余種系列刊物。其信息資源涵蓋了人文科學和社會科學領(lǐng)域國內(nèi)公開出版的3000多種核心期刊和報刊。

《高等學校文科學報文摘》是哲學社會科學綜合性大型文摘刊物。運用單篇摘編、觀點綜述、學術(shù)動態(tài)、學術(shù)卡片、專題論文庫、學報專輯專欄等多種形式，從全國上千種高校文科學報、專業(yè)學術(shù)期刊以及社會學術(shù)報刊上介紹具有新觀點、新材料、新研究方法的文章以及近期高校較重大的學術(shù)活動。

3．文摘資源應(yīng)用于社會科學評價

婁策群撰文針對幾種文摘標識提出，在衡量被摘錄文獻價值時，可對其賦予權(quán)數(shù)，權(quán)數(shù)分配原則如下：

(1)用不同摘錄方式摘錄的文獻具有不同的質(zhì)量、不同的學術(shù)價值與實踐意義。

全文轉(zhuǎn)載式>全文摘載式>內(nèi)容摘要式>題錄。

(2)在題錄當中，被文獻集萃和文摘刊物作為附錄而以題錄形式收錄的文獻的重要性和價值>被專門題錄刊物收錄的文獻：

被國際性刊物收錄的文獻>被全國性刊物收錄的文獻>被地方性刊物收錄的文獻；

被綜合性刊物收錄的文獻>被專業(yè)性刊物收錄的文獻：

被非檢索性刊物收錄的文獻>被檢索性刊物收錄的文獻。

(三)對計量方法的應(yīng)用評價

計量分析方法的優(yōu)點是具有較強的科學性和客觀性，不受個人主觀因素干擾和其他非科學因素的影響，有助于規(guī)范評價行為。

其不足之處在于：成果統(tǒng)計有時間的滯后效應(yīng)，論文發(fā)表或著作出版后通常要等若干年才能驗證其真實價值，因此不可能及時對成果作出評價；計量分析指標只適用于已公開發(fā)表的學術(shù)論文、公開出版的著作等科研成果，對于那些不宜公開發(fā)表、但已被有關(guān)部門采用而且取得明顯經(jīng)濟社會效益的科研成果無能為力；此外，中國社會科學界的不規(guī)范會漏掉一些引用信息。使引文信息失真，難以保證其公平性。研究者提出，對引文索引提供的數(shù)據(jù)要具體分析。要區(qū)分自引和他引，是必要自引還是惡性自引，正面引用還是負面引用；而且存在爭鳴性論文易被引用并且引文較多的情況；信息量大的論文容易被引用，學術(shù)價值未必很高。

綜上所述，計量信息看似客觀，但是還有各種復雜情形需要區(qū)分。而區(qū)分的過程仍須由專家參加，因此，計量信息可以幫助專家，決不應(yīng)當代替專家進行評價。我們認為在當前中國的學術(shù)環(huán)境下，比較合理的做法是將計量方法引入同行評議，將被引頻次、被轉(zhuǎn)摘等客觀指標引入同行評議中，讓專家來駕馭和運用這些數(shù)據(jù)，最終結(jié)果由專家評議綜合各種因素給出。

四、指標綜合評價方法

指標評價法可以被視為同行評議制在應(yīng)用領(lǐng)域的進一步延伸。它以同行評議制為基礎(chǔ)，為同行專家提供一個可參照的標準體系．利于專家根據(jù)統(tǒng)一的標準做出評價。指標評價法一般都采用對指標進行量化處理的辦法，減少評價的主觀性，增強客觀性。

(一)指標評價方法簡介

指標評價法通常有三部分內(nèi)容：(1)指標體系；(2)指標的等級劃分及量化表征；(3)數(shù)學模型。通過數(shù)學模型，將不可比的指標建立起一種可以比較的聯(lián)系，綜合各個指標值形成一個量化結(jié)果來表達對成果評價的結(jié)論。

近年來，科研管理定量方法的發(fā)展趨勢是多指標、多層次綜合評估。從管理學的歷史角度看，多指標代表著評估方法～種新發(fā)展，使評估結(jié)果更符合現(xiàn)實狀況。已有文獻表明，實際應(yīng)用指標評價法在國外社會科學研究評價中非常少見，在國內(nèi)有大量的應(yīng)用領(lǐng)域，常用方法有：

1．層次分析法(AnalyticHierarchyPmcess，簡稱AHP)

美國運籌學家T．Lsaatv在20世紀70年代創(chuàng)立，是一種多目標多準則的決策方法，其綜合評價結(jié)果為各方案層指標的線性加權(quán)值。層次分析法是一種系統(tǒng)結(jié)構(gòu)分析方法，也是一種科學決策方法，把定性問題轉(zhuǎn)化為定量分析，把定性分析和定量分析結(jié)合起來，解決了單獨用定性分析或定量分析不能解決的問題。在應(yīng)用多準則多指標對科研成果進行綜合評價時，層次分析法顯示出比較明顯的優(yōu)越性。

2．模糊綜合評判法

模糊綜合評判法是利用模糊矩陣對科研成果進行同行評議，通過模糊矩陣復合運算，定量地描繪出科研成果優(yōu)劣的方法。這種方法適用于評價指標大多數(shù)為定性指標的評價系統(tǒng)，且要求同行專家對每個評價指標的內(nèi)涵有較高程度的認同。若評價系統(tǒng)中的大多數(shù)指標為定量指標時．用此方法就失去了其特有的優(yōu)勢。

3、灰色關(guān)聯(lián)分析法

灰色關(guān)聯(lián)分析是一種多因素統(tǒng)計分析方法，以各因素的樣本數(shù)據(jù)為依據(jù)用灰色關(guān)聯(lián)度來描述因素間關(guān)系的強弱、大小和次序。灰色關(guān)聯(lián)分析對數(shù)據(jù)要求較低且計算量小，便于廣泛應(yīng)用。該法分析的目的是揭示因素間關(guān)系的強弱，其操作對象是因素的時間序列，最終的結(jié)果表現(xiàn)為通過關(guān)聯(lián)度對各比較序列做出排序．由各樣本關(guān)聯(lián)度排出優(yōu)劣順序。

此外還有許多學者在研究各種方法的綜合應(yīng)用，以達到更趨客觀合理的評價效果。

(二)指標評價方法的應(yīng)用評價

指標綜合評價方法已經(jīng)得到了局部的應(yīng)用。這種方法將定量和定性、科學性和可行性、模糊和精確結(jié)合在了一起，可以兼顧各個方面的因素，為哲學社會科學成果的評價提供了一種有益的方法。將量化的方法有效地引入學術(shù)評價這一特殊的“質(zhì)量管理”體系中來．可以預(yù)見這種方法將會在學術(shù)評價中得到發(fā)展和完善，并將得到進一步的應(yīng)用。

五、結(jié)束語

科研成果的評價可以說是世界難題，綜覽近二十年的相關(guān)文獻，同行評議制度仍然是學界認同的主流方法，盡管也存在許多的缺陷和問題。由于自然科學與人文社會科學研究之間存在著巨大的差異，相比較而言在自然科學領(lǐng)域研究成果的客觀性較強，認同性較高，同行評議與科學計量的結(jié)果可能一致性較高。然而，在人文社會科學領(lǐng)域，對學術(shù)成果進行同行評議就顯得非常重要了，這不單純涉及成果檢驗的客觀真理性問題，還牽扯到學術(shù)研究多元化的問題。

同時，計量方法在近年的研究中有許多新成果，各級部門在資金、立項等環(huán)節(jié)都給予了支持，這反映了中國在社會科學研究上走向世界的趨勢。事實上，引文分析法在本質(zhì)上是與同行評議內(nèi)在關(guān)聯(lián)的。經(jīng)驗表明，在同行評議過程中充分參考定量評估的信息，既發(fā)揮了專家評價的特殊優(yōu)勢，又克服了同行評議的主觀性和不確定性，既利用定量評估的客觀性特點，又避免定量評估疏于質(zhì)量指標的缺陷，因而有重要意義。

指標綜合評價方法是管理部門和方法論專家孜孜以求的方法創(chuàng)新，力求控制同行評議的非理性，并且擺脫科學計量的非彈性。

在我國人文社科界，由于學術(shù)規(guī)范和評價制度遠落后于國外，因此同行評議遭到更多的質(zhì)疑。定性與定量評價在一定的條件下均有其合理的因素及不足，應(yīng)將定性與定量評價密切結(jié)合，取長補短，才是目前最適宜采用的方法。

責任編輯：翟 祎

(注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。)