教師科研業(yè)績：量化評(píng)價(jià)還是同行評(píng)議？
——以國外研究綜述為視角

方 寶

(廣西中醫(yī)藥大學(xué)， 廣西 南寧 530200)

當(dāng)前，世界各國特別是發(fā)達(dá)國家都十分重視對(duì)大學(xué)教師科研業(yè)績的評(píng)價(jià)，并制定了科學(xué)、系統(tǒng)的評(píng)價(jià)指標(biāo)體系和方法。早在上個(gè)世紀(jì)20年代，國外就有了對(duì)科研業(yè)績評(píng)價(jià)方面的專門研究，近幾十年來其研究的重點(diǎn)主要集中在量化評(píng)價(jià)技術(shù)與方法、同行評(píng)議機(jī)制、科研影響力評(píng)價(jià)等方面，并研發(fā)了諸多定量、定性或定量與定性相結(jié)合的評(píng)價(jià)技術(shù)和方法。總體上，而以文獻(xiàn)計(jì)量法為主要形式的定量評(píng)價(jià)與以同行評(píng)議為主的定性評(píng)價(jià)之間的優(yōu)劣論爭、科學(xué)性論辯及實(shí)證檢驗(yàn)等始終是其研究的重點(diǎn)內(nèi)容之一。

一、科研業(yè)績評(píng)價(jià)的常用量化方法

文獻(xiàn)計(jì)量學(xué)是綜合應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)和文獻(xiàn)學(xué)知識(shí)體系和方法來定量地分析一切知識(shí)載體的交叉科學(xué)。自文獻(xiàn)計(jì)量學(xué)誕生以來，國外對(duì)科研量化評(píng)價(jià)方法的研究熱情持續(xù)高漲，并取得較為豐碩的成果。

(一)數(shù)據(jù)包絡(luò)分析方法(DEA)

在量化評(píng)價(jià)研究方面，數(shù)據(jù)包絡(luò)分析方法(Data Envelopment Analysis， DEA)是其中研究比較多、技術(shù)相對(duì)成熟的一種方法。DEA方法和模型是由美國著名學(xué)者Charnes和Cooper于1978年提出。它是根據(jù)多個(gè)方面的多項(xiàng)投入與產(chǎn)出指標(biāo)，在線性規(guī)劃方法基礎(chǔ)上，對(duì)相同類型具有可比性的單位進(jìn)行有效性評(píng)價(jià)的一種定量分析方法。DEA方法在處理多指標(biāo)的復(fù)雜問題上具有絕對(duì)優(yōu)勢，因此被廣泛應(yīng)用于多個(gè)領(lǐng)域，并擁有較多的使用者。為了避免評(píng)價(jià)者對(duì)科研產(chǎn)出維度的傾向性影響其評(píng)價(jià)結(jié)果的客觀性，Witte和Rogge對(duì)傳統(tǒng)評(píng)價(jià)中的非參數(shù)DEA模型加以修改，構(gòu)制出一種可以集結(jié)多維度科研產(chǎn)出的評(píng)價(jià)方法[1]。與傳統(tǒng)方法相比，這種方法更具靈活性，可以減少由測量失誤和干擾因素所帶來的影響。

(二)H指數(shù)評(píng)價(jià)法

2005年，美國加利福尼亞大學(xué)圣地亞哥分校的物理學(xué)家希爾施(Hirsch)提出了H指數(shù)法[2]。該方法通過一個(gè)數(shù)字來展示有關(guān)研究者所發(fā)表成果的業(yè)績與影響力的信息(H代表的是研究者個(gè)人所有發(fā)表的成果中被引用次數(shù)最少成果的引用次數(shù))。H指數(shù)一經(jīng)提出后，就引起不少學(xué)者的興趣，其中最具影響力的代表性學(xué)者是Bornmann和Daniel[3]。Costas和Bordons則對(duì)H指數(shù)法應(yīng)用于科研評(píng)價(jià)中的優(yōu)勢、不足以及其在宏觀層面上與其他文獻(xiàn)計(jì)量指數(shù)的關(guān)聯(lián)等方面進(jìn)行研究[4]。直至今日，學(xué)者們對(duì)H指數(shù)法的相關(guān)研究依然興趣盎然，比如De Andre’s使用H指數(shù)法對(duì)不同科研領(lǐng)域評(píng)價(jià)結(jié)果的差異性進(jìn)行研究[5]，一些學(xué)者還從統(tǒng)計(jì)學(xué)的角度對(duì)H指數(shù)法進(jìn)行探究。

(三)引證分析法

論文或?qū)W術(shù)觀點(diǎn)被引證，可以在一定程度上說明論文的質(zhì)量，但是能否認(rèn)為被引證最多的論文，其質(zhì)量就是最好的呢？為了進(jìn)一步回答這個(gè)問題，Coupé對(duì)經(jīng)濟(jì)學(xué)和金融學(xué)期刊每年根據(jù)其領(lǐng)域內(nèi)所發(fā)表的文章質(zhì)量評(píng)選出的“最佳論文獎(jiǎng)”論文進(jìn)行了一個(gè)實(shí)證研究[6]。其研究表明，獲得“最佳論文獎(jiǎng)”的論文很少是被引證最多的論文，其中只有少量論文的被引率高于獲得“次佳論文獎(jiǎng)”的論文。此外，為了更好地理解論文引證數(shù)計(jì)算到底能在多大程度上說明什么問題，Bornmann和Daniel對(duì)學(xué)者們的論文引證行為進(jìn)行了文獻(xiàn)綜述研究[7]。Pendlebury則對(duì)期刊評(píng)價(jià)模型與引證指標(biāo)的使用與誤用問題進(jìn)行探討[8]。Leydesdorff和Bornmann對(duì)通過論文引證次數(shù)計(jì)算來確定期刊影響因子的做法，對(duì)不同研究領(lǐng)域期刊影響因子的不同影響程度等問題進(jìn)行研究[9]。Bornmann則對(duì)近幾年來應(yīng)用引證影響力來對(duì)科研機(jī)構(gòu)進(jìn)行科研評(píng)價(jià)所存在的一些問題進(jìn)行分析[10]。

二、量化評(píng)價(jià)方法的改進(jìn)性研究

一些研究表明，在宏觀層面(國家、科研機(jī)構(gòu))硬科學(xué)科研評(píng)價(jià)的實(shí)踐中，文獻(xiàn)計(jì)量方法比同行評(píng)議方法更具優(yōu)勢。比如，Abramo等人的研究發(fā)現(xiàn)，同行評(píng)議的結(jié)果與幾乎不花費(fèi)任何成本、依據(jù)直接關(guān)聯(lián)業(yè)績指標(biāo)或從網(wǎng)絡(luò)上獲取的指標(biāo)進(jìn)行文獻(xiàn)計(jì)量分析的排名結(jié)果，具有相當(dāng)?shù)囊恢滦曰蛲|(zhì)性[11]。量化評(píng)價(jià)具有的諸多優(yōu)勢使人們對(duì)量化評(píng)價(jià)的熱情有增無減，但量化評(píng)價(jià)所存在的一些弊端及其改進(jìn)研究也引發(fā)了學(xué)者們的較多關(guān)注。

(一)多變量隨機(jī)評(píng)價(jià)模式

文獻(xiàn)計(jì)量方法存在的缺陷是其對(duì)科研業(yè)績的評(píng)價(jià)只是一種概率性判定，而不是傳統(tǒng)方法上的絕對(duì)性判定。為了對(duì)此加以改進(jìn)，Abramo等人通過研究提出了一個(gè)“多變量隨機(jī)模式”(Multivariate Stochastic Model)的個(gè)人科研業(yè)績評(píng)價(jià)方式，并將基于這一方式的評(píng)價(jià)結(jié)果與傳統(tǒng)的絕對(duì)性評(píng)判的評(píng)價(jià)結(jié)果進(jìn)行比較[12]。他們的研究結(jié)果表明“多變量隨機(jī)模式”在實(shí)際的操作中可以成為替代傳統(tǒng)的絕對(duì)性評(píng)判模型的有效評(píng)價(jià)方式。同時(shí)，這種方式可以有效彌補(bǔ)文獻(xiàn)計(jì)量指標(biāo)方法所具有的受高隨機(jī)變量較大影響的不足。

(二)累計(jì)邏輯回歸模型

通過專家組來對(duì)科研團(tuán)隊(duì)進(jìn)行評(píng)價(jià)是很常見的事情。然而全國性評(píng)價(jià)、地方性評(píng)價(jià)等不同體系之下的評(píng)價(jià)方法，以及為滿足一個(gè)國家、地區(qū)或者機(jī)構(gòu)管理需求評(píng)價(jià)方法之間的觀念差異巨大，其給專家提供的借以評(píng)價(jià)信息的質(zhì)量也差異巨大。然而已有的相關(guān)研究大多數(shù)集中于分析評(píng)價(jià)分?jǐn)?shù)與文獻(xiàn)計(jì)量指標(biāo)之間的關(guān)聯(lián)性，很少有文章對(duì)信息提供的質(zhì)量問題進(jìn)行研究。因此，Engels等人建立了一個(gè)可以解釋科研團(tuán)隊(duì)質(zhì)量和科研產(chǎn)出評(píng)價(jià)的累計(jì)邏輯回歸模型(Cumulative Logistic Regressionmodels)。該模型認(rèn)為，團(tuán)隊(duì)科研質(zhì)量和產(chǎn)出的預(yù)測因素是團(tuán)隊(duì)大小、團(tuán)隊(duì)領(lǐng)袖的H指數(shù)以及團(tuán)隊(duì)在頂級(jí)刊物上發(fā)表論文的效率[13]。

(三)多標(biāo)準(zhǔn)識(shí)別評(píng)價(jià)模型

現(xiàn)實(shí)中，很多論文都探討如何科學(xué)地評(píng)價(jià)大學(xué)教師的科研產(chǎn)出，進(jìn)而用于教師的職務(wù)晉升和終身教職的任命；也有很多論文研究如何對(duì)市面上所存在的學(xué)術(shù)期刊進(jìn)行排名的問題。然而，對(duì)于如何更好地將期刊質(zhì)量、數(shù)量和作者的貢獻(xiàn)結(jié)合起來判斷一個(gè)教師的科研業(yè)績，人們?nèi)匀皇遣磺宄摹?duì)此，Bacon等人提出了一個(gè)識(shí)別研究標(biāo)準(zhǔn)和進(jìn)行科研業(yè)績評(píng)價(jià)的新工具[14]。其對(duì)一所大學(xué)進(jìn)行的實(shí)證研究結(jié)果表明，他們所提出的一個(gè)評(píng)價(jià)教師個(gè)體科研產(chǎn)出的數(shù)學(xué)模型與實(shí)際上的教師科研評(píng)價(jià)結(jié)果有驚人的相似性。他們希望通過對(duì)這個(gè)模式的應(yīng)用來提高評(píng)價(jià)的清晰度和客觀性。

(四)多維度科研評(píng)價(jià)模型

教師科研業(yè)績的評(píng)價(jià)模型繁多，但不同模型的適切性與側(cè)重性相對(duì)單一。為了提高模型的適用范圍，Moed提出了多維度科研評(píng)價(jià)模型(Multidimensional ResearchAssessment Matrix)，并系統(tǒng)介紹如何應(yīng)用多維度科研評(píng)價(jià)模型來對(duì)科研產(chǎn)出進(jìn)行評(píng)價(jià)[15]。該評(píng)價(jià)模型的提出是基于這樣的一個(gè)基本理念：在評(píng)價(jià)過程中對(duì)模型的選擇取決于評(píng)價(jià)的單元、評(píng)價(jià)的維度、評(píng)價(jià)的目的與政策環(huán)境。不同的評(píng)價(jià)指標(biāo)與評(píng)價(jià)模型各有其長短處，因此作者提出了10個(gè)適用于不同評(píng)價(jià)對(duì)象的重要評(píng)價(jià)模型。這些模型分別代表了10種不同的科研影響力維度，每一種模型各自適用于測量相應(yīng)的不同維度。

三、同行評(píng)議機(jī)制的優(yōu)勢與不足

雖然國外學(xué)者對(duì)定量評(píng)價(jià)方法的研究日益深入，一些定量研究方法和技術(shù)也日臻成熟，但是定量評(píng)價(jià)遠(yuǎn)不是完美的科研評(píng)價(jià)方式。從實(shí)踐層面分析，定量和定性評(píng)價(jià)方法各有優(yōu)劣，分別適用于不同的測量情境和評(píng)價(jià)目的。

(一)同行評(píng)議普遍具有較高的認(rèn)可度

在科研業(yè)績評(píng)價(jià)實(shí)踐過程中，隨著定量評(píng)價(jià)方式弊端的日益暴露，與之相對(duì)應(yīng)的以“同行評(píng)議”為主的定性評(píng)價(jià)方式日漸受到學(xué)者的關(guān)注。目前，同行評(píng)議方法依然是獲得最廣泛認(rèn)可、最通行的一種科研業(yè)績評(píng)價(jià)方法。歷史上，以同行評(píng)議方式為主的質(zhì)性評(píng)價(jià)一直占據(jù)主體，比如VTR、DEST、RAE、PBRF、NRC等一些高級(jí)別的重要科研評(píng)價(jià)活動(dòng)都是以同行評(píng)議為主要方式。雖然越來越多的學(xué)者傾向于采用“混合方法”進(jìn)行評(píng)價(jià)，比如采用在文獻(xiàn)計(jì)量方法基礎(chǔ)上進(jìn)行“知情同行評(píng)議”(Informed PeerReview)的混合方法，但是同行評(píng)議在各國的高級(jí)別科研評(píng)價(jià)中一直占據(jù)主導(dǎo)地位。

(二)同行評(píng)議結(jié)果的客觀性存在較多爭議

盡管同行評(píng)議方式得到廣泛應(yīng)用和認(rèn)可，但是這一科研評(píng)價(jià)方法，事實(shí)上依然存在著一系列尚未解決的問題，特別是評(píng)價(jià)過程中的各種主觀性問題。Garcia-Aracil等人的研究結(jié)果表明，同行評(píng)議的評(píng)價(jià)結(jié)果并沒有我們所想像的那么客觀[16]，其客觀性至少受以下兩個(gè)方面的較大影響：一是同行評(píng)議的有效性受指標(biāo)選擇的影響較大。Abramo等人指出科研成果的范疇，不同國家各不相同。雖然各種評(píng)價(jià)維度設(shè)置都體現(xiàn)了與科研機(jī)構(gòu)研究人員相對(duì)應(yīng)的業(yè)績數(shù)量指標(biāo)[17]，然而不同專業(yè)之間科研產(chǎn)出差異巨大，這意味著同行評(píng)議中所列出的不同學(xué)科的代表性成果系列也是不同的，其對(duì)評(píng)價(jià)結(jié)果的影響則是非常明顯的。二是同行評(píng)議的有效性受評(píng)議者認(rèn)知差距的影響較大。Wang和Sandstrom對(duì)同行評(píng)議過程中的認(rèn)知距離進(jìn)行研究[18]，其研究結(jié)果表明，申請(qǐng)者與評(píng)議者之間的認(rèn)知距離會(huì)對(duì)同行評(píng)議結(jié)果產(chǎn)生負(fù)面影響。

(三)同行評(píng)議方法具有較大的可改進(jìn)性

鑒于同行評(píng)議所存在的費(fèi)時(shí)低效等問題，一些學(xué)者在嘗試性地探索能否應(yīng)用量化評(píng)價(jià)方式來代替或部分代替同行評(píng)議的評(píng)價(jià)過程。Taylor研究在多大程度上由同行評(píng)議方式?jīng)Q定的結(jié)果可以被一系列的定量指標(biāo)所替代[19]。其研究結(jié)果支持在科研評(píng)價(jià)過程中對(duì)量化指標(biāo)的應(yīng)用。在同行評(píng)議過程中，要求專家們對(duì)文獻(xiàn)計(jì)量指標(biāo)的應(yīng)用還可以進(jìn)一步改善評(píng)議專家所可能存在的內(nèi)隱偏見問題。與此同時(shí)，一些研究者則對(duì)同行評(píng)議機(jī)制所存在的不足進(jìn)行改進(jìn)性研究。比如Reale等人對(duì)“同行評(píng)議”的信度控制問題進(jìn)行實(shí)證研究[20]，Reinhart則對(duì)提高同行評(píng)議的透明度、可理解度和可信度進(jìn)行研究[21]。近年來，雖然量化評(píng)價(jià)方式得到廣泛應(yīng)用，但是同行評(píng)議作為傳統(tǒng)科研評(píng)價(jià)方式還將會(huì)繼續(xù)發(fā)揮重要作用，但對(duì)同行評(píng)議方式的改進(jìn)性研究或?qū)⒘炕u(píng)價(jià)融合于同行評(píng)議過程的評(píng)價(jià)研究，將會(huì)引起更多學(xué)者的關(guān)注。

四、總結(jié)與反思

目前，學(xué)者們普遍認(rèn)為，同行評(píng)議與量化評(píng)價(jià)這兩種評(píng)價(jià)模式各有利弊。一些學(xué)者認(rèn)為文獻(xiàn)計(jì)量法的評(píng)價(jià)過程便捷，評(píng)價(jià)結(jié)果更為客觀和便于應(yīng)用[15]，而“同行評(píng)議”的判定結(jié)果往往更具主觀性和偶然性[22]，而且這種評(píng)價(jià)方式需要花費(fèi)更多的時(shí)間、人力和經(jīng)費(fèi)[23]。也有學(xué)者認(rèn)為“同行評(píng)議”能更好地考慮到科研成果的復(fù)雜性和多樣性[24]。因此毫無疑問，量化評(píng)價(jià)與同行評(píng)議各自的先天優(yōu)勢與不足，使其各自適應(yīng)不同的評(píng)價(jià)目的與語境需要。那么，量化評(píng)價(jià)或同行評(píng)議的結(jié)果是否具有關(guān)聯(lián)性？兩者的評(píng)價(jià)結(jié)果在多大程度上能達(dá)成一致？為此，Aksnes和Taxt對(duì)文獻(xiàn)計(jì)量指標(biāo)評(píng)價(jià)和同行評(píng)議評(píng)價(jià)結(jié)果之間的關(guān)系進(jìn)行研究。他們通過對(duì)挪威卑爾根大學(xué)科研團(tuán)隊(duì)進(jìn)行個(gè)案研究，發(fā)現(xiàn)了不同的文獻(xiàn)計(jì)量指標(biāo)評(píng)價(jià)與專家委員會(huì)評(píng)價(jià)結(jié)果之間存在正相關(guān)性，但是關(guān)聯(lián)度比較弱[25]。通過進(jìn)一步研究，他們發(fā)現(xiàn)同行評(píng)價(jià)的劣勢、文獻(xiàn)計(jì)量指標(biāo)評(píng)價(jià)的不足以及兩者之間可比性缺乏是導(dǎo)致其評(píng)價(jià)結(jié)果關(guān)聯(lián)度不強(qiáng)的主要原因。然而，也有不少的研究發(fā)現(xiàn)，對(duì)于大規(guī)模的科研評(píng)價(jià)活動(dòng)而言，同行評(píng)議與量化評(píng)價(jià)可以產(chǎn)生相似的結(jié)果。

從本質(zhì)上而言，量化評(píng)價(jià)與同行評(píng)議背后體現(xiàn)的是技術(shù)理性與價(jià)值理性取向的分立。同行評(píng)議與量化評(píng)價(jià)方法分別是教師科研業(yè)績考評(píng)過程中價(jià)值理性取向與工具理性取向的典型代表。韋伯和霍克海默的理性理論認(rèn)為，工具理性講求的是效率優(yōu)先的原則，對(duì)其而言最重要的問題就是如何能夠以最有效的手段和途徑實(shí)現(xiàn)預(yù)想的目的，而非目的本身的合理性。社會(huì)的發(fā)展總是要以工具理性為其提供物質(zhì)基礎(chǔ)，因此工具理性本身并無問題。而當(dāng)下，大學(xué)教師科研業(yè)績考評(píng)過程中，工具理性盛行的一個(gè)重要根源在于在學(xué)術(shù)評(píng)價(jià)發(fā)展進(jìn)程中，以價(jià)值理性為主導(dǎo)考評(píng)方法的弊端日益凸顯。比如上個(gè)世紀(jì)70、80年代以來實(shí)行的“同行評(píng)議”制度受到誤用并引發(fā)了連鎖反應(yīng)，使得后人越來越反感“同行評(píng)議”的評(píng)價(jià)方式。因此，在糾偏的過程中，工具理性導(dǎo)向彰顯出其優(yōu)越的一面，并日益取代價(jià)值理性導(dǎo)向，成為主流的評(píng)價(jià)取向。然而，隨著工具理性一些弊端的日益凸顯，同時(shí)由于工具理性的過度膨脹以及被誤用所引發(fā)的一系列問題，導(dǎo)致了人們對(duì)工具理性產(chǎn)生了一定的抵制情緒。總體上，導(dǎo)致評(píng)價(jià)方法應(yīng)用上反復(fù)變遷問題的根本原因在于，人們普遍認(rèn)為工具理性與價(jià)值理性是截然分開和相互對(duì)立的，但事實(shí)上純粹的毫無相互關(guān)涉的工具理性或價(jià)值理性是不存在的。就其功能和適切性而言，工具理性與價(jià)值理性各有其優(yōu)勢與不足。在教師科研業(yè)績考評(píng)中，必須充分發(fā)揮各自的優(yōu)勢，并協(xié)調(diào)好兩者的關(guān)系，促進(jìn)兩者的融合。