農(nóng)業(yè)科研院所科技創(chuàng)新評價體系的構建
——以廣東省農(nóng)業(yè)科學院為例

楊勇福，駱 藝，黃潔容，聶新志，程俊峰，馬 靜，于相滿，于深浩，陳琴苓

（廣東省農(nóng)業(yè)科學院，廣東廣州 510640）

1 背景和相關研究情況

隨著知識經(jīng)濟的不斷深化，科學研究在經(jīng)濟社會發(fā)展中的地位日趨重要，擔負著國家發(fā)展的戰(zhàn)略使命。科學技術評價是科學技術管理工作的重要組成部分，是推動國家科技事業(yè)持續(xù)健康發(fā)展，促進科學技術資源優(yōu)化配置，提高科學技術管理水平的重要手段和保障［1］。國外對于科研評估有著比較系統(tǒng)的理論研究和豐富的實踐經(jīng)驗。英國自1986 年開始推行RAE 大學科研評估制度，2006 年，英國政府決定對科研評估和科研經(jīng)費撥款制度進行改革，建立一個以計量為基礎的科研評價新系統(tǒng)，并于2008年開始籌備科研卓越框架（REF），2013 年開始全面替代原先的RAE 評估。REF 引入文獻計量法和其他定量指標，以文獻計量法分析為主要評估手段，專家評審和其他定性指標作為補充［2-3］。REF 按照學科來劃分評估單元（UOA），對于不同的學科，側重于不同的評估手段，例如在科學、工程、技術等自然學科方面，主要采用文獻計量法，對于藝術、人文、社會科學等學科，則主要采用專家評審等定性指標評估法，由此構建一個高效的評估模式［4］。

國內(nèi)對于農(nóng)業(yè)科技創(chuàng)新方面的理論研究起始于20 世紀末，很多專家學者對農(nóng)業(yè)科技創(chuàng)新體系都提出自己的見解，有力促進了我國對于農(nóng)業(yè)科技創(chuàng)新方面評估的發(fā)展。中國農(nóng)業(yè)科學院作為國家級農(nóng)業(yè)科研部門，2002 年提出“國家農(nóng)業(yè)科技創(chuàng)新體系”構想［5］，并于2014 年分析了農(nóng)業(yè)科技創(chuàng)新能力評價指標體系的構成，整理了各種評價指標體系，涵蓋定量指標和定性指標［6］。

2 評價體系的構建及驗證

農(nóng)業(yè)科研院所業(yè)務研究范圍廣，如廣東省農(nóng)業(yè)科學院下屬15 個院屬科研單位，各單位研究的內(nèi)容和方向不盡相同，科研投入和產(chǎn)出之間沒有直接的可比性，定性評估很難全面反映各單位的科研情況和創(chuàng)新能力。因此我們選取與公益類科研院所科技創(chuàng)新密切相關的典型指標，采用定量為主、結合定性的綜合性評價計分標準，建立量化比較的考評指標體系。

2.1 構建的原則

科研創(chuàng)新能力評價的目的是通過評估比較院所科技創(chuàng)新能力，需找差距,分析不足，并在科研管理和科技資源配置時進行有針對性的引導，促進單位整體科研能力健康可持續(xù)地提升和發(fā)展。因此，評價體系構建和指標的選取遵循以下幾個原則：

（1）指標普適性。農(nóng)業(yè)科研領域范圍廣，農(nóng)業(yè)科研院所研究的方向各不相同，如何在同一個評價體系下公平公正地反映其綜合實力是一個需要認真思考和衡量的問題。在設置各類相關指標時，需要盡可能考慮各單位相關指標的領域范圍、權重分值等情況，保證客觀性和系統(tǒng)全面性。

（2）量化平衡性。盡可能采用可量化的定量分析法進行分析，例如文獻分析法，對于同一類型的指標，盡可能采用公認的統(tǒng)計口徑，在數(shù)據(jù)的采集、處理和分析方面保持一致［7］。對于不同類型的評價指標，在充分考慮所獲取的難易程度、行業(yè)影響范圍等客觀因素后，在分值賦予方面進行可比性的量化。

（3）目標導向性。構建科研創(chuàng)新能力評價體系除了反映單位整體科研能力的情況外，還有一個重要的目的就是查缺補漏，利用評價體系引導各單位重視需要重點發(fā)展的學科領域，做到有的放矢，從而全面提升單位的整體科研能力。

（4）易操作性。簡明扼要、操作簡便，盡量避免復雜的指標結構，選取盡可能反映本單位實際科技創(chuàng)新活動成效的典型指標，確保可操作性［7］是構建評價體系的原則之一。

2.2 指標的設計

由于影響待評價事物的因素眾多且復雜，評價指標和權重系數(shù)的確定將會直接影響綜合的評價結果［8］，根據(jù)科研單位科技創(chuàng)新涵蓋范圍，評價指標體系設為兩級指標，其中一級指標包括科研投入、科研產(chǎn)出、科技條件平臺和國際科技合作。在每個一級指標下分別設有二級指標（見表1）。

表1 評價指標體系

2.3 權重的賦予

權重的設置總體原則是兼顧公平與效率，效率優(yōu)先。

我們采用行業(yè)應用廣泛的層次分析法（AHP）［9］對權重問題進行定性和定量相結合的多準則評價，依據(jù)廣東省農(nóng)業(yè)科學院多因素決策問題的特點決定科技創(chuàng)新評價體系中各指標的權重，完成對此類復雜問題的量化處理。

各一級指標分值權重的設置從總體層面在兼顧歷史實際的情況下，把控單位重點發(fā)展的方向，起到良性引導作用。各一級指標權重分值的大小體現(xiàn)在二級指標及每一指標細項的分值權重上。每一指標細項分值的權重借鑒行業(yè)內(nèi)常用的文獻計量法及專家評審等評價方法的優(yōu)點，得出如下的分值賦予原則：

（1）各一級指標分值權重。對各一級指標而言，相當于采用層次分析法中的單層次模型進行分析，首先我們將一級指標的n 個元素按照判斷矩陣（見表2）進行兩兩比較，比較后得出重要性矩陣。

表2 一級指標之間重要性比值

重要性比值由院里組織評價體系專家依照權重的比例標度法（見表3）［10］對考評體系中的各一級指標進行重要性的賦值，然后再依照比例標度法得到不同的量化分值，避免了單純依靠定性及個人經(jīng)驗來決定權重的評價方式所具有主觀片面性的缺點。按照以上步驟，我們得出科技創(chuàng)新一級指標的分值權重（見表4）。

表3 比例標度法

表4 一級評價指標及內(nèi)容

（2）評價等級賦值。不同等級水平的分值拉開差距，從分值賦予上鼓勵更高水平的、不同等級獲得不同的分值，從總體質量的嚴謹性、研究產(chǎn)出的原創(chuàng)性、科研影響的重要性和科研環(huán)境的可持續(xù)性等方面，對各評價指標進行評估。結合廣東省農(nóng)業(yè)科學院在不同指標細項所達到水平的實際情況，在遵守可行性和導向性的原則下，靈活設置不同等級所需要達到的標準。

（3）獲得的難易程度賦值。按照對各評價指標相應的付出來賦予不同的分值，如不同類型、不同級別科技成果獎，其水平和創(chuàng)新性是有差異的。為了適當拉開差距，在數(shù)據(jù)統(tǒng)計時按倍數(shù)關系分別乘以不同的當量系數(shù)Mn，其中M 代表不同類型的評價指標，n 代表不同級別的評價指標，具體M 和n 的值需要依據(jù)所在農(nóng)業(yè)科研院所的具體情況進行設置［11］。

2.4 體系的構建

每一細項的分值權重在結果計算之前進行可比性的量化，轉換為可計算的分值數(shù)據(jù)。各一級指標的分值為各指標細項數(shù)量與權重乘積的累計之和，采用加權求和的辦法，建立綜合評價模型［12］。

（1）指標細項得分。每一細項的分值權重在結果計算之前進行可比性的量化，轉換為可計算的分值數(shù)據(jù)。各一級指標的分值為各指標細項數(shù)量與權重乘積的累計之和，采用加權求和的辦法，建立綜合評價模型。

其中mi為每個指標細項的得分，Bi為第i 個指標細項的符合得分要求的數(shù)量，Wi為每個指標細項的權重，n 為指標細項的個數(shù)。

（2）一級指標得分及相對得分。各一級指標的得分 Mi(i=1，2，3，…，n)等于各指標細項的分值mi(i=1、2、3…n)乘以單項統(tǒng)計指標工作量數(shù)據(jù)ki（i=1，2，3，…，n）。

每個一級指標分數(shù)不封頂。各一級指標中得分最高單位分值為100 分，其他單位與之相比計算相對分值。

各一級指標的相對得分：

Xi(i=1，2，3，…，n)=(Mi/ MAX(Mi))*100 （3）

（3）一級指標人均得分及相對人均得分。各一級指標的人均得分Ni（i=1，2，3，…，n）為各一級指標的得分除以單位年度末在編人數(shù)P 后得到的結果。

Ni（i=1，2，3，…，n）=Mi/P （4）

單位年度末在編人數(shù)P 以考核年度12 月31 日為基準日，以各單位人力資源部審核的人數(shù)為準。

各一級指標中人均得分最高單位分值為100分，其他單位與之相比并計算相對分值。

各一級指標的相對人均得分：

Yi(i=1，2，3，…，n)=(Ni/MAX(Ni))*100 （5）

（4）單位年度科技創(chuàng)新相對得分和相對人均得分。單位年度科技創(chuàng)新相對得分X 為各一級指標的相對得分Xi之和。

X=∑Xi（i=1，2，3，…，n） （6）

單位年度科技創(chuàng)新相對人均得分Y 為各一級指標的相對人均得分Yi之和。

Y=∑Yi（i=1，2，3，…，n） （7）

（5）最終得分。根據(jù)效率優(yōu)先，兼顧體量的原則，我們需要將總分和人均分按照一定比例求和得到最終得分S。因為算出的總分和人均分量級不一致，因此要用同一量級下的相對得分X 和相對人均得分Y 進行權重的加和。

S=X*r+Y*(1-r) （8）

r 為總分所占的權重，各院所單位可以依照自身的實際情況設置，r 值范圍從0%至100%，值越小意味著總分占比越小，從而提高了人均效率所占的比重。

最終得分S 兼顧總量和人均效率，可靈活調整各自所占的權重，以適應各院所在不同時期的重點發(fā)展需求。

2.5 結果的計算及驗證

評價指標體系構建后，我們以廣東省農(nóng)業(yè)科學院科技創(chuàng)新考評為例，計算出廣東省農(nóng)業(yè)科學院院屬各單位最終得分情況及排名情況，同時也得出不同單位在相同一級指標下的得分及排名情況。如表5 中的數(shù)據(jù)結果顯示，同一單位在各一級指標下的排名存在著較大的差異，反映出不同科研機構的創(chuàng)新能力存在較大的差異。從結果反映的差異中尋找短板和差距，從而有針對性地補強是我們做科技創(chuàng)新評價的目的之一。

表5 廣東省農(nóng)業(yè)科學院院屬各單位科技創(chuàng)新能力評價結果

結果驗證分析如下：

（1）從科研體量大小分析。A 所、C 所、E 所等經(jīng)過前期較長時間的積累，在科技創(chuàng)新方面有不錯的總量大小，而K 所、M 所和N 所等因為研究領域的限制，成立時間的長短等因素，在科研體量大小方面和排名靠前的單位存在著不小的差距。

（2）從科研效率角度分析。科研效率為科研體量除以統(tǒng)計人數(shù)，體現(xiàn)了人均科研能力。從表4 總人均得分情況來看，A 所、B 所、F 所等幾個單位排名靠前，綜合人均科研實力較強。從各單位總得分和總人均得分的排名情況來看，總人均得分排名比總得分排名靠后的單位有C 所、E 所、I 所和L 所等幾個單位，這幾個院屬單位在人均科技創(chuàng)新效率方面還有待加強，該類單位應該充分發(fā)揮體量大小方面的優(yōu)勢，提升科技創(chuàng)新方面的效率。

（3）從產(chǎn)出與投入的比值分析。有些單位投入排名靠前，如A 所、C 所、D 所等，有些單位產(chǎn)出排名靠前，如A 所、E 所。產(chǎn)出投入排名落差較大的單位有C 所、D 所等，這類單位主要從事基礎科學研究，在科技產(chǎn)出方面有著先天性的不利因素，因此產(chǎn)出與投入比例相對偏低，需要相關部門加強對農(nóng)業(yè)基礎科學研究的扶持，以提升科技成果產(chǎn)出方面的水平。

以廣東省農(nóng)業(yè)科學院院屬各單位科技創(chuàng)新評價為例，計算得分和排名，符合廣東省農(nóng)業(yè)科學院院屬各單位科技創(chuàng)新水平和效率的實際情況，驗證了本文提出的農(nóng)業(yè)科研院所科研評價體系的科學性和合理性。

3 討論

3.1 科學平衡不同研究領域投入及產(chǎn)出量化的關系

農(nóng)業(yè)科研領域廣泛，各研究所研究領域千差萬別，如何在一個統(tǒng)一的評價體系中對農(nóng)業(yè)科研院所屬各單位進行公平公正的考核是做好農(nóng)業(yè)科研院所科研考評工作的關鍵點之一。這里涉及到兩個方面，一是在設定考核指標時將各所研究領域所涉及到的方面從投入到產(chǎn)出全面的考慮進來，做到考核指標全面，比例公正；二是在設定每項指標的權重時，用定性和定量相結合的方式定義不同指標達到不同級別要求的情況下所得到的分值。

對于第一個方面，建議各農(nóng)業(yè)科研院所確定具體評價指標體系時，廣泛征集意見建議，綜合各單位的意見建議形成一個全面、公正的考核指標體系；對于第二個方面，采用層次分析法（AHP）對一級指標權重問題進行定性和定量相結合的多準則評價，組織評價體系專家依照權重的比例標度法對考評體系中的各一級指標進行重要性的賦值，避免了單純依靠定性及個人經(jīng)驗來決定權重的評價方式所具有主觀片面性的缺點。同時借鑒英國REF 中評價等級的方法，從總體質量的嚴謹性、研究產(chǎn)出的原創(chuàng)性、科研影響的重要性和科研環(huán)境的可持續(xù)性等方面，對各指標細項進行不同等級下分值賦予的評估，為了拉開差距，體現(xiàn)質的優(yōu)越性，在賦值時按倍數(shù)關系分別乘以不同的當量系數(shù)。

3.2 動態(tài)賦予總量與人均的關系

各單位體量大小不盡相同，如果單純地從總量方面進行考核的話，對于體量小的研究所有失公允，體現(xiàn)不出我們在提出評價體系所應該遵守的公平性原則［13］。因此，結合效率優(yōu)先的原則，我們在制定評價體系時兼顧了總量與人均的關系。人均得分考核期待起到提高人均效率的導向作用，以較小的投入得到最有效的產(chǎn)出。對于總量與人均的比值，可依照各農(nóng)業(yè)科研院所的實際情況進行賦值。

3.3 充分考慮歷史與現(xiàn)實的關系

各單位歷史情況不同，在前期考評伊始，需要尊重各單位歷史遺留情況。因此在評價體系中，加入進步分的概念，以期在尊重歷史問題的時候，鼓勵落后單位迎頭趕超［14］。

S進步分=+Sn-Sn-1

Sn為單位當年最終得分，Sn-1為單位去年最終得分，進步分即為本年度得分減去上一年度得分后的增加值（只計算正分值）。

3.4 時滯效應的情況說明

對于農(nóng)業(yè)科研院所來說，科技投入很可能不會立馬有產(chǎn)出效益［15］，這也就導致了投入和產(chǎn)出之間的時滯效應問題，影響了某項投入得到的產(chǎn)出效益值的評估。如何減少時滯效應對于科技創(chuàng)新活動產(chǎn)出效益優(yōu)化的影響，是我們在評價過程中需要重視的問題。評估科研機構科技創(chuàng)新活動投入與產(chǎn)出的時滯效應，常用的方法有經(jīng)驗法、分布滯后模型、多元回歸模型等［16］，本文對時滯效應不展開闡述。為了盡量減少時滯效應帶來的影響，可以依據(jù)科技創(chuàng)新活動投入的周期性，按周期性進行科技創(chuàng)新投入效益值的評估，例如評估“十二五”期間投入的效益值。

4 結論

農(nóng)業(yè)科研院所科技創(chuàng)新評價體系涉及方方面面，且被評價單位的實際情況也多種多樣，只有盡可能客觀去評價農(nóng)業(yè)科研院所的科技創(chuàng)新能力和水平。實際操作中，一方面要結合各單位科技創(chuàng)新工作的實際，對等級、權重等進行調整，另一方面要充分考慮到不同學科、研究領域之間的差異，對具體指標與取值標準等進行完善，以有效發(fā)揮科技創(chuàng)新評價體系的監(jiān)督、導向、激勵和反饋功能［17］。

本文在較為充分考慮了科技創(chuàng)新評價指標體系構建中多方面的影響因素后，參考多方面的意見建議，形成一套完整的科技創(chuàng)新評價體系，并以廣東省農(nóng)業(yè)科學院為例，例證了評價體系的科學性和合理性，拋磚引玉，期望能給其他農(nóng)業(yè)科研院所科技創(chuàng)新評價體系的構建提供一點參考。