基于DEA和AHP方法的北京大學(xué)科研人員績效評價

經(jīng)驗(yàn)人：唐 琳 劉鴻雁

基于DEA和AHP方法的北京大學(xué)科研人員績效評價

經(jīng)驗(yàn)人：唐 琳 劉鴻雁

本研究在文獻(xiàn)分析的基礎(chǔ)上，提煉科研績效評價的指標(biāo)體系，并結(jié)合北京大學(xué)城市與環(huán)境學(xué)院63名在職教師科研工作的現(xiàn)狀，及專家訪談問卷，運(yùn)用層次分析法確定指標(biāo)體系中各項(xiàng)權(quán)重并計算教師產(chǎn)出得分。在此基礎(chǔ)上，運(yùn)用數(shù)據(jù)包絡(luò)模型對學(xué)院的科研人員績效進(jìn)行評價研究，并提出改進(jìn)措施。最終形成一個既滿足北京大學(xué)當(dāng)前的特點(diǎn)和發(fā)展方向，又適合科研活動自己規(guī)律的評價體系，促進(jìn)北京大學(xué)的科研管理效率進(jìn)一步提高，為建設(shè)世界一流大學(xué)添磚加瓦。

在科學(xué)研究工作中，科研的水平會受到科研管理的有效性所影響，而有效的科研績效評價是科研管理的重要支持?？蒲锌冃гu價具有幾項(xiàng)功能，包括監(jiān)督性、調(diào)控性、導(dǎo)向性和反饋性（丁余微，2013），所以有效的科研績效評價，能有效提高科研管理水平，從而進(jìn)一步提高科學(xué)研究水平。

國外的科研績效評價起步較早，發(fā)展較為成熟，以同行專家評價為基礎(chǔ)。而評價的主體是由不相關(guān)的第三方完成。第三方機(jī)構(gòu)主要面向像學(xué)校這類科研機(jī)構(gòu)的科研評估，很少對個體的科研進(jìn)行評估。英國早在上世紀(jì) 80 年代就開始了高?？蒲性u價（Higher Education Funding Council for England，2002）。美國、荷蘭、芬蘭、日本等國也在積極進(jìn)行高?？蒲性u價的理論研究和實(shí)踐，并且取得了一定的成果。國內(nèi)的科研績效評價工作起步比較晚，學(xué)者對科研績效評價的研究主要分為兩類，一是對科研績效評價指標(biāo)的選取和權(quán)重確定，而是評價方法研究（汪靜等，2012；程云喜，2007；盧葦，2009；陳洪轉(zhuǎn)等，2011；朱敏結(jié)，2003；吳楊，蘇竣，2011；葉國榮，2009；符銀丹，陳士俊，，陳衛(wèi)東，2012）常見的定性分析方法有同行評議、維度測評、德爾菲法、權(quán)威決策、行政拍板等；在效率評價的實(shí)踐中，常用的定量分析方法有 10 多種，其中DEA模型是評價科研績效的最常用方法。

通過以上分析可知，發(fā)達(dá)國家對科學(xué)研究績效評價的研究目前已經(jīng)發(fā)展到了較為成熟的階段，而我國此方面的研究起步較晚，尚未形成公認(rèn)的評價方法，也無專業(yè)第三方評價機(jī)構(gòu)。但我國科研體制和科研環(huán)境與國外不同，有自身特色，不能完全照搬國外科研績效評價體系。因此，目前對于科研效績評價仍處對探索和實(shí)踐期，還待進(jìn)一步深入研究。此外，目前科研績效評價主要研究對象為科研機(jī)構(gòu)，而針對科研人員個體的研究不足，本研究將以此作為突破點(diǎn)，以北京大學(xué)城市與環(huán)境學(xué)院的教職工近五年科研投入產(chǎn)出數(shù)據(jù)進(jìn)行重點(diǎn)研究。

基于層次分析法的科研績效評價

層次分析法是美國運(yùn)籌學(xué)家薩迪教授在19世紀(jì)70年代提出的（徐兆勇，2009）。該方法通過把問題分解成各個因素，最終形成目標(biāo)層、準(zhǔn)則層和方案層三個層次指標(biāo)體系。通過兩兩比較同一層次中的相對重要性，構(gòu)建判斷矩陣，根據(jù)最大特征根法，最終得到各個因素的權(quán)重。

構(gòu)建科研績效評價指標(biāo)體系

針對科研人員個體的北京大學(xué)科研績效評價體系的構(gòu)建以建設(shè)世界一流大學(xué)為主要目標(biāo)，依據(jù)北京大學(xué)當(dāng)前的發(fā)展和學(xué)科建設(shè)的需要，由學(xué)術(shù)委員會專家討論，設(shè)定相應(yīng)的考核指標(biāo)。選擇指標(biāo)包括一個目標(biāo)、5個指標(biāo)和15個因子（表1）。

表1　科研績效評價指標(biāo)體系

構(gòu)建因素之間判斷矩陣

為了對各個因素之間的重要性進(jìn)行有效的衡量，本文設(shè)計專家問卷，請有經(jīng)驗(yàn)的科研管理人員、科研專家對同一層次中各個因素重要性進(jìn)行打分。從而克服了單個專家主觀影響，提高研究的科學(xué)性。對于同一層次的因素間兩兩比較時標(biāo)準(zhǔn)的方法是采用九標(biāo)度法，即根據(jù)相對重要性以1、2、3……9及其倒數(shù)表示（如9表示A比B絕對重要，1表示A與B相同重要，1/9表示B遠(yuǎn)比A重要等），構(gòu)造比較判斷矩陣。

針對科研人員績效評價指標(biāo)體系，按照專家打分的結(jié)果構(gòu)建各因素之間的判斷矩陣。由于篇幅所限，只列舉部分判斷矩陣（表2）

表2　因素之間的判斷矩陣

判斷矩陣的一致性檢驗(yàn)

由于專家在填寫問卷的時候，有可能會出現(xiàn)三個元素循環(huán)判斷，違反了基本邏輯，因此需要對判斷矩陣做一致性檢驗(yàn)。

一致性指標(biāo)CI=λmax-n/n-1，其中，n為同一層次下的指標(biāo)個數(shù)，λmax為最大特征根

平均隨機(jī)一致性指標(biāo)RI為1-15階正互反矩陣計算1000次得到的平均隨機(jī)一致性指標(biāo)。

一致性比例CR=CI/RI，當(dāng)CR＜0.1時，判斷矩陣通過一致性檢驗(yàn)。

本文通過YAAHP計算得到各個層次的CR值（表3），可見CR均小于0.1，指標(biāo)體系通過了一致性檢驗(yàn)。

表3　不同層次的一致性比例

確定指標(biāo)體系各因素權(quán)重

根據(jù)YAAHP軟件得出的各個層次指標(biāo)的相對權(quán)重，計算各個層次元素對于決策目標(biāo)的最終權(quán)重，加權(quán)平均，進(jìn)行總排序，得到總權(quán)重（表4）。

表4　科研人員績效評價指標(biāo)體系總權(quán)重

表5　科研人員產(chǎn)出得分

科研人員產(chǎn)出得分

根據(jù)以上層次分析法得出的指標(biāo)體系和權(quán)重值，結(jié)合城市與環(huán)境學(xué)院63名在職教師近五年的各項(xiàng)投入產(chǎn)出指標(biāo)數(shù)據(jù)，得到每位教師的科研產(chǎn)出總得分，并將其標(biāo)準(zhǔn)化為0～100之間的兩位數(shù)后，得到表6數(shù)據(jù)。63位教師的平均得分為23.41，表明學(xué)院內(nèi)部科研產(chǎn)出的差異較大。得分最高為42號教師，最主要原因是其每年都有參與重大科研項(xiàng)目，并且有較高的SCI文章產(chǎn)出，同時獲得了了省部級以上獎勵。得分最低的教師為50號，原因是其為新入職教師，之前的科研產(chǎn)出并不是以城市與環(huán)境學(xué)院名義取得，因此無法獲得統(tǒng)計數(shù)據(jù)。得分在50分以上的8名教師囊括了城市與環(huán)境學(xué)院的院士、長江學(xué)者、一級教授。數(shù)據(jù)結(jié)合城市與環(huán)境學(xué)院的實(shí)際情況，顯示出了很好的吻合度。下一步將進(jìn)一步結(jié)合科研投入，分析以上教師的科研績效水平。

基于數(shù)據(jù)包絡(luò)法的科研效率評價

數(shù)據(jù)包絡(luò)法原理

數(shù)據(jù)包絡(luò)法（DEA）是由美國運(yùn)籌學(xué)家Chames和Cooper等于1978年提出的。它以相對效率為基礎(chǔ)，用于評價具有多投入產(chǎn)出的決策單元是否技術(shù)有效和規(guī)模有效。由于不受量綱影響，在避免主觀因素、減少誤差等方面具有重大優(yōu)勢（段永瑞，2006）。數(shù)據(jù)包絡(luò)法的思路是把每一個評價單位作為一個決策單元（DMU），以各個決策單元的投入產(chǎn)出權(quán)重為變量進(jìn)行計算，確定是否DEA有效（陸根書，劉蕾，2007）。

假設(shè)DMUi，i=1，2，3，……n，n表示決策單元數(shù)量，（xi，yi）表示決策單元的投入和產(chǎn)出。對于某個決策單元，判斷其有效性的模型為：

表6　城環(huán)學(xué)院63名在職教師DEA計算結(jié)果

通過求解上述模型求解，得出最優(yōu)解。若θ=1，S-，S+不全為0（均為0）時，DMU為弱有效（有效）；當(dāng)則DMU為規(guī)模效益不變；當(dāng)則 DMU為規(guī)模效益遞減；當(dāng)則DMU為規(guī)模效益遞增。

北京大學(xué)城市與環(huán)境學(xué)院實(shí)例分析

通過上文層次分析法得出的指標(biāo)體系，輸出指標(biāo)為5個：科研項(xiàng)目、發(fā)表文章、專著專利、獲得獎勵和人才培養(yǎng)，參考層次分析法得出的權(quán)重值，將輸出指標(biāo)歸結(jié)為2類：科研成果產(chǎn)出（包括科研項(xiàng)目、發(fā)表文章、專注專利、獲得獎勵）和人才產(chǎn)出（本科、碩士、博士人才培養(yǎng)）。相應(yīng)的，輸入指標(biāo)為2類：科研經(jīng)費(fèi)投入和人才投入（本科、碩士、博士人才投入）。

根據(jù)以上的各項(xiàng)指標(biāo)加權(quán)平均計算方法和計分標(biāo)準(zhǔn)，輸入北京大學(xué)城市與環(huán)境學(xué)院63名在職教師的投入產(chǎn)出數(shù)據(jù)，將其在DEAP軟件中進(jìn)行運(yùn)算（表6）。

表6所給出的計算結(jié)果分為：技術(shù)效率、純技術(shù)效率、規(guī)模效率。技術(shù)效率表示在規(guī)模報酬不變情況下的技術(shù)效率值；純技術(shù)效率表示投入要素的使用效率；規(guī)模效率表示決策單元的投入產(chǎn)出是否達(dá)到最佳比例；規(guī)模報酬給出了該決策單元所處的生產(chǎn)階段，drs表示規(guī)模報酬遞減，irs表示規(guī)模報酬遞增。

1.DEA有效。從表6可以看出，有8位教師（5，7，13，14，25，30，50，60）的技術(shù)效率、純技術(shù)效率、規(guī)模效率均為1，達(dá)到了技術(shù)有效。結(jié)果表示在現(xiàn)有的科研投入條件下，這幾位教師與其他教師相比，產(chǎn)出達(dá)到了最大值。而且，如果增加投入，他們的投入產(chǎn)出規(guī)模報酬也是不變的。結(jié)合這幾位教師的純科研產(chǎn)出得分情況，相對而言得分偏低，表明他們目前達(dá)到了自身平衡狀態(tài)，但是未來還可以通過增加投入，調(diào)整科研管理水平，從而提升科研產(chǎn)出。

2.DEA無效，純技術(shù)效率有效。表6所示，有9位教師（10，12，15，23，26，31，42，54，58）的純技術(shù)效率為1，規(guī)模效率小于1，表示他們處于DEA無效但純技術(shù)效率有效狀態(tài)。這些教師的科研資源配置相對合理，科研水平較高，達(dá)到了純技術(shù)效率有效。但是DEA無效的原因主要在于規(guī)模效率偏低，觀察規(guī)模報酬結(jié)論，發(fā)現(xiàn)他們均處于規(guī)模報酬遞減階段，因此未來可以考慮適當(dāng)減少科研投入以提高規(guī)模效率。結(jié)合他們的純科研產(chǎn)出得分，這8位老師均超過了平均得分，科研能力成熟，科研投入力度大，科研產(chǎn)出也相對較高，但是目前正處于規(guī)模效率遞減階段，未來可以考慮調(diào)整科研管理水平，或者適當(dāng)減少投入，以提升規(guī)模效率。

3.純技術(shù)效率和規(guī)模效率均無效。其他46名教師都是DEA無效，純技術(shù)效率也無效的狀態(tài)。其原因是由于科研能力和統(tǒng)籌利用資源水平不足，或者投入規(guī)模不當(dāng)導(dǎo)致的。其中26名教師處于規(guī)模報酬遞增階段，未來應(yīng)考慮適當(dāng)增加經(jīng)費(fèi)支持和人員投入，以達(dá)到最佳規(guī)模效率。相應(yīng)的，對于規(guī)模效率遞減的20名教師，則應(yīng)適當(dāng)減少投入，提高科研績效。

結(jié)語與展望

將本文層次分析法和數(shù)據(jù)包絡(luò)法相結(jié)合的運(yùn)算結(jié)果與北京大學(xué)城市與環(huán)境學(xué)院63名在職教師的實(shí)際情況相比較后，發(fā)現(xiàn)運(yùn)算結(jié)果與各個教師的實(shí)際科研情況大體一致，即在專家打分制定評價指標(biāo)體系的基礎(chǔ)上，層次分析法和數(shù)據(jù)包絡(luò)法相結(jié)合，可以比較準(zhǔn)確的反映北京大學(xué)城市與環(huán)境學(xué)院科研的實(shí)際問題。因此，我們認(rèn)為通過方法的推廣，基于層次分析法和數(shù)據(jù)包絡(luò)法的評價方法是一種適用于北京大學(xué)的科研績效評價方法，實(shí)現(xiàn)對科研人員個體的有效評價，有利于實(shí)現(xiàn)高水平科研管理，從而進(jìn)一步提升北京大學(xué)科學(xué)研究水平，為北京大學(xué)建設(shè)一流大學(xué)貢獻(xiàn)力量。

唐 琳 劉鴻雁

北京大學(xué)城市與環(huán)境學(xué)院

唐琳（1986-）女，籍貫江西，北京大學(xué)城市與環(huán)境學(xué)院科研秘書，助理研究員，博士在讀，主要研究方向：科研管理；劉鴻雁（1968-）男，籍貫湖南，北京大學(xué)城市與環(huán)境學(xué)院副院長，教授，博士，主要研究方向：科研管理、生態(tài)學(xué)。

10.3969/j.issn.1001-8972.2015.18.044