基于DEA方法的科研項目驗收績效評估系統研究

張繼將

上海數據分析與處理技術研究所，上海 201112

引言

科研項目驗收績效評估是科研管理的重要工作，也是典型的績效評估問題。目前驗收科研項目，大多采用線性權重法，追求產出最大化，而對績效考慮偏少。在不斷加大科研投入的同時，必須努力使有限的投入發揮較大的效益。因此，嚴把驗收關，對科研項目的驗收進行績效評估作用尤為重要。

目前，常見的績效評價方法種類很多，例如層次分析法，模糊綜合評價法，人工神經網絡分析法，灰色評價方法，數據包絡分析法等[1]。

層次分析法是一種多準則決策方法。它把一個復雜問題表示為有序的遞減層次結構，通過人的判斷對決策方案優劣進行排序。這種方法能夠統一處理決策中的定性與定量因素，具有實用性、系統性、簡潔性等優點。它依靠主觀評價做出優劣排序，所需數據量很小，決策花費的時間短。但是當遇到因素多、規模較大的問題時，層次分析法德在主觀上不好把握。

模糊綜合評價是應用模糊關系合成原理，從多個因素對評判事物隸屬等級狀況進行綜合性評判的一種方法。不僅可以對評價對象按綜合值的大小進行評價和排序，而且還可根據模糊評價集上的值，按最大隸屬度原則去評定對象所屬的等級。結果包含的信息量比較豐富。模糊綜合評價方法的不足之處是，它不能解決評價指標間相關造成的評價信息重復問題，隸屬函數的確定沒有系統方法，而且合成的算法也有待進一步探討。

人工神經網能夠絡評價法是一種交互式的評價方法，它可以根據用戶期望的輸出不斷修改指標的權值，直到符合實際為止。該方法對于弱化權重的人為因素是有益的，而且具有學習機制，盡可能消除以往權重設置中的人為因素影響，保障權值的有效性和實用性。缺點是，沒有顯性含義的共識，變量間權重的含義難以解釋，而且需要大量的樣本數據來訓練模型，計算復雜，只能借助于計算機來完成。

灰色評價方法是利用灰色關聯確定各評價指標與理想指標的關聯程度，進而根據關聯值確定各評價方案的優劣次序。灰色評價法是一種定性分析和定量分析相結合的綜合評價方法，可以較好的解決評價指標難以準確量化和統計的問題，排除了人為因素的影響。評價結果較為客觀準確，計算量小，過程簡單，無需大的樣本，可靠性強。該方法是一種相對比較，不反應絕對指標。

1978年由著名的運籌學家A.Charnes， W.W.Cooper和 E.Rhodes首先提出了一個被稱為數據包絡分析（Data Envelopment Analysis，簡稱DEA）的方法[2]，評價部門間的相對有效性（因此被稱為DEA有效）。魏權齡教授于1988年出版了國內第一本DEA研究專著[3]，嚴格、系統地論述了DEA方法與模型，給出了DEA的理論框架。DEA方法一出現就以其獨有的特點和優勢受到了人們的關注，不論在理論研究還是在實際應用方面都得到了迅速的發展[4][5]，并取得了多方面的成果，現已成為管理科學、系統工程和決策分析、評價技術等領域中一種常用而且重要的分析工具和研究手段。DEA方法是評價多輸入、多輸出同類部門（或單位）間相對有效性的一種重要方法。

1 績效評估指標體系構建

本文設計的評估指標體系從項目的投入和產出兩部分分析。我們結合科研項目實際情況和評估模型對評估指標的要求，依據指標細化原則，將投入和產出指標細化得出表1所示的指標體系。

由于評價過程中，各項指標的地位和作用是不同的，根據層次分析法（AHP），對表1中的指標進行專家調查和分析，得到各項指標權重表如表2所示。注意到這里的權重是歸一化二級指標項，使得各二級指標都歸一化到[0-1]范圍，因此二級指標中各項的權重和為1。

對于預研性的項目，產出的評價主要看成果的專利、高水平論文以及是否解決國家和重要部門中急需解決的關鍵問題，直接經濟效益不是主要的。設置各項指標的權重后，將其帶入DEA方法構建的模型中計算。

表1 項目評估的指標

表2 指標體系權重表

2 基于DEA方法的績效評估建模

使用DEA方法進行績效評價時，我們可以按照圖1所示的流程進行[6]。

圖1 DEA方法績效評估流程圖

即首先明確評價目標，對決策單元進行分析，帶入DEA模型計算并得出評價結果。

科研項目的績效評估屬于典型的多輸入多輸出問題，這里我們采用CCR模型進行計算，將每一個待評估項目看做一個決策單元（DMU）。設有n個DMUj (1≤j≤n) ，這n個決策單元都具有可比性。每個決策單元都有m種輸入和s種輸出，輸入輸出見圖2。

圖2 多決策單元輸入輸出數據

其中，xij=D M Uj對第i 種輸入的投入量，xij>0，記Xj=(x1j,x2j,...xmj)T，j=1,...n。

yrj=D M Uj對 第r 種 輸 出 的 產 出量，yrj>0，記為Yj=(y1j,y2j,...ysj)T，j=1,...n。

對 輸 入 變 量 的 權 重 記 為v=(v1,v2,...vm)T；輸出變量的權重記為 u=(u1,u2,...us)T。

CCR模型可以表示為：

（1）當上式的最優值等于1，則決策單元j0為弱DEA有效。反之亦然。

在使用CCR模型對決策單元的有效性進行評估的過程中，會出現多個決策單元同時有效的情況，這些有效的決策單元之間無法用CCR模型進一步進行有效程度的評估比較。這時引入超效率DEA模型，對有效決策單元之間的效率進行比較。

超效率DEA模型的基本思路是：在評估某個決策單元的時候，將該決策單元排除在決策單元的集合之外，通過將該決策單元的投入和產出被其他所有其他決策單元的投入和產出的線性組合代替的方法，使得有效決策單元之間也能比較效率的高低。從而實現所有決策單元的充分排序。

通過CCR模型與超效率模型相結合的方法，我們可以得出科研項目之間的效率排名以及各決策單元調整投入的幅度，擴大產出的可能方向和程度。

3 科研項目驗收績效評估案例分析

根據2012年7月xx市驗收的6個科研項目，我們采用數據采集，調查問卷，查詢記錄等方式，對其進行了一定了解。采用本文提出的DEA方法，對6個科研項目驗收的績效進行評估。發現問題，給出結論和改進方向并解決問題。

我們評價六個科研項目，分別把這六個項目作為決策單元（DMU）。為了簡化計算，我們將三、四級指標與權重計算后轉化為二級指標帶入CCR模型進行計算，通過對項目的投入和產出數據的采集，我們得到的數據表3。

其中投入I1表示人員，單位為人；I2表示研制時間，單位為天；I3為研制經費，單位為萬元。產出以百分制打分（專家打分），包括產出O1為任務完成情況；O2為項目的學術影響；O3為項目效益。將數據代入CCR模型中進行計算，獲得計算結果如表4所示。

由計算結果顯示DMUj (j=1，5)為DEA有效，不存在投入和產出冗余，投入冗余和產出冗余都為零。無效的（低效）決策單元為DMUj（j=2，3，4，6），即存在投入或者產出冗余。計算所得為6個科研項目的相對效率值。表4中所示產出投入冗余均為相對值，而非絕對值。其中，投入冗余表示該在相應項目上的投入存在過投入的情況；輸出冗余則表示該單位在此項目上存在輸出不足的情況。通過表4的結果，我們可以得出如下結論，低效單元普遍存在經費投入過量的問題，其中DMU2和DMU4存在人員投入過量，DMU4和DMU6存在研究時間過長的問題。

對于DMU1和DMU5，僅僅通過CCR模型無法比較出兩者的優劣，此時我們利用超效率DEA模型對其進一步計算。如表5所示。

通過對DMU1和DMU5進行超效率DEA模型分析，發現DMU1>DMU5，DMU6的研究時間應進一步縮短，項目效益應提高。即6個科研單位的績效排序為DMU1>DMU5>DMU6>DMU2>DMU3 >DMU4 。

對于產生的冗余，我們可以用如下方法進行修正。設某DMU的效率為θ，投入冗余為S，輸出冗余為O。我們可以得到其優化的投入和產出值，改進的公式如下：

表3 決策單元數據表

表4 CCR模型計算結果表

表5 超效率DEA模型計算結果表

其中S,O為當前投入產出值，S',O'為當前投入產出值為優化后的投入產出值，通過優化值與當前值作對比，即可量化投入產出的改進程度，為科研單位提供了參考方案，有助于單位改進方法，提高效率。

4 結語

本文提供了一種通過建立指標體系，用DEA的多種模型分析計算的方法，對科研項目驗收過程中的指標績效進行了評估，對決策單元的相對效率進行了排序，并提供了改進公式。通過一個案例驗證該方法的有效性，為相關部門對科研院所所承擔的項目驗收績效排序提供了一種可操作的思路。DEA方法有一套復雜的模型體系，衍生的模型也有許多。研究人員可以進一步探索DEA方法在項目評價中的應用，得出更科學的評價結果。

[1]譚躍進，陳英武，易進先.系統工程原理.[M].長沙:國防科學技術大學出版社，2008

[2]Charnes A，Cooper W. W，Rhodes E. Measuring the efficiency of decision making units. European Journal of Operational Research，1978，2：429-444

[3]魏權齡.數據包絡分析.北京：科學出版社，2004

[4]馬占新.數據包絡分析模型與方法.北京：科學出版社．[M]，2010，1-10

[5]盛昭瀚，朱喬，吳廣謀. DEA理論、方法與應用，1996

[6]Andersen P Petersen N C.A Procedure for Ranking Efficient Units in Data Envelopment Analysis[J].Management Science，1993