城市軌道交通科研項目評價方法研究

王萌萌 史慕天

(1.中國科學院大學 北京 100049； 2.北京交通大學海濱學院 河北滄州 061199)

城市軌道交通科研項目評價方法研究

王萌萌1史慕天2

(1.中國科學院大學 北京 100049； 2.北京交通大學海濱學院 河北滄州 061199)

為提高城市軌道交通建設水平，開展了大量科技攻關項目研究并投入大量資金，如何評定研究成果優劣，對軌道交通科研項目的評價就顯得越來越重要。提出以結果為導向進行績效管理的評價方法，并運用3E理論和層次分析法構建以定量評價為主的評價體系框架，為未來軌道交通科研項目管理制度的改革提供理論基礎。

城市軌道交通；項目評價；績效管理

近10年來，我國的軌道交通獲得了空前的發展機遇，被視為疏解交通擁堵、突破城市發展瓶頸的重要途徑。在城市軌道交通快速發展的過程中,為了節省工程投資,我國政府規定了國產化率的比例,這一舉措大大促進了該領域科研工作和自主創新工作的開展。國家和地方政府，甚至企業都大力開展了科技攻關，增加了大量科研經費的投入，形成了推動行業發展的重要動力。為了更好地全面展開項目研究、技術創新，提高科研經費的使用效率，引入以結果為導向的績效管理理論，開展對城市軌道交通科研項目評價方法的研究，這對于提高城市軌道交通項目科研管理水平，具有重要的理論與實踐價值。

1 確立以結果為導向的管理目標

長期以來我國對于科研項目管理改革的重點主要集中在過程控制取向的制度建設，雖然取 得 了 不 少 成果，克服了資金使用不規范、監管不 力 等 問 題，但 隨 著改革的深入，這種以過程控制為導向的制度，其局限性逐漸凸顯。很多問題不僅僅來自于制度本身的設計缺陷，其根源在于管理目標上的偏差和管理理念上的不適應。實踐證明，對于研究過程過于嚴格精細的控制不但起不到積極的推動作用，反而會造成一定的限制。因此，對項目管理制度的完善必須從統一科研和管理的目的入手，把項目管理的關注點放到成果上去，推行以結果為導向的績效管理制度。

2 建立以績效為基準的評價模型

以績效為基準建立評價模型對項目進行考評是建立以結果為導向的管理制度的核心環節，也是一個世界范圍內的研究熱點。盡管目前沒有一個公認的指標體系可供借鑒，但依據國內外政府和民間已經取得的大量理論和實踐成果，可以建立一套相對合理的評價指標體系。

根據新公共管理理論中的“3E”理論，對績效結果的評價一般從3個方面進行指標的選取和分解，即效果性(effectiveness)、效率性(efficiency)、經濟性(economy)。對于科研活動，也可以依此方式進行分解，如圖1所示。

圖1 以結果為導向的科研過程“3E”指標體系

與企業中實現的“投入—過程—產出”的結果導向績效管理略有不同，由于城市軌道交通科研自身具有戰略性、公益性和政策導向，不能簡單地用產出經濟指標作為衡量，還應考慮到成果自身具有的發展潛力及社會影響。因此在依照“以結果為導向”的理念對科研活動進行過程分解時,應在企業的“投入—產出”程序后延伸一步，筆者將其稱為“投入—過程—產出—結果”的科研活動程序，并針對這個過程劃分出4類指標進行效果性、效率性、經濟性的績效綜合評價。

3 運用層次分析法構建評價體系

以軌道交通類應用研究項目結題驗收為例，對評價指標進行選擇和分解，具體見表1。

表1 軌道交通類應用研究項目評價指標

在權重的確定上通常采用的方法是層次分析法和熵值法，筆者選取可對定性和定量資料進行綜合分析的層次分析法進行指標權重的計算。首先邀請從事城市軌道交通科研工作的六位專家對項目績效評價中的各項指標重要度進行評價，將每位專家的打分結果進行分析匯總，用幾何平均方案構造歸并后的判斷矩陣，見表2～5。

表2 效果性(B1)指標判斷矩陣

表3 效率性(B2)指標判斷矩陣

表4 經濟性(B3)指標判斷矩陣

表5 城市軌道交通項目績效(A)指標判斷矩陣

對以上判斷矩陣進行一致性檢驗，結果如表6所示，其中W為歸一后的特征權向量，λmax為最大特征值，二者均通過Matlab7.0軟件運算得出。

表6 判斷矩陣一致性檢驗

除Ci→B3矩陣為二階矩陣，無需檢驗一致性以外，其他矩陣CR值均小于0.1，一致性檢驗通過，即由以上判斷矩陣計算得出的指標權重是合理的，其中一級指標權重見表7。

表7 項目評價一級指標權重

從一級指標的權重來看，效果性指標所占比例最大，這也體現出科研項目績效管理中的一個突出特點，即對于科研績效的追逐不僅涉及工作數量和工作效率，更加看重的是科研成果對于宏觀層面的效益和影響，特別是成果在產出后較長時期內產業化和市場化的預期以及拉動經濟增長和社會進步的貢獻程度。

同理可以得到其他3個矩陣分別對應的二級指標權重,見表8。

表8 軌道交通項目績效評價指標權重

最后對指標層次和權重進行總排序，同時檢驗總排序的一致性。

CR<0.1，層次總排序一致性檢驗通過。

將一級指標和二級指標的權數兩兩相乘即可得到此套評價體系內各指標的相應權重，同時以立項時設定的績效目標完成情況和質量為依據設定評價標準并賦予相應分值，便可得到城市軌道交通應用研究項目結題階段的績效評價體系，具體見表9。

表9 城市軌道交通應用研究項目績效評價體系

其中：a為績效目標完成率，a=績效目標值/實際完成值×100%

為驗證此評價體系的可行性，特選取某科研機構與城市軌道交通相關的項目進行實證分析。對照項目任務書中的績效目標，各評價指標完成情況如下。

1) 成果先進性C1：通過技術驗收測試，研究成果均已達到或超出任務書中考核指標，但部分核心部件沒有掌握自主創新知識產權，總體來說基本完成了預期目標。

2) 產業帶動增長率C2：項目任務書中要求進行產業化推廣但未對產業帶動增長率設定具體標準。項目實際投入299.30萬元，進行成果轉化取得有效期五年的技術轉讓金額500萬元，同時簽訂了未來五年的技術合作協議金額1 000萬元，投入產出率501.17%。根據經驗可判定為超出目標要求。

3) 交通發展貢獻度C3：根據驗收專家組的評審意見，項目研究成果對于提高軌道交通建設水平的貢獻明顯，達到項目預期目標。

4) 論文專利量C4：任務書中要求發表國內核心期刊以上級別和國際論文2篇以上，取得專利2項，實際完成情況為發表論文11篇，其中EI檢索3篇，取得專利4項。論文專利完成量大于100%。

5) 項目完成時效C5：項目計劃執行期為2009年6月至2011年6月，實際完成時間為2012年2月29日，超期8個月，完成時效133%。

6) 人才培養完成率C6：任務書中要求培養博士生3名，碩士生1名。實際依托此項目完成畢業論文的博士生1名，碩士生1名，另有2名博士生在讀，博士后出站1名。人才培養完成率75%。

7) 資金到位率C7：項目預算300萬元，其中財政撥款150萬元，自籌經費150萬元，資金到位率100%。

8) 資金使用率C8：項目預算300萬元，財政資金支出經費149.28萬元，自籌支出經費150.02萬元，總計299.30萬元，資金使用率99.77%。

由此，該項目績效評價結果如表10所示。項目績效總得分87.27分，說明該項目完成情況良好，基本實現了項目預期目標。

表10 某項目績效評價

4 結語

以績效為基準進行考評是貫徹以結果為導向的項目管理制度的必要手段，事前設定績效目標，事后針對目標完成情況進行評價和反饋，一方面可以降低項目申請中過多的行政干預，另一方面將項目執行中各參與方的管理目標統一起來，消除“委托—代理”關系中的“激勵不相容”問題。評價指標按“3E”理論進行選取并通過層次分析法計算權重后，“產業帶動增長率”和“交通發展貢獻度”等更注重于項目效益和長遠發展的指標獲得了較高的權重，與“以結果為導向”的理念相吻合，同時對于城市軌道交通科研項目研究成果推動交通事業進步、實現社會效益最大化具有良好的引導作用。“資金到位率”指標的權重較高則反映出科研活動對于資源投入的依賴性，充足的資金供給為項目順利實施提供必要保障。應用此套績效評價體系實現了績效結果量化展示，一方面有利于通過橫向比較引導科技資源的擇優配置，另一方面通過縱向比較改善自身的科研管理水平。

由于時間和水平的局限，筆者對于城市軌道交通項目績效評價體系的指標取舍和分解考慮的可能不夠細致和全面，對于權重的確定也可能存在更為合理有效的方法。相信在未來隨著我國科研管理改革的 不 斷深入，相關理論和實踐的持續積累，關于這一方面的研究會更加科學、系統和全面。

[2] 陸明.城市軌道交通系統綜合效益研究[D].北京：北京交通大學,2012.

[3] 戚湧,李千目.科學研究績效評價的理論與方法[M].北京：科學出版社,2009.

[4] 王黎明,曹怡春.交通科技管理工作探析[J].科技創新與應用,2013(17):297.

[5] 洪曉楓.交通科技成果評價理論與方法研究[D].武漢：武漢理工大學,2003.

[7] 謝素華.基于綜合指數的交通科技項目績效評價方法研究[D].西安：長安大學,2009.

(編輯：王艷菊)

Evaluation Methods for Research Projects on Urban Rail Transit

Wang Mengmeng1Shi Mutian2

(1. University of Chinese Academy of Sciences, Beijing 100049; 2. Beijing Jiaotong University Haibin College, Cangzhou, Hebei 061199)

In order to improve the construction standard of urban rail transit, a large number of science and technology key projects and fund investment are needed. How to evaluate rail transit R&D projectsis becoming more and more important.This paper puts forward suggestion about performance management in result orientation. It adopts the “3E” theory and AHP method to build quantitative evaluation systemand provides theoretical basis for the future reform of rail transit R&D project management system.

urban rail transit; project evaluation; performance management

王萌萌，女，會計師，碩士研究生，研究方向為科技政策與管理，wmeng@mail.ioa.ac.cn

F530.7

A