張 龍,肖琬蓉,施韶亭,楊生舉,曾碩勛
(甘肅省科學技術情報研究所,甘肅 蘭州 730000)
地方科技平臺績效評價支持系統開發研究*
張 龍,肖琬蓉△,施韶亭,楊生舉,曾碩勛
(甘肅省科學技術情報研究所,甘肅 蘭州 730000)
針對傳統績效評價模式在考核管理工作中的局限與不足,在對科技平臺評價主體、評價客體、評價指標、評價方法分析研究的基礎上,提出基于B/S模式的地方科技平臺績效評價解決方案。利用可視化控制、管理方法,構建集考評信息采集、考評指標定義、專家用戶評議、考評分值計算、考評結果統計查詢于一體的綜合績效評價系統,并充分考慮科技平臺未來演變與發展需求,建立評價指標體系的動態定義管理,以增強系統的靈活性與通用性。應用結果表明:該系統規范了科技平臺績效考核流程,提升了考評管理工作效率,提高了考核結果的精準性,為科技平臺的科學評價與管理決策提供了有益支撐。
科技平臺,績效評價,支持管理系統
2004年科技部、財政部、發改委、教育部聯合頒布了 《2004~2010年國家科技基礎條件平臺建設綱要》,啟動實施了一批國家科技基礎條件平臺建設計劃。根據《綱要》精神,各省市為提升地方科技資源的有效利用,解決行業共性技術需求,結合自身經濟和社會發展實際,也陸續建立了一批地方科技創新服務平臺[1]。目前,這些科技平臺已逐漸從資源建設轉向運行服務階段。為加強科技平臺的監督管理,建立科學有效的激勵機制,推進科技資源的共享利用,科技平臺的績效評價工作在國家與各省市相繼展開,并成為當前科技平臺建設發展過程中一項十分重要和必要的工作。
科技平臺的績效評價是通過績效評價指標體系的構建,對科技平臺的資源整合力度、共享服務成效、科技創新能力作出客觀、公正和準確的綜合評價,以此建立激勵機制,充分調動平臺參建各方的積極性,促進科技資源的開放共享與有效利用。同時,為國家或地方政府進一步的支持投入和制定科技政策提供決策依據,以推進科技平臺持續健康發展。考慮到科技平臺涉及的資源類型復雜、覆蓋面廣,參建部門多,其資源整合方式、組織管理模式、共享服務機制等方面的差異性較大等因素,為規范科技平臺績效考核流程、提升科技平臺考評工作效率、提高考核結果的精準性,提出基于B/S(Browser/Server,瀏覽器/服務器)模式的地方科技平臺績效評價解決方案。
1.1 系統總體構架
通過對地方科技平臺評價主體、評價客體、評價指標、評價方法的分析研究,設計開發了集考評信息采集、指標動態定義、專家用戶評議、考評分值計算、結果統計查詢于一體的綜合績效評價支持系統[2]。該系統采用基于B/S三層體系結構將系統劃分為表示層、應用層和數據層[3]。表示層是Web客戶端,即系統管理員、授權用戶、平臺用戶、專家用戶和服務對象等各級授權用戶的登錄接口;應用層是系統的可視化管理模塊,由考核信息管理、考核配置管理、考核評價管理與考核結果管理等四大應用模塊構成,是本系統的核心;數據層是各類文件、系統數據及資源數據的存儲系統。考慮到科技平臺類型的差異與未來發展需求,其指標體系采用動態定義管理模式,以便于日后的修訂與完善,系統總體構架如圖1所示。
1.2 系統功能結構
1.2.1 系統應用功能
根據科技平臺考評工作流程,系統功能設計采用可視化管理模式,來提升系統的易用性。整個系統由四大功能模塊構成,即考核信息管理、考核配置管理、考核評價管理、考核結果管理[4]。其中,考核信息管理模塊包括:自評信息填報、填報信息審核、填報信息查看、填報信息維護等功能;考核配置管理模塊包括:系統權限管理、考核指標管理、指標權重管理、考核模型管理等功能,系統管理員具有該模塊唯一管理權限;考核評價管理包括:服務對象評價、專家評價、定性數據管理、定量數據管理、考核分數計算、考核等級評價;考核結果管理模塊包括:考核結果查詢、考核結果統計。系統應用功能結構如圖2所示。

圖1 系統總體構架

圖2 系統功能結構
1.2.2 系統用例設計
用例(Use Case)是UML中非常重要的概念,是貫穿整個系統開發的一條主線,它通過用例圖以一種可視化的方式形象的描述了系統功能需求,即:角色、用例以及它們之間的關系,展示了一個外部用戶能夠觀察到的系統功能模型圖[5]。本系統用例圖:采用分級權限管理機制,將用戶角色分為五類,即系統管理員、授權用戶、平臺用戶、服務對象和專家用戶等,角色在系統操作中的用例主要有權限管理、指標管理、考核模型管理、平臺信息填報、填報信息修改、填報信息管理、填報信息查看、填報信息審核、定性與定量數據管理、考核分值計算、考核等級評價、考核結果查詢、考核結果統計等,不同角色用戶具有不同的操作權限。其中,系統用戶主要負責用戶權限、評價指標、指標權重、考核模型等的管理;授權用戶負責填報信息審核、定性與定量數據管理、考核分值計算、考核等級評價,并具有填報信息查看、考核結果查詢、統計等權限;平臺用戶負責自評信息填報、服務對象授權,同時具有填報信息維護、考評結果查詢等功能;服務對象負責對接受服務的平臺做出滿意度評價;專家用戶通過對各平臺自評信息的查閱,進行平臺定性考核指標的評價。系統用例如圖3所示。

圖3 系統用例圖
1.3 評價體系設計
1.3.1 指標體系
參考國家科技平臺績效評價總體框架[6],結合地方科技平臺功能定位、類型差異,認真分析研究區域科技平臺考核范圍、評價內容[7],遵循客觀、公正、科學、規范的原則,采用定性和定量相結合的方法,分別從運行管理、共享服務、服務成效、創新能力四個方面制定了四個一級指標、11個二級指標和26個三級指標(見表1)。在指標權重比重設定上將針對平臺類型的不同有所側重,科技基礎條件平臺主要側重科技資源整合利用情況及科技服務范圍與社會效益,行業創新服務平臺則側重研發創新能力、技術服務成效及經濟效益。考慮到未來的發展,在該系統功能設計中,指標與權重采用動態定義管理模式,這樣便于日后指標與權重的修訂與完善,提升考評工作的靈活性,并增強系統的通用性。

表1 地方科技平臺指標體系
1.3.2 評價模型
根據考核內容的不同,構建不同的考核模型[8],即定性評價模型、定量評價模型與混合評價模型。首先,分別應用定性評價模型、定量評價模型完成定性與定量指標的計算,然后應用混合評價模型對科技平臺的定性、定量評價結果進行綜合評議。由于不同平臺的同一指標存在不同質的問題,因此在定量評價之前需要對相關指標進行無量綱化處理。
各評價模型與無量綱化處理方法如下:
1)定性評價模型:

其中,A——定性評價績效;
m——末級定性指標個數;
n——評議專家(或用戶)數量;
Fj——末級指標權重;
Mi——評議專家(或用戶)評分分值;
Mmax——評議專家 (或用戶)中評分最高的分值;
Mmin——評議專家 (或用戶)中評分最低的分值;
2)定量評價模型:

其中,A——定量評價績效;
n——末級定量指標個數;
Fj——末級定量指標權重;
Mj——末級定量指標分值。
3)混合評價模型:

其中,A——綜合績效;
k——此次考核包含定性與定量模型的個數;
Aj——某個模型得分。
4)無量綱化處理方法:

其中,M——定量指標分值;
P——該平臺定量指標值;
2.1 系統開發運行環境
1)服務器端
系統運行平臺:MS Windows Server 2008。
Web服務器:Apache HTTP Server 2.2.8。
開發工具:采用PHP-5.0開發語言及Zend Stu-dio9.0.4集成開發環境。
建模工具:Sybase PowerDesigner 9。
數據庫:Microsoft SQL Server 2008。
通信協議:TCP/IP協議 。
2)客戶端
系統運行平臺:Windows XP/7/8。
瀏覽器:Microsoft Information Explorer(IE)8.0以上版本
2.2 考核信息管理模塊
根據考評工作需求,考評信息管理模塊是實現各被考核科技平臺考評信息采集、審核、查閱等的操作,即包括自評信息填報、填報信息審核、填報信息查看、填報信息打印與填報信息維護等功能。其中,自評信息填報是各科技平臺填報信息的入口,各科技平臺承擔單位根據所屬科技平臺類型,填報考核自評信息,其內容包括自評表填寫、自評總結與相關附件清單上傳等功能;填報信息審核是對各科技平臺所填報的考核自評信息的規范性進行審核(由授權用戶進行審核),未通過審核的自評信息將退回相應科技平臺承擔單位重新修改填報,通過審核的自評信息將作為考核評價的參考依據提交考評組,不能再做修改;填報信息查看主要是為平臺用戶、考評專家、授權用戶提供考評信息的查閱,授權用戶與考評專家可查看所有被考評平臺的填報信息,平臺用戶僅能查看自填信息;填報信息下載打印功能主要是為被考核平臺提交紙質自評報告設計的,該功能對平臺用戶與授權用戶可用。
2.3 考核配置管理模塊
考核配置管理模塊是系統權限管理與評價體系管理的功能模塊。為推進科技平臺考評工作的科學化,評價指標體系應在穩定性和發展性的平衡中不斷進行優化。考慮到考核對象自身的發展及評判價值觀的演變,本系統評價指標設置、指標權重賦值、考核模型選定采用了自定義方式[9],以增強系統的靈活性。系統評價指標管理界面如圖4所示。

圖4 評價指標管理界面
考核配置管理模塊主要包括考核指標管理、指標權重賦值、考核模型管理和系統權限管理四部分。其中,系統權限管理是用于用戶權限的管理模塊,系統管理員具有該模塊所有功能的管理權限,由系統管理員為授權用戶、評審專家、平臺用戶授權,平臺用戶可對其服務對象授權;考核指標管理(包括指標權重管理)可按樹狀結構靈活構建與管理指標樹,其定義內容有指標名稱、指標類型、指標說明、指標權重等(如圖5所示);考核模型管理是根據考核對象的不同,選擇不同的考核模型,如定性評價模型、定量評價模型、混合評價模型等。

圖5 評價指標及權重自定義界面
2.4 考核評價管理模塊
考核評價管理模塊是考評工作的核心,功能包括:服務對象評價、專家評價、定性數據管理、定量數據管理、考核分數計算、考核等級評價等。其中,服務對象評價是用戶對平臺的評價,服務對象通過登錄系統,提取用戶評價指標,對平臺服務情況進行評價打分;專家評價則是專家對平臺的評價,專家通過登錄系統,閱讀各平臺自評報告,分別提取相應平臺定性評價指標,對其進行評價打分(如圖6所示);定性數據管理功能將對通過專家與用戶評價的指標數據的規范化進行審核,未通過審核的數據將退回專家或用戶重新修改,通過審核的數據將作為績效評價的最終數據,提交考核評價指標庫中;定量數據管理功能是通過直接提取各平臺填報的定量指標數據,對其真實性、規范性進行進一步審核,未通過審核的數據將退回相應平臺重新修改,通過審核的數據經無量綱化處理后,提交到考核評價指標庫中;考核分數計算功能是根據定性、定量評價指標的不同,選擇相應評價模型,提取相應指標數據(定性或定量指標),進行分值計算,包括各定量指標的平均值計算,定性、定量及綜合績效分值計算,各頂級指標的計算及排序;考核等級評價功能則是根據各平臺頂級指標計算與排序結果以及綜合考評分值,填寫考評分析說明與考評意見,最終生成考評報告。

圖6 專家評審界面
2.5 考核評結果管理模塊
考核結果管理模塊包括考核結果查詢與考核結果統計功能,其中,考核結果查詢按年度提供平臺的考核結果查詢,包括各平臺定量指標分值、定性評價分值、綜合績效分值、考評意見等(如圖7所示)。系統用戶與授權用戶具有上述所有功能查詢權限,平臺用戶僅能查詢各自平臺的績效分值與考評意見;考核結果統計提供所有科技平臺的考核結果統計,可選擇按科技平臺類型進行統計,統計內容包括:經費投入、經濟效益(分別統計直接與間接效益)、承擔項目(分別統計國家與省部級)、完成成果、獲獎及取得知識產權數量等統計。

圖7 考核結果查詢界面
科技平臺績效評價支持系統是根據地方科技平臺績效考核管理需求設計開發的,該系統是一個集考評信息采集、專家與用戶評議、考評分值計算、考評結果統計查詢為一體的綜合性評價管理支持系統,目前已應用于甘肅省科技創新平臺的績效考評管理中,甘肅省科技廳利用該系統已完成了2012年與2013年兩年甘肅省的科技基礎條件平臺與行業技術服務平臺的考評工作。該系統的開發研究對甘肅省科技創新平臺的科學評價與管理決策提供了有益支撐。同時,系統在評價指標體系的應用中采用了自定義模式,不僅提高了系統的靈活性,而且也增強了系統的通用性,為進一步推廣應用奠定了基礎。
[1] 申屠俊捷,蘭文燕.公共科技創新服務平臺績效評估指標體系研究[J].2009,(7):90-93.
[2] 鐘久隆,周琪云,朱隆尹.基于B/S結構的銀行績效考核系統的設計方案[J].計算機與現代化,2007,(7):73-77.
[3] 鄧良松,劉海巖,陸麗娜.軟件工程[M].西安:西安電子科技大學出版社,2004.
[4] 張華波,郝平,金永夫,等.基于DM的科技計劃項目績效評價系統的設計[J].控制工程,2009,16(9):114-116.
[5] M.L.Liu.分布式計算原理與應用[M].北京:清華大學出版社,2004.
[6] 胡永健.基于多屬性決策的國家科技基礎條件平臺運行服務績效評估研究[J].中國科技論壇,2009,(12):3-7.
[7] 陳丹青,溫琴娜,周艷,等.基于AHP的區域創新科技服務平臺績效評價指標體系研究[J].消費導刊,2009,(2):206-207.
[8] 劉生建,洪洲.績效考核系統的產品化設計及實現[J].中國科技信息,2011,(14):145-146,151.
[9] 孫健英,王霞.基于科研機構的績效考核系統設計[J].科技促進發展,2012,(10):16-165.
TP311
本文系甘肅省技術研究與開發專項計劃項目“甘肅省科技創新服務平臺績效考核指標體系構建與評價支持系統開發研究”(1205TCYA040)研究成果之一。
△ 通訊作者:肖琬蓉,甘肅省科學技術情報研究所。