基于ANP的科技計劃項目績效評價方法*

杜元偉 王素素 楊 寧

(中國海洋大學 管理學院，山東 青島 266100)

基于ANP的科技計劃項目績效評價方法*

杜元偉 王素素 楊 寧

(中國海洋大學 管理學院，山東 青島 266100)

為了解決科技計劃項目績效評價在指標體系上尚未形成統一規范、在評價方法上尚未考慮指標之間作用關系對績效評價結果影響的問題，首先從項目執行情況、項目取得成果、成果轉化應用、人才培養情況、應用前景情況等方面構建了科技計劃項目績效評價指標體系，然后通過分析指標之間的相互作用關系提出了科技計劃項目績效評價的系統分析結構，在此基礎上采用網絡分析法給出了科技計劃項目績效評價的方法步驟，突破了傳統方法要求指標之間相互獨立的條件限制。最后應用提出方法對山東省科技計劃項目進行案例模擬求解，得到了案例項目的績效評價排序。

科技計劃項目；績效評價方法；網絡分析法；評價指標體系

一、引言

科技計劃項目是為解決當前階段所面臨的復雜科學與技術問題，由政府部門制定研究與試驗工作計劃，個人或單位以項目形式申報承擔并在一定時間內完成的科學技術研究開發活動。國家科技部、財政部和發展改革委于2016年聯合發布了《科技評估工作規定(試行)辦法》，其中明確了對科技計劃項目進行績效評價的重要作用，指出績效評價能夠為科技計劃項目的滾動實施、促進科研成果的轉化和應用、完善科技管理的追蹤問責提供有力依據。對科技計劃項目績效進行評價已成為“十三五”科技體制改革的重要內容。

近年來國內外專家學者圍繞著科技計劃項目的管理模式、評價方法、信息化等專題進行了大量研究，也獲得了頗為豐碩的成果，[1-3]如在管理模式方面提出了知識資本管理模式、全過程管理平臺模式、項目生命周期管理等模式；在評價方法方面提出了同行評議、權威決策、行政拍板、層次分析法、目標規劃法等定性或定量方法；在管理信息化方面提出了項目管理信息化、專家管理信息化，以及科研成果管理信息化等觀點。雖然上述成果對本項研究具有一定的借鑒意義，但是它們更多的是從項目立項和過程控制層面展開的，無論是在評價指標選擇方面還是在評價方法構建方面都不能直接應用于解決科技計劃項目績效評價問題。[4]值得慶幸的是，近幾年開始有學者注意到科技計劃項目的績效評價問題，并從國家和地方兩個層面進行了一定程度的探討。在國家層面上，萬紅波、康明玉通過分析國家科技計劃項目的特點、對象和內容，從項目投入、過程、產出、效果等方面建立了適用于國家科技計劃項目績效評價的指標體系；[5]楊道建、趙喜倉、陳海波從人員、學術、社會、經濟等方面建立了科技計劃項目績效評價指標體系，并指出在評價過程中應注意靜態評價與動態評價相結合以及建立有效反饋機制等問題；[6]宋東林、付丙海、唐恒基于全生命周期視角從項目的立項、實施、結題驗收、成果轉化四個階段選取指標，建立了開展科技計劃項目過程管理的評價指標體系。[7]在地方層面上，王建國、李海波等從應用績效、研究水平、保障能力等方面探討了用于評價山東省軟科學研究機構運行效率的評價指標體系；[8]高寶森構建了適用于內蒙古自治區的科技計劃項目績效評價指標體系及評價方法；[9]張小菁將地方科技計劃項目劃分為技術開發類和科技支撐類，并從效益和管理兩個方面構建了績效評價指標體系和評價模型。[10]

不難發現，無論是在國家層面上還是地方層面上，現有研究成果在科技計劃項目績效評價指標方面眾說紛紜、尚未形成統一規范，在評價方法上都假設所構建的評價指標之間相互獨立、尚未考慮指標之間作用關系對績效評價結果的影響問題。有鑒于此，本文在提出科技計劃項目績效評價指標體系的基礎上，基于網絡分析法(Analytic Network Process，ANP)構建了科技計劃項目績效評價方法。

二、科技計劃項目績效評價指標體系

考慮到科技計劃項目的績效評價指標既要全面綜合地反映項目整體運行情況，發揮財政宏觀調控的導向作用和相關政策的激勵作用，又要提升評價指標的可操作性、降低評價成本、提高數據的可獲取性。[11-13]正因如此，科技計劃項目績效評價指標的選擇要遵循系統性、導向性、可操作性、數據易獲性等原則。其中，系統性是指設置的評價指標要從不同視角全面而綜合地反映科技計劃項目績效的表現情況；導向性是指評價指標應有利于激勵科技計劃項目產出與政策導向相符的研究成果；可操作性是指評價指標應簡單明了、內涵清晰并易于開展評價，數據易獲性是指評價指標能夠在一定程度上對項目績效進行有效的定量評價。[14]遵循上述指標識別原則，在借鑒國內外相關研究成果的基礎上，從項目執行情況、項目取得成果、成果轉化應用、人才培養情況、應用前景情況進行科技計劃項目績效評價指標體系的設計。其中，項目執行情況評價的是與項目立項時在申請書或任務書中制定的計劃相比，項目在結題時對該計劃的執行情況；項目取得成果指標評價的是項目中產出的成果的數量、質量等相關情況；成果轉化應用指標評價的是項目產出成果的轉化及應用情況；人才培養情況評價的是待評項目在對中青年學科帶頭人、出站博士后、畢業博士，以及畢業碩士的培養方面的貢獻情況；應用前景情況評價的是待評項目產出的成果在各個方面做出貢獻的程度。在借鑒包括國家自然科學基金、國家社科基金績效評價等在內的眾多國內外相關研究成果的基礎上，[15-17]本文構建的科技計劃項目績效評價指標體系具體如表1所示。

表1 科技計劃項目績效評價指標體系

三、考慮指標間作用關系的系統分析結構

科技計劃項目的績效評價指標可以歸類為項目執行情況、項目取得成果、成果應用轉化等五個層面的指標集，但這些指標集及其所含指標之間并不是完全獨立、互不影響的，而是存在著相互影響和相互作用的關系。

項目執行情況下設按計劃執行情況與研究目標完成情況兩個二級指標，分別評價項目計劃的完成度與目標的完成度。顯然，獲獎情況、論文與專著、中青年學術帶頭人等其他12個二級指標的預期目標都應在項目計劃書中有所體現，所以按計劃執行情況與研究目標完成情況對其他12個二級指標都有影響。

項目取得成果下設獲獎情況、論文與專著、學術報告三個二級指標，主要評價項目產出的成果、成果獲獎，以及因項目參加或舉辦學術會議而作出學術報告的情況。項目在這三方面取得的成果能夠體現項目部分計劃與目標的完成情況，也有助于培養人才，擴大成果影響力，促進成果應用轉化，提高項目成果在學術、經濟、社會等方面的貢獻程度。另外，項目獲獎情況對作出學術報告具有推動作用，論文與專著的產出作為項目獲獎的依據之一會影響項目的獲獎情況，學術報告的水平也可能會影響項目獲獎情況。

成果轉化應用下設專利、標準、軟著，技術轉讓、技術許可，作價投資、經濟效益三個二級指標，主要評價項目成果向技術應用和經濟效益轉化的情況。上述三方面的成果轉化應用情況作為項目計劃與目標的一部分必然對項目執行情況產生影響，成果轉化應用情況的好壞作為項目獲獎的依據之一對項目獲獎情況也有影響，成果轉化應用的程度對項目參與人員的科研能力提出了要求，并決定了項目在經濟發展、社會建設方面的貢獻程度。另外，專利、標準、軟著作為技術或成果的載體影響著技術轉讓、作價投資等指標，并且對學術研究與發展起到了促進作用。

人才培養情況下設中青年學科帶頭人、出站博士后與畢業博士、畢業碩士三個二級指標，主要評價項目在人才培養方面的貢獻情況。上述三方面的人才作為科技計劃項目的具體設計者與實施者，會對項目的各個方面都有影響，特別是中青年學科帶頭人一般會作為科技計劃項目組的負責人，對項目任務的分配、項目成果質量的把關、項目創新性的引導負主要責任，從而對其領導下的博士后、博士、碩士等人才的培養發揮作用。

應用前景情況下設應用于學術研究、應用于經濟發展、應用于社會建設三個二級指標，主要評價項目成果在學術、經濟、社會等方面作出貢獻的程度。項目成果在學術、經濟、社會三個方面作出貢獻的程度作為項目計劃和目標的一部分對項目執行情況存在影響，這些應用前景對項目取得成果和人才培養起到了一定的引導和促進的作用，項目在經濟、社會方面的貢獻程度對促進成果應用、轉化為經濟效益也起到了推動作用。另外學術、經濟、社會本身是相互作用、相互影響的，所以項目在這三方面作出的貢獻也會相互影響。

本文根據上述指標間作用關系構建科技計劃項目績效評價的系統分析結構，具體如圖1所示。需要說明的是，圖中單向箭頭如“A→B”表示A會對B產生影響，弧形箭頭表示指標集的內部元素之間可能會相互影響，雙向箭頭代表其連接的兩個指標集之間會相互影響。

圖1 系統分析結構圖

四、科技計劃項目績效評價方法步驟

對于科技計劃項目績效的評價方法，目前比較具有代表性的是層次分析法、德爾斐法、主成分分析法等，其中影響較大、應用最多的是層次分析法(Analytic Hierarchy Process，AHP)。AHP方法的特點是能夠處理社會經濟系統用數學模型無法進行精確描述的復雜性問題，可以將復雜問題按照遞階層次結構分解成若干個簡單問題，通過計算層次單排序和層次總排序對備選方案的綜合表現進行排序。[18]需要注意的是，該方法的使用必須遵從一個基本前提即評價指標之間是相互獨立的，倘若評價指標之間并非相互獨立而是存在相互影響關系時則不能使用AHP方法進行求解。由前文分析可知，科技計劃項目績效評價指標體系中的各項指標之間存在如圖1所示的關聯影響關系，顯然無法滿足指標之間相互獨立的假設進而導致AHP方法無法解決本文評價問題。

ANP是Saaty教授于1996年在AHP的基礎上提出的一種新的評價方法，能夠基于兩兩比較思想對具有內部依存和反饋效應的復雜結構進行分析，并在充分考慮指標之間作用影響關系的條件下求得元素(指標或方案)的終極權重、作出更加科學的決策。正因如此，本文結合ANP方法在充分考慮指標之間相互作用關系的基礎上構建科技計劃項目的績效評價方法。[19-22]具體如下：

步驟1：針對該評價問題構建系統分析結構。將項目執行情況(C1)、項目取得成果(C2)、成果應用轉化(C3)、人才培養情況(C4)、應用前景情況(C5)等五項一級指標視為元素集，與上述一級指標對應的二級指標視為各元素集包含的元素，則可以根據前文對指標之間作用關系的分析構建出如圖1所示的系統分析結構。

步驟2：根據系統分析結構構造超矩陣。由圖1所示的系統分析結構可知，元素集自身內部可能存在依存關系、元素集之間可能存在相互影響關系。按照ANP方法的基本原理，對存在內部依存關系的元素集需要構造內部依存矩陣，對存在影響關系的兩個元素集需要構造能夠反映二者之間影響關系的影響矩陣。無論是內部依存矩陣還是影響矩陣都需要采用1-9標度并按照兩兩比較判斷矩陣的原理進行構造。

對存在內部依存關系的元素集構造內部依存矩陣。如：項目取得成果(C2)元素集存在內部依存關系，首先分別以c21、c22、c23中的任意一個元素作為控制準則，對受其影響的另外兩個元素按照影響程度的相對大小關系構造判斷矩陣，然后對判斷矩陣進行一致性檢驗，若一致性檢驗通過則該矩陣最大特征根對應的歸一化特征向量即為在相應控制準則下的權重向量，最后將通過上述過程得到的與c21、c22、c23依次對應的權重向量進行組合即可得到C2元素集的內部依存矩陣W22。

對存在影響關系的兩個元素集構造二者之間的影響矩陣。如：項目執行情況(C1)元素集對項目取得成果(C2)元素集有影響，首先分別以隸屬于C1的元素c11、c12中任意一個為控制準則，對C2中受相應準則影響的元素c21、c22、c23按照被影響程度的相對大小關系構造判斷矩陣，然后對判斷矩陣進行一致性檢驗，若一致性檢驗通過則該矩陣最大特征根對應的歸一化特征向量即為在相應控制準則下的權重向量，最后將通過上述過程得到的與c11、c12依次對應的權重向量進行組合即可得到元素集C1對元素集C2作用后的影響矩陣W21。

按照上述過程，對圖1中所有存在內部依存關系的元素集構造內部依存矩陣，對所有存在影響關系的元素集構造彼此之間的影響矩陣，將構造的內部依存矩陣和影響矩陣按照式(1)結構進行組合，便可得到科技計劃項目績效評價的超矩陣W。

(1)

步驟3：確定元素集權重矩陣。首先將Ci(i=1,…,5)作為控制準則，對元素集C1、C2、C3、C4、C5中受其影響的元素集(因內部依存關系可視為元素集自己對自己有影響故應包含在內)，按照影響程度的相對大小關系構造判斷矩陣，然后對判斷矩陣進行一致性檢驗，若一致性檢驗通過則該矩陣最大特征根對應的歸一化特征向量即為在相應控制準則下的各個元素集的權重向量，最后將通過上述過程得到的與C1、C2、C3、C4、C5依次對應的權重向量進行組合即可得到元素集權重矩陣B，具體如式(2)所示。

(2)

五、實證分析

山東省科技計劃項目包括軟科學研究計劃、自然科學基金、自主創新及成果轉化專項、農業科技成果轉化專項、重點研發計劃等十余類項目。在各級科技管理機構的共同努力下，目前山東省科技計劃項目已經形成了一套比較完善的評價體系和評價方法。如：《山東省軟科學研究項目應用績效評審及后補助辦法》從研究的針對性、現實意義、應用前景，成果應用情況，成果出版、發表、引用、轉載情況，學術活動、人才培養，獲獎情況等五個方面對軟科學項目進行績效評審，規定由3-5位專家按照A(優秀)、B(合格)、C(不合格)三個等級確定軟科學項目績效評價結果。《山東省自主創新及成果轉化專項驗收意見》強調自主創新項目成果的轉化情況，其績效評價主要從成果形式及水平、獲獎情況、研發人數、標志性技術、經濟社會效益、知識產權產出、人才與平臺建設、產業與區域輻射帶動作用、自身能力提升共九個方面進行。《山東省自然科學杰出青年基金管理暫行辦法》中規定獲資助者結題時需在論文、專著、人才項目、科技獲獎方面達到事先設定的目標，績效評價重點在項目、論文、專著等科研成果方面。《山東省農業良種工程績效考評辦法》則從科研業績、課題組組織管理、財政資金使用管理共三個方面對農業良種工程項目進行績效評價，規定課題組績效得分=科研業績×50%+組織管理×25%+資金使用×25%，其中的科研業績采取目標任務與定量打分相結合的方式進行評價。

山東省科技計劃項目自實施以來對支撐山東省經濟騰飛起到了重要作用，但也在績效評價過程中暴露出了評價指標不統一、指標權重不合理等問題。為了解決上述問題，山東省科技廳在軟科學研究計劃申報指南中發布了“山東省科技計劃項目績效評價研究”的重點項目需求，我們有幸申報并獲批了此項目。為此，本文以其中的軟科學研究計劃項目為例，利用本文構建的指標體系和評價方法開展模擬評價。具體過程如下：在項目研究的過程中邀請了四位曾經參與山東省軟科學項目評審的同行專家，請他們依據圖1所示的系統分析結構，遵循前文方法的步驟2和步驟3在相互研討的基礎上共同構造出超矩陣和元素集權重矩陣。根據他們給出的結果，按照方法步驟4計算了如表2所示的加權超矩陣。利用Super decisions軟件對加權超矩陣進行極限求解，得到了如表3所示的能夠反映指標之間作用影響關系的最終權重。

表2 加權超矩陣

表3 山東省軟科學研究項目績效評價指標權重

表4 評審專家對待評項目的評分

六、結束語

為了解決科技計劃項目績效評價在指標體系上尚未形成統一規范、在評價方法上尚未考慮指標之間作用關系對績效評價結果影響的問題，本文首先遵循系統性、導向性、可操作性、數據易獲性等原則，在參照相關研究成果的基礎上從項目執行情況、項目取得成果、成果轉化應用、人才培養情況、應用前景情況等方面構建了科技計劃項目績效評價指標體系，然后通過分析指標之間的相互作用關系提出了科技計劃項目績效評價的系統分析結構，在此基礎上采用能夠對具有內部依存和反饋效應的復雜結構進行系統評價的ANP方法給出了科技計劃項目績效評價的方法步驟，最后以山東省科技計劃項目為例進行案例分析演示了應用方法進行實例評價的具體操作過程。本文的特色之處在于：一是所構建的科技計劃項目績效評價指標體系借鑒了包括國家自然科學基金、國家社科基金績效評價等在內的眾多國內外相關研究成果，能夠較為系統全面地反映科技計劃項目取得的績效情況。二是所提出的科技計劃項目績效評價方法突破了傳統方法要求指標之間相互獨立的條件限制，能夠在考慮指標之間相互作用關系的基礎上對科技計劃項目績效進行更加科學的評價。需要說明的是，在以山東省科技計劃項目為例進行案例分析時由專家分析獲取的指標權重僅適用于山東省軟科學研究項目，而對于其他類型的科技計劃項目可以結合項目類別特征參照本文方法予以確定。

[1] 宋東林, 葛蘇行. 我國科技計劃項目全生命周期過程管理模式研究[J]. 科學管理研究, 2010，(02):46-49.

[2] 林成剛, 黃春榮, 謝剛, 等. 科技計劃項目的定量評價方法優化探討[J]. 軟科學, 2012，(07):52-53.

[3] 蔡桂蘭, 陳麗麗. 省級科技計劃項目變更信息化管理中遇到問題及對策研究[J]. 科技管理研究, 2016，(22):46-50.

[4] 張晨, 宋佳寧, 任文茜. 省級科技計劃項目管理的后評估研究——以安徽為例[J]. 科技管理研究, 2015，(22):172-175.

[5] 萬紅波, 康明玉. 國家科技計劃項目績效評價指標體系研究[J]. 社會科學管理與評論, 2013，(02):78-82.

[6] 楊道建, 趙喜倉, 陳海波. 科技計劃項目績效評價指標體系的構建[J]. 江蘇大學學報(社會科學版), 2007，(02):89-92.

[7] 宋東林, 付丙海, 唐恒. 基于全生命周期的科技計劃項目過程管理評價體系構建[J]. 科學管理研究, 2011,29(01):32-36.

[8] 王建國, 李海波, 丁其濤, 等. 中國軟科學研究機構評估指標體系構建探討[J]. 科技管理研究, 2013,33(9):71-75.

[9] 高寶森. 內蒙古自治區財政科技項目支出績效評價研究[J]. 科學管理研究, 2012，(05):101-104.

[10] 張小菁. 地方科技計劃項目績效評價研究[J]. 科技管理研究, 2010，(21):201-204.

[11] 李寅秋, 孫洪武. 國際先進農業科技引進類項目評價的思考[J]. 科研管理, 2013，(S1):78-83.

[12] 張軍果, 任浩, 謝福泉. 項目后評價視角下的財政科技項目績效評估體系研究[J]. 科學學與科學技術管理, 2007，(02):14-20.

[13] 田時中, 田淑英, 錢海燕. 財政科技支出項目績效評價指標體系及方法[J]. 科研管理, 2015，(S1):365-370.

[14] 施筱勇, 云楊, 計遲, 等. 科技項目績效評價指標體系研究[J]. 科技管理研究, 2016，(10):39-43, 49.

[15] 劉華海. 科研項目績效評價模型和指標體系的構建[J]. 科研管理, 2016，(S1):19-24.

[16] 魏闕, 戴磊. 吉林省區域創新能力評價指標體系研究[J]. 科研管理, 2015，(S1):22-28.

[17] 駱嘉琪, 匡海波. 高校科技創新團隊科研資源績效評價指標體系[J]. 科研管理, 2015，(S1):116-121.

[18] 劉惠萍. 基于網絡層次分析法(ANP)的政府績效評估研究[J]. 科學學與科學技術管理, 2006，(06):111-115.

[19] Chemweno P, Pintelon L, Van Horenbeek A, et al. Development of a risk assessment selection methodology for asset maintenance decision making: An analytic network process (ANP) approach[J]. International Journal of Production Economics, 2015,170, Part B:663-676.

[20] Lee J W, Kim S H. An integrated approach for interdependent information system project selection[J]. International Journal of Project Management, 2001,19(2):111-118.

[21] 杜元偉, 段萬春, 孫永河. 基于網絡分析法的企業節能減排績效評價方法[J]. 經濟問題探索, 2012，(01):175-179.

[22] 田波, 李春好, 孫永河. 網絡分析法在選擇企業創新合作成員中的應用[J]. 情報科學, 2008，(08):1257-1260.

責任編輯：王明舜

Performance Evaluation Method of Science and Technology Plan Project Based on ANP

Du Yuanwei Wang Susu Yang Ning

(College of Management, Ocean University of China, Qingdao 266100, China)

There are two kinds of problems that a unified evaluation index system hasn't been formed and the effect on performance evaluation results by the relationship among indicators hasn't been considered in current performance evaluation method of the science and technology (S&T) plan project. In order to solve the abovementioned problems, the principles such as systematization, orientation, operability and data availability are used to construct the performance evaluation index system from the aspects of implementation, achievement, result transformation and application, talents cultivation, application prospect. Then, a system analysis structure for evaluating performances of S&T plan project is put forward by analyzing the interaction among indicators, based on which the steps of the performance evaluation method are given by using analytic network process. Finally, a case study of S&T plan project in Shandong province is taken as an example to detailedly demonstrate the operation procedure of the application method, and the performance ranking of case projects is obtained.

Science and technology plan project; performance evaluation method; analytic network process; evaluation index system

2017-05-10

國家自然科學基金項目“大規模協作模式下產品動態連續創新決策方法：基于大數據驅動視角”(71462022)；山東省軟科學研究計劃重點項目“山東省科技計劃項目績效評價研究”(2016RZE29001)；中央高校基本科研業務費專項“透明海洋驅動下海洋管理模式與評價方法研究”(201762026)

杜元偉(1981- )，男，吉林白山人, 中國海洋大學管理學院教授，博士生導師，主要從事海洋管理、決策分析等研究。

G311

A

1672-335X(2017)04-0027-07