江蘇高校協同創新中心績效評價研究
——基于改進的G1-CRITIC-TOPSIS綜合評價模型

卜 偉，孫 駿，王鈺云，葉 楓，王 宇

（1.江蘇師范大學科學技術研究院，江蘇徐州 221116；2.河海大學計算機與信息學院，江蘇南京 211100；3.河海大學水科學研究院，江蘇南京 211100）

1 研究背景

2012年3月，國家啟動實施高等學校創新能力提升計劃（以下簡稱“‘2011計劃’”），“2011計劃”是繼“985工程”“211工程”之后，我國在高等教育系統又一項體現國家意志的重大戰略舉措[1]。江蘇省委省政府高度重視“2011計劃”，于2012年11月率先啟動實施江蘇高校協同創新計劃，開展以四年為建設周期的建設工作，在全國高校協同創新中心建設工作中具有先發優勢[2]。現已形成國家、省和高校三級協同創新中心體系（見表1）：南京大學、東南大學、蘇州大學、南京工業大學4所高校牽頭的5個協同創新中心成功獲批成為國家2011協同創新中心，數量位居全國第二；為持續推動高校協同創新，2018年4月，教育部啟動實施了省部共建協同創新中心認定工作，江蘇師范大學、河海大學等高校牽頭的13個協同創新中心成功獲批省部共建協同創新中心，數量位居全國第一；2013至2014年江蘇省教育廳和財政廳共開展了兩批次江蘇高校協同創新中心認定工作，全省共認定了76個江蘇高校協同創新中心；此外，在江蘇高校協同創新中心認定和建設的過程中，60余所江蘇高校通過自有資源和經費籌措，建設了272個校級協同創新中心。在財政投入方面，截至目前，江蘇省財政累計安排專項資金30.9億元，江蘇高校協同創新中心累計投入經410.3億元。在人員等投入方面，江蘇高校協同創新中心共協同799個單位，其中高校院所405個、骨干企業340個、政府機構及行業協會等54個；聘任全職固定人員8 476人、兼職與雙聘人員5 657人、訪問與流動人員3 075人，其中院士161人、長江學者234人、國家杰出青年科學基金獲得者274人、國家海外高層次人才353人。

表1 江蘇高校三級協同創新體系情況 單位：個

隨著國家、地方政府、高校以及重點企業對協同創新中心建設的投入日益增多，社會各界對協同創新績效水平的關注程度也不斷提高。目前江蘇高校協同創新中心績效水平如何，存在哪些問題及優化提升路徑是亟需探討的問題。

2 相關研究工作

國內外學者從不同視角對協同創新中心的績效評價展開了大量研究。趙德武[3]認為，要從創新力和協同力兩個維度對協同創新中心進行績效評價，并設置了人才培養、學科發展、創新團隊、科研成果、社會效益、組織制度等六大類型指標，他認為要依據不同類型的協同創新中心，細化評價指標。王鈺云[4]基于創新系統理論、協同理論以及績效評價理論等，剖析了產學研協同創新各主體的系統行為模塊及其關聯度，運用網絡層次分析法（analytic network process，ANP）構建了產學研協同創新績效評價指標體系并采用線性加權的數學模型對某高校協同創新中心進行了績效評價。蔣興華等[5]從體制機制改革情況、運行建設管理情況、協同創新增效情況等三個方面構建了2011協同創新中心績效評價體系，采用模糊評價方法進行綜合評價，并就如何做好高校協同創新中心建設績效評價提出了建議。李永周等[6]通過構建模糊綜合評價模型，使用德爾菲法和專家打分法賦權，對22個納入考核的湖北高校協同創新中心進行了績效評價。鐘雨婷[7]采用戰略地圖評價模型來構建行業產業協同創新中心績效評價指標體系，再利用基于正態云模型的行業產業協同創新中心績效評價方法來對4個樣本中心的績效評價和結果進行分析。李愛彬等[8]從協同創新產出績效、創新行為協同績效、協同創新環境3個維度構建了協同創新中心績效評價指標體系，并設計了云模型，通過實例對行業產業類協同創新中心績效進行評價。

科學合理的評價指標體系是實施績效評價的關鍵。上述工作主要通過專家篩選指標疊加主觀賦權方法的模式來構建績效評價指標體系。主觀賦權方法是基于專家經驗對指標進行賦權，通常要對多名專家進行調查問卷，花費較大且易受不同專家意見的影響，同時績效評價結果也相對難以重現。

朱金龍等[9]從創新能力、知識運用、溝通協調和創新環境4個方面構建了評價指標體系，利用主成分分析法（principal component analysis，PCA）和隨機前沿分析（stochastic frontier analysis，SFA）的組合模型（PCA-SFA）面向江蘇四種不同類型協同創新中心就重大協同任務完成情況、學科建設、科學研究、人才培養、服務社會和國際合作交流等方面的建設效率進行了評價。蔣明燁[10]從人、財、物三個方面選取多個績效評價指標，通過PCA法進行降維處理后，采用三段DEA模型對江西省高校的綜合效率、規模效率和技術效率進行分析。劉天佐等[11]從投入產出角度選取了具有代表性的評價指標，基于DEA-Tobit模型對H省立項資助的35個2011協同創新中心投入產出效率及其影響因素進行了實證研究。在確定江蘇高校文化傳承類協同創新中心績效評價指標體系的基礎上，陳穎[12]運用PCA方法對投入產出指標進行處理，再基于DEA的基本模型和SE-DEA構建江蘇高校文化傳承類協同創新中心績效評價模型，對江蘇高校文化傳承類協同創新中心績效進行實證分析和綜合評價。張忠迪[13]采用數據包絡分析（data envelopment analysis，DEA）對河南省不同批次、不同類型的30個協同創新中心進行了創新效率研究，研究證實不同類型的協同創新中心科研創新效率差異較大，科學前沿類的創新效率顯著高于其他類型。趙雷英[14]首先基于因子分析法，構建了產學研協同創新績效評價體系，然后基于扎根理論總結出產學研協同創新績效的影響因素，最后基于系統動力學建模，對產學研協同創新績效影響因素的作用機制進行了分析。

上述研究主要采用客觀賦權的方法為績效評價指標賦權，特別是DEA方法由于具有對多投入與多產出效率評價不需要進行指標量綱的歸一化處理以及指標較好的包容性等優勢成為諸多研究人員的選擇[15]。但是，在實際應用過程中由于完全忽略主觀因素，因此有可能會出現一些不符合邏輯的情況。例如，以DEA方法為代表的非參數方法的最大局限在于：運用線性規劃方法進行計算，并對觀測樣本數據有一定的限制，有時不得不舍棄一些樣本值，這樣會直接影響分析結果的穩定性和準確性。此外，上述研究工作也相對缺乏考慮不同綜合評價方法下評價效果、結果重現以及差異比較的研究。

綜上所述，目前面向高校協同創新中心績效評價研究工作，已取得了良好的應用成效，但仍有兩方面需要進一步完善：一方面是目前研究多采用某一研究方法對協同創新中心開展績效評價，相對缺乏與不同評價方法的對比分析，以驗證評價方法和評價結果的準確性；另一方面是目前研究多屬于結果評價，缺乏相應的綜合評價系統與可視化平臺來對相關數據進行動態監管和過程評價。

基于上述思考，本文提出一種基于改進的G1-CRITIC-TOPSIS方法對協同創新中心進行績效評估，并利用殷耀文等[16]與Edward等[17]等提出的Python和MongoDB法設計開發了協同創新中心績效評價系統用于展示分析績效評價結果。具體來講，首先以江蘇高校協同創新中心年度報告為基礎數據建立績效評價指標體系；其次運用改進序關系分析法（G1）[18-20]以及CRITIC法的組合賦權法計算出各指標權重并利用TOPSIS法[21-22]構建高校協同創新績效評價模型，計算出各協同創新中心績效評價結果并對其進行排名；最后在構建評價模型和算法的基礎上，基于Python和MongoDB設計開發了江蘇高校協同創新中心績效評價系統，該系統可較為科學、直觀地展示、比較各協同創新中心年度進展和績效評價結果。

3 基于改進的G1-CRITIC-TOPSIS綜合評價方法

3.1 數據來源及預處理

本研究采用的數據均來源于2015年至2019年江蘇高校協同創新中心年度報告。2013年至2014年為江蘇高校協同創新中心的初建階段，部分協同創新中心相關數據不全；2020年為協同創新中心第二建設周期績效評估年，部分數據統計口徑發生變化，因此這3年數據未納入本文績效評價范圍。由于不同評價指標的單位不同，因此在進行績效評價之前，須采用min-max歸一化方法對個評價指標進行無量綱化處理。

3.2 構建協同創新中心評價指標體系

本文在借鑒參考相關學者和江蘇高校協同創新中心績效評價指標體系基礎上，充分考慮到創新發展的導向，將資金投入與構成、新培養和引進高層次人才、現聘人員數量與構成、重大科研獎勵、高水平論文、發明專利、國際交流與合作、社會服務與貢獻8個方面作為評價指標體系的一級指標，并參照趙德武[3]提出的差別評價、立體評價和全面評價等三大原則對上述的8個不同的一級指標選取22個典型的二級指標，如表2所示。

表2 協同創新中心績效評價指標體系

3.3 改進G1-CRITIC賦權法

組合賦權法通常是將多種賦權法結合起來，綜合主客觀兩方面來計算權重，兼顧了評價指標的多樣性和一些隱性關系。因此從實際出發，組合賦權法對于高校協同創新中心的績效評價更為適合。具體而言，本文主要綜合采用G1法與CRITIC法的組合賦權法，它可以在客觀賦權法的基礎上添加一定的較為容易進行判斷的主觀因素，以此來控制客觀賦權法易出現不符合邏輯的情況。其中，G1法是層次分析法的改進[18-20]。相比于AHP，G1法計算簡便且不需要進行一致性檢驗，因此受到海內外學者的廣泛研究。原始的序關系分析法不僅需要指標之間的序關系，而且還需要給相鄰指標之間的相對重要性標度，而相對重要性標度這一數值是在實際應用的過程中是難以確定，例如可以確認對于高校來說新增院士數量這一指標要比新增長江學者數量這一指標要重要，但是重要程度往往是比較難以判斷的。因此，本文采用了一種基于變異系數與G1法的混合交叉賦權方法。

首先，參考專家意見確定二級指標之間的序關系；其次，計算協同創新中心各項指標之間的變異系數；最后，采用混合交叉賦權方法，通過相鄰指標之間的變異系數之比來確定各指標間的重要性程度。在實際運用過程中，相鄰指標之間的變異系數之比會出現小于1的情況，常規的做法是將相對重要性標度設置為1，即這兩個相鄰指標認為是同樣重要，但這是不符合實際情況的，因為指標之間實際上存在有明顯的序關系。針對該問題，在相鄰指標之間確定一個權重差異基準，并將權重基準設置為1.2，1.2通常被認為是“略微重要”這一程度，在這個基準上結合變異系數之比計算相鄰指標之間的相對重要程度。改進的G1法避免了確定相對重要程度時的主觀及隨意的問題，又引入了權重差異基準，使得權重的確定更加合理與客觀。

具體計算步驟如下：

第一步，根據專家意見確定指標之間的權重排序，構建指標之間的序關系，記作：

第二步，確定評價指標的變異系數值，首先計算評價指標的標準差：

其次，根據標準差計算評價指標的變異系數：

第三步，根據評價指標的變異系數之比以確定相鄰指標之間的重要性程度：

第四步，根據G1法確定各指標之間的最終權重。

根據上一步求得的相對重要性標度來求解第n個指標的權重，即：

通過上述的改進G1法，可以獲取到每個指標組內指標的權重，即二級權重。接下來，通過CRITIC法來計算一級指標之間的權重，并以此來確定每一個指標的最終權重。CRITIC法是Diakoulaki等人[21]提出的一種基于綜合考慮指標之間對比強度和指標之間沖突性的指標權重的確定方法。相比于熵權法（Entropy Weight Method，EW）[22]，CRITIC 方 法考慮了同一指標內部的差異程度以及不同指標之間的相關性，并有了較為成熟的應用[23]。江蘇高校協同創新中心的績效指標并不是孤立存在的，它們之間有著很強的關聯性，因此CRITIC方法適用于此情況。CRITIC方法不僅通過標準差來衡量同一指標內部的差異程度，同時還使用相關系數來反映指標之間的相關性。標準差越大，同一指標下各評價對象的取值差異就越大，權重就越大；相關系數越大，指標之間的沖突性就越小，權重就越小。采用CRITIC方法確定權重的計算步驟如下：

由上述的改進G1法與CRITIC法，分別可獲得一級指標內部的二級指標之間的權重以及不同一級指標之間的權重，將兩者相乘計算最終的權重，最終獲得所有指標的權重如表3所示，其中二級指標名稱后的數值代表序關系。

表3 協同創新中心績效評價各級指標權重

3.4 采用理想點法計算協同創新中心得分

采用適用于處理多屬性判定問題的TOPSIS方法測算協同創新中心績效得分[24]。該方法通過計算評價對象與正理想解和負理想解之間的距離來判斷評價對象的優劣，指標值距離正理想解越近，得分越高。主要計算步驟如下所示：

表4 績效評價結果等級表

由于利用TOPSIS計算出來的得分值較小，反映協同創新中心績效的直觀性較差，因此為了更好地反映協同創新中心績效水平，本文中將所有計算出來的得分采用最大-最小規范化的方式映射到[3,10]的區間內。

4 績效評價結果分析與展示

4.1 系統實現

在構建績效評價體系的基礎上，基于Python和MongoDB，設計開發了江蘇高校協同創新績效評價系統，該系統可實現基礎數據、不同綜合評價方法績效評價結果的展示與對比功能。

綜合評價方法既包含上文提出 的G1-CRITIC法，也包含ANP法、EW法、G1-EW法等3種經典的綜合評價方法。數據展示功能，可以展示各協同創新中心2015年至2019年的基礎指標情況和變化情況；績效評價結果對比功能，則為用戶提供了不同主體的評價結果，以及不同綜合評價方法的對比結果。其展示界面如下圖1所示。

圖1 協同創新中心績效評價系統界面

4.2 方法驗證

為進一 步驗證研究方法與系統的準確性和可信度，將上文構建的G1-CRITIC方法分別與基于客觀賦權法、主觀賦權法以及組合賦權法的綜合評價方法進行對比，其中客觀賦權法選擇EW法，主觀賦權法采用ANP方法，組合賦權法采用G1-EW法，最終的評分與評級均采用TOPSIS的方法。

首先，我們以2019年XX大學各協同創新中心在不同綜合評價方法下的得分情況為例進行驗證，具體見圖2。

圖2 XX大學協同創新中心不同綜合評價方法下的得分情況

如圖2所示，從最終得分來看，G1-CRITIC法與其他綜合評價法最終得分差距不大，均在一定范圍內波動；從最終的評級結果來看，EW綜合評價法與其他三種評價法的評級結果有較大差距。

上述是以某一高校協同創新中心數據為樣本進行對比分析，為進一步驗證說明績效評價系統的整體性能，接下來我們以立項建設的59個協同創新中心2019年的數據為樣本進行驗證分析。具體如圖3所示。

圖3 立項建設59個協同創新中心的不同綜合評價方法評價結果對比分析

從圖3中可見，采用的G1-CRITIC綜合評價法與其他的綜合評價法得分結果走勢基本相同，但是其中基于EW法的綜合評價方法，由于其賦權過程完全基于數值變化而難以反映主觀因素因此會出現一些偏離的點，由此可見單一的客觀賦權法難以在大量相關聯的指標的情況下發揮出較好的效果，需要有主觀因素的控制。而ANP等主觀賦權法在進行賦權的時候需要花費大量的時間也精力，評價效率較低，且指標權重相對固定，無法應對實時數據的變化。

綜上，本文所提出的賦權方法能夠在基于客觀數據變化的基礎上，添加一定的主觀因素，反映出數據之間的關聯性，同時做到了準確與高效，能夠對協同創新中心績效實現客觀而又有效地評價。

4.3 績效評價結果分析

4.3.1 不同級別協同創新中心績效評價結果分析

江蘇高校協同創新中心分為國家、省級和校級三個級別，其中國家級包含省部共建協同創新中心。校級協同創新中心由各高校自行管理，因此，這里我們僅對國家級、省部共建和省級協同創新中心進行績效分析。

從發展動態來看，國家級和省級協同創新中心整體發展相對穩定，但省部共建協同創新中心呈下降趨勢，尤其是2015年至2016年期間績效評價等級達A和B的占比下降23.08%，整體績效水平下降幅度較為顯著；不同級別協同創新中心績效評價結果相對明顯，國家級協同創新中心整體績效水平遙遙領先且樣本考察期間績效評價等級達A和B占比一直保持100%。

圖4 2015—2019年不同級別協同創新中心績效評價等級達A與B占比

從靜態角度來看，樣本考察期間，國家級、省部共建及省級協同創新中心綜合績效評價結果分別為7.212、6.400和4.301分，呈階梯狀逐級降低趨勢，但省級與國家級績效評分差距較大。這從側面反映江蘇高校協同創新中心體系結構劃分相對合理，但省級協同創新中心應進一步優化資源配置提高績效水平。

圖5 2015—2019年不同級別協同創新中心績效評價綜合得分

4.3.2 不同類型的協同創新中心績效評價結果分析

根據“2011計劃”重大需求劃分，高校協同創新中心分為行業產業、區域發展、科學前沿以及文化創新四種不同類型。不同類型的協同創新中心的戰略定位和發展目標各不相同。為深入探討江蘇高校協同創新中心整體績效水平，我們從這一視角進一步分析不同類型協同創新中心的績效水平，結果如圖6和圖7所示。

圖6 2015—2019年不同類型協同創新中心績效評級達A與B的占比

圖7 2015—2019年不同類型協同創新中心績效評價綜合得分

從發展動態來看，行業產業類和文化傳承類協同創新中心績效評價等級達A和B占比處于不斷上升趨勢，而區域發展和科學前沿類績效評價結果處于不斷下降趨勢，尤其是科學前沿類，2017年至2019年期間，績效評價結果達A和B的占比為0，這一結果應引起重視。

從靜態角度來看，2015年至2019年期間，行業產業類和區域發展類協同創新中心的績效評價得分分別為6.107和5.723分明顯高于文化傳承和科學前沿類；行業產業類型與區域發展的協同創新中心達A和B占比高達66.42%和58.09%，而文化傳承類與科學前沿類僅僅為34.28%與13.33%。

綜合來講，樣本考察期間，行業產業類和區域發展類協同創新中心整體績效水平較高；科學前沿類協同創新中心整體處于末位且呈持續下降趨勢；雖文化傳承類協同創新中心績效水平呈上升趨勢，但仍落后于行業產業和區域發展類協同創新中心。出現這一現象可有以下幾種原因：（1）協同創新中心屬性不同。文化傳承類協同創新中心重點突出為國家重大決策提供支持的能力以及對文化傳承的推動作用；科學前沿類則以學科交叉和基礎研究為主，聚焦解決重大基礎前沿科學問題，兩者更偏重質的發展；而行業產業和區域發展類協同創新中心更加突出對服務地方經濟社會發展的支撐作用，兩者更偏向于量的發展。現行的評價指標更加側重于量化的、顯性的績效分析，不能全面反映協同創新中心隱性的建設成效，如機制體制改革、支撐學科建設，標志性成果等方面。（2）投入力度不平衡。 從基礎數據來看，行業產業類和區域發展類協同創新中心在人員、經費、場地或大型儀器設備等方面投入力度遠遠超過文化傳承類與科學前沿類的協同創新中心。因此，為進一步加強科學前沿和文化傳承類協同創新中心的建設，首先應加大人、財、物等創新資源的投入力度；其次協同創新的本質是體制機制創新，因此，同時還應持續深化體制機制改革，建立健全相對靈活的管理機制、利益分配機制、風險共擔機制、激勵機制和科研評價機制，滿足各方協同體的動機和訴求，充分釋放人才、資本、信息、技術等方面的創新活力。

5 結論與建議

本文基于改進的G1-CRITIC-TOPSIS法構建了江蘇高校協同創新中心績效評價模型，并在此基礎上設計開發了績效評價的可視化系統。通過與其他評價方法對比分析，表明本研究構建的績效評級模型準確性強、可信度高，不僅充分考慮了客觀和主觀兩方面的衡量標準，而且實現了基礎數據和不同評價方法評價結果的展示和對比功能，同時該系統還可動態監測江蘇高校協同創新中心數據變化情況。

基于上述研究方法和可視化系統，從動態和靜態兩個角度對江蘇高校協同創新中心2015年至2019年的建設情況進行了實證分析，客觀反映了樣本考察期間江蘇高校協同創新中心整體建設情況良好且體系結構劃分相對合理；但同時我們也發現，江蘇高校協同創新中心整體發展不均衡，省級協同創新中心的績效水平與國家級績效水平差異較大，且不同類型的協同創新中心績效水平懸殊較大明顯。

通過上述研究，本文提出以下對策建議：

強化頂層設計，優化調整協同創新中心體系建設。 當前國家正在優化調整國家創新體系，但江蘇暫未能對標國家戰略需求適時改革管理模式，如在碳達峰碳中和等關鍵核心技術領域尚未能及時布局新增省級協同創新中心；且從上文可知目前省級協同創新中心績效水平不佳。因此，建議相關部門以此為契機，進一步強化頂層設計，以國家戰略需求為導向，通過重組江蘇高校協同創新中心體系，優化江蘇高校協同創新中心整體布局。具體地，在全省范圍內展開“能者上、平者讓、庸者下”的公平競爭，探索建立“揭榜掛帥”遴選機制，把重大任務交到真正想干事、能干事、干成事的高校手中。對能干事、想干事且進展較好、成效明顯的協同創新中心，持續支持并加大支持力度；對運行情況一般、研究領域有重合度協同創新中心，進一步凝練研究方向，重組或并入其他運行狀況較好的協同創新中心中；對缺乏特色，長期無實質性進展的中心予以限期整改，整改無效的堅決撤銷；在集成電路、碳達峰碳中和等關鍵核心技術領域新建若干省級協同創新中心。通過重組優化方式，讓協同機制活起來，讓創新動力強起來。

（2）深化績效評價機制，建立分類分層評價體系，引導錯位競爭，分類發展。 科學合理的績效評價體系協同創新中心高質量發展的指揮棒。雖第二期建設周期江蘇高校協同創新中心績效評估方案結合不同類型協同創新中心屬性特點，在二級指標選取方面進行了適當調整，但大部分評價指標仍然相同；且績效評價主要以同行評價為主。分類評價是分類發展的基礎，只有真正做到分類、分層評價，才可能引導產生多樣性發展的局面。建議第三周期績效評估方案要根據不同類型協同創新中發展目標和發展路徑的差異性，進一步精準、細化分類評價指標體系或根據不同類型協同創新中心屬性特點選擇賦予指標不同的權重；在評價主體上，穩步引入第三方機構評價，根據不同評價對象合理確定不同評價主體的權、責、義，同時確認不同評價主體的決策權重；在評估方式上，對行業產業類等協同創新中心可采用現場答辯和實地考察相結合評估方式。

（3）強化信息化過程管理，動態監測協同創新中心運行情況。協同創新中心績效評估每四年開展1次，平時管理缺乏抓手。建議充分利用江蘇高校協同創新中心績效評價可視化系統，根據各協同創新中心年度報告數據持續收集相關基礎數據并進行分析，動態監測各中心發展情況。同時，對年度報告建立抽查和監督機制，委托第三方對各協同創新中心進行抽查，建立年度發展指數，作為平時成績，納入最終績效評估結果中，建立“年度發展指數+績效評估”相結合的考核機制。強化信息化過程管理，不僅能在一定程度上能避免績效評估時部分中心數據陡然增大的夸大造成的為評而評、為資源而評的不良現象，而且有利于管理部門及時掌握協同創新中心整體運行情況。