創新驅動助力工程實施評估體系的構建

劉思園 周強 安怡然 于楓垚 曹頔

[摘 要]以“中國科協創新驅動助力工程”為基礎，根據“APC”評估理論、平衡計分卡理論，及績效評估指標理論等6種評估理論，選取示范市、（副）省級科協、先行學會、實施主體作為研究樣本，構建系統科學的實施效果監管體系，以期提高評估的科學性、針對性和有效性。

[關鍵詞]創新驅動 實施 評估 指標體系

黨的十八大明確提出“科技創新是提高社會生產力和綜合國力的戰略支撐，必須擺在國家發展全局的核心位置”，強調要堅持走中國特色自主創新道路、實施創新驅動發展戰略。

中國科協創新驅動助力工程于2014年正式啟動，三年多來，“創新驅動助力工程”共幫助30個示范市引進專家人才1812名，轉化科技成果1837項，促成簽訂合作協議2200多項，落地項目2300多項，形成了10余種學會與地方、企業的合作模式。服務地方經濟建設和企業創新發展轉型升級的工作成效初步顯現，凝聚吸引科技工作者的激勵機制初步建立，使廣大科技工作者參與創新創業的積極性、主動性得到有效激發。

隨著創新驅動助力工程的深入開展，確保項目實施的科學合理，提高項目的質量，加強過程的管理，形成可推廣、可復制的工作模式等系列要求，亟需建立效果評估指標體系，對創新驅動助力工程實施情況進行動態監測評估。

一、創新驅動助力工程介紹

中國科協創新驅動助力工程以“點、面、鏈”三種布局形式進行市級、省級和先行學會三個方向的試點示范工作。目前，助力工程“點狀分布、鏈狀延伸、面狀輻射”的工作布局初步形成，服務國家重點戰略區域、重點產業領域的新態勢初步明確；“政府主導、企業主體、學會主角、專家主力”的工作機制初步建立，為地方經濟社會發展提供科技服務和人才支撐的新渠道初步打通；規劃咨詢、成果推廣、聯合攻關、產業服務等工作模式逐漸成形，服務地方經濟建設和企業創新發展轉型升級的工作成效初步顯現；凝聚吸引科技工作者的激勵機制初步建立，科協及學會的開放型、樞紐型、平臺型的作用逐步體現，廣大科技工作者參與創新創業的積極性、主動性有效激發。助力工程在推進地方科技進步、產業轉型升級以及社會管理創新方面發揮了重要的示范作用，成為學會進軍區域經濟轉型升級主戰場的旗幟性平臺。

“點”狀布局工作現狀（地市級城市（區）——示范市）的工作重點相對于資金引進、保障具體工作的實施來說更多的是組織政策。市級的相關部門根據工作的具體情況制定相應的保障政策和鼓勵政策，在宏觀層面促進和推動協會與企業、企業與企業之間的技術合作和合同簽訂；從宏觀層面把控相應的技術資金保障配備；制定相應的人才引進政策，通過優惠政策為企業引進所需的各專業人才，為科技轉化為生產力提供政策保障，為企業和學會增添新的技術力量，解決企業技術需求。在組織企業參展，為企業引入資金和促進企業合作方面的作用還有待加強。

“面”狀布局工作現狀（省級、副省級科協——合作域）的工作重點與示范市相似，但更加偏重項目的落實和技術向生產力的轉化，促進落實資金和項目的引進，保障具體工作的實施。省級、副省級科協作為市政府和各學會學術團體的連接紐帶，工作的重點放在積極組織各學會服務政府工作、組織學會和企業對接的咨詢活動形成咨詢報告和建議、組織參與科技扶貧活動、組織開展大型招才引智活動、協助地方政府建設公共科教基地。

“鏈”狀布局工作現狀（先行學會）的工作重點應放在具體工作的落實與實施上。作為創新助力工程的一個重要環節，先行學會在學術創新和技術研發等方面具有絕對的權威和優勢，在具體的工作過程中，應該將工作中心和精力放在積極配合政府和省科協的具體工作上，發揮最大的學術影響，為政府決策和企業技術改革創新做技術保障。各級學會積極協助政府工作，形成相關的咨詢報告和建議。積極與地方政府簽訂合作協議。協助地方政府建設公共科教基地，舉辦各類交流活動和會議。開展產學研相關工作，走訪服務企業的工作，積極在企業進行培訓工作。

二、評估方法先行研究

對“APC”評估理論[1-2]、平衡計分卡理論[3]、績效評估指標理論[4]、標桿管理評估理論[5]、目標管理理論[6]以及關鍵事件法[7]理論進行綜述研究，按照各種理論的評估特點進行項目的適宜性評價分析。

三、評估體系的基本構建

（一）評估體系的理論應用

對示范市、（副）省級科協和先行學會三種不同主體開展創新驅動助力工程的實施效果進行評估，選取示范市、（副）省級科協、先行學會三個層面共計83個實施主體作為研究樣本，根據“APC”評估理論、平衡計分卡理論及績效評估指標理論等6種評估理論構建創新驅動助力工程實施效果監測評估體系，制定本監測評估指標體系的原則，定性與定量相結合、質量與數量相結合、存量與增量相結合、能力與態度相結合、統一與分類相結合，以及剛性指標與柔性指標相結合（表1）。

（二）評估體系的基本構建方法

創新驅動助力工程實施效果監測評估體系分為基本評估體系和特色評估體系兩部分。基本評估體系適用于所有示范試點主體，對其工作成果進行差異性全面監測評估；特色評估體系針對在基本評估指標外，能夠提供特色工作成果材料的試點示范主體，對其工作成果特色創新性進行專項評估。

1.基本評估體系構建。基本評估體系以基于“APC”評估理論簡化所得的“PC”部分理論與績效評估理論為理論支撐和指標構建基礎，以平衡計分卡理論為指標構建的具體方法，以目標管理理論為部分定量指標的計算方法。

針對工程實施效果評估，在問責（Accountability）、績效（Performance）和組織能力（Capacity）三類指標中擇取績效（Performance）和組織能力（Capacity）作為評估體系的基礎指標分類。績效指標分財務性指標和非財務性指標兩項。財務性指標包含全國數額、經濟效益、長期經濟影響三個具體指標類型；非財務性指標包含創新服務、自身成長、鏈接能力、長期戰略影響四個具體指標類型。非財務性指標中的創新服務和鏈接能力型指標是工程實施評價指標，而自身成長和長期戰略影響型指標是針對工程組織評價指標。組織能力分基本資源指標、內部管理能力與動員能力指標、外部管理能力與動員能力指標。

基本評估體系的構建分別從工作成果的客觀差異性角度和主觀創新性角度，雙管齊下進行具體因子指標的權重賦值。其中，客觀差異性角度，以客觀計算結果直接作為因子層和指標層的權重賦值；主觀創新性角度，專家基于專業知識對因子層進行主觀的權重賦值。對主、客觀角度分別得出的權重結果進行計算，綜合得出完整的基本評估指標體系。

2.特色評估體系構建。特色評估體系以關鍵事件法理論構建“STAR”結構評估問卷，對實施主體的工作成果特色創新性進行專項評估。關鍵事件法理論中的“關鍵事件”在評估體系中相應成為特色成果，所評估的特色“關鍵事件”，應從基本評估體系中分離開來，避免二次記分。由于實際操作中往往難以分離，因此，特色評估體系中的“關鍵事件”一般不能為經濟合同，而應是在組織機構的運行通暢、科技的創新突破（包括聯系上了幫助解決科技創新瓶頸的企業）等方面有成效的工作內容。

特色評估體系的問卷設計過程應遵循關鍵事件法的“STAR”原則，即記錄關鍵事件要從四個方面來進行：“S”是Situation（情境），記錄事件發生的情境；“T”是Target（目標），記錄事件發生的原因和目標；“A”是Action（行動），記錄實施主體當時所采取的行為；“R”是Result（結果），記錄實施主體行為所導致的后果。情境部分主要追溯事件發生的前提條件，即項目投入人員數量、質量（和精力）、組織擁有的人脈和企業的資源數量、質量等信息；目標部分是理順事件的發生與實現項目目標是否具有相關性，事件的發生對該工程績效的作用影響；行動部分的細節記錄對項目效果的總體評價影響不大，可不計入；結果部分是評估的重點，用以評估關鍵事件的貢獻，即事件的直接或間接經濟效益。

四、評估體系的應用

（一）全國學會指標體系方法

1.相關性分析。對現有40個指標進行雙變量相關性分析，可發現變量之間的相關性雖不及省市層面指標相關度高，但多數變量仍呈現0.5以上相關度。部分指標相關度較高，如媒體報道、地方舉辦各類活動（技術交流、論壇、對接會議、展覽等）數量、組織專家人數等同樣可以進一步進行主成分分析和因子分析。

2.因子分析。在主成分分析的基礎上，將主成分的坐標軸進行正交旋轉，得到因子分析的結果。去除“是否將助力工程納入學會年度工作計劃”這一結果沒有差別的指標，總共分析了39個指標，被分解為12個因子，解釋的累積總方差為87.177。

3.以R2為主要測度方法的相關性分析指標提煉，完成指標的初步篩選。對學會的各個指標進行雙變量的相關性分析，可發現多數變量呈現顯著相關。在相關性的基礎上得到適用于統計學R2值（選取R2值，重點是趨勢線擬合程度的指標，它的數值大小可以反映趨勢線的估計值與對應的實際數據之間的擬合程度，擬合程度越高，趨勢線的可靠性就越高，R2介于0～1之間，越接近1，回歸擬合效果越好，一般認為超過0.8的模型擬合優度比較高[8]）算法所需要的線性相關值，得到以“2016年創新驅動助力工程績效評估”專家打分（主觀測度）和“2016年全國學會指標統計數據”（客觀數據）結合的線性擬合分析方法，最終選取R2得分遞減的階次數列，以完成指標初步篩選的目的。

R2值是取值范圍在0～1之間的數值，當趨勢線的R2值等于 1 或接近 1 時，其可靠性最高，反之則可靠性較低。R2值也稱為決定系數。在統計學中對變量進行線行回歸分析，采用最小二乘法進行參數估計時，R2為回歸平方和與總離差平方和的比值，表示總離差平方和中可以由回歸平方和解釋的比例，這一比例越大越好，模型越精確，回歸效果越顯著。

4.利用變異系數法對篩選指標進行賦權處理。 變異系數又稱標準差率，是衡量資料中各觀測值變異程度的另一個統計量。選取變異系數法的關鍵是延遞指標系數雙變量相關性分析的主成分因子和相關差異化變量所得到的結果，利用這個結果，我們可以從中選取指標的標準差及相對應的平均數，不僅如此，變異系數法對線性相關和線性不相關兩方面的數據指標的處理，都可以保證其嚴格的科學性，所以從中得到的變異系數也是我們消除單位間指標標準率差異的關鍵。

在對學會的各個指標進行雙變量的相關性分析中，標準差與平均數都可以從中得到，利用它們的比值，得到變異系數，記為C.V.。變異系數可以消除單位和（或）平均數不同對兩個或多個資料變異程度比較的影響。

5.利用變異系數法總和比值得到原始賦權。得到指標賦權的前置數據后，利用變異系數法的分項系數加總后除以相關系數，得到各項指標的賦權值。

6.利用原始賦權進行一次調整和二級調整（按照二級維度人工賦權調整）。利用原始賦權進行指標體系的一次調整，一次調整的原理簡述為：二級維度給予主觀專家賦權（與專家打分法類似），根據二級指標的賦權調整三級指標，調整在二級賦權定額下的三級權重，完成第一次調整。

在一次調整的基礎上進行二級調整，將三級指標權重大于7%的部分權重進行再次調整，目的是讓指標的離散度得以控制（三級賦權不得大于二級賦權的最大值7%，故選擇7%為最大值賦權線），而每項三級指標大于7%的縮減部分，將參照R2給予的離散權重大小，有比例的分配給該二級維度中R2較大的指標。

（二）全國學會指標評估體系

基于以上研究及方法，創新驅動助力工程—學會檢測實施評估體系框架如表2所示。

五、結束語

從全國學會的平均得分來看，在人員制度、過程執行、資金支持、結果產出方面表現較好，需要繼續保持；在可持續性和經濟效益方面表現一般，需要加強；在社會影響和外部資源方面建設不足，亟待改善。

在目前已有基礎上，動態評估體系需要進一步加強過程監測與結果分析。第一，強化數據的結構與準確性，建立數據平臺。各地方試點和學會可直接錄入指標數據，形成基本情況的模塊化分析，真正實現過程監測、實時監測。第二，深化動態評估體系的內容。評估工程不僅反饋數據化結果，還可以對各單位的工作行為及態度進行結構化反饋，利用關鍵事件的跟蹤，深入全面反映“創助工程”的實施效果。第三，優化動態評估體系的反饋效果。充分利用評估反饋，科協可對各單位的工作進行有針對性的指導；各地區單位互相之間可以進行比較，形成良性競爭格局，互相學習優勢和先進經驗，及時糾偏。

參考文獻

[1]鄧國勝.非營利組織“APC”評估理論[J].中國行政管理，2004（10）：33-37.

[2]朱志偉.APC理論在非營利組織評估中的應用——以參加蘇州市第三屆公益創投的80個組織為例[D].蘇州：蘇州大學，2015.

[3]朱王奇，袁立.平衡記分卡在戰略性人力資源管理中的應用[J].現代管理科學，2003（12）：76-78.

[4]王銳蘭，譚振亞，劉思峰.我國非營利組織績效評價與發展走向研究[J].江海學刊，2005（06）：97-102.

[5]孔杰，程寨華.標桿管理理論述評[J].東北財經大學學報，2004（2）：3-7.

[6]林首淑.以目標管理為導向的公共組織激勵機制的建構[J].科技管理研究，2013（4）：219-222.

[7]李芝山.關鍵事件法在員工績效管理中的規范應用[J].中國集體經濟，2008（22）：65-66.

[8]楊泱.回歸模型篩選準則及方法比較研究[J].昆明理工大學學報（自然版），2015（3）：134-138.