區域全面創新改革試驗評估框架和指標研究

王再進，田德錄，劉 輝

(科學技術部科技評估中心，北京 100081)

1 區域全面創新改革試驗評估問題的提出

隨著創新驅動發展戰略的深入實施、科技體制改革的不斷深化，以及政府職能的加快轉變，評估在科技監督管理、創新資源分配中的作用明顯加強，如何更好地發揮評估對促進創新改革舉措落實和完善的作用，提升創新改革管理的科學化、專業化水平，已成為擺在相關政府部門面前要研究解決的重要議題之一。同時，如何加強相關評估方法和工具的研究開發及其對管理決策的技術支撐，也成為公共管理、政策科學領域關注的熱點研究問題。

當前，根據中央部署，京津冀、上海、廣東、安徽、四川、武漢、西安和沈陽8個試驗地區正深入推進全面創新改革試驗，要在市場公平競爭、知識產權、科技成果轉化、金融創新、人才培養和激勵、開放創新、科技管理體制等方面取得一批重大改革突破，并探索建立一套有利于創新的體制架構，打造若干創新驅動發展的區域性示范平臺。這是落實國家創新驅動發展戰略總體部署的一項重大行動，也是深化科技體制改革的重大舉措，對我國加快建設創新型國家具有重要意義。

為了更好地推進改革試驗，《關于在部分區域系統推進全面創新改革試驗的總體方案》(中辦發〔2015〕48號)中對試驗區域改革試驗評估工作提出了明確要求，由國家層面成立的全面創新改革試驗部際協調機制統籌部署相關評估任務。評估的主要目的是及時跟蹤各區域改革試驗進展，總結經驗，發現問題，科學診斷和研判，提出建設性的政策建議，為推進相關改革政策措施的落實和完善，及時總結推廣成熟改革舉措等提供決策參考。隨著各區域全面創新改革試驗的逐步深入推進，評估的重要性越來越突出，與試驗區域管理工作逐步融合，同時這也對評估的專業性、規范性和科學性提出了更高要求，需要形成一套較為系統、規范兼具可操性的評估框架和指標體系。

2 區域全面創新改革試驗評估的基本理念和原則

研究設計區域全面創新改革試驗評估框架和指標，首先要確立評估的理念和原則。全面創新改革試驗區域是科技創新和體制機制創新的“試驗田”，8個試驗區域是評估的主要對象，各區域改革試驗方案中明確的改革任務(既包括國家授權各區域先行先試的改革舉措，也包括各區域結合當地實際自主探索的改革舉措)是評估的重點內容，各試驗區域相關省市、具體授權開展先行先試改革舉措的有關部門，以及企業、高校、科研院所等改革政策受眾是評估考察的相關主體。由于改革試驗多元主體、多個領域、多個環節、多種要素交織在一起，涉及面廣、系統性強、復雜度高，需要樹立系統、科學的評估理念，堅持獨立、客觀、公正的評估原則，特別要厘清改革試驗的核心目標和價值導向、相關主體的角色和作用、改革試驗的各環節關聯，以及影響改革試驗的因素和環境條件。

2.1 堅持目標導向，服務于改革試驗績效管理

績效管理作為政府管理方式創新的一種手段，被稱為“績效導向下的目標管理”，融入了公共責任的管理理念，強調公共服務的結果導向，目前已經成為國內外政府管理中常見的管理模式。隨著各國政府對績效管理與績效評估的逐步重視，基于“目標—投入—活動—產出—成效—影響”的監測評估邏輯框架在科技評估實踐中得到了越來越廣泛的應用，其以目標為重要導向，并注重過程監測和結果反饋的評估理念和思路，對區域全面創新改革試驗評估設計有現實的參考價值。

2.2 秉承“第三方”立場，講求評估的專業性

從獨立于決策方、執行方的“第三方”立場和評估視角，對試驗區域的全面創新改革試驗進展情況和效果進行評估，發揮好“第三只眼”作用。確保評估單位能夠與委托方、評估對象相對分離，獨立開展評估活動，并做出科學、可信、有用的評估結論。注重充分發揮專業評估機構作用，提高評估的專業化水平，確保評估的質量和效果。

2.3 基于全過程評估視角，注重對改革試驗政策制定、執行和效果的全鏈條動態分析

創新改革試驗是一個動態的過程，其動態性主要體現在改革試驗運行的各個階段和環節。鑒于改革試驗相關政策措施的制定(設計)、執行和效果各環節彼此緊密相關，在區域創新改革試驗評估框架設計中，為形成更加全面、客觀、準確的評估判斷，需要系統考察相關政策措施各環節，建立起覆蓋其全過程的評估體系。同時，改革試驗政策措施的制定(設計)、執行和效果可各自作為變量影響其他兩個變量的結果，因此要注意從動態的視角，來評估分析三個環節及其互動關系，形成全過程鏈條、系統性的評估回路架構。

2.4 價值與事實評估相結合，關注改革受眾的回應性

對創新改革試驗的評估，既有“技術性”，也帶有一定的“政治性”，不能局限于技術層面和事實層面的評估，需要對價值層面問題做出分析和判斷。總體上，要確立價值評估與事實評估相結合的理念，將價值標準與效益、效率等事實標準相結合[2]。在價值分析和判斷層面，一方面要考察創新改革相關政策措施設計層面的適當性、公平性、充分性，另一方面還要考察相關政策措施目標群體、其他利益相關方、社會公眾對政策措施效果的回應性等。

3 區域全面創新改革試驗評估的邏輯框架和維度

評估的邏輯框架蘊含著評估的主體環節、層次關聯、因果鏈條和假設關系，能夠有效幫助評估者建立評估前思維，指導后續評估活動開展。根據對區域全面創新改革試驗評估理念和原則的研究探討，需要研究設計覆蓋試驗區域創新改革政策措施目標、執行和效果各主要環節的評估綜合框架，建立涵蓋“目標—投入—活動—產出—成效—影響”的監測評估邏輯關系，體現目標管理、績效評估的理念和全過程、全鏈條系統評估、價值與事實評估相結合的原則和思路。結合創新改革重點和試驗區域特點，本文提出了區域全面創新改革試驗的主要評估維度，各維度中分別凝練了需要重點考察的關鍵問題，并提供了評估證據來源和采集方法，建立起了綜合、系統的評估框架(見表1)。

表1 評估的主要維度與關鍵問題

4 區域全面創新改革試驗評估指標體系設計

4.1 評估指標體系基本構成

評估指標是評估研究的重要內容，也是評估實踐中常用的工具和方法。確立了評估邏輯框架和評估維度后，還需要將其轉化為可觀測、可操作的評估指標，才能應用于評估實踐。本文根據以創新改革為主線，以改革驅動創新、創新驅動發展為路徑，以促進經濟、社會發展為最終落腳點的研究思路，在上述評估框架基礎上，進一步凝練提出了試驗目標、組織管理、任務落實和效果影響4個一級指標，并將其細化分解成總體目標等11個二級指標和創新改革試驗總目標實現度等31個三級指標，由此構成面向8個試驗區域的評估指標體系。其中，一級指標“試驗目標”由2個二級指標和2個三級指標構成，重點分析各試驗區域2016—2018年總體目標及各年度目標的完成情況；一級指標“組織管理”由2個二級指標和4個三級指標構成，重點分析各區域系統推進全面創新改革試驗的相關主體、資源投入、活動情況，包括領導機構、執行機構的建立運行，配套制度和相關工作機制的建立及發揮作用情況等；一級指標“任務落實”由3個二級指標和8個三級指標構成，重點分析國家授權先行先試改革舉措的執行力、各區域自主探索舉措的落實度，以及影響改革試驗的環境和條件等情況；一級指標“效果影響”由4個二級指標和17個三級指標構成，重點分析各區域全面創新改革試驗的產出、成效與影響，特別是改革成果的復制推廣、對創新創業的拉動和對經濟轉型升級的促進作用，以及政策受眾對改革試驗效果的反饋和回應等。評估指標分解及含義說明見表2。

表2 區域全面創新改革試驗評估內容與指標體系框架

續表2一級指標二級指標三級指標指標含義說明證據來源任務落實5.國家授權先行先試改革舉措6.試驗區域自行探索改革舉措7.試驗環境和條件5.1政策知曉度企業、高校和科研院所等政策受眾對國家授權相關試驗區域先行先試改革舉措的政策知曉情況問卷抽樣調查結果等5.2政策執行力各試驗區域相關省市對國家授權本區域先行先試改革舉措的執行態度、執行能力、推進力度和效率(需關注是否存在國家有關職能部門授權不到位或需要新授權的改革措施)8個試驗區域的改革試驗年度工作計劃、月報進度表、自評價報告和工作總結等6.1與改革試驗主題的契合度各試驗區域自行探索重點改革舉措與本區域創新改革試驗主題的相關性和契合程度文獻研究、實地調研考察和專題分析等6.2改革舉措進展各試驗區域自行探索改革舉措(含試點改革舉措)的推進力度和取得進展8個區域自評價、實地調研、座談研討、專家咨詢評議、典型案例分析等7.1經濟基礎各試驗區域的經濟發展狀況和水平(如GDP增長率、產業發展狀況等)公開統計數據、實地調研考察、管理部門和政策受眾反饋等7.2創新條件各試驗區域開展全面創新的條件,特別是科技創新基礎和創新資源稟賦(如科技人員、研究機構和科技基礎設施的配套情況,創新要素和資源的集聚程度等)公開統計數據、實地調研考察、管理部門和政策受眾反饋等7.3行政生態各試驗區域有關省市的政治環境和行政生態公開統計數據、實地調研考察、管理部門和政策受眾反饋等7.4社會穩定各試驗區域推行全方位改革的社會穩定基礎和相關受眾承受力公開統計數據、實地調研考察、管理部門和政策受眾反饋等

續表2一級指標二級指標三級指標指標含義說明證據來源效果影響8.改革成果的復制推廣情況9.對創新創業的拉動作用10.對經濟轉型升級的促進作用8.1經國務院批準復制推廣的改革舉措數各試驗區域擬復制推廣改革舉措上報后,經國務院批準在更大范圍推廣實施的改革舉措數量(對照中辦發[2015]48號文內容要求,重點關注市場公平競爭、知識產權、科技成果轉化、金融創新、人才培養和激勵、開放創新、科技管理體制等方面改革舉措)8個區域自評價、實地調研、座談研討、專家咨詢評議、典型案例分析等8.2改革舉措推廣的范圍和程度經國務院批準復制推廣改革舉措的推廣范圍(如在全國范圍內復制推廣、在8個試驗區域復制推等)及推廣實施效果8個區域自評價、實地調研、座談研討、專家咨詢評議、典型案例分析等9.1試驗地區全社會R&D占GDP的比重該指標又稱R&D投入強度,是國際上通用的、反映國家或地區科技投入水平的核心指標,也是我國中長期科技發展規劃綱要(2006—2020年)中的重要評價指標8個試驗區域填報數據與公開統計數據相結合等9.2試驗地區企業R&D經費支出占主營業務收入的比重企業是創新活動的主體,而工業企業又在企業創新活動中占有主導地位。該指標反映試驗地區創新活動主體的經費投入情況8個試驗區域填報數據與公開統計數據相結合等9.3試驗地區每萬名R&D人員專利授權數指按R&D人員全時當量平均的專利授權數量。該指標是反映試驗地區研發活動的產出水平和效率的重要指標。8個試驗區域填報數據與公開統計數據相結合等9.4試驗地區每萬名科技活動人員技術市場成交額指按每萬名科技活動人員平均的技術市場成交金額。該指標反映試驗地區技術轉移和科技成果轉化的總體規模。技術市場成交額指全國技術市場合同成交項目的總金額8個試驗區域填報數據與公開統計數據相結合等9.5當年新增企業數與企業總數比例該指標反映試驗地區創業活力,特別是小微企業的創業氛圍。計算公式:每年新增企業數/當年企業總數8個試驗區域填報數據與公開統計數據相結合等9.6創投機構當年對企業的風險投資總額該指標衡量試驗區域的科技金融發展水平,反映試驗地區在聚集創投機構、吸納風險投資以支持創新創業等方面發展情況8個試驗區域填報數據與公開統計數據相結合等9.7試驗地區創業及參與創業的大學生人數該指標反饋試驗地區大學生這一重要創客群體的創業熱情和參與度8個試驗區域填報數據與公開統計數據相結合等10.1試驗地區高技術產業增加值占GDP的比重創新活動必然導致產業結構的優化。高技術產業增加值占生產總值比重就是反映試驗區域產業結構優化程度的指標之一8個試驗區域填報數據與公開統計數據相結合等10.2試驗地區企業新產品銷售收入占主營業務收入的比重新產品銷售收入是反映企業創新成果,即將新產品成功推向市場的指標。該指標用于反映試驗區域創新對產品結構調整的效果8個試驗區域填報數據與公開統計數據相結合等10.3試驗地區高技術產品出口占貨物出口額的比重高技術產業與創新具有互動關系。該指標通過試驗區域高技術產品出口的變化情況,反映創新對產業國際競爭力的影響效果。該指標的數據口徑為規模以上工業企業8個試驗區域填報數據與公開統計數據相結合等

續表2一級指標二級指標三級指標指標含義說明證據來源效果影響10.對經濟轉型升級的促進作用11.政策受眾獲得感10.4試驗地區單位GDP能耗指每產出萬元國內生產總值(GDP)所消耗的以標準煤計算的能源。節約能源是企業技術創新的目的之一,創新是節約能源的途徑和保障,對節約能源起決定性因素。該指標反映試驗區域創新對降低能耗的效果8個試驗區域填報數據與公開統計數據相結合等10.5試驗地區勞動生產率指一定時期內工業總產值與年平均從業人員之比。創新是影響勞動生產率的重要因素,提高勞動生產率是企業創新的目的之一。該指標反映試驗區域創新對工業經濟發展的促進作用,數據口徑為規模以上工業企業8個試驗區域填報數據與公開統計數據相結合等10.6試驗地區科技進步貢獻率指廣義技術進步對經濟增長的貢獻份額,即扣除了資本和勞動之外的其他因素對經濟增長的貢獻。該指標數據來源于有關部門開展的科技進步貢獻率評價的測算結果,是衡量科技競爭實力和科技轉化為現實生產力的綜合性指標。本指標體系中該指標使用的是報告期及之前4年間的平均水平,用以反映創新對國民經濟發展的促進效果8個試驗區域填報數據與公開統計數據相結合等11.1政策受惠度各試驗區域相關企業、科研院所、高校等創新主體在本區域全面創新改革中是否得到實惠,以及受惠面如何問卷抽樣調查結果、實地調研、座談交流、典型案例分析等11.2受眾認可和滿意度各試驗區域相關政策受眾對本區域改革試驗成效的認可和滿意程度問卷抽樣調查結果、實地調研、座談交流、典型案例分析等

4.2 綜合評價設計

對8個試驗區域依據統一的指標框架體系進行監測和評估，便于橫向對比。將各區域的個性化定量考核指標納入三級指標(如1.1)中考察。給各級指標賦值，在專家評議基礎上進行綜合評級。例如，可分為A(試驗進展好，成效顯著)、B(試驗進展一般，成效一般)、C(試驗進展差、存在問題較多)三檔，作為相關部門擇優和政策傾斜的參考依據。列入A檔的給予重點支持，列入C檔的需要整改，鼓勵列入B檔的往A檔努力。

4.3 主要評估方法

采用基于證據、面向關鍵問題的評估方法，事實評估與價值評估相結合，專項評估與綜合評估相結合。為客觀真實和系統收集評估所需的各類支撐信息和數據，綜合采取案卷研究、實地調研、面訪或電話訪談、專題座談、問卷調查、案例研究、專家咨詢、改革輿情分析等具體方法。

4.4 評估證據來源

主要包括：各試驗區域的官方總結報告和材料，公開報告和統計數據(主要涉及“效果影響”部分的定量評價指標)，對企業、高校、科研院所等政策受眾的問卷調查統計結果，實地調研、各類專題座談會與專家咨詢評議所獲取各類證據信息，網絡輿情調查分析結果等。

5 區域全面創新改革試驗評估框架及指標體系應用展望

當前，在創新改革新形勢下，系統推進區域全面創新改革試驗，對加快創新驅動體制機制改革、破解創新驅動發展瓶頸制約具有重要意義，而評估正是助推這一目標實現的重要支撐工具，可發揮情勢診斷、決策咨詢、引導激勵、糾偏糾錯等功能作用。對試驗區域而言，評估作為專業化工具和手段，還可發揮“以評促建”作用，加快推進國家布局改革舉措從“政策試驗”向“政策擴散”的科學化、合理化進程[3]。

本文提出的區域全面創新改革試驗評估框架和指標體系，是在對區域創新、公共管理、政策科學等相關理論進行梳理總結，對國家關于區域創新改革整體布局、政策方向和任務重點的理解、認識和把握，以及對試驗區域近兩年創新改革試驗情況及相關改革舉措進行跟蹤調研分析的基礎上[4-5]研究構建的，也是面向評估實踐應用需求產生的，我們認為其具有較強的適用性和可操作性。通過該評估框架和指標體系的應用，可以為當前有關部門和地方加強試驗區域監督管理，提升科學化、精細化管理水平，構建推進全面創新改革的長效機制，加快復制推廣改革舉措和重大政策，以及促進形成若干具有示范、帶動作用的區域性改革創新平臺等提供決策參考。特別是，通過對8個試驗區域的指標對比，可以發現每個試驗區域的優劣指標，對于優異指標可以總結好的經驗，對于劣勢指標可以找到改革創新中問題和短板，結合相關試驗區改革發展趨勢，調適和優化改革路徑[6]，提升改革效果。對單項重大改革舉措的評估，可結合相關改革舉措的內容、特點和評估重點，對評估指標進一步細化、拓展和完善，提高指標的針對性。

需要說明的是，區域全面創新改革試驗評估涉及面廣、內容豐富，綜合性和政策性強，受創新改革舉措相互交織、效果歸因難等因素影響，會給相關評估工作帶來一定的局限性，需要結合評估實踐發展從評估的理論、方法和模型、模式上進一步拓展和深化。