中國科學院知識創新工程評估方法

文/中國科學院知識創新工程評估方法研究課題組

中國科學院 北京 10 0 8 64

中國科學院知識創新工程評估方法

文/中國科學院知識創新工程評估方法研究課題組*

中國科學院 北京 10 0 8 64

2010年，按照國務院常務會議要求，中科院認真開展了知識創新工程評估工作，形成了《知識創新工程（1998—2010年）評估報告》。本文介紹了知識創新工程評估的方法，包括評估的邏輯模型、指標體系以及主要評估模塊的具體評價方法。重點介紹了針對評估對象特點的評估模型選擇，系統的評估組織和環節設計及基于客觀事實與數據的自評估方法。

中國科學院，知識創新工程，評估方法

知識創新工程是我國面向21世紀迎接知識經濟時代挑戰、實施科教興國戰略、探索國家創新體系建設的重大戰略舉措。2010年，知識創新工程三期結束之際，國務院常務會議要求中科院做好知識創新工程評估工作，總結經驗，深化改革，科學定位。2010年4—10月，中科院認真組織開展了知識創新工程評估工作，形成了《知識創新工程（1998—2010年）評估報告》。本文介紹了知識創新工程評估的方法，包括針對評估對象特點的評估模型選擇、系統的評估組織和環節設計以及基于客觀事實與數據的自評估方法。

1 針對評估對象特點的評估模型選擇

知識創新工程是由中科院實施的旨在為我國建設國家創新體系而進行的先行探索。從評估對象的角度看，知識創新工程評估不是單一的科技計劃評估，也不是單純的科研機構評估，而是具有科技政策、科技計劃、科研機構評估的三重屬性。從國際科技評價實踐看，評估方法和評估模式的選擇必須針對不同評估對象的特點。一般而言，重大科技計劃是跨部門、跨機構、跨領域組織的，如美國的納米科技計劃、歐盟框架計劃等，由各利益相關體代表組成的獨立的評估組開展評估，重點關注計劃設置的合理性、資金使用的規范性和有效性、產出效果以及未來發展的建議等。科研管理和執行機構的評估，通常根據各自的使命、定位以及科研活動的特點開展評估。以基礎研究為主的機構，更加注重研究的質量和水平，如美國國家科學基金會（NSF）通過亮點工作遴選的方式展示其資助的成效，德國馬普學會利用國際同領域最優秀的專家指導并評估其研究工作。以應用研究為主的機構，具有明確的目標和需求導向，科技評價圍繞指定目標或路線圖展開，如日本產業技術綜合研究所圍繞各領域的發展路線圖，采用內部評估與外部評估結合、專家評估與定量指標監測結合的方法進行評估，確保其科研活動沿著路線圖前進。

知識創新工程評估一方面要考慮到其科技政策、計劃的屬性，在評估中應關注其目標的執行和完成情況，同時作為國家創新體系建設的試點，還應從實踐探索中總結經驗、分析問題，為未來發展提供建議。另一方面，還要考慮其科研機構的屬性，關注中科院使命、定位的實現情況，同時，要體現中科院建制化、規模化的科研組織的特點，既要評估科技創新貢獻，又要評估體制機制的改革探索。此外，知識創新工程實施的13年，正值國際政治、經濟格局迅速變化的時代，對其評估還必須兼顧其特定的時代背景。因此，知識創新工程評估給現有的評估理論和方法帶來了極大的挑戰，既要集成已有的多種評估方法，也要根據評估對象的特點和評估需要，發展新的評估方法。

根據知識創新工程評估目的及評估對象的特點，構建了基于戰略導向的“目標-過程-結果”的評估模型（圖1）。首先，知識創新工程具有明確的戰略導向，即為國家創新體系建設探路，這是整個評價的出發點和落腳點。其次，知識創新工程作為國家創新體系建設的先行探索，既要全面評價知識創新工程試點目標完成情況，也要判斷知識創新工程實施過程中采取的重大舉措及其有效性，既要總結取得的成績和經驗，也要剖析存在的問題和不足，明確未來努力的新方向，為國家創新體系建設提供借鑒。基于此，知識創新工程評估重點回答3個問題：一是知識創新工程是否達到了預定的目標？二是采取了哪些措施促進了目標的達成？三是效果和影響如何，是否符合中科院的使命、定位和知識創新工程的目標？歸納為目標完成情況評估、重大改革舉措有效性評估、效果和影響與使命定位的一致性評估3大方面。

根據以上評估模型，將各部分指標進一步分解（表1）。

圖1 知識創新工程評估的模型

2 系統的評估組織和評估環節設置

知識創新工程是歷時13年的一個巨大的系統工程，本次評估在評估組織和環節上進行了系統設計，使得評估模型和評估指標有效落實，確保評估工作的科學、完整和公正。

表1 知識創新工程評估的指標體系

2-5-5期刊、圖書出版2-5-6科教基礎設施建設2-6-1黨建工作2-6黨建工作、創新 2-6-2創新文化文化與制度建設 2-6-3制度建設2-7-1院士隊伍建設2-7學部建設 2-7-2咨詢評議工作2-7-3科學傳播、學術及出版工作2-7-4學部國際合作3-1對知識創新系統的貢獻3實施效果與影響 3-2對國家創新體系的貢獻3-3在國際科技界的影響4-1基本經驗4經驗與問題 4-2問題與不足4-3規律性認識5未來展望 5-1下一步工作考慮

2.1 多層面的自評與總結

本次評估設計了多層面的自評與總結，包括研究所自評、科技創新基地自評、重要方面工作自評。這些自評為知識創新工程評估提供了底層的關鍵事實和數據。其中，研究所是中科院組織開展科研活動、探索實踐改革舉措的基本單元，研究所自評為遴選重大創新成果和判斷研究所整體發展態勢提供了支撐。研究所通過填寫規范化的自評表評估其在規劃部署與科技布局、人才戰略、重大創新成果及影響等方面的表現，并提供關鍵的事實和數據。

科技創新基地是知識創新工程三期的重大改革舉措，也是中科院發揮整體優勢開展重大創新活動的組織形式。科技創新基地自評為知識創新工程評估篩選重大創新成果、總結經驗、診斷問題等提供了基礎。各科技創新基地以事實和數據為基礎，自我判斷目標完成情況、總結重要舉措和經驗等，并提出重大創新成果和管理創新案例。

重要方面工作是科研管理的關鍵環節和關鍵方面，是科技創新的基礎和保障，為評估知識創新工程相關目標完成情況、分析重大改革舉措及其有效性提供支撐。由院機關各部門組織具有豐富管理經驗的專家開展自評與總結。

2.2 內外結合的專家評估

在自評的基礎上，利用專家評估判斷整體發展態勢、遴選重大創新成果、總結經驗、發現問題。專家評估包括內部專家評估和外部專家評估，評議意見是知識創新工程評估結果判斷的主要依據。

內部專家評估主要基于研究所的自評，判斷全院研究所發展情況。研究所自評材料在ARP平臺交流，院、局/所領導共201位專家進行評議，判斷全院研究所的發展態勢，遴選發展最好、進步最快以及在規劃部署和科技布局等8個方面表現突出的研究所。同時，為總結經驗、發現問題、創新思維、謀劃未來，組織院所兩級主要負責人150人左右，圍繞中科院發展的重要和關鍵問題開展了解放思想深化改革研討。

外部專家評估主要對中科院以科技創新基地為主線的整體創新工作進行評議，并遴選重大創新成果。首先，在科技創新基地自評的基礎上，按照基礎研究領域、戰略高技術領域、生命科學與技術領域和資源環境科技領域分別組織，共邀請了132位專家通過會議、函評等多種方式進行交流評議，然后由國家各相關部門領導和重要科技戰略專家、經濟與管理專家為主構成的咨詢評議委員會進行綜合評議。

2.3 基于歷史數據的回溯分析

在知識創新工程實踐中，中科院形成了院評價研究所、研究所評價所內研究室（組）、研究室（組）評價個人的周期性、多層次的評估體系，積累了大量的評估材料和數據。如構建的院所兩級發展態勢監測體系，積累了大量反映科研活動關鍵點、關鍵環節的數據，為本次評估工作提供了豐富、準確的歷史數據，實現評價指標的縱向可比。本次評估以中科院管理創新和評估研究中心為主，基于定量數據監測，分析了中科院整體創新能力變化情況，并開展了國立科研機構學術影響力的比較研究。

2.4 外部評論的整理與分析

知識創新工程受到了國內外科技界的廣泛關注，外界對知識創新工程的評論是知識創新工程實施效果和影響的重要證據。以國家科學圖書館為主，系統梳理了國內外與知識創新工程相關的研究、討論和評述。

3 基于客觀事實與數據的自評估方法

本次評估屬于自評估，為保證評估的客觀性，借鑒了美國科研機構基于績效與結果法案（GPRA）自評估等的經驗，結合評估對象的特點發展了多種新的評估方法，從而使本次評估成為基于客觀事實和數據的自評估。以下從評估模型所確定的目標完成情況評估、重大改革舉措評估和效果與影響評估3方面進行介紹。

3.1 目標完成情況評估方法

目標完成情況評估是知識創新工程評估需要首先回答的問題。知識創新工程的目標凝練是一個整體設計而又動態提升的過程。知識創新工程實施期間，中科院根據國際科技發展態勢和國家戰略需求的變化，不斷凝練科技目標，形成了不斷調整優化、不斷提升創新目標的動態機制。在這種動態提升過程中，不變的是沿著“三個基地一個庫”的方向發展，即“具有國際先進水平的科學研究基地”、“培養造就高級科技人才基地”、“高技術產業發展基地”和“科學思想庫”。因此，目標完成情況評估圍繞這4個方面展開。但如何把相對寬泛的目標進行科學、客觀的表達，并兼顧其動態提升的特點，需要發展新的評估方法。本次評估從“發展態勢變化”和“成果”兩個維度，并在國際國內背景下進行橫向和縱向的標桿評比，評估目標完成情況。以“科學研究基地”為例，包括重大創新成果評估和科技創新能力評估。

3.1.1 重大創新成果評估方法

重大創新成果是科學研究水平和貢獻的直接表達，也是知識創新工程“科學研究基地”目標完成情況的直接證據。中科院是我國的戰略科技力量，是自然科學和高新技術的綜合研究與發展中心，其研究領域涵蓋了基礎研究、戰略高技術、資源環境和生命科學與技術等，為我國科技進步、經濟社會發展、國家安全等各方面都做出了基礎性、戰略性、前瞻性、系統性的貢獻。創新成果的評價應充分體現中科院的特點，既不能簡單以論文或專利來衡量，也不能簡單羅列成果案例。

為此，發展了重大創新成果評價的“山脈模型”。中科院的科研活動集中在事關我國全局和長遠發展的11個戰略領域，重大創新成果評估以這些戰略領域為主線構成了“山脈”，在每個戰略領域，結合其特點，按照“技術發展鏈”、“創新價值鏈”、“學科布局鏈”等多種方式把該領域13年來標志性的創新成果串聯起來，而這些標志性的成果構成了山脈中的“山峰”。如納米、先進制造和新材料科技領域，按照國際先進水平的基礎研究、在重要領域得到應用、向企業轉化、進入工業示范和應用的創新價值鏈描述了該領域一系列重大創新成果。此外，為了更好地理解創新成果的價值和意義，揭示知識創新工程發揮的作用，在每個戰略領域遴選1—2個創新成果進行深入的案例分析。按照科研活動的過程，圍繞4個問題進行描述：創新成果研究的背景和意義是什么？中科院如何發揮自身優勢，取得重要突破？創新成果在科學或技術上的主要突破和貢獻是什么？創新成果取得的效果和影響是什么？

重大創新成果的遴選，充分利用多種途徑的專家評議，以獲得廣泛共識為基礎。（1）在知識創新工程13年的評估實踐中專家遴選并獲得院充分認可的成果。（2）利用第三方同行專家評選或認可的成果，如科技進展、科技獎勵評選、Science等權威期刊的亮點綜述等。（3）對知識創新工程三期取得的成果采用了多層篩選的機制，首先由各研究所和科技創新基地自評，遴選出各研究所和各領域的創新成果；其次，根據科技創新基地布局，按照基礎研究領域、戰略高技術領域、生命科學與技術領域和資源環境科技領域分頭組織，共邀請了132位專家通過會評、函評等多種方式，遴選出各領域的創新成果；最后由科技創新基地咨詢評議委員會對科技創新基地進行綜合評議，識別全院最有影響的創新成果。科技創新基地咨詢評議委員會主要由外部專家構成，既包括戰略專家，也包括經濟專家和管理專家等，涉及科技部、財政部、教育部等多個部門。

3.1.2 科技創新能力評估方法

發展態勢和水平及其國際地位的判斷，是判斷知識創新工程目標完成情況的另一個維度。科技創新能力是衡量發展態勢和競爭力的重要方式。中科院是一個綜合性的國立科研機構，研究領域覆蓋范圍廣、下屬研究單元多，哪些是科技創新能力的關鍵要素，如何通過定量定性方法表達科技創新能力的水平和國際地位，需要新的評估方法予以支撐。

結合中科院組織結構的特點，科技創新能力從領域、學科和研究所3個層次進行評估。“領域”的科技創新能力情況按照重要基礎研究領域、戰略高技術領域、生物科學與技術領域、資源環境科技領域，從科技布局、人才隊伍、平臺建設、科研任務和產出等方面描述了中科院4大領域的發展態勢。

“學科”層面的科技創新能力，通過國際比較刻畫中科院主要學科的國際地位。為此，發展了“國際國立科研機構學術影響力學科比較分析”的定量評估方法。基于“3E”理論，選取了26個國家與中科院可比的86個國立科研機構，從“產出（E1）”和“效果（E3）”兩個維度，遴選21個學科領域的論文、專利、重要國際組織任職、重要國際獎勵4類指標，以所屬一級指標最大值為標準進行歸一化處理并按等權加和，E1與E3加和后得到各學科的綜合得分，以此進行排名。按照這種方法對86個機構在1994—1998年和2004—2008年兩個時間段的21個學科領域進行分析。國際國立科研機構學術影響力學科比較分析的方法，提供了標桿評比的工具，清晰刻畫了知識創新工程前后中科院學科發展水平的變化，以及中科院各學科的國際地位變化情況。

在研究所層面，為了監測研究所發展態勢、創新能力和貢獻，為院所兩級提供決策參考，中科院發展了科技創新能力指數的定量工具，自2004年開始對全院研究所進行監測。創新能力指數包括發展科技生產力能力、革新科技創新組織體制能力、領導科技創新能力、加快成果轉移轉化與規模產業化能力、有效吸納國際創新資源能力5個方面。其中，發展科技生產力能力指數采用了類似GDP指數的方式，根據政策導向和實踐經驗，對研究所優秀科技人才、重要科研任務、科技平臺建設和科技產出指標確定各自的“價格”，并賦予一定的權重，計算各研究所各項指標的“總量”。發展科技生產力能力指數的構建，使全院研究所發展態勢可定量化表達，實現了橫向和縱向可比，為動態表達創新能力變化提供了客觀證據。

3.2 重大改革舉措評估方法

科技計劃和科研機構評估中通常都涉及對管理的評估，但更多是對日常管理工作的規范化、合理性進行評估。知識創新工程的重大改革舉措與此有很大不同，它們是新的體制機制探索、新的制度創新，有破有立，對其評估必須基于特定的時代背景，并從經驗總結的角度開展。既需關注這些改革舉措的現實價值，又應分析其歷史意義。基于此，重大改革舉措評價主要采用回溯分析的方法，從舉措實施的背景、措施的內容和取得的效果3個維度進行評價。

重大改革舉措評估的一個關鍵是要識別影響科研活動的核心要素及其內涵。從管理學角度，管理包括4項基本職能，即計劃、組織、領導、控制。從科技創新角度，創新要素主要包括支持創新的人、財、物及將其有效組合的機制。中科院作為建制化的創新組織，根據科技管理和科研活動的基本規律，結合自身管理工作特點，凝練了影響科技創新和支持知識創新工程目標實現的幾個關鍵方面，包括規劃部署與科技布局、人才隊伍建設、體制機制改革與管理創新、國內外合作交流、創新基礎設施建設，黨建工作、創新文化與制度建設以及學部建設等。重大改革舉措即圍繞這幾個關鍵方面進行梳理。

重大改革舉措評估由中科院長期負責相關工作、具有豐富管理經驗的管理專家進行自評與總結。首先通過研討會的形式，遴選各方面的改革舉措，特別是獲得第三方認可的舉措，如聘用制度和“三元”結構工資制度等被其他單位借鑒的改革措施。其次，采用回溯分析的方法，圍繞3個問題進行評價：（1）該舉措的背景和擬解決的問題是什么？（2）該舉措主要內容是什么？（3）該舉措的實際效果和影響如何？以人事制度改革為例，為了提高科研人員的積極性和主動性，實現科技隊伍的動態更新，以聘任、薪酬激勵和培訓為主線，進行了人事制度改革和創新。系統梳理了崗位聘任制度、“三元”結構工資制度、職工培訓和干部任用制度改革的發展脈絡，利用客觀數據和第三方反饋或評價驗證了改革取得的效果。

3.3 效果與影響評估方法

知識創新工程效果和影響，關鍵要看是否達到知識創新工程的目的、任務要求，是否符合中科院的使命、定位。因此，效果和影響評估是整體上評估知識創新工程的貢獻，圍繞對國家創新體系建設的示范作用、對我國經濟社會發展的推動作用、對我國科技影響力提升的帶動作用展開。

效果和影響評價采用了“層次模型”，形成了由院內及院外、由國內到國際的多層次、多角度評價。首先分析探索建設國家知識創新體系路子的貢獻，這是對中科院內部影響的評估，包括明確使命和定位、探索現代院所制度、與其他創新體系之間的聯合合作等。其次評價對國家創新體系建設所發揮的作用，通過創新成果對經濟社會發展的貢獻、創新能力建設的示范和體制機制創新經驗的擴散予以支撐。最后從提升國際影響的角度評價，主要引用國際杰出專家學者的評論作為直接證據，如德國馬普學會副主席Harnack教授、發展中國家科學院執行主席Hassan等。層次模型較清晰地刻畫了知識創新工程的效果和影響，但作為一個探索性強、輻射面廣的系統工程，其效果和影響還需要通過更長的時間、更廣的空間予以體現，現有評估還是初步的，有其局限性。

4 結論

知識創新工程評估是我國國立科研機構開展自評估的積極探索，其獨特性為評估的理論和方法帶來了新的挑戰。以上所介紹的根據知識創新工程的特點構建的“目標-過程-結果”的評估模型，明確了知識創新工程評估的重點，即目標完成情況、重大改革舉措的有效性、效果和影響與使命定位的一致性評估，較好地指導了整個評估工作。本次評估在評估組織和環節上進行了系統設計，使知識創新工程評估與日常管理工作很好地銜接，保證了評估工作的順利開展和客觀事實與數據的獲取。基于客觀事實和數據，并針對不同評估內容的需要，綜合運用多種評估方法，發展了重大創新成果評價的“山脈模型”、重大改革舉措評價的回溯分析以及影響與效果評價的“層次模型”等評估方法，保證了評估工作的客觀性、科學性、可靠性和公正性。實踐證明，知識創新工程評估為探索我國國立科研機構評價積累了經驗，也為豐富科技評價的理論和方法提供了新的案例。

1中國科學院.中國特色國家創新體系建設的成功實踐——知識創新工程（1998—2010年）評估報告.北京：科學出版社，2012.

2中國科學院.關于中國科學院開展《知識創新工程》試點的匯報提綱.1998年6月.

3中國科學院科技評價研究組.關于我院科技評價工作的若干思考.中國科學院院刊,2007,22（2）：104-114.

4 European Commission.Ex-post evaluation of the Sixth Framework Programmes.http://ec.europa.eu/research/ evaluations/index_en.cfm?pg=fp6.

5 21st century nanotechnology research and development act.http:// www.gpo.gov/fdsys/pkg/PLAW-108publ153/html/ PLAW-108publ153.htm.

6 Evaluation-The procedures of the Max Planck Society.http:// www.mpg.de/197344/evaluation2010en.pdf.

7 National Science Foundation.FY2011 Performance and Financial Highlights.http://www.nsf.gov/pubs/2012/nsf12002/nsf12002.pdf.

8 Osamu Nakamura,et al.Using roadmaps for evaluating strategic research and development:lessons from Japan's Institute for Advanced Industrial Science and Technology.Research Evaluation,2008,17(4):265-271.

9楊國梁，Liu W B,李曉軒等.國際國立科研機構學術影響力評價方法研究.中國科技論壇,2010,6:137-142.

AbstractAccording to the requirement raised in the Executive Meetings of the State Council,Chinese Academy of Sciences（CAS）conscientiously carried out the evaluation of Knowledge Innovation Program（KIP）in 2010 and finished the report entitled“The Evaluation Report of Knowledge Innovation Program(1998—2010)”.In this study,we present the KIP evaluation methodology including the evaluation model,index system and the specific evaluation methods of the main modules.Particularly,the main emphases are put on the evaluation model selection in light of the characteristics of evaluated objects,systematic evaluation organizations and evaluation process design,as well as the self-evaluation approaches based on the facts and data.

KeywordsChineseAcademy of Sciences,Knowledge Innovation Program,evaluation methodology

Evaluation Methodology for Knowledge Innovation Program of Chinese Academy of Sciences

KIP Evaluation Methodology Research Group,CAS
（ChineseAcademy of Sciences 100864 Beijing）

10.3969/j.issn.1000-3045.2012.04.012

*課題組主要人員：潘教峰、李曉軒、石兵、周長海、代濤、關忠誠、周建中等。執筆人：代濤。E-mail: daitao@casipm.ac.cn

修改稿收到日期：2012年7月4日