李 瑛,鄒立堯
(1.南開大學周恩來政府管理學院,天津300071;2.中國氣象局氣象干部培訓學院,北京100081)
科技評估活動一般是指評估機構接受項目承擔方的委托,依照標準的評估原則,參考項目運營的客觀實際數據,運用科學、規范的評估方法,對科技項目進行的專業化評價活動。科學公正的科技評估活動有利于完善學科發展政策和規劃,提高決策水平,可以保證科技成果的質量,在一定程度上也能促進科技成果轉化。政府部門可以依據評估結果調整科技資源的合理分配,發現具有發展前景的新的研究領域,促使有限的經費資源多出高水平成果、多出優秀人才,達到經費使用的合理高效,促進社會的發展和科技的進步。本文將梳理美國、英國和日本等國科技評估的經驗和特點,重點探討其組織模式、法律法規和評估方法等,以期有所啟示,進而分析我國科技評估現狀和存在的問題,提出優化我國科技評估體系的政策建議。
國外科技成果評估起步較早,積累了相當豐富的實踐經驗,特別是近30年來,隨著全球科技創新活動的日益活躍,西方主要發達國家都非常關注科技評估活動,科技評估體系建設和不斷完善逐漸成為這些國家科技管理的重要組成部分。對這些國家科技成果評估的經驗進行總結,將有助于我國科技評估體系的進一步完善。
美國科技評估活動開展得比較早,經過不斷的發展,已經形成了一套比較完善的體系。借鑒美國科技評估的主要經驗,可以總結出如下幾方面的啟示:不斷發展完善評估體系和評估制度;構建統一的評估標準和多樣化的評估方法。
(1)完備的評估體系和健全的評估制度
美國科技評估活動的組織體系主要由政府科技評估機構、民間科技評估機構和學術機構三方構成,各自在相應領域進行科技評估。在科學研究領域,五成以上的科研經費由美國政府提供,但并沒有設置負責科技評估的政府部門,也沒有設置特定政府部門負責對評估機構的認證。[1]美國的民間科技評估機構在整個科技成果評估體系中占有重要的地位,在運作過程中全部由美國政府出資委托評估,民間機構相對獨立公正地開展評估活動,因此,美國科技評估體系中出資方和評估方分離,在評估活動中建立彼此監督的機制,這一評估體系在一定程度上能保證整個評估活動的公平性和客觀性,推進整個科技評估活動效率的提高。
1975年美國頒發了《項目評估標準》,這相當于美國科技評估標準的雛形。1993年,美國頒布了《政府績效與結果法案》(簡稱GPRA),以立法的形式將績效評估引入政府的評估管理體系,與以往的法案和政府改革措施相比,GPRA具有更大的權威性、持久性和強制性。2010年,GPRA進行了部分調整,使之能適應當前的科技評估體系。GPRA自頒布開始就要求聯邦科研機構必須制定未來5年的發展規劃,并將發展規劃分解為多個定量目標,以多個定量分目標的實現來保障年度績效的整體完成,美國GPRA法案的頒布與實施使科技評估從原來的預警模式轉變為系統模式。
(2)統一的評估標準和多樣化的評估方法
美國科技評估已經形成完備的評估標準,首先對評估程序進行了規范,無論政府評估機構還是民間評估機構一般都遵循以下程序:由技術和風險專家組成綜合評估小組;制訂工作計劃;選擇評估方法;充分利用外部資源綜合評估;完成評估報告。其次在評價標準方面,美國政府在1975年頒發的《項目評估標準》主要包含了4個基本維度:實用性、可行性、正確性及精確度。每個維度下又包含了若干標準,用于保障評估活動的質量。該評估標準在2011年修訂版中增加了評估工作的問責標準,側重于評估過程和科技產品改進的問責制。
除了完備的評估體系、健全的評估制度、獨立高效的評估機構,一個行之有效的評估方法體系對整個科技評估活動也有著至關重要的作用。美國科技評估機構在長期的評估實踐過程中制訂了評估行業所共同遵循的評估方法,以提高整個科技評估工作的專業性、可靠性與規范性。美國國家科學院、國家工程院和醫學研究所在1999年聯合制訂了“評估聯邦研究計劃:科學研究與政府績效和結果法案”,在該法案中對美國最常用的科技評估方法進行了歸納總結,主要評估方法有文獻計量分析、同行評議、經濟回報率分析、指標分析、回顧性分析、案例分析等。[2]
英國科技成果評估活動開展比較早,經過多年的發展和完善,英國科技管理工作已把科技評估活動作為重要的組成部分,為更好地開展科技評估又建立起科技評估支持系統。自20世紀90年代開始,英國順應科技浪潮的發展頒布了一系列推動國家創新的文件,其中重要內容就是加大科技投資,為了更好地推進投資效益最大化,政府進一步完善科技評估體系。英國科技評估活動的重要啟示主要包括:支持和培育第三方評估機構;注重提升科技評估的效率;創新評估方法。
(1)第三方中介機構有較大的自主權
英國科技評估組織設置主要有三類:一類是政府科技評估機構,分為英國中央政府議會、議會委員會和國家審計署三級系統;第二類是研究機構和非政府基金組織的評估機構,如英國國立研究機構、高校和非營利性研究機構以及非政府基金組織;第三類是科技中介機構,主要是一些專業性的科技評估公司,如英國科研政策研究所(SPRU)、科技管理研究中心(ETSU)以及英國評估系統有限公司等。[3]近年來,英國的科技成果評估越來越交由第三方的中介機構來完成,它們的中立特性往往能夠提供更為客觀的評估結果。中介機構對評估組人員進行嚴格的選擇,人員來源廣泛且任期短,并要求臨時聘用的評估人員只參加一次評估,通過在網上公布減少政府干預,保證評估的社會化和公開性。
(2)由“RAE”到“REF”轉變,更加注重后效評估
RAE(Research Assessment Exercise)是英國教育基金會主要采用同行評議法對教育機構的科技進行評估,在1986年開始使用。但是RAE在實行一段時間后,暴露了很多弊端,如:該評估指標注重科研論著的發表數量,忽略了科研成果的轉化,忽視了高校與企業之間的合作,采用同行評議法主觀性太強。為此,2008年英國頒布了卓越科研評估框架,即 REF(Research Excellent Framework),是從成果、影響力和環境三個方面對科研成果進行評估。[4]科研成果是指科技活動的產出,其產出質量和數量情況在整個評估體系中占到65%的權重;影響力指研究科研成果在經濟、社會、文化各個領域所產生的影響或者效果,其在評估體系中占20%的權重;環境指科研的活力和可持續性,具體而言,涵蓋戰略、團隊、設施和經費等情況,該指標在評估體系中占15%的權重。[5]
(3)創新定性與定量相結合的評估方法
REF主要采用文獻計量為主要方法,以影響力為關鍵指標,重點考察科研活動對公共政策或服務、醫療衛生以及生活質量等各個方面的影響,這反映出科技成果評估往中后期延伸的趨向,科技成果評估更注重后效評估。同時,隨著文獻計量方法的發展,科研成果評估的定量化趨向越來越明顯。相對于定性評估的同行評議法,文獻計量方法具有客觀、具體、可操作性強的特點。在具體實踐中,定量評估與同行評議等定性評估方法結合起來,實現綜合性的評估判斷。
20世紀40年代日本實行科技審議會制度,對科技成果進行較為系統的評價,經過長時間的發展,已經形成了較為完善的科技評價的法規體系和組織體系。科技成果評估不僅成為日本政府科技管理與決策的重要手段,也在促進科技成果轉化以及科技體制改革等方面發揮著重要作用。[6]總結其經驗可以歸納為:構建了多層次的科技成果評級組織體系,涵蓋政府、研究部門和第三方機構的完善體系;依據經濟社會發展,不斷完善支持科技成果評估的法律體系。
(1)組織結構:多層次的科技評價體系
日本科技評價組織體系體現了多層次的特點,主要有綜合科學技術會議、政府部門、獨立的研究機構三個層次。日本科技評估的最高形式就是自90年代末設立的綜合科學技術會議制度,該制度是以制定關鍵領域的研究和開發戰略、貫徹執行科研發展計劃、評估科研成果為使命,指導和協調科技資源的配置,以充分實現科技資源的最大效率。大學評估機構主要評價大學類的研究機構及其負責的課題。獨立評估機構主要承擔政府和機構的委托評估項目。三類機構分別有自己的規章制度和運行機制,在對科技項目成果評估過程中分別提出各自的評估原則和評估指標,評估過程向社會公眾公開并接受社會監督。日本科技成果評估組織方面還采取內部評價與外部評價相結合的方式,同時兼顧評價對象的不同特點,在事前、事中和事后全過程評估的實施上也有所側重。
(2)法律保障:完善的科技成果評估法律體系
日本政府自20世紀90年代相繼頒布了一系列有關科技成果評估的法律法規,1995年頒布了《科學技術基本法》及1996年的《科學技術基本計劃》,又于1997日本科技學技術會議通過了《國家研究開發實施辦法指南》。這些法律從不同角度明確了科技成果評估的重要地位,提出了建立科研評價體制的基本框架,對科技成果評價的目標、責任、程序和方法等問題作了明確的規定。在相應法律中明確由第三方進行科技評估的外部評價方式,以確保評估過程的公正、公平、公開。2001年日本政府又推出了《行政機構開展政策評價工作法》,該法案明確了政府行政機構科技評估的原則、流程、方法等內容。為了更好地配合科技計劃實施,在2001年和2003年對《國家研究開發實施辦法指南》進行了兩次修正。新的大綱性指針進一步對原有的指針進行改進,強調重視事前評價和評估結果的有效利用,增加了評價系統的運作和考評等內容。[7]
早在20世紀50年代我國就已經開展了科技成果評估活動。我國科技成果評估體系是伴隨著改革開放的逐步推進及科技體制改革的深入,在發展中不斷完善。縱觀我國科技成果評估體制發展,一直把構建獨立、公正、科學、客觀的“第三方立場”評估體系作為發展方向。原國家科委從1994年開始使用第三方評估機構對科技計劃進行評估,早期的科技評估主要是對科技成果的鑒定,隨著科技發展,科技評估的對象轉到以政府資助的科研活動中的科技計劃和項目等。通過評估活動以服務于政府內部管理決策,提高政府資助的科技研發活動的效率和質量。國家科技部于1997年正式批準成立了“國家科技評估中心”,在全國12個省市開展了科技成果評估試點工作,這樣就把第三方機構的評估活動引入政府科技決策系統,通過公平、公正、科學、客觀的評估活動,打破了由政府出資、指派科研機構完成、最后再由政府進行評估的傳統模式。[8]科技部在2001年頒布了《國家科技計劃管理暫行規定》和《國家科技計劃項目管理暫行辦法》兩個法規,進一步強調了科技評估在科技計劃管理中的地位和作用,并明確了評估活動過程中的程序、方法和模式等問題。國家于2009年首次正式出臺了有關科技評估的正式法規,即《科技成果評價試點暫行辦法》和《科技成果評價試點工作方案》,重點為科技活動評估工作提供了完善的法律法規依據。這兩個法規的出臺進一步促進我國科技評估更加制度化和規范化。2004年又發布了《科學技術評估辦法》,這是對我國科技評估活動改革的進一步深化,通過對評估目的、原則、分類方法、準則和監督機制的明確,以顯示科技成果評估的客觀性與公正性,進而提高評估活動的公信力。
我國經過長時間的積累和探索已初步建立了較為完善的科技評估制度,目前仍存在諸如科技成果認定主體錯位、評估制度不健全、評估重數量輕質量、評估方法不規范等問題,需要進一步深入分析和探討。
(1)科技成果認定主體“錯位”
目前,我國政府層面的科技投入和研究活動基本采取的是以政府為單一評估主體的科技評價體系,這使得公眾利益和其他社會組織訴求難以體現,無法起到對公共資源使用效率的監督作用。在科技評估活動中,如果政府既是科技成果評估組織者又擔任管理者和監督者,那么,我國科技研發的積極性和動力將受到抑制。現實情況是行政部門介入科技活動成果評估具有普遍性,事必嚴重影響科技成果評估的客觀性和公正性,造成科技資源使用效率難以最優化的局面。由于這種評價制度的弊端,使得科技評估第三方中介機構和社會服務組織在科技成果評估中的作用難以充分體現。科技成果評價從政府單一主體向社會評價方式轉變是必然趨勢,讓更多的社會組織和社會公眾參與到科技成果評估中來,這樣才符合“社會確認原則”。
(2)科技成果評估方式單一
科技成果鑒定是我國多年以來一直使用的科技成果評價方式,科技成果鑒定制度是由相關領域同行專家依據國內外研究的狀況,聽取成果報告、審閱相關材料進行評價活動,因其主要側重于對科技成果形式上的鑒定,僅僅對科技成果的經濟價值和潛在收益進行估測,所以在具體操作上,最后由同行專家對科技成果提出“國內領先”、“國內首創”、“達到國際領先水平”、“取得突破性進展”、“填補空白”等的鑒定意見。科技成果鑒定的評估方式遠遠不能適應科技活動的復雜性、多樣性的要求,需要引入多樣化的科技成果評估方式,如:科技成果的鑒定、驗收、評審、項目結題、成果轉化及后效評估等。在評估指標體系選取上也存在相對過于籠統和宏觀的缺點,不能針對各類科技項目的不同特點以及科技成果評估不同階段建立客觀、優化的指標體系。
(3)科技成果評估重“數量”輕“質量”
近年來,我國科技成果重視“數量”、輕視“質量”的問題比較突出。以氣象科技論文為例,近年來氣象科技領域的SCI論文數量增長較快,SCI論文也成為考評氣象科技領域科研成果水平高低的重要標準。SCI憑借其大型綜合性科技文獻數據庫的優勢,成為評判科技活動成果的重要工具。但是SCI科技成果數量多少并不能反映出質量的高低,雖然SCI中科技成果被引頻次是用來衡量成果學術影響力和社會顯示度的重要指標,但這并不能表示科技成果的經濟和社會影響力和貢獻率。為了更好地說明問題,筆者收集了中、美、英三國1994—2013年在Web of Science上有關氣象科技方面的成果,具體情況如表1所示。

表1 中美英三國20年發表的氣象科技成果情況
由表1可以看出,我國氣象科技論文與歐美發達國家相比還存在著較大的差距,表現在數量上的不足和質量上的落后。究其原因,與近年來以論文數量為導向的科技成果評估有關,一味地追求論文數量,而忽視了對論文質量的關注。
(4)科技成果評估制度供給缺乏
雖然我國出臺了科技成果評估的相關法律法規,但是仍不能滿足科技成果評估的需要,如現有法律關于評審專家的遴選、評價標準和評價程序等方面沒有具體的規定,在此情況下,科技評價的主體很可能在科技評價中存在主觀偏向,極易產生有失公正的問題。現階段我國科技成果評估存在只注重事前評估的傾向,對科技成果研發過程中的情況及科研成果社會性和經濟性的評價不足,尤其是忽視針對成果轉化的后效評估,使得我國科技成果的轉化率較低,很多科技成果往往不能轉化為實際的產出,這些都跟評估制度不合理有很大的關系。很多科技成果的效益并不是短期內就能表現得十分明顯,因此對這些科技成果的評估需要一個長期的連續性的過程,科技成果評估程序的不透明也提供了暗箱操作的可能性。
目前,我國科技評估機構大多隸屬于各級科技部門,其評估活動經費主要來源于政府財政支持,造成科技成果評估活動中難以秉持客觀、公正的態度,評估結果往往受到行政方面的干擾。為此,我國在科技成果評估的組織體系建設中可借鑒美國的經驗,政府出資支持第三方中介機構開展評估,政府在評估的整個過程不參與其中,將科技評估活動真正交給社會。我國應逐步建立更多的中立性質的第三方評估機構,在評估過程中保證評估機構與委托方的相對獨立性,政府可以對科技評估過程進行監督以體現其對科技評估活動的管理職能。[9]在轉換政府職能的同時要關注科技中介機構體系的建立和完善,秉承“獨立自主、科學客觀、專業謹慎”的建設原則,不斷調整和修訂相關的制度和法規,聯合其他類型的科技中介服務機構,構建功能完備、運行高效的科技評價體系。
隨著科技活動在經濟社會中的作用越來越重要,針對不同性質的科技活動應采用不同的科技評估方式。如:對于國家級重大科技項目的評價,應由獨立的同行外部專家、財務專家、經濟學家等組成評價團隊實施評價,同時,在信息溝通上要接受社會的監督,在流程設計上應適當考慮能反映廣大公眾的意見;針對競爭性資金資助項目的特點,科技評估應以事前評價為主,評價團隊組成上既要考慮同行專家還要考慮行業外的專家;對于小規模的、基礎性的研究課題,原則上也要進行評價。在評估組織上主要是學術同行對發表的科研論文進行評價,并結合研究人員的自我評價,必要時通過委托研究機構對其科研成果的綜合水平進行評估。為確保科技評估的科學性和準確性,具體到評估方法選擇上應更加注重多樣化和多層次,評估方法的選擇原則本著長期與短期結合、定性與定量結合、經濟效益評估與社會效益評估結合、內部評估與外部評估結合等。
涉及評估專家、評估制度及評估組織等科技評估資源的積累和優化是提升我國科技成果評估水平的重點工作。為此,首先應進一步強化評估專家資源建設,在評估實踐中注重對綜合素質高、專業性強的評估專家進行有意識培養,發現并整合現有的各行業科技評價專家,建立評估專家資源庫,以在需要時能保證科技評估活動客觀、科學地開展。其次,加強科技評估資源體系建設,政府部門作為管理者通過委托相關機構多方面收集國內外科學技術的最新進展、科技成果應用的社會實踐以及科技評估的最新理論和實踐,結合舉辦和參加各類科技評估的國際交流活動,構建政府主導的科技評估資源數據庫。最后,加強多層次的評估組織體系建設,評估組織體系資源是科技評估活動客觀公正開展的重要保證。隨著第三方評估機構在評估體系中的地位不斷提升,我國應充分借鑒國外的先進經驗,通過培育和支持第三方評估機構來構建科技評估組織資源體系。
監督機制是提高我國科技評估活動有效性的有力保障,涉及對項目承擔者、同行評議專家和科技評價機構三者的監督。首先,建立對科研項目承擔者的獎懲機制,通過獎勵措施鼓勵科技活動中的創新,促進科技活動改善人類生存條件,嚴懲科研活動中的弄虛作假等不良行為,建立國家層面的有關科研成果的獎懲規定,進一步規范科技成果獎懲制度,以保障科技成果的創新性、合理性和適用性。其次,要建立對同行評議專家的監督機制,建立評議專家的信譽檔案,其專業能力水平及評價態度的客觀公正性將被記錄在案,并作為接受社會公正監督的依據。最后,要建立對科技成果評價機構的監督機制。由于科技成果評價機構控制著評價的整體流程,某些環節如被有意濫用,腐敗及不良事端將會滋生,評價結果的公正性就很難保證。[10]通過建立獨立的監督機構,執行對評價中介機構的監督責任,接受中介機構的定期匯報,并對其質詢。
[1] 張仁開,羅良忠.我國科技評估的現狀、問題及對策研究[J].科技與經濟,2008(3):25-27.
[2] XU M K,MA Y.The Enlightenment of the Evaluation System of Science and Technology in the Developed Countries[J].Science and Management,2005(34):104-106.
[3] 何有琴,夏梅,劉巖,等.國外科技評價實踐及對我國的借鑒[J].科學與管理,2007(2):26-28.
[4] HEFCE.Assessment Framework and Guidance on Submissions[EB/OL].(2013-11-29).http://www.ref.ac.uk/pubs/2011-02/.
[5] KUHLMANN S.German Government Department’s Experience of R&D Programme Evaluation and Methodology[J].Scientometrics,1995(3):461-471.
[6] LI X G.Draw Lessons from Foreign Experience to Perfect Our Technology Assessment System of Science and Technology[J].Science and Technological Progress and Countermeasures,2007(10):135-139.
[7] 劉壯華.歷史悠久的日本學士院獎[J].中國科技獎勵,2000,8(2):40-41.
[8] 談毅,仝允桓.中國科技評價體系的特點、模式及發展[J].科學學與科學技術管理,2004(5):15-18.
[9] 方衍,田德錄.中國特色科技評價體系建設研究[J].中國科技論壇,2010(7):11-15.
[10]張薇,程駿.科技評估專家支持系統的建立與規范[J].科技管理研究,2003(1):31-33.