氣象技術方法類科技成果后效評估指標體系研究

胡宜昌，鄒立堯，王亞光

(中國氣象局氣象干部培訓學院 北京 100081)

0 引 言

建立科學、合理的科技成果評估機制，有利于促進科技創新。科技成果評估活動與成果應用密不可分，一方面，科技成果在被推廣應用之前，評估結論能在促進成果的推廣應用方面為管理部門提供參考；另一方面，科技成果推廣應用一段時期之后，再次評估成果的應用價值既可以校驗之前的評估結論，促進評估工作的改進，又可以為成果進一步的推廣應用提供指導。所以，完整的科技成果評估活動通常是“評估—實踐—評估—實踐……”的循環反復、相互促進的過程。當然，各階段評估的側重點不同，實踐之前側重于成果應用價值的評估，實踐之后側重于應用效果的評估，且為成果再次用于實踐提供更為客觀、科學的價值判斷。

目前，各行業開展科技成果評估工作時，普遍缺乏成熟的跟蹤評估機制，對成果價值的評估大多止步于應用前的驗收鑒定，對成果實際應用過程中所表現出的真實效用缺乏充分的了解，難以發現成果推廣應用過程中存在的問題，自然也不利于評估管理工作的進一步完善。對于一些短期內難以得到行業普遍認可的研究成果，尤其應當建立合適的后效評估機制，在成果應用過程中逐步加深對其價值的認識，為具有較好推廣應用價值的成果創造足夠長的孕育時間。

氣象科技成果根據其屬性特征可分為三大類，即科學認識類、業務工具類和管理咨詢類，其中業務工具類成果又可以根據其功能和表現形式分為技術方法、儀器裝備和業務系統。科學認識類成果以認識自然現象，揭示客觀規律為主，多涉及基礎理論方面的新進展、新發現，其科學價值往往需要經過學術界的廣泛評議才能被認可，應用價值難以在短期內得到充分體現，短期內的跟蹤評估不足以涵蓋其真實效用；管理咨詢類成果以政策規劃、咨詢(評估)報告、調研報告等為主，其應用價值的發揮易受政策、環境等諸多因素的影響，成果的真實效用難以獨立衡量；業務工具類成果的開發及應用具有較強的目的性，往往直接針對業務工作中亟需解決的關鍵問題，成果的應用價值也表現出較強的時效性，所以開展檢驗其效用的跟蹤評估既必要又可行。

本文從跟蹤評估的角度，針對氣象技術方法類成果，對其在一段時期業務實際應用過程中所表現出的效用進行綜合評估。研究將從概念定義出發，通過對技術方法類成果的特征分析，設計對應的后效評估指標體系，提出具體的操作方法，為進一步完善氣象科技評估管理工作提供參考。

1 后效評估的定義

1.1 內涵分析

后評估、事后評估等概念在論文、著作中時常出現，而且幾乎都是針對項目的評估。李軍等[1]指出，后評估是項目完成后的一段時間內，由獨立的專業化咨詢服務機構或與項目執行部門相對獨立的專門評估機構，按照有關規定和規范化要求，依據項目的實際數據和必要的預測數據，對項目的目的、執行過程、效益、作用和影響等進行系統、客觀的再評估。丁士海等[2]指出，后評估是項目經過論證、立項、實施、驗收后，對已完成項目的目的、執行過程、效益、作用和影響所進行的系統的、客觀的綜合分析和研究總結的一種方法。

部分行業已經認識到后效評估的重要性，“后效評估”一詞偶爾也出現在有關的研究工作中，例如，土地整理后效評估、[3]流域水資源配置后效評估、[4,5]醫藥安全后效評估、[6]信息化產業經濟效益的后效評估。[7]然而，還沒有文獻資料對后效評估的概念給出明確定義。從不同文獻資料中關于后效評估部分的內容描述來看，一般認為，后效評估是指政策執行、產品應用等經歷一段時間后，利用相應的評估方法對其實際效果進行客觀評價。

2000年 12月，國家科技部印發《科技評估管理暫行辦法》，[8]其中對科技活動的“后效評估”含義有所提及。《辦法》中指出，科技評估按科技活動的管理過程，一般可分為事先評估、事中評估、事后評估和跟蹤評估等4類。其中，事后評估是指在科技活動完成后對科技活動的目標實現情況以及科技活動的水平、效果和影響所進行的評估；跟蹤評估是指在科技活動完成一段時間后的后效評估，重點評估科技活動的整體效果，以及政策執行、目標制定、計劃管理等綜合影響和經驗，從而為后期的科技活動決策提供參考。

根據以上關于后效評估的內容介紹，后效評估的含義主要包括 3個方面，即評估對象需開發完成并經過一段時間的實際應用；評估內容包括評估對象的實際應用效果及產生的影響；需要對評估對象的應用前景做進一步預測。研究通常關注科技活動整體的后效評估，對于科技活動產出的科技成果而言，其在實際應用過程中是否實現了預期的功能與效益，其可持續應用程度如何，這些應該是科技成果后效評估更為關注的問題。

1.2 后效評估與認定的關系

后效評估是科技成果評估體系的重要組成部分。與成果認定相比，由于有實際應用后的數據結果做支撐，后效評估更利于評價科技成果的合理性和有效性，有助于成果的改進及進一步推廣應用。

為促進科技成果的推廣應用，成果評估至少應包含兩部分內容，即推廣之前的成果認定和推廣應用一段時期后的后效評估。成果認定主要關注成果自身的功能是否符合相關要求，其目的是為加強成果推廣應用提供參考；而后效評估更多的是關注成果在實際應用過程中功能的實現程度和效益的發揮情況，其目的是發現成果在實際應用中存在的問題，包括成果自身的功能問題和外部環境問題，為成果改進或外部環境改善提供參考，促進成果的進一步推廣應用。

本文所研究的后效評估獨立于科研項目，是指技術方法類成果經過一段時期(通常為 2～3年)的業務應用之后，從其實際的功能表現、效益發揮、業務影響等方面進行評估，通過理論數據和實際數據的對比分析，更加系統、客觀地判斷成果的推廣應用價值，為成果在業務應用中的可持續性提供綜合評價。

2 后效評估指標的設計

2.1 指標體系

氣象技術方法類成果主要是指在實現氣象業務活動目標的過程中，基于科學認識，構造與實施具體操作過程中的步驟、程序、技巧的總稱，其所涵蓋的范圍包括預報預測、綜合觀測、監測預警、風險評估、影響評價等。追求效用是技術方法類成果的基本屬性，結合氣象業務追求“準確、及時”的特點，通過調研分析，本文提出了氣象技術方法類成果的后效評估指標體系(見表1)。

表1 氣象技術方法類成果后效評估指標體系Tab.1 The index system for post-application effect evaluation on meteorological technology and methods

2.2 評分規則與標準

設計評分規則和標準是后效評估的關鍵環節之一。本文研究分析了表 1中后效評估指標的評價點，設計了相應的量化規則與標準(見表2)。

表2 氣象技術方法類成果后效評估指標的量化規則與標準Tab.2 Rules and standards of post-application effect evaluation index quantification for meteorological technology and methods

如表 2所示，根據指標的不同行為表現，結合成果的典型特征，評分規則與標準設定了不同指標的評價等級。后效評估指標的綜合得分為：

綜合得分的最高分值為100分，即：

在進行具體的評分操作時，首先參考評價點確定各二級指標所處的評價等級，然后結合相應的二級指標的分值權重確定該二級指標的得分，最后所有指標的得分累計求和得出綜合評分。

3 后效評估方法

3.1 指標權重分析

表 2中各評估指標分值的確定是評估結論最終能否量化的關鍵。各一級指標和二級指標都對應著一個最高分值，同級指標的最高分值之和為 100分。表 2中各指標之間最高分值的比較可視為權重分配的問題，通過權重計算確定分值。

確定指標權重的方法較多，常用的分析計算方法有專家評定法、層次分析法、秩和運算法。通過對專家咨詢意見進行整理分析，計算各指標的權重，一級指標權重為 Wi(i＝1，2，3)，二級指標權重為 Wij(i，j＝1，2，3)。各一級指標的最高分值為 Xi＝100×Wi，二級指標的最高分值為 Δxij＝100×Wi×Wij。

3.2 綜合評分

后效評估可以采用檢測、會議、函審等方式進行，也可以根據申報材料直接操作，不過這些都以成果后效評估指標體系、評分規則與標準為基礎。先由專家根據后效評估規則與標準，對各指標評價打分；然后根據所有專家對各指標的評分，計算各指標的平均分值；最后依據指標評分分值及其對應的權重，計算后效評估成果的綜合評分。

4 結 論

本文從科技成果后效評估的概念、意義出發，開展了有關氣象科技成果后效評估指標體系的研究。針對氣象科技業務工具類成果中的技術方法類成果，建立了相應的后效評估指標體系，對各指標的定義和評價點做出了解釋說明。設計了后效評估指標的評分規則與標準，并提出了后效評估的具體操作方法，為氣象科技成果的評估管理工作提供了參考。

值得注意的是，后效評估具有一定的導向性作用，如果使用不當，將會影響成果的改進和進一步推廣應用。本文所建立的后效評估指標體系還需要在實踐工作中不斷完善，以期更合理有效地發揮后效評估的作用。■

［1］李軍，張勐，劉林海，等.充分發揮后評估在科技計劃項目管理中的作用[J].科技信息，2004(7)：48-49.

［2］丁士海，韓之俊，陳湘來.科技基礎研究計劃項目后評估管理模式研究[J].科技管理研究，2009(6)：113-115.

［3］楊悉廉，齊小燕.基于成功度模糊綜合評價的土地整理后效評價研究——以壽縣安豐塘鎮土地整理項目為例[J].現代農業科技，2009(22)：265-272.

［4］王浩，王建華，秦大庸.流域水資源合理配置的研究進展與發展方向[J].水科學進展，2004，15(1)：123-128.

［5］劉高峰.流域水資源配置后效評價研究[J].東北水利水電，2006(10)：1-6.

［6］董碧蓉.循證醫學與臨床實踐[J].井岡山大學學報：自然科學版，2010，31(1)：129-133.

［7］張鵬.各地掀起“云產業大戶”爭奪戰實際經濟價值有待后效評估[J].通信世界，2011(27)：36.

［8］國家科技部.科技評估管理暫行辦法[Z].2000.