河南省科技獎勵工作后評估邏輯框架構建及應用

摘 要：【目的】探索河南省科技獎勵工作后評估框架和指標體系，推進科技獎勵工作不斷完善。【方法】根據河南省科技獎勵工作的特點，基于ATP通用邏輯模型構建科技獎勵工作后評估邏輯框架，建立融合相關性、效率、效果和影響等評估準則的科技獎勵后評估指標體系，并運用隸屬度函數對后評估邏輯框架和指標體系在2022年河南省科技獎勵工作后評估中的應用效果進行檢驗。【結果】2022年河南科技獎勵工作評估結論為成功，但在獎種設置、獎勵制度建設等方面有待提升。【結論】通過開展后評估工作，初步建立了科技獎勵工作第三方監督和評估結果反饋機制，提升了河南省科技獎勵工作的質量和整體績效。

關鍵詞：科技獎勵；后評估；ATP通用邏輯模型；評估準則；指標體系；隸屬度函數

中圖分類號：G322 文獻標志碼：A 文章編號：1003-5168（2024）17-0144-06

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.17.030

Construction and Application of the Logical Framework for Post-evaluation of Science and Technology Awards in Henan Province

FENG Wenjun WANG Miao XIANG Yong ZHANG Hui

（Henan Science and Technology Innovation Promotion Center，Zhengzhou 454003， China）

Abstract： [Purposes] This paper aims to explore the post-evaluation framework and index system of science and technology awards in Henan Province， and promote the continuous improvement of science and technology reward work. [Methods] According to the characteristics of science and technology awards in Henan Province， a logical framework applied in post-evaluation of the science and technology awards procedures was constructed on the basis of ATP general logic model. Moreover， the membership function is used to test the application effect of the post-evaluation logical framework and index system in the post-evaluation of science and technology awards in Henan Province in 2022. [Findings] The evaluation conclusion of science and technology award work of Henan Province in 2022 is successful， but it needs to be improved in terms of award setting and reward system construction. [Conclusions] Through the post-evaluation work， a third-party supervision and evaluation result feedback mechanism for science and technology awards was initially established， which improved the quality and overall performance of science and technology awards in Henan Province.

Keywords：science and technology award; post-evaluation; ATP general logical model; evaluation criteria; index system; membership function

0 引言

科技獎勵作為我國科技政策的重要組成部分，代表著政府和社會對科技工作者成果及其貢獻的認可，在激勵自主創新、激發人才活力、營造良好創新環境等方面發揮著重要作用。《關于深化科技獎勵制度改革的方案》［1］和《河南省深化科技獎勵制度改革方案》［2］中明確提出，建立科技獎勵工作后評估制度，每年科學技術獎勵大會后，委托第三方機構對年度獎勵工作進行評估，促進科技獎勵工作不斷完善。《國務院辦公廳關于完善科技成果評價機制的指導意見》［3］在關于改革完善科技成果獎勵體系中同樣提出加強事中事后監督，提高科技獎勵整體水平。

科技評估是政府加強科技管理和完善科學決策的重要舉措。因此，科技獎勵工作后評估整體定位是在科技獎勵工作完成后，由獨立的機構按照規定和規范化要求，對工作目標、執行過程、效益作用和影響等進行系統、客觀的再評估，通過建立第三方監督和評估結果反饋機制從政策設計、目標設置、執行過程等方面不斷優化，提升科技獎勵工作質量和整體績效。

1 后評估發展現狀

項目后評估起始于20世紀30年，是在項目完成并運行一段時間后，對項目目的、執行過程、效益、作用和影響等進行系統、客觀地分析和總結的技術經濟活動［4］。它已從單一的財務評價發展到包含經濟、技術和可持續性后評價等多類內容的綜合評價。Ilzkovitz等［5］指出了項目后評估的4個目標：加強對競爭政策決策影響力的理解、提高競爭政策的透明度和問責性、提倡競爭和競爭政策、改善未來的決策實踐［6］。世界銀行、亞洲開發銀行、美國、日本等國際機構和國家逐漸形成了較為完善的后評估體系和獨立的評估機構。我國的后評估起始于1988年，現已廣泛應用于財政績效［7］、項目［8］、政策［9］，甚至立法效果［10］等評估評價工作。

目前學術界關于科技獎勵后評估的研究成果并不多，且前期的研究工作主要集中在科技獎勵制度運行績效評價和科技獎勵獲獎項目績效評價，難以涵蓋科技獎勵工作后評估的全貌。《深化科技獎勵制度改革方案》印發后才出現科技獎勵工作后評估相關研究。危懷安等［11］構建了社會、行政、制度、管理和文化“五位一體”的國家科技獎勵工作后評估研究邏輯，從過程維與結果維兩個視角探討了國家科技獎勵后評估的主要對象和關鍵內容。張成偉［12］基于“概念的操作化定義—后評估維度確定與解構—后評估指標篩選與賦權—指標釋義與評分標準確定”邏輯，運用專家咨詢法和層次分析法建立了國家科技獎勵后評估指標體系。

2 河南省科技獎勵工作后評估邏輯框架構建與指標體系開發

2.1 評估邏輯模型

設計科學合理的評估框架是開展評估工作的基礎，目前主要的科技評估框架有邏輯模型和變革理論［13］，其中邏輯模型中的ATP（Advanced Technology Program）通用邏輯模型通過建立“社會目標—具體政策—目標任務—組織機制—實施效果”完整評估鏈條，向計劃管理者和政策制定者反饋評估結果及建議，與科技獎勵工作后評估定位高度吻合。因此，本文選用ATP通用邏輯模型，從河南省科技獎勵的社會目標出發，分析現行科技獎勵政策、組織機制和實施效果，厘清科技獎勵目標和任務實現路徑（圖1）。

河南省科技獎勵的社會目標是弘揚求真務實、勇于創新的科學精神，營造尊重知識、尊重人才的良好氛圍，調動全社會支持科技創新的積極性，推動科技進步和經濟社會發展、加快建設創新型河南和全國科技創新高地。具體概況為激勵導向目標和凝聚人才目標。科技獎勵政策包括獎種設置、獎勵結構和獎金標準等。組織機制包括科技獎勵工作組織機制和評審監督機制，通過建立科學的評價方法、規范高效的工作流程和公開透明的評審監督機制，提高科技獎勵評審質量和公信力。實施效果是指獎勵效果，主要包括獎勵成效和滿意度。

2.2 評估準則

評估準則是開展評估工作的若干標準，國際上普遍采用相關性、效率、效果、影響、可持續等準則開展公共R＆D（研究與開發）評估。根據前面建立的河南省科技獎勵工作后評估邏輯模型，選擇相關性、效率、效果和影響等4個評估準則。

相關性：從科技獎勵工作目標定位、獎種設置等方面評估科技獎勵工作與河南省科技創新政策的相符程度，判斷科技獎勵工作的設立是否合理。

效率：從科技獎勵工作組織實施、評審監督等方面評估科技獎勵工作整體投入與產出之間的關系，判斷科技獎勵工作實施過程是否科學高效。

效果：從科技獎勵成效等方面評估科技獎勵工作目標的實現程度，判斷科技獎勵工作是否達到預期效果。

影響：從獎勵工作滿意度方面評估科技獎勵工作社會滿意度，判斷社會對科技獎勵工作的公認程度、目標群體的滿意度等。

2.3 評估指標體系

根據前文建立的河南省科技獎勵工作后評估邏輯模型和選擇的評估準則，通過梳理研究相關政策、規范和文獻，確定了“科技獎勵工作+后評估”的定位，設計開發了目標定位、獎種設置、組織實施、評審監督、獎勵效果等5個一級指標，并細化了14個二級指標、22個三級指標（表1）。該評估指標體系覆蓋了《國家科學技術獎勵績效評價暫行辦法》［14］要求的評價內容，在技術方法層面推動科技獎勵工作后評估機制與預算績效管理的融合，有助于評價信息共享與評價結果互認。

2.4 評估等級

科技獎勵工作后評估堅持問題導向和結果導向，重在發現科技獎勵活動中存在的問題，以及科技獎勵工作產生的效果和影響。本次評估結果處理采用定性的等級評定法，總體評估結論設置不成功、基本成功、成功和非常成功4個評估等級。

3 評估分析

通過案卷研究、問卷調查、面訪座談、專家咨詢、數據分析等方法，圍繞各一級評估指標對2022年河南省科技獎勵工作展開分析。

3.1 目標定位

激勵導向方面。河南省科技獎勵工作堅持激勵性和導向性原則，圍繞河南省經濟社會發展全局和產業結構轉型升級需要，建立健全以創新能力、創新質量、實際貢獻為導向的獎勵機制，重點獎勵創新引領作用強、特色優勢突出、對產業轉型升級和經濟發展貢獻大、解決“卡脖子”技術難題的科技成果，重點獎勵具有重大影響力的科學發現、具有重大原創性的技術發明、具有重大經濟社會價值的科技創新成果。在起重裝備、礦山裝備、冶金裝備、交通運輸裝備等領域涌現出一大批高水平科技成果，為推動河南省制造業高質量發展提供了有力的科技支撐。

凝聚人才方面。河南省科技獎勵工作堅持優中選優、寧缺毋濫的原則，嚴格評審標準，突出標志性成果的質量、貢獻和影響。自然科學獎、技術發明獎和科技進步獎共提名數量853項，授獎總數315項（人），激勵引導了更多優秀科技人才。通過科技獎勵工作，發現人才、培養人才、支持人才，調動科技人員積極性和創造性，增強科技人員的榮譽感、責任感和使命感，激發人才活力。

3.2 獎種設置

河南省科學技術獎包括自然科學獎、技術發明獎、科技進步獎、科學技術杰出貢獻獎和科學技術合作獎等五個獎種與國家科技獎相銜接，符合科學技術在基礎研究、技術發明、應用研究等3個階段的發展規律，授獎315項符合河南省改革方案中總數不超過350項的要求，獲獎項目領域結構與河南省相關行業的實際科技水平基本相符。

2022年度河南省科技獎勵工作共評審出獲獎項目315項（人），其中省自然科學獎24項，技術發明獎16項，科技進步獎269項，科學技術杰出貢獻獎2人，科學技術合作獎4項（人）（表2）。除杰出貢獻獎和合作獎不設獎勵等級外，自然科學獎、技術發明獎和科技進步獎共評選出特等獎項目2項、一等獎項目27項、二等獎項目118項、三等獎項目162項，比例分別為0.65%、8.74%、38.18%、52.43%。與2020年相比，新增特等獎2項，一等獎增加了4項，二等獎減少了3項，三等獎增加了14項。符合河南省深化科技獎勵制度改革方案的規定。

在獎金標準方面，《河南省深化科技獎勵制度改革方案》設定的“杰出貢獻獎獎金標準為300萬元/人；河南省自然科學獎、技術發明獎、科學技術進步獎獎金標準為：一等獎50萬元/項、二等獎30萬元/項、三等獎20萬元/項”，在中部六省中是最高的，強化了科技獎勵的激勵導向。

3.3 組織實施

河南省科技獎勵工作設立了管理組織架構和評審組織架構，職責分工明確，構建的獎勵工作“二三七五”①工作機制保證了獎勵工作規范操作，實現了評審結果公平公正，提高了科技獎勵評審質量和公信力。

評審工作實行“五個堅持”，即堅持定性評價與定量評價相結合、堅持異地答辯和現場答辯相結合、堅持“評審+考察”機制、堅持評審全程留痕管理、堅持評審期間封閉管理和各環節接受監督，評審組織工作嚴密、紀律嚴明。

評審工作實行異議制度，對異議的分類、處理流程、處理時效、負責單位等作出了詳細的規定。

3.4 評審監督

從提名到評審的7個工作環節，進行5次公示，接受省紀委駐省科技廳紀檢監察組與廳紀檢組全程監督。實行評審觀察員制度，邀請省人大代表、政協委員、新聞媒體到評審現場觀摩，社會監督機制完善。

3.5 獎勵效果

河南省科技獎勵工作建立了完善的獎勵工作質量管理體系，保證了獎勵工作機制的嚴格執行和規范操作，在全國范圍內樹立了河南省科技獎勵的工作品牌，形成了可復制可推廣的經驗，且被《中國科技獎勵年鑒》收錄推廣。

獲獎項目既有面向國家戰略需求、解決“卡脖子”技術的重大項目，也有致力于改善民生的科技成果，獲獎項目領域結構與河南省相關行業的實際科技水平基本相符。

通過對科研人員、科技管理人員、科技獎評審專家及其他人員的640份有效調查的分析發現，評獎結果滿意度、科技獎勵工作公開透明度、科技獎勵的社會公認度滿意及非常滿意分別占比91%、95%和90%。

4 綜合評價

模糊綜合評價是對受多種因素影響的事物做出全面評價的一種十分有效的多因素決策方法。本文結合河南省科技獎勵工作的特點，根據模糊數學最大隸屬度原則確定后評估等級［15-16］。基本思路為：①確定評價對象指標集。根據前文確定的河南省科技獎勵工作后評估指標體系，確定5個一級指標作為后評估的指標集，邀請熟悉河南省科技獎勵工作的專家，在事實證據分析的基礎上對2022年河南省科技獎勵工作5個一級指標進行定量評估，得到的分數為u=（83，79，92，89，86）；②確定評價集。設定4個后評估等級及相應的分值區間，詳見表3；③按照梯形分布函數建立模糊評價矩陣R；④通過德爾菲法得出評判指標權重集A；⑤根據最大隸屬度原則判斷后評估等級。

令[μ1]（x）（i=Ⅰ，Ⅱ，Ⅲ，Ⅳ）表示相對于4個等級的隸屬度函數，按照梯形分布函數進行計算：

[μ1（x）=1（0≤x<60）80-x20（60≤x<80）0（80≤x≤100）]

[μ2（x）=x60（0≤x<60）1（60≤x<80）90-x10（80≤x<90）0（90≤x≤100）]

[μ3（x）=0（0≤x<60）x-6020（60≤x<80）1（80≤x<90）100-x10（90≤x≤100）]

[μ4（x）=0（0≤x<80）x-8010（80≤x<90）1（90≤x≤100）]

將5個分數代入該隸屬度函數，得到評價矩陣：

[R=00.710.30.0510.950000.8100.110.900.410.6]

運用德爾菲法確定5個一級指標權重，經歸一化后得到權重集A，A=（0.1，0.1，0.3，0.2，0.3）。

計算出模糊綜合評價結果集B=AR，采用取大取小算法得到：B=（0.005，0.25，0.935，0.69）。歸一化后得到最終的結果集D=（0.003，0.133，0.497，0.367）。根據最大隸屬度原理，得到的結果等級為Ⅲ級，說明2022年河南省科技獎勵工作整體評估結論為“成功”。

5 結論與建議

5.1 評估結論

①建立的河南省科技獎勵工作后評估邏輯模型，從科技獎勵的社會目標出發，厘清了科技獎勵目標和任務實現路徑。依據后評估邏輯模型與相關性、效率、效果、影響、可持續等準則開發的評估指標體系覆蓋了《國家科學技術獎勵績效評價暫行辦法》要求的評價內容，從技術方法層面推動科技獎勵工作后評估機制與預算績效管理的融合，有助于評價信息共享與評價結果互認，減少重復評價，提高評價質量與效率。

②邀請專家通過案卷研究、數據分析、滿意度調查等方法搜集分析評估證據，運用隸屬度函數得到2022年河南省科技獎勵工作整體評估結論為“成功”。

③通過后評估工作初步建立了河南省科技獎勵工作第三方監督機制和信息反饋機制，增強了科技獎勵工作公開透明度，提高了科技獎勵的公信力和社會影響力，有助于提升科技獎勵工作質量和整體績效。

5.2 評估建議

5.2.1 提高授獎數量，調整授獎結構。2022年河南省科技獎勵工作共評審出獲獎項目315項，為改革方案要求的不超過350項的90%。一等獎占獲獎項目總數的8.74%，與國內其他地方一等獎比例一般在10%以上相比，獲獎比例仍偏低。建議進一步提高授獎總數和一等獎獲獎比例，提升科技獎勵激勵效應。

5.2.2 優化科技獎勵類別和結構。目前全國15個省（區、市）的獎種設置除了自然科學獎、技術發明獎、科技進步獎、科學技術杰出貢獻獎和科學技術合作獎以外，還設置了青年科技獎、創新團隊獎、創新企業獎等。河南省科技獎勵獎項類別相對較少，建議進一步增設青年科技杰出貢獻獎和創新團隊等獎項，強化對優秀青年學者和科研創新團隊的激勵和培育。

5.2.3 加快科技獎勵制度建設。河南省科技獎勵改革方案出臺已近4年，全國31個省（區、市）已有27個修訂并發布了新的科技獎勵辦法，建議加快修訂出臺《河南省科學技術獎勵辦法》，為河南省科技獎勵工作提供政策支撐。

5.2.4 建立獲獎項目跟蹤評價機制。在更長時間的維度中跟蹤科技成果的科學、技術、經濟、社會、文化價值，總結分析高質量科技成果特征，指導科技獎勵政策修訂。

注釋：

[①]“二三七五”工作機制即兩個工作階段（提名評審和審核批準）、三級評審（專業組網絡評審、行業組會議評審和評委會會議評審）、七環節五公示（從提名到評審的七個工作環節，進行五次公示）。

參考文獻：

［1］國務院辦公廳.關于深化科技獎勵制度改革的方案［EB/OL］.（2017-06-09）［2021-12-21］.http：//www.gov.cn/zhengce/content/2017-06/09/content_5201043.htm.

［2］河南省人民政府辦公廳.河南省深化科技獎勵制度改革方案［EB/OL］.（2019-04-15）［2021-12-21］.https：//www.henan.gov.cn/2019/04-26/744155.html.

［3］國務院辦公廳.國務院辦公廳關于完善科技成果評價機制的指導意見［EB/OL］.（2017-08-02）［2021-12-21］.http：//www.gov.cn/zhengce/content/2021-08/02/content_5628

987.htm.

［4］陳銀花.獲獎科技成果的后評價研究［D］.上海： 華東理工大學，2012.

［5］ ILZKOVITZ F， DIERX A．CRESSE 2017，12th international conference on competition and regulation［C］//Brussels： European Commission， 2017.

［6］危懷安，杜錦.國外項目后評估研究綜述［J］.科技管理研究，2020，40（15）： 231-235.

［7］謝福泉，任浩，張軍果.財政科技投入產出績效評價體系的構建：科技項目后評價視角［J］.中國科技論壇，2006（6）： 25-27.

［8］劉艷艷.科技計劃項目后評價體系構建研究［D］.呼和浩特：內蒙古工業大學，2013.

［9］臘孟珂，劉會成，林立清，等.邏輯框架法在環境政策后評估中的應用及實例研究［J］.江西科學，2016，34（6）：903-906.

［10］丁賢，張明君.立法后評估理論與實踐初論［J］.政治與法律，2008（1）：131-137.

［11］危懷安，張成偉.國家科技獎勵工作后評估：邏輯起點與對象分析［J］.科技管理研究，2019，39（19）：28-32.

［12］張成偉.國家科技獎勵工作后評估指標體系的理論構建與實證檢驗［J］.科技管理研究，2020，40（19）： 77-85.

［13］國家科技評估中心，中國科技評估與成果管理研究會.科技評估方法與實務［M］ .北京：北京理工大學出版社，2019：24-26.

［14］財政部，科技部.國家科學技術獎勵績效評價暫行辦法［EB/OL］.（2019-12-17）［2021-12-21］.http：//jkw.mof.gov.cn/zhengcefabu/202001/t20200109_3457033.htm.

［15］涂向陽，高學平.模糊數學在海水入侵地下水水質評價中的應用［J］.水利學報，2003（8）：64-69.

［16］孫鋒.基于隸屬度函數的福建省水務網站績效評價［J］.供水技術，2014，8（1）：55-57，61.

收稿日期：2024-03-29

基金項目：河南省軟科學研究“科技成果評價與‘三評’融合理論及實務研究”（232400410258）。

作者簡介：馮文軍（1988—），男，碩士，工程師，研究方向：科技評估、成果轉化；王淼（1990—），女，碩士，工程師，研究方向：科技項目管理、科技評估；張輝（1971—），男，本科，高級工程師，研究方向：科技評估、績效評價。

通信作者：項勇（1968—），男，本科，教授級高級工程師，研究方向：技術經濟評價。