國家科技獎勵績效評價指標體系生成機理探析

張成偉,危懷安

(華中科技大學 公共管理學院，湖北 武漢430074)

0 引言

國家科技獎勵制度是我國科技管理政策的重要組成部分，對于激勵自主創新、激發人才活力、營造創新環境具有重大導向作用，對于促進科技創新、推動行業進步乃至建設創新型國家和世界科技強國具有重要意義[1]。因此，國家科技獎勵實施績效備受關注。沒有科學評價，就沒有科學管理[2]。繼2017年《關于深化科技獎勵制度改革的方案》明確提出建立科技獎勵工作后評估制度之后，2019年12月，財政部、科技部聯合印發了《國家科學技術獎勵績效評價暫行辦法》(以下簡稱《評價辦法》)，對國家科技獎勵績效評價的目的、主體、內容、指標等作出了政策性規定[3]。然而，從實際操作層面審視《評價辦法》，不難發現，國家科技獎勵績效評價從政策設計到付諸實施尚有一定距離，尤其是指標設計方面，僅從宏觀上滿足了政策文本制定的需要，至于評價指標如何分級、權重如何設計、評價標準如何設置等具體操作問題均未涉及。因此，研究制定一套科學有效、切實可行的國家科技獎勵績效評價指標體系，成為《評價辦法》落地見效的關鍵所在。

從評價技術層面看，國家科技獎勵績效評價指標體系生成是從基本概念到評價維度再到測量指標的操作化過程，其本質是國家科技獎勵績效基本概念從抽象到具體的解構過程。這一過程類似費孝通[4]描述的差序格局：“以某個點為中心……猶如投入水中一個石子后的水波，一圈圈地推出去，越推越遠……。”如圖1所示，國家科技獎勵績效基本概念處于同心圓的最中心位置，通過概念操作化的外力作用，中心圈向外擴展至評價維度，直至最外圈的測量指標。

圖1 國家科技獎勵績效評價指標生成機理模型

1 文獻回顧與述評

目前，學術界關于科技獎勵績效評價的研究主要集中在3個方面。首先，科技獎勵評價方法研究。評價方法是影響科技獎勵評審結果的重要因素之一，龔建橋[5]較早對科技獎勵的評審方法及評價指標體系進行了系統探討；胡宗義等[6]提出了一種各分量均為三角模糊數的模糊矢量比較方法——模糊灰色關聯分析法；曹瑋等[7]針對科技獎勵評價問題的特點，運用變異系數改進了評價方法，并將專家信度系數、聚類分析法等融入突變級數法，設計出基于改進CRITIC-CPM的科技獎勵評價模型；王瑛等[8]針對科技獎勵評價中各指標權重的不確定性問題，運用隨機森林賦權法減少了主觀賦權的影響，引入一致可信度、非一致可信度和凈可信度信息，提出改進的ELECTRE-Ⅲ科技獎勵評價方法。其次，科技獎勵獲獎項目績效評價研究。獲獎項目后續發展情況是科技獎勵績效的重要體現之一，王福濤[9]通過對2000—2003年度獲得國家科技獎勵的成果轉化與應用情況進行統計分析，得出國家科技獎勵有效促進了科技成果應用的結論；危懷安[10]在分析獲獎項目成果數據的基礎上，提出應加快構建國家科技計劃與國家科技獎勵交互作用機制；楊蘭蓉等[11]、危懷安和胡曉軍[12]對2000—2003年獲獎項目獲獎前后經濟效益進行對比分析發現，科技獎勵對科技成果轉化應用具有顯著政策導向作用；楊蘭蓉[13]分析了國家科技獎勵獲獎者對獲獎成果繼續開發的需求，建議加強對獲獎項目的后續管理和跟蹤研究；陳銀花[14]從科技價值、經濟效益、持續性發展等方面構建了一套獲獎科技成果后評價指標體系，并以上海市2006—2008年獲獎項目為例進行了實證分析；中國建筑材料聯合會[15]對2007—2011年間建材行業的獲獎項目進行獎后跟蹤調查研究，提出了促進獲獎項目后續轉化推廣的對策建議。最后，科技獎勵制度運行績效評價研究。目前，從宏觀上研究科技獎勵運行績效的成果并不多見，滕躍[16]將IS09000標準質量管理體系引入科技獎勵系統，設計了一套科技獎勵體系運行績效灰色模糊評價綜合模型；熊小剛[17-18]基于因子分析、群組決策分析、融合層次分析、數據包絡分析等方法，將國家科技獎勵制度運行績效評價指標劃分為獎勵投入(包括人力資本、資金投入、設備投入)和獎勵產出(包括獲獎項目數量、獲獎人員數量、獎勵效應)兩大類，并進行了實證分析；危懷安等[19]基于項目后評估理論，從過程和結果兩個維度初步探討了國家科技獎勵后評估的主要對象、關鍵內容和核心節點。

綜上所述，雖然學者們對科技獎勵績效評價進行了比較深入的研究，但仍然存在較大改進空間。首先，關于科技獎勵評價方法的研究，實質上并不是對科技獎勵績效評價的研究，而是關于科技獎勵如何評審的研究，屬于科技評價的范疇。其次，獲獎項目績效雖然是科技獎勵績效的重要組成部分，但并不能涵蓋科技獎勵績效的全部內涵，如科技獎勵的目標定位、評審過程就不在其中。最后，關于科技獎勵制度運行績效評價的研究存在一定缺陷，運用質量管理體系評價科技獎勵績效的設計初衷是好的，但其是一種典型的內部評價體系，有“自說自話”之嫌，而從投入與產出關系角度評價國家科技獎勵的運行績效，雖然符合邏輯且簡單易行，但不足之處也非常明顯。一方面，國家科技獎勵制度是一個復雜的運行系統，必然受到多種因素影響，人力資本、資金投入、設備投入等未必是最核心的要素，評審、管理、監督等制度設計的影響可能更為重要。另一方面，國家科技獎勵制度運行績效必然包括科技、經濟、社會、生態、文化等多方面的效益和持續性影響，獲獎項目數量、獲獎人員數量顯然不能成為其核心評價指標。至于國家科技獎勵績效后評估的相關研究，只是提供了初步分析框架，沒有產生成型的后評估指標體系。鑒于此，本文在前人研究成果基礎上，遵循“基本概念—評價維度—測量指標”的邏輯理路，探析國家科技獎勵績效評價指標體系的內在生成機理，進而構建一套更加科學有效、切實可行的國家科技獎勵績效評價指標體系。

2 國家科技獎勵績效的基本概念：操作化定義

國家科技獎勵績效評價的兩個基本條件是明確的績效概念和有效的評價指標，而確定國家科技獎勵績效的基本概念是制定評價指標的前提和基礎，也是國家科技獎勵績效評價指標體系生成的邏輯起點。

2.1 實質性定義

從語義學角度看，國家科技獎勵績效的中心詞是“績效”，定語是“國家科技獎勵”，因此，國家科技獎勵績效應該是管理學中的績效概念在國家科技獎勵領域的發展與應用。在管理學中，一般認為績效是組織或員工在一定時期、一定條件下完成某一工作任務的過程及其達到的結果[20]。隨著績效評價在實踐中的應用與發展，績效評價的對象逐漸超出了組織和員工的范圍，出現了管理績效、制度績效、政策績效、創新績效、治理績效等概念。從組織層面看，國家科技獎勵績效是一種公共組織績效。《國家科學技術獎勵條例》規定，國家科學技術獎勵工作辦公室是國家科學技術獎勵委員會的日常辦事機構，是國家科學技術獎勵政策與法規的執行機構，承擔國家科學技術獎勵工作。因此，國家科技獎勵績效就是國家科技獎勵工作辦公室在一定時期、一定條件下完成國家科技獎勵工作任務的過程及其達到的結果。從制度層面看，國家科技獎勵績效也是一種制度績效，即國家科技獎勵制度實施的過程和效果。組織績效和制度績效互為表里、一體兩面，共同構成國家科技獎勵績效的全部內涵。如果沒有組織作為運行載體，國家科技獎勵制度將無法實施，制度績效更無從談起；如果沒有制度作為價值指引，組織將會無的放矢，甚至形同虛設，組織績效必將大打折扣。

2.2 操作化定義

績效評價是一項嚴密的技術程式，必須將評價對象的實質定義轉變為操作定義，才能保證績效評價具有現實可能性。操作定義是將無法得到的社會結構、制度及有關人們行為、思想和特征的內在事實，用代表其的外在事實代替，并通過后者研究和評價前者的操作化過程。這種操作化過程是溝通抽象理論概念與具體經驗事實的一座橋梁[21]。只有將抽象的理論概念操作化，轉換成現實世界中人人可見且可測量的經驗事實，績效評價才能進行。

國家科技獎勵績效概念的操作化就是把國家科技獎勵工作劃分成若干個獨立的、可檢測的、可測評的工作單元或構成要素。通過對國家科技獎勵工作辦公室官網工作信息的系統梳理(見圖2)，可以大致將國家科技獎勵工作流程分為3個階段：①獎前準備階段，包括提名、受理、形式審查等環節；②獎勵評審階段，包括網絡初評、會議初評、考察、異議處理、評審、審定、報批、頒獎等環節；③獎后服務階段，包括獎勵宣傳、轉化、跟蹤等環節。每個工作環節都有相應的政策文件、執行機構支撐以及人財物投入，都會產生某種形式的績效數據[22]。要對國家科技獎勵績效進行評價，必須系統掌握上述工作環節的核心績效信息，才能制定出科學的評價指標。

3 國家科技獎勵績效評價維度：進路與范圍

維度是分類的技術術語，一個抽象概念往往具有若干不同面向或維度。國家科技獎勵績效評價維度主要是指國家科技獎勵實施過程與結果中體現在制度或價值層面的若干具體可觀察的面向，其是國家科技獎勵績效評價指標體系生成的邏輯中介。

圖2 國家科技獎勵工作流程

3.1 評價進路選擇

解構國家科技獎勵評價維度必然涉及到評價進路的選擇問題。評價進路是績效評價過程中選擇評價維度、測量指標以及預設評價目標的途徑與策略[23]。在績效評價體系中，評價進路屬于方法論層面的問題，上承評價目的與意義，下啟評價維度、測量指標，并規定著評價內容的設置標準，很大程度上決定了績效評價的真實性和有效性。

譚瑋[24]將法治社會評價進路劃分為制度性進路和價值性進路，借鑒其做法，也可以從制度和價值兩條路徑理解國家科技獎勵績效的評價進路。如表1所示，國家科技獎勵績效評價的制度性進路和價值性進路在評價主體、目的、內容、方法等方面各有側重。通過比較兩種進路發現，國家科技獎勵績效評價的價值性進路遵循從理論到現實的邏輯，是以科技獎勵價值要素為標準對國家科技獎勵實施現狀進行的評價，強調國家評價科技獎勵價值實現程度以及與理想狀態的差距；而國家科技獎勵績效評價的制度性進路則遵循從現實到現實的邏輯，更強調現行國家科技獎勵制度實施狀況以及科技獎勵機構運行狀況，主要滿足科技獎勵管理部門的決策需求和管理需求，某種程度上可以說是績效導向下的目標管理。但是，從本質上講，兩種進路不是沖突與對立的關系，而更應當是一種同源同構性關系[7]。制度和價值是國家科技獎勵績效評價進路的不同側面，沒有科技獎勵制度的設立與運行，科技獎勵價值的評價就無從實現；同樣，沒有科技獎勵價值要素的內在作用，科技獎勵制度必然會形同虛設，制度性進路的評價也將失去其基本意義。開展國家科技獎勵績效評價不能擇其一而用之，而應當在充分考慮中國科技獎勵現實特征和規律的基礎上，以功能同構思路統籌制度和價值兩條評價進路，不斷豐富和完善中國特色科技獎勵績效評價體系。

表1 國家科技獎勵績效評價制度性進路與價值性進路比較

3.2 評價維度解構

統合制度與價值兩條評價進路，評價維度解構的任務在于分析并聚焦國家科技獎勵在制度或價值層面若干面向的范圍限制，重點是找到各維度的關鍵觀察事項，使評價維度的指向更加明確，進而使國家科技獎勵績效從抽象到具體的操作更加清晰。

考慮到國家科技獎勵績效評價的特殊性，評價維度的淵源主要包括國家科技獎勵相關政策法規文件、國家科技獎勵工作辦公室官網工作信息、學術界關于科技獎勵績效評價已有研究成果以及國內外科技獎勵績效評價經驗與教訓等。在研讀大量文獻的基礎上，借鑒財政部財政支出績效評價指標框架[25]和國家自然科學基金績效評價指標框架[26]，本文嘗試將國家科技獎勵績效評價維度劃分為獎勵目標、評獎過程和獎勵效果，每一個評價維度又劃分為若干子維度，詳見表2。由于每個子維度之下都存在大量各種形式的數據資訊和績效信息，從國家科技獎勵績效評價操作化角度分析，應該從這些子維度蘊含的績效信息中選擇最為重要和突出的評價要點或關鍵觀察事項，作出維度范圍上的清晰界定，才能化繁為簡，為接下來的測量指標操作化打好基礎。

(1)獎勵目標維度解構。評價子維度1、2是圍繞獎勵目標維度展開的。其中，獎勵目標科學性主要包括國家科技獎勵的目標定位與我國科技創新、經濟社會發展以及國家安全需要的適應性問題，考察獎勵目標設定的法規政策依據是否充分，獎勵目標是否通過清晰、可衡量的指標值予以體現；獎勵目標實現度主要指專家學者和科技獎勵管理部門對獎勵目標實現程度的評價。

(2)評獎過程維度解構。評價子維度3～5是圍繞評獎過程維度展開的。其中，規章制度健全性主要包括獎項、等級、數量、獎金設置是否合理，評審指標體系、評審流程設計是否科學合理、客觀可行，提名、形審、咨詢考察、異議處理等管理制度是否完善；制度執行有效性主要包括受理過程是否規范有序，網評與會評評審單元劃分、專家遴選規則是否科學合理，行業咨詢、項目考察工作是否真實有效；評獎質量可控性主要包括是否按照規定進行公示、是否按照規定進行異議處理、是否按照規定做好保密工作、評審監督工作是否及時有效、各類工作文檔記錄是否完備。

(3)獎勵效果維度解構。評價子維度6～8是圍繞獎勵效果維度展開的。其中，獎勵工作滿意度主要包括評審專家、獲獎人員、一般科技工作者、社會公眾等對科技獎勵工作的滿意度；評獎結果公信力主要包括專家學者和社會公眾對國家科技獎勵評獎結果的認同度；獎勵效應持續性主要包括國家科技獎勵獎后，論文、專著、專利和經濟效益的增加率，對人才培養、社會治理、生態治理的促進作用，對行業進步的推動作用，服務國家重大需求、取得重大科學突破的效果等。

4 國家科技獎勵績效評價測量指標：篩選與賦權

評價維度及其觀察范圍確立后，國家科技獎勵績效評價指標體系才演進至邏輯同心圓的最外環，即終端測量指標設計階段。測量指標篩選與賦權是國家科技獎勵績效評價指標體系生成的邏輯終點。測量指標設計一般遵循“初選—咨詢—篩選—賦權—確定”的技術路徑。

4.1 測量指標篩選

在前期評價維度解構的基礎上，結合各維度的關鍵觀察事項，本文對國家科技獎勵績效評價指標進行實驗性預選，得到獎勵目標、評獎過程、獎勵效果3個一級指標、8個二級指標和37個三級指標。隨后，設計國家科技獎勵績效評價指標專家咨詢問卷，對35位專家進行了兩輪咨詢，專家詳情見表3。

表2 國家科技獎勵績效評價維度觀察事項

表3 專家類型與工作單位分布

問卷回收后，根據專家反饋意見，對測量指標進行分析整理。對80%以上的專家勾選“非常贊成”和“比較贊成”的指標予以保留或作適當的文字修改，贊成率不足80%的指標予以刪除。經過兩輪專家咨詢后，專家們對國家科技獎勵績效評價指標的意見基本趨于一致，因而不再進行第三輪咨詢，指標體系基本確立。3個一級指標和8個二級指標保持不變，三級指標由原來的37個刪減合并為28個，詳見表4。

4.2 測量指標賦權

指標權重系數是影響績效指標體系科學性的重要因素，本文采用最為常用的層次分析法測量指標賦權。基本思路為：①建立國家科技獎勵績效評價層次結構模型(見圖3)；②設計國家科技獎勵績效評價指標權重專家咨詢問卷，對相關專家進行咨詢；③根據專家意見和建議，構建兩兩比較判斷矩陣；④整理匯總所有專家數據，計算各個測量指標的綜合權重。

具體地，采用Satty相對重要性等級公式(見表5)設計指標權重專家咨詢問卷，通過多種渠道邀請23位科技獎勵評審或研究專家，對各層級指標進行兩兩比較賦權，專家結構與權威系數見表6。然后，根據專家評分結果，構建兩兩比較判斷矩陣。第1位專家對3個一級指標的評分結果，形成了表7所示的一級指標兩兩比較判斷矩陣結果，其它以此類推。

指標權重計算步驟如下：

(4)各層指標經構建兩兩比較判斷矩陣，計算第1位專家的賦權結果。

表4 國家科技獎勵績效評價指標體系與評價要點

圖3 國家科技獎勵績效評價層次結構模型

表5 Satty相對重要性等級公式

表6 專家結構與權威系數

表7 一級指標兩兩比較判斷矩陣

(6)計算最終權重。層次分析法的最終環節是全面考慮各層次指標，求出各級指標相對于一級指標的綜合權重。經過對23位專家數據的加權平均計算，最終得出各級指標的綜合權重，如表8所示。

表8 國家科技獎勵績效評價指標權重

5 結論與啟示

本文遵循“基本概念—評價維度—測量指標”的邏輯理路，探析了國家科技獎勵績效評價指標體系的生成機理，構建了一套相對完善的國家科技獎勵績效評價指標體系，為實施國家科技獎勵績效評價奠定了技術基礎。研究發現，在國家科技獎勵績效評價指標體系生成過程中，概念操作化是邏輯起點，從操作化層面將國家科技獎勵工作劃分成獎前準備、評獎過程、獎后服務3個階段及若干個獨立可測評的構成要素，這是進一步確定評價維度及其觀察范圍的前提和基礎；評價維度解構是邏輯中介，統籌制度和價值兩條評價進路，聚焦國家科技獎勵實施過程與結果中體現在制度或價值層面的若干具體可觀察的面向，將評價維度確定為獎勵目標、評獎過程和獎勵效果及若干子維度，并明確各個評價維度的關鍵觀察事項，為測量指標篩選鎖定了方向和范圍；測量指標篩選與賦權是邏輯終點，聚焦各評價維度的關鍵觀察事項，對測量指標進行實驗性預選，再根據系統性、關鍵性和實操性等原則，對指標進行篩選，并對各層級指標賦權，一套完整的國家科技獎勵績效評價指標體系即可生成。與以往研究成果相比，本文立足于績效評價指標生成的天然邏輯，在剖析生成機理的基礎上，構建了國家科技獎勵績效評價指標體系，更為接近國家科技獎勵績效的本質內涵，更能體現國家科技獎勵的核心績效。

然而，需要指出的是，目前這套國家科技獎勵績效評價指標體系只停留在理論設計層面，其科學性和操作性還需要在實踐應用中進一步檢驗與完善。同時，國家科技獎勵績效評價是一項全新的課題，也是一項復雜的系統工程。一套完整的績效評價體系至少包括組織體系(主要是評價主體)、技術體系(主要是評價指標)、制度體系(主要是制度保障)、信息體系(主要是數據處理)等內容。本文僅僅研究了國家科技獎勵績效評價的技術體系問題，顯然，國家科技獎勵績效評價從理論設計到付諸實踐還有大量研究工作要做。