國家科技獎勵工作后評估指標體系的理論構建與實證檢驗

張成偉

（華中科技大學公共管理學院， 湖北武漢 430074）

1 研究背景與文獻回顧

國家科技獎勵是我國科技獎勵體系最重要的組成部分，具有激勵自主創新、激發人才活力、營造良好創新環境的導向作用，對規范國家科技發展方向，推進科技創新，發揮科技的社會功能，促進社會進步具有重要價值。國家科技獎勵工作質量高低、績效如何，體現著國家的權威性和公信力，直接影響著廣大科技工作者創新創造熱情，乃至創新型國家和世界科技強國建設目標的達成。國家科技獎勵工作肩負著科技領域最高水平認定“看守者”的角色，但誰來評估、如何評估“看守者”的工作，就需要預先設計一整套成熟的評估體系。“沒有評估，就不能管理”［1］，國家《關于深化科技獎勵制度改革的方案》明確提出“建立國家科技獎勵工作后評估制度，每年國家科學技術獎勵大會后，委托第三方機構對年度獎勵工作進行評估，促進科技獎勵工作不斷完善”［2］。

國家科技獎勵工作后評估是項目后評估技術在國家科技獎勵領域的具體應用，具體是指在國家科技獎勵工作完成后的一段時間內，由獨立的專業化咨詢服務機構或與科技獎勵行政部門相對獨立的后評估專門機構，按照有關規定和規范化要求，依據工作的實際數據和必要的預測數據，對工作目標、執行過程、效益作用和影響等進行系統、客觀的再評估［3］。從后評估技術的角度講，開展國家科技獎勵工作后評估,必須建立一套完整的后評估體系。這套體系可以再細分為：技術體系（主要指評估指標）、組織體系（主要指評估主體）、制度體系（主要指相關制度保障）、信息體系（主要指數據收集和處理系統），見圖1。其中，由評估指標、指標權重、指標釋義和評分標準等組成的后評估指標體系是最為關鍵的內容，直接決定著后評估結果的科學性。

圖1 國家科技獎勵工作后評估體系

目前，學術界關于“科技獎勵績效評估”的研究成果很少，僅有的十余篇文獻主要集中在兩個方面：一是科技獎勵獲獎項目的績效評價。王福濤［4］對2000—2003 年度的國家科技獎勵獲獎項目的轉化應用情況進行了統計分析，認為國家科技獎勵對科技成果的轉化應用起到了較大的推動作用。危懷安［5］在分析獲獎項目后續發展相關數據的基礎上，提出應加快構建國家科技獎勵與國家科技計劃的交互作用機制。楊蘭蓉［6］分析了國家科技獎勵獲獎項目的后續開發需求，建議加強對獲獎項目的跟蹤與服務。陳銀花［7］從科技價值、經濟效益、后續發展等方面構建了一套獲獎項目后評價指標體系并進行了實證分析。中國建筑材料聯合會對建材行業系統獲獎項目的后續發展狀況進行了跟蹤調查［8］，提出了建立獎后跟蹤與服務機制的政策建議。二是科技獎勵制度運行績效評價。滕躍［9］將IS09000 標準質量管理體系與科技獎勵評價相結合，構建了一套科技獎勵質量標準評價體系。熊小剛［10-14］運用因子分析、群組決策分析、融合層次分析等多種方法，從人力、資金、設備等獎勵投入和獲獎數量、獲獎人員、獎勵效應等獎勵產出的對比中分析了國家科技獎勵制度的運行績效。

綜觀現有的研究成果，學者們已經從管理工具、制度建設、獲獎項目后續發展情況等不同側面對科技獎勵績效進行了一定的研究，但是仍然存在較大的改進空間：一是獲獎項目的績效評價不能涵蓋科技獎勵績效的全部內涵。二是已經付諸實踐的國家科技獎勵質量管理體系實質上是一種內部評價，難以擺脫“自說自話”的窠臼。三是從獎勵投入和產出關系出發而設計的績效評價系統，雖然邏輯可行、易于操作，但是人力資本、資金投入、設備投入等指標設計，顯然沒有觸及評審指標、評審分組、評委安排、評審流程等影響科技獎勵績效的核心要素。有鑒于此，本文將遵循評估指標設計的自然邏輯，從基本概念的操作化著手，全面梳理國家科技獎勵工作的核心績效信息，嘗試構建一套能夠在實務中可供操作的國家科技獎勵工作后評估指標體系并進行實證檢驗，以期為國家科技獎勵工作后評估工作探索一條可行的技術路徑。

2 國家科技獎勵工作后評估指標體系的理論構建

國家科技獎勵工作后評估指標體系的理論構建本質上就是“國家科技獎勵工作”概念的操作化過程，大致呈現“概念的操作化定義——后評估維度的確定與解構——后評估指標的篩選與賦權——指標釋義與評分標準的確定”的邏輯理路。

2.1 國家科技獎勵工作的操作化定義

后評估是一項嚴密的技術程式，必須將后評估對象的“實質定義”轉變為“操作定義”，才能保證后評估具有現實可能性。所謂“操作定義”是“將我們無法得到的社會結構、制度及有關人們行為、思想和特征的內在事實，用代表它們的外在事實代替，并通過后者研究和評價前者的操作化過程。這種操作化過程是溝通抽象的理論概念與具體的經驗事實的一座橋梁”［15］。國家科技獎勵工作概念的操作化，就是把這一工作切割成若干個獨立可測評的工作環節或構成要素。從官方發布的國家科技獎勵質量管理體系可知［16］，國家科技獎勵工作流程大致可以劃分為三個階段：一是獎前準備工作，包括提名、受理、形式審查等環節；二是獎勵評審工作，包括網絡初評、會議初評、考察、異議處理、評審、審定、報批、頒獎等環節；三是獎后服務工作，包括獎勵宣傳、轉化、跟蹤等環節。三個工作階段及各個工作環節環環相扣，構成了完整的工作流程（見圖2）。

圖2 國家科技獎勵工作流程圖

但是，僅依靠上述信息，顯然無法完成國家科技獎勵工作概念操作化，有必要借助更多現實材料佐證。作為隸屬于國家科技部的直屬事業單位，國家科技獎勵工作辦公室肩負著貫徹執行國家科學技術獎勵政策和法規,承擔國家科技獎勵工作，對地方、部門系統的科技獎勵工作進行業務指導的職責，具有豐富的實務經驗。我們接著對國家科技獎勵工作辦公室官網2019 年度所有工作信息進行深度梳理，并與相關工作人員進行了3 次深度訪談，對其相關工作安排、考核信息及條例規章等做了梳理，基本涵蓋了國家級科技獎勵的主要工作。如表1 所示，從提名到頒獎，再到獎后服務整個過程，國家科技獎勵工作每個環節都有相應政策文件、執行機構支撐，都涉及一定的人財物投入，也都會產生某種形式的績效數據。對國家科技獎勵工作進行后評估，需要結合政策文件相關規定，分解每一個工作環節的核心績效信息，通過持續的概念深度操作化，為后續評估指標制定提供更多可選項。

表1 2019 年度國家科技獎勵工作信息及支撐文件

2.2 后評估維度確定與解構

確定后評估維度是建立后評估指標的前置條件。國家科技獎勵工作的后評估維度，是指國家科技獎勵工作實施的過程及結果中體現在制度或價值層面的若干具體面向。后評估維度的解構，就是分析并聚焦國家科技獎勵工作在制度或價值層面若干面向的范圍限制，找到細微具體的觀測點，使后評估維度指向更明確，使“國家科技獎勵工作”概念從“抽象”到“具體”的操作更加清晰。基于以上對“國家科技獎勵工作”概念操作化的分析，后評估維度的淵源主要包括“國家科技獎勵相關政策法規文件”“國家科技獎勵工作辦公室官網的工作信息”“學術界關于科技獎勵績效評估已有的研究成果”“國內外相關的績效評估實踐經驗”等。參考既有理論研究文獻，受財政部財政支出績效評價指標框架及國家自然科學基金績效評價指標框架的啟發［17-18］，我們嘗試將國家科技獎勵工作的后評估維度劃分為工作目標、工作過程和工作效果。每一評估維度又劃分為若干子維度，每個子維度之下都存在大量各種形式的數據資訊和績效信息（見表2）。結合概念操作化視角，有必要從這些子維度所蘊含的績效信息中選擇最為重要和突出的觀測點，以此作出維度范圍上的清晰界定，化繁為簡，為下一步后評估指標操作化奠定基礎。

表2 國家科技獎勵工作后評估維度的觀測范圍

（1）工作目標維度解構。“工作目標”下設兩個子維度：“工作目標科學性”和“工作目標實現度”。“工作目標科學性”旨在考察工作的合法性、合理性和可行性問題。“合法性”即國家科技獎勵工作目標設定的法規政策依據是否充分；“合理性”即國家科技獎勵工作的目標定位與國家科技創新、經濟社會發展以及國家安全需要是否適應；“可行性”即國家科技獎勵工作目標是否分解為具體工作任務、是否能夠通過清晰、可衡量的指標值予以體現。“工作目標實現度”的觀測范圍主要是專家學者及科技獎勵部門自身對工作目標實現程度的評估。

（2）工作過程維度解構。“工作過程”下設三個子維度：“規章制度健全性”“制度執行有效性”和“評獎質量可控性”。“規章制度健全性”重點關注獎勵種類、獎勵等級、獎勵數量、獎金標準的設置是否合理；各個獎種的評價指標體系是否科學合理、客觀可行；評審流程設計是否科學嚴密、便于操作；從提名到頒獎整個過程中相關評審管理制度是否完善；“制度執行有效性”觀測范圍為受理過程是否規范有序；網評評審單元劃分、會評評審單元劃分是否科學合理；網評專家遴選規則、會評專家遴選規則是否科學合理；行業咨詢、項目考察工作是否真實有效；“評獎質量可控性”對應的觀測范圍為，各個需要公示的環節是否執行到位；異議處理、保密及評審監督工作是否及時有效；各類工作文檔記錄是否完備并及時存檔。

（3）工作效果維度解構。“工作效果”下設三個子維度：“獎勵工作滿意度”“評獎結果公信力”和“獎勵效應持續性”。“獎勵工作滿意度”是指評審專家、科技工作者（獲獎和未獲獎兩類）、社會公眾等對科技獎勵工作滿意度。“評獎結果公信力”體現著專家學者和社會公眾對評獎結果的認同度。“獎勵效應持續性”重點關注五方面效益：科技效益，即獎后高質量論文、專著、專利等科技產出的增加率；經濟效益，即獎后科技成果應用后直接、間接經濟效益的增加率；社會效益，即獎后科技成果應用對改善民生、社會治理、學科發展、人才成長的促進作用；生態效益，即獎后科技成果應用在減少污染、節約資源、修復生態等方面的作用和效果；文化效益，即獎后在弘揚科學家精神、增強公民科學素質方面的作用和效果。

2.3 后評估指標的篩選與賦權

后評估指標設計遵循“實驗性預選——專家咨詢——篩選與確定——專家賦權”的技術路徑，在上述后評估維度解構的基礎上，結合各個維度的觀測范圍，通過頭腦風暴分析，我們對國家科技獎勵工作后評估指標進行了實驗性預選，得到工作目標、工作過程和工作效果3 個一級指標、8 個二級指標和33 個三級指標（見表3）。

表3 國家科技獎勵工作后評估實驗性預選指標

為體現指標的典型性和代表性，進一步簡化指標體系的構成，根據預選指標，我們設計了《國家科技獎勵后評估指標專家咨詢問卷》，采用德爾菲法對35 位專家進行了兩輪咨詢。第一輪問卷回收后，根據科學性、關鍵性和操作性的原則，對后評估指標進行了修改完善。對80%以上專家“非常贊成”和“比較贊成”的13 個指標予以保留。對80%以上的專家“不贊成”的6 個指標：C46 宣傳工作有效性、C51 質量管理有效性、C55 旁聽人員滿意率、C52 獎勵規則通曉率、C81 個人科技產出增加率、C87 人才培養貢獻度，直接予以刪除。對專家建議修改的其他14 個指標進行了整合、擴展或修改。在對指標進行整合時，將C41 提名過程規范性和C42形審過程規范性整合為“受理過程規范性”；C44行業咨詢有效性和C45 項目考察有效性，整合為“咨詢考察覆蓋率”；C61 提名者滿意度和C62 被提名者滿意度，整合為“科技人員滿意度”。擴展的指標包括，C32 評審規則健全性擴展為“獎種設置合理性”“評審指標科學性”和“評審流程科學性”；C43 評審過程科學性擴展為“評審分組合理性”和“評委安排科學性”。修改的指標為，B5 評獎質量可控性之下增加1 個三級指標“過程監督覆蓋率”；B8獎勵效應持續性所屬的三級指標修改為“科技產出增加率”“經濟效益增加率”“社會效益貢獻度”“生態效益增加率”和“文化效益貢獻度”。之后，就修改后的指標體系對上述35 位專家再次咨詢，專家們對國家科技獎勵工作后評估指標的認識基本趨于一致，無需第三輪咨詢。至此，國家科技獎勵工作后評估指標體系基本確立，包括3 個一級指標、8個二級指標和28 個三級指標（見表4）。

表4 國家科技獎勵工作后評估指標體系

指標體系確立之后，我們設計了《國家科技獎勵績效評價指標權重專家咨詢問卷》，邀請了23 位專家學者對各層次內指標的相對重要程度進行了兩兩比較，然后根據專家的賦權數據構造了兩兩比較判斷矩陣，最后整理匯總所有專家的數據，計算得出各指標的綜合權重。

步驟一：構造兩兩比較判斷矩陣

以專家1 對三個一級指標的賦權數據為例，構建兩兩比較的判斷矩陣（見表5）。

表5 一級指標兩兩比較判斷矩陣結果

步驟二：計算指標權重

其余類同，每列經歸一化后的判斷矩陣為：

④各層指標經構建兩兩比較判斷矩陣，計算專家1 的賦權結果。

步驟三：對判斷矩陣進行一致性檢驗

步驟四：計算綜合權重

將各個層次指標的相對權重系數相乘，求出各三級指標相對于一級指標的最終權重。經過對23 位專家數據的加權平均，最終得出各個指標的綜合權重（見表6）。

表6 國家科技獎勵工作后評估指標綜合權重

2.4 指標釋義與評分標準的確定

指標體系及權重確定之后，還需要進一步明確指標釋義和評分標準。結合“國家科技獎勵工作”操作化定義和后評估維度觀測范圍，可將三級指標（終端指標）具體釋義見表7。

表7 國家科技獎勵工作后評估指標釋義及數據來源

指標體系明確后，如何對其進行賦值，體現區分度，是接下來的重點工作。在實際操作中，評分標準主要有量表評分法、分檔評分法、直接計算評分法、改良計算評分法、直接扣分法等多種形式。結合國家科技獎勵工作后評估終端指標具體釋義，我們首先對較為特殊指標的評分方法進行了針對性設計。其中，C44 咨詢考察覆蓋率、C52 信訪異議辦結率、C81 科技產出增加率、C82 經濟效益增加率、C84 生態效益增加率等5 個客觀指標適合采用改良計算評分法，即先計算相應的比率，再將比率區分出若干檔次給出評分區間；C13 工作目標可行性、C51公示環節執行率、C53 保密工作有效性、C54 過程監督覆蓋率和C55 檔案記錄完整性等5 個客觀指標，因無法嚴格計算比率而采用直接扣分法，即按照出現負面情況的嚴重程度進行扣分（見表8）。其他主觀指標采用李克特五級量表測量，即非常滿意計5 分、比較滿意計4 分、基本滿意計3 分、不太滿意計2 分、非常不滿意計1 分。以C61 評審服務滿意度為例，其評分計算公式為： C61 評審服務滿意度得分（百分制）=（非常滿意票數×5+比較滿意票數×4+基本滿意票數×3+不太滿意票數×2+非常不滿意票數×1）÷評議專家人數÷5×100。假如有8 位專家參與評議評審服務，2 人非常滿意，4 人比較滿意，1 人基本滿意，1 人非常不滿意，則該指標得分=（2×5+4×4+1×3+1×1）÷8÷5×100，即該指標得75 分。

表8 國家科技獎勵工作后評估客觀指標評分標準

表8 （續）

3 國家科技獎勵工作后評估指標體系的實證檢驗

為了進一步驗證《國家科技獎勵工作后評估指標體系》的科學性與操作性，需要在一定范圍內開展試評估。根據《國家科技獎勵工作后評估指標釋義及數據來源》，我們通過以下四種途徑獲取評估數據：一是專家評議。設計《國家科技獎勵工作后評估專家評議問卷》，組織3 場專家座談會，43 位國家科技獎勵評審專家、研究專家、管理專家，結合部分后評估指標對國家科技獎勵工作進行評議打分。二是實地調研。設計《國家科技獎勵獲獎項目后評估調查問卷》，采集40 個2016 年度獲獎項目數據，從科技產出、經濟效益、社會效益、生態效益和文化效益等方面，實地了解項目的績效情況。三是問卷調查。設計《國家科技獎勵工作社會公眾滿意度調查問卷》，1 248 人參與了網絡問卷調查。四是深度訪談。設計了《國家科技獎勵工作后評估訪談提綱》對國家科技獎勵工作辦公室的相關工作人員進行了深度訪談，對相關檔案材料進行了查驗。綜合分析上述四類調研數據，根據相應的評分標準，計算得出國家科技獎勵工作后評估的得分（見表9）。

表9 國家科技獎勵工作后評估得分表

試評估結果顯示，國家科技獎勵工作績效總體良好，綜合得分83.69，尤其是C52 信訪異議辦結率等7 個三級指標均為滿分，此外，包括C41 受理過程規范性等8 個三級指標的得分80 以上，充分說明自《關于深化科技獎勵制度改革的方案》頒布以來，國家科技獎勵工作在改進提名方式、加強專家庫建設、規范評審機制、簡化公示內容、完善異議處理辦法、健全監督機制等方面的改革效果；但仍有13 個三級指標的得分低于80，說明國家科技獎勵工作中仍然存在一些薄弱環節，比較突出的有，C43 評委安排科學性的得分最低，為69.6，專家們意見主要集中在“小同行評審覆蓋率偏低”“評審專家入庫標準不高”等。C31 獎種設置合理性得分70.200，意見主要集中在“國家科技獎勵數量偏少”“成果獎偏多、人物獎偏少”“缺少專門的青年獎”等。C63 獎后服務滿意度的得分72，意見主要集中在“重獎前申報、輕獎后服務”“部分獲獎項目后續發展缺乏支持”等。針對以上問題，提出如下改革措施：

一是全面實行小同行評審制。小同行評審制是國內外科技評價中通行的做法，是評價結果權威性和公信力的重要保證。國家科技獎勵評審是一種特殊的科技評價工作，也應采用小同行評審制。要及時總結國家自然科學獎領域小同行評審的工作經驗，在此基礎上，在其他獎種評審中全面推開。為此，建議提前做好兩項工作：其一，大力加強專家庫建設，及時補充相關學科或領域的專家數量，為小同行專家遴選提供基礎條件。其二，細化優化評審單元設置，建立評審單元與小同行專家動態匹配機制。

二是增設國家青年科技獎。雖然近年來國家科技獎勵第一完成人平均年齡呈現不斷下降趨勢，但是40 歲以下第一完成人的比例依然很小。同時，國家科技獎勵工作“減數提質”改革，更是讓眾多優秀的青年科技工作者對國家科技獎勵“望塵莫及”。因此，建議增設國家青年科技獎（40 歲以下），一方面可以大大激發廣大青年科技工作者的創新動力和熱情，另一方面有助于改變國家科技獎勵“成果獎偏多、人物獎偏少”的獎種結構。

三是建立獎后跟蹤與服務長效機制。“重獎前、輕獎后”是中國科技成果管理領域的普遍現象。長期以來，中國科技成果管理鏈條上缺少了重要一環——獲獎成果獎后跟蹤與服務，難以充分發揮國家科技獎勵對獲獎成果獎后轉化應用的推動作用。為此，應從跟蹤對象、跟蹤主體、服務平臺、制度保障等方面，積極探索構建一套適合中國國情、能夠讓絕大多數科技工作者滿意的獎后跟蹤與服務長效機制。比如，可考慮對獲獎成果建立后續管理檔案并定期公布、實行獲獎項目年度報告制，同時落實各級后跟蹤服務機構的工作責任制。

4 結語

本文在對概念操作化的基礎上，明確了國家科技獎勵工作的后評估維度及觀測范圍，進而運用德爾菲法和層次分析法進行后評估指標篩選與賦權，構建了相對完整的國家科技獎勵工作后評估指標體系，并在一定范圍內進行了實證檢驗，致力于為國家科技獎勵工作后評估的實施提供技術路徑。同時，研究還就試評估發現的評委安排、獎種設置、獎后服務等方面的突出問題，提出了全面實行小同行評審制、增設國家青年科技獎、建立獎后跟蹤與服務長效機制等具體的政策建議。需要指出的是，國家科技獎勵工作后評估是一項全新課題，也是一項復雜的系統工作。一個完整的后評估體系，除了評估指標這個技術體系之外，還應包括組織體系、制度體系、信息體系等多項內容，本文做了一些相對初步的研究和探討，對于提出的評價指標體系，仍需結合國家科技獎勵工作推進，持續改進、完善。國家科技獎勵工作后評估體系從理論構建到全面付諸實踐，需要有更多研究成果支撐。