新型研發機構公共科研平臺績效評估實證研究

馬 良， 楊 照， 王苗苗， 招立偉， 劉 斌， 楊雯漪

（青島海洋科技中心，山東青島 266237）

0 引 言

《中華人民共和國國民經濟和社會發展第十四個五年規劃和2035 年遠景目標綱要》［1］中強調“強化國家戰略科技力量”“以國家戰略性需求為導向推進創新體系優化組合”“支持發展新型研究型大學、新型研發機構等新型創新主體”。新型研發機構作為國家戰略科技力量的重要組成部分，深化科技體制改革的產物，是“十四五”期間，國家打好關鍵核心技術攻堅戰，提高創新鏈整體效能，實現經濟社會持續高質量發展的重要載體。2019 年，科技部印發《關于促進新型研發機構發展的指導意見》［2］，指明了新型研發機構的基本內涵和發展方向：聚焦科技創新需求，開展科學研究、技術創新和研發服務，以推動科技資源的優化配置、科研創新的交叉融合以及產業轉型升級。

新型研發機構作為一種融合產、學、研、金、服，市場化運作的“綜合創新體”，核心功能是集聚創新資源、吸引高層次人才，采取商業化模式開展技術研發、成果轉化和產業發展。其核心功能的實現很大程度上依托公共科研平臺管理運行綜合效能的發揮，尤其是基于科研儀器設施開放管理和科研數據共享運行在推進交叉研究、共性技術突破、新興產業發展等方面催生的重大創新成果。科技部發布《關于促進新型研發機構發展的指導意見》中明確指出：“圍繞科學研究、技術創新和研發服務等，科學合理設置評價指標，突出創新質量和貢獻，注重發揮用戶評價作用”。因而，探索構建兼具前瞻性、導向性、靈活性、兼容性的新型研發機構公共科研平臺績效評價指標和評估體系成為推進新型研發機構健康發展亟須探索和解決的任務，也是新型研發機構是否能夠實現戰略使命和發揮科技新動能的關鍵一環。本文基于某新型研發機構公共科研平臺管理運行中推行績效評估試點實踐和經驗總結，提出我國新型研發機構公共科研平臺績效評估指標體系并開展實證研究，以期為我國新型研發機構公共科研平臺構建和完善復合式績效評估體系提供參考。

1 評估指標體系構建

目前，對各類研發機構公共科研平臺績效評估的研究，在學術層面主要集中在科研儀器設施和數據開放共享等方面。在高校科研儀器設備共享評價方面，劉心蕊等［3］從設施基本情況、支撐保障、共享水平等3方面構建了高校大型科研儀器設備共享綜合評價指標體系；在科學數據共享方面，董誠等［4］從機構保障能力、科學數據自身條件、對外服務能力和綜合效能4 個方面提出了科學數據機構共享績效評估指標體系。圍繞績效評價指標體系設計原則，趙紅專等［5］提出了科學性、目標性、指導性、可比性、可行性5 個原則；針對新型研發機構績效評價指標體系，楊博文等［6］從科研投入、創新產出質量、成果轉化、原創價值、實際貢獻、人才集聚和培養6 個方面，構建3 層次多指標評價體系；將不同指標分值進行歸一化處理，王夢婷等［7］引入了正態分布概率模型；針對績效指標權重的確定，郭百濤等［8］運用網絡層次分析法計算各項指標的對應權重，從研發條件、創新活動、創新效益以及人力資源4 個維度設計產業化導向的新型研發機構共建績效評價模型。

對高校和科研機構科研設施和儀器績效評估實踐層面，2015 年1 月，國務院發布《國務院關于國家重大科研基礎設施和大型科研儀器向社會開放的意見》后，相關工作全面正式啟動。2017 年9 月，科技部、發展改革委、財政部共同研究制定《國家重大科研基礎設施和大型科研儀器開放共享管理辦法》。2018 年，科技部牽頭全面啟動中央級高等學校和科研院所等單位重大科研基礎設施和大型科研儀器開放共享評價考核工作。該考核評估采用的指標體系中包括設施開放率、共享率、利用率等客觀評估和面向共享服務成效的專家主觀評分相結合的形式。該評估每年面向中央級高等學校和科研院所等單位科研設施與儀器開放共享開展績效評價，對評價結果為優秀和良好等次的單位給予后補助，對較差等次的單位予以通報并給予相應的懲罰措施，在推動國家重大科研基礎設施和大型科研儀器的開放共享、提高科技資源利用效率方面產生了良好的經濟和社會效益，也為各級各類科研機構公共科研平臺設施儀器的績效評估提供了評估原則、流程、指標等方面的范例。

1.1 評估指標及其釋義

在借鑒以上研究成果和國家重大科研基礎設施和大型科研儀器開放共享評價考核指標體系基礎上，現結合新型研發機構的戰略定位和核心目標，通過梳理提取相關指標，提出我國新型研發機構公共科研平臺共享績效評估指標體系，在某新型研發機構公共科研平臺建設和運行管理實踐中，借助德爾菲法對指標體系進行論證優化，最終形成包括能力建設、科研效能、開放服務3 個1 級指標，下設10 個2 級指標和27 個3級指標，見表1。

表1 新型研發機構公共科研平臺共享績效評估指標體系

1.1.1 能力建設

科研平臺和設施是新型研發機構的核心支撐體系，其能力和水平主要取決于技術能力、技術團隊、硬件設施和管理機制。據此下設有技術能力、技術隊伍、基礎條件和日常運行4 個2 級指標。

（1）技術能力。技術能力是決定科研平臺能力和水平的核心要素。該指標重點考核技術體系構建、技術服務內容、技術創新實施3 方面內容。其中，技術體系構建指圍繞科研設施相關技術體系建設的水平；技術服務內容指依托科研設施提供技術服務種類以及服務標準化、規范化程度；技術創新實施指圍繞科研設施開展的新技術、新工藝、新方法創新等。

（2）技術隊伍。技術隊伍是公共科研平臺的關鍵性能動要素之一。其中，領軍技術人才指公共科研平臺領域內高水平領軍人才配置情況；技術團隊配置指科研設施技術團隊學科方向、專業領域、年齡梯次等配置完備情況；技術團隊人員能力提升情況，包括技術培訓、技術交流、技能認證、職稱晉升等。

（3）基礎條件。基礎條件指公共科研平臺儀器設施、實驗條件相關基礎環境改造等內容。基礎環境改造指科研設施配套環境改造及科研場所環境裝修；設施安裝調試指新進／改造科研設施的安裝調試；能力升級方案指圍繞平臺硬件條件發展制定的能力升級方案制定和實施。

（4）日常運行。日常運行主要考核公共科研平臺日常基本運行體制機制建設和運轉。安全管理重點考核安全管理制度建設、安全檢查和安全培訓的執行等；開放運行管理重點考核開放運行制度建設、運行記錄檔案和開放運行信息化建設實施等；內控管理重點考核人員、經費、設施管理制度體系建設和執行規范，相關審批流程規范性和檔案建設情況等。

1.1.2 科研效能

科研效能是科研平臺建設運行的主要目標和任務，是表征科研平臺運行能力的核心指標之一。其下設置有科研任務、科研成果、科研團隊和服務成效4 個2 級指標。

（1）科研任務。科研任務主要指公共科研平臺承接和支撐的科技研發和技術攻關任務。科研項目指公共科研平臺承接和支撐的科技研發項目，綜合考量項目的數量、級別、經費等內容；縱向課題指公共科研平臺承接和支撐的上級科技主管部門或機構批準立項的各類科研項目和任務；橫向課題指承接和支撐的企事業單位、兄弟單位委托的各類科學研究和技術服務項目和任務。

（2）科研成果。科研成果即公共科研平臺在科技研發和技術服務過程中產出的學術論文、專利、軟件著作權等知識產權產品以及獲得的相關獎項、稱號、資質等。

（3）支撐團隊。支撐團隊指公共科研平臺開展合作研究或技術服務的研究隊伍。其中科研團隊主要面向高校、科研院所等；產業團隊主要面向公司、企業等。

（4）服務成效。經濟效益即公共科研平臺開展科技研發和技術服務產生直接或間接經濟效益；社會效益即公共科研平臺開展科技研發和技術服務對技術進步、社會發展、國際合作、生態環境等方面產生的效益影響。

1.1.3 開放服務

依托科研平臺的科研設施面向社會開展設施共享和技術服務是新型研發機構的重要職能，圍繞公共科研平臺開放服務，主要設置了設施運行和用戶服務2個2 級指標。

（1）設施運行。重點考核設施利用率、共享率和故障率。利用率即設備正常使用機時占比，其中，單臺科研設施利用率：年使用機時／1 600；平均利用率：平臺設備使用總機時／臺套總數／1 600；計算集群系統統計的平均CPU利用率；共享率即設施面向新型研發機構外部單位提供服務機時占比，即對外服務機時／總機時；故障率即設備故障機時／年使用機時，故障率越低，說明設施運轉狀況越好。

（2）用戶服務。用戶服務主要包括用戶滿意度和用戶粘合度兩個方面，其中用戶滿意度即用戶評分為滿意或非常滿意問卷數占總問卷數比例；用戶粘合度即再次接受公共科研平臺服務用戶占比。

1.2 指標權重計算

績效評估指標體系設計過程中，不僅要考慮內容的科學性、合理性，各項指標的重要性需要進行排序和區分，該新型研發機構公共科研平臺績效評估通過層次分析法，對各1 ～3 級指標賦予不同權重，實現對指標間相對重要性的量化對比。

層次分析法是美國運籌學家匹茲堡大學的T.L.Saaty教授于20 世紀70 年代提出的一種定性分析和定量分析相結合的多目標系統分析方法。層次分析法通過對各1 ～3 級指標直接的相互關聯和隸屬關系進行分組，構建形成一種層次化的架構，再兩兩比較各項指標間的相對重要性，建立判斷矩陣，計算得出特征向量和最大特征值，得出各個指標占整體指標體系的權重，從而對所需解決的復雜問題做出科學準確判斷［9-11］。具體實施過程如下：

（1）模型構建。首先建立自上往下的層次結構模型，以箭頭標示出各級指標間隸屬關系。

（2）問卷調查。根據層次分析法指標對比原則，設計調查問卷，邀請專家對判斷矩陣中各評價指標進行兩兩比較，判斷其相對重要性程度。判斷準則標度引入9 分位相對重要比例標度。

（3）相對權重計算。根據專家問卷調查結果，構造判斷矩陣，求解其最大特征值λmax和特征向量ω（Aω＝λmaxω），將ω標準化，從而確定某一級指標對上一級指標的影響程度，即權重W。

（4）一致性檢驗。為檢查比較矩陣中各指標之間的權重是否符合常理，可以對權重向量進行一致性檢驗，檢驗指數如下：

通過平均隨機一致性指標RI對其進行校正，得到一致性指標：

當CR＜0.10 時，說明矩陣一致性符合標準。

（5）綜合權重計算。在計算得到各1 級指標相對權重w1i，各1 級指標內2 級指標相對權重w2j，2 級指標內3 級指標相對權重w3k，并確認各矩陣一致性符合標準后，可以計算得到各級指標綜合權重：

1 級指標綜合權重：

2 級指標綜合權重：

3 級指標綜合權重：

1.3 結果研判應用

在績效評估結果研判過程中引入PSR 模型，PSR（Pressure-State-Response），即壓力-狀態-響應，最初由加拿大統計學家David J.Rapport 和Tony Friend（1979）提出，最初主要用于環境質量評價［12-13］，近年來逐步在經濟管理、社會組織等領域得到了一系列應用，如謝小青等［14］應用PSR模型對城市創業環境進行綜合評價；褚大建等［15］基于PSR模型開展公共服務治理系統性研究；時歌等［16］應用PSR模型構建新型研發機構發展機制的“壓力-狀態-響應”分析框架。

在新型研發機構公共科研平臺績效評估過程中，PSR模型為評估結果的研判構建了一個基于因果關系的循環分析方法，在研判一個平臺的評估結果時，首先分析其建設需求和功能定位（Pressure），而后分析其績效總分及下級指標得分，梳理其建設運行現狀和問題（State）及主要原因，最后針對不同平臺的評估結果和研判結論，有針對性地提出其進一步發展的對策建議（Response）。

2 評估實證分析

該新型研發機構聚焦自身重點領域和核心任務，自2017 年開始，陸續啟動建設和運行7 個不同方向的公共科研平臺。借鑒中央級高校和科研院所等單位科研設施與儀器開放共享評價考核工作，結合該新型研發機構建設運行發展階段和需求實際，提出試點和統籌推行公共科研平臺績效評估制度，以“分類、量化”為基本原則，基于德爾菲法對績效評估體系中的綜合權重和相對權重進行分析，采用年初目標制定、年中進度追蹤、年底全面評估的3 步走的年度目標管理模式，分成熟型、成長型、瓶頸型3 類提出績效評估結果和應用建議。在工作實踐中，為統籌、規范、快速地推進新型研發機構內不同科研平臺的建設和運行發揮了重要促進和激勵作用。

2.1 指標權重分析

基于層次分析法理論，團隊設計“新型研發機構公共科研平臺共享績效調查問卷”。邀請相關領域方向專家分建設階段和運行階段兩類各填寫一份問卷。邀請專家10 位，發放問卷20 份，回收20 份，回收率100%。根據問卷調查結果，應用層次分析法計算得到各項指標權重和相對指標權重如下：

（1）1 級指標。分析能力建設、科研效能、開放服務3 個指標的綜合權重結果（見表2），能夠明顯讀出建設階段和運行階段，3 個1 級指標綜合權重差異顯著。建設階段，能力建設指標綜合權重為0.63，顯著高于其他兩項指標總和；運行階段，科研效能指標綜合權重為0.60，明顯高于其他2 項指標總和。

表2 科研設施開放共享績效評估一級指標權重

（2）能力建設。基于1 級指標綜合權重的結果，分析能力建設下屬技術能力、技術隊伍、基礎條件、日常運行4個指標的相對權重結果（見表3），得出技術能力、技術隊伍兩項指標相對權重在建設階段和運行階段差異不大，基礎條件和日常運行兩項指標在兩個階段的相對權重變化明顯。其中，基礎條件指標占比從建設階段的33.02%降至運行階段的17.05%，日常運行指標占比從建設階段的12.56%升至25.57%。

表3 能力建設下屬2 級指標權重

（3）科研效能。基于1 級指標綜合權重的結果，分析科研效能下屬科研任務、科研成果、支撐團隊、服務成效4 個指標的相對權重結果（見表4），得出在建設階段和運行階段，4 個2 級指標相對權重基本一致，只有微弱差異。

（4）開放服務。基于1 級指標綜合權重的結果，分析開放服務下屬設施運行和用戶服務2 個指標的相對權重結果（見表5），得出在建設階段和運行階段，科研效能的各項2 級指標相對權重完全一致，沒有差異。

表5 開放服務所屬2 級指標權重

2.2 評估工作流程

結合該新型研發機構建設運行實際，為進一步突出進度把控及問題解決，在年度評估的基礎上，實施年初目標制定、年中進度追蹤、年底全面評估的3 步走的年度目標管理模式，通過辦法和細則的制定規范相關工作流程（見圖1）。

圖1 公共科研平臺績效評估工作流程

（1）年度目標制定。圍繞平臺建設定位、年度科研需求、運行階段現狀等，根據3 級指標體系，新型研發機構的決策層、主管部門和科研平臺采取自下而上、自上而下相結合的方式，共同編制和確定各科研平臺的績效考核指標，并以印發“年度工作考核目標”的方式予以確認。

（2）年中進度追蹤。對照年度考核目標，各科研平臺梳理和總結半年工作成效，填寫工作完成情況表。針對每一項工作任務，明確牽頭或參與職責，用量化的數據、指標，直觀清晰地反映上半年工作量及任務完成情況。主管部門根據半年工作完成情況表，核查中發現的工作量不飽滿、無階段性成果、工作分工不清等情況，了解具體原因和存在問題，提出書面意見或建議并采取專題會、座談會等方式與科研平臺進行充分溝通。

（3）年底考核評估。年底考核工作分目標評議、述職測評2 個環節。目標評議環節，由各科研平臺整理年度職能工作完成情況，主管部門對照年度考核目標匯總形成評議材料，面向所有服務對象、科研團隊等以開放查閱和評價打分的方式進行評價。述職測評環節，新型研發機構決策層和相關專家組成評委會，各科研平臺述職介紹年度工作進展和成效，評委會進行評價打分（見圖2）。目標測評和述職測評的打分占比分別為40%和60%。

圖2 公共科研平臺績效評估得分及排名

2.3 典型案例分析

該新型研發機構以陸續啟動和運行的7 個方向公共科研平臺為對象，持續推行上述構建的指標體系、權重計算和工作機制等，運行公共科研平臺績效評估體系，根據年度績效評估結果分別向決策層提出保障措施建議，向公共科研平臺執行層提出改進和提升工作建議。試點實踐中，該體系得到了相關方的認可、肯定和支持，綜合評估結果與新型研發機構公共科研平臺工作實際相符合，運行過程中有效引導、激勵和推動了各公共科研平臺統籌、規范、快速建設和運行，支撐了該新型研發機構核心戰略實施、滿足科研發展需求，服務相關科研任務的完成。

基于試點運行前4 年的績效評估結果，選取成熟型、成長型、瓶頸型3 類典型案例分析如下：

（1）成熟型平臺。在該新型研發機構籌建過程中，A 平臺在決策層和專家層投票中共享性、前瞻性、引領性、急需性得分最高，因而成為第1 個建設和啟動運行、投資額度最大的公共科研平臺，運行當年就以其技術能力成為領域內國內第一。在運行初期，該平臺雙管齊下，一方面快速實施高強度升級建設項目，存儲方式和能力得到跨越式提升；另一方面協同領域內其他機構，通過異地互聯構建跨地域系統再次極大地提升計算能力。1 年內表征該平臺水平的2 項核心指標雙雙再創新高。目前，A 平臺每年集群資源使用率達到100%，支撐國家項目超過90 余項。在連續4 年的績效評估中，穩列前兩位優秀等級。同時，A平臺還陸續爭取和承擔了包括重點研發計劃在內的各級各類基于平臺的技術研發項目，跨入了穩定、可持續發展的良性軌道。

（2）成長型平臺。相比于其他平臺，D 平臺支撐科研方向較為有限，服務交叉融合能力較弱，但負責人憑借在領域內全球排名第一科研機構的多年科研、技術和實踐經驗，提出的建設運行方案得到決策層支持，成為第2 批啟動建設的公共科研平臺之一。建設初期，由于平臺核心設備需從國外定制，在國內、國外開展兩輪調試、安裝、培訓等，推進成效不顯著，評估結果屬于中檔水平。轉運行第1 年，D 平臺因核心設備屬于國內一流，扎實同步推進技術體系構建和技術方法開發，核心設備實際運行性能成為國內領先，技術團隊配置合理，測試精度迅速達到國際一流水平，年測試樣品萬余個，隨即接到百萬測試訂單。當年年度績效評估脫穎而出，位列第一優秀等次。后續該平臺堅持致力于建設具有國際先進儀器設備和實驗室功能，具備國際一流服務能力及測試水平的高端共享服務平臺，綜合績效評估始終處于第一梯隊。

（3）瓶頸型平臺。B平臺以構建具有中國特色的創新機制引領為理念，吸收借鑒國外先進經驗，在建設運行初期，迅速吸引領域內相關部門和機構的高度關注和支持，構建起圍繞國家重大戰略需求，采用非行政機制打破部門壁壘，盤活領域內存量資源、輻射和帶動全國的開放共享體系，在解決資源權屬分散、管理封閉、交叉重復等問題，推進資源高效共享，最大限度提高設備的利用率及數據的交匯與管理成效顯著，績效評估以最高分位列優秀。然而，隨著創新機制得到普遍認可和仿效后，該平臺因創新型領軍人才引進受挫、能力升級建設項目錯失、運行機制無持續創新等原因，導致后續運行長期處于維持狀態的瓶頸期，在績效評估中迅速轉入中等甚至中等偏下位次。

3 結論和建議

本文面向我國新型研發機構公共科研平臺建設運行特點和發展需要，構建公共科研平臺績效評估指標體系，綜合運用層次分析法，針對平臺建設和運行階段的不同特點生成了相應的指標權重，在連續4 年考核評估過程中進行了實證分析。結果表明：公共科研平臺績效評估指標體系兼顧了平臺建設運行的各方面，可以對平臺實現全面、系統的考核；針對平臺的建設和運行階段工作側重的不同，設置針對性的指標權重，可以在不同發展階段平臺集中評估過程中客觀反映平臺績效，確保評估的公平性、合理性。新型研發機構公共科研平臺績效評估體系，具有較強的可行性和可復制性，為新型研發機構績效評估工作深入開展提供了良好的思路借鑒。

基于上述研究結果和實踐，對我國新型研發機構公共科研平臺建設和運行形成了3 條針對性發展建議：

（1）新型研發機構應科學構建和推行公共科研平臺績效評估體系，保障公共科研平臺建設和運行高效，有效支撐新型研發機構重大科技任務攻關，服務科技創新和產業社會發展。

（2）機制創新是新型研發機構的重要使命之一。作為新型研發機構核心支撐力量，公共科研平臺應基于領域特點，堅持體制機制創新，培育打造自身特色，不斷提升核心競爭力，始終保持創新型發展態勢。

（3）在建設發展全過程中，公共科研平臺應聚焦“四個一流”的標準，即“一流設備、一流技術、一流服務、一流管理”，不斷強化技術能力，保持技術水平先進性，重視高水平人才隊伍建設，構建方法豐富、措施協同的激勵機制，實現規范、健康、可持續發展。

（4）針對不同發展階段和現狀的公共科研平臺，建議分類形成有針對性、精準的發展措施和建議，并加強過程實施和管控。例如成熟型平臺應堅持緊跟領域前沿發展，持續做好設備升級更新和技術研發，保持核心競爭力；成長型平臺依托科研任務需求，搶抓發展機遇加大支持，持續做好設備升級更新和技術研發，保持核心競爭力；瓶頸型平臺，應及時梳理前期建設運行經驗和問題，明確平臺在新型研發機構中的任務定位，積極構建核心業務能力和競爭優勢，實現轉型升級。