企業(yè)科研項目后評價研究及評價體系建立

喬 佳, 蔡 昊, 丁 斌, 王馨培

(北京市燃氣集團研究院,北京100020)

1 概述

對于企業(yè)來說,科研項目是支撐并推動企業(yè)高質量發(fā)展的技術基礎,建立合理的評價體系,在成果評價的基礎上多維度開展科研項目全生命周期評價,對于精準有效立項、優(yōu)化過程管理、合理支配經(jīng)費、促進人員培養(yǎng)等方面都將起到一定的促進作用,使企業(yè)的科研項目實現(xiàn)良性循環(huán)。

2 國內(nèi)外科研項目后評價方法綜述

科研項目后評價,是指在科研項目實施一段時間后,對項目的前期工作、實施情況及應用效果進行的再評價[1]。遵循一定的原則、程序和評價指標,運用科學、公正和可行的方法,按照有關規(guī)定和規(guī)范化要求,依據(jù)項目的實際數(shù)據(jù)和必要的預測數(shù)據(jù),對科研項目的執(zhí)行過程、效益作用和影響等進行系統(tǒng)、客觀的專業(yè)化評判,并通過評價結果進行反饋。國內(nèi)外對科研項目的評價理論、方法及應用做了大量研究,研究方向主要是評價科研項目績效,并根據(jù)績效評價結果對各個項目進行橫向比較,已形成較多切實可行的評價方法[2]。

就企業(yè)科研項目后評價而言,并沒有通用方法,需要在具體評價實踐中,根據(jù)不同項目、不同目的確定不同的評價方法。比較常用的方法是同行評議法、層次分析法、綜合評價法、模糊評價法等。

2.1 同行評議法

同行評議法可以定義為由從事該領域或接近該領域的專家,按照一定的評議準則,對一項研究工作或科技成果的價值進行評價的一種方法。同行評議法在國內(nèi)外多用于評審科研項目申請或者評定論文、專利等科研成果的發(fā)表和申報[3]。例如英國皇家學會刊物最早利用同行評議開展論文評審;美國國家科學基金會采用同行評議評審科研項目,以決定是否予以資助。

2.2 層次分析法

層次分析法是美國匹茲堡大學運籌學家托馬斯·塞蒂于20世紀70年代提出的一種層次權重決策分析方法。本質上是一種決策思維方式,把復雜的決策問題分解為各個組成因素,并將這些因素按支配關系分組,形成有序的遞階層次結構,通過兩兩比較的方式確定層次中諸因素的相對重要性,然后綜合人的判斷以決定諸因素相對重要性的順序,從而計算各項評價指標權重[4]。

2.3 綜合評價法

綜合評價法是對多種因素所影響的事物或現(xiàn)象進行總的評價。它的基本思想是根據(jù)綜合評價的目標,對客觀事物的影響因素進行分解,以構造不同層次的統(tǒng)計指標體系,然后對這些指標進行指標賦值并確定其權重,最后采用綜合評價模型進行綜合,得到綜合評價值,以此進行排序和評價。綜合評價法包括線性加權和、對數(shù)線性加權和、混合加權和等方法[5]。

2.4 模糊評價法

基于模糊理論,采用模糊語義算法,構建科研項目評價模型,由評審專家按照科研項目評價表對科研項目評分,然后采用模糊集方式表達,將各抽象的準則轉為量化的三角模糊數(shù),然后進行排序評價。

3 企業(yè)科研項目后評價分類和意義

3.1 企業(yè)科研項目分類

① 應用類研究

基于解決日常工作、生產(chǎn)經(jīng)營中的痛點及難點問題開展應用類研究。這一類研究主要以應用轉化研究為主,通過科研項目的開展,將基礎類、理論類的科技成果進行轉化并在企業(yè)中進行應用。

② 前瞻性研究

指引企業(yè)高質量發(fā)展的前瞻性研究,指在企業(yè)發(fā)展戰(zhàn)略的指引下,為拓展業(yè)務領域所開展的新產(chǎn)品、新技術的適用性研究。這些研究雖然在短期內(nèi)無法看到實際的成果轉化效果,但是通過科研項目結束后的示范作用和不斷改進,仍能憑借其技術優(yōu)勢引領企業(yè)發(fā)展。

③ 軟科學研究

軟科學研究指為企業(yè)發(fā)展所開展的政策解讀分析、市場前景研究,以及為提升企業(yè)在行業(yè)中的話語權所開展的政策市場類研究。這類項目研究成果不及前兩類項目研究成果有顯著效益,但是對于企業(yè)的良性發(fā)展及行業(yè)影響力的提升有著必不可少的作用。

3.2 企業(yè)科研項目后評價的意義

① 有利于提高科研項目管理水平

通過進行項目后評價,衡量和分析項目實施的實際情況與預計情況的差距,從而總結經(jīng)驗教訓,從而使項目管理人員提高科研項目管理水平。

② 有利于成果應用和轉化

企業(yè)科技成果除了可以在企業(yè)內(nèi)部轉化,解決企業(yè)自身的重點、難點問題以外,還應該專注市場化的轉化,把自身科技成果應用于整個行業(yè),提高行業(yè)的科技發(fā)展水平。國家提出要健全多元化科技成果市場交易定價模式,加快建設現(xiàn)代化高水平技術交易市場。建立科學、合理、客觀的科技成果評價機制是實現(xiàn)這一目標的基礎條件。

③ 有利于企業(yè)科研資源的優(yōu)化配置

在評價一個企業(yè)科研項目的過程中,除了注重成果的應用效果和轉化情況外,更關注項目立項到項目成果應用全生命周期過程中涉及研究內(nèi)容、日常管理、人員配置、經(jīng)費使用等多維度的問題,旨在對企業(yè)科研人員、科研費用、研究時間更大限度地優(yōu)化。

④ 有利于企業(yè)科技人員的培育

企業(yè)科研項目有其自身特點,同時隨著社會的不斷發(fā)展及對科研工作的不斷重視,各個企業(yè)在人員培養(yǎng)方面也傾注了大量的精力和財力。因此,在科學評價成果的有效性的基礎上,對企業(yè)科研項目的管理進行合理優(yōu)化,為企業(yè)科研人員的技術能力提升提供了平臺。

4 企業(yè)科研項目后評價方法研究

4.1 后評價指標體系建立原則

科研項目后評價指標體系(簡稱后評價指標體系)直接關系到評價結果的客觀、公正、準確、有效。構建后評價指標體系是個復雜的不斷進化的過程,必須遵循正確的原則。

① 科學合理性原則[6]

科研項目后評價指標是否具有代表性,能否真實反映科研項目的基本情況、管理水平和成果質量,是評價指標設計是否科學的關鍵。本文通過分析現(xiàn)有評價參考依據(jù),并結合GB/T 22900—2022《科學技術研究項目評價通則》、TCA 347—2019《應用技術類科技成果評價規(guī)范》及DB43/T 1818—2020《科技成果評價規(guī)范》等,借鑒標準中針對成果的評價維度,結合企業(yè)自身特點,在此基礎上建立了符合企業(yè)科研項目特點和管理需求的后評價指標體系。

② 公平公正性原則

公平公正性是保證被評價項目得到客觀和無偏見的評價的關鍵。科研項目后評價是一個多目標、多維度的評價過程,不能用局限性較大的單一指標進行評價,應建立一套既各有側重又相互聯(lián)系的指標體系來反映項目的總體效益;同時為避免主觀片面的決策,評價指標應進行量化,合理分配各項指標的權重。

③ 可靠實用性原則

可靠性是指按某種評價方法評價出某一評價結果的概率,如果評價過程中出現(xiàn)同一結果的概率大,那么這種評價方法的可靠性就高,這就要求評價指標設計要更精準、可量化。實用性是指評價方法易于被使用人理解和接受的程度。實用性高的評價方法應該是易于被人理解和接受的,這就要求評價指標要更加簡便,易獲取。

4.2 后評價指標體系總體思路

結合筆者企業(yè)科研項目的特點和重點關注環(huán)節(jié),從項目開展階段及主要環(huán)節(jié)各關鍵節(jié)點和關注事項,采用分級指標的方法,建立企業(yè)科研項目后評價指標體系,見圖1。首先確定一級指標,主要圍繞項目開展周期及主要環(huán)節(jié)設定為4個,這也是企業(yè)科研項目開展的4個環(huán)節(jié),為項目立項、項目實施、項目實施效果評價、項目結項后追蹤評價。與已有的項目結項后追蹤評價不同的是,本次設立的后評價體系是按照項目開展流程,在4個一級指標下設立二、三級指標,這樣個性化指標體系更能適合企業(yè)科研項目的特點,符合本企業(yè)評價的目的,并為后續(xù)科研項目的開展提供借鑒。

圖1 企業(yè)科研項目后評價指標體系

4.3 企業(yè)科研項目后評價指標體系設定

企業(yè)科研項目后評價指標體系包含3個層級指標,一級指標4個,二級指標8個,三級指標24個。同時規(guī)定每個指標的權重以及具體的指標解釋,做到定性、定量相結合。同時針對不同類型項目,在共性指標不變的前提下,增加針對性較強的個性指標進行不同項目的區(qū)分,切實起到分類分級的效果。企業(yè)科研項目后評價指標體系指標權重見表1。表1中,權重為0指此指標僅作為項目分類依據(jù),不評價其好壞。專款專用為否決項,一經(jīng)發(fā)現(xiàn)問題,費用控制指標分數(shù)為0。成果與合同或任務書的一致性為總分加分項。專利或著作權為加分項,論文為加分或減分項。

表1 企業(yè)科研項目后評價指標體系指標權重

4.3.1項目立項

根據(jù)調(diào)研,企業(yè)開展科研項目立項工作基本上采取逐層專家評審。通過回顧專家意見以及課題來源,可以幫助管理者科學合理地分析往年課題的立項科學性以及課題分類情況,可以輔助后續(xù)科研管理的立項階段更加科學合理。

① 立項科學性

以科研項目立項論證時專家論證意見表實際得分為依據(jù),客觀評價。

② 課題來源分析

僅為企業(yè)統(tǒng)計課題來源做好基礎工作,不設分值。可結合本企業(yè)科研項目的特點將課題來源進行分類。

4.3.2項目實施

① 進度管理

為考察科研項目的進展以及管理環(huán)節(jié)是否缺位,設置本指標,下設5個三級指標。

a.合同或任務書簽訂日期的評判依據(jù)是是否按照制度要求如期開展。

b.合同或任務書變更次數(shù)和進度延后的評判依據(jù)是結題時間、技術路線、主要人員是否變更,以及是否按照進度要求提交相關成果證明文件。

c.驗收申請的評判依據(jù)是是否按制度要求按時提交,且提交材料完整。

d.組織驗收的評判依據(jù)是提出驗收申請后,組織驗收的及時性。

e.文件上傳規(guī)范性的評判依據(jù)是季度執(zhí)行情況表、月度計劃反饋、會議紀要等是否按制度上傳。

② 費用控制

為考察課題費用的管理環(huán)節(jié)是否缺位,設置本指標,下設3個三級指標。

a.預算科目偏離度的評判依據(jù)是調(diào)整經(jīng)費情況是否按制度規(guī)定執(zhí)行。

b.總預算的評判依據(jù)是總預算是否調(diào)整,分項目科目預算是否調(diào)整,是否按制度規(guī)定執(zhí)行。

c.專款專用的評判依據(jù)是科目的準確性,為否決項。抽取部分課題進行財務審查,一經(jīng)發(fā)現(xiàn)問題,費用控制指標分數(shù)取0。

③ 資料管理

為考察課題的資料管理環(huán)節(jié)是否缺位,設置本指標,下設1個三級指標。

歸檔的評判依據(jù)是歸檔材料是否按制度提交。

項目實施中各項三級指標判定的依據(jù)是對標本企業(yè)的科研項目管理規(guī)定,檢查實施過程的規(guī)范性,經(jīng)費執(zhí)行的合理性以及資料管理的準確性。

4.3.3項目實施效果評價

在《國務院辦公廳關于完善科技成果評價機制的指導意見》中,明確提出項目實施效果評價要在成果評價中作為重點。結合企業(yè)科研項目特點,項目實施效果評價設置2個二級指標。質量控制二級指標設置6個共性三級指標、3個個性三級指標(其中技術開發(fā)類1個、應用類2個)。

① 質量控制

a.共性指標

為考察課題的成果質量是否滿足前期要求,設置本指標,下設兩類三級指標,包含個性指標和共性指標。其中共性三級指標共有6個,包括驗收評價、技術水平、成果與合同或任務書的一致性、專利或著作權、論文、驗收意見。

質量控制中的各三級指標判定以定量的形式呈現(xiàn),依據(jù)科研成果質量評價統(tǒng)分表、科研成果質量評價表以及提交的成果證明文件打分。

b.個性指標

為精細化管理,充分考慮不同類型課題的研究內(nèi)容側重點,設置本指標。

技術開發(fā)類1項,為樣機技術指標。這是技術開發(fā)類課題重點關注的指標,為把關樣機質量,設置該指標。評判的內(nèi)容為:檢驗技術指標是否滿足合同要求,可將企業(yè)實際使用情況、相關運行情況及測試報告作為評價依據(jù)。

應用類2項,為示范工程實際效果和示范工程穩(wěn)定性。這是應用類項目重點關注的評價指標,為對比示范工程的重點指標情況及實際項目運行情況,設置該指標。可在開展后評價時重點關注示范工程的穩(wěn)定運行情況,以達到科學客觀評價的目的。

② 綜合效益評價

為考察課題的綜合效益,設置本指標,下設2個三級指標。

4.3.4項目結項后追蹤評價

在目前的項目管理中,如果缺少對項目結題后的成果追蹤,那么閉環(huán)管理存在一定疏漏。但以論文為例,絕大多數(shù)論文已經(jīng)在結題前發(fā)表,完成簽訂的考核指標,所以此項的設置不做過多關注,只作為加分或減分項。在人員能力積累上,統(tǒng)計該項有利于企業(yè)梳理人員發(fā)展狀況。結題后專利的統(tǒng)計,有利于課題組提升專利質量,提升專利通過率。

項目結項后追蹤評價設置1個二級指標,4個三級指標。

專利或著作權指標、論文指標,是指在項目實施效果評價時一般只有專利受理通知書或者論文錄用函,并不能保證之后專利授權(發(fā)明專利一般從受理到授權,時間間隔大約在3 a左右)或者論文見刊。后評估要追蹤專利是否授權,是否轉化應用。論文是否發(fā)表以及論文的被引用次數(shù)等。

5 對已有科研項目進行后評價情況分析

本次共選取14個已完成的企業(yè)科研項目,通過查找相關資料、專家評審的方式進行試評價,發(fā)現(xiàn)以下共性問題。

① 項目立項和項目實施

通過實際操作,選取14個課題進行后評估,對比發(fā)現(xiàn),需求同重點工作及發(fā)展方向越契合,形成的成果越多,且能落地。在后續(xù)的科研管理工作中,要更精準地挖掘需求,在立項論證時,充分考慮成果的應用與落地。

② 項目實施效果評價

項目實施效果評價是后評價的關鍵環(huán)節(jié),科研項目的真正意義就在于成果對于企業(yè)所發(fā)揮的科技支撐作用。以往的評價中,往往根據(jù)專利、論文的數(shù)量這一單一維度評價科研項目實施的效果,而忽略了項目完成后其成果對于企業(yè)的科技支撐作用。此次后評價中,重點為項目的成果情況進行了分析及打分,如某些項目在結項后兩年或三年,其成果被行業(yè)其他單位引用,該成果也形成模型軟件,具備了一定商業(yè)價值。某些軟課題所提出的發(fā)展戰(zhàn)略及投資建議,后續(xù)成為投資項目預可研的參考基礎,這些成果帶來的經(jīng)濟效益也是后評價必須參考和分析的依據(jù)。

③ 項目結項后追蹤評價

項目結項后追蹤評價重點是對完成項目帶來效益的整體追蹤,包括人才提升、管理效能提升等方面。此次評價的科研項目,從項目組成員的人才提升情況進行分析,為后續(xù)團隊搭建、人才合理匹配提供了一定的依據(jù)。同時,充分分析項目開展過程中出現(xiàn)的非研究內(nèi)容的問題,如進度安排延后、經(jīng)費使用欠妥,都進行了打分及實際情況分析,也為后續(xù)科研項目管理的提升及經(jīng)費合理使用提供了管理建議。

6 開展企業(yè)科研項目后評價的啟示

① 指標具有相關性

各級指標各個評價階段都是相輔相成互相支撐的,如項目實施效果評價階段的專利和論文,在結項后追蹤評價階段中就要追蹤其轉化情況,同樣結項后追蹤評價階段人員能力積累也和立項階段科學性相掛鉤。因此在開展后評價過程中,要全盤考慮全面分析。

② 指標具有隨動性

評價體系和指標不是一成不變的,要隨著企業(yè)對科研項目的需求不斷調(diào)整,同時根據(jù)國家、地方對于科研項目的評價規(guī)定不斷更新。科研項目的開展,其成果的應用效果是重要目標,如何摒棄為了科研而科研的思想,如何避免科研成果束之高閣,都應該從以往科研項目中汲取經(jīng)驗教訓。

③ 評價應減少主觀因素影響

評價是事物價值在人意識中的反映。因此對事物價值的評價因人、因時、因環(huán)境而異,評價中的差異性是無法排除的,只能盡量縮小。在研究設計評價方法時,要使評價指標具有減弱或消除主觀因素的功能,使評價信息具有可能性和可靠性。

7 結束語

企業(yè)科研項目后評價,是在新形勢下對科研項目提出的新要求,也是在把科研項目做實的背景下,對于高質量發(fā)展企業(yè)所提出的新要求。對于企業(yè)而言,科研項目后評價的意義,不僅僅在于評價科研項目及其成果好與壞,更需要在評價過程中給予一定的分析,為后續(xù)項目科學立項、有效開展、人員培養(yǎng)及企業(yè)合規(guī)經(jīng)營起一定的借鑒作用。只有將企業(yè)科研項目后評價做好,才能保證企業(yè)科研項目不斷完善、不斷提升,從而用科技引領企業(yè)發(fā)展,在行業(yè)中處于領先地位。