黑龍江省科技成果評價指標體系的構建與對策建議

王文琪

黑龍江省科學技術情報研究院,黑龍江 哈爾濱 150028

0 引言

科技成果體現著整個國家和社會的科技實力,而對科技成果進行評價可以保障成果順利和加速轉化,鼓勵科研人員的積極性,是科技評價體系的重要組成部分。

2021年5月21日,中央全面深化改革委員會第十九次會議審議通過了《國務院辦公廳關于完善科技成果評價機制的指導意見》(國辦發〔2021〕26號)[1],要求各省制定綜合實施方案,集中各方面資源力量,系統完善本地區科技成果評價體系。黑龍江省也隨之加快了完善科技成果評價工作的進程,并于2022年1月24日印發了《黑龍江省人民政府辦公廳關于完善科技成果評價機制的實施意見》(黑政辦規〔2022〕1號,下文簡稱《實施意見》)[2],提出了黑龍江省科技成果評價的分類,即基礎研究(含軟科學)類成果、應用研究類成果、技術開發和產業化類成果。不同類別的評價指標充分反映成果的科學價值、技術價值、經濟價值、社會價值和文化價值。

當前黑龍江省科技成果指標體系尚不健全,為探索出適合于黑龍江省科技發展水平的科技成果評價體系,本文以《實施意見》為指導,展開相關研究。

1 科技成果評價指標體系的構建

1.1 科技成果評價方法的選擇

目前在科技成果評價中被廣泛采用的方法主要有同行評議法、德爾菲法(專家調查法)、綜合評價法等[3]。

同行評議法應用在科技成果評價中,往往是通過選擇一定數量的行業專家,按照程序和要求,對某一科技成果提出定性或定量的評估意見[4]。評價專家往往具有豐富的經驗,可以對相關科技成果提交較為客觀的評價,但也存在一定的缺點,尤其是在當前黑龍江省科技成果評價相關組織體系不健全的背景下,容易造成“走后門”“剽竊”“二流評價一流”等現象[5],且科技成果往往涉及到多學科交叉的情況,對專家的選擇也是難點。

德爾菲法又稱專家調查法,是通過函詢方式,反復征求專家意見,然后將專家趨于一致的意見作為最后評價的依據[6]。德爾菲法可以通過信息的流通和反饋,使預測意見趨向一致,逼近實際值,尤其是在專家之間不見面討論或匿名征集的情況下,可以得到較為真實的結果。德爾菲法相較于同行評議法,基本不受到空間和人員的限制,且操作費用較低,適用于大部分場景。

綜合評價法又稱多指標綜合評價方法,是指通過系統、規范的方法對多個指標和多個單位同時進行評價的方法[7]。綜合分析法是將被評價對象不同角度的指標,通過無量綱化處理后,綜合這些相對評價值,對評價對象進行整體評價的一種方法。綜合評價法的優點在于:可以不局限于某一角度、某一特征,通過多方面進行分析,可以使多個單位使用同一系統進行評價。但該方法缺點在于設計評價角度和權重時較為復雜,但由于其顯著的特點——綜合性和系統性,使得綜合評價方法得到人們的認可[8]。

基于此,綜合分析法可以對科技成果進行系統的描述,并對科技成果的整體狀態進行綜合測定,對科技成果的復雜程度進行分析,建立動態的評價指標體系,從而得到定性與定量相結合的結果,更適合黑龍江省當前科技發展的實際情況。故本文采用綜合分析方法構建黑龍江省科技成果評價指標體系。

1.2 科技成果評價指標的選取

在科技成果評價體系中,科學合理的評價指標體系至關重要,指標體系的設置直接影響評價結果的客觀性和科學性。目前國內科技成果評價盡管采用分類指標,并以加權方式獲得評價結果,但其分類指標和指標權重比例固定不變,評價的標準定量化問題依然存在,因而在構建指標體系時,在分類指標基礎上,采用動態指標的方式,力求評價結果能更真實地反映科研活動研究成果。

1)基礎研究(含軟科學)類成果:重點評價科技成果在新發現、新觀點、新原理等方面的原創性和科學價值,應定量與定性評價相結合。基于該要求,基礎研究(含軟科學)類成果評價指標如表1所示。

表1 基礎研究(含軟科學)類成果評價指標

2)應用研究類成果:注重高質量知識產權產出,把新技術、新材料、新工藝、新產品、新設備樣機性能作為評價指標,著重評價成果的創新性、成熟性、穩定性、可靠性,以及科技成果轉化應用情況及其在支撐引領行業產業發展中發揮的作用。基于該要求,應用研究類成果評價指標如表2所示。

表2 應用研究類成果評價指標

3)技術開發和產業化類成果(涉及軍工、國防等敏感領域除外):把技術交易合同金額、市場估值、市場占有率、重大工程或重點企業應用情況等作為主要評價指標,重點評價集成性、先進性、經濟適用性、輻射帶動作用及產生的經濟和社會效益,突出科技成果在服務全省主導產業、戰略性新興產業方面的價值。基于該要求,技術開發和產業化類成果評價指標如表3所示。

1.3 科技成果評價指標的無量綱處理方法的選擇

如前所述,科技成果評價指標體系是由眾多指標組成,各個指標的計量單位、經濟含義、表現形式以及對總目標的作用、趨向等各不相同,因此,不同量綱的指標值不具可比性,如萬元、篇、等級等,無法進行統一,故評價時應對其進行無量綱化處理,消除量綱的影響,確保綜合評價結果的一致性。當前常用的無量綱化處理方法主要包括極值化、標準化、均值化以及標準差化等方法[11](見表4)。

表4 常用的無量綱化處理方法

由于本文的研究各指標均為正數,符合趨同化要求,故在孵化器績效評價中,選用極值化方法進行指標的同質化轉換。

1.4 科技成果評價指標的權重設置方法

設置權重常用的方法有主成分分析法、熵值法、變異系數法、層次分析法(analytic hierarchy process,AHP)[12]。主成分分析法主要用于大樣本、多指標、指標關聯性強的情況,此方法可以從根本上解決指標間信息重疊的問題,極大地簡化指標體系,但指標間相關程度較低時,主成分分析結果較差[13]。評價指標是基于科技成果的科學、技術、經濟、社會、文化價值設立的,各價值之間相關度不高,故不適用主成分分析法。熵值法與變異系數法都是客觀的權重設計方法,需要大量樣本支持,故不適用。層次分析法常用于解決復雜系統的權重分配及難以完全定量分析的問題,作為一種主觀結合客觀的賦權方法,其成效在較大程度上依賴于主觀判斷,因此,在運用該方法時,往往采取專家評價的方式,邀請多位專家,發送評價表,經填寫回收后進行平均處理,進而可以在較大程度上提高評價的合理性。另外,采用專家的意見,對問題具有較強的針對性。

對于具有多目標評價特性的科技成果評價問題,應具體問題具體分析,根據被評價對象本身的特性,在遵循客觀性、可操作性和有效性原則的基礎上選擇合適的評價方法。從上述分析可見,對于科技成果評價這樣具有復雜性且難以完全定量分析的問題,AHP法具有明顯優勢。故本文選用AHP法確定權重。

2 科技成果評價的流程設計

基于評價指標權重的動態設置,為保證其合理性,采用成果分批次評價方法,成果評價專家、評價指標、指標權重全部按批次確定,避免由于評價指標絕對化和單一化對評價結果客觀性和公正性的影響。評價流程見圖1。

圖1 科技成果評價流程

在上述評價流程設計中,與評價指標相關的重要環節包括專家遴選、動態指標及評價專家確定、指標權重確定、專家打分與數據無量綱處理、確定得分結果。

2.1 專家遴選

按科技成果評價管理相關規定,在科技成果評價專家庫中遴選與被評價成果相匹配的專家。科技成果評價專家由中介機構根據被評價科技成果的具體情況和所屬專業領域從專家庫中選取,所選專家應是在科技成果所屬領域或其他相關專業領域有著比較豐富的理論知識和實踐經驗,熟悉該領域技術的發展趨勢和情況,在相關領域有著一定的學術地位,并且有能力為中介機構提供科技成果評價服務。一般評價專家要包括技術、經濟和管理方面的專家,技術專家不得少于1/3,不得多于2/3。

2.2 動態指標及評價專家確定

遴選入圍專家通過權威性評價后方可作為正式專家參與成果評價活動。這一設計主要是保證專家的專業性、可信性以及指標權重的客觀性和公正性。

通過向遴選專家發放調查問卷進行動態指標及成果評價專家的確定。問卷包括如下內容。①調查問卷的填寫規則、填寫注意事項、回收時限等。②被評價的科技成果的基本信息。③具體指標項目的合理性評價表。④若專家對擬訂的指標有修改、刪減或增加等意見,可在問卷表中提出。⑤專家權威系數(Cr)調查:此部分包括專家熟悉程度(Cs)調查表和判斷依據(Ca)調查表。

計算公式為:

Cr=0.5×(Cs+Ca)

(1)

當Cr大于0.7為可接受信度,認為該專家符合要求,可以進行后續評價工作,否則不能參與后續評價工作。當Cr大于0.7的專家數大于規定評價專家數時,按得分順序確定參與評價的專家;若Cr大于0.7的專家數不滿足規定評價專家數時,重新進行專家遴選。

第一輪調查結束后,評價專家確定,評價機構對收集到的數據進行整理、統計,依據專家意見,討論是否修改、刪減或增加指標項,若有則根據討論結果形成第二輪調查問卷,重復上述流程,直至結果穩定。指標項穩定的條件如下。①合理程度賦值均數大于3.5。②變異系數CV小于0.25。③滿分率大于20%。其中變異系數CV采用標準差除以平均數獲得。此時,評價指標建立完成,評價專家組確定。

2.3 指標權重的確定

評價指標建立完成后,進行評價指標的權重設計。向專家發放調查問卷二,問卷包括如下內容。①填寫規則、填寫注意事項,回收時限等。②各指標項目的重要程度評價表,打分依據相對重要性標度表。

計算步驟:通過各評價指標的重要程度表構建判斷矩陣,并進行一致性(CI)檢驗,若CI小于0.1認為具有滿意的一致性,將其判斷矩陣所得權重納入考量范圍;若CI大于等于0.1,認為未通過一致性檢驗,則返回校正,直至通過。對判斷矩陣最大特征值對應的特征向量進行歸一化,即為各指標權重。此時,各評價指標的權重確定完成。

2.4 專家打分、數據無量綱處理

專家對評價成果的創新性、先進性、集成性、貢獻力等非客觀數據進行打分;對客觀數據,由于本指標體系各指標均為正指標,滿足趨同化要求,故而采用極值法進行無量綱化處理,各指標分數Xi的計算公式為:

(2)

此時,被評價成果各指標分數確定。

2.5 確定結果

評價機構依據專家打分和上述確定的權重對科技成果評價指標進行量化處理,得到被評價成果綜合得分(Z)。計算公式為:

(3)

3 科技成果評價對策建議

科技成果評價是科技管理的重要內容之一,在科研管理過程中具有“指揮棒”作用。科技成果評價指標體系是評價的重要組成部分,也是關鍵要素。評價指標體系以評價標準為核心,由評價制度、評價方法、評價程序等共同構成。2022年1月,黑龍江省政府辦公廳印發了《關于完善科技成果評價機制的實施意見》 (黑政辦規〔2022〕1號),根據《實施意見》要求,黑龍江省目前在成果評價指標體系構建方面還存在評價制度不完善、成果評價分類不清晰、評價指標單一化、標準定量化、結果功利化、評價程序不規范、沒有專業化的第三方評價機構和專業評價人才隊伍等問題。面對新時期科技成果評價工作的新要求,本文按《實施意見》構建了以“五元”價值為指標,通過評價程序設計,對不同科研活動產生的成果評價實現動態確定指標項和指標項權重,從而達到科技成果評價定性和定量相結合的科技成果評價指標體系。在此基礎上,本文提出黑龍江省目前科技指標體系構建的建議。

3.1 制定《實施意見》落實措施,推進成果評價規范化

《實施意見》的出臺為黑龍江省科技成果評價工作提供了基本準則,但在具體落實時,缺乏實施細則。應盡快組織相關部門和相關行業制定科技成果評價管理辦法,針對計劃項目和非計劃項目,特別是科研人員自行研究成果的評價進行規范,明確評價對象。對從事科技成果評價的機構進行規范,特別是對第三方評價機構的管理,確保評價主體具備相應資質。盡快制定適合科研活動規律、反映科技成果價值的評價標準和評價流程,使科技成果評價活動科學規范。對科技成果評價結果的應用進行規范,特別是應用類科技成果技術成熟度結果的應用,對評價成果應用轉化、知識產權等情況進行跟蹤,借鑒知識產權管理模式,定期向社會公布科技成果評價結果,打通科技成果轉化的信息渠道,讓更多有價值的成果面向市場,從而推動產出高質量科技成果。

配套制度可以使科技成果評價工作制度化、規范化、標準化,為科技成果評價加快市場化進程提供制度保障。

3.2 建立“五元”價值評價指標,實現價值評價多元化

科技成果包含的不僅是科學價值和技術價值,更包含經濟價值和社會價值。《實施意見》明確提出要開展科技成果多維度評價,同時要求根據科技成果不同特點和評價目的,有針對性地評價科技成果多元價值,避免評價指標絕對化和單一化。在設計評價指標時,一級指標應充分考慮科學價值、技術價值、經濟價值、社會價值、文化價值維度,二級指標則充分考慮不同成果的特點和評價目的。每級指標的不同指標項評價要點描述要體現考察目的。對于基礎理論研究成果要側重其科學價值和社會文化價值,對于應用研究成果則側重其技術價值和經濟價值,而對于技術開發和產業化成果其經濟價值是首要評價指標,尤其是成果在推動黑龍江高質量發展方面作出的貢獻應是評價中的重要指標。

3.3 采取動態確定評價指標方法,破解評價標準定量化

目前國內科技成果評價盡管采用分類指標,并以加權方式獲得評價結果,但其分類指標和指標權重比例對同類所有評價成果都固定不變。目前跨學科的科研活動日益廣泛,跨學科的科研成果也層出不窮,對某一類科技成果采用相同的評價標準和統一的權重,往往不能真實反映成果的實際情況。為解決評價標準定量化問題,在建立指標體系時,應在指標分類基礎上,采取動態確定評價指標項的方法,并通過模型對各指標項的重要程度進行評估,依據各指標項的重要程度動態確定不同成果的指標權重,減少評價標準定量化對評價結果的影響。在動態確定評價指標時,也要充分考慮不同量綱(如萬元、篇等)指標值不具可比性的問題,不同量綱進行評價指標同質化轉換,消除量綱對評價一致性的影響。

4 結束語

目前,黑龍江省科技成果評價機制基本仍沿用科技計劃項目驗收的評價方式,不適應新時期科技成果評價的新要求。大量社會化、市場化的非計劃科技成果缺乏評價渠道,這制約了科研人員的自主研究積極性,也不符合科技成果交易轉化和產業化應用的需求。基于此,本文提出了一種科技成果評價指標體系的構建方式,以期對黑龍江省及其他省份科技成果評價指標體系的構建提供思路。未來,黑龍江省科技成果評價體系將朝著更加科學、綜合、公正、開放和靈活的方向發展,以更好地激勵科研創新,推動科技成果的轉化和應用,為社會經濟發展提供有力支撐。