中國科技評價研究熱點述評

張 碩，陶 蕊，施筱勇

(1.北京理工大學管理與經濟學院， 北京 100081；2.科技部科技評估中心戰略研究部，北京 100081)

黨的十九屆四中全會提出要健全符合科研規律的科技管理體制和政策體系，改進科技評價體系。構建高效規范的科技評價體系成為我國科技治理體系和治理能力現代化的重要標志。近年來，國家對科技評價工作高度重視，《科技評估工作規定（試行）》《關于深化項目評審、人才評價、機構評估改革的意見》等一系列科技評價政策文件的頒布，顯示出國家改進科技評價體系的方向和行動。針對改革需求，對科技評價領域的研究熱點進行摸底和分析，進而提出有針對性的建議十分必要。本研究通過檢索中國知網（CNKI）數據庫2017—2019 年科技評價相關期刊論文，揭示科技評價領域近年來的研究熱點分布及演化特征，分析其與國家改革方向的相符程度以及科技評價領域的主要研究機構，并基于分析結果對未來我國科技評價體系的改革提出相關建議。

1 研究方法

以2017—2019 年CNKI 數據庫收錄的期刊論文為研究對象，采用文獻計量和文本挖掘等方法揭示我國科技評價領域的研究熱點和演化特征并進行分析。由于“科技評價”的概念十分寬泛，涉及評價方法、評價理論以及計劃評估、項目評估、人才評價、成果評估、機構評估、學科評估、績效評價、政策評估等不同評估類別，且考慮到我國學者對“評估”和“評價”并不作嚴格區分，為保證數據的查準率和查全率，在制定檢索式時均涉及“評估”和“評價”（見表1），最終獲得4 552 條有效數據（以下簡稱“樣本”）。

表1 檢索策略

首先，參考劉玉琴等［1］的研究，采用ITGInsight軟件對樣本文獻的標題/摘要進行中文分詞處理，并與文章中的關鍵詞相結合形成初始分詞結果。其次，借鑒汪雪鋒等［2］的做法，借助科技評價領域詞表對初始結果干預（詞義歧義、去停用詞等），得到科技評價領域的主題詞。第三，對得到的主題詞進行LinLog 聚類，形成研究熱點；同時，使用固定時間窗口方法對檢索得到的數據進行劃分，在每個時間段內以主題詞作為研究主題表征，分別構建共詞網絡，研究主題隨時間的變化，包括主題內容或強度隨時間推移發生的變化。如圖1 所示。

圖1 我國科技評價研究熱點識別及主題演化分析框架

2 研究熱點分布

對樣本文獻進行分析發現，2017—2019年間，“績效評價”“評價方法”“評價體系”“層次分析法”等主題詞在科技評價研究中受到較多關注（見表2）；進一步對主題詞進行聚類分析發現，科技評價領域的研究熱點主要包括4 類（見圖2）：高質量科研成果評價（研究熱點1）、學科評估（研究熱點2）、績效評價（研究熱點3）、多元化評價方法（研究熱點4）。

圖2 2017—2019 年我國科技評價研究熱點分布

表2 2017—2019 年我國科技評價研究熱點主題詞（前20 位）

2.1 高質量科研成果評價

樣本文獻中，“評價體系”作為熱點主題詞受到科技評價領域的廣泛關注，同時出現的高頻主題詞還有“同行評議” “科技評價” “科研評價”“成果評價”“人才評價”“學術評價”“科技成果”和“項目評估”等，說明科技評價體系作為一個整體受到越來越多的關注，領域內對評價的認識從局部的方法、指標等逐漸上升到評價體系的功能，對評價認識的全面性正在提升。我國科技評價領域對同行評議、成果評價、學術評價的討論較多，說明對這幾方面存在爭議較多，需要研究和改進的空間較大。在評價體系中，學者關注以專業同行對科研成果的認可程度作為評價重點，與科技成果、科研成果、成果評價、成果質量等主題相關的文獻約有60 篇，其中，王東林等［3］對我國高校現行科研評價機制存在的典型問題進行分析，并提出在科研成果評價方面必須以質量為導向，處理好質量與級別、與科研成果的關系，在科研管理工作中必須強化改革和創新意識，敢于創新和善于借鑒國外在科研評價機制中的成功做法與經驗；徐哲根等［4］以2017 年教育部62 所直屬高校為研究樣本，運用因子分析法和DEA-BCC 模型分別對高校科技成果轉化能力與效率進行評價，并考察二者之間的關系，結果表明62 所高校之間的科技成果轉化能力差異大，高校科技成果轉化能力與效率并不完全匹配。此外，樣本文獻中還有大量關于同行評議制度公正性和局限性、學術期刊、高校學術治理、科學基金項目評審、科技獎勵評審的探討，如孟美任等［5］對我國科技期刊引入開放同行評議機制的思考與建議，江虎軍等［6］對國家自然科學基金項目同行評議的智能化探討，吳雁［7］以質量為導向的高校科研評價體系建設等。

追溯這一現象，與近年來國家對科技評價體系提出的改革要求密切相關。2016 年，習近平總書記在全國科技創新大會、兩院院士大會、中國科協第九次全國代表大會上的講話中提出，要改革科技評價制度，建立以科技創新質量、貢獻、績效為導向的分類評價體系，正確評價科技創新成果的科學價值、技術價值、經濟價值、社會價值、文化價值。2018 年，中共中央辦公廳、國務院辦公廳印發《關于深化項目評審、人才評價、機構評估改革的意見》，要求進一步優化科研項目評審管理制、改進科技人才評價方式、完善科研機構評估制度等。學者們圍繞改革需求，研究如何在同行評議、人才評價、成果評價中從重數量向重質量、價值和貢獻轉變。

2.2 學科評估

近年來，針對高等院校的學科評估和“雙一流”建設成為研究熱點，尤其在2018 年有關學科評估的研究較多，樣本文獻中“學科評估”“學科建設”“ESI”“一流學科”“一流大學”“學科排名”和“學科交叉”等高頻主題詞共同出現在一個研究熱點中，反映出科技評價領域對高校和學科評估的關注，學科評估已經成為新熱點。如，曹志峰等［8］從學科評價模式的內涵、指標體系和過程等三方面對世界一流大學重點學科評價模式進行了比較分析，進而提出推動我國高校一流學科建設的對策建議；王偉偉［9］基于ESI 數據庫，應用因子分析法對我國41 所世界一流大學建設高校的學科建設績效進行評價，結果表明一流大學學科建設績效差異顯著，并與學科規模呈現正相關關系。

追溯這一現象背后的原因，與2015 年國家提出統籌推進世界一流大學和一流學科建設的政策有關。2015 年，國務院印發《統籌推進世界一流大學和一流學科建設總體方案》；同年，教育部、財政部、國家發展改革委印發《統籌推進世界一流大學和一流學科建設實施辦法（暫行）》。2017 年，教育部、財政部、國家發展改革委公布世界一流大學和一流學科建設高校及建設學科名單。

2.3 績效評價

樣本文獻中，“績效評價”“財政支出”“政府績效評估”“治理績效”“公共價值”等熱點主題詞的出現呼應了近年來國家對科研投入績效的關注，尤其在2017 年有關績效評價的研究較多。2014年，國務院印發《關于改進加強中央財政科研項目和資金管理的若干意見》，對加強科研項目和資金管理提出具體要求和措施。2016 年，《“十三五”國家科技創新規劃》和《國家創新驅動發展戰略綱要》中均提到，要推進高等學校和科研院所分類評價，實施績效評價，把技術轉移和科研成果對經濟社會的影響納入評價指標，將評價結果作為財政科技經費支持的重要依據。2018 年，國務院下發《關于優化科研管理提升科研績效若干措施》的通知，提出進一步優化科研項目和經費管理，完善有利于創新的評價激勵制度。

樣本文獻中，關注財政科研經費的論文共有58篇，研究主題多集中于科研財政投入績效評價、財政經費績效評價指標體系等，著重從不同角度出發，加強對財政科研資金的管理，提高財政資金的使用效率。如，何華武等［10］分析認為我國公共財政支持科研創新成果轉化中存在科技投入對象缺乏多元化、評價指標缺乏轉化導向、評價主體相對單一、評價信息缺乏有效應用等問題；高正等［11］認為我國高校財政投入績效評價體系的首要要素是價值取向，核心是評價指標體系的建設，并參照學科專業布局與人才培養定位的二維結構分類構建了高校財政資金績效評價投入與產出指標。

2.4 多元化評價方法

樣本文獻中，“評價方法”“層次分析法”“指標體系”“TOPSIS 法”“主成分分析”“因子分析法” “灰色關聯分析法”“BP 神經網絡”“Delphi 法”“機器學習”等涉及各類研究方法的主題詞共同出現在一個研究熱點中，表明近年來科技評價領域更加注重探索多元化的評價方法以提升評價體系的系統化、科學化、合理化程度。這與“十三五”期間國家出臺政策對評價內容、評價方法的要求直接相關，例如2017 年頒布的《關于深化科技獎勵制度改革的方案》明確提出，自然科學獎圍繞原創性、公認度和科學價值，技術發明獎圍繞首創性、先進性和技術價值，科技進步獎圍繞創新性、應用效益和經濟社會價值，分類制定以科技創新質量、貢獻為導向的評價指標體系，因此科技評價領域將評價方法的改進創新作為落實評價制度改革的重要抓手。

科技評價領域的研究中，各類方法的應用場景逐漸從對于企業或項目的績效評價轉向創新能力評價、人才評價等，例如，葉文顯［12］依據2005—2014 年西安市科技創新的面板數據，運用綜合權重TOPSIS 法分析西安市的科技創新能力，采用BCC 模型、超效率DEA 模型與Malmquist 指數分析西安市的科技創新績效；劉肖肖等［13］基于數據包絡分析方法對我國29 個省份在2013 年間的各項數據進行深入分析，全面評估科技企業孵化器的效率，結果表明我國科技企業孵化器整體上發展迅速，但已經出現規模過大的跡象；楊月坤等［14］采用因子分析法對創新型科技人才的評價模型進行研究，指出對創新型科技人才的評價應注意突出隱性知識價值（職業道德評價），糾正“成果至上”的人才評價思想，強化顯性知識價值（能力素質）評價，改變過去“重學歷輕能力、重顯能輕潛能”的做法，重視流通知識價值（業績貢獻）評價，克服過去“重資歷輕業績、重頭銜輕貢獻”的傾向。

3 研究主題演化

根據樣本文獻中詞頻排在前25 位的主題詞繪制科技評價領域研究主題演化圖（見圖3），共詞網絡的變化刻畫了主題產生、增強、減弱、聚合、裂變、消亡的過程，其中連線粗細代表主題間關系的強弱，不同節點代表不同研究主題。從圖3 可以看出，以資源配置以及使用效果為導向的“績效評價”牢牢占據研究主題的第一位（2017 年270 次，2018 年185 次, 2019 年158 次），且與“指標體系”“平衡計分卡”“數據包絡分析”及“層次分析法”等共現（在圖中表示為主題詞之間有線相連接）。由此可以看出，科技評價領域將評估方法的研究和探索作為提升績效評價的突破口，尤其是定量評價方法，如TOPSIS 法、模糊綜合評價和主成分分析等。

圖3 2017—2019 年我國科技評價研究主題演化分布

3.1 2017 年研究熱點：政府績效評估

2017 年樣本文獻中研究熱點分布如圖4 所示。相較于其他年份，該年份下出現了“政策評估”（24次）、“政府績效評估”（19 次）等熱點主題詞，與之共同出現的還有“績效評價體系”（23 次）、“財政支出”（8 次）、“財政支出績效評價”（6 次）、“預算績效管理”（4 次）和“政府績效”（4 次）等，表明對政府績效，特別是財政支出績效的評估研究成為2017 年的研究熱點。這與國家多年來高度重視預算績效管理工作，全面推進中央預算績效管理制度有關。

圖4 2017 年我國科技評價研究熱點分布

3.2 2018 年研究熱點：高校學科建設評估

圖5 為2018 年樣本文獻中研究熱點的分布圖，“學科評估”（31 次）成為突出的熱點主題詞，“高校”（10 次）、“雙一流”（10 次）、“科研評價”（10次）、“成果評價”（7 次）、“科技期刊”（6 次）、“學術期刊”（5 次）、“學科建設”（5 次）、“教育質量評價”（4次）、“學術影響力”（3次）和“ESI” （3次）等主題詞也與之同現。2017 年，教育部、財政部、國家發展改革委公布世界一流大學和一流學科建設高校及建設學科名單，高校學科評估、“雙一流”建設和以期刊為代表的高校科研成果評價成為研究熱點，反映了學界對高校建設評價體系的思考。與此同時，“人文社科”（3 次）一同出現在研究熱點中，文科評價體系的研究也逐漸受到關注。

圖5 2018 年我國科技評價研究熱點分布

3.3 2019 年研究熱點：期刊同行評議

圖6 為2019 年樣本文獻中研究熱點的分布圖，“同行評議”（24 次）是熱點主題詞之一，“科技期刊”（8 次）、“科研評價”（6 次）、“學術期刊”（5次）、“成果評價”（3 次）和“開放科學”（2 次）等主題詞與之同時出現。通過對原始文獻的梳理發現，關于學術期刊中的同行評議模式研究較多，如儲冀汝等［15］基于國內藥學領域審稿專家群和作者群，調研科技期刊同行評議的現狀，探尋同行評議的優化策略。還有一部分是關于高校學術治理、科技項目評審、科技獎勵評審中同行評議的研究，如高校學術治理的雙重績效與同行評議、國家自然科學基金項目同行評議的智能化探討等。

圖6 2019 年我國科技評價研究熱點分布

4 研究機構

4.1 主要研究機構

統計樣本文獻中的研究機構及其發表論文數量如表3 所示，可見科技評價領域的研究機構較為分散，總共涉及2 725 家機構，其中位于前5 位的為中國科學院大學、武漢大學、同濟大學、華南理工大學、上海交通大學，發表論文數量分別為80、78、68、66、63 篇。

表3 2017—2019 年我國科技評價主要研究機構及發文量

4.2 機構合著關系

樣本文獻中研究機構合著關系如圖7 所示，其中節點大小與機構發表論文數量多少成正比，連線粗細與機構間合著數量多少成正比。合著關系較為顯著的科研機構為：中國科學院大學、武漢大學、同濟大學、華南理工大學、上海交通大學、清華大學、西南交通大學、北京大學等。從機構合作網絡規模來看，中國電力科學研究院、北京師范大學、中國科學院大學、中國人民大學、清華大學、同濟大學、北京科技大學的合作機構較多，表明這些機構在合作中處于較核心的位置。從機構合作的地域來看，處于相同地域的機構更有利于開展科研合作與交流，例如北京市以中國科學院大學、清華大學、中國人民大學為首的高校與本區域內其他高校合作更加密切，這一分布規律說明空間地域相近有利于推進知識交流。

圖7 2017—2019 年我國科技評價研究機構合著關系

4.3 機構關聯關系

利用文本挖掘技術，挖掘樣本文獻中不同機構的研究主題側重，計算機構之間的關聯強度，如圖8 所示，其中節點大小與發表論文數量多少成正比，連線粗細與機構之間的關聯強度成正比，各節點標注了該機構研究涉及最多的3 個主題詞。可見中國科學院大學與中國科學院文獻情報中心作為合著關系最為密切的兩個機構，其研究重點主要集中于評價體系和同行評議等；浙江大學和哈爾濱工業大學、南昌大學和浙江工商大學、中國石油勘探開發研究院和中國石油大學在研究主題上有較為顯著的關聯，其中浙江大學和哈爾濱工業大學作為工科優勢院校共同關注不同工科專業的評估方法研究，不同的是浙江大學側重于績效評價、哈爾濱工業大學側重于評價方法，南昌大學和浙江工商大學之間的研究主題關聯集中在學術期刊評價方法研究，而中國石油勘探開發研究院和中國石油大學則在對評價方法研究方面有較強的關聯。

圖8 基于研究主題的2017—2019 年我國科技評價研究機構關聯關系

5 結論與建議

本研究基于2017—2019 年CNKI 收錄的科技評價領域相關文獻，對該領域的研究熱點分布及其演化、研究機構合作關系等進行分析，得到如下研究結論和啟示：

（1）科技評價研究熱點與國家政策導向密切相關。2017—2019 年，我國科技評價領域的研究熱點包括高質量科技成果評價、學科評估、績效評價、多元化評價方法等，一方面反映了科技評價領域對國家科技評價改革號召的響應，對構建更加合理、科學的科技評估體系的思考，另一方面也反映了國家出臺引導性政策對評估研究工作的推進效果。因此，建議在今后改進科技評價體系、矯正評價導向、優化評價方法過程中繼續發揮政策文件、標準規范等的引導作用。

（2）科技評價領域寬泛對相關學術交流與評價改革帶來挑戰。國外并沒有“科技評價”的概念，科技評價在我國是獨有的概念，其內涵寬泛，既包括成果評價、學術評價、技術評價等微觀評價，也包括計劃評價、機構評價、政策評價等中宏觀層面的評價，這一特征給學術研究、評價實踐以及交流研討帶來了挑戰，但科技評價領域缺少統一的學術語言和共同的認知理念，這使得評價體系的改革更為復雜。因此，建議學者深化分類評價的概念，在討論問題、開展研究和評價實踐中明確相關邊界和對象，避免造成對科技評價工作的誤讀誤解；同時，科技評價的行業組織應在統一評價共識、加強能力建設、建立標準規范方面加大工作力度，為科技評價體系夯實基礎。

（3）科技評價以方法創新作為改革主要突破口。對評價方法的探索已成為評價研究的主要方向，“平衡計分卡”“數據包絡分析”“層次分析法”和“模糊綜合評價”等是常見的關鍵詞，這一方面反映了定量分析、大數據分析在科技評價中成為趨勢，另一方面反映出針對國家出臺的“分類評價”“破四唯”等改革導向，科技評價領域嘗試從方法層面進行探索和落實，例如通過數據包絡分析對科研投入的績效進行評價。建議學者繼續在評價方法方面深耕，借鑒國外最新的研究成果，針對我國建設創新型國家的需求和特點，探索新時代具有中國特色的評估理論和方法，為建設創新型國家提供評估支撐。

（4）科技評價學術研究和實踐工作有待進一步融合。我國科技評價的研究機構以高校為主，評價實操機構較少參與評價的學術研究，這符合高校和評價機構的定位。評價工作是一項實踐工作，需要學術研究的支撐，評價的發現也可以進一步豐富理論研究。當前，我國科技評價的研究機構與評價實操機構存在一定程度的脫節，因此，建議評價機構加強對評價研究的關注，在評價工作中嘗試新的方法，獲取更可靠的評價證據，提升評價工作的科學性和嚴謹性；建議高校等學術研究機構從評價工作的需求出發，提煉研究問題，豐富研究的場景，突出實證特色；建議學者進一步加強學術交流、案例分享等互動，構建促進國內外評價同行溝通交流的平臺和載體。