高校科研成果非學術影響評估的比較研究
——基于對美、英、荷三國科研評估框架的考察

王 楠，羅珺文

（1.首都師范大學教育學院，北京 100048；2.新疆大學研究生院，新疆維吾爾自治區烏魯木齊 830046；3.都柏林大學公共政策研究所，愛爾蘭都柏林 999015）

人類社會發展的歷史證明，依托知識創新推動的科技進步是人類生存和可持續發展的重要基礎，也是現代人類社會進步的重要支柱。作為人類發展史上的重要里程碑，幾次工業革命都源于將研究成果推向創新的工業市場而徹底改變了人類發展與文明進程。知識經濟時代的到來對知識生產提出更加多元的訴求：既要肩負知識創新的使命，也要兼顧其對外部社會的責任。這引發各國在不斷增加科學研究經費的同時，開始了對科研評估價值導向的反思。近年來，包括美國、英國、荷蘭在內的科研投入和產出大國都紛紛扭轉了評估導向，從單純地關注科研成果的學術影響，轉向兼顧其非學術影響，即關注科研成果對學術界以外的更寬泛的社會、經濟、文化、公共政策、醫療、教育、環境以及公民生活質量所產生的影響和推動作用，并在科研評估制度中引入了“非學術影響”這一全新的維度。雖然在不同的社會語境下，各國使用了不同的表達方式：美國稱之為社會影響（societal impact），英國將其定義為非學術影響（impact of research beyond academia），荷蘭則使用社會相關性（relevance of society）的表述，但就其內涵而言，都共同指向科研成果為外部社會帶來的貢獻與收益。評估范式的轉型被認為有可能完全改變知識創新活動的走向、國家的科研戰略選擇和高校的學科發展路徑，引發各國學界和社會的高度關注和熱議。

我國近年來也頒布了一系列科研評估改革方案，包括2018 年教育部發布《關于開展清理“唯論文、唯帽子、唯職稱、唯學歷、唯獎項”專項行動的通知》，國務院印發《關于優化科研管理提升科研績效若干措施的通知》；2020 年教育部、科技部印發《關于規范高等學校SCI 論文相關指標使用 樹立正確評價導向的若干意見》，中共中央、國務院印發《深化新時代教育評價改革總體方案》等，其中均突出強調衡量科研成果對社會的實際影響與貢獻，以期扭轉不科學的評價導向，引導科學研究更多地面向國家重大需求和社會經濟發展。但是在傳統的評估范式之下，改革依舊面臨破局之艱，比如仍未針對科研成果非學術影響的特點設計專門的評價指標、強調數量至上的評價方法難以有效衡量高校與社會互動的多維關系等，這使得評估方案的社會價值導向功能發揮不足，亟待進一步探索破局之道。

本研究對美、英、荷開展的科研成果非學術影響評估進行了系統考察，力圖更加深入地理解這一全新評估維度的價值追求，把握各國評估實施中的創新與亮點，并以此為基礎對照和反思我國科研評估制度存在的不足，以期對當前由于價值偏離導致的評價異化現象進行糾偏，為我國高校探索科研評估制度的改革與創新提供可資借鑒的國際經驗。

1 美英荷開展非學術影響評估的實踐考察

1.1 美國：開發了專門指向“社會影響力”的STAR METRICS 評估項目

美國于2005 年開發實施了一項專門針對科研成果社會影響力的評估項目：美國再投資中的科學與技術：測量研究工作在創新、競爭力與科學上的影響（Science and Technology for America's Reinvestment:Measuring the Effects of Research on Innovation,Competitiveness and Science，STAR METRICS）。該項目由美國國家衛生研究院和國家科學基金會聯合發起，旨在建立一個基于計量指標的數據分析模型，通過計算投入指標和產出指標的比率，追蹤聯邦研發經費使用效率，進而評估由聯邦研發經費所支持的科研產出為社會帶來的積極影響（societal impact）［1］。項目希望依托評價結果進一步明確聯邦政府在科研投入方面的責任；提升科技政策決策的科學化水平；保證并增強公眾對于研發經費流向與使用的知情權。

項目分兩個階段展開。第一階段的目標是利用聯邦政府和全美高校的數據，評測研發經費對勞動力市場產生的影響［2］。項目涉及的投入指標主要包括科研經費信息、資金流向等；產出指標主要包括項目人員信息、供應商信息等［3］。因聯邦政府撥付的每一筆科研經費都有唯一的資金編號，當一筆經費由聯邦政府下撥后，將會以分解的若干筆子資金的形式撥付給項目供應單位（高校或研究團隊），因此通過追蹤科研資金的走向和用途，便可以獲知科研經費投入對增加院校中的就業崗位做出的間接貢獻。

項目第二階段聚焦美國聯邦政府的科研投入對科學知識、社會產出、勞動力產出以及經濟增長四個維度產生的影響［4］。投入指標主要包括個人或機構層面的研發經費流向。產出指標方面，在四個不同維度分別面向大學、科研機構、項目負責人設計了有針對性的指標［4］。在科學知識維度，面向大學和科研機構設計的指標主要涉及教師和研究人員的知識生產與創新成果在社會中被傳播和使用的效果。面向項目負責人的指標則更多關注科研成果如何通過社會參與的方式被公眾所認知與理解。社會產出維度面向三方主體設計的指標均關注科研成果對健康、環境、公平、安全、治安、基礎設施這6 方面的影響。勞動力產出維度，面向大學與科研機構的指標主要關注本科生和研究生規模及其職業生涯發展軌跡。而面向項目負責人的指標則關注本科生與研究生參與科研項目的工作時長。經濟增長維度，面向大學與科研機構的指標一致聚焦于機構內部就業崗位的增減情況，以及專利創新、新公司上市等影響經濟發展的若干指標［5］。項目通過將上述投入指標與產出指標進行關聯，以投入產出比作為評價標準測度科研成果的社會影響力。

STAR METRICS 項目會在政府公開數據庫data.gov 和項目官網上實時更新項目的各項過程性指標數據以及評估報告［5-6］，以增加公眾的參與度，保障公民的知情權。同時，不同機構也根據不同目的對該項目開展了多維度的元評估。如美國國家科學院［7］由聯邦政府授權，與國家科學基金會、信息技術與創新基金會等多部門合作完成了元評估報告《STAR METRICS 項目評估》，就該項目的數據結構、數據價值、數據質量管理進行了充分的論證。美國醫學院協會也委托獨立咨詢機構歐洲蘭德公司（RAND Europe）對項目的評估方法、數據收集和處理過程等開展了元評估［4］。

1.2 英國：在REF2014 中首次設立“非學術影響”評估維度

英國于20 世紀80 年代就建立了比較系統的高等學校科研評估制度。2008 年英格蘭高等教育基金委員會（Higher Education Funding Council for England，HEFCE）制定并頒布了新一輪高等學校科研評估體系——“科研卓越框架（Research Excellence Framework，REF）”。REF 評估主要指向3 個目標：第一，以評估結果作為重要參考依據，指導英國政府更加合理地分配科研經費，推動英國的科研產出保持世界領先水平，并持續以高水平的研究推動英國社會與經濟的發展［8］。第二，以評估結果作為有力的證據，為國家科研投入的收益和影響提供問責保障。第三，以評估結果作為參照，為院校之間進行比對、開展合作提供基準比較信息，并建立衡量院校聲譽的標尺［9］。

REF 在2014 年開展的首輪評估中開創性地將科研成果的“非學術影響（impact of research beyond academia）”列為一個獨立的評估維度，將其定義為“研究成果在學術界以外所產生的輻射影響，包括對社會經濟、文化、公共政策、醫療、環境以及公民生活質量所帶來的改變和作出的積極貢獻”［9］，將其權重設定為20%，希望引入這一全新的評價維度以引導高校更好地利用和轉化科研成果，為社會帶來更多的改變和貢獻［10］。在2021 年開展的第二輪REF 評估中，不僅延續了非學術影響評估，還將其權重提升為25%，可見英國對科研成果社會影響的關注和重視。

REF 中的非學術影響評估采取專家評議的方式進行，參評高校及院系依據其研究所屬的主要學科領域，選擇相應的單元提交材料。4 個學科大組及其下的36 個二級學科評估單元1）均由一位專家領銜、由多位科研人員及來自工業或其他社會各界的終端用戶代表（約23%）擔任組員，共同組成評估小組。

參評單位需要提交以下兩份評估材料：第一，影響力案例。通過結構化敘事詳細闡述某一項研究成果在評估周期內為社會帶來的積極影響，包括影響輻射的范圍、程度，涉及領域，受益人群，持續性等，并需同時提供這一社會影響得以形成的支撐研究材料，包括科研成果的核心結論、成果類型、依托基金、發表和轉化情況。第二，戰略措施信息。按照規定模板闡釋高校為促進科研成果的非學術影響采取的戰略措施和戰略行動，以輔助對影響力案例的評估［11］。

評估小組將通過影響力的輻射范圍（Reach）和重要意義（Significance）兩個標準對案例進行評估，以4*、3*、2*、1*、U（未評級）5 個等級進行打分，分別代表科研成果的社會影響卓越、可觀、較大、一般、較小［12］，隨后乘以權重與其他維度的得分一起計入評估總分。由于評估結果將對院校的資源配置產生直接的影響，因此評估單元在競爭壓力下將非常認真地組織和收集支撐材料，評估小組也將審慎地為評估單元進行打分。

REF2014 評估結束后，為回應英國各界對評估透明度的關注，項目組在官網上公開了參評專家和代表的選擇標準及最終名單，評估單元提交的6 679份2）影響力案例及評估結果［13］，鼓勵學界和第三方開展進一步的分析。同時，委托歐洲蘭德公司對新增加的非學術影響評估展開了多維度的元評估。第一項元評估主要面向高校及研究人員，針對他們準備和提交影響力案例材料的過程進行評估。結果表明，在REF2014 中開展非學術影響評估帶來了一系列可喜的變化：研究者對科研影響的認知和理解能力普遍增強；科研人員與外部利益相關者的溝通渠道變得更加暢通；有利于激發學者和院校對科研外部影響進行更廣泛的戰略思考。但是與此同時，也認為評估為撰寫案例的研究人員、參與評估的學校部門在工作時間和強度上帶來了一定的負荷［14］。第二項元評估面向包括學術委員會和終端用戶組成的評估小組，針對非學術影響評估方法的優勢與不足、評估結果的可信度及公平性展開評估。總體而言，評估主體的反饋比較積極，認為影響力案例的提交和評審過程能夠得到公平、可信且具有一定說服力的評價結果；評估為知識的創造者和使用者搭建了平臺，具有很高的價值。但同時也提出了改進建議，希望在下一輪評估中更加細化區分不同類型的影響力案例；允許評審專家在打分的同時給出更多具體的、有針對性的建議；進一步完善評估指南以更有效地指導影響力案例的準備與撰寫工作［15］。這些元評估的結論都對REF2021 的改革提供了基于證據的啟示。

1.3 荷蘭：在SEP2015 中增加“社會相關性”獨立指標

荷蘭從20 世紀90 年代起建立了國家層面的科研評估制度，設計了《標準化評估指南》（Standard Evaluation Protocol，SEP），規定了在荷蘭所有高校和公立科研機構開展評估的目標、維度、方法和流程［16］，并達成遵照SEP 框架定期開展評估的協定和共識。《標準化評估指南2015—2021》（以下簡稱“SEP2015”）是最新版本的在荷蘭開展科研評估的制度框架，其實施的核心目標是以評估結果為參照，理解并提升科研工作的質量；促進科研工作對社會的貢獻和影響；指導和服務研究人員開展科研工作、院校董事會改進戰略、政府進行科學決策［17］。總體而言，SEP2015 的目的在于“改進”而非“考核”,強調實施指向未來的“戰略可行性”評估，側重考量評估單元是否有能力采取相應的戰略措施和手段實現預先擬定的戰略目標［16］。

SEP2015 首次在科研綜合實力維度下單獨設立了科研成果的“社會相關性（relevance to society）”這一指標，重點考量科研成果與社會的互動及其產生的外部社會影響，例如科研成果對經濟、社會、文化的貢獻，對政策的建議，對公共事務的推動等［18］。荷蘭近年來的科研評估尤為強調科研成果對社會產生的影響，將這一過程稱為“價值創造（valorisation）”［19］，即通過知識創造更大經濟社會和文化價值的過程，在SEP 的指標中也有充分體現。社會相關性指標下包括3 個考察點：（1）標志性成果，指面向特定群體、服務社會大眾的科研產出，如政策咨詢報告、面向非學術群體的文章、為大眾提供的講座或展覽等成果推廣活動；（2）標志性成果的利用率，指科研成果服務特定目標群體的情況，如專利、與社會各界合作的項目、橫向課題等；（3）標志性成果的認可度，指科研成果獲得的社會認可和獎勵，如公共獎項、社會投資、在社會公共咨詢機構任職的人數等［17］。

社會相關性評估在SEP 框架之下采取自我評估和外部同行評估并行的模式實施。評估單元需在自評報告中根據自身的戰略定位，選取最能反映自身特色、績效和未來發展目標的素材，通過敘事呈現一個最具代表性的、由科研成果形成廣泛社會影響的案例，來反映科研工作與社會的互動、產生的影響及其帶來的社會價值［19］。研究機構的董事會全權負責設立由同行專家組成的評估委員會，并以評估單元的戰略目標實現度作為核心標準，依據自評報告和實地考察進行知情判斷，給出等級制的評估結果（包括：卓越、優秀、良好、欠佳）和個性化的建議［17］。

荷蘭在開展SEP 評估的過程中同樣非常重視評估工作的透明度。高校和研究機構的董事會需要在其官方網站全程公示評估的各項組織工作，包括評估委員會的人員構成、評估流程、評估進度等，并在評估結束后的6 個月內發布最終的評估報告及其過程性支撐材料，公布高校或研究機構所采取的持續改進措施［17］，使公眾通過開放的渠道了解評估方案與結果，并接受公眾質疑與問責。

2 比較與啟示

2.1 引入非學術影響評估，構建充滿活力的科研生態體系

基于上述來源于實踐的考察，我們不難發現，自21 世紀初以來不同國家都先后在科研評估的制度框架中加入了非學術影響這一全新的維度。美國于2005 年啟動STAR METRICS 項目，英國自2011 年在REF 中加入非學術影響維度，荷蘭于2014 年首次引入社會相關性指標。此外，澳大利亞、挪威、芬蘭、意大利等國家也在2010 年前后陸續開始關注并提出在科研評估體系中增加非學術影響評估維度。同時，由于非學術影響主要關注科學研究與外部社會的互動，因此格外強調不同國家和地區社會的經濟、文化、政治等語境（Context）。雖然在不同的語境下，各國使用了不同的表達方式來指代非學術影響，但就其內涵而言，它們實際上都在關注科研成果為外部社會帶來的貢獻與收益，并且這些評估項目都采用了不同于傳統學術評估的新模式和新方法開展評估工作，希望通過引入非學術影響來引導和加強高校和研究機構更好地思考和理解科研工作對于社會發展的改變和價值，進一步擴大和延伸科研成果利用和轉化的范圍。這些實踐探索凸顯了科學研究服務社會的價值導向。

目前我國的科研評估框架中還未設置非學術影響評價維度。盡管部分評估方案已經開始關注和強調科研成果對外部社會的貢獻，并增設了社會服務評價指標［20］，但是社會服務指標與非學術影響指標在內涵上仍然存在一定的差異：社會服務是一個由來已久的概念，一直被公認為高校的第三使命，與高校的人才培養和科學研究職能并行，更多地指向高校對社會單向度的智力輸出。而非學術影響是近年來在知識生產模式轉型的背景下提出的新概念，被看作是科學研究與社會服務軟邊界下的交集，強調在知識生產過程中，通過大學、產業、政府和公民組織等多元主體的互動參與及其對科學的協同治理，共同解決社會關切的現實問題。顯然，傳統的社會服務指標已經不足以涵蓋當前高校與經濟社會發展互動的豐富、多維關系，更無法回應高校治理能力現代化的要求。

在當前我國高校提出破“五唯”和研究扎根中國大地的科研評價導向下，我們有必要在準確地理解和界定非學術影響內涵的基礎上，適時引入這一全新的評價維度，聚焦高校與經濟社會發展的緊密聯系，強調知識生產對服務國家和地區發展的實際貢獻和影響。樹立這樣的評估風向標有利于強化研究者的社會責任與價值，促進知識創造者和使用者之間的互動和理解，推動研究者有意識地去關注和回應潛在用戶對科研成果的訴求，進而主動、有針對性地推動和促進研究的社會影響，使科研工作面向服務國家重大需求和解決社會發展實際問題；同時，也有利于提升高校科研體系的多樣性，在學術影響與非學術影響的互動與平衡中構建充滿活力的科研生態體系。

2.2 進一步優化評估方案，強化非學術影響評估的社會價值導向功能

美、英、荷三國的非學術影響評估因其目標不同，評估的方法、標準、結果及其帶來的影響與效應也都不同，呈現出多樣的評估模式與特色，有很多創新經驗可資借鑒。例如，美國STAR METRICS 項目表現為突出量化評估的績效模式，其評估方法可操作性較強、評價結果相對直接、客觀，橫向可比性更強。在指標設置上，STAR METRICS 項目搭建了一套與傳統評價指標觀測點完全不同的、凸顯社會影響的計量指標體系。英國REF 中的非學術影響評估則呈現很明顯的競爭模式特點，院校審慎地收集和提交資料，評估結果最終計入總分，并對院校的資源配置產生重要且直接的影響。在評價方法上，REF 是首個采用影響力案例敘事開展非學術影響評估的體系，允許研究者以自由、開放的方式描述不同情境下的影響力故事，充分尊重了學科差異和研究活動的多樣性。荷蘭SEP 評估則表現為反思共建模式，指向改進與發展，競爭意味相對淡化，因此其社會相關性評估中多元主體評價反思、價值共建的特色尤為明顯。

我國當前的科研評估制度也在力圖扭轉片面追求科研成果學術影響的導向，嘗試引入鼓勵社會貢獻與擴大社會影響的評價維度，但是現有的評估方案仍有待進一步優化。比如，從第四輪學科評估開始增設社會服務與學科聲譽一級指標，希望推動高校重視與社會發展的緊密聯系，具有一定的正向指導意義，但在具體的指標設計上，社會服務旨在引導學科建設關注國家和地區經濟社會發展的現實需求，而學科聲譽則強調關注參評單位的在學術領域的影響力及其學術道德情況。將兩個發揮著不同導向作用的指標進行捆綁，且前者在整個評估框架中所占權重比較單薄，這樣的指標設置方式將弱化評估的社會價值導向。

非學術影響評估是科研評估體系中一個全新的評價維度，要保證評估的信效度，使其切實發揮社會價值導向功能，需要突破傳統評價方式的慣習，優化創新評估方案，包括進一步明確評估的價值選擇、構建凸顯社會影響特點的指標體系、選取不同于傳統學術評價的創新方法等。在新時代深化教育評價改革的背景下，需要有突破頑瘴痼疾的魄力，同時更要妥善處理破與立的辯證關系，多措并舉，形成富有時代特征、彰顯中國特色的科研評估體系，并在其中真正發揮非學術影響評估應有之功能。

2.3 開展多維度的元評估，營造并形成良好的評估文化

美、英、荷三國在引入非學術影響這一新興評估維度的過程中，都非常重視評估過程和結果的透明度，抱著開放的態度公開發布了過程性信息數據和影響力案例支撐材料，并通過積極開展不同類型的元評估提升其可信度和專業性，營造和建設良好的評估文化。

近年來我國各級各類科研評估框架都在指標設計、數據采集、評價模式、結果發布與應用等方面進行了諸多制度創新，但是在上述評估實施的全流程中，仍普遍缺少元評估環節的設置，且由于評估方法與流程透明度不足，支撐數據和材料公開性不夠，也鮮見第三方機構開展系統、專業的元評估，明顯缺少多元主體參與和多元價值共建環節，也缺少了社會公眾對評估方案表達理性訴求的制度化渠道，難免造成了一系列相應的問題，包括評估的信效度無法得到證明，評估的方法與過程無法得到充分理解，評估的結果無法得到公認，學界也無法為評估實踐活動提供有證可循的政策建議，甚至有些非理性的評價和批評完全是因為未能充分了解而產生的誤解所致。

我們應該認識到開展元評估的必要性及其積極意義：通過向公眾公開資料，有利于增加評估過程的透明度和合法性；通過針對評估結果的元評估，對原始數據和資料進行二次分析，有利于檢驗評估的可靠性和可重復性；通過對評估方法與流程的元評估，有利于獲得基于證據的專業化建議，從而不斷改進與提升評估實效。同時，來自多元主體的討論與質疑是社會高度關注的體現，也是對評估有效性的理想期待，更是學科評估文化走向良性的證明［21］。在我國未來的評估實踐中，特別是在引入非學術影響評估維度的過程中，有必要適度公開過程性資料，增加評估透明度和可驗證性，并從評估目的、評估指標、評價標準、評估實施、評估影響等方面鼓勵和開展系統多維的元評估，以幫助我們了解該指標的引入是否切實有效加強了高校科研與社會發展的緊密聯系，同時規避這一新興的評估維度可能帶來的潛在風險。這將為評估本身提供質量保障機制，改進評估實踐、提升評估專業性、更有利于促進營造和形成良好的評估文化。

3 結論

科研成果的非學術影響評估是近年來各國科研評估框架中的重要維度，也是我國科研評估改革破除“唯論文”“SCI 至上”等不良評價導向、建立多元評價標準的重要抓手。本研究從評估目標、評估方法、評估標準、評估流程等維度對美英荷三國近年來開展的非學術影響評估進行了系統考察，以期為我國科研評估制度的改革與創新提供可資借鑒的經驗，助力中國特色學術規范和評價體系建設。

研究發現，近年來美英荷等國家都紛紛扭轉了評估導向，從單純地關注科研成果的學術影響，轉向兼顧其非學術影響，即關注科研成果對學術界以外的更寬泛的社會、經濟、文化、公共政策、醫療、教育、環境以及公民生活質量所產生的影響和推動作用，并在科研評估制度中引入了非學術影響這一全新的維度，希望發揮其社會價值導向功能，引導院校和學者通過知識生產活動為社會作出更多積極的貢獻。各國在探索非學術影響評估的實踐過程中形成了多樣的評估模式與特色：美國開發了專門指向社會影響力的STAR METRICS 評估項目，運用基于計量指標的數據分析模型來評估由聯邦研發經費所支持的科研產出為社會帶來的積極影響，形成了突出量化評估的績效模式；英國在REF2014 中首次設立非學術影響評估維度，采取專家評議的方式對科研成果的社會影響輻射范圍和重要意義進行評估，并將評價結果以25%的權重計入總分，作為指導政府合理分配科研經費的重要參考依據，形成了比較鮮明的競爭模式；荷蘭在SEP2015 中增加了社會相關性獨立指標，以評估結果為參照來指導和促進科研工作為社會做出更多有益的貢獻，其多元主體評價反思、價值共建的特色尤為明顯，形成了 反思共建模式。基于從國際比較中獲得的啟示，本研究為我國科研評價體系改革提出三點建議：第一，引入非學術影響評估，構建充滿活力的科研生態體系；第二，進一步優化評估方案，強化非學術影響評估的社會價值導向功能；第三，開展多維度的元評估，營造并形成良好的評估文化。

注釋：

1）REF 以學科為單位開展評估，設立了生命科學學科（學科A組）、工程與物理科學學科（學科B 組）、社會科學學科（學科C 組）、藝術與人文學科（學科D 組）四個學科大組，并在各學科大組下根據學科分類進行了細分，分設共計36 個二級學科小組，其中每一個二級學科小組都成為一個獨立的評估單元（unit of assessment，UoA），各自開展評估。

2）REF2014 一共收到來自高校和科研院所的6 975 份影響力案例，其中296 份影響力案例由于涉密等原因未完全公開，其余6 679份影響力案例均公開。