科技計劃經濟社會影響評價的回報模型：基本原理、發展動態及啟示

白 波,王艷芳，肖小溪

(1.北京城市系統工程研究中心，北京 100089；2.中國科學院科技戰略咨詢研究院，北京 100190；3.中國科學院大學公共政策與管理學院，北京 100049)

0 導言

新公共管理運動以來，隨著科技在經濟社會發展中的作用日益凸顯，科研評價的價值導向從只注重學術評價轉向學術評價和經濟社會影響評價并重[1,2]。當前，國內外用于評價科技計劃經濟社會影響的框架和模型當中，回報模型被認為是當前國際上最主流的經濟社會影響評價模型之一[3-5]。該模型廣泛應用于美國、英國、加拿大、澳大利亞等國家對生物醫學類科技計劃開展的評價實踐。近些年來，由于該模型提供的評價科技計劃經濟社會影響的理論框架和基本方法受到普遍關注，該模型及其改進形式的應用范圍從生物醫學領域逐漸拓展到其他領域[6-8]，對于更加科學、合理地評價各類科技計劃帶來的經濟社會影響起到了十分重要的推動作用。

目前，國內對于如何開展科技計劃的經濟社會影響還主要停留在理念或理論階段[9-11]，缺乏成熟可用的評價框架和方法。在回報模型應用最多的生物醫學領域，中國科技計劃評價主要遵循一般意義上的績效評價指標和方法[12,13]，僅有極少研究探討了基于回報模型改進和完善生物醫學類科技計劃評價的指標或方法[14]，其他學科領域科技計劃的管理者和評價方對于回報模型的理念和價值更是缺乏了解。為了推動中國建立關于科技計劃產生的經濟社會影響的評價研究和實踐，本文主要結合發達國家利用回報模型對生物醫學類科技計劃開展影響評價的典型案例，梳理回報模型的基本原理和最新發展動態，并提出對中國科技計劃經濟社會影響評價的啟示和建議。

1 回報模型的基本原理

20世紀90年代，英國布魯奈爾大學 (倫敦)以Buxton和Hanney兩位教授為主的健康經濟學研究組在研究如何評價健康服務產生的影響或回報過程中，提出了評價生物醫學研究經濟社會影響的回報模型[15]。該回報模型的兩個關鍵要素分別是：①通過構建科學研究產生中長期影響的邏輯，闡釋科學研究形成影響的七個階段，以及在形成影響的過程中科研體系與外界的學界、政府、經濟等相互作用的兩個界面 (見圖1)；②將生物醫學研究的影響劃分為知識產品、能力提升、對相關政策和產品開發的支撐、健康部門的收益、更廣泛的經濟和社會收益五大類 (見表1)。

圖1 回報模型的七個階段 (階段0至階段6)和兩個界面

2004年，該模型應用于英國關節炎研究聯盟 (Arthritis Research Campaign，ARC)，是早期以回報模型來評價生物醫學類科技計劃所產生的經濟社會影響的典型實踐[16]。該項評價首先基于項目類型、科研工作性質和論文影響力三個維度，篩選了20世紀90年代初期ARC資助的16個項目作為評價案例。進而，基于回報模型中五大類影響指標，通過三個途徑搜集了這些案例的相關數據：①項目管理資料，包括項目申請書、項目進展報告、項目結題報告等；②半結構化訪談，主要訪談對象包括項目負責人、項目合作者、研究結果的使用者、學術同行等；③文獻計量學數據，主要涵蓋論文發表和知識擴散兩個角度，其中論文發表的統計數據包括該項目發表的論文數量、論文合作情況、論文類型、論文資助情況 (每篇論文平均有多少個資助機構、ARC資助的論文占全部論文的比例是多少)等，知識擴散的統計數據包括論文影響力 (年均被引次數)、知識轉化 (引用這些論文的文章的研究水平如何)、論文擴散 (美國學者的引文占全部引文的比例、關節炎研究領域之外的引文占全部引文的比例)等。

在上述數據的基礎上，由9位專家組成的評價小組逐個開展16個案例項目的審核和分析。第一階段要求每位專家基于上述16個項目的數據，以回報模型為內容框架獨立撰寫并提交自己的觀察報告，重點就資助決策過程、項目過程管理、項目產生的影響等方面闡述自己的觀點。進而，將各專家的觀察報告中集中體現的重點問題分為若干主題，根據各主題將相關專家召集起來進行小組討論。第二階段是召開一個為期兩天的研討會，由9位專家按照回報模型對16個項目的影響進行審核，具體做法是要求每位專家都對每一個案例的每一類影響進行1～9分的評分，并從前面的基礎數據中抽取相關數據或事實作為其評分依據。對第一輪打分情況進行分布統計，并將結果反饋給每一個專家。經討論后，各位專家再分別打出第二輪的評分，將第二輪評分的中位數作為最終評分結果。

此次評價結果主要從兩個方面展示：一是從回報模型的五類影響出發，揭示了ARC資助的關節炎研究產生的各類影響的評分分布情況 (見圖2)和相關證據；二是從回報模型的7個階段和兩個界面出發，總結ARC資助的關節炎研究產生影響的兩種路徑 (見圖3)。此外，根據評價結果對于ARC未來如何優化項目管理、更好地激勵項目轉化為經濟社會影響提出了相關政策建議。

注：KP代表 “知識生產”，RTCB代表 “科研能力建設”，IPPD代表 “政策支撐和產品開發”，HHSB代表 “健康部門的收益”，BEB代表 “更廣泛的經濟和社會收益”。圖2 ARC資助的基礎類項目和臨床類項目的五類影響的得分中位數對比

圖3 ARC資助的關節炎研究產生影響的兩種路徑

上述評價案例集中體現了早期利用回報模型評價生物醫學類科技計劃產生的經濟社會影響的典型做法，即 “半結構化訪談+文獻計量學數據和管理資料分析+專家核實影響并得出評價結果”三板斧。具體而言，半結構化訪談主要是篩選部分代表性項目為樣本案例，以回報模型為框架對項目負責人和其他相關人員進行訪談，由被訪談者申述這些項目產生的五類影響和相關數據和事實；文獻計量學數據和管理資料分析是搜集樣本項目 (或者整個計劃所資助的所有項目)的定量產出和過程管理信息；專家核實影響并得出評價結果是指由評價專家 (通常以同行專家為主，適當吸收用戶代表和管理專家)根據上述定量定性事實和數據，核實項目負責人申述的各類影響，形成評價分析報告，從而得出項目整體的影響評價結論。

2 回報模型的發展動態

近些年來，隨著回報模型在生物醫學類乃至其他學科科技計劃經濟社會影響評價中的應用日益增多，回報模型的一些不足也逐漸顯現。從解決問題的角度出發，研究者和實踐者對于回報模型進行了修訂和完善。以下結合具體案例，重點歸納了回報模型在三個方面的發展動態。

2.1 如何更好地析出單個項目產生的影響

科研項目在學術上、經濟上、社會上產生的效果和影響，往往是多個科研項目甚至多個科技計劃的共同產物。對于科技計劃的組織方而言，通過評價來判斷該計劃的有效性，就需要把該計劃產生的效果和影響從其他計劃中辨析出來。在早期的回報模型的相關實踐中，一般選擇科技計劃所部屬的若干研究項目作為被評價樣本，由項目負責人籠統闡述其項目產生的影響，但這種影響可能是多個項目共同作用的結果。因此，后來的研究和實踐通過兩種方法改進了回報模型，在一定程度上有助于辨析單個生物醫學研究項目在臨床上、經濟上或社會上產生的效果和影響，從而更清晰地界定被評價的生物醫學類科技計劃的影響范圍。

一種方法是要求各研究項目負責人在定性闡述項目影響的同時，判斷該項目在所申述的影響當中起到的作用或程度。以英國哮喘研究的影響評價[17]為例，評價組織方在以回報模型為框架開展項目負責人的半結構化訪談時，要求項目負責人對該項目在各類影響當中所起到的作用分別進行不同程度 (作用很大、中等作用、作用很小)的標明，如該項目研究結果對于英國后續相關研究資助決策起到的作用程度有多大，該項目研究結果對于英國臨床界哮喘治療方案改進起到的作用程度有多大，該項目研究結果對于英國哮喘學界科研能力提升所起到的作用程度有多大，等等。

另一種方法是在項目負責人申述的項目影響及相關事實和證據的基礎上，由專家小組判斷這些影響的產生能否歸因于這些項目。以澳大利亞開展的健康干預研究的影響評價[18]為例，12名來自公共健康、健康干預、臨床醫學領域的專家組成專家小組，其中4位專家曾經或者目前正在政府部門負責健康政策制定。該專家小組分別從四個維度對各項目負責人申述的項目影響進行1～9分的評分：這些影響是否由多項目合作產生；這些影響是否與該項目研究有直接關聯 (即申述的影響能否歸因于該項目)；影響的深度和廣度如何；影響的重要性如何。通過匯總各位專家的評分，得出各項影響歸因于該項目的程度。可見，這種方法采用專家再次評議的方式，對項目負責人申述的影響與該項目的關聯性進行判斷。

2.2 如何開展計劃層面的影響評價

早期回報模型面臨的另一個挑戰在于如何基于項目層面的影響來判斷整個計劃的影響。如前所述，回報模型的應用是基于若干案例的深度訪談和分析，往往由評價者篩選被評科技計劃中代表性的若干項目作為樣本案例，逐一對這些樣本項目的影響進行分析。但是，由于經濟上和智力上的集成效應的存在，科技計劃層面的影響往往大于該計劃下各項目的影響之和[5]。如果只是將各案例項目的影響進行匯總，并不能合理分析計劃層面的影響。

近些年的研究和實踐中多采用目標利益相關者訪談的方法來應對這個問題[6,19]。以生物醫學類科技計劃為例，這類科技計劃往往有明確的目標用戶，包括特定的患者、醫學政策制定者、臨床執業醫生等，由這些利益相關者從用戶角度對生物醫學類科技計劃整體層面產生的經濟社會影響進行評價，是目標利益相關者方法所要達到的根本目的。如蘭德公司開展的英國國立健康研究所HTA計劃評價[20]，在以回報模型為框架評價該計劃的影響時，首先按照一般做法搜集了HTA計劃的文獻計量學數據，并選取了12個項目作為案例，要求項目負責人申述其5類影響并提供相關事實和證據。這些數據和分析都為項目層面的影響分析提供了直接支持，但是并不能充分地揭示HTA計劃整體上在后續相關研究布局、政策發布和臨床實踐等方面產生的影響。為此，蘭德評價小組開展了20名目標利益相關者的逐個訪談，這20名訪談對象中有4名來自學術界、3名來自患者群體、8名來自政府醫療管理部門或醫療保障體系、2名來自其他資助機構、4名來自HTA專家組，其中，8名是HTA外部專家、5名是國際專家。訪談內容側重具體項目層面難以揭示的效果和影響，諸如HTA計劃的實施是否有效解決了英國醫療保障體系面臨的重大問題？HTA計劃的實施對于英國醫藥產業的發展是否起到了有效推動？HTA計劃是否對于英國工業界的研發活動產生什么影響？通過這些訪談問題來看，這種目標利益相關者訪談確實是利用回報模型評價生物醫學類科技計劃影響時的必要補充。

2.3 如何提高評價的信度和效度

本質上而言，回報模型是一種半結構化的經濟社會影響分類體系，通過將科學研究產生的各類短期、中期和長期影響進行分類，使得對相關影響的梳理和評價更為系統而有序。由于應用回報模型時主要由項目負責人申報其研究活動產生的影響，再由同領域專家對申報的影響進行核實，因此，評價的信度和效度會受到一些主觀因素干擾，例如項目負責人有意或無意夸大項目影響、負責審核的專家組規模和人選、影響評價與項目結題之間的時間間隔等[6,21]。為了提高回報模型在科技計劃影響評價中的信度和效度，近些年的研究和實踐主要從以下方面來改進回報模型：

一個方面是通過采集標準化數據和信息，提高客觀證據對于專家審核的支撐力度。以2013年開展的歐盟框架計劃生命健康研究項目的影響評價為例[22]，6位生命健康領域的專家組成評價小組，以回報模型為基本架構，基于歐盟第五、第六和第七期框架資助生命健康研究產生的影響進行評價。與以往應用回報模型不同的是，此次評價開展了大范圍的文檔調查工作，要求每位項目負責人填寫一份標準化表格，在該表格中提供關于回報模型五類影響 (知識產品、能力提升、政策支撐、健康部門收益、經濟和社會收益)和影響擴散情況這六大方面的定量或標準化的信息，如經濟社會影響方面要求提供該項目具體創造了多少個固定崗位和限期聘用崗位，政策支撐方面要求從研究報告、預測軟件、指南文件、政策建議、臨床案例、診療工具這幾個方面提供信息，等等。這些量化數據或標準化信息，既為下一步的專家審核提供了便利，有利于減少專家評審的偏見和判斷失誤，也便于開展項目或計劃的橫向比較分析。同時，以這種大范圍的文檔調查來支撐專家審核，在一定程度上減輕了對專家數量和時間投入的要求，因而也減少了評價成本[23]。

另一個方面是根據研究項目的具體特點，選擇合適的評價時間窗，以便更合理更有效地搜集相關影響數據。由于生物醫學研究產生影響的時間范圍很大，從項目結束之后的2年到30年都有可能，因此，確定合適的評價時間窗 (評價時點與項目結題時點之間的時間間隔)對于合理評價生物醫學類科技計劃產生的影響非常關鍵。這方面的一項系統研究是加拿大健康科學院于2009年發布的一份對加拿大生物醫學研究投入回報評價的指導性報告[24]。該報告明確提出生物醫學類科技計劃要分類評價，基礎生物醫學研究、臨床應用研究、健康服務研究、人口與公共衛生研究、以上四類的交叉研究等不同類型的研究項目在性質、特點和轉化周期方面都各有不同，因此在回報模型所界定的五類影響的發生時間也是不同的。一項針對英國心血管病研究的影響評價更是明確指出，開展心血管相關的科技計劃的影響評價，最合適的時間點是項目結題之后17年[25]。

3 總結和啟示

當前，回報模型被科技評價的學界和實踐界廣泛采納，迄今已成為最為主流的科技計劃經濟社會影響評價模型之一，被認為是與科技計劃經濟收益計量分析并駕齊驅的另一種重要的評價邏輯模型[26]。中國科技界對于科技計劃影響評價的研究和實踐起步較晚，回報模型的基本原理和發展動態對未來中國更好地監測和評價科技計劃產生的影響具有十分重要的意義。

從學科領域來看，回報模型不僅適用于生物醫學領域，也適用于具有直接或間接應用潛能的各學科領域。隨著科技創新支撐經濟社會發展的力度增強，各學科領域的科技計劃都面臨著如何評價其在經濟社會發展中產生影響的壓力。如英國于2014年在原RAE基礎上改進形成的REF評價，要求對各參評的學科領域 (包含自然科學和社會科學)都進行社會效益的影響評價。當然，由于學科特點不同，在應用回報模型時應注重結合不同學科領域的特點，合理設置該模型中五大類影響的具體表征和指標。

從評價對象來看，回報模型既適用于整個科技計劃的影響評價，也適用于具體科技項目的影響評價。回報模型最早的出發點是對科技計劃整體進行影響評價，但是由于在具體應用中往往以具體的科技項目為基本的影響評價單元，因而在早期的實踐案例中對科技計劃整體性的影響評價有所不足。改進后的回報模型強調科技計劃的整體影響大于該計劃下各具體項目的影響之和，并采用目標利益相關者訪談等方法具體落實，使得回報模型對科技計劃的影響評價更為充分。

可以預期，回報模型對于中國科技界的積極意義是多方面的。該模型不僅提供了一套開展科技計劃影響評價的理論框架，更有利于推動科技計劃評價從績效評價拓展為影響評價。相比于績效評價主要關注科技計劃是否完成了短期的、可預見的績效目標，影響評價更關注科技計劃完成之后在勞動力就業、醫療健康、經濟政策、社會福利等經濟社會影響各方面產生的中長期影響。由于目前對于科技計劃經濟社會影響的機理分析缺乏有效工具，當前對于科技計劃的影響評價無論在理論研究還是實踐應用方面都比較欠缺。將回報模型引入中國，梳理科技計劃的影響形成機制，分析其形成影響的七個階段，以及影響形成過程中科研體系與外界的學界、政府、經濟等相互作用的兩個界面，有助于科技計劃的資助和管理方轉變管理理念，推動科技計劃評價從績效評價拓展為影響評價。這種轉變也將影響科技界個人評價的價值導向，引導科技計劃的主要參與者在發表學術論著的同時，更多注重科研成果在經濟社會發展中的實際影響。通過對做出實質性貢獻的個人進行合理評價，激發科技工作者在經濟社會影響中發揮更大作用，也有利于提高科技計劃在提高人民健康水平、完善公眾生活環境、提升國家產業競爭力等經濟社會各方面的實際效用。