,,,,
科研評估是科技管理的重要手段之一,近年來受到學術界和政府科技管理部門以及科研機構的廣泛關注。但如何評價科研機構的科研能力,進而為科研優化布局、科研計劃制定和科研項目選擇等決策提供重要依據,仍然是長期困擾科技主管部門的一道難題。系統梳理國內外醫學科研機構能力評估研究的歷史與現狀,對我國醫學科研機構能力評估乃至醫學科研事業的發展具有重要的啟示和借鑒意義。
科研評估是評估機構不斷發展和評估制度不斷完善的過程。19世紀的法國就已經有了評估雛形,20世紀20年代的美國也有過評估嘗試,不過真正有規模的評估始于20世紀60年代的美國,在其帶動下,許多發達國家興起了評估的熱潮[1]。
美國是對科研單位和大學開展科研能力評估較早的國家,它利用民間團體進行評估,主要方法包括以下6種。一是通過著作、專利及其被引情況評估,通常認為被引頻次越高,價值越大;二是通過經濟回報率評估,這種方法為衡量研究成果的價值提供了標準,但存在很多難題;三是專家評議,專家評議主觀性較強,通常可采用適當的方式轉化為量化標準進行評估;四是案例分析,了解制度、組織和技術因素對研究過程的作用,確定研究過程的重要成果;五是追溯性分析,一般由專家組或研究組進行;六是基準確定,由特定領域和相關領域的國際和國內學術和行業專家組根據可獲得的定量和定性數據進行。
前兩者屬于定量方法,專家評議和案例分析屬于定性方法,后兩者屬于半定量方法。近年來,評估活動以同行評議為主,然后是非定量的案例研究,純定量方法使用較少。對基礎性研究的評估通常進行同行評議,對一些大規模、有多種評估對象和目標的評估方案則需要綜合運用多種評估工具和手段。
德國建立了比較完整的科學評估組織體系,包括聯邦層面的科學顧問委員會、科研教育資助機構和大學與研究機構等。評估委員會一般根據科研機構研究工作的內容和性質,從以下5個方面評估其科研能力和水平。
一是對科研活動計劃的定性評估。評估內容包括該機構科研計劃的相關性及其重點是否明確、科研工作是否具有創新能力、科研計劃中遠期規劃是否符合研究機構發展方向、與國內外同行科研能力比較是否有差距等。
二是對發表的論文與著作、組織會議、專利等科研產出進行量化評估。對從事不同學科的科研機構,評估側重點不同。如對從事自然科學和醫學研究的科研機構,著重評估其在學術雜志上發表的論文數量;對從事工程科學研究的科研機構,除評估其專業論文的數量外,還注重其申報專利的數量和工業產出的具體例子。
三是對科研活動的質量進行定性評估。評估內容包括該機構是否經常性地進行自查和外查、是否存在走過場現象、管理和監督機制是否完善、科研人員的素質和培養情況如何、科研人員在科研機構中的流動程度。此外,科研人員應邀到重要的國際學術會議上作學術報告以及舉辦重要的國內和國際學術會議也是重要的評估內容。
四是對科技合作活動進行評估。評估內容包括該機構與國內外高校或科研機構的合作情況、科研人員參與高校的教學和企業合作的程度、該機構派往或為其他高校和單位選派或受聘的教授或領導的情況、科研人員在國外科研機構學術逗留情況、科研人員在重要學術團體或國際組織任職狀況等。
五是對科研成果應用進行評估,主要是針對基礎研究或應用基礎研究機構。評估內容包括科研成果和技術轉讓的能力、申請知識產權保護和專利的狀況、創建獨立的創新企業、通過委托研究或合同研究項目所獲取的科研經費比例、“獨立門戶”創業人員的狀況。
英國沒有國家科學院,大學是主要科研機構。1986-2001年英格蘭高等教育撥款委員會、蘇格蘭高等教育撥款委員會、威爾士高等教育撥款委員會和北愛爾蘭教育部聯合組織,對高等學校進行了5次科研評估。
在評估中,劃分出學科領域,對某一學科的評估方式完全由該學科評估專家組確定,建立明確的指標體系和定量計算公式,也可能制定原則性的評估標準,具體得分則由評估組專家審查,集體討論決定。具體指標包括研究人員的詳細情況、本學科研究成果狀況(藝術與人文學科6年間有代表性的研究成果;其他學科4年間有代表性的研究成果(一般必須不少于4項))、參與科研活動的研究生人數和授予學位人數、享受科研獎學金的人數、得到的政府研究資助額度和合同研究收入情況。
日本20世紀90年代成立了針對醫院科研能力的第三方評估機構。日本醫療機構評估工作旨在從學術的、中立的立場對醫療機構的科研能力進行多方面、具體、定量的評估,并根據評價結果,接受相應機構的咨詢,給予指導。評估指標包括研究機構歷年的研究經費、研究機構研究經費的分項支出、研究機構不同類別的經費、研究機構歷年的研究人數、研究機構各類專業研究人員數。
1981年,程少民等[6]提出了應加強研究所的科技統計工作,主要內容包括承擔科研課題情況、科研計劃執行情況、科研成果情況、人員情況、科技人員培訓情況、經費統計、科研物資統計、學術活動與國內外學術交流情況、圖書情報及刊物出版情況、所屬工廠情況和基本建設情況,并設計了詳細的統計表。這可以看作是我國科研機構評估的雛形,為科研機構的評估實踐邁出了開創性的一步。
1983年,徐榮成[7]首次探討了科學研究機構績效的綜合評價理論和方法,提出對科研單位的管理,特別是應用研究與發展研究機構的管理,首先應對其科研活動的成績與效率有一個定量的評價方法,才能通過縱橫的比較,促進科研機構加強計劃、提高效率、推動科技事業的發展。
1986年,陳文榮等[8]提出了“用定性與定量相結合,以定量為主”的方法對研究所地進行考核評價,并采用以貢獻為主、有內在聯系的多因素綜合評價指標體系與權重分配相結合的計算方法。該評價體系包括課題、成果、效益及效率、人才4個一級指標,16個二級指標(表1),并對沈陽、大連、鞍山三地18個不同規模和不同類型的研究所1983-1984年科研活動的績效進行了模擬評估,將具體指標值轉化為當量數,從而在原則上滿足了可比性的要求,達到了當時較高的水平。

表1 1986年研究所科研活動績效評估二級指標體系
1986年,中國協和醫科大學[9]結合醫藥衛生科學的特點,提出了醫藥衛生科學研究所的評價指標體系,包括科研能力、科研成果、人才、科研管理水平4個一級指標和21個二級指標(表2)。
1991年,中華醫學會[10]在全國范圍內進行了較大規模的評估研究,采用投入——活動——產出評估模型,建立了三級指標體系,共72項操作指標,對全國505個省級以上醫學科研機構進行了科研能力綜合評估,明確了開展醫學科研機構能力評估的基本思路和方法,是機構評估理論在醫學領域的一次成功實踐。此后,有關醫學機構科研能力評估的論著不斷出現,逐步形成了一定體系。
1998年,中國醫科大學[11]運用上述評估模型和指標體系,從72項指標中篩選出30項指標,對146個全國直屬(包括中國醫學科學院和中國預防醫學科學院)以及省直屬獨立性醫學科研機構的科研能力進行了綜合評估(表3)。該簡化指標體系能較全面地反映原指標體系的信息,便于質量控制、追蹤觀察,其自身回代符合率達100%。

表2 醫藥衛生科學研究所能力評估二級指標體系

表3 全國獨立性醫學科研機構科研能力評估二級指標體系
2000年,濟南軍區軍事醫學研究所[12]通過對山東省全部(40個)獨立醫學科研機構1991-1998年度的科技活動進行問卷調查,評估科研機構的科技實力。運用投入——活動——產出評估模型,建立了三級指標體系(表4)。

表4 山東省獨立性醫學科研機構科研能力評估二級指標體系
2000年,蘭州醫學高等專科學校[13]進行軍隊衛生機構科研實力評估,構建了軍隊衛生機構科研實力評估三級指標體系。
該指標體系將衛生機構科研實力劃分為科研管理、科研成果、科技人才、科研環境4個方面,構建了22項二級指標和88項三級指標(表5)。

表5 軍隊衛生機構科研實力評估指標體系(三級指標略)
注:括號內的數字為三級指標項數
2006年,上海交通大學附屬第六人民醫院[14]運用投入——產出模型,建立了二級指標體系(表6),評估本院2個研究所和14個研究室的工作績效。

表6 綜合性醫院研究機構工作績效評估二級指標體系
2013年,廣東省醫學學術交流中心[15]構建了醫療衛生行業(包括醫院、衛生防疫機構、藥企、科研機構等)科技創新能力評價指標體系,包括6個一級指標,22個二級指標和41個三級指標及相應的權重系數(表7)。

表7 醫療衛生行業科技創新評價指標體系(三級指標略)
注:括號內的數字為三級指標項數
2014年,四川省醫學情報研究所[16]構建了四川省醫院科技能力評價指標體系(表8),并對54家醫院進行了實證研究。

表8 四川省醫院科技能力評價指標體系(三級指標略)
注:括號內的數字為三級指標項數
國外科研機構能力評估起步早,評估方法多樣,秉承定性與定量評估相結合的理念,定性評估以同行評議為主,重視同行專家的意見,更強調以認可標準為基本尺度。他們認為科研機構的經費獲得能力很大程度上代表了該機構的科研能力,采用20-30個指標進行評估會使全部或大部分信息得不到良好反饋[8]。因此,通常選取6-8個指標,以經費獲取、人力狀況和科研成果為核心指標。
我國科研機構能力評估起步晚、發展快,在借鑒國外評估經驗做法的基礎上,形成了定性與定量相結合、以定量為主的評估理念,在系統論的指導下把科研機構視為一個黑箱,然后從系統的輸入與輸出來評估其功能和效率。創立了經典的投入——活動——產出評估模型,構建了三級有內在聯系的多因素綜合評估指標體系,采用了指標體系與權重分配相結合的計算方法。指標選擇系統全面,除考慮經費、人才和成果外,還考慮科研條件、基礎設施等,通常數量較多,少則20-30個,多則80-90個。
近些年,我國醫學科研機構的能力評估在科研機構能力評估的實踐基礎上,更多地考慮到醫學機構種類的復雜性和學科的多樣性,越來越多地側重于科技創新能力的評價,形成了獨具醫學機構特色的評估方法和理念。
在指標體系構建上,通常以投入——活動——產出評估模型為核心建立三級指標體系,并綜合運用層次分析法(AHP)、熵權法等定量方法設置權重,同時針對醫學機構的特點進行分級分類評估,使之更具科學性和可比性。
在指標設置上,科研產出相關的論文和專著情況涉及指標多且權重系數相對較高。
楊春華等[17]對生物醫學著作學術影響力進行了實證研究,肯定了學術專著的社會效益和學術價值;楊兆弘[18]探討了學術論文與科研評價的關系,提出了應打破單純追求論文數量的學術評價機制。2013年底,PubMed/MEDLINE推出一個類似論壇的新功能PubMed Commons,實名會員可對PubMed收錄的出版物進行開放評論,打破了以往同行評議的局限,達到了學術共同體共同對學術論文進行評價的效果,引發了同行評議的革命[19]。
評估醫學科研機構在量上的差異,首先要考慮它們質的一致性,因此指標選擇必須反映評估對象的共同屬性;其次要考慮差異性,指標選擇又必須體現評估對象的個性特征。從各機構本身的性質和任務看,不僅有以從事基礎研究為主的專職機構,還有兼職機構,如醫學教學機構、臨床機構、疾病預防控制機構等;從所涉學科看,更是從基礎醫學到臨床醫學再到預防醫學、康復醫學,包羅萬象、千差萬別。不過差別是永遠存在的,評估必須以承認差別為前提,而且評估的目的就是要評出差別,對差別進行分析,區別對待,分類指導,有的放矢才能百發百中。