指標：讓科研行為有理有據

丁翔宇/編譯

指標：讓科研行為有理有據

丁翔宇/編譯

● 對科學研究系統的評估可以提升公眾對科研的支持，但會不會同時扼殺了創新呢？在《自然》雜志組織的在墨爾本的專題研討會上，大家也對這個問題進行了討論。

從英國在1986年第一次進行研究評估訓練開始，國家對公眾資助的研究進行評估的概念也拓展到了其他國家，包括比利時，法國，意大利，澳大利亞和新西蘭。其中一些評估是為了明確科研資金的分配，其他則是對當地的研究在全球范圍內的水準進行標桿性調查。盡管這些評估系統的總體目標容易理解，但是各自運行得有多好有待商榷，它們相對效率是2014年2月在澳大利亞墨爾本舉辦的這次研討會的中心議題。這次《自然》雜志召集了來自澳大利亞，新西蘭，新加坡各個研究機構和大學的專家學者，共同探討關于科學研究的評估方式帶來的結果和影響。在對專題研討會的介紹中，《自然》雜志的主編Phil Campbell概述了一些問題和觀點，這些觀點在之后也得到了討論。“研究的評估者需要明白他們測量科研影響力的方法”Phil Campbell說，“公開是得到信任的必要環節。《自然》雜志歡迎使用多種指標進行科研評估。”“僅僅通過文章引用次數去評估是肯定無法維持的。”他又補充到。

英國最近重新定位了科研評估項目，將同行互評，歷史案例和指標綜合到一個叫做研究卓越框架（REF）的評估系統，這個系統今年剛剛投入運行。墨爾本專題研討會以亞太國家使用的科研評估方案為對照，包括新加坡認真規劃的推動知識型產業發展，新西蘭關于在科研項目開始之前就確定指標的提議以及澳大利亞的對科研項目的優缺點進行量化評估，認真地考察了英國的評估方法 。得出兩點顯而易見的結論：評估科研的理由充分；得到結論的評估方法也很多。也許第一個需要克服的障礙就是明確目標。

議題1：英國是如何從研究中獲益的：科研評估可以提升公眾支持

研究卓越框架（REF）是評估英國大學科研質量的一個新型系統。它的目的是展現公眾投資科研的好處，明確使用來自政府的科研資金所需擔負的責任，以及分各個學科對英國的科研質量在全球范圍內進行排名。

REF作為科研評估訓練的后繼者，將會在2014年12月生成第一份報告，報告將被用來輔助四家高等教育基金委員會機構（即英格蘭高等教育基金委，蘇格蘭基金委，威爾士高等教育基金委，北愛爾蘭教育和學習部）對約16億英鎊（約合27億美元）的政府科研資金進行分配。它將對高等教育研究機構在36個學科領域的科研成就進行評價，這取決于研究的質量，研究帶來的影響，還有研究的環境。結果會以整體品質的形式發布，其中每項評估意見會被歸類為 “世界領先”，“國際知名”，“國內聞名”或是“無法歸類”。這項評估是由專家組實施的，專家組包括來自商界和政界的代表，他們或者在各自所屬的職業中使用了研究成果，或者委托了學者或是與學者們進行了合作。

● 評價研究

David Sweeney是這次專題座談會主題報告的發言人，他是位于布里斯托的英格蘭高等教育基金委員會(HEFCE)研究、創新和技術部的主任，曾一手推動了REF的發展。他告訴與會代表:“任何人無權隨意使用研究經費，如果遇到以前做預算計劃時高級科學家向政府要錢并允諾會出成果的情況，基金委員會有權讓科學家先證明成果”。

Sweeney表示科學家們無法假定公眾可以理解研究的價值，因此科研評估成為了讓英國政府、商界以及社會相信為什么要投資大學以及科研的必要工具。事實上，英國政府希望征召一些企業資助大學的研究，并藉此將商界在全球金融危機時為了預防困難而儲存的一些資本解鎖。REF搭配上與之匹配的資金計劃，可以幫助政府釋放之前儲藏的私人資本。

●“這種方法可以進行現在必須要做的工作，雖然它并不完美”

Sweeney概述了REF的方法，“卓越的學術能力仍舊是公眾資助科研最重要的目的，”Sweeney說到，“但是一些傳統的衡量科研成績的方法，如同行評價以及引用次數，不應成為評價的全部內容；嘉獎能給社會帶來積極效應的科學研究也非常重要”。他認為REF不會為政府操控研究的方向開方便之門，也不會對資金應用的研究領域存在偏見。反之，REF會提供一種確認所有研究貢獻的方法。“這并非是更偏向某些研究領域”。Sweeney將REF表征為科研評估方面邁出的第一步，而不是一種十全十美的方法。Sweeney解釋到：“這種方法可以進行現在必須要做的工作，盡管它并不完美。”

現實中的一些問題，如水和資源的利用，非常復雜而且相互關聯，處理這些問題需要用到物理學和生物學，還要從經濟學，行為心里學，法學等社會科學中獲取專門知識。然而，根據多學科研究專題研討會的與會者，這些關鍵的科研工作在之前的科研評估體系中從未被正確地評估過。墨累達令盆地計劃是為了管理澳大利亞最大，最豐產的農業區的水資源而制定，通過這一計劃，多學科工作組的本質，協作的難度得到很好的體現。“這個教訓告訴我們究竟該如何去做。”阿德萊德大學負責研究策略的副校長Robert Saint說到“這個計劃不受歡迎，原因是它打算大量削減分配給很多農民的用水。這個計劃頒布后很快就被農民們焚毀了，于是整個計劃不得不重新回到設計階段。”問題出在編制報告的墨累達令盆地政府缺乏整合法律、政治、社會問題以及科學的特殊能力。

澳大利亞最大的國家研究機構，總部位于堪培拉的聯邦科學和工業研究組織（CSIRO）對多學科研究并不陌生。它的執行總裁 Megan Clark表示：“CSIRO專門從事大規模的、廣闊的、泛學科的研究。“當你進入CSIRO的第一刻，你就會意識到這并不是一個從事個人研究的地方。”她說到，“我們以任務為指引，以多學科小組的形式進行研究”。作為結果，CSIRO的研究評價包含傳統科研產出，比如專利和期刊論文，還有來自獨立的同行評價專家小組的研究質量評估，但關鍵在于我們還將對終端用戶產生的影響納入了評價系統，終端用戶包括公眾、政府部門、私人企業、環境組織。

CSIRO運營著規模很大的多學科合作研究項目，也即大家所知的國家旗艦研究。它們聚焦于國內以及國際都很重要的課題，如生物安全性，預防保健，工業生產與可持續農業。在10年多一點的時間內，旗艦計劃已經成長為包含聯邦科學和工業研究組織超過半數研究活動的巨型項目了。

議題 2：啟動的旗艦項目：通過重構CSIRO來處理國家的問題

國家旗艦研究是聯邦科學和工業研究組織（CSIRO；澳大利亞最大的國家研究機構），大學，其他公眾資助的研究機構，私營企業及國際組織間共同合作的大型多學科的研究合作項目。現有11個旗艦研究項目來處理國家面臨的重大挑戰 （見下表）。旗艦研究起始于3個2003年的旗艦項目，現在已經成為澳大利亞有史以來進行的最大規模的科研項目。這些項目占據了CSIRO15億澳元（約合14億美元）科研預算的大半，并會在2015年7月達到CSIRO總預算的65%。

建立旗艦項目需要對組織進行本質上的重組。開始CSIRO在全國保有11個傳統的按學科劃分的部門，旗艦項目可以從任何部門或者合作組織征調人員。從2014年7月起，它們將會合并成9個旗艦項目。從2005年開始，有一個與旗艦項目合作的基金會已經掏出1.3億澳元來鼓勵大學、CSIRO以及其他研究機構之間的合作。

Clark回憶，當初很多利益相關者擔心旗艦項目會導致該組織研究質量下降，但結果恰恰相反，她說：“去年，我們的研究質量和全球地位創下新的紀錄”。舉例來說，根據該組織最新的學術健康與卓越報告，CSIRO研究論文的引用率比全球平均水平高出56%。

“CSIRO的方法與大學里進行的多學科研究不同，大學為研究者提供初始的科研訓練環境。”墨爾本莫納什大學負責學術績效的副教務長Langfield-Smith說到。科研環境傾向于以學科為組織基礎進行提升，這種筒倉式的結構對于需要超出專業進行思考的研究者來說是毫無裨益的。Langfield-Simth提到了招募大學研究人員研究多學科項目的困難。尤其是處于職業生涯中期和末期的研究者，他們發現自己很難放下手中的研究去加入一些可能無法讓他們在所在領域的頂級期刊上發表文章的項目。更糟糕的是，多學科研究難以開啟：多學科研究通常會缺乏共同語言，分析問題的模式，概念性的框架以及專門的期刊（很多成果只能轉而以政府工作報告的形式發表）。

通過觀察，Saint發現同行評議在爭取科研資金以及發表論文的階段也會對多學科研究項目不利。“我記得在生物信息學的早期階段，數據學家們會爭論，說這些理論早在40年前就有了，而生物學家們對數據沒有任何興趣。”組委會提出了一些促進多學科研究的方法，包括為此類研究設置專門的資金支持以及調整科研評估的標準，這樣那些政府工作報告中的成果也會被認為是符合條件的科研成果。

澳大利亞旗艦項目

澳大利亞最大的信息與通訊技術研究機構的董事長Hugh Durrant-Whyte建議通過去除一些不利的抑制因素來解決這個問題。他認為基金委員會應該培養一種鼓勵科學家去承接一些非常酷而且刺激的項目，而非因為在結題的時候能發表文章的 科研氛圍。年輕的科學家應當被鼓勵去發現一些有趣的東西并獲得成功。“這會自然而然地激勵科學家的合作以及多學科的研究。”他補充到。

新加坡令人印象深刻的生物科研中心Biopolis，建成于2003年

● 當選擇是有限的

研究對于政府的價值與其對于商界，學術界以及公眾的價值大相徑庭，這也是在一開始就要設定好標準的關鍵原因。新西蘭總理的首席科學顧問Peter Gluckman說到：“這種方式改變了科研的方法，影響了科學家工作和思維的方式。“Gluckman主要指在政府引導的項目在新西蘭這樣的小國度里占去科研預算的很大比重。或許這個理論最有說服力的論據來自于新加坡，新加坡只用了不超過10年的時間就將生物醫學產業從一個很低的起點發展起來。

論題3：如何發展一個產業：新加坡成為生物醫學的重地

新加坡白手起家，用不超過10年的時間建立了欣欣向榮的生物醫學產業。盡管新加坡幾乎沒有自然資源，但它于20世紀90年代早期就制定了以知識經濟為基礎，用創新推動的經濟發展模式。政府認為生物醫學科技是一個發展潛力巨大的領域，決定發展自己的相關產業。新加坡2000年開始投資生物醫學研究，到2012年，整個產業規模達到了300億新元（約合240億美元），包括超過 50個生產廠家，50個研發中心以及30家生物科技公司和制藥公司的地區總部。

第一階段（2000年-2005年）專注于快速發展新加坡的基礎科研能力以及基礎設施建設，同時吸引其他國家的研發實驗室落戶新加坡。政府還建立了叫做Biopolis的研發中心。Biopolis由 7座大樓組成， 占地185，000平方米，耗資5億新元，并且緊鄰新加坡國立大學。

第二階段（2006年-2010年）專注于支持新加坡承擔轉化型和臨床型的研究的能力，并將其轉化成保健產品和相關應用。Lonza和Genentech之類的大型生物醫學公司被新加坡優越的商業和投資環境所吸引，包括慷慨的稅率以及接近靈活、高素質的人才市場。

現階段（2011年-2015年）專注于鼓勵產業的國際投資和與業界的聯系。為了方便同私人企業的合作，新加坡政府建立了工業合作辦公室。這五年的預算增長了16%，達到160億新元，這筆資金的一大部分注入了為工業服務的研究。

David Lane是新加坡科技研究局（A*STAR）的首席科學家，A*STAR和新加坡經濟發展董事會都負責實施了最早的生物醫學科研項目來發展這一產業。他表示確定影響力是政府制定策略的主要部分。“我們的預算增加了。”他說到“但是其中的30%至40%是被政府留著的，只有當我們的研究工作和產業相結合，政府才會將資金發放給我們”。考量成果的標尺則是公司投資新加坡生物醫學產業的水平。Gluckmen說到：“政府對學術功利的態度和專注于積累知識的學術角度有很大不同。政府通常會關心科研對經濟、環境、國防以及公眾健康的影響，政府的這種優先級排列在小經濟體中尤其顯著，因此小經濟體不會輕易地投資沒有價值的研究。

澳大利亞卓越研究 （ERA）最初成立的目標之一就是確定澳大利亞在哪些研究領域擁有世界影響力，墨爾本大學教務長，澳大利亞科學研究委員會（ARC）的前任領導 Margaret Sheil介紹說。Sheil曾經多次參與ERA的設計和運行，她指出盡管澳大利亞人口很少，但它在很多學科領域都在參與全球競爭。用一個評估工具展現這些不同的觀點不是一件容易的事情。Alan Finkel是莫納什大學的科研贊助商以及校長，他指出資助機構需要搭建一個框架，這樣比如在產業工作，對政府報告的貢獻或是將研究成果傳達給公眾這類工作而不是研究者的同行評議將會被轉變成和論文引用次數有相同作用的內容，這樣做的目的是提高對研究影響力的評估水平。

● 指標并非是答案

評估一個國家的研究本身并不是結束。當按照研究成果評估行動時，資助者的觀點往往大相徑庭，但是他們在一點逐漸取得共識，那就是任何有價值的評估，無論是對科研撥款分配的評估，還是為了鼓勵優秀學術的評估，都應當基于一系列的評估，而并不僅僅依據發表論文的數量以及論文的引用次數。在墨爾本專題座談會最后的專家小組會議中，來自四個重要的科研資助組織的代表討論了如何去最好地整合從評估中得到的信息。

“傳統意義上，科研評估只會評估已經做完的項目，但是在不斷變化的科研環境中，一位科學家過去的成功也許并不能預示他將來能做得很好。”位于堪培拉的澳大利亞合作研究中心組織（CRC）的董事長Tony Peacock說到。CRC運營著全國40家CRC，維系著公眾資助的研究者以及業界之間的合作伙伴關系。Peacock認為只獎勵那些過去成功的研究策略會阻礙新的方法并抑制創新，而創新恰恰是成功科研的本質。澳大利亞國家健康與醫學研究委員會（NHMRC）每年要分配超過7.5億澳元（約合7億美元）的政府資金用于科研，其董事長Warwick Anderson也持類似觀點，反對僅僅依靠引用和同行評議的指標。

“不僅研究本身很重要，而且它的成果如何運用也很重要。”他說到，“醫學研究者通常希望他們的成果會影響決策者以及醫療從業者，還有其他科學家，這就意味著他們需要在學術文獻之外的領域發表文章。為了合理評估他們的工作，你需要檢索除了學術期刊之外的資料，比如政府工作報告以及衛生健康專家的看法。因為衛生保健的巨大開銷，政府對這個領域非常感興趣。澳大利亞的衛生保健產業規模大約是 1400億澳元，包括疫苗生產商以及醫療器械研發企業，尤其是它還是澳大利亞第二大的出口工業產品的來源”。

澳大利亞其他的主要研究資助機構是ARC，它負責分配每年超過9億澳元的科研經費。ARC還管理著ERA，ERA的目標是確定澳大利亞的強勢研究領域。ERA的評估是由國際知名的研究者負責的，以各個學科為單元組織，分成8個科研評估委員會。它們使用傳統的方法評估科研質量，如引用次數分析和同行評議，但是它包含了更多元化的評估方式，如加入商業化收益的考量以及受尊敬度的衡量。舉例來說，加入一個博學的組織，比如成為澳大利亞科學院的會員。

ARC的董事長Aidan Byrne在專題座談會表示ERA會在全球范圍內對科研質量進行比較，這是一種嚴格的，穩定的，涉及所有學科領域的測量方法。他說這樣做的目的是為了讓研究者完成從注重數量到注重質量的轉變。于是ERA評估訓練做得非常成功，并且也沒有在評估中將訓練和經濟回報綁架。還有，盡管ERA的評估非常依賴指標，但是被ERA評估為出色的科研項目，在現實生活中也有相對應的產出。比如澳大利亞95%的企業科研投資都用在研究者水平世界一流甚至更好的領域內，商業化的研究中的98%以及發表專利的研究中的97%也是這樣。HEFCE的Sweeney對各種評估方式的看法則更加直白：沒有完美的系統，但是你需要開始去做，你可以提出替代性的方案，并且花上5年的時間去討論這些方案，但這不能解決現在的問題。

[資料來源：Nature][責任編輯：李 輝]