張志強 蘇 娜
1 中國科學院成都文獻情報中心 成都 610041 2 中國科學院科技戰略咨詢研究院(籌) 北京 100190
一流智庫戰略研究成果的質量管理機制*
張志強1蘇 娜2
1 中國科學院成都文獻情報中心 成都 610041 2 中國科學院科技戰略咨詢研究院(籌) 北京 100190

國際一流智庫影響力的取得有很多決定因素,但關鍵是其戰略研究與政策咨詢報告的高質量,而高質量又取決于其研究成果的高標準與質量管理機制。文章通過對一些國際一流智庫高質量研究標準或指南、研究成果的嚴格獨立同行評審的質量管理機制和流程的梳理,總結了研究成果質量管理機制的有益經驗和啟示。文章指出,我國新型智庫建設中,尚未將高質量分析與研究的質量管理機制作為智庫建設的重要環節來抓,既缺乏研究成果的相關高質量管理理念,也缺乏管理的制度規范,更缺乏質量管理控制的嚴格流程。為此,文章提出了我國新型智庫建設的高質量分析與研究標準及質量管理機制建議。
智庫,戰略與政策研究機構,高質量研究與分析標準,評審指南,同行專家評審,質量管理機制
DOI 10.16418/j.issn.1000-3045.2016.08.014
2015年1月,中共中央、國務院《關于加強中國特色新型智庫建設的意見》發布,標志著中國特色新型智庫建設成為國家戰略;2015年11月《國家高端智庫建設試點工作方案》獲得批準并確定首批25家國家高端智庫建設試點單位,中國特色新型高端智庫建設全面啟動。建設中國特色新型智庫和高端智庫,目標就是要建立具有國際影響力的一流智庫。
現代意義的智庫機構已有近70年的發展歷程,其中一些智庫成為國際智庫中的佼佼者。國際一流智庫有其鮮明標志,如,前瞻研究重要戰略問題并預判政策;良好的管理機制和籌資能力從而鞏固決策咨詢服務網絡;凝聚思想型人才并開展政策設計研究;產出重要影響力的研究成果支撐決策,等等。國際一流智庫獲得影響力的一個重要特點和管理環節,就是其研究成果的高質量標準和基于內外部專家嚴格評審的質量管理機制[1]。
我國的戰略與政策研究機構,目前尚未有規范化、制度化的研究成果質量標準以及同行評審與質量控制的專門機制,也沒有相應的質量管理流程規定。現實的情況是,軟科學與政策研究的委托項目任務結題驗收時,一般是項目委托方委托承擔方組織專家評審或驗收;若要申報科技成果獎勵,均由項目承擔方組織專家評審,對研究成果的水平給出“國際領先”“國際先進”“國內領先”“國內先進”等評審結論。但這些結題驗收會、成果評審會,一般都沒有成文的章程來指導、約束評審過程。除了公開發表研究論文時有期刊編輯部依托編委會和專家隊伍組織審稿外,研究報告成果的正式出版都由報告作者自行與出版社聯系,出版社所做的評審一般只是出版格式規范的審查。因經濟利益驅使,出版社一般不會組織同行專家審稿,也不會因為研究質量平平而拒絕出版,正因如此,我國智庫產出有重要影響力的戰略和政策研究方面的經典報告難得一見。
智庫發展的持久支撐力量是什么?智庫不僅要有“庫”,更要有“智”!智庫不是開展純學術性研究的機構,而是開展經世致用戰略與政策研究的機構,智庫決策咨詢的最主要形式是產出權威研究報告成果。國際一流智庫制度化的高質量分析與研究標準、內外部同行評審的嚴格質量管理機制,是我國智庫的短板。培育具有國際影響力的高端智庫,就必須建立自身的成果高質量標準和成果評審質量控制機制。
本文選擇美國國家研究理事會(NRC)、蘭德公司(RAND Corporation)、布魯金斯學會(Brookings Institution)、世界資源研究所(WRI)、布魯蓋爾(Brugel)研究所、美國能源部信息署(EIA)等國際一流智庫,其分別代表了科技、安全防務、公共政策、環境、經濟、數據分析等智庫類型。通過分析上述國際一流智庫的價值觀、高質量分析和研究標準、質量管理控制機制等,提出我國新型智庫高質量分析與研究標準以及質量管理機制建議,以期促進中國特色新型智庫核心能力建設。
隨著政府決策科學化、民主化的發展,智庫的決策咨詢服務日益專業化,政府、企業等各層次決策對智庫的戰略與政策研究及咨詢需求越來越強烈。面對越來越復雜的國內和國際局勢,政府需要智庫為其提供思想支持,同時還需要智庫以第三方意見領袖和輿論精英的身份,向社會公眾提供政策解讀以引導社會輿論,提高政府的公信力。
智庫是專業型的戰略與政策問題研究機構。各國的重要智庫特別是政府附屬性智庫已經成為政府重要公共政策的來源點、政策內容的設計者、政策效果的評估者、政策實施的營銷宣傳者、社會話語權的主導和引領者[1]。國際知名智庫對全球性和區域性挑戰、對世界各國的經濟社會發展等的研究報告,常常成為引領和影響社會輿論的重要思想利器、社會價值觀追求的精神燈塔。從這個意義上說,高質量、高品質的戰略與政策研究成果(一般體現為各種研究報告等智慧產品)對智庫的聲望至關重要。產出高品質研究成果是智庫形成高影響力的根基。
國際智庫視研究的質量為其發展的基石和塑造影響力的根本。國際一流智庫對高質量研究成果的孜孜追求,就深刻地體現在其價值觀中。
美國國家科學院(National Academy of Science)系統每年完成 300—400 份權威研究報告,其中公開出版的科技領域的權威研究報告往往引領著全球科技的創新方向。美國國家科學院 1863 年建立之初的宗旨就是成為“科學問題的獨立建議者”。現在它與由它擴展而成的美國國家工程院(National Academy of Engineering)和美國國家醫學研究院(National Academy of Medicine)是名副其實的美國“科學、工程、健康領域高質量、客觀咨詢建議的最杰出來源”。作為上述“三院”決策咨詢研究的管理執行機構,美國國家研究理事會(NationalResearch Council)的價值觀是“確保獨立的、客觀的咨詢建議”。
作為以安全與防務領域問題研究著稱的蘭德公司,每年完成研究報告 500 多份。其機構愿景是“成為世界上最值得信賴的政策思想和政策分析之源”,核心價值觀是“高質量和客觀性”。
作為公共政策領域的著名智庫,布魯金斯學會網絡有 300 多名國際一流專家開展所有領域的公共政策研究,其價值觀是“高質量、獨立性和影響力”。可以說這一價值觀追求現在已經成為國際上智庫的普遍價值觀。學會還制定和不斷修訂《研究獨立性政策》《利益沖突政策》《非黨派政策》等一系列保證其研究獨立性和誠信的政策,并更新在其網站上。
成立于 1982 年的世界資源研究所以對全球環境與發展挑戰開展跨學科分析為己任,已經成為國際環境領域的著名智庫。其價值觀是“誠信、創新、緊迫、獨立、尊重”,對研究報告成果的質量要求是“報告全面、寫作完善、觀點中立、價值突出”。
成立于 2005 年的比利時布魯蓋爾研究所,其奉行的建所基石(價值觀)是“基于證據提出政策建議;需求驅動的問題,獨立客觀的答案;密切聯系政府、研究機構、企業和社會公眾;立足歐洲,聚焦全球”。包括固定或非固定的研究和管理人員在內共有 60 多人,每年完成 50 多份研究報告,現在已經成為國際經濟領域的頂級智庫。
這些國際一流典型智庫的價值觀,都體現著追求高質量研究成果、獲得高影響力決策咨詢效果的基本價值取向,引領著這些智庫成為國際一流典型智庫。
國際一流智庫不僅將產出高質量研究成果作為其價值追求,而且在價值觀的指引下,制定并實施研究成果的制度化高質量分析與研究標準規定,作為研究成果追求高質量水平的基本遵循。而且這樣的高質量研究標準,還在實踐中不斷修改和完善,成為智庫機構的常態化業務管理制度。
2.1 美國國家研究理事會的研究報告評審標準
美國國家研究理事會(NRC)成立于 1916 年,是美國國家科學院為擴展其科學技術政策咨詢職能而成立的非盈利研究機構,是美國國家科學院、國家工程院、國家醫學研究院的執行機構,負責美國政府絕大部分科學技術政策咨詢項目的研究。NRC 現設有行為社會科學和教育部、地球與生命研究部、工程與物理科學部、健康與醫學學部、政策與全球事務部、交通研究委員會、海灣研究部共7個研究委員會,是典型的國家科學院型智庫,是國際一流科技智庫的典型代表,每年出版約 400 份重要戰略研究報告,大多涉及科技領域發展戰略與方向。NRC 的科技領域戰略研究報告,對國際上相關科技領域的發展,有著重要的戰略方向性指導意義和決策咨詢作用。
NRC的戰略研究產出主要包括:共識性研究報告(Consensus Reports),快報(Letters)和簡報(Abbreviated Documents),學術研討會報告和摘要(Workshop Reports and Summaries),學術研討會論文集(Workshop Proceedings)等。其中,共識性研究報告是NRC的主要戰略研究成果;后3種是非原創性成果,在已有研究報告的基礎上進行整理與匯編而成。NRC針對每種成果類型都制定了專門的質量評審指南[2-5]。
以 NRC 的“共識性研究報告”為例,其評審指南有9條[2],包括:(1)報告是否清晰描述了要解決的問題?所有的問題是否都得到了解決?作者是否能勝任這一工作?(2)是否有充足的證據、分析和論證支撐結論與建議?是否明確地識別出證據中存在的不確定性和不完整性?如果報告中的建議是基于作者價值判斷或全體作者的一致意見,這一點是否得到認可,是否有充分的理由做出這些判斷?如果報告是基于工作組的工作,研究發現和結論是由個人得出還是由國家研究理事會某一委員會得出?(3)數據和分析是否合適?統計方法是否應用恰當?(4)對敏感政策問題的處理是否謹慎?如果提出了機構改組或者成立新機構的相關建議,是否考慮了不同可選方案的優缺點以及現狀?與報告的其他部分是否一致?(5)報告的闡述和組織是否有效?標題是否合適?(6)報告是否公正?報告的語調是否公正、沒有詭辯?(7)報告摘要中對關鍵研究發現和建議的描述是否簡明準確?與報告其他部分是否一致?(8)有無署名文章或附件?若有,是否與報告要解決的問題相關?如果報告依賴署名文章支撐其共識結論或建議,這些文章是否符合上述的標準(3) ?(9)報告是否存在改進的可能,如果有,可對報告進行哪些重要改進?
“快報”或者“簡報”主要基于已有研究報告的材料形成,不包含新的研究發現和建議(包含了新的發現和建議的文檔適用于研究報告的評審標準)。NRC 的“快報”和“簡報”的質量標準有 5 條[3],主要涉及研究起源與目的清晰度、結論與建議的基礎的全面性、研究論據與參考文獻的適當性、建議的合理可信性、數據和信息資源的局限性、敏感政策問題處理的謹慎性、報告組織和闡述的有效性及可改進性、報告語言描述是否詭辯或帶有作者偏見等。
“學術研討會報告”和“摘要”的評審標準有 5 條[4],主要涉及報告目的和背景介紹的清晰度、內容涵蓋性和清晰性、論述準確性、報告觀點的全面性和共識性(參會者個人觀點還是集體認識)、材料取舍的公正性、敏感政策問題處理的謹慎性、有無造成誤導性的可能聲明等方面。“學術研討會論文集”的評審標準有 2 條[5],包括論文內容的清晰和可理解性、論文的質量及與論文集的相關性等。
NRC 研究成果的這些質量評審標準非常具體和細致,可操作性很強,有助于報告評審專家掌握和操作,無疑保證了其研究成果的高質量水平。
2.2 蘭德公司的高質量研究與分析標準
蘭德公司以研究軍事尖端科學技術和重大軍事戰略起家并著稱于世,是美國乃至國際最負盛名的戰略研究與決策咨詢機構,已發展成為一個研究政治、軍事、經濟、科技、社會等各方面的綜合性著名國際化大型網絡型智庫。其現有 4 個研究學部、7 個研究中心(即研究項目部),這些研究學部和研究中心的矩陣式組織結構在國際智庫中具有代表性。2014 年在研項目 1 700 多個,其中 2014 年新增項目 630 個,完成研究報告 500 多份,發表文章 500 余篇。蘭德公司設有“研究質量保證部”(Research Quality Assurance)專門負責研究成果的質量控制。
蘭德公司于 1997 年在其網站上公布了《高質量研究與分析標準》,并先后于 1999 年、2003 年和 2009 年多次修改完善,于 2010 年再次正式發布了其《高質量研究與分析標準》(Standards for high-quality research and analysis ,2010)文本[6]。
蘭德公司《高質量研究與分析標準》的主要內容是[6]:(1)應明確表達研究問題,應清楚研究目標;(2)應恰當設計與應用研究方法;(3)應體現對已有相關研究的充分了解;(4)數據和信息應易于獲得;(5)研究假設應清楚明了并且可靠;(6)研究發現應改進知識,并且針對重要的政策問題;(7)啟示與建議應合乎邏輯并由研究發現來佐證,并予以充分闡明和恰當告誡;(8)研究報告文檔應準確和可理解、結構清晰和語調溫和;(9)研究應是引人注目的和有用的,并與客戶和決策者相關;(10)研究應是客觀的、獨立的。除了這些常規的標準外,蘭德公司還制定了反映其戰略研究抱負、體現其戰略研究遺產的“杰出”研究的標志:(1)研究是全面性的和綜合性的;(2)研究是創新性的;(3)研究是不朽的。蘭德公司將這些標準作為確定“蘭德特色”(RAND-like)戰略研究的標志。可以說,蘭德公司的高質量研究與分析標準,構成了蘭德公司的鮮明特征,鑄造了蘭德公司產品的高質量特色。
2.3 世界資源研究所的卓越性報告標準
成立于 1982 年的世界資源研究所(WRI)致力于人類與環境的和諧共生,圍繞氣候、能源、糧食、森林、水、城市和交通六大目標,現設有治理、產業和金融 3 個研究中心,目前在非洲、巴西、中國、印度、印度尼西亞、墨西哥、歐洲都設有辦事處。WRI 現已經成為國際最著名的環境問題研究智庫。
WRI 致力于提供高質量的研究,其研究成果既要符合 WRI 的使命和價值觀,即:誠信、創新、緊迫、獨立、尊重,也要符合傳統的卓越學術標準,包括精確、客觀、及時、能夠滿足用戶需要、能夠提出積極推動世界正向發展的戰略規劃[7]。報告的質量要求是:報告全面、寫作完善、觀點中立、價值突出。
2.4 美國能源部能源信息署的信息質量指南
美國能源部能源信息署(EIA)建立于 1977 年,是美國能源部下屬的統計機構,也是美國聯邦政府的十大主要統計機構之一。EIA 的主要職能是進行能源相關數據的收集、管理、應用服務,同時也提供當前熱點主題的分析和專題報告。EIA 向決策者提供獨立的數據、預測、分析,以促進健全政策、建立有效的市場。
EIA 的信息生產、收集、維護和傳播活動,主要包括發展數據收集的概念、方法和方式,收集、處理和編輯數據,分析數據、進行預測,審查信息產品,出版報告、電子文件或以用戶希望的其他方式發布信息等。為保證信息的質量,EIA 要求其發布的信息產品必須要符合《信息質量指南》(Information Quality Guidelines)[8]的要求。
事實上,《信息質量指南》是美國白宮管理與預算辦公室為保證聯邦政府信息的質量而于 2002 年 1 月發布的一份指南,要求聯邦機構統計、發布的所有信息都要滿足客觀性、實用性和完整性 3 條原則。該《指南》要求每一個聯邦機構都制定一個具體的《信息質量指南》。
為體現客觀性、實用性和完整性的原則,EIA 制定的《信息質量指南》要求其發布的信息數據必須具有客觀性、實用性和完整性。同時,EIA 還致力于提高信息和方法的透明度,以提高對數據的理解和保證信息可再現。具體標準包括 4 方面。
(1)客觀性。采用可信的數據資源;采用可靠的分析與預測技術;強調信息產品的質量;產品發布之前進行質量審查;提供方法與數量質量問題方面的信息;在適當的時候,對已發布的信息進行錯誤更正和修訂。
(2)實用性。按時發布;發布方式有利于用戶獲取;提供有助于用戶理解和詮釋信息的材料;分析用戶的信息需求;對產品本身進行評價以保證及時性和相關性;與不同層面決策者討論評估信息收集和傳播的工具和方法。
(3)安全性。采用可靠的信息控制技術對收集的保密承諾的數據采用專門的保護程序,遵循確保信息誠信的有關條例。
(4)有影響力信息的透明性和可再現性。EIA 規定有影響力的科學、財務或統計信息應該具有高度的“透明性”,以支撐信息的“可再現”。EIA 的《信息質量指南》要求有影響力的信息必須具有“透明性”和“可再現性”,“透明性”是指信息源清晰、調查和分析方法準確可信賴。“可再現性”是指在一個可接受的誤差范圍內,信息產生過程可復制,即使用相同的方法對原始數據進行獨立分析能夠得到大致相同的分析結果。
為了支撐《信息質量指南》,EIA 制定了各種工作標準和規范,如《信息收集與處理標準》《信息傳播標準》等,通過這些標準和規范來確保信息的質量。EIA 的信息產品在發布之前也要經過嚴格的同行評議。
國際一流典型智庫,一方面,制定研究成果、數據產品的高質量研究與分析標準;另一方面,建立成果質量管理部門或組織機制(科學委員會、評審委員會等),開展和實施內外部同行專家嚴格評審與監督,以保證研究成果的高質量。
3.1 美國國家研究理事會的成果外部專家評審機制
NRC 的戰略咨詢研究有一套標準的研究組織流程[9],同時在整個戰略研究過程中實行監督與利益沖突審查,使其所提供的戰略咨詢報告具有很高的價值并獲得政府與公眾的信賴與認可。NRC 的各種研究和分析報告,在發布或提交前,都要經過報告評審委員會(Report Review Committee,RRC)批準的外部獨立評審小組,按照規定的評審標準(指南)予以獨立、嚴格評審。未經RRC 批準的評審小組評審的報告、沒有按照評審要求修改完善的報告,不得發布。
RRC是 NRC 建制化的評審委員會,由來自美國國家科學院、工程院和醫學研究院的約 30 位專家組成,另有 5名工作人員負責對評審程序進行監督。項目管理單位與RRC 協商指定一組獨立的、對報告的關鍵議題持各種觀點的評審專家。報告作者將報告草稿提交給評審專家。評審專家根據《評審標準手冊》給出對報告的書面評審意見。報告作者收到所有評審意見后需提供書面答復,書面答復最終會被監督評審人員(由 RRC 指定)和/或評審協調員(由管理部門指定)評估。直到評審過程完全完成,且所有作者同意并經修改完成的報告,才會提交給項目委托方或向公眾公開,作為研究結果正式發布。
例如,NRC 2008 年發布受美國科學基金會(NSF)等政府機構聯合委托完成的《地球的起源與演化——變化星球的研究問題》報告[10],提出了21世紀固體地球科學研究的 10 個重大科學問題,這些科學問題將在很長時期內都是國際地球科學界面臨的重大科學挑戰。該報告發布前,其初稿由 NRC 的 RRC 按照評審程序,指定了13 位評審專家和1位監審專家進行獨立評審。NRC 2010 年發布受美國科學基金會(NSF)等政府機構聯合委托的《認識變化的行星:地理科學的戰略方向》[11]報告,該報告以科學問題的形式提出了未來 10 年地理科學研究的 11 個戰略方向。該報告發布前,其初稿由 NRC 的RRC 按照評審程序,指定了 7 位評審專家和 2 位監審專家進行獨立評審。上述評審的目的即是請評審專家提出直言不諱的和批評性的建議,以幫助 NRC 最大程度地保證報告的權威性。
3.2 蘭德公司的成果內部專家評審制
蘭德公司的研究成果審查機制稱為“內部評審制”[12]。蘭德公司每個研究項目都由學部主任選擇 2— 3 名該領域未參與研究計劃的資深研究人員做評審員,負責項目開始后的期中審查和計劃鄰近結束時的期末審查,寫出評審報告,以判斷是否達到了蘭德公司的要求。在組織評審會議時,由項目完成者解答評審人提出的問題;報告需經本部門 2 人、外部門 1 人參加評審并同意,才能通過。而后經分管該部門的副總裁審定通過,才能最終發布或發表。
3.3 世界資源研究所的成果內外部專家評審機制
WRI 專門有科學與研究部(S&R,類似于國內科研機構的“科技處”),負責對研究的知識成果的評審。WRI 對其研究成果的報告(Report)與問題簡報(Issue Briefs)、工作論文(Working Paper)、技術文件(Technical Note)、在線工具與應用軟件、數據信息圖(Infographics)等不同產品,都有嚴格的內外部專家評審程序,成果評審的內外部專家的遴選,則根據研究成果的具體專業內容,由科學與研究部組織。以研究報告(Report)與問題簡報(Issue Briefs)為例,通過“出版計劃(由研究部門主任、S&R 共同審定同意)—報告初稿(研究部門主任、S&R 共同審定)—內部評審(S&R同意并送內部專家評審)—外部評審(S&R 同意并送外部專家評審)—正式出版報告(S&R 同意出版或發布)”的循環,經過研究部門主任、科學與研究部的審閱同意,評審過程一般需要 6 個月的時間才能完成。嚴格的質量要求和成果評審流程,使 WRI 成為資源環境領域的國際頂尖智庫。
3.4 布魯蓋爾研究所的機構評估與成果評審機制
布魯蓋爾研究所設有科學委員會(SC),負責機構評估、成果評審等,以保證高質量研究標準、獨立性和影響力。布魯蓋爾研究所的評估評審主要有以下 4 類[13]。
(1)三年發展評估。研究所每 3 年進行一次機構評估。董事會每 3 年任命一次多元化獨立評估小組——評估任務組(Review Task Force,RTF),開展從研究領域到機構管理的各方面的全面評估。科學委員會提交研究所發展初步評估報告(包括研究策略和咨詢服務等),作為 RTF 獨立評估的基礎。RTF 形成獨立評估報告(包括發展建議)提交董事會。
(2)年度發展評估。科學委員會每年約見研究人員,討論研究的相關性和影響力。委員會主席要出席董事會會議,匯報委員會對戰略問題的觀點。
(3)季度發展評估。每3個月,傳播團隊要提交研究所發展監測報告,給出政策建議在媒體、社交網絡、博客圈及其他傳播工具上的影響力。
(4)常年報告評審。研究報告的質量控制依賴于預出版階段的充分討論機制,包括內外部同行、叢書編輯、研究領域協調員(由高級研究員擔任,他們對報告負主編之責)等之間的一系列交流與討論及報告審閱。
4.1 高質量研究分析標準是保證高質量成果產出的基礎性制度設計
國際典型一流智庫研究成果的高質量標準,內涵非常豐富,涉及到研究問題的選擇和剖析、規范研究方法的應用與創新、對已有相關研究的系統分析、數據和信息的有力支撐、研究理論依據和假設構建、研究的邏輯性要求、研究的新發現和對新認識的追求、政策設計與咨詢建議的針對性、報告寫作規范與語言嚴謹表述、成果發布管理與提供用戶咨詢等重要環節,直接引領和引導智庫向高目標和高影響力邁進。
智庫戰略與政策研究的客觀性、獨立性,直接決定其研究成果的科學性和質量程度。這就要求智庫研究工作必須探究研究問題本身的客觀規律性,在規律性揭示的基礎上提出政策建議的各種方案。如果研究工作不能保證客觀性、獨立性,也就不能保證成果的科學性、權威性和咨詢價值。基于智庫機構發展的價值觀和使命,制定研究成果的高質量標準和管理機制,就可以有效形成針對研究問題、政策機制內在規律的洞見認識和咨詢建議,就可以有效避免成果觀點的顯性“利益集團傾向”、慣性“人云亦云”結論、甚至直接為利益集團代言的“發言人角色”。
4.2 嚴格的獨立專家評審機制是實現高質量標準的約束性管理機制
獨立的同行評審是保證研究成果客觀性、高質量的有效手段。為實現分析和研究的高質量標準,上述國際典型一流智庫都采取了獨立的同行專家評審機制,評審的依據就是成果的高質量標準或指南。這些智庫的專家評審機制,區別只在于評審專家的來源不同,有的是外部專家評審(如 NRC,本身就沒有固定的專家隊伍,從機構外部選擇專家),有的是內部專家評審(如蘭德公司,作為大型智庫、有大量的可選專家),有的是內外部專家評審(如 WRI 和布魯蓋爾研究所,作為小型智庫、自身專家有限,所以建立含內外部專家的評審專家庫);但相同的是,評審專家的選擇和批準按照專門的程序來組織,強調獨立性和利益沖突回避,評審過程甚至實行專人監督,不能放任研究者和研究小組自己選擇關系戶評審專家。這是非常值得我國智庫機構學習的。
4.3 事實、數據、信息和研究方法是評審的主要內容
事實、數據和信息是戰略研究的基礎和關鍵輸入,研究方法是研究工作的邏輯路線圖并直接關系到研究結論的可靠性和科學性,因此,在國際一流智庫高質量研究標準和指南中,尤其強調事實、數據、信息與研究方法對研究結論的重要性。
NRC 的成果質量指南中特別規定了作為研究支撐和證據的數據和信息的重要性,強調報告必須基于事實和嚴格分析,任何研究發現、結論和建議的基本原理都應在報告中充分解釋。這些解釋必須包括對文獻的參考引用、數據分析,或對可選方案以及傾向于某一選擇的正反面理由的陳述。蘭德公司的高質量研究標準強調數據和信息必須易于獲得,包括數據源和數據生產方法描述清晰、事實信息正確可檢驗、數據應進行過恰當的篩選和處理、清楚說明所用數據的局限性、數據研究方法必須適用于研究問題和研究目的等。EIA 除了強調信息源清晰、信息生產過程的可復制性和調查及分析方法的準確可信賴外,還特別指出在研究過程中使用相同的方法對原始數據進行獨立分析能夠得到大致相同的分析結果。
4.4 結論和建議的客觀性、嚴謹性是評審的關鍵內容
戰略研究報告的目標是為決策者提供咨詢建議,報告的結論一般應當是項目成員一致的意見,但有時盡管經過了廣泛商議,仍可能有個別項目成員不能同意大多數人的意見。針對這種問題,NRC 的報告評審指南中提到,報告中應該清楚地說明不一致的意見內容。項目成員可以準備一個簡短的不同意見陳述(不超過 5 000字),簡要描述問題內容以及支持少數觀點的論據。這一陳述要作為附錄放在報告最后,并且要在正文文本和內容目錄中提及。不一致意見所涉及的材料是否恰當的任何問題都應告知報告評審委員會主席。不一致的意見不應該涉及到研究范圍之外的問題。NRC 還指出,報告中如提到增加政府部門預算、體制機制改革等類的建議更要給予特別關注。一般來講,應當避免這些建議,除非研究目標中特別要求。蘭德公司的高質量研究標準中也指出,研究和發現應改進知識并且針對重要的政策問題。啟示與建議應合乎邏輯并由研究和發現來佐證,并予以充分闡明和恰當告誡。
中國特色新型智庫,一個重要的特征應當是能夠產出高水平戰略與政策研究成果,這些研究成果大多數首先是服務用戶決策需求,而不是用于直接出版,有些研究報告甚至永遠都不能出版。如果沒有出版或者發表過程,就沒有出版社的格式規范審核或者編輯部的專家審稿過程。在這種情況下,智庫機構對其研究報告的質量控制標準和控制機制,就顯得更加重要。因此,智庫機構自身加強其研究成果的質量管理是建設高水平智庫所必須的。智庫要形成高水平的戰略研究成果,就必須要在戰略研究的工作組織機制和質量標準規范等方面有所突破[14],這也是當前我國智庫建設必須補齊的短板。為此,本文提出關于我國智庫高質量分析與研究標準以及成果質量管理機制的以下建議。
5.1 高質量分析與研究標準建議
本文所指高質量分析與研究標準,主要針對戰略研究報告類成果提出,不同類型的智庫,可圍繞這些方面,因地制宜、因機構制宜地制定自己的高質量分析與研究標準。
(1)問題表達準確,研究目標明確,邏輯框架清晰。在研究主題和目標的把握上,要做到透徹解析、清楚表達。明確研究和分析要實現和達到的具體目標,而不是漫無目的地開展研究和分析工作。形成研究問題或主題的分析方案,建立合理、清晰的分析邏輯框架和分析流程。
(2)閱評相關研究,全面把握現狀,剖析進展不足。在相關研究背景的剖析上,要全面系統調研和深入評閱相關的已有研究工作和研究文獻,分析已開展的最新相關研究的現狀和認識,剖析研究的進展和存在的不足,明晰相關問題分析的重點方向和視角,同步分析相關研究采用的研究方法及其優劣。
(3)方法選擇恰當,針對問題匹配,規范設計應用。在研究方法選擇和應用上,要針對研究問題或主題的性質和特點,選擇恰當和匹配的研究方法,把握研究問題的實質和研究方法的要領,規范化地設計和應用研究方法,乃至科學地創新研究方法。以規范和科學的方法應用保證研究結論和認識的科學權威性。
(4)理論應用適當,假設清楚可靠,理論建構充分。在理論應用或假設構建上,面對研究問題或主題,要合理應用已有的適當的科學理論學說,支撐對研究問題的觀察和解析,強化研究和分析的理論依據和理論支撐。面對研究問題或主題,也可以提出合理、清楚和可靠的理論假設,彌補現有理論依據的空白和不足,通過研究和分析過程,深入論證理論假設,建構或豐富相關問題研究的理論依據。
(5)數據信息可獲,建立計算模型,科學分析結果。在數據信息準備和分析計算上,引用數據和信息應當可靠和權威,自主調研、生成的數據和信息應當真實、可信。研究和分析所需要的數據和信息可以獲得,才能保證推進研究方案和路線的實施,而不是因無法獲得數據而難以實現盡管看上去很完美的研究方案。
(6)研究全面綜合,思想創新精辟,認識客觀獨立。在研究的系統性、綜合性、獨立性和創新性上,應當是圍繞研究問題開展的全面、綜合和系統的戰略分析,而不應是片面的、零散和局部的觀察和分析。研究和分析應當產生創新性的思想,分析和研究應當精辟入理,思維引人入勝。研究的認識應當是客觀的、獨立的和平衡的見解,而不是帶有研究者情緒的或者受到利益相關者影響牽制的、有偏見的、不客觀的認識。
(7)啟示建議新穎,研究問題聚焦,研究發現支撐。在歸納啟示和提出對策建議上,研究和分析得出的啟示應當新穎獨特,提出的有關對策建議應當洞見獨到;而且啟示和建議要以研究獲得的發現和認識作為強力佐證和支撐,而不是與研究沒有關聯的另行發揮。啟示和對策建議應當緊緊圍繞和聚焦研究問題或主題,避免人云亦云式的套話和沒有咨詢價值的陳詞濫調,避免偏離研究主題或問題的不著邊際的發散式議論和無關痛癢的不知所云。
(8)研究引人注目,政策問題關聯,應用價值突出。在研究的結論性觀點認識、結果創新和決策咨詢價值上,研究和分析的結果應當形成創新性的成果,應當改進或者發展已有的知識、引人關注和引導評論分析、引導和教化輿論。研究的成果應當圍繞研究問題或主題,密切關聯相關的政策議題,對有關問題的政策決策有顯著的應用價值,對決策者有顯著的咨詢價值。
(9)報告結構合理,行文流暢規范,語言嚴謹達意。在研究報告成果的形式和展示上,研究報告文檔的整體結構要安排合理、邏輯明晰,報告的語言論述嚴謹達意、直白溫和、言簡意賅,報告行文和內容編排符合標準規范、圖文并茂,報告要充分清晰表達研究者的思路和想法,吸引讀者和決策者閱讀、吸納觀點和采納利用。
5.2 高質量分析與研究標準實施管理機制
智庫機構在建立高質量分析與研究標準的同時,必須首先建立其有效實施的管理機制。管理機制的核心包括 3 個方面。
(1)質量管理規章制度落實。建立并不斷完善研究成果的質量管理相關規章制度,是開展成果質量管理的基本依據和遵循。智庫作為主要開展戰略與政策問題的研究機構,其主要研究成果是戰略研究報告、政策咨詢快報、會議論文集、會議報告、商業性圖書、學術論文等,對不同的成果類型,應當建立不同的評審規定和要求。隨著大數據計算型戰略與政策研究的興起,信息可視化圖、數據庫、計算分析方法等也成為智庫的重要成果,由于這些成果直接應用于戰略與政策研究工作,也應當有質量評審管理機制。
(2)組織管理部門職責落實。一是,必須建立專職負責成果質量管理的專責部門(或者至少是專責管理崗位),作為質量控制機制實施的具體承辦部門,負責成果的進展跟蹤、評審計劃制定、評審專家提名、評審過程組織實施等。二是,建立常設的評審專家委員會,以及作為審定具體研究成果的評審專家名單的學術審核機制。評審專家委員會是根據智庫的專業領域和特長,建立的有一定任期的常設評審委員會,評審委員會并不對具體成果進行評審,而是對具體成果的提名評審專家小組予以審定,確定提名評審專家的專業方向匹配性、專業水平勝任度、利益沖突回避等。評審專家委員會審定的專家小組成員,就是獲得智庫授權的“獨立評審專家”。
(3)獨立同行評審機制落實。研究成果質量管理的關鍵環節是獨立同行評審,要形成內外部同行專家獨立評審的、完整的評審流程:報告評審稿提交—同行評審(包括過程監督)—評審結果反饋—報告再修改—報告修改稿再評審—報告完成提交(或發布)。甚至在評審過程中,要設有獨立監督評審人員評審過程的監督人員,確保評審工作扎實有效、獨立客觀。
以智庫名義完成的職務性研究成果,智庫都必須按照質量管理制度規定的要求進行評審。智庫研究成果的質量管理,應當成為智庫的主動作為和超前作為。智庫的內部評審控制環節不能缺失,即使公開出版、發表的成果報告和論文,也需要智庫內部的評審,而不是僅交給出版社和期刊評審。智庫成果同行評審,必須堅持獨立性原則,必須采取由質量管理部門提名評審專家、由評審委員會審定評審專家的方式,不能由成果完成人自行尋找評審專家進行評審。必須克服目前存在的成果評審、項目結題驗收、研究生論文答辯等中存在的專家自己操作、相互輸送利益、“你好我好大家好”的“皆大歡喜”的局面。
只有實施了上述步驟,才能保證報告成果等的數據及分析的準確性、研究方法選擇的科學性、研究過程的嚴謹性、研究結論的獨立性和客觀性等,從而保證研究建議的決策咨詢價值。
“他山之石,可以攻玉”。中國特色新型智庫建設應當借鑒國際一流智庫高質量研究成果的成功管理經驗,在核心能力建設方面真正重視建立高質量的分析研究標準、開展嚴謹的同行評審質量控制、追求客觀和嚴謹的研究結論和政策建議,通過智庫成果質量控制的集群效應,以實現“圣人之治,不貴其獨治、貴其能與眾共治”。
1 張志強,蘇娜. 國際智庫發展趨勢特點與我國新型智庫建設.智庫理論與實踐, 2016, 1(1): 9-23.
2 The National Academies. Report Review Committee Guidlines for Review : Consensus Reports. http://www.nas.edu/site_assets/ groups/nasite/documents/webpage/na_067076.pdf
3 The National Academies. Report Review Committee Guidlines for Review: Letter Reports and Other Abbreviated Documents. http://www.nationalacademies.org/nrc/na_067075.html
4 The National Academies. Report Review Committee Guidlines for Review: Workshop Reports and Summaries. http://www. nationalacademies.org/site_assets/groups/nasite/documents/webpage/na_067079.pdf
5 The National Academies. Report Review Committee Guidlines for Review: Workshop Proceedings. http://www.nationalacademies.org/site_assets/groups/nasite/documents/webpage/ na_067078.pdf
6 RAND. Standards for High Quality Research and Analysis. http://www.rand.org/standards.html
7 World Resources Institute. Excellence in Publications. http:// www.wri.org/publications/excellence
8 Energy Information Agency. Information Quality Guidelines. http://www.eia.gov/about/information_quality_guidelines.cfm
9 National Research Council. Our Study Process—Ensuring Independent Objective Advice. http://www.nas.edu/site_assets/ groups/nasite/documents/webpage/na_069618.pdf
10 美國國家研究理事會. 地球的起源和演化——變化行星的研究問題. 張志強, 鄭軍衛,王天送(譯). 北京: 科學出版社, 2010.
11 National Research Council. Understanding the Changing Planet: Strategic Directions for the Geographical Sciences, 2010. https:// www.nap.edu/login.php?record_id=12860
12 王佩亨, 李國強. 海外智庫——世界主要國家智庫考察報告.北京: 中國財政經濟出版社, 2014.
13 Bruegel. Annual Report 2013. http://bruegel.org/wp-content/uploads/2015/04/Annual-Report-2013-English.pdf
14 張志強, 鄭軍衛. 國際主要科學基金組織的地學資助戰略分析. 中國科學基金, 2016(2): 163-170.
張志強中科院成都文獻情報中心主任,中科院文獻情報中心副主任,研究員、博士、博士生導師。新世紀“百千萬人才”工程國家級人選,甘肅省領軍人才第一層次人才。國家自然科學基金委員會地學部專家咨詢委員會學術秘書。獨立或合作出版專著(編著)20 部、出版譯著 10 部、發表論文 400 余篇。獲得省部級科技進步獎、社會科學優秀成果獎等科技成果獎勵 15 項。主要研究領域:科技戰略與規劃、科技政策與管理、情報學理論方法與應用、生態經濟學與可持續發展等。E-mail:zhangzq@clas.ac.cn
Zhang ZhiqiangProfessor, Ph.D., doctorial tutor. The Director of Chengdu Library and Information Center of the Chinese Academy of Sciences, Deputy Director of the National Science Library of the Chinese Academy of Sciences. A national candidate of the New Century National Talents Project, a first level talent of the Gansu Province Leader Talents, an academic secretary of the Expert Advisory Committee of the Earth Science Division of the National Natural Science Foundation of China. His major research fields are strategic planning for scientific and technologic development, scientific policy and research management, methods and applications of information analysis, ecological economics and sustainable development. He has published more than 400 articles, translated 10 books, and independently or collaboratedly authored 20 books. He has also achieved 15 ministry level awards. E-mail: zhangzq@clas.ac.cn
On Quality Management of Think Tanks’ Strategic Research Output
Zhang Zhiqiang1Su Na2
(1 Chengdu Library and Information Center, Chinese Academy of Sciences, Chengdu 610041, China; 2 Institutes of Science and Development, Chinese Academy of Sciences, Beijing 100190, China)
Among the factors that determine the influence of think tank’s decision-making consultations, the high quality research and analysis of strategies and policies is the key one, which further depends on its high quality standards and quality management system. This article introduces the high quality standards or guidelines for research and analysis of strategies and policies of the world’s leading think tanks and institutes dedicated to strategic and policy research, as well as the peer review system and process for strategic research output, from which valuable experiences and enlightenments for quality management of strategic research output are summarized. This article concludes that China’s decision-making consultancies, even the new-type think tanks have not treat the quality management system as the core of think tank construction and development, not only lacking idea of quality management, but also the basic institutions and the process of quality management and control. In the context of China’s new-type think tank construction and development, suggestions for high-quality standards of research and analysis of strategies and policies are put forwards at last.
think tank, strategy and policy research institute, high quality standard for research and analysis, guidelines for review, peer review, quality management mechanism
*資助項目:中科院政策調研課題(ZYS-2016-07)
修改稿收到日期:2016 年7月31日