基于CIPP模式的中國智庫成果質(zhì)量評價研究

韓瑞珍　楊思洛

摘要：[目的/意義]智庫成果質(zhì)量關(guān)系到智庫的生存和發(fā)展，關(guān)乎智庫能否承載時代賦予的任務(wù)。智庫成果質(zhì)量評價催生智庫自我身份認(rèn)同和行業(yè)自覺，激發(fā)智庫不斷提升成果質(zhì)量、引領(lǐng)智庫健康發(fā)展。[方法/過程]本文借鑒CIPP評價模式，構(gòu)建智庫成果質(zhì)量評價模型；提出PRICE綜合評價指標(biāo)體系，并運(yùn)用層次分析法確定權(quán)重；通過問卷調(diào)查方法，選取3家智庫成果作為樣本，進(jìn)行驗(yàn)證性評價。[結(jié)果/結(jié)論]研究結(jié)果顯示，環(huán)境支持、成果傳播、內(nèi)容質(zhì)量和成果影響力指標(biāo)分值相對較低，表明中國智庫較缺乏專門的針對質(zhì)量管理和質(zhì)量控制的理念和制度；智庫對成果的傳播和推介工作的重視程度不足；成果質(zhì)量和影響力有待進(jìn)一步提升。

關(guān)鍵詞：智庫成果? ? 質(zhì)量? ? 評價指標(biāo)? ? CIPP模式

分類號：G932

DOI： 10.19318/j.cnki.issn.2096-1634.2023.04.04

1? 前言

智庫作為能夠?qū)舱咧贫óa(chǎn)生影響的咨詢機(jī)構(gòu)，承擔(dān)著推進(jìn)國家治理體系和治理能力現(xiàn)代化、增強(qiáng)國家軟實(shí)力的戰(zhàn)略任務(wù)。當(dāng)前，黨和政府面臨世界格局之變、國際秩序之變、科學(xué)技術(shù)之變、中國全球化發(fā)展崛起之變、社會形態(tài)及發(fā)展范式之變[1]：對內(nèi)，擔(dān)負(fù)著實(shí)現(xiàn)中華民族偉大復(fù)興的歷史使命；對外，需要發(fā)出中國聲音、體現(xiàn)中國氣派，推動構(gòu)建人類命運(yùn)共同體。在“世界百年未有之大變局”的激蕩時刻，無疑需要智庫積極、主動地貢獻(xiàn)高質(zhì)量的研究成果，為前瞻性、全局性、戰(zhàn)略性和民主性的科學(xué)決策提供研判和支撐。

然而，現(xiàn)有的智庫成果通常難以匹配智庫被賦予的時代使命和任務(wù)。一方面，智庫整體缺乏高質(zhì)量的研究成果，智庫成果創(chuàng)新力不足，智庫成果同質(zhì)化、形式化現(xiàn)象嚴(yán)重，造成資源的極大浪費(fèi)與決策的低效率；另一方面，即便是知名智庫的研究成果質(zhì)量也是參差不齊，在政策影響力和國際話語權(quán)提升上亦有較大的發(fā)展空間。評價具有引導(dǎo)功能，有什么樣的評價指揮棒，就有什么樣的智庫建設(shè)導(dǎo)向[2]。評價引領(lǐng)和促進(jìn)智庫成果質(zhì)量全面提升是智庫在大變局時代應(yīng)時而動的當(dāng)務(wù)之急。本文基于CIPP（content evaluation（背景評價）、input evaluation（輸入評價）、process evaluation（過程評價）、product evaluation（結(jié)果））評價模式理念，嘗試構(gòu)建科學(xué)、合理、全面的智庫成果質(zhì)量評價體系，為智庫成果質(zhì)量樹立標(biāo)桿，為相關(guān)管理部門進(jìn)行有效管理和資源配置提供依據(jù)。

2? 國內(nèi)外相關(guān)研究進(jìn)展

智庫評價源于西方發(fā)達(dá)國家，評價方法主要采用定性研究、定量研究、定性定量結(jié)合研究，例如，安德魯·里奇（Andrew Rich）采用定量分析方法分析了不同類型智庫實(shí)現(xiàn)影響力的行為差異[3]。從智庫評價的主體來看，國外智庫主要有3種評價模式：①以市場主導(dǎo)評價的美國模式、以協(xié)會等第三方主導(dǎo)評價的德國模式、以政府主導(dǎo)評價的日韓模式[4]；②評價對象通常分為綜合性智庫評價和分類智庫評價，如麥甘團(tuán)隊(duì)發(fā)布的《全球智庫研究報告》是全球性、綜合性的智庫評價，美國全球發(fā)展中心專門針對美國高校智庫進(jìn)行排名，英國智庫研究機(jī)構(gòu)則對智庫財務(wù)透明度進(jìn)行評價；③評價內(nèi)容主要集中于智庫影響力的評價和排名，而有關(guān)智庫成果的評價通常作為其中一項(xiàng)重要指標(biāo)。

目前，國內(nèi)較為系統(tǒng)的智庫成果評價主要集中在第三方評價機(jī)構(gòu)對智庫的評價之中。由中國社會科學(xué)評價研究院起草的《人文社會科學(xué)智庫評價指標(biāo)體系》[5]于2021年5月正式發(fā)布，其明確規(guī)定了“公開、客觀、公正、科學(xué)、獨(dú)立”五大評價原則，設(shè)置吸引力、管理力、影響力三大一級評價指標(biāo)，14項(xiàng)二級評價指標(biāo)，為社會科學(xué)智庫評價指明方向。此外，上海社科院智庫研究中心、南京大學(xué)中國智庫研究與評價中心、浙江工業(yè)大學(xué)全球智庫研究中心等研究機(jī)構(gòu)將智庫測評的理論、方法和評價體系應(yīng)用于智庫評價，各評價機(jī)構(gòu)構(gòu)建了不同的評價指標(biāo)體系，形成各自的特色，不斷豐富和完善智庫評價體系。各省市政府部門牽頭舉辦的優(yōu)秀智庫成果評選活動，是評價具體應(yīng)用之一。例如，湖北省教育廳開展的“湖北高校智庫優(yōu)秀決策咨詢研究成果”評選；湖南省社會科學(xué)院組織的“年度十大智庫創(chuàng)新成果”評選；天津市市委教育工作委員會、市教育委員會組織的“天津市年度高校智庫優(yōu)秀決策咨詢研究成果”評選等。這些評選活動激發(fā)了智庫研究人員的熱情，促進(jìn)了高質(zhì)量智庫成果產(chǎn)出和效用發(fā)揮，但是這些評選活動尚未形成系統(tǒng)的評價體系，也沒有形成常態(tài)化的評價機(jī)制。

根據(jù)對國內(nèi)外文獻(xiàn)調(diào)研發(fā)現(xiàn)，智庫成果評價通常涵蓋在智庫影響力評價體系中，研究者過度關(guān)注智庫影響力，極易誤導(dǎo)智庫和社會媒體追逐形式上的宣傳造勢，而忽視了智庫成果質(zhì)量這一智庫生存和發(fā)展最為本質(zhì)的要素。專門的智庫成果評價也存在一些問題，如未根據(jù)智庫成果的差異性進(jìn)行分類評價，評價指標(biāo)過度強(qiáng)調(diào)采納、批示，評價體系缺乏引導(dǎo)性等[6]。在評價指標(biāo)的設(shè)置、評價方法的選用、評價數(shù)據(jù)的獲取等方面需要進(jìn)一步商榷、探索并逐步完善。

3? 智庫成果質(zhì)量整體評價模型構(gòu)建

評價模型是智庫成果質(zhì)量評價的基礎(chǔ)和支撐，評價指標(biāo)是為整體評價服務(wù)的，確定評價指標(biāo)體系前，需要確立智庫成果質(zhì)量評價模型。為克服評價單一視角，提升評價的科學(xué)性與可靠性，基于系統(tǒng)思維從影響評價的各要素、關(guān)系和結(jié)構(gòu)等方面考慮，本文設(shè)計了包含評價主體、評價過程、評價對象的智庫成果質(zhì)量的評價模型，如圖1所示。

評價主體應(yīng)納入政府主管部門的力量。中國特色新型智庫最根本的特征是黨管智庫，政府主管部門擔(dān)負(fù)組織生產(chǎn)和監(jiān)管質(zhì)量的責(zé)任[7]。智庫成果嚴(yán)把質(zhì)量關(guān)，旨在增強(qiáng)服務(wù)黨和政府決策的針對性和時效性。因此，政府主管部門作為主體責(zé)任人和利益相關(guān)人理應(yīng)納入評價主體一方。

在整個評價過程中，智庫成果質(zhì)量評價指標(biāo)體系的設(shè)計是核心和重點(diǎn)。目前的評價體系以單一的結(jié)果評價為主，評價目的也局限于證明或優(yōu)選，而忽略了評價的真正價值和意義，即評價是為了更好地促進(jìn)質(zhì)量提升，并為管理者提供決策信息服務(wù)。為彌補(bǔ)單一評價視角的不足，本文借鑒了CIPP評價模式理念。CIPP評價模式是由美國學(xué)者斯塔弗爾比姆（Stufflebeam）提出的，是一個指導(dǎo)人事、產(chǎn)品、機(jī)構(gòu)或系統(tǒng)評價的綜合框架，包含背景評價、輸入評價、過程評價和結(jié)果評價[8]，該模式核心理念是“評價最重要的目的不在于證明，而在于改進(jìn)”。智庫成果質(zhì)量高低受到研究人員、環(huán)境、資源、研究過程、受眾需求等諸多因素的影響和制約，將這些因素納入評價指標(biāo)，契合CIPP評價模式理念，評價結(jié)果直接體現(xiàn)質(zhì)量問題歸因，實(shí)現(xiàn)“以評促改、以評促建”的評價目的。同時，評價指標(biāo)體系不是孤立存在的，與評價標(biāo)準(zhǔn)、評價環(huán)境、評價規(guī)范、評價類型、評價流程和評價方法等各體系之間相互聯(lián)系、相互作用，共同構(gòu)成評價的有機(jī)整體。需要注意的是，不同評價主體面對不同評價對象，評價側(cè)重點(diǎn)也有所不同，質(zhì)量評價遵循分類評價原則，在評價價值標(biāo)準(zhǔn)、評價指標(biāo)設(shè)計上體現(xiàn)差異性。

3.1? 智庫成果質(zhì)量評價標(biāo)準(zhǔn)

智庫成果研究主要依托社會科學(xué)的知識體系和研究方法展開[9]，智庫成果質(zhì)量的評價沿用社會科學(xué)成果評價標(biāo)準(zhǔn)，分為真理性標(biāo)準(zhǔn)和價值性標(biāo)準(zhǔn)兩類。

真理性標(biāo)準(zhǔn)是人文社會科學(xué)研究成果評價的首要標(biāo)準(zhǔn)[10]。智庫成果質(zhì)量評價的真理性標(biāo)準(zhǔn)是科學(xué)性、創(chuàng)新性和邏輯性。其中，科學(xué)性是指研究內(nèi)容反映事物本質(zhì)和規(guī)律，研究結(jié)論是可以檢驗(yàn)和證偽的；創(chuàng)新性是指對現(xiàn)有理論知識、思想觀念、思維模式等進(jìn)行發(fā)展和突破，提出新的思想，解決新的問題；邏輯性是指智庫成果研究內(nèi)容符合邏輯的嚴(yán)密性，文本形式符合邏輯的結(jié)構(gòu)性。

價值性標(biāo)準(zhǔn)重在實(shí)際應(yīng)用，指的是功利性、實(shí)用性價值。智庫成果質(zhì)量評價的價值性標(biāo)準(zhǔn)包含政治價值標(biāo)準(zhǔn)、理論價值標(biāo)準(zhǔn)和社會價值標(biāo)準(zhǔn)。其中，政治價值標(biāo)準(zhǔn)是由智庫成果的本質(zhì)屬性所決定的，體現(xiàn)出政府決策這一政策活動包含民主政治與民主參與的核心價值；理論價值標(biāo)準(zhǔn)是智庫成果學(xué)術(shù)性的要求，進(jìn)行基礎(chǔ)研究的智庫成果要有理論的創(chuàng)新和突破；社會價值標(biāo)準(zhǔn)在于智庫及其成果的轉(zhuǎn)化能夠引領(lǐng)社會思潮、引導(dǎo)公共輿論，以及受智庫成果影響的公共政策的實(shí)施所帶來的社會效益。

智庫成果并非純學(xué)理研究，要實(shí)現(xiàn)智力賦能決策活動與民主參與價值標(biāo)準(zhǔn)的耦合統(tǒng)一，評價智庫成果質(zhì)量需兼顧和融合兩種評價標(biāo)準(zhǔn)。

3.2? 智庫成果質(zhì)量評價環(huán)境

科學(xué)評價作為社會系統(tǒng)的子系統(tǒng)，必然受到社會環(huán)境因素的影響和制約。影響智庫成果質(zhì)量評價的環(huán)境因素主要來自政治環(huán)境和文化環(huán)境。

首先是政治環(huán)境。政府信息公開程度、信息披露制度完善程度，以及政務(wù)工作透明化、完善化程度等政治環(huán)境直接影響智庫成果評價。其次是文化環(huán)境。文化環(huán)境不只是“人情”，但“重人情、講關(guān)系”的傳統(tǒng)會影響評價的公平和客觀，因此需要建立科學(xué)的評價體系，去規(guī)范和監(jiān)管。因此，一方面，在評價中樹立“公正、公開、公平”的規(guī)則意識，利用定量評價的客觀性和公開性彌補(bǔ)定性評價中人為因素的干擾；另一方面，要建立全面的智庫成果質(zhì)量評價規(guī)范體系，對評價主體和評價行為進(jìn)行有效約束和監(jiān)管。

3.3? 質(zhì)量評價規(guī)范和程序

質(zhì)量評價規(guī)范是對質(zhì)量評價主體和評價過程的監(jiān)督和管理，質(zhì)量評價會受到各種環(huán)境和人為因素的影響。在評價中，難免會有失公正和客觀，嚴(yán)謹(jǐn)、完善的質(zhì)量評價規(guī)范是進(jìn)行科學(xué)、客觀、公正評價的基礎(chǔ)和保障。質(zhì)量評價規(guī)范一方面，是來自外部相關(guān)政策法律、行業(yè)規(guī)范的約束以及社會監(jiān)督等；另一方面，是來自評價機(jī)構(gòu)內(nèi)部的質(zhì)量控制和管理，包括完善的智庫成果評價制度體系，以及從技術(shù)和行為兩個層面實(shí)施的智庫內(nèi)部質(zhì)量控制機(jī)制。

智庫成果評價程序包括準(zhǔn)備、實(shí)施、得出結(jié)論、結(jié)果應(yīng)用和信息反饋等一系列的環(huán)節(jié)。第一步，確定評價對象并進(jìn)行分類。對某一智庫全部成果進(jìn)行評價，通常是自身改進(jìn)型評價；對多家智庫代表成果進(jìn)行評價，則是評優(yōu)排名的評價。不同類型的智庫成果面向不同受眾、不同目的，不能采用統(tǒng)一標(biāo)準(zhǔn)進(jìn)行評價和衡量，需要依據(jù)每種類型的獨(dú)特性和針對性進(jìn)行分類評價。第二步，進(jìn)行成果查新，以確保評價對象的學(xué)術(shù)規(guī)范和原創(chuàng)性。第三步，最后的評價程序依次是評價指標(biāo)選取、方法確定、專家遴選、結(jié)果公示與監(jiān)督、評價意見反饋、評價申訴、評價時間、評價周期等事項(xiàng)。

3.4? 質(zhì)量評價方法

依照不同的評價主體，質(zhì)量評價有3種評價方式，包括：上級主管部門的審核、組織內(nèi)部的自我評定以及獨(dú)立的第三方機(jī)構(gòu)測評。每一種評價方式都有相應(yīng)的評價方法。智庫成果不同于物質(zhì)成果，又區(qū)別于一般的思想成果。鑒于智庫成果的特殊性以及評價的復(fù)雜性，評價方法的選用也較為復(fù)雜，需要借助多指標(biāo)綜合評價方法，即將反映智庫成果質(zhì)量的多個指標(biāo)信息聯(lián)合起來得到一個綜合指標(biāo)，據(jù)此反映智庫成果質(zhì)量整體情況[11]。構(gòu)建智庫成果質(zhì)量評價體系時，充分利用比較主成分分析法、層次分析法（the analytic hierarchy process，AHP）、主觀評定法、模糊綜合評價法等多指標(biāo)綜合評價方法，開展定性研究與定量研究相結(jié)合、主觀評價與客觀評價相結(jié)合的評價研究。

科學(xué)、高效的智庫成果質(zhì)量評價依賴智庫成果評價體系中的各環(huán)節(jié)要素，在各種先進(jìn)信息技術(shù)輔助下實(shí)現(xiàn)有機(jī)融合、共同作用。例如，培育和凈化影響質(zhì)量評價的環(huán)境體系，建立和完善約束智庫成果質(zhì)量評價主體和評價行為的規(guī)則體系；構(gòu)建科學(xué)合理的智庫成果質(zhì)量評價指標(biāo)體系等，以確保評價的順利運(yùn)轉(zhuǎn)和評價結(jié)果的公正、可信。

4? 智庫成果質(zhì)量PRICE評價指標(biāo)體系

評價指標(biāo)體系是智庫成果質(zhì)量評價的核心內(nèi)容和關(guān)鍵環(huán)節(jié)。智庫成果質(zhì)量評價存在評價對象的多樣性（包括研究報告、圖書、論文等）、評價層次的差異性、評價數(shù)據(jù)的難獲得性等特征。為更好地反映和實(shí)現(xiàn)評價目標(biāo)，應(yīng)在獨(dú)立性、分類評價、代表性以及動態(tài)性等評價原則指導(dǎo)下科學(xué)設(shè)計和選定評價指標(biāo)。智庫成果質(zhì)量評價指標(biāo)體系如表1所示。

4.1? 指標(biāo)體系的構(gòu)建流程

科學(xué)、合理的評價指標(biāo)體系是進(jìn)行智庫成果質(zhì)量評價的基礎(chǔ)和前提。首先，遵循相關(guān)指標(biāo)體系構(gòu)建原則，采用文獻(xiàn)調(diào)研法、智庫機(jī)構(gòu)咨詢和專家訪談等方式初步確定指標(biāo)框架，多種方法的運(yùn)用可以有效避免指標(biāo)中可能出現(xiàn)的偏頗；其次，通過問卷調(diào)查法、指標(biāo)因素法、層次分析群策法等，對初始的評價指標(biāo)進(jìn)行篩選，并確定權(quán)重；最后，確立指標(biāo)框架。智庫成果質(zhì)量的評價指標(biāo)體系具體構(gòu)建流程見圖2。

智庫成果質(zhì)量受到由多重具體要素構(gòu)成的復(fù)雜系統(tǒng)的影響。智庫成果質(zhì)量評價具有多維度性，評價目標(biāo)具有多層次性。為適應(yīng)多維度和多層次的評價要求，依據(jù)智庫成果質(zhì)量要素的復(fù)雜程度，采用由準(zhǔn)則層（一級指標(biāo)）、領(lǐng)域?qū)樱ǘ壷笜?biāo)）和單項(xiàng)考核指標(biāo)（具體觀測點(diǎn)）構(gòu)成的樹狀式指標(biāo)體系結(jié)構(gòu)。

4.2? 評價指標(biāo)的遴選與分析

智庫成果有不同的類型，從成果形式上，可分為咨詢研究報告類、專著圖書類、期刊類、簡報簡訊類、論文類、聽證會證詞類等智庫成果；從研究內(nèi)容上，主要分為對策建議類、應(yīng)用理論類、分析預(yù)測類、政策闡釋類等類型。不同的智庫成果具有不同的特點(diǎn)，有不同的質(zhì)量要求，因此，應(yīng)有相應(yīng)的指標(biāo)體系。基于同類比較、分類評價的思想，以及考慮到樣本的代表性和數(shù)據(jù)的可獲取性，針對公開出版發(fā)行的研究報告類智庫成果設(shè)計指標(biāo)體系。基于CIPP評價模式，結(jié)合影響智庫成果質(zhì)量的關(guān)鍵要素，確定5個一級評價指標(biāo)（準(zhǔn)則層）：環(huán)境支持（environment）、資源保障（resouce）、內(nèi)容質(zhì)量（content）、過程監(jiān)管（process）、影響效果（influence）。其中，環(huán)境支持對應(yīng)背景評價，是指在特定的環(huán)境下評定成果產(chǎn)出的背景、資源和機(jī)會；資源保障對應(yīng)輸入評價，對達(dá)到目標(biāo)所需的條件、資源等進(jìn)行評價，其實(shí)質(zhì)是對成果質(zhì)量的保障性和效用性進(jìn)行評價；影響效果對應(yīng)結(jié)果評價，是對成果目標(biāo)達(dá)到、智庫功能實(shí)現(xiàn)程度所做的評價；考慮智庫成果的知識性，增加內(nèi)容本身質(zhì)量指標(biāo)，實(shí)現(xiàn)智庫成果的全程評價、過程評價和反饋性評價。五個一級指標(biāo)的首字母可以組合成英文單詞“PRICE”（價值），契合了智庫成果質(zhì)量評價的內(nèi)涵價值。

對于二級指標(biāo)（領(lǐng)域?qū)樱┑拇_定，參考智庫成果特征、質(zhì)量基本要素等，對智庫成果的選題、問題分析、信息分析、策略與驗(yàn)證、風(fēng)險評估等步驟進(jìn)行分析，遵循評價指標(biāo)設(shè)定原則，選擇有代表性、可獲得性和簡便的指標(biāo)。同時，結(jié)合智庫成果類型的特點(diǎn)和要求確定指標(biāo)的范圍，利用頻度統(tǒng)計法對國內(nèi)外相關(guān)文獻(xiàn)進(jìn)行頻度統(tǒng)計，選擇使用頻度較高的指標(biāo)[12]。在初步選出評估指標(biāo)的基礎(chǔ)上，依據(jù)專家咨詢的反饋意見對指標(biāo)進(jìn)行修正調(diào)整。基于上述頻度統(tǒng)計法、理論分析法和專家咨詢法三種方法，設(shè)計具有科學(xué)性、代表性的二級指標(biāo)體系[13]。

4.2.1? 環(huán)境支持? ? 高質(zhì)量的智庫成果離不開優(yōu)質(zhì)智庫環(huán)境的支持，包括智庫內(nèi)部環(huán)境和社會整體環(huán)境。出于評價的簡便考慮，僅設(shè)置與成果質(zhì)量密切相關(guān)的內(nèi)部環(huán)境的二級指標(biāo)：成果質(zhì)量管理制度、文化氛圍以及智庫規(guī)模和層次。智庫成果研究者的知識層次、認(rèn)識深度、日常習(xí)慣等參差不齊，質(zhì)量意識也相差甚遠(yuǎn)[14]。人的意識決定行為，行為決定工作質(zhì)量，也直接決定了成果質(zhì)量。質(zhì)量管理制度以外在力量強(qiáng)制和約束智庫研究人員注重成果質(zhì)量，是形成良好質(zhì)量意識的硬性保障。質(zhì)量文化氛圍提供了一種軟性的、內(nèi)在的、情感性的約束。兩者有效結(jié)合有利于形成研究者優(yōu)品、精品質(zhì)量意識。智庫的規(guī)模和層次在一定程度上代表智庫的水平，也是智庫成果質(zhì)量的重要基礎(chǔ)，特別是對于一些知名的大型智庫，其成果質(zhì)量也往往更有保障。

4.2.2? 資源保障? ? 人力、物力、財力等資源是智庫研發(fā)成果的前提。研究人員水平、智庫的信息化以及研究經(jīng)費(fèi)保障直接影響智庫成果的質(zhì)量，因此，遴選這三項(xiàng)作為評價的二級指標(biāo)。研究人員的研究能力、政策預(yù)判和分析能力，研究團(tuán)隊(duì)學(xué)科、專業(yè)結(jié)構(gòu)等，是研究人員素質(zhì)和水平的重要觀測點(diǎn)。在網(wǎng)絡(luò)環(huán)境下，智庫的研發(fā)也從簡單原始的手工作坊式轉(zhuǎn)變?yōu)橹悄芑⒆詣踊途W(wǎng)絡(luò)化的團(tuán)隊(duì)研究模式，因此，智庫的信息化水平相當(dāng)重要。研究經(jīng)費(fèi)是保證智庫正常順利運(yùn)轉(zhuǎn)的必要條件，只有穩(wěn)定充足的資金，才能建設(shè)科學(xué)完備的信息平臺，才能流暢運(yùn)用和擴(kuò)大傳播渠道進(jìn)行廣泛而深入的產(chǎn)品推介，并且有助于吸引全球頂級人才的加盟和合作。這些是產(chǎn)生高質(zhì)量思想成果的重要因素。

4.2.3? 過程監(jiān)管? ? 過程監(jiān)管主要評價智庫成果研發(fā)過程中的相關(guān)因素。科學(xué)、嚴(yán)謹(jǐn)、規(guī)范的研究過程是高質(zhì)量成果的基礎(chǔ)。遴選研究選題與規(guī)劃、信息源與研究方法和成果傳播過程作為二級指標(biāo)。研究選題的觀測點(diǎn)集中在針對性和前瞻性，選擇黨委政府和社會民生亟待解決的重大課題，預(yù)測事關(guān)國家全局的重大問題及未來發(fā)展變化態(tài)勢[15]；信息來源的真實(shí)性和可靠性、研究方法的科學(xué)性與適用性是智庫成果研發(fā)的關(guān)鍵一步，故被納入研究過程評價中，以切實(shí)保障成果源頭質(zhì)量；傳播過程是智庫發(fā)揮效用、實(shí)現(xiàn)影響的重要環(huán)節(jié)，多元、暢通的傳播渠道，以及靈活、有效的傳播方式是傳播過程質(zhì)量的主要評測點(diǎn)。

4.2.4? 內(nèi)容質(zhì)量? ? 內(nèi)容質(zhì)量是智庫成果質(zhì)量的核心，主要從成果內(nèi)容、成果結(jié)論和成果結(jié)構(gòu)三個方面測評。其中，成果內(nèi)容是否具有思想性、價值性和創(chuàng)新性是內(nèi)容質(zhì)量的重要觀測點(diǎn)；智庫成果中有針對性的應(yīng)急預(yù)案和戰(zhàn)略部署關(guān)涉國計民生，結(jié)論應(yīng)精準(zhǔn)可行、經(jīng)得起實(shí)踐的驗(yàn)證；智庫成果結(jié)構(gòu)要以方便用戶使用為目的，論據(jù)充分，論證嚴(yán)密，語言通俗精煉。

4.2.5? 影響效果? ? 影響效果是檢驗(yàn)智庫成果質(zhì)量的重要標(biāo)準(zhǔn)，依據(jù)智庫的功能，遴選成果政策影響、成果學(xué)術(shù)影響和成果社會影響作為二級指標(biāo)。智庫成果主要為政府部門決策服務(wù)，相關(guān)政策影響主要是指智庫成果被采納或被領(lǐng)導(dǎo)審閱和批示，或引起決策層固有思想模式改變等；雖然智庫成果并不是單純的學(xué)術(shù)研究，但也應(yīng)體現(xiàn)其學(xué)術(shù)價值，為后續(xù)研究提供參考和借鑒；成果社會影響可以從被媒體廣泛報道，引起社會價值的積極變化等方面測評。

4.3? 評價指標(biāo)權(quán)重和評價等級集

在權(quán)重的設(shè)置上，邀請專家針對智庫成果評價側(cè)重點(diǎn)，利用層次分析法進(jìn)行權(quán)重分析。3位專家分別來自智庫機(jī)構(gòu)和高校，專業(yè)領(lǐng)域分別是智庫管理、科學(xué)評價、經(jīng)濟(jì)管理領(lǐng)域。在指標(biāo)體系中，共有3位專家參與遞階層次結(jié)構(gòu)中12個評價指標(biāo)權(quán)重系數(shù)的確定[16]。基于群決策思想，對3位專家的判斷結(jié)果進(jìn)行算術(shù)平均加權(quán)運(yùn)算得到最終的權(quán)值（見圖3）。

5? 研究報告類智庫成果質(zhì)量評價實(shí)證

5.1? 評價樣本簡介

從智庫的代表性、權(quán)威性以及成果數(shù)據(jù)的可獲得性考慮，研究選擇3個不同類型的智庫，分別是政府官方智庫代表“X”、社會科學(xué)研究院智庫代表“Y”以及高校智庫代表“Z”。基于同類比較的原則，從這3個智庫的研究成果中選取關(guān)于區(qū)域發(fā)展的智庫成果作為評價樣本，載體形式為研究報告，出版的年份為2020年，分別以《X報告》《Y報告》《Z報告》指代。

5.2? 評價具體過程與方法

依據(jù)評價指標(biāo)設(shè)計智庫成果質(zhì)量評價表（模糊綜合評價法問卷調(diào)查表），依據(jù)指標(biāo)程度的層級確定相應(yīng)的等級。質(zhì)量管理相關(guān)規(guī)章制度依據(jù)其完備程度劃分為非常完備、比較完備、有相關(guān)制度和沒有相關(guān)制度四個層級，分別對應(yīng)的評價等級為優(yōu)秀、良好、中等、較差；研究選題指標(biāo)中選題與國家內(nèi)政外交戰(zhàn)略全局密切相關(guān)的重大問題等級為優(yōu)秀，重要問題則為良好，一般問題則為中等，選題滯后或無關(guān)選題則為較差。本研究特邀請了經(jīng)濟(jì)管理領(lǐng)域與智庫研究領(lǐng)域的5位專家進(jìn)行評價。

評價調(diào)查結(jié)果的處理采用了層次分析法和模糊綜合評價法相結(jié)合的方法。為滿足對后期評價結(jié)果進(jìn)行單值化處理的要求，需要為各個評價選擇等級的隸屬度賦予相應(yīng)分?jǐn)?shù)，設(shè)計的分值向量集C=（5，4，3，2），分別對應(yīng)即優(yōu)秀、良好、中等、較差4個等級；將專家評價的結(jié)果導(dǎo)入評測表，并計算得到其綜合評價結(jié)果。考慮到在實(shí)際的評價中，智庫成果各個指標(biāo)均得到5分，才能獲得優(yōu)秀等級，這顯然是不合理的，而且綜合得分通常不是整數(shù)，因此，本研究以分?jǐn)?shù)區(qū)間來對應(yīng)相應(yīng)的等級（見表2）。

評價采用定性與定量相結(jié)合的方法。對于定性指標(biāo)（如選題的重要程度、內(nèi)容的創(chuàng)新性與成果結(jié)構(gòu)完整性等），由評價專家依據(jù)自身專業(yè)學(xué)識和經(jīng)驗(yàn)進(jìn)行主觀評判；對于定量指標(biāo)（如成果被引用、被報道的次數(shù)等），則利用搜索引擎挖掘和分析相關(guān)數(shù)據(jù)并并進(jìn)行客觀評價。評價信息數(shù)據(jù)獲取來源主要有智庫官方網(wǎng)站、主流媒體、搜索引擎、學(xué)術(shù)數(shù)據(jù)庫、網(wǎng)上書店等。

5.3? 評價結(jié)果分析

通過上述定性（專家主觀評判法）與定量（數(shù)據(jù)挖掘、數(shù)理統(tǒng)計方法）相結(jié)合的綜合評價方法，得出的結(jié)果如表2所示。智庫成果質(zhì)量的評價綜合得分是由各個指標(biāo)得分根據(jù)數(shù)與量的衡量匯總的結(jié)果；智庫成果指標(biāo)的得分以專家根據(jù)各觀察點(diǎn)的判斷得出，總指標(biāo)得分是根據(jù)各項(xiàng)指標(biāo)的權(quán)重，加權(quán)匯總后得出的分值。研究結(jié)果表明，3項(xiàng)成果得分都不太高（表3），其中，《X報告》和《Y報告》的質(zhì)量等級為良好，而《Z報告》則得分較低。本文所選擇的3家智庫是3種不同類型中較高水平的智庫，在一定程度上代表了中國較高水平智庫的成果質(zhì)量，理應(yīng)產(chǎn)出更高質(zhì)量的成果，為各級政府決策提供高水平的智力支持。但是，從3家智庫成果質(zhì)量得分可以看出，智庫成果質(zhì)量與智庫的地位和責(zé)任擔(dān)當(dāng)尚不能完全匹配，與黨和政府的期許仍有一定的差距，這也反映出中國智庫成果整體質(zhì)量水平有待進(jìn)一步提升。

詳細(xì)對比分析每項(xiàng)智庫成果的具體指標(biāo)得分情況（表3），可以看出，3家智庫成果存在的問題主要有三方面。一是環(huán)境支持指標(biāo)分值低。智庫缺乏專門質(zhì)量管理和質(zhì)量控制的各項(xiàng)規(guī)章制度，尚未形成重視質(zhì)量的文化價值理念和氛圍，一定程度上反映出智庫質(zhì)量意識普遍相對較為薄弱。二是過程監(jiān)管指標(biāo)中的成果傳播過程普遍得分較低。3家智庫只在智庫官網(wǎng)和購書網(wǎng)站上查詢到相關(guān)信息，鮮少能從其他新聞媒體、社交媒體、新書推介會、智庫峰會、論壇等渠道獲取成果的介紹或推廣信息。智庫對成果的傳播和推介工作重視程度不足，宣傳推廣成果力度還遠(yuǎn)遠(yuǎn)不夠。三是內(nèi)容質(zhì)量上還有很大的提升空間。智庫成果多是短期的、被動的和應(yīng)對的，缺乏戰(zhàn)略性、前沿性、原創(chuàng)性研究成果，在對接政府需求、提出切實(shí)可行的政策建議方面仍有待進(jìn)一步改進(jìn)和提升[17]。四是智庫成果的影響力不高。智庫成果影響力的大小取決于智庫本身以及智庫成果從生產(chǎn)到傳播再到利用各環(huán)節(jié)的質(zhì)量水平，并受到學(xué)術(shù)環(huán)境、政治環(huán)境和社會環(huán)境的影響和制約。因此，提升智庫成果的影響力，依賴智庫、黨政機(jī)構(gòu)、學(xué)術(shù)界、媒體、社會之間的協(xié)調(diào)合作、共同作用。

6? 結(jié)論

智庫成果不同于經(jīng)濟(jì)性成果，也有別于一般思想性成果。智庫成果的特殊屬性與智庫成果質(zhì)量影響因素的多樣性決定了智庫成果質(zhì)量評價的多維性和復(fù)雜性。本研究初步構(gòu)建了智庫成果質(zhì)量評價體系。并進(jìn)行了可操作性的模擬評價。但仍然存在以下問題，需要在后續(xù)的研究中不斷完善和拓展。

一方面，本研究中指標(biāo)權(quán)重的確立是通過AHP群策法進(jìn)行的，層次分析法是一種主觀賦值法，更多的是專家定性認(rèn)識，缺乏定量數(shù)據(jù)的支撐，因此，指標(biāo)權(quán)重的賦值還缺乏科學(xué)、權(quán)威的實(shí)驗(yàn)性驗(yàn)證。后續(xù)的研究中，可以利用主客觀綜合集成賦值法使指標(biāo)權(quán)重的設(shè)置更加科學(xué)、合理。另一方面，因?yàn)闀r間和資源的限制，本文選取3種不同類型的智庫成果進(jìn)行可操作性的模擬評價，單類型、少樣本的評價結(jié)果只是管中窺豹，未能呈現(xiàn)中國智庫成果整體質(zhì)量水平。后續(xù)的研究中，會進(jìn)行多種類型、大量樣本的智庫成果質(zhì)量評價分析，使所得的評價結(jié)果更加真實(shí)、可信、客觀、全面。

參考文獻(xiàn)：

[1] 張志強(qiáng). 世界百年未有之大變局與智庫使命和智庫建設(shè)[J]. 智庫理論與實(shí)踐， 2020， 5（4）： 1-12.

ZHANG Z Q. The great changes not seen in a century in the world and the mission and construction of think tanks[J]. Think Tank Theory & Practice， 2020， 5（4）： 1-12.

[2] 余暉. 建立高校智庫多元評價機(jī)制[N]. 中國社會科學(xué)報， 2021-03-04（002）.

YU H. Establishing a multi evaluation mechanism for university think tanks[N]. China Social Science Journal， 2021-03-04（002）.

[3] ABELSON D E. Think tanks and their role in U.S foreign policy[M]. New York： MacMillan Press LTD， 1996： 25-56.

[4] 孔放， 李剛. 國外智庫評價的主要模式[N]. 新華日報， 2015-07-10（010）.

KONG F， LI G. The main evaluation model of foreign think tanks[N]. Xinhua Daily， 2015-07-10（010）.

[5] 國家市場監(jiān)督管理總局， 國家標(biāo)準(zhǔn)化管理委員會. 人文社會科學(xué)智庫評價指標(biāo)體系： GB/T 40106-2021[S]. 北京： 中華人民共和國國家標(biāo)準(zhǔn)， 2021.

State Administration for Market Regulation， National Standardization Administration. Evaluation index system of human and social science think tanks： GB/T 40106-2021[S]. Beijing： National Standard of the Peoples Republic of China， 2021.

[6] 宋鷺， 胡唯哲. 不斷完善特色新型智庫的發(fā)展機(jī)制[N]. 中國社會科學(xué)報， 2017-04-06（012）.

SONG L， HU W Z. Continuously improve the development mechanism of characteristic new think tanks[N]. China Social Science Journal， 2017-04-06（012）.

[7] 周湘智. 主管部門介入生產(chǎn)： 智庫成果質(zhì)量控制的有效模式[J]. 智庫理論與實(shí)踐， 2021， 6（5）： 8-13.

ZHOU X Z. Competent department involvement in production： An effective model for the quality control of think tanks achievements[J]. Think Tanks： Theory & Practice， 2021， 6（5）： 8-13.

[8] HAKAN K， SEVAL F. CIPP evaluation model scale： Development， reliability and validity[J]. Procedia-Social and Behavioral Sciences， 2011， 15： 592-599.

[9] 朱光磊. 讓社會科學(xué)更好支撐智庫建設(shè)[N]. 人民日報， 2015-10-27（007）.

ZHU G L. Let social sciences better support think tank construction[N]. Peoples Daily， 2015-10-27（007）.

[10] 中國社會科學(xué)院外事局. 美國人文社會科學(xué)現(xiàn)狀與發(fā)展[M]. 北京： 中國社會科學(xué)出版社， 2001： 371-375.

Bureau of Foreign Affairs， Chinese Academy of Social Sciences. The status and development of American humanities and social sciences[M]. Beijing： China Social Sciences Press， 2001： 371-375.

[11] 韓瑞珍， 楊思洛. 區(qū)域高校社會服務(wù)績效評價指標(biāo)體系構(gòu)建研究： 以湖南省為例[J]. 重慶大學(xué)學(xué)報（社會科學(xué)版）， 2013， 19（6）： 83-88.

HAN R Z， YANG S L. The college social service performance evaluation index system in Hunan province[J]. Journal of Chongqing University （Social Science Edition）， 2013， 19（6）： 83-88.

[12] 王文濤， 劉燕華. 智庫運(yùn)行和智庫成果的評價要點(diǎn)[J]. 智庫理論與實(shí)踐， 2016， 1（2）： 14-19.

WANG W T， LIU Y H. Assessment guidelines for think tanks and products of think tanks[J]. Think Tank： Theory & Practice， 2016， 1（2）： 14-19.

[13] 劉亮. 關(guān)于智庫成果評價的一些嘗試[N]. 中國社會科學(xué)報， 2015-12-01（005）.

LIU L. Some attempts on the evaluation of think tanks achievements[N]. China Social Science Journal， 2015-12-01（005）.

[14] 李碧. 如何提高員工的質(zhì)量意識[J]. 中國質(zhì)量技術(shù)監(jiān)督， 2014（3）： 72-73.

LI B. How to improve the quality awareness of employees[J] China Quality and Technical Supervision， 2014（3）： 72-73.

[15] 牟岱. 新型智庫研究成果評價標(biāo)準(zhǔn)基本特征[EB/OL]. （2017-01-16）[2017-08-26]. http：//www.china.com.cn/opinion/think/2017-01/16/content_40110343.htm.

MOU D. Basic characteristics of evaluation criteria for research achievements in new think tanks[EB/OL]. （2017-01-16）[2017-08-26]. http：//www.china.com.cn/opinion/think/2017-01/16/content_40110343.htm.

[16] 胡啟國， 王昌賢， 張甫仁. 基于群策AHP高等學(xué)校教學(xué)質(zhì)量綜合評判[J]. 河北工程大學(xué)學(xué)報（社會科學(xué)版）， 2008， 25（2）： 76-78.

HU Q G， WANG C X， ZHANG F R. Comprehensive evaluation for teaching quality based on group-decision AHP in higher education[J]. Journal of Hebei Engineering University （Social Science Edition）， 2008， 25（2）： 76-78.

[17] 魏建國. 中國智庫要出高質(zhì)量思想成果[EB/OL]. （2014-09-25） [2023-05-21]. http：//www.sass.cn/109011001/23215.aspx.

WEI J G. Chinese think tanks should produce high-quality ideological achievements[EB/OL]. （2014-09-25） [2023-05-21]. http：//www.sass.cn/109011001/23215.aspx.

作者貢獻(xiàn)說明：

韓瑞珍：提出論文整體思路、撰寫論文；

楊思洛：負(fù)責(zé)論文修改和方法指導(dǎo)。

Research on Quality Evaluation of Achievements of Chinese Think Tanks Based on CIPP

Han Ruizhen1? Yang Siluo2

1 School of Journalism and Communication， Wuhan Sports University， Wuhan 430079

2 School of Information Management， Wuhan University， Wuhan 430079

Abstract： [Purpose/significance] The quality of think tanks achievements is related to the survival and development of think tanks， and whether think tanks can bear the tasks entrusted by the times. The evaluation of the quality of think tanks achievements has spawned the self-identity and industry consciousness of think tanks， and stimulated think tanks to continuously improve the quality of achievements and lead the healthy development of think tanks. [Method/process] This paper draws lessons from CIPP rating model， and constructs the comprehensive evaluation system of think tank product quality by using the methods of AHP. Through the questionnaire survey method， the results of three think tanks are selected as samples for confirmatory evaluation. [Result/conclusion] The results show that the scores of environmental support， results dissemination， quality and results impact indicators are relatively low， indicating that Chinese think tanks lack the concept and system of quality management and quality control， think tanks do not pay enough attention to the dissemination and promotion of results， and the quality and influence of the results need to be further improved.

Keywords： think tank products? ? quality? ?evaluation index? ? CIPP model

收稿日期：2022-09-06? ? ? 修回日期：2022-09-22

*本文系國家社會科學(xué)基金一般項(xiàng)目“生命周期視角下論文學(xué)術(shù)影響的形成機(jī)理及測度模型研究”（項(xiàng)目編號：18BTQ079）、武漢體育學(xué)院“東湖學(xué)者計劃”支持研究成果之一。

作者簡介：韓瑞珍，武漢體育學(xué)院新聞傳播學(xué)院副教授，博士，E-mail：26383137@qq.com；楊思洛，武漢大學(xué)信息管理學(xué)院教授，博士生導(dǎo)師，博士，E-mail：58605025@qq.com。