科普?qǐng)D書(shū)類(lèi)項(xiàng)目評(píng)價(jià)指標(biāo)體系及應(yīng)用研究

王 新，王海蕓，陶曉麗

北京決策咨詢(xún)中心，北京 100089

科普?qǐng)D書(shū)類(lèi)項(xiàng)目評(píng)價(jià)指標(biāo)體系及應(yīng)用研究

王 新，王海蕓，陶曉麗

北京決策咨詢(xún)中心，北京 100089

本文立足于科普?qǐng)D書(shū)類(lèi)項(xiàng)目實(shí)施情況評(píng)估工作，提出科普?qǐng)D書(shū)類(lèi)項(xiàng)目評(píng)價(jià)指標(biāo)的構(gòu)建原則、方法，評(píng)價(jià)標(biāo)準(zhǔn)設(shè)定的原則與方法，以及評(píng)價(jià)指標(biāo)設(shè)置的權(quán)重問(wèn)題等。通過(guò)對(duì)北京地區(qū)某社會(huì)征集科普?qǐng)D書(shū)類(lèi)資助項(xiàng)目的實(shí)施情況進(jìn)行總結(jié)性評(píng)估研究，發(fā)現(xiàn)科普?qǐng)D書(shū)類(lèi)資助項(xiàng)目實(shí)施情況整體較好，但也存在部分資助項(xiàng)目實(shí)施較差現(xiàn)象，特別是資助方向上存在重引進(jìn)翻譯、重市場(chǎng)等情況，針對(duì)這些評(píng)估結(jié)果和發(fā)現(xiàn)，就如何進(jìn)一步提升科普?qǐng)D書(shū)類(lèi)資助項(xiàng)目的實(shí)施效果提出對(duì)策建議。

科普?qǐng)D書(shū)；項(xiàng)目評(píng)價(jià)；指標(biāo)體系

對(duì)科普工作進(jìn)行公正客觀(guān)的評(píng)價(jià)是科普工作的重要環(huán)節(jié)，是增強(qiáng)科普工作效果的重要方法，是進(jìn)一步開(kāi)展科普工作的重要依據(jù)。科普項(xiàng)目監(jiān)測(cè)與評(píng)估具有重要的評(píng)價(jià)功能、激勵(lì)功能、導(dǎo)向作用和指導(dǎo)作用[1]，通過(guò)評(píng)估總結(jié)，不僅可以讓組織者、實(shí)施者能夠客觀(guān)的看到存在的不足和問(wèn)題，引導(dǎo)并指導(dǎo)他們?cè)趯?lái)組織開(kāi)展科普實(shí)踐活動(dòng)中改進(jìn)工作，提高科普活動(dòng)項(xiàng)目的組織效率和科普效果，同時(shí)也是科學(xué)評(píng)價(jià)財(cái)政支出績(jī)效，提高財(cái)政資金使用效益的有效途徑[2]。

目前，我國(guó)多個(gè)省市開(kāi)展了科普?qǐng)D書(shū)社會(huì)征集類(lèi)專(zhuān)項(xiàng)資助工作，但由于缺乏一套較好的評(píng)價(jià)指標(biāo)體系，組織者、實(shí)施者以及社會(huì)公眾對(duì)于科普?qǐng)D書(shū)社會(huì)征集專(zhuān)項(xiàng)的具體實(shí)施情況并不清楚。本文立足于科普?qǐng)D書(shū)類(lèi)項(xiàng)目實(shí)施情況評(píng)估工作，建立一套針對(duì)科普?qǐng)D書(shū)類(lèi)項(xiàng)目的評(píng)價(jià)指標(biāo)體系，通過(guò)對(duì)北京地區(qū)某社會(huì)征集科普?qǐng)D書(shū)類(lèi)資助項(xiàng)目實(shí)施情況進(jìn)行評(píng)估研究，提出科普?qǐng)D書(shū)類(lèi)資助項(xiàng)目存在的問(wèn)題和對(duì)策建議，為進(jìn)一步提升社會(huì)征集科普資助專(zhuān)項(xiàng)的科普效果提供參考借鑒。

1 科普?qǐng)D書(shū)類(lèi)項(xiàng)目評(píng)價(jià)指標(biāo)構(gòu)建的原則和方法

科學(xué)設(shè)計(jì)科普項(xiàng)目評(píng)估的指標(biāo)體系是科普活動(dòng)評(píng)估工作極為關(guān)鍵的一環(huán)，也是一項(xiàng)科學(xué)性極強(qiáng)的研究性工作。科普?qǐng)D書(shū)類(lèi)項(xiàng)目作為科普活動(dòng)項(xiàng)目的一種，評(píng)估指標(biāo)的選擇同樣需要遵循可測(cè)性、完備性、可行性和導(dǎo)向性等一些基本原則和標(biāo)準(zhǔn)[3]。但是，由于科普實(shí)踐活動(dòng)項(xiàng)目的功效具有發(fā)散性，評(píng)估角度的多樣性，科普目標(biāo)人群不固定，以及受益對(duì)象獲益來(lái)源的多方位等因素[4]，指標(biāo)選取還要采取定量分析與定性分析相結(jié)合的原則，定性分析中尤其重視專(zhuān)家的作用，需要多方面的專(zhuān)家進(jìn)行合作評(píng)估才能使結(jié)果更趨合理。

具體方法是先通過(guò)文獻(xiàn)檢索，收集相關(guān)數(shù)據(jù)，并根據(jù)數(shù)據(jù)可獲得的情況和獲得數(shù)據(jù)以后的指標(biāo)相關(guān)性分析，刪除那些數(shù)據(jù)不易獲得和存在強(qiáng)相關(guān)的指標(biāo)，設(shè)立初步的評(píng)估指標(biāo)體系。然后，通過(guò)專(zhuān)家座談、研討、函詢(xún)、實(shí)地調(diào)查等方式修改、優(yōu)化和調(diào)整一些具體的指標(biāo)，最終確定選用哪些評(píng)估指標(biāo)。

2 科普?qǐng)D書(shū)類(lèi)項(xiàng)目評(píng)價(jià)指標(biāo)的具體分類(lèi)

依據(jù)上述指標(biāo)體系設(shè)立的原則和方法，以及科普?qǐng)D書(shū)社會(huì)征集類(lèi)項(xiàng)目的現(xiàn)狀和特點(diǎn)，同時(shí)參考了已有的相關(guān)研究文獻(xiàn)，我們?cè)O(shè)計(jì)出了“科普?qǐng)D書(shū)類(lèi)項(xiàng)目評(píng)價(jià)指標(biāo)體系”（見(jiàn)表1）。本指標(biāo)體系一共包含一級(jí)指標(biāo)4個(gè)，分別按照項(xiàng)目基礎(chǔ)、項(xiàng)目管理、項(xiàng)目產(chǎn)出、項(xiàng)目績(jī)效四個(gè)方面進(jìn)行設(shè)計(jì)。

一是項(xiàng)目基礎(chǔ)指標(biāo)。項(xiàng)目基礎(chǔ)指標(biāo)反映的是項(xiàng)目承擔(dān)人員和承擔(dān)單位保障項(xiàng)目研究順利開(kāi)展的基礎(chǔ)條件。二級(jí)指標(biāo)重點(diǎn)針對(duì)項(xiàng)目承擔(dān)人員和承擔(dān)單位進(jìn)行考察，主要包括承擔(dān)人員、承擔(dān)單位是否具有一定的科普創(chuàng)作或編譯的能力和經(jīng)驗(yàn)，以及單位提供相關(guān)配套資金的能力。

二是項(xiàng)目管理指標(biāo)。項(xiàng)目管理指標(biāo)反映的是項(xiàng)目開(kāi)展的必要性和開(kāi)展過(guò)程中管理的有效性[5]。二級(jí)指標(biāo)主要針對(duì)項(xiàng)目組織研究過(guò)程中管理是否規(guī)范、目標(biāo)完成程度是否符合預(yù)期進(jìn)行考察。具體內(nèi)容包括項(xiàng)目是否按照計(jì)劃實(shí)施，無(wú)變更備案申請(qǐng)；管理過(guò)程科學(xué)規(guī)范，經(jīng)費(fèi)使用無(wú)問(wèn)題；按時(shí)進(jìn)行中期評(píng)估和結(jié)題驗(yàn)收；項(xiàng)目完成進(jìn)度和質(zhì)量達(dá)到預(yù)期考核要求。

三是項(xiàng)目產(chǎn)出指標(biāo)。項(xiàng)目產(chǎn)出指標(biāo)反映的是項(xiàng)目本身開(kāi)展研究的直接價(jià)值體現(xiàn)，由于此類(lèi)項(xiàng)目產(chǎn)出形式是科普?qǐng)D書(shū)，鑒于本次評(píng)估側(cè)重效果評(píng)估，項(xiàng)目產(chǎn)出的指標(biāo)以產(chǎn)出質(zhì)量為主要評(píng)價(jià)內(nèi)容。借鑒科技部“2014年全國(guó)優(yōu)秀科普作品”推選標(biāo)準(zhǔn)，二級(jí)指標(biāo)主要按照科普作品的科學(xué)性、創(chuàng)新性、可讀性三個(gè)方面進(jìn)行考察，具體內(nèi)容包括作品具備普及科學(xué)技術(shù)知識(shí)、倡導(dǎo)科學(xué)方法、傳播科學(xué)思想、弘揚(yáng)科學(xué)精神的內(nèi)涵[6]；作品的圖文內(nèi)容有一定的突破和創(chuàng)新，作品的觀(guān)點(diǎn)或者傳達(dá)科學(xué)內(nèi)容的方式有一定的創(chuàng)新；作品形式活潑、內(nèi)容豐富，為公眾喜聞樂(lè)見(jiàn)，作品內(nèi)容對(duì)生產(chǎn)和生活具有一定的實(shí)用性；兼顧不同讀者群，具有廣泛的代表性，科普作品比較暢銷(xiāo)，再版數(shù)量及銷(xiāo)售量較高。

表1 科普?qǐng)D書(shū)類(lèi)項(xiàng)目評(píng)價(jià)指標(biāo)體系

表2 科普?qǐng)D書(shū)類(lèi)項(xiàng)目實(shí)施情況評(píng)估測(cè)評(píng)表

四是項(xiàng)目效益指標(biāo)。項(xiàng)目效益指標(biāo)反映的是項(xiàng)目開(kāi)展的實(shí)踐活動(dòng)及成果產(chǎn)生的經(jīng)濟(jì)、社會(huì)影響。二級(jí)指標(biāo)重點(diǎn)考察經(jīng)濟(jì)效益、社會(huì)效益和示范作用，具體內(nèi)容包括提高了承擔(dān)單位（特別是企業(yè)）的知名度，形成了科普品牌；帶動(dòng)了社會(huì)資本投入，產(chǎn)生了一定的經(jīng)濟(jì)盈利；吸引更多人參與科普，培養(yǎng)了一定數(shù)量的人才；作品填補(bǔ)了科普研究領(lǐng)域空白或推動(dòng)科普理論發(fā)展；對(duì)其他科普?qǐng)D書(shū)類(lèi)項(xiàng)目具有示范作用；項(xiàng)目獲得了較高的社會(huì)滿(mǎn)意度。

3 評(píng)價(jià)指標(biāo)權(quán)重的設(shè)置

權(quán)重是衡量指標(biāo)重要性程度的主要標(biāo)志，權(quán)重系數(shù)甚至?xí)苯佑绊懢C合評(píng)價(jià)的結(jié)果。合理設(shè)置指標(biāo)權(quán)重，綜合評(píng)價(jià)結(jié)果會(huì)更加科學(xué)[7]。本次評(píng)估指標(biāo)的權(quán)重按照德?tīng)柗品ǎ▽?zhuān)家意見(jiàn)法）進(jìn)行設(shè)置，根據(jù)指標(biāo)對(duì)評(píng)價(jià)結(jié)果的影響程度以及科普?qǐng)D書(shū)資助專(zhuān)項(xiàng)的功能定位，由相關(guān)研究領(lǐng)域?qū)＜腋鶕?jù)自身研究經(jīng)驗(yàn)給予每個(gè)指標(biāo)進(jìn)行賦值權(quán)重。為了盡量減少專(zhuān)家偏好帶來(lái)的主觀(guān)性誤差，采用算數(shù)平均法將所有專(zhuān)家意見(jiàn)進(jìn)行算數(shù)平均，得出指標(biāo)的最終的權(quán)重系數(shù)。

由于本次科普?qǐng)D書(shū)類(lèi)項(xiàng)目評(píng)估屬于事后總結(jié)性評(píng)價(jià)[8]，評(píng)估內(nèi)容將側(cè)重科普效果評(píng)估。綜合專(zhuān)家意見(jiàn)，經(jīng)過(guò)討論將一級(jí)指標(biāo)項(xiàng)目產(chǎn)出和項(xiàng)目效益的權(quán)重給予較高賦值，各自占40%，而項(xiàng)目基礎(chǔ)和項(xiàng)目管理各占10%。一級(jí)指標(biāo)確定后，二級(jí)指標(biāo)也按專(zhuān)家意見(jiàn)逐個(gè)進(jìn)行賦值。權(quán)重具體設(shè)置情況詳見(jiàn)表2。

4 科普?qǐng)D書(shū)類(lèi)項(xiàng)目評(píng)價(jià)指標(biāo)的應(yīng)用

利用上述評(píng)價(jià)指標(biāo)和測(cè)評(píng)方法，針對(duì)北京地區(qū)某社會(huì)征集科普?qǐng)D書(shū)類(lèi)項(xiàng)目進(jìn)行測(cè)評(píng)應(yīng)用。經(jīng)本文作者初步整理和篩選，共有23個(gè)項(xiàng)目可以進(jìn)行有效測(cè)評(píng)。參與評(píng)估的23個(gè)項(xiàng)目的承擔(dān)單位大多來(lái)自企業(yè)，平均資助額度14.2萬(wàn)元，詳見(jiàn)表3。

表3 北京地區(qū)某社會(huì)征集科普?qǐng)D書(shū)類(lèi)項(xiàng)目基本信息統(tǒng)計(jì)表

評(píng)估過(guò)程中，首先由本文作者將所有項(xiàng)目預(yù)評(píng)估之后，分類(lèi)別、分等級(jí)交由專(zhuān)家團(tuán)隊(duì)對(duì)科普項(xiàng)目進(jìn)行集中比較和評(píng)價(jià)，按照評(píng)估指標(biāo)設(shè)置的分值進(jìn)行打分，再根據(jù)權(quán)重進(jìn)行綜合相加，得出每個(gè)項(xiàng)目的最終分值。

績(jī)效評(píng)估結(jié)果實(shí)施百分制和四級(jí)分類(lèi)標(biāo)準(zhǔn)，滿(mǎn)分100分，通過(guò)專(zhuān)家打分法，在A、B、C、D四等級(jí)判定。其中分?jǐn)?shù)在90-100分之間，則該項(xiàng)目評(píng)估結(jié)果為優(yōu)秀；若分?jǐn)?shù)在75-89分之間，則為良好；若分?jǐn)?shù)在60-74分，則為一般；若分?jǐn)?shù)在59分以下，則該項(xiàng)目被認(rèn)定為較差。

根據(jù)專(zhuān)家的打分，評(píng)估結(jié)果與發(fā)現(xiàn)如下：

1）項(xiàng)目實(shí)施情況整體較好，但也存在部分項(xiàng)目不合格現(xiàn)象。社會(huì)征集科普?qǐng)D書(shū)類(lèi)項(xiàng)目實(shí)施情況整體較好，項(xiàng)目績(jī)效評(píng)估結(jié)果為良好及以上的占比83%，其中優(yōu)秀率占61%。但仍然存在部分項(xiàng)目實(shí)施情況較差的現(xiàn)象，項(xiàng)目績(jī)效評(píng)估結(jié)果不達(dá)標(biāo)的占比達(dá)13%（見(jiàn)表4）。

表4 評(píng)估結(jié)果按不同等級(jí)統(tǒng)計(jì)

2）翻譯引進(jìn)國(guó)外科普作品的項(xiàng)目普遍較優(yōu)。翻譯引進(jìn)國(guó)外的項(xiàng)目為7個(gè)，評(píng)估結(jié)果全部為A；國(guó)內(nèi)創(chuàng)作的項(xiàng)目數(shù)為16個(gè)，評(píng)估結(jié)果為A的僅占44%，國(guó)內(nèi)創(chuàng)作的科普作品質(zhì)量有待進(jìn)一步提升（見(jiàn)表5）

3）承擔(dān)單位多為出版?zhèn)髅綑C(jī)構(gòu)。從項(xiàng)目承擔(dān)單位來(lái)看，被評(píng)的23個(gè)項(xiàng)目中，承擔(dān)單位來(lái)自出版?zhèn)髅降挠?6個(gè)，占比達(dá)70%。而相關(guān)領(lǐng)域內(nèi)的專(zhuān)業(yè)院所或者科研機(jī)構(gòu)較少（見(jiàn)表6）。

表6 項(xiàng)目承擔(dān)單位評(píng)估結(jié)果對(duì)比

4）圖書(shū)受眾群體較為寬泛。圖書(shū)受眾群體年齡段較為寬泛，包括中老年、青少年和幼兒三大群體，其中青少年群體較多，占了74%，嬰幼兒受眾群體占比22%（見(jiàn)表7）。

表7 圖書(shū)受眾群體評(píng)估結(jié)果對(duì)比

5 科普?qǐng)D書(shū)類(lèi)項(xiàng)目評(píng)估建議

針對(duì)評(píng)估發(fā)現(xiàn)的主要問(wèn)題，就如何更好開(kāi)展科普?qǐng)D書(shū)社會(huì)征集類(lèi)項(xiàng)目的實(shí)施，提高科普專(zhuān)項(xiàng)資助效果，提出如下建議。

1）建立專(zhuān)家審查委員會(huì)，嚴(yán)格把控項(xiàng)目出版關(guān)口。

表5 翻譯引進(jìn)與國(guó)內(nèi)創(chuàng)作評(píng)估結(jié)果對(duì)比

目前，出版行業(yè)市場(chǎng)化、企業(yè)化帶來(lái)的低標(biāo)準(zhǔn)，讓行業(yè)規(guī)定的執(zhí)行力度也越來(lái)越小。建議科普征集專(zhuān)項(xiàng)主管部門(mén)建立專(zhuān)家審查委員會(huì)，嚴(yán)格把控項(xiàng)目驗(yàn)收關(guān)口，加大社會(huì)征集科普?qǐng)D書(shū)項(xiàng)目出版審查力度。對(duì)項(xiàng)目成果的內(nèi)容和形式進(jìn)行全面審查，杜絕劣質(zhì)科普?qǐng)D書(shū)流向市場(chǎng)，誤導(dǎo)讀者。

2）重點(diǎn)向具有科普創(chuàng)作潛力的單位或人員傾斜。從項(xiàng)目承擔(dān)單位來(lái)看，出版?zhèn)髅綑C(jī)構(gòu)占了較大比例，科普基地和專(zhuān)業(yè)機(jī)構(gòu)占比較少。建議在資助方向上，應(yīng)向具有科普創(chuàng)作發(fā)展?jié)摿Φ膶?zhuān)業(yè)機(jī)構(gòu)或?qū)I(yè)科普人士?jī)A斜。加大吸引力度，撬動(dòng)一批專(zhuān)業(yè)研究機(jī)構(gòu)開(kāi)展科普創(chuàng)作，扶植一批具有科普原創(chuàng)能力的專(zhuān)業(yè)人才。

3）適當(dāng)降低引進(jìn)翻譯作品的資助數(shù)量。適當(dāng)減少對(duì)翻譯引進(jìn)作品類(lèi)項(xiàng)目的資助數(shù)量，針對(duì)不同類(lèi)別的國(guó)外科普作品進(jìn)行區(qū)別資助。對(duì)于市場(chǎng)效果本身就好的翻譯引進(jìn)類(lèi)科普作品的項(xiàng)目不建議支持；而對(duì)于難度較大，確實(shí)具有一定科普價(jià)值的作品可予以立項(xiàng)。

4）重點(diǎn)關(guān)注市場(chǎng)前景不好、專(zhuān)業(yè)實(shí)用的科普作品。對(duì)于一些市場(chǎng)前景不好、專(zhuān)業(yè)實(shí)用的科普作品，建議給予重點(diǎn)關(guān)注和支持。而對(duì)于主要面向幼兒群體、內(nèi)容簡(jiǎn)單、科普價(jià)值較低的繪本類(lèi)圖書(shū)項(xiàng)目，應(yīng)適當(dāng)降低資助比例。

總之，社會(huì)征集類(lèi)科普?qǐng)D書(shū)項(xiàng)目應(yīng)明確自身功能定位，運(yùn)用社會(huì)征集的牽動(dòng)能力，聚集多方力量，發(fā)掘出一批具有科普創(chuàng)作潛力而又亟需經(jīng)費(fèi)資助的科普人才和優(yōu)秀作品，充分發(fā)揮“雪中送炭”而非“錦上添花”的資助作用。

[1]任福君，翟杰全.科技傳播與普及概論[M].北京：中國(guó)科學(xué)技術(shù)出版社，2012：299-300.

[2]陳學(xué)安.建立我國(guó)財(cái)政支出績(jī)效評(píng)價(jià)體系研究[J].財(cái)政研究，2004（8）：18-20.

[3]中國(guó)科普研究所.科普效果評(píng)估理論和方法[M].社會(huì)科學(xué)文獻(xiàn)出版社，2003: 65-68.

[4]鄭念，張平淡.科普項(xiàng)目的管理與評(píng)估[M].北京：科學(xué)普及出版社，2008:180-181.

[5]余學(xué)慧.科普項(xiàng)目支出績(jī)效評(píng)價(jià)體系研究[J].科技通報(bào)，2012（5）：212-213.

[6]科技部.2014年全國(guó)優(yōu)秀科普作品公示通知[EB/OL]. [2014-11-13]. http://www.most.gov.cn/tztg/201411/ t20141113_116579.htm。

[7]周文泳，鐘燦濤，尤建新.科學(xué)研究質(zhì)量改進(jìn)理論與方法[M].化學(xué)工業(yè)出版社，2012：81-82.

[8]張義芳.科普評(píng)估理論初探與案例指南[M].科學(xué)技術(shù)文獻(xiàn)出版社，2004：40-48.

G315

A

1674-6708（2015）142-0096-03

王新，碩士，助理研究員，工作單位：北京決策咨詢(xún)中心，研究方向：科技政策與評(píng)估、中國(guó)現(xiàn)代科學(xué)史

王海蕓，博士，副研究員，工作單位：北京決策咨詢(xún)中心，研究方向：創(chuàng)新政策、技術(shù)創(chuàng)新

陶曉麗，碩士，助理研究員，工作單位：北京決策咨詢(xún)中心，研究方向：區(qū)域發(fā)展與區(qū)域規(guī)劃