基于德爾菲法的開放獲取期刊評(píng)價(jià)指標(biāo)篩選

，

開放獲取期刊(Open Access Journal,OAJ)是指可以在公共網(wǎng)絡(luò)上免費(fèi)獲取，并允許用戶進(jìn)行檢索、閱讀、下載、復(fù)制、打印，以及其他任何法律允許，而沒有經(jīng)費(fèi)、法律或技術(shù)方面的障礙，經(jīng)過同行專家評(píng)閱的高質(zhì)量全文電子期刊[1]。OAJ具有開放性、時(shí)效性，降低了資源建設(shè)的成本，增強(qiáng)了信息服務(wù)的時(shí)效性，拓寬了資源采集的途徑[2]，已經(jīng)成為重要的學(xué)術(shù)資源之一。截至2016年1月7日，DOAJ(Directory of Open Access Journals)收錄的OA期刊已經(jīng)增長為11 135種[3]。為了更好地選擇、采集、提供優(yōu)質(zhì)的OAJ資源從而為用戶服務(wù)，本文旨在應(yīng)用德爾菲專家咨詢法(Delphi)篩選出相對(duì)科學(xué)、合理、適用于OAJ評(píng)價(jià)的評(píng)價(jià)指標(biāo)，并對(duì)指標(biāo)篩選過程中的相關(guān)問題進(jìn)行探討。

1 材料與方法

1.1 評(píng)價(jià)指標(biāo)的初步篩選

通過中國知網(wǎng)、萬方數(shù)據(jù)知識(shí)服務(wù)平臺(tái)、圖書館信息科學(xué)文摘數(shù)據(jù)庫(Library and Information Science Abstract，LISA)、PubMed等中外文數(shù)據(jù)庫獲取有關(guān)期刊評(píng)價(jià)和國內(nèi)外OAJ方面的文獻(xiàn)資源，參考有關(guān)OAJ評(píng)價(jià)和信息資源建設(shè)方面的專著[4-7]，并訪問DOAJ、BioMed Central、Free Medical Journal、Hinari、Medknow、SciELO等著名出版商網(wǎng)站，以及國際開放學(xué)術(shù)出版商協(xié)會(huì)(OASPA)、出版道德委員會(huì)(COPE)、世界醫(yī)學(xué)編輯協(xié)會(huì)(WAME)和國際科學(xué)技術(shù)醫(yī)學(xué)出版商協(xié)會(huì)(STM)提出的期刊最佳實(shí)踐標(biāo)準(zhǔn)等網(wǎng)絡(luò)資源，參照現(xiàn)行標(biāo)準(zhǔn)或規(guī)范來篩選OAJ的評(píng)價(jià)指標(biāo)、評(píng)價(jià)方法和評(píng)價(jià)角度，初步篩選、建立OAJ評(píng)價(jià)指標(biāo)框架。

1.2 評(píng)價(jià)指標(biāo)的進(jìn)一步遴選

1.2.1 專家遴選

為了構(gòu)建科學(xué)有效、可操作性強(qiáng)的OAJ評(píng)價(jià)指標(biāo)體系，減少主觀因素(如研究領(lǐng)域、學(xué)術(shù)水平、學(xué)科差異等方面對(duì)評(píng)價(jià)結(jié)果的影響)，在構(gòu)建評(píng)價(jià)OAJ評(píng)價(jià)指標(biāo)體系時(shí)，邀請(qǐng)16名具有副高級(jí)專業(yè)技術(shù)職稱及以上的圖書館學(xué)、情報(bào)學(xué)和臨床醫(yī)學(xué)(用戶代表)專家，具有中級(jí)專業(yè)技術(shù)職稱的業(yè)務(wù)骨干參與評(píng)價(jià)指標(biāo)的遴選。其中，專家應(yīng)從事相關(guān)工作2年以上并且對(duì)本研究感興趣，愿意配合專家咨詢；用戶代表選取醫(yī)學(xué)領(lǐng)域的專家，是因?yàn)獒t(yī)學(xué)領(lǐng)域的開放獲取期刊的數(shù)量和增長速度在各領(lǐng)域中居首位。

1.2.2 編制專家咨詢表

第一輪問卷向?qū)＜姨峁┏醪綌M定的評(píng)價(jià)指標(biāo)，包括一級(jí)指標(biāo)3個(gè)，二級(jí)指標(biāo)7個(gè)，三級(jí)指標(biāo)12個(gè)，主要是各位專家根據(jù)指標(biāo)的重要程度分別對(duì)各項(xiàng)指標(biāo)進(jìn)行打分。若重要程度用K表示，則將評(píng)價(jià)指標(biāo)的重要程度設(shè)定為非常重要K1、比較重要K2、一般重要K3、不太重要K4、不重要K5五個(gè)等級(jí)，并給每一等級(jí)設(shè)定一個(gè)分值：K1=9，K2=7，K3=5，K4=3，K5=1。專家咨詢問卷首先介紹了OAJ評(píng)價(jià)的必要性和各備選指標(biāo)的釋義，主要是各位專家對(duì)OAJ評(píng)價(jià)備選指標(biāo)的重要性判斷。此外，問卷還設(shè)立了半開放式問題，以便專家對(duì)于指標(biāo)的設(shè)置提出意見。

第二輪的調(diào)查咨詢表主要分為兩部分。第一部分是專家對(duì)經(jīng)過第一輪結(jié)果分析修正后的評(píng)價(jià)指標(biāo)提出是否需要增加、修改和刪除等建議，進(jìn)一步判斷和完善評(píng)價(jià)指標(biāo)體系；第二部分是專家基本信息調(diào)查表(專家的年齡、研究領(lǐng)域、工作年限、專業(yè)技術(shù)職稱等基本信息)和專家權(quán)威程度自評(píng)表(主要了解專家對(duì)指標(biāo)的熟悉程度和判斷依據(jù))。

1.2.3 咨詢結(jié)果分析與綜合評(píng)價(jià)指標(biāo)的篩選

指標(biāo)的篩選需針對(duì)專家提出的修改意見進(jìn)行，指標(biāo)的修改、增加或刪除至少需要3位專家提出相同的意見或建議。入選指標(biāo)的得分均值應(yīng)在7分以上，有較高的重要比率得分，變異系數(shù)較小，盡量控制在0.5以下。

1.2.4 專家咨詢可靠性分析方法

本文采用專家積極系數(shù)、專家協(xié)調(diào)系數(shù)和權(quán)威系數(shù)3項(xiàng)指標(biāo)檢驗(yàn)第三輪專家咨詢的可靠性。

一是評(píng)價(jià)等級(jí)、判斷依據(jù)、熟悉程度的量化。對(duì)問卷結(jié)果進(jìn)行數(shù)據(jù)分析所采用的量化標(biāo)準(zhǔn)見表1至表3。

表1 評(píng)價(jià)指標(biāo)評(píng)分標(biāo)準(zhǔn)表

表2 專家熟悉程度量化表

表3 專家判斷依據(jù)及影響程度量化表

二是有關(guān)統(tǒng)計(jì)指標(biāo)的計(jì)算。

(1)專家的權(quán)威系數(shù)Cr

專家的權(quán)威性對(duì)評(píng)價(jià)結(jié)果的可靠性至關(guān)重要。因此，在衡量評(píng)價(jià)結(jié)果時(shí)要考慮專家對(duì)某一指標(biāo)要素的權(quán)威系數(shù)Cr。Cr一般由兩個(gè)重要因素決定，一是專家的判斷依據(jù)Ca，二是專家對(duì)問題的熟悉程度Cs。Cr越大，說明專家的權(quán)威程度越高。計(jì)算公式為：

(2)專家的協(xié)調(diào)系數(shù)W

協(xié)調(diào)系數(shù)是用來描述專家對(duì)方案協(xié)調(diào)程度好壞的指標(biāo)，在0到1之間。W越大說明專家的協(xié)調(diào)程度越好，計(jì)算公式為：

式中，L：i專家評(píng)價(jià)中有相同評(píng)價(jià)值的組數(shù)；tl：L組中的相同等級(jí)數(shù)。

協(xié)調(diào)系數(shù)顯著性檢驗(yàn)

自由度df=n-1，如果P<0.05，說明專家評(píng)估或預(yù)測協(xié)調(diào)性好，結(jié)果可取，否則不可取。

(3)專家的積極系數(shù)

專家的積極系數(shù)即專家咨詢表的回收率，其大小說明專家對(duì)該項(xiàng)目研究的關(guān)心程度。

1.3 統(tǒng)計(jì)分析

采用Epidata 3.1雙軌錄入數(shù)據(jù)并糾錯(cuò)，利用EXCEL 2007進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析。

2 結(jié)果與分析

2.1 專家組構(gòu)成情況

本研究邀請(qǐng)的16名專家中，圖書館學(xué)專家6人，情報(bào)學(xué)專家7人，臨床醫(yī)學(xué)專家(用戶代表)3人。專家平均年齡(43.44±7.66)歲，平均工作年限(18.56±8.56)年，其中具有副高級(jí)及以上專業(yè)技術(shù)職稱的專家15人，占93.75%。專家構(gòu)成情況見表4。

表4 專家構(gòu)成情況

2.2 專家權(quán)威系數(shù)Cr

專家權(quán)威程度自評(píng)結(jié)果顯示，各一級(jí)指標(biāo)的熟悉程度Cs在0.75-0.8之間，平均值為0.775；判斷依據(jù)Ca在0.8875-0.9375之間，平均值為0.9167。各一級(jí)指標(biāo)的權(quán)威程度系數(shù)Cr在0.8188-0.8688之間，平均值為0.8458(表5)。

表5 專家權(quán)威程度自評(píng)結(jié)果

2.3 專家協(xié)調(diào)系數(shù)W

根據(jù)專家的評(píng)分結(jié)果，最后得出專家協(xié)調(diào)系數(shù)W為0.398，Χ2為54.9，P值小于0.05，具有統(tǒng)計(jì)學(xué)意義。檢驗(yàn)結(jié)果表明，經(jīng)過兩輪專家咨詢后，專家意見的協(xié)調(diào)性較好，結(jié)果可取，無需進(jìn)行第三輪咨詢。

2.4 專家積極系數(shù)

專家積極系數(shù)表示專家對(duì)被研究的關(guān)心程度，一般以問卷的有效回收率來表示。其中第一輪共發(fā)放問卷16份，回收問卷16份，有效問卷16份，有效回收率為100%；第二輪發(fā)放問卷16份，回收問卷14份，有效問卷14份，有效回收率為87.5%。因此，兩輪專家積極系數(shù)為100%和87.5%。

2.5 指標(biāo)的篩選結(jié)果

指標(biāo)篩選是根據(jù)指標(biāo)的集中程度和變異程度確定的，入選指標(biāo)得分均值應(yīng)在7分以上，有較高的重要比率得分，變異系數(shù)較小，盡量控制在0.5以下。第一輪指標(biāo)得分情況具體見表6。

表6 第一輪開放獲取期刊評(píng)價(jià)指標(biāo)得分情況

經(jīng)過第一輪的德爾菲調(diào)查，修改、完善后的指標(biāo)體系包括3個(gè)一級(jí)指標(biāo)、7個(gè)二級(jí)指標(biāo)和16個(gè)三級(jí)指標(biāo)。根據(jù)表6中各指標(biāo)得分情況可知，專家的意見較為一致。因此第二輪調(diào)查主要是專家對(duì)修正后的評(píng)價(jià)指標(biāo)提出是否需要增加、修改和刪除，進(jìn)一步判斷和完善評(píng)價(jià)指標(biāo)體系，并未進(jìn)行打分。第二輪的調(diào)查結(jié)果顯示，各位專家對(duì)于“開放獲取期刊評(píng)價(jià)指標(biāo)”基本達(dá)成一致，除兩位專家在三級(jí)指標(biāo)方面提出意見外，其他僅是個(gè)別指標(biāo)語言表述方面和結(jié)構(gòu)調(diào)整方面的些許意見或建議。本文最終得到的開放獲取期刊評(píng)價(jià)體系包含一級(jí)指標(biāo)3個(gè)、二級(jí)指標(biāo)7個(gè)、三級(jí)指標(biāo)22個(gè)(表7)。

表7 開放獲取期刊評(píng)價(jià)指標(biāo)

3 討論

3.1 指標(biāo)體系的內(nèi)容應(yīng)充分體現(xiàn)評(píng)價(jià)對(duì)象的特點(diǎn)

構(gòu)建評(píng)價(jià)指標(biāo)體系時(shí)，一方面要有科學(xué)的理論作指導(dǎo)，確保指標(biāo)體系的基本概念和邏輯結(jié)構(gòu)嚴(yán)謹(jǐn)合理；另一方面，評(píng)價(jià)指標(biāo)體系應(yīng)具備全面性和針對(duì)性，充分體現(xiàn)評(píng)價(jià)對(duì)象的特點(diǎn)。本文的研究對(duì)象OAJ具有免費(fèi)獲取、數(shù)字化、網(wǎng)絡(luò)化、質(zhì)量良莠不齊、影響力逐步增加等特點(diǎn)，因而選擇開放程度、質(zhì)量和影響力3個(gè)維度建立評(píng)價(jià)框架，評(píng)價(jià)指標(biāo)基本涵蓋了各維度中的關(guān)鍵問題，具有一定的針對(duì)性。

3.2 遴選指標(biāo)的方法應(yīng)注重合理性和可靠性

德爾菲法經(jīng)歷了多年的發(fā)展，在各研究領(lǐng)域得到了廣泛的應(yīng)用。它依據(jù)不同領(lǐng)域內(nèi)專家的經(jīng)驗(yàn)、知識(shí)，對(duì)初步擬定的指標(biāo)進(jìn)行分析、判斷，并且所有過程均是采用匿名或背靠背的方式，使每一位專家獨(dú)立判斷，不受其他人員的干擾影響。此外，預(yù)測過程必須經(jīng)過幾輪的反饋，使專家的意見趨于一致，這樣得到的結(jié)果更具有代表性和可靠性。第一輪咨詢的目的主要是確定指標(biāo)體系的框架和評(píng)價(jià)指標(biāo)，第二輪咨詢的主要目的是進(jìn)一步修正完善評(píng)價(jià)指標(biāo)。

3.2.1 專家的代表性和權(quán)威性

一般來說，專家的選取關(guān)乎德爾菲法成功與否。本文選取的專家具有副高級(jí)及以上專業(yè)技術(shù)職稱的專家15人(占93.75%)，并且在專業(yè)領(lǐng)域的平均工作年限為18.56±8.56年，說明專家意見具有可靠性和代表性。

專家的權(quán)威程度與預(yù)測精度呈一定的函數(shù)關(guān)系，預(yù)測精度隨著專家權(quán)威程度的提高而提高，一般認(rèn)為權(quán)威系數(shù)Cr≥0.7即可以接受。結(jié)果顯示，三個(gè)一級(jí)指標(biāo)的權(quán)威系數(shù)Cr在8188-0.8688之間，平均值為0.8458， 可以認(rèn)為本文中的專家權(quán)威程度較高。

3.2.2 專家的積極性和一致性

專家的積極性一般以問卷有效回收率表示，兩輪的專家積極性系數(shù)分別為100%和87.5%。艾爾巴比指出，50%的回收率是可以用來分析和報(bào)告的最小比例，60%的回收率比較好，70%非常好[8]。因此，本文具有較好的積極系數(shù)，反映了專家對(duì)本文的關(guān)心和支持程度較高。

通過計(jì)算專家意見的協(xié)調(diào)系數(shù)可以判斷專家對(duì)每項(xiàng)指標(biāo)的評(píng)價(jià)是否存在較大分歧，同時(shí)也是咨詢結(jié)果可信度的衡量指標(biāo)。協(xié)調(diào)系數(shù)表示全部專家對(duì)全部指標(biāo)的協(xié)調(diào)程度，其值介于0-1之間，該系數(shù)越大越好。本研究的協(xié)調(diào)系數(shù)W為0.398，P值小于0.05，具有統(tǒng)計(jì)學(xué)意義。結(jié)果表明，經(jīng)過兩輪的專家咨詢后，專家意見的協(xié)調(diào)性較好，可信度很高，結(jié)果可取。

4 結(jié)語

利用德爾菲法篩選開放獲取期刊的評(píng)價(jià)指標(biāo)是一種有益的嘗試和探索，可以更好地遴選和評(píng)價(jià)開放獲取資源，為資源建設(shè)提供參考。雖然本次調(diào)查專家的積極性、權(quán)威程度和協(xié)調(diào)程度均達(dá)到要求，但是篩選出的指標(biāo)仍可能受到專家局限性的影響，因此指標(biāo)體系需要在今后的實(shí)際應(yīng)用中進(jìn)一步進(jìn)行檢驗(yàn)和完善。