數字化期刊質量評價方法學研究?

邱進友 夏 旭

（1.廣州醫科大學圖書館，廣東 廣州 511436；2.南方醫科大學圖書館，廣東 廣州 510515）

1 前言

學術期刊是科研成果發表的重要載體，從17世紀起以印刷版的形式延續至今。然而今天，傳統的學術期刊正面臨著信息技術飛速發展和Web2.0時代的重大沖擊。以互聯網為載體的學術論文以其更快的發表速度、更廣泛的傳播空間、更便利的獲取渠道和全方位適時的大眾評價而備受科研人員喜愛。2006年創刊的數字化期刊《Plos One》在創刊后10余年的時間里，載文總量已躍居全球前例，這是我國學者發文最多的一種國際期刊。《中國科技論文在線》（http：//www.paper.edu.cn/）是經教育部批準，由教育部科技發展中心2003年創刊，針對科研人員普遍反映的論文發表困難，學術交流渠道窄，不利于科研成果快速、高效地轉化為現實生產力而創建的中文數字化期刊，2011年進入《中文核心期刊要目總覽》第六版，成為自然科學總論類（N類）核心期刊。隨著數字化期刊的快速發展，特別是數字化期刊不受版面限制的特點，使得數字化期刊大規模發表論文的現象愈演愈烈。近兩年來，《PLOS ONE》《Scientific Reports》《Medicine》和《Oncotarget》4家OA期刊因為載文量大、刊載中國學者文獻多而被一些不良媒體渲染成“四大水刊”，甚至被描述成是只要花錢就可以發表的期刊。正因為這些媒體的報道，一些單位開始不承認發表在這4家期刊上的論文，甚至在申請基金項目時，如果前期文章發在《PLOS One》等期刊上，評審專家只能無情地給出“不予資助”的意見。因此，加強數字化期刊的質量控制和監督管理，建立科學合理的數字化期刊質量評價指標體系和開展數字化期刊評價研究，已迫在眉睫。筆者在全面分析數字化期刊的主要特點與質量評價現狀基礎上，引入網絡計量學（Webomet?rics）和替代計量學（Altmetrics）指標，構建了包括即時下載指數（DII）的數字化期刊質量評價指標體系，通過實證研究檢驗數字化期刊質量評價指標體系的信度和效度，為數字化期刊質量評價方法學研究提供參考。

2 數字化期刊的主要特點與質量評價現狀

2.1 數字化期刊的主要特點

數字化期刊（Digitizing Periodicals）又稱電子雜志（E-Journals）、在線期刊（Journal Online），是以二進制數字的方式把文字、圖像、聲音和動畫等信息存貯在光、磁等介質上，并借助計算機或其他設備進行閱讀的連續性出版物。數字化期刊的發展經歷了3種形式：軟盤、光盤、網絡，隨著因特網的迅速發展，新興的網絡載體形態彌合了視聽媒體與紙質媒體間的鴻溝，實現了視、聽、讀的結合。因而，有關專家認為，只有進入互聯網的期刊，才有資格被稱為真正的數字化期刊[1]。總體上看，數字化期刊具有存儲量大、傳播快捷、交流靈活、存取方便等優點，同時還具有易保存、體積小、易檢索等優勢。

傳播立體化：數字化期刊以網絡為載體，不僅發行面廣、傳播快捷、時效性強，而且獲取不受時空限制等優點，同時具有多人閱讀性，有利于實現信息資源最大限度的共享。在網絡上不但可以傳遞和交換信息，還可以加工處理、利用信息。網絡出版真正做到了集電子寫作、編輯、出版、檢索與閱讀為一體。

檢索自由化：任何讀者只要擁有一臺聯網終端，就可以自由地訪問、拷貝下載和傳遞摘要和全文信息，實現現刊及過刊的文摘或全文瀏覽和檢索。

成本低廉化：互聯網上的數字化期刊依托網絡這一發行和傳播渠道，成本低，大部分數字化期刊可免費使用，只需辦理一定的訂購手續即可。

評價可視化：隨著替代計量學的產生和發展，對數字化期刊論文的評價已日趨靈活和多樣化，除下載、引用等傳統文獻計量學評價指標外，還將提及、使用、引用、捕獲、社交媒體等作為其影響力評價的指標[2]，這些指標（包括下載、引用）都可方便獲取和適時顯示，從而有效地實現單篇論文評價的可視化。

2.2 數字化期刊的質量評價

國內外對期刊（含數字化期刊、網絡期刊、電子期刊）的評價研究開展得如火如荼，H指數、即時下載指數（DII）、替代計量學指標等不斷涌現，為數字化期刊質量評價提供了可操作的方法。最初人們常用論文的被引率來評價期刊的影響力，但論文從發表到被引有一個時滯，而論文的下載可以與數據庫的收錄同步，所以有人嘗試用論文的下載來評價學術期刊的影響力。我國學者與荷蘭學者Ronald Rousseau博士合作提出了即時下載指數（The down?load immediacy index，DII）這一文獻計量領域新指標[3]。替代計量學的產生和發展，為數字化期刊和單篇論文的評價提供了更適時的評價指標，提及、使用、引用、捕獲、社交媒體等替代計量學指標也逐步引入數字化期刊的評價研究。

鑒于目前國內外對數字化期刊的評價仍然集中在傳統的定性與定量評價方面，沒有充分考慮到數字化期刊基于網絡出版的主要特點和利用規律，致使數字化期刊評價指標體系和期刊評價機制的研究，至今仍不能擺脫印刷型期刊的約束。我們嘗試在課題組前期網絡信息資源質量評價研究和評價指標體系構建基礎上，廣泛收集國內外期刊（含數字化期刊）評價指標，基于Meta分析和數字化期刊特點，特別是基于網絡下載頻次指標和下載指數（D指數）等形成數字化期刊質量評價指標調查問卷，通過DELPHI專家咨詢法和網絡測評建立起數字化期刊質量評價指標體系，利用該指標體系對典型數字化期刊進行實際評測、網絡評測和專家評價，建立起定性定量結合、專家評審與讀者評價結合的數字化期刊評價機制和方法學，這不僅是對已有期刊評價研究的補充完善，而且是期刊評價機制的重要發展。下載頻次和下載指數（D指數）的引入能部分解決數字化期刊使用效益的測度問題，對于數字化期刊學術影響力的評價和納入科研績效評價體系起到一定的推動作用。該研究融入下載頻次和下載指數，也為數字化期刊訂購和數字化館藏建設提供了新的資源評價指標，是數字化期刊質量評價研究的有益嘗試，對于促進學術交流、推動科技論文快速共享和科研績效評價有一定的現實意義，為推動數字化期刊的發展和學術影響力的提高打下了基礎。

3 數字化期刊質量評價指標體系構建研究

3.1 網絡信息資源質量評價指標體系

筆者在總結網絡信息資源質量評價現狀的基礎上，綜合文獻涉及評價指標和網絡計量學成果，構建了包括內容、形式、學術影響力和網絡計量學量度等網絡信息資源質量評價指標體系（見表1）[4]。

表1 基于DELPHI專家咨詢法的網絡信息資源質量評價指標[4]

3.2 數字化期刊質量評價指標體系的構建

基于網絡信息資源從內容、形式、學術影響力、網絡計量學量度等一級指標的評價，我們分析發現：數字化期刊的特點和利用已完全不同于印刷本期刊，對數字化期刊的特點分析和利用規律的研究，應當成為構建數字化期刊質量評價指標體系的前提和基礎。因此，我們提出了網絡影響力指標，該指標在吸收網絡計量學指標基礎上融合替代計量學的研究成果，將提及、使用、引用、捕獲、社交媒體等替代計量學指標引入數字化期刊的評價，形成了數字化期刊質量評價指標體系（見表2）。該指標體系綜合考慮了數字化期刊的學術影響力和網絡影響力，并依據網絡計量學和替代計量學研究的成果進一步將引用細分為學術引用和非學術引用[5]，將學術引用歸于學術影響力指標，而非學術引用歸于網絡影響力指標。

表2 數字化期刊質量評價指標

續表

為確保構建的數字化期刊質量評價指標體系能夠滿足數字化期刊的特點與評價需要，筆者通過發放調查問卷的方式對該指標體系（見表2）進行了專家問卷調查，部分專家給出了他們的意見，將學術引用和非學術引用分拆開且歸屬于不同的一級指標不一定合適，建議將非學術引用與學術引用并入學術影響力指標，合稱引用。考慮到數字化期刊的獨特特點以及針對數字化期刊進行評價的替代計量學主要指標（提及、使用統計、社交分享和學術書簽）均歸入網絡影響力指標，而學術引用與非學術引用又使用了不同的計量工具，前者主要使用引文數據庫，而后者多使用博客、維基百科等社交媒體，故仍然將非學術引用置于網絡影響力指標下，希望能集中體現網絡對于數字化期刊質量評價的影響。

4 實證研究

4.1 數據源的選取與評價內容

選取18種圖書情報核心期刊，抽樣調查這些期刊2017年在中國知網（http：//www.cnki.net）的即年被引頻次，先依被引頻次排序，在被引頻次相同的情況下再依即年被引率排序。將排序表與《中文核心期刊要目總覽》（2014版）進行比對，初步驗證數字化期刊質量評價指標體系的評價效果。

4.2 評價結果

表3 18種圖書情報核心期刊即年被引頻次和即年被引率

續表

說明：即年被引率=（當年被引篇數/當年載文總數）×100%。綜合排序是指將即年被引序號值與篇均被引排序值相加，和較小者排在最前面，和相等則排序相同。

4.3 分析與討論

4.3.1 被引指標的評價力度有限

從表3可知，《中國圖書館學報》和《圖書館論壇》兩種期刊的綜合排序與《中文核心期刊要目總覽》2014版[6]的排序完全相同；序值相差1-2名的有3種期刊《圖書與情報》《圖書館理論與實踐》《情報資料工作》，說明即年被引率和即年篇均被引頻次綜合用于期刊評價有其合理性。鑒于13種核心期刊的綜合排序與其初始排序符合度不高，特別是前5種期刊只有2種期刊排序一致，說明僅以被引指標來進行期刊的質量評價有其局限性。為了更好地應用數字化期刊質量評價指標體系開展實證研究，我們粗略地分析了部分期刊排名不相符的原因，主要有：一是期刊發表后的引用存在一定的滯后性，這種滯后的時間一般在2-3年，也就是說文章在發表后的2-3年被引頻次達到最高，3年后逐步減少；二是期刊本身的原因，即個別期刊不能按時出版，或數字化期刊未能與紙質期刊同步；三是期刊載文量較大。特別是第三個原因可能會影響到期刊的被引頻次，這也許可以解釋為什么江湖“四大水刊”大規模批發論文而受業內詬病，因為載文量大量增加而被引頻次較低導致期刊的影響因子大幅下滑，期刊總體質量受到影響。

4.3.2 提前線上發表或可提高被引頻次

根據我們的了解，《圖書館論壇》是在提前線上發表論文方面做得比較好的核心期刊之一，該刊與中國知網達成了很好的默契，在論文被錄用后短時間內即開始線上發表，這樣就增加了期刊論文的被引可能。此外，該刊還將期刊出版的時間放在當月的10日，也使期刊論文的引用可能有所增加。當然，一些期刊發表熱點話題論文或邀請專家就熱點話題撰寫綜述，不僅可能增加下載率，也有可能增加被引率。

4.3.3 網絡影響力指標或可助力期刊評價

我們將網絡計量學指標和替代計量學指標引入了數字化期刊質量評價體系，最主要的目的是希望能夠適時合理評價數字化期刊論文的質量，像鏈接、瀏覽、下載、博客、點贊、共享、提及、使用統計（PLOS網站、PubMed Central）、社交分享（Facebook、Twitter）、學術書簽（Mendeley、CiteULike）、非學術引用（ResearchBlogging、ScienceSeeker、Nature Blogs、Wikipedia）等指標能夠較好地彌補引用滯后的問題，幫助廣大讀者全方位地評價數字化期刊和論文，督促數字化期刊出版者重視期刊的網絡影響力指標，加強對數字化期刊的質量控制和嚴格論文審稿程序，確保期刊的質量最優化。

4.3.4 即時下載和下載率可作為數字化期刊質量評價的參考

由于數字化期刊被下載但不一定被引用，因而下載頻次與引用頻次區別很大。引用率低就削弱了數字化期刊的使用效益。因此，即時下載指數和下載率只能作為數字化期刊質量評價的參考，完全依靠下載率的數字化期刊質量評價既不可靠，也不合理。

4.3.5 宜以純數字化期刊為研究對象以減少紙刊的影響

由于我們調查的對象——“圖書館學情報學核心期刊”既出紙本刊，也由中國知網進行紙本刊的數字化處理，這中間可能會存在影響數字化期刊出版的因素，使數字化期刊的出版滯后。在條件許可的情況下，我們還將就國內外純數字化期刊進行實證研究，以減少紙本刊和數字化期刊不同步的影響。

此外，從政府和新聞出版層面完善數字化期刊出版管理制度，規范數字化期刊出版行為，也不失為提高數字化期刊質量的有效舉措[7-8]。

5 結語

我們通過搜集國內外有關期刊評價方法和指標體系的研究文獻，利用META分析法篩選數字化期刊質量評價指標，基于數字化期刊特點、影響因素、利用規律和網絡計量學、替代計量學等挖掘新的期刊評價指標，如下載頻次、下載指數等，形成數字化期刊質量評價調查問卷。通過DELPHI專家調查和網站評測，形成數字化期刊質量評價指標體系，以數字化期刊質量評價指標體系為基礎，開展了18種圖書館學情報學期刊的實際評測，建立了數字化期刊質量評價的有效機制和方法學。我們的初步評價結果表明，即年被引指標（即年被引率和即年篇均被引頻次）用于數字化期刊的質量評價有其合理性，但其評價結果與《中文核心期刊要目總覽》（2014版）的符合度不高，相符率不到30%。從而說明數字化期刊質量評價應當采用綜合評價指標體系，這也印證了我們基于內容、形式、學術影響力和網絡影響力的數字化期刊質量評價指標體系有其科學合理性。下一步將以《中國科技論文在線》等純數字化期刊為研究對象展開研究，不斷優化數字化期刊評價指標，通過評價促進數字化期刊加強質量控制，確保數字化期刊真正發揮其快速發布優秀科研成果的作用，為我國的文獻信息資源建設，特別是數字化資源建設提供信息支持和決策參考。