國內學術期刊質量評價指標體系構建探索與實證研究

●魏曉峰（河北建筑工程學院 圖書館，張家口 075024）

近年來，國內外有關學術期刊評價的理論探討與實證研究日趨深入，多種學術期刊評價指標與期刊評價體系相繼提出和廣泛應用。指標選取上，一級指標邏輯性不強，不能有效體現與衡量期刊學術質量；而二級指標往往力求細致全面，既增加了數據收集與統計難度，又不利于各類指標的有機組合與應用。指標權重賦值上，目前各評價體系普遍采用層次分析法和專家調查法，一般僅限于期刊管理或圖書情報而缺乏各學科或專業領域專家調查，由此確定的指標權重不能有效體現各學科之間的差異性。此外，利用不同的評價體系進行期刊質量評價的結果也不盡相同，勢必會出現相互沖突或矛盾之處，影響期刊選購、職稱評定、科研評價等工作績效。當前國內大多涉及針對某種期刊評價指標的研究，僅有少數研究涉及某一類型或學科領域期刊評價指標體系。因此，本文對學術期刊評價體系進行整合研究與實證分析以供參考。

1 國內學術期刊質量評價指標體系構建

評價指標選取在全面性、科學性、易獲取性和整個評價體系的簡練性下，以增強期刊評價的時效性、公正性和高效率。在指標權重分配方面，需要綜合考慮和兼顧圖書情報以及其他學科或專業領域專家的評議意見，以確保權重分配的專業性和體現指標評價的學科特色。

1.1 期刊評價指標選取

期刊的學術質量主要通過期刊的學術含量和對外界的學術影響力兩個方面體現，一般分別選用期刊來源（或載文） 指標和被引（或影響力） 指標進行衡量。本文以目前國內學術界比較公認的、影響較大的6種期刊評價工具［1－6］以及3篇最具代表性的期刊評價體系研究論文［7－9］為參考依據，在詳細考察各類評價指標屬性、功效和使用頻次的基礎上，最終選取了9個期刊評價核心指標。其中，期刊來源指標包括基金論文比、篇均參考文獻數和篇均作者機構數，期刊被引指標包括篇均被引頻次、影響因子、他引量、他引刊數、即年指標和Web即年下載率。由于考慮到期刊學術質量評價主旨、期刊所屬地域區分度較小、當前學科交叉滲透發展趨勢明顯以及“同類可比”的期刊評價原則等因素，本文沒有選用載文量、國際論文比、本學科論文比、被引半衰期和其他使用頻次較小的指標。

1.2 評價指標權重分配

上述9個指標雖然都是從定量角度反映期刊的學術質量，但是對于期刊評價結果的貢獻各不相同，而且由于各學科之間的差異性，各指標在不同學科中應用價值也不一致，因此需要結合評價目的等主觀因素進行分析，賦予各指標不同的權重和充分考慮學科因素。本文選擇半定性的層次分析法來確定各指標權重值，并將權重劃分為基礎權重和學科權重兩部分；前者是指由圖書情報領域專家、學術期刊編輯與圖書館員得出的權重，后者是指由某一專業或學科領域專家得出的權重。在綜合上述分析和參考《中國人文社會科學核心期刊要覽》 （2008年版）的指標權重處理辦法的基礎上，本文將基礎權重和學科權重分別賦權值為0.7和0.3，二者加權后的權重值之和即為某學科領域學術期刊質量評價指標體系的綜合權重。

（1）構建評價指標層次結構模型。本文運用層次分析法構建指標層次結構模型，依次包括目標層（期刊評價指標綜合值）、準則層（包括期刊來源指標和被引指標兩項）、子準則層（期刊被引指標下設影響強度、廣度和速度三類）和指標層。

（2）構造評價指標判斷矩陣。根據上述模型，本文構建了6個判斷矩陣。準則層的2個1級指標構成1個2維判斷矩陣，子準則層的3個2級指標構成1個3維判斷矩陣，指標層的9個3級指標按其類別構成4個判斷矩陣，分別是由3個期刊來源指標構成的1個3維判斷矩陣和由6個期刊被引指標構成的3個2維判斷矩陣。［10］根據Saaty權威性建議，采用數字1-9及其倒數為標度來確定各指標權重值。

（3）問卷設計與調查。本文設計了專家調查問卷，其中一級指標權重專家評分表如表1所示，其他層次指標權重專家評分表均以此類推。筆者采用電子郵件方式對國內一些具有副高級以上職稱的圖書情報領域高校教師與圖書館員（各占73.1%和17.1%）以及學術期刊編輯進行訪問調查，共計發放問卷100份，回收問卷89份。利用yaaph0.5.2軟件再對全部問卷調查數據進行統計，共計82份有效問卷均通過了層次單排序與總排序一致性檢驗，由此表明該調查問卷設計較為科學合理，評價指標層次結構模型與判斷矩陣具有較好的適用性。

表1 調查問卷中一級指標權重專家評分表

（4）計算評價指標權重。本文采用專家評分法和層次分析軟件yaaph0.5.2，對指標體系內同層指標進行兩兩比較，得到判斷矩陣，計算矩陣對應的特征向量，再依次進行層次單排序和層次總排序及其一致性檢驗，從而確定各指標權重。根據全部的層次單排序統計結果，可以計算出指標層內各指標的層次總排序權重。判斷矩陣一致性檢驗是指檢驗專家對各指標進行兩兩比較時所作出的判斷思維是否一致。本文引入Saaty提出的判斷矩陣平均隨機一致性指標值進行具體的統計檢驗，然后計算出每份有效問卷中獲得的各指標層次總排序權重的算術平均值，即各指標基礎權重，如表2所示。在具體評價某學科領域學術期刊質量時，還需要對領域專家進行問卷調查以獲取各指標學科權重，進而得出各指標的綜合權重值。

2 實證研究

本文堅持“同類可比”的評價原則，選擇數學期刊進行實證研究以體現基礎與學科權重之間的差別。

2.1 問卷調查與指標權重確定

本文選擇2011年國內“211工程”大學中數學專業綜合排名前30所高校中具有副高級及其以上職稱（正高與副高職稱比例各為37.6%和62.5%）的數學領域專家為調查對象，以保證調查的較高權威性與可信度。共計發放問卷40份，回收問卷36份，其中32份有效問卷全部通過層次單排序和總排序一致性檢驗。然后分別計算出各評價指標的學科權重值，通過加權進而算出各指標的綜合權重值，如表2所示。從表中可知，兩類權重值相差較大的指標有基金論文比、篇均被引頻次、影響因子和Web即年下載率，這在一定程度上反映出不同學科領域專家對學術期刊質量的不同理解與認知。

表2 數學期刊各評價指標的三類權重值分布

2.2 期刊選取和數據統計源

在參照國內多種期刊分類或導航目錄的基礎上，本文選取15種有代表性的數學期刊進行實證研究；同時選擇《2009年版中國期刊引證報告（擴刊版）》和《中國學術期刊綜合引證報告（2009年版）》為主要數據來源，以CNKI中國引文數據庫同期數據為補充，以保證統計分析的科學有效性。通過直接檢索或輔助人工統計得到各刊評價指標原始數據，如表3所示。數據檢索與統計處理日期為2012年8月15～16日。

由于同一個指標體系內的不同指標數據之間存在較大差異，因此需要對各指標數據進行歸一化規范處理，以便在同一個數量級上進行橫向比較與評價。歸一化處理的思路是將各指標中的最高值設置為1，其他數據依據相應比例取值，通過加權綜合得到各指標綜合評價值，其降序排列結果如表4所示。

表3 數學期刊各評價指標原始數據分布

表4 數學期刊各評價指標歸一化處理后的數據與綜合評價值分布

2.3 評價指標相關性分析

本文基于皮爾遜（Spearman）積差相關系數，利用SPSS17.0軟件分別對評價指標體系中的目標層（即指標綜合評價值）與各指標層及單項指標間的相關性進行分析，以考察各指標層對于上一層級設置的合理性。

（1）評價指標體系的總體分析。據統計，準則層與目標層之間的兩個相關系數r分別為0.538和0.958，P值均小于0.01，表明本文構建的期刊評價指標體系中的準則層指標與目標層之間在0.01水平（雙側）上顯著相關，來源與被引指標的設置對于整個評價體系而言是合理的。三個子準則層指標與準則層之間顯著性相關（相關系數r分別為0.852、0.768和0.646，P值均為0.000），表明三個被引指標的設置也是較為合理的。此外，三個來源指標與準則層之間（r分別為 0.958、0.881和 0.550，P值分別為 0.000、0.000和0.002）、兩個影響強度指標與子準則層之間（r分別為0.810和0.802，P值均為0.000）、兩個影響廣度指標與子準則層之間（r分別為0.986和0.957，P值均為0.000），以及兩個影響速度指標與子準則層之間 （r分別為 0.838和 0.670，P值均為 0.000） 均在0.01水平（雙側）上顯著相關，表明各項指標的設置對于整個評價體系而言均是較為合理的。

（2） 單項指標與目標層的相關性分析。限于篇幅，本文僅列出Web即年下載率與目標層之間相關性分析結果及相應的散點圖，如圖1所示。其中，篇均

數、篇均被引頻次、影響因子、他引量和他引刊數與目標層之間在0.01水平（雙側）上顯著相關（r值分別為 0.601、0.051、0.831、0.794和 0.654），而基金論文比、篇均作者機構數、即年指標和Web即年下載率與目標層之間在0.05水平（雙側）上顯著相關（r值分別為0.429、0.395、0.423和0.411）。由此可知各項指標與目標層之間存在不同程度的正相關性，評價指標體系構建在整體上較合理。

圖1 Web即年下載率指標與目標層之間相關性分析結果及相應的散點圖

2.4 與《中文核心期刊要目總覽》的比較分析

由于《中文核心期刊要目總覽》 （2011年版） 中共列出17種數學核心期刊排名情況，因此本文選擇其與上述期刊評價結果進行對比分析，以探尋兩者間的差異性及其原因，對比情況如表5所示。需要說明的是，表中“升降幅度”一列是指某刊在本文研究中排名與其在《總覽》中排名相比下的升降位數，正負數分別表示排名升與降，“/”表示某刊在《總覽》中為非核心期刊。

表5 本文研究的數學期刊綜合評價值排名與《總覽》中排名的對比情況

從表中可知，《數學學報》等4種期刊在兩個評價體系中排名均相同，《數學的實踐與認識》等4種期刊以及《系統科學與數學》等2種期刊的排名分別有不同程度的上升或下降。由于本文與《總覽》中的指標構成、評價時段與方法不盡相同，兩者的評價結果必然存在一定差異。僅以排名變動較明顯的《數學的實踐與認識》和《應用數學學報》為例，兩刊的來源指標值排名均普遍靠后，而前者的被引指標值排名多數較靠前，而后者多數較靠后。從表4中可知，來源與被引指標權重分別約占總權重的20%和80%。如果期刊各項指標排名均居前列，則其綜合排名必定靠前，如《應用數學學報》；如果來源指標排名較靠后，而被引指標排名較靠前而且競爭優勢較明顯，則其綜合排名也會相對靠前，如《數學的實踐與認識》。此外，《總覽》的評價指標中有6項量效指標和4項信息棧指標（如被索引量、被摘量、獲國家獎或被國內外重要檢索工具收錄數等）均受期刊載文量的較大影響，一定程度上削弱了被引指標的評價效果。

本文構建的評價指標體系比較突出期刊學術影響力的評價效用，也能體現一定的期刊學術含量，有效避免了由于期刊編輯出版隨意改進來源指標（如增加載文、被摘、Web下載、自引等數量）以獲得較高評價績效所帶來的不良影響。因此，本文構建的期刊評價指標體系在總體上具有一定的科學合理性，與《總覽》等傳統做法不同，能夠適用于不同學科領域期刊評價；在指標選擇方面，既兼顧各類期刊的內在特征和外在影響，又考慮不同期刊的辦刊特色或方向，能夠較公平和客觀地體現與評價期刊學術質量；在指標權重分配方面，既包含專業成分又融入學科特色，同時涵蓋基礎與學科兩類權重，一定程度上避免了專家偏向等主觀影響。

［參考文獻］

［1］朱強，等．中文核心期刊要目總覽（第六版）［M］．北京：北京大學出版社，2011：1－18.

［2］南京大學中國社會科學研究評價中心-來源期刊目錄 ［EB/OL］.［2012－08－16］．http://cssci.nju.edu.cn/news.as-p?ChannelID=9.

［3］中國科學引文數據庫項目組．中國科學計量指標:期刊引證報告（2011年卷）［R］.北京：知識產權出版社，2012：1－10.

［4］萬錦堃,薛芳渝.中國學術期刊綜合引證報告（2009年版）［R］.北京：科學出版社，2010：1－10.

［5］曾建勛．2010年版中國期刊引證報告（擴刊版）［R］.北京：科學技術文獻出版社，2010：1－8.

［6］邱均平，等．中國學術期刊評價研究報告：RCCSE權威、核心期刊排行榜與指南 （2011－2012）［R］.北京：科學出版社，2011：8－26.

［7］龐景安,等.中國科技期刊綜合評價指標體系的研究［J］.中國科技期刊研究，2000（4）：217－219.

［8］師昌緒，李廷杰．自然科學學術期刊綜合評價指標體系研究［J］.中國科技期刊研究，2001，12（3）：165－168.

［9］蘇新寧.人文社會科學期刊評價指標體系研究［J］.圖書館論壇，2006，26（6）：59－65.

［10］白景永．基于職業成長的高校教師科研能力評價體系設計 ［J］.繼續教育研究，2011（7）：39－41.