河南省自然科學期刊學術影響力評價指標體系的構建*

張 猛,楊永利，施學忠，賈曉燦，夏振華，程志偉

鄭州大學公共衛生學院衛生統計學教研室 鄭州 450001

河南省自然科學期刊學術影響力評價指標體系的構建*

張 猛,楊永利，施學忠#，賈曉燦，夏振華，程志偉

鄭州大學公共衛生學院衛生統計學教研室 鄭州 450001

#通信作者，男，1964年5月生，博士，教授，研究方向：衛生服務統計方法與應用，E-mail：xzshi@126.com

自然科學期刊；學術影響力；指標體系；Delphi法；層次分析法

目的：建立河南省自然科學期刊學術影響力評價指標體系并確定各指標權重。方法：采用文獻分析法和Delphi法進行指標的篩選，采用層次分析法計算各級指標的權重。結果：建立了一套由4個一級指標和15個二級指標組成的二級指標體系：一級指標包括稿源特征指標、引文指標、收錄指標和網絡傳播指標，其權重分別為10.7%、53.2%、17.5%和18.7%，所有指標兩兩比較判斷矩陣滿足CI<0.10。結論：建立的河南省自然科學期刊學術影響力評價指標體系具有較好的科學性和可操作性。

科技期刊匯集了大量的科學研究成果，一個國家科技期刊質量的優劣直接反映了其科學技術的發展水平以及知識創新的能力[1-3]?？萍计诳脑u選是科學文獻發展到一定階段的必然產物，科技期刊的評價工作為優化科技期刊的使用情況提供重要的參考依據，同時可以提高科技期刊的內在質量，促進科技期刊的健康成長和發展[4]。由于科技期刊專業繁多，內容專深，難于量化、規范化和標準化等特點，迄今還沒有一套較成熟的針對自然科學期刊學術影響力的評價指標體系[5-7]。該研究擬采用文獻分析法、專家咨詢法與層次分析法，從稿源特征、引文指標、收錄情況和網絡傳播情況4個方面建立一套比較全面的自然科學期刊學術影響力評價指標體系，為自然科學期刊學術影響力的評價工作提供依據。

1 材料與方法

1.1 指標體系的構建步驟 第1步：擬定河南省自然科學期刊學術影響力評價指標體系。采用文獻分析法，在多個數據庫中檢索近些年有關自然科學期刊綜合評價指標體系或者期刊學術影響力評價指標方面的中英文文獻。收集文獻后，對檢索到的重要文獻進行分析；然后成立專題討論小組進行多次討論，初步確定河南省自然科學期刊學術影響力評價指標體系的基本內容。

第2步：第1輪專家咨詢。采用專家咨詢法，通過郵件發送專家評議表的形式征詢專家對河南省自然科學期刊學術影響力評價指標體系各級指標的意見與建議。咨詢的對象為來自于全國18種期刊的主編和編輯以及有多年審稿經驗的專家共20人。此輪專家咨詢的主要目的在于對討論小組擬定的指標體系進行修訂，專家可對指標的增加、刪減或者修改提出意見，若指標得到65%的專家認可則該指標可進行指標的重要性、可行性和靈敏性的評價。若待評價指標的中位數大于7，變異系數小于0.25，則該指標將被保留在評價指標體系中，反之則被刪除。

第3步：第2輪專家咨詢。第2輪專家咨詢同樣以郵件發送專家評議表的形式進行。咨詢的對象與第1輪相同。此輪專家咨詢的主要目的在于對指標體系中各級指標的重要性進行兩兩比較，建立判斷矩陣。

1.2 指標體系的分析方法 采用層次分析法確定各級指標的權重，其基本步驟為[8-9]：①分解研究問題(總體目標)，建立遞階層次結構，形成目標樹圖。②構建兩兩比較判斷矩陣，計算各指標相對權重。③進行一致性檢驗，對各指標向量進行歸一化處理后，對計算所得的權重系數進行檢驗，看其是否符合邏輯。一般認為，當CI<0.10時，可能無邏輯混亂，即計算所得的各項指標的權重可以接受。④運用乘積法計算出最下層(方案層)指標的組合權重。

1.3 統計學處理 將專家咨詢結果用EpiData雙錄入，利用Excel分析各指標的中位數、變異系數并進行一致性檢驗。

2 結果

2.1 Delphi法結果 第1輪專家咨詢，共發送專家咨詢評議表20份，回收有效專家咨詢評議表19份，專家積極系數為95%。19名專家，中位年齡49.2(35～60)歲，審稿經歷中位數14.8 a。第2輪專家咨詢，共發送專家咨詢評議表19份，回收有效專家咨詢評議表17份，專家積極系數為89%。17名專家，中位年齡48.6(35～60)歲，審稿經歷中位數14.1 a。見表1。

表1 專家基本情況 例(%)

2.2 指標體系篩選結果 根據兩輪專家咨詢結果，確定了河南省自然科學期刊學術影響力評價指標體系為4個一級指標和15個二級指標組成的二級指標體系，其中一級指標包括稿源特征指標、引文指標、收錄指標和網絡傳播指標(表2)。

2.3 指標權重計算結果 層次分析法計算結果顯示一級指標稿源特征指標、引文指標、收錄指標和網絡傳播指標的權重分別為10.7%、53.2%、17.5%和18.7%，CI<0.10。見表2。

表2 自然科學期刊學術影響力評價指標體系及其權重

3 討論

3.1 Delphi法 Delphi法是一種常用的主觀評價方法，可以充分利用專家的經驗并且操作簡便快捷，適用于初篩大量的指標和定性研究。專家咨詢法的關鍵在于專家的挑選，其直接決定了問詢結果的可靠性和有效性[10-11]。一般問詢的專家是從與研究課題有關的各分支學科中選擇的有經驗的專家。若專家選取不當，一方面可能增加評價中的偏倚，另一方面則可能導致輪回之間應答率下降。該研究選取的20名專家為來自于18種期刊的主編和編輯，審稿經歷較長，均熟悉期刊評價工作，具有較強的權威性和代表性，保證了該研究專家咨詢結果的可靠性。

3.2 評價指標的選取及其權重分析 能夠反映期刊學術影響力的指標有很多[12-14]。按照評價指標的時限性進行劃分，可以分為靜態指標和動態指標。多數指標為靜態指標，常用于同一年中多種期刊之間的比較，如該研究所選取的稿源特征指標等；動態指標可用于縱向觀察同一種期刊多年來自身學術影響力大小的變化，例如該研究選取的趨勢指數。該研究采用層次分析法確立了各級指標的權重，研究結果顯示一級指標“引文指標”下的“影響因子”所占權重最大(15.2%)，其次是他被引率(12.5%)。影響因子是在承認單篇文獻被引次數越高越好的前提下，評價期刊作為一個文獻的集合所反映的影響力水平高低的指標。但影響因子只能在一定程度上反映期刊的學術質量，并不能完全等同于期刊的學術質量。該研究在專家咨詢法中對各指標的重要性、可行性以及靈敏性進行評價，經過兩輪的專家咨詢，各級指標均通過了一致性檢驗，專家咨詢的結果符合邏輯性。嚴謹的分析過程保證了評價指標體系的邏輯性、科學性以及合理性。

3.3 該評價指標體系的優勢和局限性 目前國內外還沒有一套較為成熟和公認的針對自然科學期刊學術影響力進行評價的評價指標體系，該研究較為全面系統地建立了自然科學期刊學術影響力評價指標體系，指標體系包括了稿源特征指標、引文指標、收錄指標以及網絡傳播指標4個方面，能較為科學和合理地反映期刊的學術影響力。在指標的選取上，該體系具有動態指標與靜態指標相結合的特點[15]，動態評價與靜態評價相結合，是該指標體系的另一個創新點。在指標體系建立的過程中，專家選取是關鍵，直接決定了指標體系的可靠性。該研究的另一個優勢為選取的專家均為期刊界的權威專家，有豐富的審稿經驗并且熟悉期刊評選工作，代表性好，保證了該研究所建立的指標體系的可靠性、科學性以及合理性。

但是該指標體系依然存在不足和局限性。由于用于期刊評價的指標繁多，且每個指標都存在不可避免的優缺點，從而導致了期刊評價指標體系建立工作的復雜性。咨詢的專家在對每個指標進行篩選和評價時可能存在認識角度的不同，使得評價工作存在一定的局限性。目前仍有許多研究者不斷提出新的期刊評價指標，因此對于期刊評價指標體系的建立仍需要在以后的實踐中進一步完善。

總之，該研究建立了由二級指標組成的自然科學期刊學術影響力評價指標體系，構建過程中專家積極性好，代表性強，可信度高，構建過程嚴格，指標體系各層符合邏輯，一致性較好，可為期刊管理部門對期刊的選優以及優化提供科學依據。

[1]李宗紅.我國師范高校自然科學學報影響力探析[J].中國科技期刊研究,2007,18(2):260

[2]何莉,董梅生,丁吉海,等.安徽省高校自然科學學報學術影響力綜合評價分析:基于因子分析法[J].中國科技期刊研究,2014,25(3):427

[3]自然科學學術期刊評價指標體系研究課題組.自然科學學術期刊綜合評價指標體系研究[J].中國科技期刊研究,2001,12(3):165

[4]俞立平,潘云濤,武夷山.學術期刊來源指標與影響力關系的實證研究[J].科研管理,2010,31(6):173

[5]SEGLEN PO.Why the impact factor of journals should not be used for evaluating research[J].BMJ,1997,314(7079):498

[6]FALAGAS ME,KOURANOS VD,ARENCIBIA-JORGE R,et al.Comparison of SCImago journal rank indicator with journal impact factor[J].FASEB J,2008,22(8):2623

[7]VINTHER S,ROSENBERG J.Impact factor trends for general medical journals:non-English-language journals are lagging behind[J].Swiss Med Wkly,2012,142(12):w13572

[8]孫振球.醫學綜合評價方法及其應用[M].北京:化學工業出版社,2006.

[9]孫振球,王樂三.綜合評價方法及其醫學應用[M].北京:人民衛生出版社,2014.

[10]SCHMIDT R,LYYTINEN K,KEIL M,et al.Identifying software project risks:an international Delphi study[J].J Manage Inform Syst,2001,17(4):5

[11]WAMBA SF,NGAI EW.Importance of issues related to RFID-enabled healthcare transformation projects: results from a Delphi study[J].Prod Plan Control,2015,26(1):19

[12]GARFIELD E.Citation analysis as a tool in journal evaluation[J].Science,1972,178(4060):471

[13]BONNEVIE-NEBELONG E.Journal citation identity,journal citation image and internationalisation:methods for journal evaluation[J].Scientometrics,2006,66(2):411

[14]ROUSSEAU R.Journal evaluation:technical and practical issues[J].Libr Trends,2002,50(3):418

[15]姜聯合.科技期刊學術質量評價體系的動態優化[J].編輯學報,2001,13(5):251

(2017-05-17收稿 責任編輯姜春霞)

Construction of evaluation index system of natural science journals′ academic influence in Henan Province

ZHANGMeng,YANGYongli,SHIXuezhong,JIAXiaocan,XIAZhenhua,CHENGZhiwei

DepartmentofHealthStatistics,CollegeofPublicHealth,ZhengzhouUniversity,Zhengzhou450001

journal of natural science;academic influence;index system;Delphi method;AHP

Aim: To establish the evaluation index system for academic influence of journals of natural science in Henan Province and define the weight of each index.Methods: Document analysis method and Delphi method were used to screen the index,and then the weight of each index was defined by calculation with AHP.Results: The evaluation index system of natural science journals′ academic influence included the first level indicators such as the source characteristics index, citation index, indexed index and network communication index with weight of 10.7%,53.2%,17.5%, and 18.7% in order. On this basis, 15 second level indexes were chosen.CI<0.10.Conclusion: The evaluation index system for academic influence of natural science journals in Henan Province is scientific and operable.

10.13705/j.issn.1671-6825.2017.04.010

*河南省高等學校重點科研項目 15A330005

R195.1