不同目的導向下期刊分級評價體系構建研究?

●俞立平

浙江工商大學統計與數學學院,杭州,310018

引言

進入21 世紀以來,尤其是近10 年,國家對科技期刊的重視程度與日俱增。 比如,2012 年起實施的中國科技期刊國際影響力提升計劃,2016 年實施的中國科技期刊登峰計劃,2019 年開始實施的中國科技期刊卓越行動計劃,2021 年中宣部、教育部、科技部發布的《關于推動學術期刊繁榮發展的意見》。這些方針政策的出臺,目的導向明顯,盡管關注焦點不同,但總體上都是為了提升中國科技期刊的質量和水平,努力打造世界一流科技期刊。

期刊包括科技期刊與哲學社會科學期刊,期刊的分級評價就是對同類期刊分級后采取不同的評價標準和評價體系進行評價。 通常情況下,科技期刊可以分為權威期刊、核心期刊和一般期刊,不同級別的科技期刊使命擔當是不一樣的,國家對不同級別科技期刊的要求不一樣,學術界和廣大讀者對不同級別期刊的期望也不一樣。 科技期刊評價工作同樣對科技期刊辦刊活動具有重要的“指揮”作用[1],盡管開展期刊評價工作的主體有所不同,但如果還采用同一評價體系進行評價,顯然無法達到評價目的。現有的幾乎所有的學術期刊評價體系,均沒有關注這個問題。

開展期刊的分級評價具有重要意義。 首先,在理論上對期刊分類和分級進行系統梳理,明確期刊分級評價的意義、作用和必要性,從而豐富期刊評價理論。 其次,在實踐中有利于不同級別的期刊明確自身定位,提升辦刊質量和水平。 最后,有利于政府部門加強對期刊的管理,發揮體制機制優勢,使得科技期刊更好地服務國家創新戰略。

關于期刊的辦刊方針、目的和使命,胡小洋、曹啟花[1]認為,辦好科技期刊一定要強化服務理念,堅持質量和價值第一的用稿標準,做好內容、做精傳播、做足服務。 蘇新寧、楊國立[2]指出應調整期刊宏觀布局,深化集群建設,拓寬辦刊國際視野,重視數字出版與開放獲取,提升期刊傳播力與影響力,從而打造國際一流期刊。 陳宏宇、武文[3]強調中文科技期刊應面向國家需求,明確目標定位,提升知識服務能力,建立品牌特色。 秦明陽等[4]認為中文科技期刊需要推動科技成果轉化,助力《中國制造2025》的實施,重點支持學科建設,面向世界傳播中文科技成果。 王敏等[5]提出在國家創新建設和發展的關鍵時期,科技期刊要肩負起歷史使命,響應時代的號召,積極推動科技期刊服務國家創新建設和社會進步。

關于期刊目的導向與期刊評價存在的問題,葉繼元[6]指出評價目的制約評價主體的選擇,評價客體(學術期刊)的分類,評價方法的運用,標準及指標的設計,評價程序制定的安排等。 劉雪立、郭佳[7]認為政府主導的期刊評價往往側重評獎和定性分析,以及形式規范評價。 嚴謹等[8]發現中國科技期刊的作用與其應承載的社會責任不協調,科技期刊未能在國家科技發展戰略中發揮應有的作用。劉美爽等[9]研究指出,由于部分林業期刊辦刊宗旨不明確,市場定位不嚴謹,片面追求高影響因子,刊發文章內容混雜,導致期刊出現既缺乏學術性又缺乏實用性的問題。 范瑜晛等[10]提出由于學術評價機制中對論文質量的認定直接與期刊等級掛鉤,導致影響因子主導期刊評價,同時也正在改變科技期刊的發展與命運。

關于期刊的分級評價問題,吳紅光等[11]認為期刊分級是現實的需要,產生期刊分級功能異化的根源目前尚不能消除。 車德競[12]研究發現目前各行業科技期刊兩極分化嚴重,期刊發展趨于同質化,期刊結構不合理,強調要重視非核心期刊的發展。 臧莉娟、葉繼元[13]指出推動科技創新、傳播科技成果不能只依靠核心期刊,非核心期刊的建設同樣重要。

從現有的研究看,由于國家需求不同、辦刊主體不同、辦刊定位不同,科技期刊的辦刊目的和辦刊導向也有較大差異。 科技期刊評價理論與方法盡管已經取得了較大的進步,但在解決不同目的導向的期刊評價中,尚存在不少問題,這些問題有些是可以適當解決和優化的,有些是目前理論和方法尚難以克服的。 對于期刊的分級評價,學術界已經意識到這個問題,但尚未有解決方法。 總體上,在以下方面有待進一步深入研究。

第一,目前的期刊分級體系與框架如何明確?盡管不同文獻在各自角度均有所涉及,但缺乏系統的分類分級框架。 這是學術期刊分級評價的基礎,有待進一步厘清。

第二,對于權威期刊、核心期刊與一般期刊,其評價的目的與導向有哪些? 這些目的導向與期刊分級是什么關系? 這是期刊分級評價的前提條件,需要深度分析。

第三,對于核心期刊與一般期刊,在現有條件下,應分別建立什么評價體系? 采用什么評價方法?這也有待進一步構建和探索。

本文在理論分析的基礎上,以農業經濟類期刊為例,構建權威期刊、核心期刊、一般期刊評價的3套指標體系,并進行實證,最后就相關問題再進行進一步討論。

1 理論分析

1.1 期刊分級體系的構建

期刊分類是期刊分級的基礎,當然期刊的分類標準很多,如按照國際國內、主管部門、辦刊單位、行政級別、學科等分類。 通常情況下,人們更關注按照學科分類,很多場合下期刊分類評價特指按學科分類。 在學科分類的基礎上,對于同一學科的期刊,大致可以分為學術期刊、技術與應用期刊、科普期刊等,這3 類期刊均為本文的研究對象。 孔慶勇等[14]將科技期刊分為國際化期刊、品牌化期刊、專業化期刊、實用類期刊、普及類期刊的金字塔結構,該分級體系過細。 由于自然科學與社會科學相差較大,如自然科學期刊中有技術應用類期刊,在人文社科中有應用類期刊,為了統一進行區分,從是否為核心期刊角度進行分類更有意義,所以本文期刊分類只大致分為權威期刊、核心期刊與一般期刊3 類,與期刊分級評價對應。 權威期刊是學科類國內一流期刊,權威期刊全部是學術期刊;核心期刊一般以學術期刊為主,也包括少量的技術與應用期刊;一般期刊以技術與應用期刊為主,當然也包括一些學術期刊和科普期刊。 期刊分級體系如圖1 所示。

圖1 期刊分級體系

1.2 期刊分級與評價目的導向的關系

權威期刊或領軍期刊,代表了學科領域國內的最高水平,一般只有少數幾種期刊,對這些期刊的評價目的主要是打造世界一流科技期刊、世界知名期刊,其肩負著傳承人類文明,薈萃科學發現,引領科技發展的重任。

核心期刊是學科領域內辦刊質量高、有影響力的期刊,其評價目的導向包括多個方面:第一,對于科技期刊,要服務創新型國家建設,面向國家重大戰略需求;對于哲學社會科學期刊,要建設有中國特色、中國風格、中國氣派的學科體系、學術體系和話語體系。 第二,較高的內容質量。 學術質量是核心期刊的首選要求,盡管由于科技評價的復雜性,這個問題目前尚未得到根本解決,但學術質量作為評價目的導向從未動搖。 第三,傳播力、影響力、國際化。學術期刊必須重視學術傳播,努力提高影響力,并注意國際化水平的提升。

一般期刊數量最多,是我國期刊的重要組成部分,對于特色學科發展、人才培養與科學普及等具有重要作用。 其辦刊目的與導向也包括多個方面:第一,對于一般科技期刊,強化對新技術、新規律、新方法、新知識的解讀,并轉化為生產力;對于哲學社會科學期刊,強調傳播國家方針政策與人文精神。 第二,必須注重將社會效益放在首位,同時兼顧經濟效益和社會效益。 第三,提高民眾整體科學素質與人文素養,培養人才。 第四,必須注意基本的學術規范與形式要求。

表1 期刊級別與評價目的導向的關系

1.3 期刊分級與評價指標體系

在確定期刊分級以后,就可以根據評價目的導向和現有的指標數據分別確定評價指標,本文選取中國知網·中國科學文獻計量評價研究中心2020年發布的《中國學術期刊影響因子年報(人文社會科學)》(以下簡稱《中國知網年報》)數據,以農業經濟類期刊為例進行研究。 由于數據的可得性,某些期刊評價目的導向方面可能沒有合適的指標,在現有的條件下,分別建立權威期刊、核心期刊、一般期刊的評價體系(見表2)。 需要說明的是,由于不同數據庫引文數據所限,本文研究僅僅作為一個案例說明相關問題,難以體現評價指標體系的完整性。

表2 評價分級與評價指標

權威期刊:從綜合影響力、時效性、知識信息量3 個方面選取指標體系。 科技期刊影響力應遵循“受眾即市場”規則,科技期刊管理應引入“市場化”機制[15]。 綜合影響力指標包括h 指數、CI 指數2 個引用類綜合指標,另外選取1 個網絡指標(Web 即年下載率)。 沒有選取傳統的引文指標是因為h 指數和CI 指數是綜合引文指標,總體上更加側重期刊學術質量。 時效性是期刊的生命力,體現知識更新速度,選取被引半衰期和引用半衰期指標。 知識信息量指標選取載文量(正向),在中國科技期刊卓越行動計劃中,明確要求領軍期刊的載文量要穩中有升。 權威期刊評價舍棄了出版規范與學術繼承指標,因為對于權威期刊而言,論文質量較高,期刊管理規范,更加注重學術創新,所以沒有必要考慮這2個指標。

核心期刊:從綜合影響力、時效性、學術繼承3個方面建立評價體系。 綜合影響力、時效性指標與權威期刊相同,核心期刊是科技創新的主體,數量較多,影響較大,許多期刊其實是二級或三級學科中的頂級期刊,因此不應該降低這2 個方面的要求。 至于學術繼承指標,選取篇均引用期刊、平均引文數2個指標,它們反映期刊論文借鑒前人的研究成果并在此基礎上進行再創新的情況。 核心期刊沒有選擇出版規范指標,是因為這些已經不影響核心期刊質量。

一般期刊:從一般影響力、時效性、出版規范與學術繼承3 個方面選取評價指標進行評價。 一般影響力指標包括他引影響因子、即年指標這2 個傳統的文獻計量指標,另外選取網絡指標Web 即年下載率。 之所以沒有選取h 指數、CI 指數指標,是因為一般期刊的影響力相對較弱,論文質量總體一般。另外為了防止一般期刊人為操縱影響因子,舍棄了影響因子指標,只采用他引影響因子。 出版規范與學術繼承指標包括基金論文比、載文量(區間)、篇均引用期刊、平均引文數,采用基金論文比指標評價一般期刊有一定的積極意義。 學術規范不僅是指出版編輯、格式、引注等技術性規范,還包括是否具有批判性思維、科學精神、獨立思考、學術創新、學術積累、求真與致用、平等與合作等基本要求[2]。

在一般期刊評價中,載文量是一個區間指標,既要防止期刊灌水導致載文量較大,也要防止期刊人為控制載文量來操控影響因子,因此對于學科內載文量較高的期刊和載文量較低的期刊,均需要通過一定的規則和扣分方式進行必要的基礎數據處理。

2 研究方法與數據來源

2.1 加權TOPSIS 方法

本文采用加權TOPSIS 方法來進行評價,該評價方法由Hwang C L 等[16]首先提出,其計算公式如下:

公式(1)中,F為標準化后評價指標,F+、F-分別為最好的、最差的評價值,也稱為理想解和負理想解,ω為評價指標的權重。j為評價指標編號,n為評價指標個數。Q為TOPSIS 方法的評價結果,其值介于0~100 之間,數值越大說明評價對象越好。

2.2 分級評價標準化方法及載文量標準化方法

2.2.1 分級評價標準化方法

企業要著眼于人的發展，以人為本，創造和諧的企業文化環境。人在企業的文化建設之中是最重要的要素，堅持以人為本，體現人的價值，發揮員工的價值，調動他們的積極性，開發員工的創造性思維。這樣能夠促進企業的創新，使員工對企業的發展更有信心的同時，也明白自己的價值，對未來的發展更加充滿信心。提升企業的價值，留住人才、吸引人才，充分地發揮人才的能力，為企業的發展注入源源不斷的動力。

由于是按照期刊級別進行分類評價,并且指標體系各不相同,因此標準化方法是根據期刊級別各自進行標準化,這樣3 類期刊的分級評價結果就不具有可比性。

對于權威期刊,由于總體期刊數量較少,因此繼續采用傳統的極大值方法進行標準化。 對于核心期刊和一般期刊,考慮到期刊評價指標往往不服從正態分布[17],這樣評價數據可能存在較大偏倚,會嚴重影響評價結果,因此本文采用Sigmoid 函數進行標準化,Sigmoid 函數圖像如圖2 所示。

圖2 Sigmoid 函數

Sigmoid 函數具有成長曲線的全部特征,便于模擬期刊成長發展規律,其值介于0~1 之間,具有直接判斷優劣的功能。 標準化時首先要計算評價指標的z值,即:

公式(2)中,X表示原始期刊評價指標,μ表示平均值,δ表示標準差。 將z值代入Sigmoid 函數,就是標準化值Y,即:

2.2.2 一般期刊評價中載文量標準化方法

在一般期刊評價中,載文量是個區間指標,當期刊載文量排序位于所有期刊的20%~80%之間時,其標準化得分均為100,當期刊載文量排序在前20%或后20%時,根據以下公式進行減分:

公式(4)中,根據“二八定律”,m為排序位于前20%或后20%的期刊數量,k為某期刊的序號。 舉例如下:

假設某學科載文量較高的20%的期刊共有6個,那么對于第1 個期刊而言,載文量標準化得分為60,第2 個期刊載文量標準化得分為66. 66,以此類推。

假設另一學科載文量較低的20%的期刊有8個,載文量最低的期刊標準化得分為60,載文量倒數第2 的期刊載文量標準化得分為65。

公式(4)中,40 相當于對載文量過低/過高期刊的懲罰系數,該值越大,懲罰越嚴重。 當載文量在一定合理范圍內波動時,可以不進行懲罰,比如最低載文量大于平均值的30%,或最高載文量小于平均值的3 倍(計算平均值時要將最高載文量期刊刪除)。此外對于一般期刊中的科普期刊,由于其定位特殊,如果其載文量過高,也可以不進行懲罰。 一切根據評價目的導向、學科特點、期刊同行評議情況等靈活決定。

2.3 權重確定

各級別期刊評價指標的權重根據專家會議法確定,本研究邀請了評價界7 位專家進行討論,經過2輪打分,專家意見趨于一致,結果如表3 所示。

表3 期刊分級評價指標及權重

2.4 數據來源

本文以《中國知網年報》2020 年數據為例進行相關分析。 農業經濟類期刊共有51 種,由于部分期刊數據缺失,因此刪除了《湖北農機化》《農村經營管理》《江蘇農村經濟》《國土資源》《上海農村經濟》《中國合作經濟》《黑龍江糧食》《浙江國土資源》,實際剩下43 種期刊。

關于權威期刊與核心期刊的界定,以《中國知網年報》(2020 年)Q1 期刊為主,兼顧CSSCI 來源期刊目錄(2021—2022)、《中文核心期刊要目總覽》(2020 年版)、《中國人文社會科學期刊AMI 綜合評價報告(2018 年)》。

關于核心期刊的數量與比例,根據布拉德福定律,核心區與相關區及邊緣區的期刊數成一定的比例,核心區里少數期刊刊發了本領域大量論文,因此核心期刊數量不宜過多。 農業經濟類期刊中Q1 期刊有12 種,占期刊總數(51 種)的23.53%,這些期刊中,8 種屬于CSSCI 來源期刊目錄(2021—2022),11 種屬于《中文核心期刊要目總覽》(2020 年版)。這12 種全部屬于《中國人文社會科學期刊AMI 綜合評價報告(2018 年)》的核心或擴展版,因此將這12 種期刊作為核心期刊和權威期刊是合適的,其他期刊則作為一般期刊。

至于權威期刊的確定,根據有農林經濟管理博士點高校的期刊分級目錄,確定絕大多數高校公認的2 種期刊《中國農村經濟》《農業經濟問題》作為權威期刊。 權威期刊與核心期刊的界定具體如表4所示。

表4 權威期刊與核心期刊的界定

3 評價結果

3.1 權威期刊評價指標與評價結果

權威期刊評價指標與評價結果如表5 所示,《中國農村經濟》在h 指數、CI 指數、Web 即年下載率3 個綜合影響力指標方面表現優秀;《農業經濟問題》在引用半衰期、被引半衰期2 個時效性指標方面表現優秀,在載文量上表現也比較優秀。 綜合評價結果是《中國農村經濟》第一,《農業經濟問題》第二。

表5 權威期刊評價指標及評價結果

3.2 核心期刊評價指標與評價結果

核心期刊評價指標與評價結果如表6 所示,由于CI 指數主要根據影響因子和總被引頻次來評價,因此CI 指數的排序結果與TOPSIS 評價結果的排序有一定的差異,平均排序差異為2.0,即每個期刊的排序相差2 個位次,可以說這個差異比較大。

表6 核心期刊評價指標及評價結果

表7 一般期刊評價指標及評價結果

3.3 一般期刊評價指標與評價結果

對于一般期刊評價,除了對數據進行標準化,對載文量也單獨進行標準化,需要用到2 種標準化方法。 在載文量標準化時,按20%的比例計算需要標準化的期刊數量,共有4 種期刊,《農村經濟與科技》載文量為7 539,《山西農經》載文量為4 837,《時代農機》載文量為3 237,《農業工程》載文量為930。 除去這4 本期刊,載文量均值為236 篇,其中30%為70.8 篇,小于最低載文量92 篇,因此對于低載文量期刊可以不進行懲罰。

3.4 核心期刊與一般期刊評價的統計特征分析

由于權威期刊極少,因此對其評價結果進行統計學特征分析沒有意義,因此這里僅對核心期刊和一般期刊評價結果的統計指標特征進行分析。

核心期刊評價結果的描述統計如圖3 所示,其均值接近60,說明其區分度很大,當然不宜用百分制評分中60 分及格的標準來進行評價,其離散系數為14.75%,Jarque-Bera 正態分布檢驗表明,不能拒絕正態分布的原假設。

圖3 核心期刊評價結果描述統計

一般期刊評價結果的描述統計如圖4 所示,其均值同樣接近60, 區分度較好, 離散系數為20.50%,Jarque-Bera 正態分布檢驗表明,不能拒絕正態分布的原假設。

圖4 一般期刊評價結果描述統計

綜上所述,基于Sigmoid 函數進行標準化和使用加權TOPSIS 法對核心期刊和一般期刊進行評價,評價得分擁有較好的區分度,更加接近正態分布,是一種較好的評價手段。

4 結論與討論

4.1 期刊必須進行分級評價以體現不同的目的和導向

本文提出在按學科對期刊分類的基礎上必須進行分級評價,將學術期刊分為權威期刊、核心期刊和一般期刊,以體現不同的評價目的與評價導向,這樣才能引導不同級別的學術期刊差異化發展,從而在創新型國家建設中發揮不同的作用。 對于期刊數量較多的學科,在分級時也可以進一步細化。

4.2 不同級別的期刊評價體系各有側重

權威期刊代表了學科最高水平,評價體系應重視學術質量、時效性和知識信息量,一般不需要考慮形式規范指標,要鼓勵其爭創國際一流期刊,適當擴大載文量。 核心期刊同樣要注重其綜合影響力、學術質量、時效性、學術繼承,影響力指標兼顧引文指標和網絡下載率。 一般期刊要重視一般影響力、時效性、出版規范與學術繼承,同時對過高載文量與過低載文量期刊進行適當引導和規范。

4.3 本文研究方法具有較好的統計學性質

對期刊數量較多的核心期刊與一般期刊進行評價,均采用Sigmoid 函數進行標準化,并采用加權TOPSIS 方法進行評價。 對中國知網農業經濟類期刊的研究表明,該評價方法具有較好的區分度,離散系數合理,大大改善了許多文獻計量指標不服從正態分布的情況,并且評價結果更加接近正態分布,具有較好的統計學性質。

4.4 分級評價可不斷優化各級別指標體系

由于數據所限,本文選取的評價指標種類和數量尚待優化,可以結合評價目的、數據獲取情況,不斷優化各自評價指標,使得學術期刊分級評價體系更加完善。 此外對于權威期刊,由于其總體數量不多,還可以采用同行評議法進行評價,這樣更有利于提出改進建議,推動權威期刊邁向更高水平。

本文是基于中國知網農業經濟類期刊的分級評價得出的結論,除了理論分析,實證部分內容受研究對象、研究數據的影響可能會存在一定差異,有待進一步研究。