基于發表時間標準化體系的論文評價方法

摘要：【目的】為了科學地評價期刊論文，在初選階段引入評價指標的時間標準化體系，將不同月份發表論文的評價指標進行時間標準化折算，避免潛在的不公正影響?！痉椒ā恳浴豆喔扰潘畬W報》2016年發表的論文為例，選取下載量、引用頻次、在線閱讀數、收藏數、評論條數、推薦量作為評價指標，采用時間標準化體系折算各指標，采用距離綜合評價法對期刊論文進行優劣評價，為期刊論文評價提供一種新的、科學的評價方法。【結果】未進行時間標準化時，論文P2的綜合評價結果最優，論文P7次之，論文P4最差；進行時間標準化后，論文P2的綜合評價結果最優，論文P7次之，論文P5最差；2次評價結果相比較，最優的2篇（P2、P7）論文次序未變，其余論文次序變動較大?！窘Y論】在單篇論文評價時，可以同時計算出時間標準化處理前、后2組定量指標，進行綜合評判，有利于提升初步評價結果的說服力。

關鍵詞：時間標準化；論文評價；距離綜合評價法；學術期刊" " " " " " "中圖分類號：G302" " " " " " " " 文獻標識碼：A

文章編號：1671-0134（2023）05-027-05" " " " "DOI：10.19483/j.cnki.11-4653/n.2023.05.005

本文著錄格式：龐 穎，喬冬梅.基于發表時間標準化體系的論文評價方法——以《灌溉排水學報》為例[J[.中國傳媒科技，2023（05）：27-30，142.

導語

學術期刊作為科學研究活動的重要組成部分，具備著報道和傳播學科領域內科學發現和技術創新成果的功能。隨著現代科技的發展，科技期刊論文的質量必須提升。為了吸引優秀稿源，加快提升期刊論文的質量，各學術期刊紛紛出臺多種論文獎勵辦法，大部分通過評選優秀論文來實現。公平、公正、科學、合理的論文評價體系對評選優秀論文具有重要的意義，對期刊論文質量的提升有一定促進作用。應用核心期刊和期刊影響因子來衡量論文學術水平和內在價值并不妥當[1]，還要注重單篇論文的評價，尤其應當注重其被同行認可的程度，以引用次數和引用質量來共同評價研究成果。[2]目前存在的評價方法多是針對期刊的評價[3-4]，而且“以刊評文”現象較為普遍。但“以刊評文”不僅不適應評價數字出版的論文，也難適用于單篇論文的評價。[5]

針對單篇論文的評價逐漸受到學術界的重視。如鄭美鶯等[2]提出的PaperRank算法，通過計算出單篇論文的PaperRank值，從而實現對單篇論文的學術評價；何春建[6]主張兼顧施引文獻的數量與質量，建立包含TVF、TVF（n）及VF（t）等單篇論文影響力評價指標的指標體系。鐘文一等[7]提出了基于引證系數的論文影響力評價方法。王賢文等[8]提出了連續、動態和復合的單篇論文評價體系。上述方法各有優缺點，所涉及的指標并不全面。目前優秀論文的評選多以下載量、引用頻次等因素為依據，除此之外，瀏覽次數、評論次數、打印次數等信息都是對論文質量的反映。[9]因此對單篇論文的評價應該關注更多的指標。

定量評價方法和同行評議互為基礎、相互聯系，引文分析方法則給專家評議的主觀判斷提供客觀的數據和參考。[10]科技論文定量評價的主要方法包括傳統文獻計量評價法、網絡分析法、基于Altmetrics評價法和綜合評價方法。[11]綜合評價一般包括引文量、點擊量、論文年齡、自引、可獲得渠道數目、論文頁數和論文類型等指標[12]，且多是論文內部指標、外部指標和社會網絡分析指標相結合的論文評價體系，同時考慮論文的學術影響力和社會影響力。[8-9]采用社會網絡分析方法提煉論文評價指標，通過對指標進行標準化處理，構建綜合評價體系，標準化處理后的指標體系具有普適性。[13]目前替代計量學受到廣泛關注[14-15]，替代計量學方法具有公眾參與廣泛、數據更新實時、成本低等特點，非常適合數字出版時代的單篇論文評價。其中讀者意見的互動評價既尊重讀者的主體地位，又能增強作者在科研道路上的存在感。[16]

然而，由于每篇論文發表的年份或月份不一致，導致評價時的不對等，發表時間越早，其下載量、引用頻次等指標越有優勢，存在潛在的不公正影響；其次，已發表論文所產生的價值未必都以被引用的方式體現，尤其面向生產一線、政府或企事業管理決策部門等，參考學術論文就是為了生產實際更為方便、快捷，經濟效益更好，或使決策部門的決策方案更為科學合理，更多的是以瀏覽或下載來體現。當前數字出版發展火熱，加上微信公眾平臺的發展，使得論文傳播途徑不斷擴大，論文的收藏數、評論數、推薦量也能體現論文的價值。因此，本文綜合下載量、引用頻次、在線閱讀數、收藏數、評論條數、推薦量等指標，引入評價指標時間標準化體系，構建一套公平、公正、科學、合理的論文多指標綜合評價方法，以便于單篇論文的快速定量評價。

1.數據來源與研究方法

1.1" "確定期刊論文優劣的主要評價指標

期刊論文種類較多，但每種期刊均有其領域的代表性，實際操作中需根據每種期刊的特色選取較易獲取的有代表性的評價指標。本研究以《灌溉排水學報》為例確定下載量、引用頻次、在線閱讀數、收藏數、評論條數、推薦量為論文優劣的主要評價指標，并且假定所有指標對評價結果的影響是相同的。

1.2" "評價指標的時間標準化體系

由于每篇論文發表的月份（年份）不一致，導致評價結果的不對等，發表時間越早，其下載量、引用頻次、在線閱讀數等數值越大，評價為優的可能性越大。以目前學者較為關注的文章引用量為例，說明發表時間對引用量的影響。被引用的次數越多，說明該論文受人關注的程度越高，其學術影響力越大。[17]

2016年《灌溉排水學報》引用頻次前50的論文分布情況見圖1（引用頻次數據來源于中國知網，截止到2017年12月30日）。由圖1可知，高被引文章的發表時間多超過19個月，即主要分布在2016年第1～5期，且以2016年第1期的文章引用頻次最多，發表時間為12～18個月的論文引用頻次相對較低。若以引用頻次為主要參數進行單篇論文評價，后發表時間段的論文可能處于劣勢。

圖1" "2016年《灌溉排水學報》引用頻次前50的論文分布

為了避免上述評價過程中論文發表時間不對等，更科學地評價論文的優劣，引入評價指標的時間標準化體系，將每個指標均進行時間標準化，均乘以時間折算系數，其時間折算系數計算式為：

Ki=（T-Ti）/ ∑（T -Ti）" i=1，…，n，，" " " （1）

式中：Ki為時間折算系數，T為評價年度第1期論文刊出時間到評價時間的時間距離（月），Ti為論文刊出時間（月）；一般而言，論文發表時長對被引頻次的影響只在前2年表現比較明顯，因此Ti＜24。然后用各個指標乘以時間折算系數，將各個指標進行時間標準化處理，避免時間的不均衡影響。

1.3" "基于距離綜合評價法的論文優劣綜合評價

距離綜合評價法是根據評價對象與理想化目標的接近程度進行排序的方法，是在現有的對象中進行相對優劣的評價，其基本思路見圖2。

距離綜合評價法具體計算步驟如下：

1）構建原始評價矩陣，將原始矩陣標準化處理后，找出有限方案中最優方案和最劣方案（分別用最優向量和最劣向量表示）。

假設有n篇評價論文、6個評價指標，原始評價指標的數據可寫為矩陣X=（Xij）n×6。對指標進行歸一化變換，構造出標準化后的矩陣，即：

，j=1，2，…，6 （2）

歸一化得到矩陣Y=（Yij）n×6后，其各評價指標的最大和最小值構成的最優（Zmax）和最劣向量（Zmin）分別為：

（3）

（4）

2）分別計算各評價論文與最優和最劣的方案距離，與最優點越近越好，與最劣點越遠越好。第i個評價論文與最優（）和最劣（）的方案距離計算式為：

（5）

（6）

3）根據距離綜合評價法計算各評價論文與最優方案的相對接近程度Ci，最后通過對計算所得相對接近度進行排序實現優秀論文的綜合評價，其計算式為：

（7）

式中：Ci為第i個評價論文與最優方案的相對接近程度；Ci值越大，說明評價論文評價效果越好。

2. 數據分析

以《灌溉排水學報》2016年度發表的10篇高被引論文作為評價對象，根據前述指標計算方法計算出指標數據，將其作為算例，對10篇論文進行綜合評價。

2.1" "不考慮刊出時間的論文優劣評價

綜合考慮論文的下載量、引用頻次、在線閱讀數、收藏數、評論條數、推薦量，作為論文優劣的評價指標，原始數據見表1。

構建基于距離綜合評價法的評價矩陣，并將各指標進行歸一化處理，得到標準化矩陣：

Y’= （8）

利用標準化數據矩陣Y’計算得到最優方案（Zmax）和最劣方案向量（Zmin），即：

Zmax=（0.4522，0.4287，0.4493，0.5472，0.5231，0.5455）

Zmin=（0.2189，0.2572，0.1667，0.1412，0.1162，0.1091）

根據式（5）和式（6）計算得到10篇論文與最優方案和最劣方案的距離，并根據式（7）計算得到10篇論文與最優方案的相對接近程度Ci，對Ci進行排序實現論文優劣的綜合評價，計算結果及評價結果如表2所示。

Ci的值越大，表明評價值越優。由表2可知，論文的優劣綜合排序為 P2gt; P7gt; P6gt; P10gt; P1gt; P9gt; P5gt; P8gt; P3gt; P4；論文P2的綜合評價結果最優，論文P7次之，且前兩者之間的Ci值相差很小，論文P4最差，P2相對接近度Ci比P4高65.34%。

2.2" "考慮刊出時間的論文優劣評價

引入評價指標時間標準化體系，對論文各個指標進行時間標準化折算處理，本研究評價論文的刊出時間為Ti=（7，3，3，3，5，8，1，4，1，4）（i=1～10），根據式（1）計算時間折算系數Ki=（0.0846，0.1045，0.1045，0.1045，0.0945，0.0796，0.1144，0.0995，0.1144，0.0995）（i=1～10）。將原始數據進行時間標準化折算，其結果如表3所示。

構建基于距離綜合評價法的評價矩陣，并將各指標進行歸一化處理后得到標準化矩陣：

Y’=" （9）

利用標準化數據矩陣計算得到最優方案（Zmax）和最劣方案向量（Zmin）：

Zmax=（0.4291，0.4492，0.4925，0.5378，0.5872，0.6182）

Zmin=（0.2130，0.2054，0.1350，0.1457，0.1191，0.1075）

同樣，根據式（5）和式（6）計算得到10篇論文與最優方案和最劣方案的距離，并根據式（7）計算得到10篇論文與最優方案的相對接近程度Ci，計算結果及評價結果如表4所示。

從表4可以看出，進行時間標準化后，論文的優劣排序為 P2gt; P7gt; P10gt; P9gt; P1gt; P6gt; P3gt; P8gt; P4gt; P5。論文P2的綜合評價結果最優，論文P7次之，且前兩者之間的Ci值相差很小，論文P5最差，P2相對接近度Ci比P5高61.86%。

2次評價結果中，論文優劣前2位均為P2和P7，但最差論文則由處理前的P4變為P5；與表3結果相比，表4論文的優劣排序有所調整，P6、P5的排序均后退3個位次，P3、P9、P10的排序均提前?？梢姇r間標準化折算對論文優劣的評價有影響，有利于促進更科學合理地進行論文的優劣評價，使得評價結果更具有說服力。

3.結論

（1）基于距離綜合評價法進行單篇論文評價可以得出較為準確的定量數據，可為定性評價提供參考。

（2）以《灌溉排水學報》2016發表的10篇論文為例進行研究，基于距離綜合評價法進行論文評價時，最優論文為P2，最劣論文為P4；對論文下載量、引用頻次、在線閱讀數、收藏數、評論條數、推薦量進行時間標準化后再進行綜合評價發現，10篇優劣排序有所調整，最優論文為P2，最劣論文為P5。

（3）在進行單篇論文評價時應該考慮發表時間對論文各項評價指標的影響。建議在單篇論文評價時，可以同時計算出時間標準化處理前、后2組定量指標，有利于提升評價結果的說服力。

文章僅以《灌溉排水學報》2016年發表的10篇論文進行比較分析，是否適用于其他期刊或者大樣本的評價有待研究。另外進行時間標準化之后的結果對定性評價起到何種影響，需要結合定性評價進行系統深入分析。

參考文獻

[1]金鐵成. 科技論文評價中存在的三大誤區[J]. 中國科技期刊研究，2004（3）：284-286.

[2]鄭美鶯，梁飛豹，梁嘉熹. 單篇論文評價方法——PaperRank算法[J]. 科技與出版，2016（7）：94-98.

[3]吳濤，楊筠，陳晨，等. 基于因子分析法的科技期刊引文綜合評價指標研究[J].中國科技期刊研究，2015（2）：205-209.

[4]曾偉，田時中，田家華. 科技期刊學術影響力綜合評價模型與實證[J].中國科技期刊研究，2016（3）：316-323.

[5]喬曉東，田瑞強，姚長青. 從單篇論文評價視角看學術期刊的首篇文章[J]. 編輯學報，201（4）：307-311.

[6]何春建. 單篇論文學術影響力評價指標構建[J]. 圖書情報工作，2017（4）：98-107.

[7]鐘文一，陳云鵬. 基于引證系數的論文影響力評價方法研究[J]. 情報科學，2011（5）：706-712.

[8]王賢文，劉趁，毛文莉. 數字出版時代的科學論文綜合評價研究[J]. 中國科技期刊研究，2014（11）：1391-1396.

[9]林德明，姜磊. 科技論文評價體系研究[J]. 科學與科學技術管理，2012（10）：11-17.

[10]白如江，楊京，王效岳. 單篇學術論文評價研究現狀與發展趨勢[J]. 情報理論與實踐，2015（11）：11-17.

[11]齊世杰，鄭軍衛. 科技論文定量評價方法研究進展[J]. 情報理論與實踐，2017（10）：140-144.

[12]CHO S R. New evaluation indexes for articles and authors’academic achievements based on open access resources[J].Scientometrics，2008（1）：91-112.

[13]高錫榮，楊娜. 基于社會網絡分析方法的論文評價指標體系構建[J]. 情報科學，2017（4）：97-102.

[14]杜秀杰，葛趙青，卓選鵬，等. 數字出版時代學術論文的互動評價探索[J]. 編輯學報，2014（1）：10-12.

[15]PRIEM J，HEMMINGER B H. Scientometrics 2. 0：new metrics of scholarly impact on the social web[J]. First Monday，2010 （7）.

[16]PIWOWAR H. Altmetrics：value all research products[J].Nature，2013（7431）：159-159.

[17]張靜. 引文、引文分析與學術論文評價[J]. 社會科學管理與評論，2008（1）：33-38.

作者簡介：龐穎（1970-），女，河南衛輝，技術編輯，研究方向為期刊質量及影響力研究；喬冬梅（1978-），女，內蒙古包頭，研究員，研究方向為期刊發展。

（責任編輯：張曉婧）