學術期刊審稿視角下論文定性評價指標分析*

□文│趙 均 李 波

定性評價學術論文是評價者基于個人的教育背景、研究習得和對學術前沿的把握，對論文的意識形態導向、學術水平和寫作質量等做出的主觀價值判斷。學術論文定性評價的歷史悠久，與學術論文這種信息承載方式相伴而生，并且一度曾是唯一的論文評價方法。即使在時下“影響因子”作為主要評價指標的情況下，在精細化評價、比對性評價、定性定量相結合評價等工作中，定性評價依然有“一席之地”。隨著大數據分析方法的加入，定性評價也必將在學術論文評價中重新煥發生機，發揮更為重要的作用。

相較于學術論文的影響因子、被引頻次等定量評價指標而言，定性評價指標更加難以獲得公允，莫衷一是。這一點從各類學術論文評選和各家學術期刊審稿標準的不統一就可以看得出來。一方面，評價意見需要通過預先設定的定性評價指標來體現，以打分的形式獲得具體表達，否則難以實現評價意見的比較和匯總；另一方面，學術共同體對于論文定性評價指標的具體劃分和指向又沒有規范性的指導，再加上漢語詞匯意合性強、語義模糊的特點，更使得對于學術論文定性評價指標的表述難以獲得具象收斂。

定性評價是對學術論文最直觀顯性的主觀評價，定性評價指標的混亂在一定程度上也影響到了定性評價學術論文的有效性和整體一致性。對學術論文開展大數據分析評價更需要用戶依據統一的定性評價指標打分，這也使得對定性指標的劃分開展研究顯得尤為重要。理論上來說，學術論文定性評價指標不論如何劃分，都不可能是面面俱到、絕對正確的。盡管如此，仍舊應該對其展開深入研究，以實現盡可能最有利于評價者打出無限接近學術論文實際學術水平的分數。

一、定性評價標準的搜集整理

要想獲得普遍認可的學術論文定性評價指標，首先是要盡可能全面地搜集學術共同體對此的大量普遍認識。學術論文被公認為是最能迅速反映學術研究成果的信息承載方式，對論文定性評價標準的相關表述的搜集整理工作也應該從相關學術研究論文著手。

考慮到搜集的目標是獲得對于論文評價的各種相關表述，目的是為下一步凝練評價標準做準備工作。基于此，筆者通過中國知網，以“審稿”作為主題詞，搜集了2011-2020年間刊登在學術期刊和學術輯刊的16114篇論文。再對其進行優選，挑選被引用過的論文合計1686篇，將其作為基礎研究對象（見表1）。

表1 優選后的相關學術論文篇數（2011-2020）（截至2021年3月1日）

由于漢語的表達豐富性，同一種說法可以有多種表述。通過逐篇閱讀以上論文，在記錄其中有關審稿標準的內容、逐條進行甄別匯總歸并同類項的同時，也在歸并這些類型的表述。初次甄選合并確定有關審稿標準的條目如表2所示。

表2 初次甄選合并后的有關審稿標準條目數

二、評價指標的確定

評價工作的簡便性要求評價標準本身具有簡明性，如果設定的評價標準太多，必然會影響到學者評價打分的積極性，且以上搜集到的定性評價表述本身也存在著交叉重疊問題。因此，需要深入分析這些表述的理論內核，對相關表述進行刪減和合并，精煉文字表達，以明確評價者打分時的評價取向。進一步凝練整合后獲得以下表述：

①意識形態導向：是否符合黨的新聞出版政策和社會倫理道德等要求；

②創新性：新思路、新方法、新發現、新認識等；

③科學性：論點合理可靠、論據恰當充分、論證邏輯嚴密；

④重要性：選題價值、結論重要性；

⑤實用性（可借鑒性）：對實踐有指導意義（自然科學領域學術論文），有可參考性（人文社科領域學術論文）；

⑥寫作質量：標題精煉、摘要簡明、關鍵詞準確、圖表合理、公式必要、引證規范、行文流暢、文字精當、結構合理、數字和計量單位符合標準。

需要特別指出的是，對于結論方面的評價，我們將之分為兩個方面，一方面是通過論證或實驗之后，結論是否合理可靠；另一方面是結論是否重要。我們常會看到這樣的論文，經過一系列邏輯嚴密的論證之后，獲得了一個人所共知的結論，但論證的科學性沒有任何問題。考慮到這種情況，我們把“結論合理可靠”的評價放入“科學性”項，而把“結論是否重要”放入“重要性”項。之所以要設置“重要性”這一項，就是考慮到“選題價值”和“結論重要性”不是一個是否科學的問題，而是一個重要性的問題。

因此，學術論文評價指標可以分為三個層級，第一個層級是意識形態導向、學術價值、寫作質量。第二個層級，在意識形態導向項下可以分為政治導向和社會倫理道德要求，在學術價值項下可以分為學術水平和學術影響，在寫作質量項下可以分為簡明流暢要求（標題精煉、摘要簡明、關鍵詞準確、行文流暢、文字精當、結構合理）、合理必要要求（圖表合理、公式必要）和標準規范要求（引證規范、數字和計量單位符合標準）。第三個層級，在學術水平項下可以分為創新性、科學性、重要性、實用性。第四個層級，在科學性項下分為論點合理可靠度、論據恰當充分度、論證邏輯嚴密度，在重要性項下分為選題價值和結論重要性（見圖1）。

圖1 學術論文定性評價指標層級圖

三、評價指標權重核算

遴選后的各項定性評價指標不可能同等表現，其權重分配應該來自于對學術共同體普遍認識的調研分析。考慮到定性評價指標調查統計的模糊性特征，評價結果受到多個指標的影響，且這些指標相互關聯、相互制約，最適合的統計分析方法是層次分析法。層次分析法的基本原理是依靠排序來區分優劣等次，首先把所要研究解決的問題看成是在多重因子作用下的體系，將體系所要考察的因子根據互相的等級和隸屬關系排列，再邀請一定數量的專家學者對各因子兩兩比較其重要程度。最后利用數理統計方法，對各因子分層排出秩序，獲得分析研究結果。[1]

1.調研內容的設計

為了獲得者各項評價指標在用戶評價中的地位和權重， 對層級設計和調查問卷內容的安排進行討論優化。“意識形態導向”“學術影響”不需要調研，“寫作質量”“創新性”“實用性（可借鑒性）”不需要下分選項。按照層次分析法的結構，將評價指向重新定義，將圖1簡化為圖2。

圖2 調查問卷評價指標重新定義層級圖

2.調研對象的遴選

學術期刊是傳播科學知識的主要媒介，同時也是學術共同體學習和交流學術研究成果的重要平臺。學術期刊的編輯群體由于工作崗位要求，主要的工作對象就是學術論文，日常承擔著大量的審稿、改稿、發稿任務。他們對某一篇論文學術質量的評價也許比不上該學科領域的知名專家學者，但對論文的評價指標權重分配的討論，卻是學術共同體中最有發言權的。特別是優秀學術期刊的編輯，由于日常審看和加工的都是本領域的優秀稿件，與本領域的優秀作者群體交流甚密，更是學術期刊編輯群體中的理想被調查樣本群體。基于這種認識，調研范圍框定在了這些優秀學術期刊的編輯群體。

為了覆蓋全部學科門類，被調研人群對象也必須兼顧各學科的學術期刊。因此，最終將開展調研的樣本采集范圍設置為《中文核心期刊要目總覽》（2020年版）遴選出的核心期刊群，進行分學科抽樣。考慮到相近學科的學術研究共通性較高，同時考量所屬學科核心期刊的數量，可以酌情將相近學科歸并，這樣便于統計分析。歸并之后的核心期刊數量采用四舍五入原則，來確定提取樣本數量（見表3）。

表3 學術期刊調研抽樣比例

3.指標權重計算結果

按照《中文核心期刊要目總覽》2020年版的分類方法，依據分類調研的數據，對各層次評價指標在人文社科、自然科學、醫藥衛生、農業科學、工業技術這五大類學術論文的權重分別進行計算，以提高對各專業領域學術論文評價的精準度。同時也考慮到在具體評價實踐中為了提高效率或者兼容交叉融合領域的學術論文，可能需要忽略論文的學術方向，我們也計算了各層次評價指標在不分專業領域情況下的權重。在學術論文定性評價的具體實踐工作中，可以根據評審數量和評選要求的精細化程度來選擇指標層級。如果精細評價到第三個層級，論文定性評價指標分為意識形態導向、創新性、科學性、重要性、實用性、寫作質量共6個指標。其中意識形態導向是評價學術論文的首要標準，如果論文在意識形態導向上有問題，直接一票否決制。精細到第三層次時各指標權重分配見表4。

表4 精細至第三層次的定性評價指標權重分布（保留至小數點后三位）

如果精細評價到第四個層級，論文定性評價指標分為意識形態導向、創新性、論點合理可靠度、論據恰當充分度、論證邏輯嚴密度、選題價值、結論重要性、實用性、寫作質量共9個指標，各指標權重分配見表5。

表5 精細至第四層次的定性評價指標權重分布（保留至小數點后三位）

四、結語

大數據分析方法對傳統定性評價方式的重新定義，賦予了定性評價指標研究的現實意義和實踐需求。[2]對此進行更為深入的研究，對于學術論文、學術期刊、學術成果的評價工作都會產生連鎖反應。

學界對學術論文定量評價指標的研究和討論比較常見，對定性評價指標的討論較為少見。這并不能表明定性評價指標的不重要，究其原因，還是源于定性評價指標的不好劃分、不好描述、不好驗證。為了克服這些困難，本項研究分為梳理定性評價指標和調研分析指標權重兩個部分。梳理定性評價指標部分從10年間的相關研究論文中提取涉及學術論文定性評價的表述，分類合并、逐項分析，不需要精確比較孰多孰少，而在于盡可能全面地獲得定性評價意見指向，明確具體指向、合理劃分層次；在獲得指標指向和層次的基礎上，調研分析指標權重部分對核心期刊群進行調研統計抽樣，利用層次分析法計算出各項指標的權重分配。在實際評價中，主辦方可以綜合考慮評審要求，評審時長、參評論文量、資金投入等因素自主選擇將評審指標精確到第三層次或第四層次。