學術期刊定性評價過程以及評價效果對比分析*

文/趙 均

定性評價學術期刊是一種歷史悠久、經驗豐富、考察全面的評價方法，但由于在學術質量的評價上缺少數量值的明顯區別，給人一種不科學、不透明的印象。在引文統計分析方法被引進和普遍推廣之后，定性評價方法的影響力似乎日漸式微，但隨之而來的定量評價中對數字的崇拜日益嚴重，甚至到了唯影響因子馬首是瞻的程度，學術界和期刊界對此質疑之聲不斷。我們有必要重新認識學術期刊的定性評價方法，深入分析定性評價指標和評價過程控制因素，對其中的優缺點與定量評價相比照，以便于在實際工作中有針對性地加以利用。

一、定性評價指標

學術刊物的定性評價必須基于各項定性評價指標來進行，各類評價體系根據評價目的的不同自主選擇相應的評價指標。學術期刊的定性評價指標主要有政治標準、學術質量、編輯質量、出版質量、社會影響、質量保障水平等。

1.政治標準

政治標準分為思想指導和法律規定兩大類。思想指導類標準要求刊物堅持正確的輿論導向，全面、準確地宣傳黨的路線、方針、政策，嚴格按照辦刊宗旨及專業分工范圍出刊，促進社會科學的繁榮與發展。法律規定類標準要求刊物嚴格遵守國家憲法和法律，遵守《中華人民共和國保守國家秘密法》和《中華人民共和國著作權法》，嚴格執行《出版管理條例》和《期刊出版管理規定》等法規和制度。

在按照政治標準評價學術期刊，尤其是評價人文社科學術期刊時要注意兩個問題，一是把握政治原則與學術自由的界限，學術自由是學術繁榮發展的必備土壤，既要反對片面擴大政治標準，對學術觀點上綱上線，限制學術研究的爭鳴與探索，也要警惕以“學術自由”為幌子，對黨和國家的意識形態建設產生消極影響。二是在刊物政治標準的具體考評上，對政治標準可以采用打分制，也可以采用一票否決制。一票否決制指的是如果刊物在政治標準上出現了問題，直接取消其參選資格。

2.學術質量

刊物的學術質量來自于刊發論文的整體學術研究價值和學術影響，包括學理框架的創新和構建、學術前沿的探索和突破、科學研究的互通和融合、實踐經驗的梳理和提煉、對后續學術研究的影響和激活等。刊物的學術質量是評價學術期刊的主要標準，對于長期持續關注本專業領域學術刊物的專家來說，各家參評刊物的學術水平高低在心中早有大致把握，主要精力可能會集中在水平相近刊物的細致比對和相對陌生刊物的仔細查看上。

對綜合性學術期刊學術質量的評價是個難點，可以把各學科專家組的評價按照各家期刊在各專業領域刊發論文上的比例作為權重綜合評分，也可以組成跨專業專家組對參選刊物綜合討論評價。不管使用哪種方法，專家組成員最好不發生變化，以保證判斷標準的相對持續統一。

3.編校質量

編校質量的評價是考評編輯和校對對刊物所做的貢獻度。要求學術刊物具有清晰明確的辦刊思路、新穎獨特的欄目設置，體現為解決重大理論與現實問題服務的特點；刊物注重學術規范建設，所刊發論文學風嚴謹；刊文符合學術論文的寫作要求，遵守國家語言文字規范和學術期刊編排體例，論文注釋和參考文獻注引標準化；刊物整體文字差錯率控制在較低水平；圖表編排和標點符號的使用正確等。

4.出版質量

出版質量包括刊物能否按時出刊，封面、版式的設計是否得體，刊物印刷精美程度和裝訂水平的優劣。出版質量是學術期刊直觀顯性的外在質量呈現，其深層考量是要達到形式與內容的和諧統一。反對固守過時老舊的期刊形象作為高深學術的代表面孔，也要防止過度包裝帶來的喧賓奪主。

5.社會影響

刊物的社會影響包括刊物的學術影響、行業影響、經濟效益、公益貢獻等內容。具體體現為刊物在學科領域中的地位，對學術人才的培養和支持力度，在發現和培養科研人才方面所起的直接或間接作用；刊物對行業實踐的指導價值和意義；促進相關的研究成果應用所獲得的經濟效益；刊物自身的發行收入水平等。

6.質量保障水平

質量保障水平包括刊物人員狀況、制度建設、工作流程、硬件條件等。人員狀況指刊物主編的政治素質、業務水平、學術素養和學術聲望，編輯人員職稱、學歷、年齡結構等；制度建設指刊物的內部管理制度、審稿制度、用稿制度、考核制度和分配制度等的合理公正程度，是否體現科學管理、鼓勵先進的原則，是否建立符合實際需要的用人制度和嚴格、科學的績效考核指標體系；工作流程是否科學高效，有沒有質量監督和管控設計；硬件條件包括辦公用房、辦刊經費、圖書資料建設、辦公設備等是否達標，在編輯、審稿、出版、稿件管理等工作中的現代化程度等。

二、定性評價過程控制

定性評價過程控制主要由評審人員、評價指標、評價標準、評議方法等要素決定，嚴謹精準的要素選擇是評價結果公正客觀的基礎。

1.評審人員遴選

在定性評價過程中，評審人員的遴選無疑是最重要的一環。期刊評審人員主要來自于主管部門、編輯出版界、本專業領域、圖書館、讀者群等。政治標準一般應由來自主管部門的專家評價；編輯質量、出版質量和質量保障水平一般應由編輯出版界和圖書館專家評價；學術質量和社會影響一般應由本專業領域專家來評價，由于學術期刊的讀者群是高度專業化的小眾，本專業領域專家評審和讀者評議可以合二為一。

評審人員可以是海量專家參與，也可以由小范圍權威專家組成。前者用大數量的海評來淹沒個別學者的意見偏向，需要依靠專家數據庫和計算機輔助遴選；后者主要由評價管理者和專業權威共同來選擇評審人員，由于在學科領域有較深造詣的權威專家對學術期刊的認知水平高，也較少有求于特定學術期刊，且時間成本少，因而被廣泛采用。當然權威專家的選擇也需要仔細甄別，一是評審專家的研究領域應和被評審刊物盡可能切合，尤其是要注意分支學科和交叉學科專家的選擇；二是應選擇責任心強、學術品德高尚、對學術期刊評價懷有良知的專家參與評審。

在評審人員名單是否公示的問題上也一直存有爭議，一方面，公示評審人員名單被認為是評審過程公正透明的重要環節，尤其是評審前的公示可以接受各方面的質詢和申訴，會有利于評審人員名單的最終盡可能公正的確定；另一方面，公開評審人員名單會給評審人員帶來各種壓力，招致來自各方面的人情請托、利益輸送，頗受評審人員的抵制，所以目前大都普遍采取不公開評審人員名單，也就是專家匿名評審，以免招致不必要的麻煩。

2.評價指標的選擇和評價標準的設置

任何一次定性評價過程都必須要選擇合適的一項或多項評價指標，在評價指標的選擇上要有針對性，避免求全責備。如果要整體評價學術期刊，可以按照多項指標來考評，但各種評價指標在權重上也應有分別。倘若只是評價期刊的學術質量，那么編輯質量、出版質量、質量保障水平等指標要減少權重甚至可以忽略，以免出現一本印刷精美但學術質量欠佳的期刊堂而皇之地成為重要學術期刊。

評價標準是指在評價指標內劃分的等次標準，在評分標準的劃分上有兩種設計:一種是盡可能具體明確規定打分標準，而且在標準的劃分上越細致清晰越好，引導評審人進行科學有效的評定，減少評審中的不確定性，[1]避免在綜合專家意見時出現幅度小的打分被幅度大的挾持。另一種是只在大方向上有規定，由專家依靠個人總體感覺來評判，避免陷入細碎考究，影響全面權衡刊物的辦刊質量。

3.評議方式、方法的選擇

評議方式一般有通訊評議（通過網絡或郵函）、小型會議評議、評審組評議、實地調研、多次評議、落選申訴等方式，可以根據評審工作量的大小、資金投入的多少、評審周期的長短、評審程序的繁簡等因素綜合考慮，采用其中一種或幾種方式組合來安排評議方式。

在小樣本的學術期刊評審時，有時要求專家提供評議意見，幫助期刊在今后的發展中確立努力目標和改進方向。在大范圍的評審中，普遍采用專家打分法，包括各自獨立打分法、共同討論評議法、集體討論單獨打分法、德爾菲法等評審方法。

（1）各自獨立打分法

這種方法主要基于本專業領域權威專家學者的良好專業素養能為期刊評價帶來高度專業化和有價值的意見。每位專家的打分值可以有相同的權重，也可以根據專家意見的重要性給予不同的權重。集合評委的意見，最后匯總得出一個綜合評分值。這種方法的優點在于評委不需要集體開會，節約了會議成本和時間成本；采用匿名和背靠背的方式，可以使每一位專家獨立地做出自己的判斷，不會受到其他外界因素的影響。

（2）共同討論評議法

評價的最終結果是由評審委員會或小組做出決定，所有評審成員都必須就最終決定達成共識。這種方法的優點是大家可以充分討論，并當場就別人的意見做出反駁或者妥協，有利于各方意見的較快收斂。但如果現場出現一個有強勢話語權的人，會對其他評委施加過多的影響，甚至強迫別人同意他的意見，就會使最終結果被個別人左右；如果出現兩個或多個有話語權的人，評審意見可能會相持不下，就會使最終決定難產。

（3）集體討論單獨打分法

集體討論單獨打分法在形式上是前兩種方法的結合體，先召開評委會議進行意見交流，然后各自獨立打分。評審人員在前期討論中可以吸收多方觀點以修正自己的偏見，避免了討論當場公開做決定時的隨聲附和或意見沖突。

（4）德爾菲法

德爾菲法的形式是由組織者向每位專家組成員單個通信聯絡，專家之間背靠背發表意見，組織者在對專家意見進行整理、歸納、統計后，再反饋給各專家，再次征求意見，如此反復多次直至得到一致的意見。德爾菲法的優點在于專家組成員在完全匿名的情況下交流思想，可以消除權威的影響。缺點一是過程比較復雜，花費時間較長；二是議題不能太復雜，那樣會導致意見難以實現集中。

三、學術質量的定性評價與定量評價

評價的本質是人對事物和現象所作的主觀價值判斷，評價的結果可以是公平、公正的，但不可能是絕對客觀的，學術期刊的評價當然也概莫能外。學術期刊的定量評價主要來自于被引用量的統計，是對微觀同行評議個例的宏觀計量，本質上還是定性評價，依然是屬于主觀判斷性質。雖然對評價結果的解釋可以有各種自圓其說，但并不能說主觀判斷就沒有高低之分，主觀判斷的高低之分在于是否有失公允，是否符合大多數人對此的期望。

1.定量評價的“錯位”

學術期刊的定量評價目前只適用于對學術質量的考察，主要通過使用引文分析法計算出的總被引頻次、影響因子、即年指標等計量指標來考評刊物。由于有明確的數值比較，使得過去飽受手續煩瑣、人情往來等爭議的學術期刊定性評價變為操作簡便、可排序比對，定量評價方法因而得以大行其道，深受科研管理部門的歡迎和廣泛采用。

定量評價的主要依據是刊物間的被轉摘和引用行為。被轉摘行為源于文摘刊物對符合自身辦刊宗旨和選文傾向的文章向讀者推薦閱讀，引用行為只是標示研究者在學術研究過程中受到某文獻的足夠影響。影響效應、擴散程度和顯示度本身并不是論文學術水平的直觀呈現方式，用影響力和擴散度來衡量刊物的學術質量其實是一種“錯位”。而且把被轉摘和引用行為統一對待,無法體現出被轉摘和引用行為性質的千差萬別，被轉摘和引用行為在實際操作中也受到各種不正當轉摘和引用因素的干擾，這些因素都會影響到刊物學術質量評價的可印證程度。這也是被轉摘和引文分析法應用到學術評價領域一直存有爭議的主要原因。

2.定性評價的不確定性

應該看到，任何一種評價方法都不是完美無缺的。學術期刊的定性評價畢竟是刊物學術質量在認識上的投射，在本質上優于定量評價學術期刊帶來的“錯位”效果，但符合期望的定性評價還有賴于在評價過程控制中各環節的完美表現，在實際工作中卻不可能做到盡善盡美。

（1）評審程序的設置水平

評審的過程在選擇評審人、指標、標準、方式、方法等方面的設置上存在著多種選擇，這些選擇并沒有直觀的優劣之分。不同類型的期刊學術質量評審在最初的方案制定上，需要依據評審目的、評選范圍、經濟成本、時間效率、結果呈現等多方面的因素綜合考慮。評審程序設置水平的高低必然會影響到最終評審結果的公正合理性。

（2）評審人員的學術水平和主觀傾向

即使是從專家數據庫中隨機遴選評審專家，評審組織人員對評審領域非常熟悉、對評審工作有責任心，也不能保證最終選擇的專家完全能夠勝任評審工作。有些專家的知識面、學識與影響力不符，缺乏全局視野和前瞻性，學術觀點落后保守，其評審意見也就自然會失之偏頗。

在定性評價過程中，評審人員完全依靠主觀學術直覺獨立進行價值判斷，不摻雜個人利益在內的主觀偏見會或多或少存在，在程序上可以通過多人多次評價來消減這些偏向。但在實際評價工作中出現的權威主義、人情關系、利益驅使、盲目服從多數等不良傾向會嚴重侵蝕評審結果的公平公正性。定性評價實行的是科學民主制度，意味著不徇私情，而科學民主制度與人情交往從原則上是格格不入的。人際關系在評審過程中會表現出合作和對抗兩種方式：評審人員相互或多人合作，結成臨時利益聯盟，互相給對方的目的刊物打高分，使特定刊物在評審中擁有優勢。評審人員也可以由于與被評審刊物主辦者存有個人恩怨，邀集同情者打壓目的刊物。已經有研究者提出對專家評議狀況進行評估，通過評估指標對專家進行排序。部分科學基金項目也已建立了對同行評議專家的評估，以便于篩選出重點評審專家，增強評審工作的公正性。[2]

（3）評審管理者的責任心和組織能力

定性評價完全是人為操作，評審管理者雖然隱于幕后，但在評審人員、評審標準、評審程序的選擇安排上，其實是具有超越評價的管理權力。不管是通過專家數據庫檢索還是專業權威協助遴選評審人名單，不管是多方征求意見還是由專業機構制定評審標準和程序，評審管理者都擁有最終確定權。評審管理者如果責任心不夠、組織能力有限，必然會反映到定性評價的最終結果上。如選擇專業能力不夠或聽命于自己的評審人、在評審標準和程序上主觀故意不合理設置，都會使定性評價在實施的第一步就走向異化。

3.兩種評價效果與學術質量的印證關系

對學術期刊學術質量的正確評價，只能是來自于定性評價各環節的公平公正實施。也正是由于評價的主觀判斷性質，即使是同樣的參選期刊名單，在保證過程控制因素同等水平的情況下，其評價結果也不能保證完全一樣。也就是說，學術質量的評價沒有可重復驗證性。期刊學術質量的評價是多維度的，在下面的學術期刊學術質量定性評價與定量評價比較的示意圖中以域的形式表示。實際操作中的定性評價效果常常溢出刊物學術質量的正確評價，也就是對學術質量的不恰當評價。

學術期刊學術質量定性評價與定量評價比較的示意圖

定量評價由于其與生俱來的與刊物學術質量反映的“錯位”，以及無法克服和難以校正的人為錯誤引用干擾，其實際評價效果雖然與刊物學術質量有比較明顯的相關性，[3]但依然存在著無法完全反映刊物學術質量的缺憾。比如一篇被后來公認為非常具有學術價值的論文并沒有得到在評價時限內的大量引用，從而也影響到對刊物的學術質量定量統計。

從期刊學術質量的實際評價來看，定量評價效果的“錯位”是被大家認識到的，從而在選用時是可控的，而定性評價效果的“不確定性”是不可控的，定性評價效果的“不確定性”范圍遠大于定量評價效果的“錯位”程度。公平公正的定性評價效果優于定量評價效果，但不公平公正的定性評價卻遠劣于定量評價效果。依據定量評價數據獲得的期刊學術質量排名出現的不合理之處，我們可以尋找出原因進行后續調整，實踐證明這種調整有時也是非常必要的。如個別在學界非常有影響力的刊物由于曲高和寡，在定量評價上的表現與實際學術質量有差距，可以通過加權等方式加分。學術期刊的定性評價結果卻是難以改變的，評價背后的人為操作、不合理程序設置等帶來的最終評審結果很難找出其原因，而這種定性評價結果有時與真實情況相去甚遠。

各家學術期刊引文數據庫的成年累月的統計、各種評價指標的精心設計和使用起來的簡便易得，與定性評價的高成本、程序繁瑣和不確定性相比，定量評價學術期刊也就具有非常大的優勢，以至于在時下的期刊學術質量評價上占據了統治地位。定性評價在定量評價無法介入的政治標準、編輯質量、出版質量等評價方面仍然使用，在對學術質量進行高端、精細的評價時還是需要依靠定性評價方法，僅依據定量評價指標的細微數值差異顯然無法看出刊物間的真實差距。對定性評價和定量評價片面夸大或縮小其評價功能都是不可取的。定量評價學術刊物不是最好的也不是最壞的評價方法，其使用優勢在于簡便易行和與學術質量的較大相關性。

4.定性定量相結合評價

定性定量相結合的評價方法目前被認為是把定性和定量評價的優點最大化的評價方法，也在實際評價中被廣泛應用。目前在期刊學術質量評價中定性定量相結合的評價方法主要有調整定量指標排序法和定量指標加權法兩種。

調整定量指標排序法，主要是在已有定量評價指標排序的基礎上，按照定性評價適當給予調整。其本質依然屬于定性評價，依然存在著定性評價中人為因素的不可控性。但調整定量指標排序法畢竟是對完全定性評價的一種改良，在一定程度上會對定性評價的“不可控性”有所限制。如在評審時向評審專家群提供學術期刊定量評價數據，由專家依據已有排名提供調整意見，并對該項調整做出相關說明，這樣就對其主觀評審設置了調整范圍和難度，也盡可能地保證了調整的有理可循。

定量指標加權法，主要是對已有的定量評價數據分類加權后，再進行一輪加權后的定量指標排序。這種方法在本質上依然是定量評價，也不可能改變定量數據不是學術水平直觀呈現的“錯位”，有時甚至還會讓這種“錯位”進一步加深。定量指標加權法的出發點是調整定量評價的“錯位”向盡可能完全反映學術質量的方向靠攏，在一定程度上也實現了部分目的。如某學術期刊評價系統對其選用的若干個國內外學術期刊定量評價數據進行加權，然后綜合計算排列出期刊學術質量排名表。

現有的定性定量相結合評價并沒有從根本上消除定性和定量評價原有的缺點，離我們心目中眾望所歸的權威方法還有距離。是調和也好，折中也罷，但畢竟是在綜合兩種評價方法之后的積極嘗試。對學術期刊的高質量評價是關乎科學研究持續繁榮發展的重要一環，對此進行深入的理論研究和實踐探索者眾多。如何能夠對學術期刊的辦刊質量實施更科學有效的評判，還有待于我們在評價機制研究上的繼續探索。

注釋：

[1]江虎軍，馮雪蓮，楊新泉，唐隆華，何建慶.影響科學基金項目同行評議質量的因素及改進措施[J].中國科學基金，2006（6）：359-363

[2]谷瑞升，張飛萍，李永慈，于振良，杜生明.國家自然科學基金專家評議狀況評估初探[J].中國科學基金，2005（5）：298-301

[3][美]尤金·加菲爾德.引文索引法的理論及應用[M].侯漢清等譯.北京：北京圖書館出版社，2004