代表作視角下的期刊評價指標研究

周春雷 楊前 汪巧紅 丁倩文 楊昭

關鍵詞：C10指數；代表作；評價理念；期刊評價；代表性論文；引文；精品率；診斷

1 引言

期刊影響因子一經問世就產生了深遠的影響，但也飽受非議。其籠統的計算方式存在“吃大鍋飯”式利益均沾色彩，也容易以精確、客觀的“第一印象”誤導不明就里者，影響因子“牛刊”甚至可以引領時髦研究。期刊影響因子雖與期刊論文的質量有一定的關系，但并不能表征所有個體論文的質量。《關于科研評價的舊金山宣言》[1]明確指出影響因子并不是衡量論文質量的指標，應大幅減少將影響因子作為期刊宣傳手段的行為。隨著“破四唯”“破五唯”指導意見的提出，內在質量重新成為衡量論文價值的重要標準，國內學術界也開始高度重視“代表作”評價問題。[2]學術代表作評價制度最早由個別高校嘗試性使用，之后被廣泛應用到職稱晉升[3-4]、人才評價[5]、項目評審[6]等各類學術評價活動中。國外雖沒有與國內應用場景相對應的專業術語，但也有類似要求，如：英國RAE和RAF體系要求高校教師提交“高質量出版物”[7]；荷蘭大學協會在科研評價過程中除需科研人員提供出版物列表外，還需提供5份代表性出版成果及其質量和聲譽等數據。[8]這些實踐活動為“代表作”這一術語塑造了職稱評審專用的狹窄內涵，容易讓人產生“代表作”需由評價者、評價對象雙方共同認定方才有效的刻板印象。事實上，即使是歷史上的知名學者，不同時代的后人對其代表作也可能有不同的見解。筆者認為，“代表作”是一個內涵豐富、富有學術號召力的術語，不宜用狹隘、靜態的認知框定其演變潛力。

本文對目前尚無定論的“代表作評價理念”采取開放、寬泛的理解，認為學術共同體的公開評議信息和學術授信結果[9]可以在動態建構“代表作”認知、認定代表作方面發揮積極作用。基于對期刊學術傳播功能的認知，本文將那些得到學術界廣泛關注、能夠代表期刊學術水平的論文視為期刊的代表作，嘗試利用大規模引文數據研究期刊的學術引領力、號召力具體體現在哪些方面。

2 期刊評價指標設計

筆者認為，優秀期刊與優秀論文之間存在相互成就關系。雖然期刊作為成果傳播平臺在識別、完善、推廣論文的過程中發揮著非常重要的作用，但依然需要厘清一個根本性問題：學術繁榮的原動力在于創新性知識的不斷產出，優秀期刊只是優秀論文的臨時性集體符號，其本身并不生產優秀論文，反而是優秀論文的動態匯聚塑造了個體期刊千差萬別的學術地位。學者們通常因關注自己感興趣的論文而進一步留意其發表載體，期刊級別只能在受眾初次接觸論文時傳遞某種意義上的聲望或質量信號，發揮一定的品質保證作用，吸引讀者閱讀、思考。在學術成果影響力數據匱乏、采集成本較高的情況下，“影響因子”可以作為指示信號大體表征論文平均質量，為各種量化管理提供便利，也為高影響因子期刊招徠了大量讀者。但這種曾經盛行的評價理念將學術成果質量評價話語權賦予成果發表平臺并不妥當，容易出現影響因子濫用現象，引發重期刊輕論文的思想，甚至出現“核心期刊崇拜”或“影響因子崇拜”等問題。

近年來，關于影響因子的反思、批評甚至連累了其他基于引文數據的量化指標，不少人認為“評選代表作”比使用引文指標更科學，更能體現同行評議思想。事實上，基于高質量引文數據的量化評價與同行評議并不矛盾。引文數據原本就是學者們在正式學術交流系統中留下的印記，是同行學者長期相互評議、引用的結果，利用高質量引文數據進行分析歷來是低成本獲取同行評議意見的有效手段。用引文數據篩選能夠代表期刊水平且引發關注的論文完全行得通，也是大范圍獲取同行評議意見的現實選擇。例如，筆者團隊[10]在研究圖情領域人大復印報刊資料轉載論文的影響力時發現，學科專家們甄選出的論文與根據引文數據篩選出的高影響力論文集合大體相符。

在學術交流過程中，學者們會對有價值的成果做出引用、評論、推薦等行為，這些或顯性、或隱性的學術授信標記會對后續研究者產生一定的影響，那些能夠得到學界同行關注與認可的成果將率先成為高被引論文。隨著時間的積累，關于特定期刊的學術授信信息會在學術交流系統中演化為清晰的學術聲望信號，而那些成功吸引眾多優秀論文入駐的期刊將成為知名學術傳播平臺并在特定議題上擁有話語權，從而吸引更多關注。雖然高被引未必意味著學術價值非常突出，但我們根據常識也很難相信學術價值很大的成果會長期無人關注、引用，而且這種現象還會普遍存在。

基于上述思考，本文嘗試通過為引文數據設置一定的門檻來發現那些給期刊帶來關注和聲望的代表性論文，進而考察特定期刊的學術引領力和學術號召力。

2 . 1 C 1 0指數。筆者基于代表作評價理念構建了一種能夠表征評價對象長期學術聲望的評價指標：C1 0指數（Classic Articles in 10 Years，十年經典論文數），其含義為評價對象在10年內發表的被引次數不低于10次的論文數量，這些論文可稱為C10論文，即評價對象的代表性論文。C10指數含義簡單、計算簡便，適合對發表較多成果的評價對象進行測度和比較，如期刊、知名學者、科研機構、國家或地區等。

在默認情況下，C10指數測度的是評價對象近十年來推出代表性論文的數量。若指明時段，C10指數也可用于測度評價對象在不同時段的學術影響。

C10指數的背后是一篇篇可供任何人核驗的高被引論文，與反映期刊平均水平的影響因子指標形成了鮮明對照。對于期刊來說，C10指數可直觀地反映期刊吸引優秀論文的能力。為保障評價的科學性，計算所需的引文數據應來自學術公信力較高的數據庫，如CSSCI等。對于國內社科成果來說，要求某篇論文獲得不少于10次來自CSSCI數據庫的引用其實是一個相當高的門檻，這意味著它吸引了至少10篇CSSCI論文的關注，稱其獲得一定規模的同行評議應不為過。

2.2 期刊精品率指標。C10指數測度的是評價對象10年內推出代表性論文的數量，能有效篩選出學術聲望較高的期刊。為進一步探究期刊識別高水平論文的能力與效果，本文在C10指數的基礎上設計了期刊精品率這一衍生指標，用于期刊自診或對不同期刊進行橫向比較。其計算方法見公式1。

2.3 基于C10指數及衍生指標的期刊評價流程。①獲取目標期刊的發文與被引數據。選定目標期刊，確定測度的時間區間，獲取目標期刊在相應區間的發文與被引數據。②對引文數據進行增強處理。對引文數據進行引用關聯與字段擴充，建立增強型期刊引文數據庫。③計算目標期刊C10指數與精品率。對增強后的期刊引文數據進行統計并篩選出評價視域內被引次數≧10次的論文，這類論文數即為期刊C10指數，再通過公式1計算期刊精品率，用于篩選優質期刊及其代表性論文。④揭示期刊學術聲望。C10指數即期刊代表性論文的數量，精品率是期刊擁有代表性論文的占比情況，通過探測長時段內期刊代表性論文數量及占比情況，揭示期刊學術聲望。⑤驗證本文所提指數的有效性。將通過C10指數及其衍生指標篩選出的結果分別與國家社科基金資助期刊、高等學校科學研究優秀成果獎（人文社會科學）獲獎論文所屬期刊進行對比，以驗證本文所提指數的有效性。詳情見圖1。

3 實證研究

本文以CSSCI來源期刊（2021—2022）為研究對象，利用C10指數來篩選期刊近十年（2012—2021）發表的高影響力論文，結合期刊獲得國家社科基金資助情況、相關論文獲得高等學校科學研究優秀成果獎（人文社會科學）情況，檢驗該指數在識別優質期刊及期刊代表作方面的有效性。

3 . 1 數據來源。①獲取期刊發文和被引數據。筆者在CSSCI來源期刊目錄的基礎上剔除無法從CNKI獲取發文數據的期刊、報紙，得到582種期刊，然后從CNKI、CSSCI分別采集其發文和被引數據。由于工作量較大，采集十年載文量數據時直接采信CNKI提供的年度分組結果并進行簡單匯總，其中難免混有少量稿約、通知類記錄，可能與期刊的有效論文數略有出入。據本文統計，2012年—2021年被引次數≧1次的CSSCI論文約44萬篇，其中被引次數≧10次者有36 342篇。②獲取國家社科基金資助期刊數據。筆者從全國哲學社會科學工作辦公室網站“資助期刊”版塊、《國家社會科學基金年度報告2021》等途徑采集數據，并利用CNKI期刊導航數據庫調查標記有“社科基金資助期刊”字樣的期刊，然后進行匯總整理。截至2023年5月，共有214種期刊獲得過國家社科基金資助，其中206種為CSSCI期刊。本文對這206種期刊不做區分，均視為國家社科基金資助期刊。③獲取高校人文社科獎相關數據。由于只有第七、八屆獲獎論文的發表時間滿足近十年這一條件，故僅采集這兩屆的相關數據。鑒于CSSCI適合研究中文成果影響力的實際情況，本文只研究中文獲獎論文。

3.2 Top100期刊分析。本文統計了不同期刊的C10論文數量，Top100期刊榜單見表1。可以看出，Top100期刊的C10指數均值為254.89，最高值達1 000以上，最低為104，即至少擁有104篇被引次數≧10次的論文。由于CSSCI期刊上發表的論文通常都經過了嚴格篩選，質量較有保證，而C10指數篩選出的論文多次獲得這些高水平論文的引用，可在某種程度上理解為大規模同行長期自然篩選、“評議”的結果，將篩選出的C10論文視為期刊的代表作有一定的合理性。

與期刊h指數相比，C10指數具有測度范圍廣、區分度大的優勢，能更準確地對影響力相近的期刊進行區分。在Top100期刊中，僅有3種期刊的C10值相同，我們可以利用衍生指數將其區分開來。例如，在2012—2021年這一時段內，樣本期刊的期刊h指數為1～108，有6種期刊近十年期刊h指數均為27，而這些期刊的C10數值無重復且差距明顯，分布在161～378之間。以同屬管理學科的《管理評論》《管理科學學報》《管理科學》來說，三者的期刊h指數相同，但《管理評論》的C10值比后兩者分別高189、217。

另外，筆者發現Top100期刊中既有月刊，也有雙月刊和季刊，刊期因素不會對C10指數產生太大影響。例如，《南開管理評論》《中國法學》《社會學研究》《法學研究》《經濟學（季刊）》等雙月刊或季刊的C10指數并不遜于月刊。可見，若采用C10指數評價期刊，期刊只需心無旁騖地聚焦主業——及時篩選并發表優秀論文即可，根本無需像迎合影響因子那般刻意減少發文量。

3.3 指標有效性分析

3.3.1 指標篩選結果與國家社會科學基金資助期刊對比。為建設一批具有較強學術引領力和社會影響力的權威期刊，國家社科基金2012年設立了學術期刊資助項目，[11 ]在促進我國哲學社會科學繁榮發展中發揮著非常重要的導向作用。得到國家社科基金的資助，說明相關期刊的學術質量比較高。

本節將利用C10指數、期刊精品率指標篩選出的期刊與受資助期刊進行比較，以檢驗本文所提指標的有效性。經統計，國家社科基金資助過的214種期刊中共包含206種CSSCI期刊。本文利用C10與精品率指標統計了各層次期刊的受資助情況（見表2）。

由表2可知，兩個指標篩選出的期刊受資助情況均較為樂觀，各層次占比均在40%～50%。由于國家社科基金禁止受資助期刊收取版面費，限制了部分優秀期刊獲得該榮譽的可能性，若非如此，本文指標的篩選效果可能更顯著。

3.3.2 指標篩選結果與高校人文社科獎對比。教育部高等學校科學研究優秀成果獎（人文社會科學）是我國哲學社會科學領域的最高獎項，其獲獎成果完全符合我們對“代表作”的認知：它們由作者們主動提交且經過了嚴格的同行評議審查并獲得認可，而期刊所刊論文獲獎體現了期刊識別優秀論文的“眼力”，將這些獲獎論文稱為相關期刊的“代表作”合情合理。本節將C10指數的篩選結果與高校人文社科獎獲獎成果進行比較，相關數據如表3、表4所示。經核驗，CSSCI論文對獲獎論文的覆蓋率約為95%（見表3），可見將論文發表在高聲望期刊上對獲獎非常有利。通過C10指數篩選出的論文對獲獎論文的覆蓋率為60%～65%，而聯合使用滿足Top100期刊或C10論文這樣的條件，得到的論文集合對獲獎論文的覆蓋率可達77%～79%。

由表3可以推測，“發表于高聲望期刊或被引次數≧10次”這樣的條件可以很好地解釋獲獎論文的某種特征。為進一步驗證這一判斷，筆者先后嘗試了“Top100期刊+C10論文數”“Top200期刊+C10論文數”這樣的組合來觀察不同集合對獲獎論文的覆蓋率（見表4），發現覆蓋率最高可達85.83%。這樣的覆蓋率雖略遜于CSSCI期刊，但考慮到本文所用的C10論文僅3.6萬篇，而統計時段內被引的C刊論文多達44萬篇，且不說那些沒有被引用的論文，本文所提方法在節約評審成本方面的優勢非常明顯。

由上述分析可知，C10指數能夠快速篩選廣受關注的論文和高聲望期刊，可以對不同期刊進行橫向比較，考察不同期刊識別優秀論文的“眼力”。實證研究表明，即使是備受推崇、嚴格實施同行評議的社科大獎也非常重視發表在高聲望期刊上的論文以及能在學術界引發廣泛關注的論文。因此，利用C10指標識別高聲望期刊、遴選代表作切實可行。

4 結語

本文基于代表作評價理念提出能夠綜合反映期刊長期學術聲望的C10指數，該指數倡議關注期刊識別優秀論文的能力。在此基礎上，提出期刊精品率，并通過實證研究驗證了所提指數的可靠性與有效性，為研究期刊評價問題提供了新思路。該指數在本質上仍然是一種重視高被引論文的量化指標，難免帶有量化評價固有的局限性，所篩選出的論文中混有綜述論文，今后篩選期刊代表作時可設法降低其影響。盡管如此，本文的研究結果表明：C10指數可以在一定程度上達到同行評議的效果，且實現成本較低，利用其可以實現基于大規模高質量引文數據的深度挖掘，借助眾多專家學者的學術授信信息識別優秀論文和高聲望期刊，為期刊、科研管理機構等提供高價值信息。對篩選出期刊的代表性論文，可以利用增強型引文數據從發文及施引論文的作者、機構、主題、地域分布等角度進行診斷性評價，評估期刊的熱點追蹤、主題輸出及學術引領能力以綜合評價期刊影響力。[12]結合診斷性評價結果，可以評估期刊的議程設置能力，幫助期刊優化欄目設置，也可以通過監測主流學術群體的關注度變化預測期刊影響力及學術地位的升降趨勢，[13]幫助期刊把握自身發展水平，及時調整發展策略。

合理的期刊評價不能僅關心如何對期刊分級、分層，激發其競爭潛力，更應通過分析數字背后的深層次原因，幫助期刊找準問題，練好內功，拒絕壓縮發文量以調控影響因子等無趣“內卷”操作，更好地傳播學術成果、繁榮學術。期刊擁有高被引論文數量的多寡僅昭示著其研究議程設置能力和學術號召力的強弱，這可能與多種因素有關，我們要辯證看待，不能將其與期刊的學術質量混為一談。希望本文可以為相關研究提供些許啟發。