基于代表作制度的科研成果定量分析評價初探

溫 暖

（東北大學圖書館，遼寧 沈陽 110819）

1 代表作制度

1.1 代表作制度及研究現狀

代表作，意指最能體現作者思想水平和藝術風格的作品[1]。在高校和科研機構，代表作狹義上可以理解為代表性的學術論文著作，通常是在人才遴選、職稱晉升、學術評獎、項目評定等評價活動中，由被評價者所提供的最能代表其自身學術水平的若干代表性研究成果。在英國REF（Research Excellence Framework，科研卓越框架）[2]高校科研評估體系中， “科研產出” 模塊賦予了研究成果更寬泛的定義，即除印刷學術著作外，研究成果可包括但不限于：新材料、裝置、圖像、手工藝品、產品和建筑物；鑒定報告或技術報告；知識產權（專利或其他形式）；表演、展覽或活動；在非印刷媒體上發表的作品。REF的一個基本原則是，所有形式的研究成果都將在公平和平等的基礎上進行評估，評估委員會不會將任何特定形式的輸出視為質量高于或低于另一種形式。

高校承擔著科學研究的重要職能，是國家創新體系的重要組成部分，也是我國科研產出的重要力量。切實提升研究質量和水平，形成一批有分量、有影響、能發揮作用的高質量創新成果，是高校的責任和使命。科學、客觀、公平的科研評價體系的構建，對于提升學術成果質量、端正學術風氣、營造良好的學術環境起著積極的作用。筆者試從代表作角度出發，探討定量分析方法在代表作篩選評定中應用的可行性，圍繞科研評估中的產出和影響力部分以及科學計量學的基本準則，擬構建多維度的代表作遴選框架。

代表作制度最早在媒體上公開提出見于2003年12月5日《中國青年報》的報道： “為了解決當前學術成果評定機制中‘重數量輕質量’的問題，南開大學將在今后的學術成果評定和職務晉升評審中實行‘代表作’制度”[3]。在學術論文中的相關報道最早見于2006年，北京大學在中文系等院系試點實行論文代表作制度[4]。在中國知網的專業檢索界面，運用如下檢索式：TKA=（（′代表作/NEAR 2評價′）+（′代表作 /NEAR 2制度′）），進行跨庫檢索，得到211篇論文，去除與科研評價和評估無關主題論文后剩余105篇，發文量趨勢如圖1所示。總體來看研究的體量并不大，相關研究始于2006年，即北大中文系試點實行代表作制度，年發文量在2012年出現過一次高峰，研究內容主要集中在對代表作制度施行與否的探討，而后回落呈波動下降趨勢，直至2021年達到新的峰值，研究內容轉向了對科研評價和職稱制度的深化改革以及代表作制度的實行和推進，研究層次更深入，觀點更加明確。探究出現這兩次研究熱潮的主要原因，一是國內一些高校推行 “代表作制度” 所引發的業內熱議，二是國家有關部門出臺相關政策從而引起國內科研機構的響應。

圖1 代表作制度相關研究發文量總體趨勢

文獻內容采用定量分析進行代表作遴選的數量并不多。劉雪立等[5]提出了利用論文被引頻次基準線遴選學者代表作的方法，提出了論文PR8分值指標；張學梅[6]以代表作制度為基礎，使用h指數核心法和representative方法選取學者代表作，對Prathap提出的z指數原理進行改進；姜春林等[7-8]探討了科學計量方法輔助代表作評價，探討了代表性論文評價指標的選取，包括傳統科學計量指標、引用位置指標、社會網絡指標、替代計量學指標等，并構建了人文社會科學代表性論文評價指標體系；朱軍文等[9]針對高校科研評價定量方法中的質量屬性進行了細致的研究。

相較于國內的推行進度以及研究現狀，代表作制度在國外已推行多年，成為評價學者學術水平的慣常手段。如，2005年由美國加利福尼亞大學圣地亞哥分校的物理學家喬治·希爾施（Jorge E.Hirsch）提出的h指數[10]以及Egghe提出的基于學者以往貢獻的g指數[11]，從內在邏輯上都可以歸結為代表作制度。放眼全球，國際學術界的慣例以采用同行評議來更加客觀地考評科研人員的成果。2012年12月16日，在美國加州舊金山舉辦的全美細胞生物學學會年會上，部分學術期刊的編輯和出版商提出了一系列改善學術評價的建議，這些建議后來被稱為《舊金山科研評價宣言》（San Francisco Declaration on Research Assessmen，簡稱DORA），其中強調研究人員工作的價值取決于論文的內容，而不取決于論文發表在何種刊物上[12]；DORA對資助機構、科研機構、出版機構、計量指標提供方和研究人員分別給出了建議。目前，已有來自全球143個國家和地區的18832名科研人員及機構簽署了DORA，共同推動著學術評價向更科學的方向進化。

綜上，在我國，代表作制度的進一步完善和推進還依賴于更可靠的政策保障，存在著諸多的可能性，同時也有更多的研究視角和切入點等待科研評價工作者進行深入探索。

1.2 代表作制度與分類評價

如前所述，代表作制度引發的熱議大多伴隨著國家有關部門出臺的職稱評定和科技評價的相關政策。早在2018年，中共中央辦公廳、國務院辦公廳印發了《關于深化項目評審、人才評價、機構評估改革的意見》[13]（以下簡稱《意見》）以及《關于分類推進人才評價機制改革的指導意見》[14]（以下簡稱《指導意見》）。《意見》指出，推行代表作評價制度，注重標志性成果的質量、貢獻、影響，提出建立科學的人才分類評價體系和機制，堅持分類評價的原則，針對自然科學、哲學社會科學、軍事科學等不同學科門類特點，建立分類評價指標體系和評價程序規范。分類評價的內涵，即圍繞不同研究層次所側重的研究目的以及研究成果不同，選擇不同的評價主體，采用不同的評價標準。例如對于基礎研究，側重于探索未知，其研究的成果產出主要是科技論文，因此選擇將論文的創新性作為主要評價維度；對于應用研究，其主要目的是為了解決技術難題以及對內在機制等的探究，研究活動主要圍繞技術原理和方法等開展，因此應當圍繞應用性前景展開科學評價；對于試驗發展研究，主要是為了解決現實生產中遇到的難題而進行技術改進，那么應以解決的實際問題為主要評價維度。為貫徹落實上述《意見》和《指導意見》，近年來科技部在深化科技評價制度改革中，已在國家科技獎勵，如自然科學獎評審、科技人才評價等領域實行了論文代表作制度，取得了積極成效。

2020年2月17日，科技部印發《關于破除科技評價中 “唯論文” 不良導向的若干措施（試行）》[15]（以下簡稱《若干措施》），根據不同科技活動特點分類，提出了評價重點和量化指標，提出對于基礎研究類科技活動、基礎研究類項目（課題）、國家實驗室、國家重點實驗室等科學與工程研究類基地、基礎研究類機構、自然科學獎、中青年科技創新領軍人才、重點領域創新團隊，對論文評價實行代表作制度。其中對于基礎研究類科技活動，強化代表作同行評議，實行定量評價與定性評價相結合，重點評價學術價值及影響、與當次科技評價的相關性以及相關人員的貢獻等。2020年11月3日，教育部學位與研究生教育發展中心公布了《第五輪學科評估工作方案》[16]，評估的基本原則是強化分類評價，強化 “代表作” 和 “典型案例” 評價，評價科研水平不唯論文和獎項，設置 “代表性學術著作” “專利轉化” “新藥研發” 等指標，進行多維度科研成效評價。本輪學科評估的總體改革思路也進一步強化分類特色評價，評價學術論文是否聚焦標志性學術成果，采用 “計量評價與專家評價相結合” “中國期刊與國外期刊相結合” 的 “代表作評價” 方法，充分運用基于定量數據和客觀證據的專家融合評價方法，堅持代表性成果專家評價與高水平成果定量評價相結合。

綜上，近年來國家有關部門陸續出臺了各項政策措施，以分類評價為基本原則實行代表作制度，明確了將科技評價的重點從看數量轉到評質量上來。而如何科學合理地制定代表作的遴選標準，把握代表性成果專家評價以及高水平成果定量評價的平衡，需要科研評價和決策部門結合本單位科研工作的現狀進行深入探討，同時也需要結合長期的評價成效和學者反饋不斷作出完善調整。

2 定量分析方法輔助代表作篩選

2.1 運用定量分析方法篩選代表作的原則

回歸代表作制度的核心問題，一是代表作代表什么，二是代表作如何選擇。《若干措施》里的闡述可以帶給上述兩個問題的啟示是，要依據分類評價的思想，代表作的代表性體現在其所在的研究領域和方向，還要能夠充分反映它的價值與影響，包括質量、成效、特色、貢獻等。而對于代表性成果的選擇，《若干措施》中指出要堅持定量與定性相結合，同時對國內外論文給出了明確的比例要求，以便更合理地確定代表作的數量。借助科研評估的邏輯模型也能夠幫助評估人員定義如何評價一個項目是否成功以及一項有效的評估所需要獲取的數據。一個邏輯模型通常由投入（Inputs）、產出（Outputs）與成果（Outcomes）3部分組成，其中成果部分也包含了科研產出的影響力，包括學術影響力、經濟效益和社會效益等。普賴斯獎得主、荷蘭著名科學計量學家Henk F.Moed在關于科研評價的最新論文[17]中提出了一種多維度輸出和影響力模型（見表1），從科學-學術、教育、經濟和技術、社會和文化4個方面概述不同類型的研究成果和影響力，反映了科研績效評價的多維性。

表1 多維度輸出和影響力模型

REF也同樣注重科研成果對經濟、社會、文化的影響，將 “科研影響力” 納入其評價指標體系[2]（見表2），更加注重跨學科和合作研究，實行以同行評議為主、文獻計量為輔的評價方式。因此在科研評價的過程中，應注重多維度的科研產出和影響力，這也是制定代表作篩選定量指標時應該充分考量的重要因素。

表2 REF評價指標體系

Henk F.Moed也給出了科研評估中的文獻計量和信息計量指標，其中不僅包括引文和其他文獻計量指標，還包括專利、使用、研究數據、聲譽、網絡和基礎設施指標，以及Altmetrics和經濟計量、網絡計量指標[17]。引文數量是進行學術影響力的定量評估時最常用的指標。引文是科學對話的一種方法，是作者認為對自己的研究 “有用” 的資料，這同時也體現了引文含義的復雜性，它是作者的 “主觀” 判斷，但有多個作者有這樣的 “主觀” 判斷，其引文的 “數據” 則是 “客觀” 的，因此它既是定性的，又是定量的[18]。引文的數量并不能夠完全體現論文的質量，它代表的是論文的有用性或可用性，更多反映的是學術論文的影響力及表現。

綜上，通過科學計量指標如基于引文的指標進行代表性研究成果的篩選和評定時，應遵循科學性和價值性的原則，必須將多維度的影響力作為指導思想，采用的評價方法應該直接并易于解釋，以便其他人能夠理解并進行核查，即公開、客觀地呈現評估結果，這也是運用科學計量學的最高準則。要強調的是，基于引文分析的定量方法并不能取代專家評議的定性分析，正如比利時著名科學計量學家魯索（Ronald Rousseau）所說，運用文獻計量學指標是為了能夠對研究工作進行觀察和評論，從而使專家掌握足夠的信息，形成根據更充分的意見，并在更高的信息集成水平上更具權威性。REF2021采用定性與定量結合的綜合評價方法，評估小組需要在正式評價階段向各專家組提供高校提交的科研成果的引用數等定量數據，作為同行評議的參考。

2.2 定量指標的確定

通過詳細解讀《若干措施》中關于對論文評價實行代表作制度的具體評價要求，可以得出如下結論，即對于代表性論文的評價和篩選，應當充分體現創新性和前沿性，并始終圍繞著科研成果的影響力而展開，包括學術影響和經濟社會影響。其中創新思想是科研評價的核心指標，學術影響力和社會影響力是科研評價的重要指標，同時也要考慮學者在團隊中的參與度和貢獻度。結合東北大學訂購的科研分析評價平臺和工具，筆者擬從創新性、國際前沿性、國際學術影響力、經濟社會影響力以及合著中的主導性5個維度來選取代表性論文的定量評價指標。

（1）創新性

衡量科技論文的創新性，使用頻率最高的是傳統科學計量指標中的引文數量，即論文自發表以來統計當年被引用的次數，通常直接用被引頻次來表示。通常情況下，如果一篇論文被引頻次越高，說明該論文被同行重視的程度越高，其學術影響力也就越大，國際上已廣泛接受將其作為一種對論文質量進行后期評估的主要方式和重要的綜合評價定量指標。借助科學引文索引（SCI），通過引文網絡分析，可以從一篇高質量的論文出發，深入了解一項科學研究的來龍去脈，同時發現科研脈絡中的開拓性、新領域和新的研究分支。除被引頻次外，也可以參考與引用論文數量相關的其他指標，如h指數、平均被引用數量和論文被引百分比等進行輔助評價。

（2）國際前沿性

掌握科研的動態和進展尤其是跟蹤新興專業領域對于創新科研工作來說具有重要意義。由前述的引文思想可知，通過持續跟蹤全球重要的科研動態和學術論文，研究分析論文被引用的模式和聚類，特別是成簇的高被引論文頻繁地共同被引用的情況，可以發現研究前沿。在ESI（Essential Science Indicators，基本科學指標）數據庫中，通過聚類分析方法測度高被引論文之間的共被引關系而形成高被引論文的聚類，再通過對聚類中論文題目的分析形成了相應的研究前沿（Research Fronts）[19]。研究前沿是一組高被引論文，是通過聚類分析確定的核心論文。通過查看和對比學者及其所在團隊的學術論文在研究前沿中的命中數量，可以了解其科研產出與相關的國際前沿是否具有主題上的關聯性，如，哪篇論文奠定了課題基礎，哪篇論文為最新研究成果，哪篇論文開創了新的研究分支等，以掌握科研成果在研究前沿中的參與度。

（3）國際學術影響力

由于引文數據會受到學科、發表年份和文獻類型等影響，進行國際學術影響力評價要特別注意遴選指標的標準化。常用的規范化的指標包括CNCI（Category Normalized Citation Impact，學科規范化引文影響力）、百分位等。CNCI是通過計算單篇論文的實際被引次數除以同文獻類型、同出版年、同學科領域的期望被引次數而獲得的[20]，如果一篇文獻被劃歸至多于一個學科領域時，那么就采用它的使用實際被引次數與期望被引次數比值的平均值。由于CNCI是一個排除了出版年、學科領域與文獻類型作用的無偏差影響力指標，因此極具權威性、客觀性，可直接反映高校、科研機構及研究院所的科研成果產出能力的大小。2019年1月，中國農業科學院利用論文的CNCI指標，評選出了20篇2014—2018年中長期代表作論文[21]。百分位是基于同行比較，依據在同行中所處的位置來衡量論文引用的活躍度。

除考慮論文的影響力之外，期刊的影響力級別也是衡量代表作的重要指標。對于期刊級別的規定，《若干措施》中明確指出要鼓勵發表高質量論文，包括發表在具有國際影響力的國內科技期刊、業界公認的國際頂級或重要科技期刊的論文以及在國內外頂級學術會議上進行報告的論文[15]，即 “三高論文” ，對于上述期刊的界定標準都有著各自明確的規定。同時，對于期刊水平和影響力的評定，可以參考JIF期刊影響因子和分區、JNCI（Journal Normalized Citation Impact）期刊規范化的引文影響力等行業內公認、客觀的定量指標。

另外，同樣也可以從引文影響力的角度即發散的角度，通過對核心論文的施引文獻進行分析，進一步了解核心論文的國際影響力。查看施引文獻是否為高被引或熱點論文，有多少篇高被引或熱點論文，反映施引文獻的影響力；查看施引作者的學術成就、研究領域，是否每年都有新的學者引用了核心論文等，反映研究的水平和熱度增長態勢；也可以通過查看施引期刊的分區分布、施引機構分布、施引論文的學科交叉與分布等情況，反映論文的學術影響力和水平。

（4）經濟社會影響力

從定量的角度衡量學術論文的經濟社會影響，可以采用論文的專利引用情況、藥物研發應用情況、橫向合作情況以及企業基金資助情況等經濟和社會化指標。

（5）合著中的主導性

通過作者在論文署名當中的排序情況（如第一作者、通訊作者）和單位署名情況，可以較為客觀地反映其在合著中的主導性，從側面反映出其參與成果產出的貢獻度。

將上述的相關指標總結如圖2所示，初步形成了基于定量指標的代表性研究成果遴選框架。其中各個評價指標體系的權重分配因科研機構及學科領域不同存在著較大的差異性，最終應結合實際情況，通過咨詢專家來確定。

圖2 基于定量指標的代表性研究成果遴選框架

3 結語

筆者概述了代表作制度在國內外科研評價領域的研究現狀和推廣情況，明確了代表作制度應以分類評價作為基本準則。探討了運用定量分析方法篩選代表作應遵循的原則，圍繞多維度的影響力試選取了代表性論文的部分定量指標。筆者堅持高水平成果定量評價與代表性成果專家評價相結合，即定量分析與同行評議結合的方法。在同行評議的基礎上，結合科學計量學的深入分析，目的是為評估人員和科研決策者提供更加客觀、準確的信息。

高校圖書館是高校信息服務的重要陣地，承擔著為學校教學科研提供資源保障和智力支持的重要職責。研究型大學圖書館應當充分利用自身的資源優勢、學科館員的專業優勢以及獨立于管理決策層和科學研究層的第三方優勢，利用文獻計量學定量評估的手段，積極主動地參與到高校科研績效管理與評估的工作中去，促進高校科學研究、學科建設和人才培養。

人才評價由于涉及到多方面的因素，是一項十分復雜的工作。代表作制度的推廣和實踐，有賴于長期的探索和修正，科研評價應當始終堅持以創新質量和學術貢獻度、影響力為核心的評價導向，充分參考和借鑒國外先進的科研評價體系和模式，不斷探索建立更加符合本機構科研實際的論文評價指標，推動傳統 “以刊論文” 與 “唯影響因子” 式評價向對論文本身質量的評價轉變。