信息計量與科學評價：新時期、新需求、新發展
——青年學者論壇綜述*

楊思洛，董嘉慧，劉華瑋

0 引言

大數據、云計算、人工智能、深度學習及區塊鏈等新技術的快速興起與發展，給信息計量與科學評價理論研究和實踐應用帶來了新契機。而“除四唯”“破五唯”等相關國家政策和配套措施陸續出臺，體現了國家對學術評價的重視。如何有效利用人工智能新技術、合理運用大數據方法來切實推進信息計量與科學評價改革與發展，是時代賦予的重要使命，也是社會提出的新要求和新需求。在此背景下，圍繞著“信息計量與科學評價：新時期、新需求、新發展”的主題，2020年信息計量與科學評價青年學者論壇于6月20日在線上平臺舉辦。本次論壇由武漢大學“信息計量與科學評價”青年學術團隊、武漢大學中國科學評價研究中心、全國科學計量學與信息計量學專業委員會共同主辦。論壇吸引了全國各地高校及科研機構的師生參與，聚焦了領域的青年才俊，共有13位青年學者進行精彩報告，展示了信息計量與科學評價領域的最新成果，主題新穎，內容前沿。我國文獻計量學主要奠基人之一邱均平教授擔任點評專家，分上下午兩場進行了精彩點評。在交流討論環節，與會人員互動頻繁，就專家的精彩匯報進行熱烈討論，充分體現了線上會議的優勢。

本文立足于論壇專家的主題報告，結合筆者對領域的思考和認知擴展性梳理相關研究成果。對于評價專場，從科學評價在新時期的發展、科學評價的未來走向兩個方面進行剖析與述評；對于計量專場，主要分為信息計量在新時期的新特征、信息計量的新思考兩個主要部分，揭示了新時期信息計量與科學評價研究的前沿進展及發展趨勢。

1 科學評價在新時期的新發展

科學評價是一項系統工程，伴隨著現代科技的快速發展與廣泛應用，基于傳統文獻計量的定量評價和以同行評議制度為主的專家定性評價早已普遍應用于科技政策制定、信息資源管理等多個領域。在新的時代背景下，科學正進入嶄新的階段，以數據為導向的科學研究第四范式的出現徹底改變了科學研究的思維與方法，推動了科學交流和學科研究發展的轉變[1]。科學評價不僅應包括科學價值本身，還應包括研究的社會和經濟價值等[2]。這要求科學評價在新時期轉變原有的發展模式，轉向更加公平、公正、合理的評價；而開放新環境和新技術，使得科學評價的改進變得可能與可行。例如，荷蘭提出的《標準評價框架 2009-2015》 (Standard Evaluation Protocol，2009-2015)中明確了學術評價不僅要評價學術成果的科技影響力，還要評價學術成果的社會影響力[3]。《舊金山科研評價宣言》就當前資助機構、科研機構等有關方面評價科研成果的方法存在的問題，提出要避免使用期刊影響因子來評價單篇論文以及研究者的個人研究貢獻[4]。由同行制定并由同行進行的研究評價已成為常規，且依賴于度量標準，指標誤用于評價科學績效的情況越來越普遍。為改變定量指標誤用的情形，《萊頓宣言》提出了定量評價應支持定性評價和專家評價等十項原則[5]。

1.1 實現全面評價的替代計量

開放獲取運動的興起和發展使得學者以及公眾可以免費獲取文獻并進行自由傳播，由此產生了新的知識生產和傳播模式，替代計量學(Altmetrics)應運而生。相對于較為單一的引文指標，Altmetrics 涵蓋了更多影響力因素[6]。例如，替代計量學在社交網絡科研交流中的應用，為科研成果影響力評價提供了新的維度，能夠測度多樣化學術成果的影響力[2]。廣義的替代計量學強調研究社交的變化，旨在用面向學術成果全面影響力的評價指標體系，替代傳統片面依靠引文指標的定量科研評價體系，促進開放科學和在線科學交流的全面發展[7]。余厚強副教授在主題報告《Altmetrics指標在科技評價中的應用：機理與路徑》中提出，Altmetrics指標用于科技評價的路徑要考慮不同的目標以及理解替代計量指標用于科研評價的本質。研究發現，傳統用于評價的數據引證僅能反映科學數據集使用的1.3%，不足以體現科學數據集的多元價值[8]。因此，僅考察學者的學術成果以及其在學術界的影響力是不夠的。除此之外，替代計量指標在用于科研評價時應考慮不同的維度和指標的適用度。如圖1所示，Mendeley、F1000Prime向學術研究聚焦，而Twitter、Facebook則向社交媒體聚焦。此外，Thelwall等的研究發現，谷歌專利引文和臨床指南引文能清楚地反映社會影響力，其他社交媒體計量指標則無法實現[9]。

圖1 聚焦Altmetrics指標特征：社交媒體和學術研究[10]

替代計量學已經成為信息計量學領域不可或缺的子領域。替代計量指標的情境數據受到空前重視，影響因素得到廣泛研究。盡管替代計量學研究取得了很大進展，但是在其發展過程中仍然存在著很多問題。比如，替代計量指標并不能完全規避引文指標存在的問題、替代計量數據庫的質量有待進一步完善等[11]。因此，在實踐中使用Altmetrics指標應符合Responsible Metric的各項標準。隨著研究的深入，少數Altmetrics指標性質逐漸明朗，大多數指標在解讀上仍有待深入，而由于Altmetrics指標存在學術導向和非學術導向兩大類，依據評價的目的不同，具體使用的路徑也不同。解決這些問題，有助于替代計量學在未來更好地良性發展，也為替代計量學在科學評價中的全面應用奠定基礎。

1.2 面向精準評價的全文本引文分析

引證是基本的學術行為，引文分析一直是科學評價的重要方法。隨著開放獲取運動的深入，結構化的全文數據越來越易得，依據全文數據可供分析的內容包括了章節、圖表、致謝、引用和實體識別。借助全文本引文分析的方法，可從引用動機、引用強度和施引文獻等角度進行全方位的評價。胡志剛副教授在報告《全文本時代的科學計量與學術評價》中提出基于引用行為的學術評價體系的構建。

引用行為顯示了被引文獻在施引文獻中的引用位置、引用頻次乃至引用情感，其中引用情感包括正面引用、中性引用和負面引用。通過機器學習等技術，可根據其引用特征和引文特征劃分成6種不同維度的指標。這樣在分析引用行為時不僅可以知道引用次數，還可以了解具體的核心引用得分、正面引用得分、權威他引得分、跨學科引用得分、經典引用得分以及方法類引用得分等不同維度的指標，并進行更精準的刻畫。全文本引文分析需要全文本數據的支持，要求自然語言處理和文本挖掘等技術的配合。因此，開發智能的、有效的引文處理工具是未來全文本引文分析發展的重要內容[12]。

2 科學評價的未來走向

科學評價是科技管理工作的重要抓手，2018年中共中央辦公廳、國務院辦公廳印發了《關于深化項目評審、人才評價、機構評估改革的意見》，強調要深入推進項目評審、人才評價和機構評估改革[13]。2020年，教育部發布《關于規范高等學校SCI論文相關指標使用樹立正確評價導向的若干意見》，要求破除科技評價中的“唯論文”“唯SCI至上”等不良導向，分類評價科研成果，完善學術同行評價等措施，為未來的學術評價提供了正確的導向[14]。科技評價的根本目的是促進科學技術的發展、提高人才隊伍素質、提升創新能力水平以及促進經濟的發展。因此，科學評價需要理性的、科學的評價方案。

(1)評價指標使用的合理性。陳云偉研究員在主題報告《科技評價走出‘破’與‘立’困局的思考》中談到，當前科技評價的復雜性在于創新主體維度存在層次性、科技領域維度存在特異型以及科研類型存在多樣性；影響“研究質量”或“科研表現”的影響因素是多維度的，要科學理性地認識各類評價指標的問題。定性指標和定量指標在一定程度上能揭示科學家的學術貢獻，但如何更加合理有效地利用指標對科學家進行評價是問題的關鍵。Moed指出評價指標具有多維度特征，當用論文量、被引量、期刊影響因子、替代計量指標等來評價個人和團隊時，要意識到這些指標的局限，期刊影響因子的評價有效性尚缺

2.1 發展適應新時代的評價體系

乏足夠的計量學證據，而針對科研人員個人的評價指標已被證明存在“虛假的精準性”[15]。對于替代計量指標，正如余厚強副教授在分析其用于評價的合理性時指出，衡量指標要捕捉到評價概念背后的實際情況，同時指標的變化要與衡量對象的慣性一致。科技評價是一個永恒的主題，但是在評價方法的選用方面、具體指標的優化方面，以及評價實踐方面仍然有很長的路要走。

(2)作者貢獻聲明在學術評價中的應用。科學研究問題的綜合性、復雜性和跨學科性日益突出，各學科之間不斷交叉融合，科研合作已成為科學研究的主要趨勢[16]。隨著多作者、多機構合著論文的增多，原有的評價方式不適用于對多個作者或者多個機構的學術產出、學術信譽以及科研成果進行評價。丁敬達教授在其報告《貢獻者角色分類(CRediT)在學術評價中的應用展望》中介紹了基于貢獻者角色分類的作者貢獻率測度方法，指出通過作者貢獻聲明可以明確作者的學術信譽和學術責任，提高作者研究貢獻的透明度以及提高機構或科研資助者識別個體研究者的能力，其應用于學術評價方面的精準度及客觀性較突出。隨著作者貢獻聲明的不斷推廣與應用，信息處理技術和數字科研基礎設施的快速發展，基于作者貢獻聲明的合著者貢獻度測度方法將會在科學評價中得到重視和應用。

科學評價是一個循序漸進的過程，在審視現有評價體系不足的同時，要認識到其在評價之中發揮的正向作用，在此基礎上進行改進，發展適應新時代的評價體系。陳云偉研究員指出，新時期的科學評價發展應把握科技評價治理的正確原則和理念；完善科技評價治理的政策制度體系，明確政府管理部門的職能定位，科學合理地使用科技評價指標。科學政策與研究評價，重點在“評價”，注重評價指標體系的構建，評價最終又為科學決策服務[17]。科學的評價體系未必需要固定的評價模式和指標，但一定要有符合科技評價的初心，才能包容創新，激發個人和團隊的積極性，提升團隊的凝聚力，在實現團隊利益最大化的同時不淡化個人的貢獻，促進機構和個人的進步。

2.2 科學評價的智能化

以數據為導向的科學第四范式的興起，大數據、人工智能時代的到來，令科學評價正朝著智能化方向發展。互聯網環境下，知識傳播交流變得更為廣泛，途徑更為多樣。Altmetrics指標彌補了傳統計量評價的缺陷，能更好地評價學者及學術成果的社會影響力。全文本引文分析結合引用位置、引用強度和引用語境，從引用行為角度進行科學評價。多種內生性指標的運用而非簡單的頻次統計顯示出科學評價正走向全面化和精準化[18]。學術影響力(Scientific Impact）是衡量科研成果與科研工作者等學術貢獻和學術影響的指標，強調從影響力的角度評價科研產出的學術價值與科研主體的研究貢獻以及其學術地位[19]。董克副教授在報告《學術影響力預測研究進展》中指出，當前學術影響力預測的方法體系主要有統計回歸分析和機器學習兩大類，其中機器學習方法體系更適用于大數據場景。在數據生產要素化、數據開放和數據共享的推動下，數據驅動的預測和評價將成為未來的焦點。因此，應綜合社會認同、同行認同、專家認同、期刊認同等，及時反饋影響力情況。需要注意的是，在預測與評價過程中產生的“唯”很大程度上取決于管理需求，方法和技術的應用服務于管理的同時，也應當加強對管理的引導。

楊思洛教授指出，評價不能僅依賴于發表量和被引量已成為學界的共識，多源、多維計量指標的綜合評價是大勢所趨。其報告《人文社科成果國際影響力評價：問題與趨勢》中，將人文社科成果國際影響力評價分為4個階段：(1)2000年前的1.0時代，主要以引文指標為主；(2)2001-2010年的2.0時代，以網絡計量學指標，特別是鏈接分析類指標為主要特色；(3)2011-2020年的3.0時代，結合Altmetric指標的更全面的影響力評價成為主流；(4)2021年以后為4.0時代，結合認知計算與人工智能指標，智能計量成為發展趨勢。人文社科成果國際影響力評價未來將向橫向廣度發展的綜合全面評價和縱向深度發展的智能精準評價發展。人工智能、自然語言處理、深度學習等技術在科學評價上顯示了其內在優勢，利用人工智能、認知計算、數據挖掘、語義網等新技術，分析、設計和實現智能評價系統構建，最終實現專家評議與文獻計量、定性評價與定量評價、主觀分析與客觀統計、外在指標與內在指標、間接測度與直接測度相結合的智能化評價[19]。

3 信息計量在新時期的新特征

3.1 方法不斷創新

大數據的環境下，信息計量的研究方法不斷創新。傳統的基于頻次的引文分析轉向基于內容的引文語義分析，替代計量指標也在不斷改進和完善，如新興的替代計量關注度得分(Altmetrics Attention Score， AAS)、 Alt 指 數 以 及 RG Score等。也有學者針對論文計數方法存在的問題提出新的計算方法，如介于全計數和分數計數之間的新的分數計數法[20]、基于貢獻要素的合著者貢獻率測度方法[17]等。科學知識圖譜和社會網絡分析的應用也拓寬了信息情報分析工作的視角，豐富了信息計量與科學評價的思路和解決方案[14]。科學學的研究反復表明，科學知識具有明顯的累積性、繼承性和連續性。任何新的知識或技術，都是在原有知識和技術的基礎上分化、衍生出來的，都是對原有知識和技術的發展[21]。黃穎副教授作了主題報告《基于多代引文的單篇學術論文分類研究》，提出了基于多代引文的單篇學術論文分類方法。代際引文之間的學科分布具有相似性，并且可以提供更多的學科領域信息。多代引文分析(Multiple-generation Reference Analysis)基于單篇文章而不是期刊，可以同時對發表在多學科期刊上的論文進行分類，使用參考文獻從而使得引用關系穩定，進而保證學科分類的穩定，在判別現有期刊分類的準確性、識別高交叉的研究論文以及輔助判定成果的學科歸屬上有潛在的應用價值。

網絡環境推動了知識交流和知識傳播模式的演變。科學活動交流日益頻繁，引起諸多學者對網絡環境下知識交流效率的測度和探討。楊瑞仙副教授在報告《基于用戶相似度的加權社會網絡模型構建研究》中指出，學術虛擬社區成為研究人員所涉足的科研新場所，它有效彌補了科學交流系統中正式知識交流時效性、交互性等方面的不足，滿足了新時代學術用戶的知識交流需求[22]。為研究學術虛擬社區知識交流效率，構建知識交流網絡模型，楊瑞仙副教授介紹了基于用戶相似度的加權社會網絡模型。社會科學領域的社會網絡分析研究主要包括引文網絡、合作網絡和主題關聯網絡3個方面，而加權社會網絡的權重設置為優化網絡性質及功能提供了新的手段，為網絡性質提供了一個新的維度。加權社會網絡是社會網絡分析方法的改良和優化，有助于提升信息計量與科技評價的水平。總體看來，信息計量在新時期是不斷前進的，信息計量的研究方法正朝著不斷更新、不斷豐富、更加全面的方向發展。

3.2 研究內容不斷深入

信息計量的研究內容不斷深入，如引文分析、替代計量指標已日益廣泛應用于多個學科領域。祝清松等以碳納米管纖維研究領域的高被引論文為研究對象進行引文內容抽取和主題識別，發現基于引文內容識別的主題能較好地揭示被引原因(引用動機），在識別引文主題上也具有更好的代表性，能有效揭示被引文獻的研究內容[23]。楊思洛等從文獻計量學的歷時分析角度，基于學科層面，分析和比較我國學者引證行為的變化特征。具體選擇“中國引文數據庫”中4個學科(哲學、圖書情報、物理和機械工程)1994-2013年內896，645篇論文的引文數據進行分析[24]。有學者通過Altmetric.com，以生物醫學領域的論文為研究對象，對論文發表之后在網絡中分享、在各種文獻管理軟件中使用以及專家推薦等情況進行次數統計，并對這些分享、推薦等行為賦予權重，從而為一篇文章打分和排名[25]。侯劍華教授作了主題報告《專利睡美人問題——演化軌跡與識別方法》，就中國“石墨烯”專利領域的睡美人現象進行研究。科學文獻睡美人是科學知識擴散(引文軌跡分布)的一種特殊現象，是科學發展不確定性的重要體現，研究睡美人現象，對挖掘特殊引文軌跡文獻具有重要價值。研究發現，專利文獻同樣存在睡美人現象，并定義了4種專利蘇醒類型：曇花一現型、豌豆公主型(早期漸變)、丑小鴨專利型和睡美人專利型。專利文獻中睡美人特征的深入分析，為后續睡美人專利的識別與喚醒奠定基礎，進而為及早發現并利用此類有價值的專利文獻提供解決方案，促進知識流動和技術迭代，加速科學發現。“跨學科(Interdisciplinary)”是指超越一個已知學科的邊界而進行的兩個或兩個以上學科的實踐活動，由于現實的需要，跨學科研究為教育與科技資源的優化整合提供了重要依據和決策參考[26]。宋艷輝副教授在其報告《中美LIS博士論文跨學科發展比較研究》中就中美圖書情報學博士論文的跨學科發展進行比較研究，展示了情報學、圖書館學、計算機科學技術、管理學和經濟學5個學科的關鍵詞頻次分布圖以及交叉學科共現關系網絡等內容。研究發現，北美博士論文的研究層面有向人文科學、社會科學、自然科學、工程科學領域滲透的趨勢；在跨學科論文數量方面，其分布特征大致呈現先增后減的趨勢，北美的跨學科論文數量波動更加明顯。可以看出，引文內容分析、替代計量指標、科學知識圖譜等研究方法適用于多個學科領域，展現了信息計量在其他學科領域良好的適用性。

4 信息計量的新思考

4.1 緊密結合社會需求

近年來，各國的科研政策發生了明顯的轉變，從主要關注學術研究的科學影響力，轉向同時關注科學研究的社會影響力，為社會重大問題提供解決方案[27]。2019年，愛思唯爾高級總裁Anne Kitson和中科院院士蔡榮根在首屆世界科技與發展論壇上共同發布了人類社會發展的十大科學問題，顯示出其聚焦人類社會關切的核心思想。我國國家自然科學基金委員會(NSFC)發布的《2019年度國家自然科學基金項目指南》也明確將源于國家重大需求，且具有鮮明問題和目標導向的“需求牽引、突破瓶頸”類研究作為四大類科學問題之一[27]。科學研究和社會需求之間存在著復雜的交互機制，社會需求可能會直接轉化為科學研究需求，也可能轉化為政策導向，引導科研人員從事相關的研究。同時，科學研究的進展有可能會產生新的社會需求。

為探究科研資助主題和社會需求之間是否存在對應關系，以及如何運用定量的研究方法進行測度，張琳教授作了主題報告《科學研究與社會需求的關系——基于科學計量方法的初探》，介紹了一項有關全球重大衛生疾病的計量研究，以量化和衡量學術界對國際公共衛生緊急狀況的反應，測度其反應模式。研究發現，在每一次重大公共衛生事件爆發的時候，相關的科學研究，以論文為例，呈現出與疾病一樣的迅速增長和爆發的趨勢；而隨著疾病形勢逐步被控制，論文的增長趨勢也隨之回落。可以看出，學術界對于重大衛生事件，都做出了積極明顯且迅速的反應[28]。信息計量學在發展過程中逐漸向社會實際需求靠攏，和社會需求緊密結合，在科技政策的制定、科研管理以及科技情報工作中都有所應用。

在另一項有關社會現象的科學研究中，李江教授作了主題報告《中性化的姓名更容易被引用嗎？》，就中性化的姓名是否更容易被引用進行探討。姓名中有性別傾向嗎？中性化的姓名更容易被引用嗎？通過對美國社會保障管理總署(Social Security Administration)中的美國新生兒的姓名和性別數據進行收集，建立性別中性化程度的測度指標，對數據進行時間軸推演發現，越來越多的人開始使用較為中性化的姓名，而非具有明顯性別指向的姓名。研究發現，當作者的名字聽起來比較中性化時，論文被引用的次數顯著變多；不論男性還是女性，姓名較為中性化的第一作者和最后作者對被引均有影響。科學研究和社會需求二者是緊密聯系的，信息計量不僅適用于其他學科領域，同時也對當前的社會需求以及社會現象進行獨特的測度和評價。需要注意的是，指標要適用于不同的社會問題。這也反映出信息計量未來的發展趨勢不僅是計量方法的深入和創新，更需要緊密地結合社會需求，結合不同的研究視角和研究數據，如社會、經濟、醫療等，拓展計量學的研究范疇，反映社會現象，解決社會實際問題，推動社會發展。

4.2 靜態數據向動態可視化轉變

傳統的文獻計量學與科學計量學理論方法對文獻信息資源處理乏力，從而對計量學科提出了更高的要求，進而催生了信息計量學[29]。信息是數據在信息媒介上的映射，數據是載荷或記錄信息的按照一定規則排列組合的物理符號。人們對信息的接受始于對數據的接收，對信息的獲取只能通過對數據背景和規則的解讀[30]。隨著技術的發展和時代的進步，從文本到圖像，從靜態頁面到動態視頻，表征了數據從靜態到動態發展的趨勢。數據可視化作為信息計量不可或缺的方法之一，也將朝著動態化的方向發展。動態可視化可分為3個大類：動畫，交互和實時[31]。趙星教授在其主題報告《數欲靜，而風不止——動態可視化如何讓數據跳動》中指出，相較于普通的可視化，動態可視化增加了時空狀態的關聯變換，是比靜態可視化多一個維度(時間維)的可視化形式，將數據從時空層面上進行切片，再通過動態形式聯系成一個整體；它具有同時展現繼承和發展以及能夠對連續數據隱含聯系進行挖掘的優勢，如對多維度引文影響力以及多維度引文機構指標的動態可視化。而利用動態樹形圖、動態曲線圖、動態維度機構畫像以及動態關系網絡圖，能夠更加清晰地展示出數據之間的關系。特別是當下動態疫情的展示，為信息計量研究提供了新的角度和方向。

5 結語

信息計量和科學評價在新時期顯示出與時俱進的趨勢和走向，研究方法和對象都有所創新和發展。總的來說，體現在以下幾個方面：一是科學評價模式的轉變，科研評價體系日益完善。新時期環境和技術的變化使得科學評價更加公平公正，科學評價原有的依賴單一計量指標的現狀已經轉變；在開放獲取運動下，替代計量指標不斷發展，科研評價體系正日益完善。二是信息計量和科研評價方法不斷深入，研究對象緊密結合實際。傳統的引文分析不斷創新，轉向引文語義分析，而替代計量指標也逐漸完善，計量方法向縱深發展；計量研究與社會交互程度加深，豐富的社會數據和社會現象促進了研究與社會現象的緊密結合；三是信息計量研究領域多元化，與其他學科交叉融合加深。信息計量方法已運用于多個學科領域，信息計量與其他學科的融合正在不斷加深。豐富的數據和來源對數據處理和計算能力的要求日益提高，也增進了信息計量與計算機科學等學科的交叉融合[32]。

本屆以“信息計量與科學評價：新時期、新發展、新趨勢”為主題的論壇，注重信息計量與科學評價的相互結合，國際化視野突出，為青年學者提供了一個思想交流的平臺，是青年學者在特殊時期科研成果的集中展示。借用邱均平教授對本次論壇“新”的特點的評價，一是舉辦單位新，首次由青年學術團隊主辦；二是會議形式新，依托網絡會議交流，形式新穎；三是報告選題、報告內容、研究角度和方法乃至是研究結論都有所創新。邱均平教授最后對青年學者提出建議：要加強理論研究，要處理好各類科學評價的不同特征和各種關系，要特別注意計量分析方法的規范化，研究論文或學術報告要更加突出重點。

展望未來，與時俱進。新技術能夠推動計量學和評價學的進步，是未來信息計量與科學評價的發展方向和研究重點之一。未來的科學評價將朝著全面化、智能化和精準化發展，評價體系更加合理和完善，信息計量也將運用人工智能、自然語言處理等新技術，不斷創新研究方法、研究角度和對象，并與社會需求和社會發展緊密結合。