基于影響力的學術評價體系探析

許思嫻

（南京工業大學，江蘇南京 210009）

0 引言

影響力這一指標在學術評價中的關注度歷來較高，但其概念的內涵尚無一個清晰且普適的定義。美國心理學家羅伯特·B·西奧迪尼（Cialdini，R.B.）［1］認為，影響力是一種以他人愿意接受的方式去影響其認知觀念和行為表征的能力，個體創新的影響力對其行為表征產生重要作用。影響力評價能夠篩選出領域內的重點研究機構和核心學者，引導正確的科研方向，提升研究參與者的積極性，促進科研競爭良性發展，因此這一課題在學界的關注度歷來較高。國內外學者基于機構、學者、期刊、學術論文等對象的影響力進行過大量的指標分析和體系構建研究，以下主要就學者及其學術成果，從學術影響力和社會影響力兩方面闡述影響力評價的研究現狀及體系構建。

1 影響力評價方法的演進

1926年，洛特卡將著者與論文數量聯系起來，在《科學生產率的頻率分布》一文中提出了被稱為“洛特卡定律”的經驗規律［2］，隨后Gross等［3］在1927年開始從論文被引次數進行科研工作重要性程度評價，奠定了學者影響力的評價基礎。但由于當時引用數據的獲取難度較大，該方法較難投入實際應用，直到SCI問世后，被引次數才成為影響力評價中的最重要的指標之一。

1.1 影響因子

1955年，Garfield［4］在Science上發表文章，針對期刊的評價提出了影響因子IF（Impact Factor）指標，第一次用引文分析作為期刊評價的工具。1957年，美國科學信息研究所（Institute for Scientific Information）創辦了《科學引文索引》（Science Citation Index，SCI）。SCI以布拉德福（S.C.Bradford）文獻離散律理論和加菲爾德（E.Garfield）引文分析理論為主要基礎，通過論文的被引頻次等的統計，對學術期刊和科研成果進行多方位的評價研究，進而評價國家或地區、科研單位、學者個人的科研成果產出績效，反映其在國際上的學術水平。此后針對SCI的研究大量涌現，影響因子成為影響力評價中的主導指標，其數值越高，期刊的影響力就越大。

被引頻次評價具有廣泛性、公開性、公平性和客觀性的優點，在一定程度上能夠表征期刊和論文學術質量的優劣，以及成果的學術地位和價值。然而，由于影響因子與學術質量間并非呈線性關系，在實踐中又會受到學科領域、文獻類型、出版時間、引用動機等的影響，這種絕對指標無法精確評價學術質量。2012年12月，由美國科學促進會（AAAS）牽頭的75家機構和150多位知名科學家簽署了《關于研究評價的舊金山宣言》（San Francisco declaration on research Assessment，DORA），呼吁學界停止使用影響因子評價學者貢獻或作為招聘、晉升和項目資助等的評審條件［5］。

1.2 h指數

20世紀90年代之后，研究者們開始意識到過度依賴期刊的影響因子和引用次數導致的學術質量問題，并試圖尋找新的指標改善現有體系的弊病。2005年，美國加州大學圣地亞哥分校的物理學家Hirsh［6］提出了混合量化指標h指數，將科研人員作為獨立個體進行研究成果量化。根據他的原始定義，一名科學家的h指數是指其發表的Np篇論文中有h篇每篇至少被引h次、而其余Np-h篇論文每篇被引均小于或等于h次。

h指數綜合考慮了論文數量和引用次數，一定程度上避免了自引的影響，比較好地表征了高被引論文的實際影響力，因此迅速成了影響力研究的熱點指標。但這種方法同樣存在著一定的問題，比如不能進行跨學科比較、過度依賴學術生涯時間、反映不了學者影響力的消退和下降等。為了彌補h指數存在的這些缺陷，學者們研究并提出了h指數的諸多變體，如m指數、e指數、Hmx指數、Hg指數、H（2）指數、A指數、R指數等，后續又提出了獨立于h指數的擴展指數、適合評價不同學科領域的個人的擴展指數以及考慮合作者的擴展指數等大量評價指標［7］。

1.3 社會網絡分析方法

隨著科技進步和網絡普及，大數據技術也逐漸應用到了學術評價中，作者合作網絡和互引網絡成為影響力評價的新熱點。研究者們基于社群影響力（合著網絡）和學術影響力（被引次數）進行了大量的影響力評價研究，提出了點度中心度、中間中心度、接近中心度和類PageRank算法等一眾新方法［8］。

相比于傳統的文獻計量學，社會網絡分析方法能夠自動生成被引權重，從知識流通的角度評價學者影響力，對于分類評價有著促進作用，但在隨機網絡和大型網絡中表現較差。

1.4 替代計量學

2010年，Priem等開始倡導替代計量學（Altmetrics）學術運動，在多年的指標發展之后，出現了包括摘要瀏覽量、點擊量、下載量、圖片瀏覽量、全文瀏覽量、館藏量、書簽數、評論數等在內的大量網絡社會影響力指標，用以反映可見度、知名度和社會影響力，作為網絡環境下學者科研成果的計量系統，受到了廣泛關注和認可［9］。

該方法具有強烈的社會性、即時性、選擇性和非傳統性，在學術影響力的基礎上同時能夠反映社會影響力，打破了傳統研究方法中基于引文數據存在的封閉和不透明問題，是當代科學交流新模式下的適應性創新。但在目前的網絡社會環境中，由于數據比較容易被人為惡意操縱，加上國外認可度較高的網絡指標國內獲取受限，替代計量學真正替代傳統文獻計量學的路還相當漫長。

2 國內外影響力評價的實證研究

盡管影響力是學術評價的主流研究內容，但將影響力作為評價指標之一，大范圍開展實踐的國家和機構并不多。英國的卓越研究框架（REF）中單列了研究機構的對外影響力，指參評單元進行的科研活動對經濟和社會等各階層產生的廣泛影響，評價標準是能否產生影響及影響的意義，權重為20%。在實際評估中，主要是通過案例展示的方式，由參評者填寫影響力模板，并將相關數據、實例、指標等作為參考信息提供給專家。考慮到學科間科研活動的差異，REF將學科分為了四大類36個小組，允許參評者從健康和社會福利、社會、文化和創造力、經濟和商業、公共政策和服務、生產、從業者和服務、環境、國際發展、其他（如公民社會、教育事業、公共話語權等，兼顧某些特定學科的研究產生的影響）等方面選擇一個或幾個方面來闡述影響力。這種案例結合模板的方式關注兩個方面：（1）科研是否產生了影響；（2）影響的意義。前者關注廣度和深度，后者關注強度。專家會整體評估參評者的影響力，最終給每項指標劃分等級后加權平均，結果分為0～4星5個等級，分別代表影響很小或根本沒有影響、影響認可但適度、影響可觀、影響非常可觀、影響杰出［10］。

加拿大人文與社會科學聯合會也在加拿大國內的人文社科領域做過大范圍的影響力評估，并形成了《評估人文與社會科學影響力的途徑》報告。他們發現，出于學科和學術研究的多樣性，加上“影響力”本身定義不詳，學者的創造力和探索成果給社會帶來的影響很難界定，有些影響可能是學者本人都不曾料想的，也有些影響可能要等上幾年甚至幾十年才能顯現。除了研究人員，成果使用者、研究合作者、社會受益者也都處于影響的波及范圍，但在評估實踐中，很難收集到所有人的長時反饋。這也導致加拿大學界對于影響力的評估結果存疑，受到“學術測不準”不確定性的影響，很多學者認為范圍狹隘、靈活性不足的評估體系不利于難以用簡單量化指標來評估影響力的研究學科［11］。

我國早在20世紀90年代已經開始關注影響力相關的課題，但2000年后才有比較系統的研究。關于影響力的評價主要分成兩個方向：一部分研究采用文獻計量的方法，從發文量、被引次數、平均被引次數、h指數、基金論文、學術跡等角度，針對學術成果和學術期刊展開的有關學術影響力的討論［12-14］；另一部分則從公關價值出發，以學術職業類別、導師級別、職稱級別、社會網絡知識圖譜等衡量學者的學術地位，進行社會影響力的評價［15-16］。近幾年，隨著替代計量學的出現和大數據技術的逐漸成熟，一些研究開始糅合學術影響力和社會影響力，對學者的綜合影響力進行評價［17］。但總體來說，國內的影響力研究偏向單一計量指標和社會網絡圖譜，比較多地集中在某個指標的概念和相關性研究上，少有對于指標體系的研究，且評價對象多是科研成果，尤以學術論文占據的權重最高，在一定程度上存在著重學術影響力、輕社會影響力的問題，忽略了優秀的學者和學術成果對于經濟社會和工業產業的貢獻和影響。

3 基于影響力的學術評價體系

3.1 影響力評價指標的演進

3.1.1 傳統文獻計量學指標

在影響力的評價指標選擇問題上，前人做了大量的工作，很多得到廣泛認可的指標也不斷被改良和修正。傳統的計量指標主要是基于科研成果的文獻計量，尤其是引文分析，佐以少數榮譽類指標如學術任職、學術獎勵等，一些創新型人才評價指標中會增加知識產權相關指標。

傳統的文獻計量學指標集合包括論文總數、引文總數、篇均被引數、重要論文數及其被引次數、期刊影響因子等，數據相對來說比較容易獲取和統計，也就比較容易被操作，因此后續又有學者提出引用應當是在論文中實質性“被提及”、作者個人貢獻需要單獨計算、重點衡量高被引論文、加權引用等觀點對上述指標進行細化和補充。但由于這套指標體系無限放大了學術論文的數量效應，忽略了學術論文的質量和學科間的差異性，引發了大量科研人員的反對。

h指數以及它的擴展指數如w指數、g指數、f指數、t指數、Ga指數、grat指數、n指數、Normalized h指數、hf指數、x指數、Alternative h指數、Hp指數、Hm指數、hap指數等在影響因子遭到批判后得到了一定的發展和推廣。h指數及其擴展指數兼顧論文的質量和數量，計算方法也適應大數據技術，相比傳統的文獻計量學指標有著一定的優勢，但也存在著諸如無法偵測學術影響力波動、無法確定團隊影響力分配、缺乏區分度等的問題。另一類基于大數據技術的影響力指標是谷歌的PageRank及其衍生出的AuthorRank，LeaderRank等，這些關聯型指標主要考察學者之間的引用和合作關系。

為了消除學科的影響，又有學者提出了皇冠指數和新皇冠指數，即領域篇均引文率和標準化引文比分，但這種基于算術平均的引文指標也遭到了一些詬病。同時，由于指標之間存在著一定的相關性，例如論文總數會影響引文總數，也導致一個參數的改變會同時影響兩個以上的指標，不利于構建公平、客觀的影響力評價體系。

3.1.2 基于社會網絡的計量學指標

隨著網絡技術的普及和數據技術的革新，2008年前后，一種基于社會軟件的分布式科學評價出現，隨后這一評價方法被不斷改進，用于測試學者在線研究行為的外部有效性水平。這種方法被命名為Altmetrics，國內將其命名為替代計量學，也有文獻翻譯成選擇計量學或補充計量學。國外學者基于替代計量學指標開展的實證研究最早是基于Twitter等社交網絡，后來認為Twitter的用戶群體、情境等不能有效反映學術影響力，現在多采用Mendeley作為數據源。國內現有的實證研究不多，主要是分析Plum Analytics和Mendeley上的數據，從基于網絡的社會影響力指標出發，涵蓋點擊量、下載量、書簽數、鏈接數、評論數、合作者數等網絡資源傳播、獲取、利用的常規指標，一些深入分析也會從大數據分析的點度中心度、中間中心度、接近中心度等社會網絡分析指標考察學者影響力。但是目前替代計量學在國內還難以推廣，主要的問題是國內沒有大型的替代計量學工具。一些研究采用新浪微博作為數據源，往往遭遇和國外研究Twitter同樣的問題，且由于新浪微博的普及率和真實度遠低于Twitter，對于影響力客觀評價的干擾更加嚴重。雖然國產替代計量學工具的開發勢在必行，但從開發、推廣、使用到獲取數據都需要一定的時間積累，替代計量學作為影響力評價的參考指標在國內普及還有很長的路要走。

3.1.3 同行評價指標

目前來說，計量學指標在影響力的評價中還是占據主導地位，但受到主流學術評價方式的影響，同行評議指標也逐漸出現。國內的一些實踐中就將學歷、榮譽、教學等項目納入評價體系，主要從畢業院校、學科專業、學歷等級、人才項目、榮譽崗位、學術獎勵、學生培養、授課語言等方面綜合評價學者影響力。此外，基于學術成果的“開放同行評議”概念也逐漸興起，不少學者以F1000和WoS作為平臺開展了一系列實證研究，并認為開放同行評議內容的定性評價涉及了傳統評價方法尚未涉及的層面［16］，不過這種評價方式在國內面臨著和替代計量學相同的推廣問題。

3.2 基于影響力的學術評價體系構建

關于影響力的學術評價指標體系目前已有較多研究：楊國梁等［17］主張以自然學科、社會學科、工程學科劃分，從科研成果的產出數量、投入產出效率和質量3個維度綜合評價機構和學者的影響力；李蒙等［18］通過追蹤調研智庫人才，得到咨詢決策貢獻、學術貢獻、社會傳播、國際智庫合作4個一級指標，然后選取影響力因子中荷載較高的因素作為下級指標，對智庫人才進行分層；王妍［19］從學術影響力和社會影響力兩個方面構建了二維測度方法模型，選取摘要瀏覽量、全文瀏覽量、下載量、點擊量、Mendeley添加量、Facebook評論量、喜愛量、Facebook共享量、Google+量作為社會維度指標，選取總被引頻次、篇均被引頻次、h指數作為學術維度指標，將兩類指標因子投射在直角坐標系中，將學者落位劃分在“名家”“明星”“專業”“普通”4個象限中；王菲菲等［15］則從學術文獻影響力、學術合作影響力、學術引用影響力、社會影響力和網絡社區影響力5個維度篩選出21個二級指標，利用天際線算法對學者進行綜合影響力評價。綜合來看，各個學者所采用的指標和分類有著比較大的差異，從不同角度展開的體系構建有著明顯的區別，不同學者選擇的指標之間甚至存在一定的沖突。

此外，不同學科行業認可的影響力評價標準也有很大區別，比如工科類人才的影響力評價指標與上文所述傳統計量學和新興社會網絡評價指標截然不同。以李瑞等［20］針對典型工程技術類高層次創新型科技人才開展深度訪談后提出的評價指標體系為例，他將學界影響力、業界影響力、社會影響力作為3個主要指標，以學術任職情況、獲得工程技術類獎勵、自主知識產權轉化的數量和經濟效益、對產業結構優化和產業技術水平提升的影響、技術性服務收入情況、自主知識產權轉化的社會效益、傳播工程技術知識的能力等作為二級指標，對工程技術類高層次創新型科技人才的引進、培養和管理提供參考。

基于影響力的學術評價指標體系和基于貢獻力的學術評價指標體系相似，都需要對評價對象進行分類，針對不同學科不同專業的學者，應當科學設置同行評議及計量學指標，合理分配多種評價方式的權重。同時，由于影響力存在一定的滯后性，一些成果的影響力要數年乃至數十年才能顯現，更需要重視中長期目標導向，選擇比較久的考核周期，避免促成急功近利的學術氛圍。

4 基于影響力的學術評價體系的實踐局限性

國內關于影響力的研究成果不在少數，但與國外的影響力研究相比，還停留在傳統計量學指標拼圖和h指數的改進上，PageRank算法改良、替代計量學、開放同行評議等方面的成果不多，基于后三者的評價體系構建更是少之又少。同時，國內的網絡環境較為閉塞，缺少一些基于社會網絡的新興指標數據，也導致替代計量學研究在國內比較難以推廣。而在目前國內高校的實踐中，影響力的評價幾乎完全等同于引文水平和影響因子，因為其他成果形式的影響力難以衡量，國內實踐只關注學術論文，連專著和專利都被排除在外。另外，在高校實際的績效考評中，評價對象普遍存在成果數量少、影響力不高的問題，加上國內學術論文多有署名不規范、虛假貢獻、消極引用等現象，也導致很大一部分對于影響力的學術評價體系研究淪為紙上談兵。

5 結語

影響力評價是近年來國內外學術評價研究的發展趨勢。在當前，我國的學術評價已經過了追求數量的年代，隨著科技和經濟實力的整體提升，學術科研對經濟和社會的影響更應該得到重視。我們需要尊重不同學科的特點，具體問題具體分析，因地制宜，科學設計不同的方法和標準，分類評價不同種類人才的影響力。