Altmetrics指標的分類計量與可視化研究

0 前言

隨著大數據時代到來，在線論壇、微博、Twitter、Facebook等社交媒體服務發展迅速，科研人員開始在社交媒體工具上開展學術研究工作，比如學者們在Twitter和Facebook上分享和討論學術文獻，在社交型文獻管理軟件(如Mendeley)中組織學術文獻，在博客與微博中評論學術文獻，在新聞與同行評審(如Faculty of 1000)中報道學術文獻。社交媒體工具不僅改進了學術研究流程，提高了學術交流效率，還記錄了一系列在線學術行為。Altmetrics就是在記錄這些學術行為基礎上而產生和發展，并逐漸走入科學家的研究視線。

在Altmetrics指標研究的初始階段，學者們重點探討Altmetrics的產生背景、研究意義、研究方法等。在研究的中期，Altmetrics指標與傳統引文指標之間的關系成為研究的重點。到了近幾年，綜合利用數據源對多樣化類型的學術成果進行科學評價是被熱議的話題。然而，眾多Altmetrics指標處于離散狀態，指標數據源存在層次性和多樣性，很多類型的Altmetrics指標所傳遞的價值仍有待探索[1]。由此，本文試圖探索Altmetrics指標群的計量特點和指標間的深層次關系，旨在發現指標合理分類和構建各個分類因子的計算模型，以可視化的方式揭示科學文獻在社交媒體中傳播和交流的特點，以期有助于科學影響力評價效果的全面呈現。

1 研究現狀

2010年，Priem在Altmetrics宣言中首次提出“Altmetrics”概念，旨在為計量學術影響力提供新的指標來源[2]。傳統文獻計量學中的影響度量通常會計算一定數量的出版物、引文和同行評審，用來評價研究人員、期刊或科研機構[3]。隨著越來越多的出版物和研究成果在網上被使用，“使用指標”(點擊量和下載量)和網絡計量學應運而生。特別是近年來研究成果呈現形式向多樣化轉變，不僅有專著、論文和報告，還包括博客、視頻、數據集和軟件代碼等，這些研究成果不斷在社交媒體上進行討論和傳播，并用Altmetrics記錄了其在社交媒體上活動與互動[4]。

近年關于Altmetrics的研究已經從概念、指標范圍的探討階段進入交叉度量研究驗證階段。首先，在Altmetrics與傳統文獻計量指標比較研究層面，大多數學者將Altmetrics指標群和WoS或Scopus的引文量進行相關分析[5]，一些學者實證分析Altmetrics與CrossRef引文量、PubMed引文量、期刊引文量、書籍引文量和高校排名之間的交叉度量關系[6-10]。其次，在Altmetrics與網絡計量指標比較研究層面，研究Altmetrics與使用指標之間的相關關系。再次，在Altmetrics內部指標間的研究層面，關注Altmetrics指標之間的交叉度量驗證[3]。上述研究大多使用回歸分析、方差分析、曼·惠特尼U檢驗及相關分析等方法。Bornmann[6]、Erdt等[11]運用 Meta分析驗證Altmetrics和引文量之間的相關系數在0.08～0.5內變化，并強調Altmetrics指標是傳統計量指標的補充而非替代。國內學者對Altmetrics指標之間的關系和指標分類進行研究，趙蓉英等[12]將Altmetrics指標分為兩類：媒介交流(News、Blog、Twitter、Facebook、Google+)和讀者數量(Mendeley、CiteULike、Wikipedia)；由慶斌等[13]運用主成分分析將指標分為讀者數量因子(Mendeley、CiteULike)、社交傳播因子(Twitter、Facebook)和論文質量因子(F1000)等三類。

盡管學者對Altmetrics的指標來源、指標間的關系及其與傳統計量指標之間的關系進行了探討，取得了一些研究成果，但Altmetrics的指標體系中的指標數量總計有23個之多[11]，上述研究并未充分地獲取Altmetrics指標數據來全面分析指標特征，且尚未說明科學文獻在社交媒體中的交流與傳播規律。所以，對具有同質性的Altmetrics指標進行科學分類，在此基礎上構建計算模型并加以可視化驗證是本文研究的重點。

2 Altmetrics指標分類研究

2.1 數據集與研究方法

本文利用Altmetrics指標服務著名提供商之一Altmetric.com平臺，選取2016年度Altmetrics得分前100名的論文為文獻來源，利用該網站的鏈接(https：//figshare.com/collections/Altmetric_Top_100_2016/3590951)下載100篇高得分論文的DOI、鏈接、主題、論文簡介、新聞報道、博客、Twitter、Facebook、Google+、維基百科、Video和F1000等各項指標值(統計時間為2016年12月7日)。在檢索每篇論文的谷歌學術引文量(統計時間為2017年5月7日)的基礎上，再次重新統計每篇論文的Altmetrics得分(統計時間為2017年5月7日)，最終形成2016年AltmetricsTop100論文數據集。

本研究運用RStudio 3.3.3軟件，首先對Altmetrics指標的計量數值進行描述性統計分析，然后對Altmetrics Top100論文的各個計量指標進行Spearman相關分析，然后對數據集中的Altmetrics各個指標進行主成分提取并加以因子命名，最終得出因子計算模型并進行可視化驗證。

2.2 描述性統計分析

通過原始數據集可以看出，Top100論文是社交媒體中讀者關注的重點文章，在Altmetric.com網站上有較高的Altmetrics得分。本研究Altmetrics得分一列中有兩個值，分別統計于2016年12月7日和2017年5月7日，時隔5個月。雖然大部分文獻的Altmetrics得分統計值以增加為主，但有10篇文獻出現得分下降的異?，F象，見表1。

從表1中可以看出，一些文獻的Altmetrics得分統計值小幅下降。筆者重新統計這些文章的Altmetrics中的各個指標值，發現Altmetric.com網站提供的統計指標中，因這些文章的“新聞”指標值大幅下降，雖然Twitter和Facebook指標值略有增加，但因其“新聞”指標占總分值權重較大，進而導致總得分下降。另有一篇文獻，雖然在2016年底被統計進入年度網絡關注論文前100名中的第28名，Altmetrics得分為2353，但半年后Altmetrics得分急劇下降至125，該篇文獻在網上標明原因：“NOT PEER-REVIEWED.‘PeerJ Preprints’is a venue for early communication or feedback before peer review.Data may be preliminary”，但該文獻經過同行評審后又重新分配DOI號碼，并有了新的Altmetrics得分排名。此10篇文獻的得分降低幅度見圖1。

表1 Altmetrics得分降低的10篇文獻

這個現象也說明，相對于“引文量”等傳統計量指標，Altmetrics指標具有活動性和不穩定性。利用Altmetrics指標對文獻進行評價時應考慮這種特性，以避免錯誤的計量和評價。

圖1 Altmetrics得分降低幅度圖

2.3 相關分析

(1)首先計算谷歌學術引用量(Google Scholar Citation)與Altmetrics得分之間的相關系數。二者的相關系數值為0.246(p-value=0.01372＜0.05，顯著相關)，表示兩者具有弱相關關系。其次，繪制帶有邊際地毯的和局部加權擬和線的散點圖，見圖2。

圖2 谷歌學術引用量與Altmetrics得分相關關系散點圖

從圖2中可以看出，數據集中100篇文獻的引用量集中在500以內，Altmetrics得分值集中在2000至4000之間，在此范圍內呈密集分布。本次統計分析亦做了局部加權多項式擬合線(loess曲線)，陰影部分為95%擬合范圍區域。筆者還注意到兩個點：一個是圖中最高的點，代表文章為United States health care reform progress to data and next steps，該文章Altmetrics得分高達8340，而谷歌學術引用量僅為98次，表明該文章在社交媒體中具有很高的關注度，但學術關注度并不高；另一個最遠的點，代表文章為Observation of Gravitational Waves from a Binary Black Hole Merger，說明這篇文章的不僅具有較高的社交媒體關注度(Altmetrics得分4750)，同時還具有高度的學術關注度(谷歌學術引用量高達1953)。從統計分析中可以看出，Altmetrics指標重點表征的是文獻在社交網絡的關注度和影響力，并不能代表文獻的學術關注度，只能作為學術關注的社交層面的表征計量指標，是對傳統學術關注度計量的有效補充。

(2)對Altmetrics各指標間進行Spearman相關性分析，并加以可視化。原始數據集中統計的指標共15個，由于有4個指標的統計值均為0，為避免矩陣的稀疏性對結果的影響，本文選取統計分析的指標有News、Video、Policy、Wikipedia、Blog、F1000、Google+、Facebook、Twitter、Redditors和Peer Review，共計11個指標。11個指標之間的相關關系通過計算如圖3所示。藍色代表正相關，紅色代表負相關，顏色越深代表相關系數的絕對值越大。從相關系數值來看，各個指標之間的為弱相關到中等相關關系。其中，Blog與其他10個指標均為正相關；News與其他大部分指標為負相關關系，表示News這一指標值增大(減小)，其他指標如Twitter、 Redditors、 Google+ 、 Facebook、F1000等的指標值相應減小(增大)。

圖3 Altmetrics各指標間相關系數矩陣

2.4 主成分分析(PCA)

主成分分析作為降維方法，能將大量相關變量轉化為一組較少的不相關變量，這些無關變量被稱為主成分。主成分是觀測變量的線性組合，如第一主成分計算公式為：

其中，Xk為可觀測隨機變量，ak為因子載荷。

2.4.1 KMO與Bartlett球形檢驗

首先對數據集進行KMO和Bartlett球形檢驗，結果見表2。

表2 KMO與Bartlett球形檢驗

從表2中可知，KMO值為0.61，且Bartlett球型檢驗的P值為2.2e-16＜0.05，所以本數據集適合做主成分分析。

2.4.2 確定主成分個數

確定主成分個數是進行主成分分析的第一步。本文使用基于特征值的方法來確定主成分的個數：第一主成分與最大的特征值相關聯，第二主成分與第二大的特征值相關聯，以此類推。碎石圖繪制了特征值與主成分個數的圖形，見圖4。

通過平行分析得到的碎石圖清晰地顯示圖形彎曲的狀況。Kaiser-Harris準則建議保留特征值大于1的主成分，因此，本研究中11個變量提取出4個主成分。

圖4 碎石圖平行分析

2.4.3 主成分提取

使用極大方差旋轉法提取出4個主成分，并計算出各個主成分載荷矩陣。由于做了極大方差旋轉，各個主成分的名稱標記為RC(Rotated Component)，即 RC1、RC2、RC3和 RC4。可以按照各個主成分對每個變量的成分載荷來對4個主成分進行再次分析。經驗認為成分載荷大于0.5即為能夠被主成分很好地解釋，按照4個主成分對各個變量的解釋度，將4個主成分依次命名為“大眾社交媒體因子”“新聞報道因子”“學術記錄因子”和“同行評審因子”，見表3。

表3 主成分及其命名

筆者注意到，變量Policy的成分公因子方差為0.21，即主成分對Policy的方差解釋度為0.21，方差無法被主成分解釋的比例為0.79。由此可見，在主成分分析的過程中，由于Policy的特殊性，在提取的主成分里，Policy并未被很好地解釋。所以4個主成分里，并沒有變量Policy的出現。

2.4.4 確定主成分權重及計算模型

在明確4個主成分過后，可對各個變量在評價過程中的重要程度進行度量，即分配權重。通過計算得到主成分得分系數矩陣，見表4。

表4 主成分得分系數矩陣

根據表4，可以得到主成分RC1、RC2、RC3、RC4的計算模型，由此4個主成分，即大眾社交媒體因子(RC1)、新聞媒體因子(RC2)、學術記錄因子(RC3)和同行評審因子(RC4)的計算模型得出，其公式依次為：

2.4.5 因子計算模型驗證

根據上述因子計算模型，計算各個因子得分，并導出xlsx文件。本文利用Rstudio3.3.3軟件生成Top100論文因子得分熱力圖，每篇論文的得分范圍值為-5至5，由紅色向藍色過渡表示，熱力圖的右側標識為論文的編號(01-100)，見圖5。從圖5中可以看到各個樣本分布在4個因子中的得分高低，得分范圍值為-5至5，由紅色向藍色過渡表示。從RC1得分來看，較大得分的樣本(藍色)是文獻1、文獻2、文獻5和文獻41，說明這幾篇文獻在大眾社交媒體中傳播較廣；從RC2得分來看，文獻2、文獻6、文獻15和文獻10得分較高(藍色)，表明其通過新聞報道這一主要途徑廣泛傳播；從RC3的得分來看，文獻3、文獻4和文獻19擁有較高的得分(藍色)，說明該文獻在學術記錄媒體中廣泛傳播；而文獻17、文獻37和文獻78等在RC4中得分較高(藍色)，說明這些文獻是得到了同行評審的較高質量論文。從圖5中還可以看到，不同論文在不同的社交媒體平臺中傳播和交流的熱度不同，比如在學術記錄因子(RC3)中，傳播比較平穩，每篇論文的分值變化不大，而在同行評審因子(RC4)中，有部分論文的因子得分變化幅度較大。從另一個角度表明，如果某篇文獻想提高自身在社交媒體中的學術影響，可以根據自身現有得分，通過“新聞報道因子”等途徑提高其在社交網絡平臺的學術影響力。

圖5 100篇論文因子得分熱力圖

3 結論與展望

3.1 Altmetrics指標的不穩定性

Altmetrics指標誕生于社交媒體，記錄了讀者學術交流過程中的收藏、推薦、評論、轉發等行為，它所度量的影響力偏重于大眾化視角的關注度和影響力。傳統的“引文指標”記錄的是某篇學術論文被其他學術作品引用的次數，直接用于評價科研成果的學術價值，是學術影響力在學術圈的直接體現，并未涵蓋學術論文在大眾社交圈中的影響。本文統計分析發現，隨著時間的推移，Altmetrics得分以增加為主，但也存在得分小幅下降和大幅突降的情況，這是由于部分網絡統計指標的數值變化造成了最終得分的變化。變化中的一部分異常突變在統計評價時應予以重視并加以分析，否則會造成評價結果的不準確性。

3.2 Altmetrics指標的分散性和相對集中性

本文所使用的原始數據集來自Altmetric.com網站，該平臺中所包含的Altmetrics計量指標共計15種，幾乎涵蓋目前國際主流的社交媒體平臺，可以認為該計量指標覆蓋較全面，但從某種程度上說，各個Altmetrics指標又是非常分散的。本文通過相關分析發現，各Altmetrics指標之間以弱相關到中等相關關系為主；同時，Altmetrics指標也具有一定程度的相對集中性，通過主成分分析，眾多的Altmetrics指標被劃分為“大眾社交媒體因子”“新聞報道因子”“學術記錄因子”和“同行評審因子”4類。而“Policy”這一計量指標未被任何一個因子很好地解釋，故未被收錄到4類因子之中。

3.3 構建因子計算模型的作用

構建因子計算模型有助于直接計算科學論文在社交媒體中的影響力。本文通過因子得分計算，發現不同文獻在不同的社交媒體平臺擁有不同的熱度，即傳播的路徑和交流的領域有所不同。由此可見，在社交媒體被廣泛應用的今天，“學者”以及“非學者”利用社交網絡對科學文獻進行分享、評論和推薦，提高了學術的傳播速度，擴大了科學知識的受眾群體，科學不再是科學家們自己的事情。

3.4 展望

Altmetrics指標提供了一個獨特的社會學視角來呈現學術影響的傳播，并且讓學術交流活動有跡可尋?；谏缃痪W絡上真實存在的數據集，運用社交網絡研究理論，探索科學傳播的路徑，并在此基礎之上研究社交媒體層面學術交流和社區發現的可視化成為一個重要的領域。同時，社交媒體平臺中保存了大量關于科學文獻的評論文本，因此應利用如統計分析、文本情感分析、文本分類及聚類和機器學習等方法對這些文本進行挖掘，從而得到那些隱含的、未知的潛在信息，可以更好地反饋和輔助科學知識的研究和發現。

參考文獻

[1] 余厚強，邱均平.替代計量指標分層與聚合的理論研究[J].圖書館雜志，2014（10）：13-19.

[2]PRIEM J，TARABORELLI D，GROTH P，et al.Altmetrics：A manifesto[EB/OL].[2017-05-10].http：//altmetrics.org/manifesto/.

[3]HAUSTEIN S，LARIVI?RE V.The use of bibliometrics for assessing research： possibilities， limitations and adverse effects[M]//Incentives and performance.Springer International Publishing，2015：121-139.

[4]WELLER K.Social media and altmetrics：An overview of current alternative approaches to measuring scholarly impact[M]//Incentivesand performance.Springer International Publishing，2015：261-276.

[5]HAUSTEIN S，LARIVIèRE V.A multidimensional analysis of Aslib proceedings-using everything but the impact factor[J].Aslib Journal of Information Management，2014，66（4） ：358-380.

[6]BORNMANN L.Interrater reliability and convergent validity of F1000Prime peer review[J].Journal of the Association for Information Science and Technology，2015，66（12）：2415-2426.

[7]COSTAS R， ZAHEDI Z， WOUTERS P.Do“altmetrics”correlate with citations?Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective[J].Journal of the Association forInformation ScienceAnd Technology，2015，66（10）：2003-2019.

[8] HOLMBERG K.Online Attention of Universities in Finland：Are the bigger universities bigger online too?[C]//International Society of Scientometrics and Informetrics Conference， June 29-July 3， 2015，Bogazi?i University，Istanbul，Turkey.

[9]THELWALL M，KOUSHA K.Web indicators for research evaluation.Part 1：Citations and links to academic articles from the Web[J].El Profesional de la Información，2015，24（5）：587.

[10]THELWALL M，KOUSHA K.Web indicators for research evaluation.Part 2：Social media metrics[J].El Profesional de la Información，2015，24（5）：607.

[11]ERDT M，NAGARAJAN A，SIN S-C J，et al.Altmetrics：an analysis of the state-of-the-art in measuring research impact on social media[J].Scientometrics，2016，109（2）：1117-1166.

[12]趙蓉英，郭鳳嬌，譚潔.基于Altmetrics的學術論文影響力評價研究——以漢語言文學學科為例[J].中國圖書館學報，2016，42（1）：96-108.

[13]由慶斌，韋博，湯珊紅.基于補充計量學的論文影響力評價模型構建[J].圖書情報工作，2014，58（22）：5-11.