基于替代計量學的世界大學排行榜影響力評價研究

胡文倩 石 進 南 霞

(南京大學信息管理學院，江蘇 南京 210033)

近年來，大學排名逐漸成為社會各界關注的焦點，成為衡量世界高校教學科研水平的重要手段[1]。隨著高等教育全球化時代的到來，世界大學排名的意義尤為凸顯。對于政府，世界大學排名可以為管理、評估大學的績效和產出提供可選擇的工具，有利于輔助高等教育決策。對于高校，依據世界大學排名可以評估自身與世界一流大學的差距，通過研討評價指標，采取針對性措施提升治理能力和辦學水平[2]。對于學子，世界大學排名對其入學決策和擇校意愿都具有重要影響。

自世界大學排名產生以來，世界各國、各機構不斷發布新的排行榜，其數量不斷增加，然而質量卻參差不齊，嚴重干擾了大眾對世界大學排名的判斷。由此，對世界大學排行榜的評價研究顯得尤為重要。目前來看，很多學者通過定性評價的方法，從數據來源、指標選取、權重分配等方面來進行分析，較少有學者采用定量方法。定性評價的優點是簡便易行，但主觀性較強，而定量評價則更加客觀。近幾年，替代計量評價方法受到了國內外學者的廣泛關注和探討。眾多研究表明，替代計量評價方法拓展了學術成果影響力測度的全面性[3]。基于此，很多學者也開展了大量實證研究，進一步展示了替代計量方法在評價期刊、論文、學者、機構和圖書等學術相關實體影響力時的可用性[4-8]。

受此啟發，本文應用替代計量方法，以中國具有代表性網絡平臺為指標來源，利用主成分分析法，對社交媒體上不同世界大學排行榜的受關注程度進行分析，以此評價世界大學排行榜的影響力。同時，在學術科研領域，陳婷婷等以三大世界大學排名及其指標體系為研究對象，將三大排行榜中世界一流大學的共性進行梳理歸納，為中國建設世界一流大學提供方向[9]。這些研究在一定程度上代表了學術領域對排行榜的認可程度。因此，文章進一步選擇在研究論文中引用世界大學排行榜作為數據來源或研究對象的文章，獲取其文獻計量指標，探究學者在科研領域對不同世界大學排行榜的認可程度和研究程度，以此判斷世界大學排行榜在學術研究領域的影響力，并將其與替代計量指標進行相關性分析，最終為國內相關群體排行榜使用的選擇提供參考和借鑒。

1 相關研究

1.1 國內相關研究

國內方面，學者們依據不同的評價標準和評價角度開展了相應的世界大學排行榜評價研究。在評價標準方面，2006年，IREG討論通過了關于排名的質量規范——“高等教育機構排名柏林原則”。郭叢斌等以柏林原則為依據，從指標多樣性、權重分配、文獻數據來源、聲譽數據來源、涵蓋的學科數量等維度對THE、QS和US NEWS的指標體系設計進行比較分析[10]。王金龍等也基于柏林原則，從排名的目的、指標設計與權重分配、數據的收集與處理和排名結果的公布等四方面考量THE、QS、ARWU和US NEWS四大排行榜，發現ARWU是與柏林原則契合度最高的排行榜[11]。而陸根書等則依據Marginson提出的評價世界大學排名系統的8條標準，包括實在性、客觀性、外部性、綜合性、特殊性、次序均衡性、績效校準和透明性，評價了ARWU、THE、QS和US NEWS 4個知名世界大學排行榜，結果顯示，ARWU在絕大多數評價標準上都優于其他3個排行榜[12]。

在評價角度方面，威巍等從指標選取、指標賦權、數據采集及數據處理4個維度，對THE和QS的大學排名方法進行評價，最終認為THE和QS是當前較為科學、合理、有效的排行榜，是擁有較高透明度與公信力的全球大學排名方法[13]。趙蓉英等從指標體系設計理念、內容涵蓋度和排行榜穩定性3個維度，對THE、QS、ARWU進行詳細對比，最終發現各排名方法在評價對象選擇、評價體系和權值分配，以及如何獲取數據源等方面存在較大差異，但不同排名方法的評價結果有著相對穩定性[14]。邱均平等從評價目的、指標體系、權重分配和影響等方面，對ARWU、RCCSE、THE、QS和US NEWS 5種國際知名度較高的世界大學排行榜進行了深入分析[15]。張勇等將四大世界大學排名ARWU、THE、QS和US NEWS的指標體系的二級指標歸為聲譽、文獻、師資與教學、國際化和科研收入5類，進行橫向定量對比分析，最終發現上述四大排行榜雖然在全球范圍內備受關注，但也存在不少缺陷。如聲譽指標存在地域偏向，被調查者主要來自歐美國家，中國的比例偏低；指標體系對人文社科學科的評價不全面；人才培養相關的指標權重較低等等[16]。

總體來講，國內學者在世界大學排行榜評價研究中主要采用定性評價，評價標準主要包括Marginson提出的評價世界大學排名系統的8條標準、高等教育機構排名柏林原則等，評價角度主要包括指標選取、指標權重、數據來源、排行榜穩定性等方面，評價對象主要為ARWU、THE、QS和US NEWS等四大知名世界大學排行榜，評價過程整體較為系統。綜合學者們的研究結果來看，不同學者得到的排行榜評價結果也有所不同，這也反映了定性評價主觀性較強的特點。

1.2 國外研究

國外方面，學者們采用定量和定性方法對世界大學排行榜進行評價。在定性評價方面，亞歷克斯和馬斯莫以芬尼和厄舍提出的一個大學質量模型為基礎，提出了一個質量測評的概念框架，該框架共包含新生質量、教育投入—資源、教育投入—師資、教育產出、最終成果、科學研究和聲譽等7個因素。該文從以上7個維度出發，分析評價各世界大學排行榜的評價指標[17]。Charon A等將THES和ARWU作對比，分析了二者在指標設置和權重設置方面的差異，指出THES在數據構建和收集工具方面需要改進[18]。Huang M H對QS排行榜中的聲譽調查采用的指標和權重進行了全面討論，認為QS聲譽調查存在回收率和回收問卷不均勻分布、被調查對象的評估者分布不同、部分指標的指標值區分度較低等問題[19]。

在定量評價方面，Aguillo I等通過比較歐洲大學在泰晤士報高等教育增刊排行榜、上海交通大學排行榜、臺灣高等教育與認證委員會排行榜以及CSIC排行榜中的排名結果與萊頓大學排行榜的排名結果之間的相似性，來對各排行榜進行評價。結果顯示，不同排行榜之間存在合理的相似性[20]。Saisana M等采取一種多模型方法測試了ARWU和THES排行榜排名結果的穩健性，發現排行榜對宏觀區域(如歐洲)的排名結果更加穩健[21]。

總的來說，相比國內，國外有更多學者已開展基于定量評價方法的世界大學排行榜評價研究，但其評價焦點基本都在不同排行榜排名結果的相似性以及排行榜自身排名結果的穩健性，較少有學者從影響力角度開展世界大學排行榜的定量評價，因此，本文基于替代計量方法探究各個世界大學排行榜在中國的影響力具有一定的創新性，同時對于宏觀把握各排行榜的影響力高低具有重要作用。

2 數據采集與處理

2.1 樣本選擇

中國社交平臺多發展于2010年前后，為了避免排行榜發布時間不同所帶來的社交平臺曝光度差異，本文擬選取首發時間早于2011年的世界大學排行榜作為研究樣本。

通過相關文獻閱讀以及網絡檢索共收集25個世界大學排行榜，剔除首發年份晚、發布次數較少、發布周期不穩定的排行榜后，選定12個樣本。同時，2014年開始，《美國新聞與世界報道》發布的US NEWS世界大學排行榜、歐盟委員會發布的U-Multirank全球大學排行榜和自然出版集團發布的自然指數排名，雖然發布時間相對較短，但是考慮其影響力以及知名度，故納入本文研究范圍。最終選定15個世界大學排行榜作為研究樣本，具體信息如表1所示。

表1 世界大學排行榜基本信息

表1(續)

2.2 指標選擇

相對應于國外Altmetrics指標來源平臺，中國也擁有多個發展成熟、影響力較大的網絡平臺，其平臺用戶量、用戶活躍度及用戶黏性都較高，替代計量指標較為豐富，適合開展替代計量分析。為獲取不同類型用戶的數據，文章選定社交媒體、新聞網站、百科、學術社交4種類型的網絡平臺。基于此，進一步選定微博、微信公眾號、今日頭條、百度百科和科學網作為數據來源平臺，獲取世界大學排行榜的替代計量指標。對5個平臺進行排行榜名稱檢索并進行結果分析，最終選取的可用替代計量指標共14項，分別以A1～14標記，如表2所示。

表2 替代計量指標和文獻計量指標

同時，在研究論文中引用大學排行榜作為數據來源或研究對象，在一定程度上可以說明該排行榜在學術領域中的認可程度。因此本文選定論文數量、篇均被引量兩個文獻計量指標，用以表示在科學研究領域對不同大學排行榜的認可程度及其影響力。指標分別以B1、B2標記，如表2所示。

2.3 數據獲取

1)替代計量指標的采集

首先，分別以15個世界大學排行榜的中文全稱、英文全稱以及簡稱，如“世界大學學術排名”“Academic Ranking of World Universities”“ARWU”，在5個網絡平臺中進行檢索。利用爬蟲獲取2011年4月1日—2020年4月1日共10年的數據。其次，對檢索結果進行分析并去除重復內容，最終獲取14個替代計量指標數據。

2)文獻計量指標的采集

在中國知網(CNKI)中分別對15個世界大學排行榜的全稱以及簡稱進行高級中英文擴展檢索，以世界大學學術排名為例，檢索式如下：(((全文=‘世界大學學術排名’) OR (全文=‘Academic Ranking of World Universities’)) OR (全文=‘ARWU’)) AND (發表時間Between(‘2011-04-01’,‘2020-04-01’))。

在發表時間設置方面，由于論文的被引量存在一定的滯后性，并且根據引文峰值理論，學術論文的被引頻次的增加量會在發表后的第二年達到最大，之后被引量會逐漸老化。為了避免“論文時滯”帶來的影響，本文采集2011年4月1日—2020年4月1日內出版論文的數量數據。同時，將引用時間延長1年至2021年4月1日，采集其引用數據。

對檢索結果進行去重，并去掉與大學排行榜研究不相關的檢索結果，經過計算后最終獲取2個文獻計量指標數據。

表3和表4分別展示了本文最終獲取的樣本及其指標數據。為節約篇幅，各項排行榜以排行榜或發布機構的簡稱表示。下文將利用Excel和SPSS工具軟件對樣本數據進行統計與分析。

表3 世界大學排行榜替代計量指標數據

表4 世界大學排行榜文獻計量指標數據

3 數據分析與結果

3.1 描述性統計分析

表5和表6分別對排行榜樣本的替代計量、文獻計量指標進行了描述性統計。可以看到，各指標的平均值差異較大，例如：百科瀏覽量(A8)的平均值高達312 731.5，而科學網提及量(A11)的平均值卻僅為6.1，相較科學網提及量指標，百科瀏覽量指標反映的影響力范圍更加龐大，這說明不同指標在反映排行榜的影響力范圍方面存在差異。同時，表5中微博平臺的相關指標平均值都相對較高，說明世界大學排行榜在該平臺的影響力范圍較廣，可以看出不同平臺在反映排行榜影響范圍方面也存在差異。標準差結果顯示，絕大多數替代計量指標的標準差都相對較高，其中百科瀏覽量(A8)的標準差高達893 612.5，這說明各排行榜在網絡平臺中的影響力差別較大。綜合極大值和中位數來看，絕大多數指標的極大值與中位數相差甚遠，這也表明高影響力僅僅集中在少數排行榜，大多數排行榜在網絡平臺中的影響力相對較低。

表5 替代計量指標數據統計

表6 文獻計量指標數據統計

3.2 替代計量指標相關性分析

因樣本觀察量較小，在正態檢驗中采用Shapiro-Wilk檢驗，結果如表7所示。由檢驗結果可見，所有替代計量指標的顯著性概率值p均小于0.05，不服從正態分布。因此，下文采用Spearman相關系數檢驗各替代計量指標間的相關性，結果如表8所示。

表7 替代計量指標數據的正態性檢驗結果

首先，由表8可以看出，同一平臺的替代計量指標間具有較強的顯著正相關性，其中以科學網平臺最為典型，這可能因為用戶在網絡平臺中的某一行為會影響并觸發其他一連串相關行為，進而導致相關指標的相關性較強；其次，百科平臺的相關指標與微博、科學網的相關指標相關性均較強，這可能表明以上3個平臺在反映排行榜影響力的維度上存在某些相似性，各平臺的指標間具有一定的信息重疊。

表8 替代計量指標數據的相關性分析結果

3.3 替代計量指標主成分分析

相關性分析結果顯示，某些替代計量指標之間存在較強的顯著正相關性，指標間具有一定的信息重疊，因此為進一步明確各指標在衡量排行榜影響力方面的具體維度，采用主成分分析法進行降維。

首先，對替代計量指標進行KMO和Bartlett檢驗，結果如表9所示。可以看到，KMO值為0.524，p值為0.000，符合p值小于0.05的要求，說明適合對替代計量指標進行主成分分析。

表9 替代計量指標KMO和Bartlett檢驗

表10為替代計量指標的主成分提取結果，可以看到共提取出3個主成分，其方差貢獻率分別為59.246%、17.648%和10.971%，累積貢獻率為87.864%，信息丟失較少，這也表明14項替代計量指標可以劃分到3個主成分當中。3個主成分對應的加權后方差貢獻率即權重依次為：59.246/87.864=67.43%、17.648/87.864=20.08%、10.971/87.864=12.49%。

表10 替代計量指標方差貢獻率

分析出每個主成分與分析項的對應關系情況，對14個替代計量指標進行因子旋轉，表11為旋轉成分矩陣。由矩陣結果可以看出，成分1的載荷主要來自于微博提及量、微博評論量、微博轉發總量、百科瀏覽量、百科點贊量和百科轉發量；成分2的載荷主要來自于頭條提及量、頭條總評論量、科學網提及量、科學網總推薦量、科學網總閱讀量和科學網總評論量；成分3的載荷主要來自于微博總點贊量、微信公眾號提及量。

表11 替代計量指標旋轉成分矩陣

表12展示了替代計量指標的成分得分系數矩陣，由矩陣結果可以得出各主成分得分函數如下：

表12 替代計量指標成分得分系數矩陣

F1=0.108*A1+0.067*A2+0.099*A3+0.101*A4+0.038*A5+0.061*A6+0.073*A7+0.104*A8+0.109*A9+0.112*A10+0.109*A11+0.098*A12+0.104*A13+0.082*A14

F2=0.096*A1+0.272*A2+0.217*A3+0.193*A4+0.252*A5-0.093*A6-0.264*A7-0.040*A8-0.005*A9+0.014*A10-0.034*A11-0.165*A12-0.126*A13-0.222*A14

F3=-0.215*A1+0.288*A2+0.005*A3-0.083*A4+0.340*A5+0.282*A6+0.065*A7-0.293*A8-0.253*A9-0.238*A10+0.097*A11+0.224*A12+0.153*A13+0.159*A14

表12(續)

根據3個主成分對應的加權后方差貢獻率，可以得到各世界大學排行榜的替代計量評價綜合得分計算公式為：F=0.674*F1+0.201*F2+0.125*F3。依據此公式分別計算排行榜的F1、F2、F3和F值，結果如表13所示。

由表13可知，基于替代計量評價得出的排名前4位的世界大學排行榜分別是QS、THE、AQWU和US NEWS，而經文獻調研顯示，以上4個排行榜也是目前影響力最高的世界大學排行榜，這表明本文選取的替代計量指標在一定程度上可以衡量世界大學排行榜的影響力，具有一定的可用性。從F值來看，QS排行榜遙遙領先于其他排行榜，這表明QS排行榜在網絡平臺中的影響力十分突出。從整體來看，除了排名前4位的排行榜，其余排行榜的F值均小于50 000，與前4位形成斷層，這在一定程度上說明雖然目前越來越多的機構開始發布世界大學排行榜，但其影響力都遠不及QS、THE、ARWU和US NEWS。

表13 基于替代計量的世界大學排行榜評價結果

3.4 與文獻計量指標的相關性分析

文章使用Spearman相關系數，進行替代計量指標與文獻計量指標的相關性檢驗，其中B1為論文數量，B2為篇均被引量，結果如表14所示。其中，百科瀏覽量(A8)、百科轉發量(A9)、科學網提及量(A11)與論文數量(B1)和篇均被引量(B2)相關性相對較高。說明科學網及百科作為中國主要的學術交流平臺，相關的替代計量指標與文獻計量指標呈現出較高相關性。

表14 文獻計量指標與替代計量指標相關性分析

所有替代計量指標與文獻計量指標的數據來源及表示意義不同，其相關性均為正，但均未呈現出顯著相關性，說明在評價結果上二者既存在一定程度的一致性，又有所區別。基于替代計量學指標進行評價，的確可以反映出大學排行榜在以文獻計量指標為代表之外的影響力，是對傳統評價研究的一個很好的補充。

4 討 論

4.1 替代計量指標的影響力深度呈現層級性

從本文的主成分分析結果來看，世界大學排行榜的14項替代計量指標共提取出3個主成分，其權重分別為0.6743、0.2008和0.1249，可以看出不同成分的權重差距較大，在一定程度上說明成分之間影響力呈現層級性。

1)成分1的載荷來自于百度百科全部指標和微博部分指標

百度百科和微博兩個平臺具有開放、便捷、易于傳播和使用的特點。百度百科是全球最大中文網絡百科全書，全球華人地區影響最廣的互聯網知識平臺，擁有最全面的知識系統，已經成為國人獲取權威知識的第一通道。百度百科通過與各行業垂直領域權威機構的合作，其詞條的專業質量可以得到有效保證。因此，通過百度百科平臺傳播排行榜，用戶接受度更強、認可度更高，相關指標均可以表達較高的價值認同，體現著較深層次的影響力。

同時，微博是基于用戶關系的社交媒體平臺，主要偏向于開放式傳播，具有信息即時分享、傳播互動的特點。微博自上線以來一直保持著爆發式增長，尤其在學生等排行榜主要使用群體中，受眾很廣。用戶無需加好友就可以對傳播內容進行閱讀、評論、點贊和轉發，信息傳播廣度更高。相較于點贊，用戶評論和轉發的成本更高，因此這兩個指標可以代表更高的用戶認可度，影響力更大。

2)成分2的載荷來自于今日頭條和科學網的全部指標

今日頭條和科學網兩個平臺具有專業性、個性化的特點。今日頭條是中國代表性的基于用戶興趣進行個性化推薦的資訊平臺。由成分2的載荷分布來看，頭條總評論量明顯高于頭條提及量，這可能是由于相比于提及量，評論量代表了實際用戶對排行榜的評價行為，并且通過用戶評價可以帶動潛在的高相關群體，形成更廣泛并有針對性的影響。因此相對頭條提及量指標，頭條總評論量指標的影響層次更深。

科學網是中國代表性的學術社交平臺，主要是為網民提供快捷權威的科學新聞報道、豐富實用的科學信息服務以及交流互動的網絡平臺，其對排行榜的評價具有更高的權威性更高。但相比于百度百科和微博，其使用群體相對較少，所以影響力較弱。

3)成分3的載荷來自于微信公眾號和微博點贊量

微信公眾號是開發者或商家在微信公眾平臺上申請的應用賬號，同作為社交媒體平臺，與微博相比其發布推送消息以及賬號的運營維護，均具有相對高的成本。同時，微信公眾號只有在訂閱之后才能定向傳播信息，信息發布者所發布內容的曝光量都與其粉絲數有很大關聯，相比于其他平臺更加定向和私密，傳播度相對有限。因此，對于世界大學排行榜來說，微信公眾號展現出淺層的影響力。

4.2 世界大學排行榜在中國的影響力呈現層級性

由表11的替代計量評價結果可以看出，世界大學排行榜的F值呈現明顯的層級性。第一層級為QS、THE、ARWU和US NEWS排行榜，F值大于50 000，并且遙遙領先于其他排行榜，屬于著名世界大學排行榜；第二層級為Nature Index、WHU、CWTS、SIR、中國NTU和URAP排行榜，F值大于1 000且小于50 000，屬于知名世界大學排行榜；第三層級為WRWU、4ICU、金平果和U-Multirank排行榜，F值小于1 000。

該結果也反映了目前世界大學排行榜在國內的影響力呈現斷層，各層次排行榜的發展均相對穩定。換言之，國內大眾群體對排行榜的信賴程度已較為固定，這為新興排行榜的推廣帶來一定挑戰。

4.3 將替代計量指標應用于高校排行榜的影響力評價具有一定可行性

在以往的研究中，很多學者采用定性評價的方式來評估各種高校排行榜，具體評估依據為Marginson提出的評價世界大學排名系統的8條標準，或者是IREG提出的“高等教育機構排名柏林原則”等。然而，隨著互聯網的迅速發展以及智能手機的日益普及，越來越多的人可以隨時隨地在網絡平臺中發表對高校排行榜的看法和評價，由此產生的一系列替代計量指標都可以即時、客觀地反映有關排行榜的大眾評議結果。

通過主成分分析法對大學排行榜的替代計量指標進行排名，最終的評價結果均顯示QS、THE、ARWU和US NEWS在所有世界大學排行榜中位列前四，并且綜合得分遠超其他排行榜，這與筆者的文獻調研結果相吻合。同時替代計量指標與文獻計量指標呈現出較低的正相關性，表示通過替代計量指標進行評價的方式可以對傳統評價提供補充。

綜上，替代計量指標可以在一定程度上應用于高校排行榜的影響力評價，并且相較傳統的偏主觀的定性評價方法，該方式可以更客觀地體現世界大學排行榜在大眾群體中的影響力，也為排行榜評價提供了新視角。

5 結 論

本文基于替代計量方法對世界大學排行榜在國內的影響力展開了評價，在替代計量指標選取方面，參照國外Altmetrics.com平臺的指標來源平臺類型，選取國內代表性的學術社交平臺——科學網、百科平臺——百度百科、社交媒體平臺——微博和微信公眾號以及新聞平臺——今日頭條作為本研究的樣本來源。在文獻計量指標選取方面，選擇中國知網(CNKI)作為數據來源。

首先，經過一系列的描述性統計分析、相關性分析、主成分分析發現，世界大學排行榜在國內的影響力呈現明顯的斷層分布，QS、THE、ARWU和US NEWS排行榜是中國影響力最高的4個世界大學排行榜，并且其影響力遙遙領先于其他排行榜；其次，各指標來源平臺的影響力表現層次深淺不一，百度百科和微博展現了更深層次的影響力，這可能是由于平臺具有開放、便捷、易于傳播和使用的特點；最后，整體的研究結果顯示，采用替代計量方法評價世界大學排行榜具有一定的可行性。

相對傳統的定性評價方法，該方法拓展了世界大學排行榜評價的研究視角，可以更加客觀直接地反映世界大學排行榜在國內的影響力高低，一定程度上反映了國內大眾群體對各排行榜的評價結果，具有顯見的積極意義。從公眾角度，為后續公眾選擇世界大學排行榜提供了參考；從高校角度，根據不同排行榜的影響力，具體研究排行榜指標，幫助高校更好地進行大學發展規劃設計，對中國世界一流大學的建設起到借鑒作用；從政府角度，排行榜有助于政府定義特定國家的高等教育發展情況，可以為國家高等教育的發展提供參考依據，同時為資金分配提供依據。

但是，本文也存在一定的局限性。由于本文的最終目的對替代計量方法應用于世界大學排行榜評價的可行性進行探索性研究，所以研究僅對世界大學排行榜的影響力大小進行了評價，而沒有區分影響力的好壞。這在一定程度上會使最終的評價結果產生偏差，因此后續將對各平臺中的提及內容和評價內容進行情感分析，力求更全面深入地揭示和評價世界大學排行榜在國內的影響力。