中國大學評價體系相關性和穩定性的統計學檢驗

李興國，趙曉冬

（燕山大學a.經濟管理學院；b.高等教育發展研究中心，河北 秦皇島 066004）

0 引言

大學排名作為高等教育發展過程中的一種全球性現象，近年來引起了人們的廣泛關注。自1987年《科技日報》刊載了由中國管理科學研究院對國內87所重點大學的排名后，對我國大學排行的研究開始興起。此后20年間，先后有20余家機構發布了近百個大學排行榜[1]。當前國內影響力較大的大學排行榜主要有三個：武書連大學評價課題組發布的《中國大學綜合評價》（簡稱“武書連榜”）、中國校友會網發布的《中國大學學科專業評價報告》（簡稱“校友會榜”）、武漢大學中國科學評價研究中心邱均平課題組發布的《中國大學競爭力排行榜》（簡稱“邱均平榜”）。這三個大學排行榜的排名結果之間是否具有一定的相關性，三大排行榜歷年排名數據的穩定性如何？這是本文所要研究的問題。

1 中國大學評價體系簡介

武書連榜是由廣東管理科學研究院發布的，該課題組從1993年成立至今共發布25個大學排行榜。自1997年開始，該課題組在《科學學與科學技術管理》雜志按年度發表《中國大學評價》，并于2010年4月首次將排行榜評價指標體系公開發表。中國校友會網大學研究團隊自2003年起至今已連續15年開展中國大學評價研究，每年發布《中國大學評價研究報告》，是國內唯一以校友、質量、影響為主題特色的中國大學排行榜。武漢大學中國科學評價研究中心2004年首次發布中國大學競爭力排行榜一直延續至今，影響力日益增強[2]。國內三個大學排行榜指標構成如表1所示。

2 研究方法

2.1 Pearson相關檢驗

相關關系是不完全確定的隨機關系，連續變量之間的相關系數常用Pearson相關系數來測定，兩個連續變量X和Y之間Pearson相關系數的計算公式為：

r的取值在-1和1之間，r值與變量相關程度之間的關系如表2所示。

表2 |r|的取值與相關程度

2.2 Kendall秩檢驗

Kendall秩相關系數是利用變量的秩進行變量之間的一致性趨勢檢驗。假設有容量為n的由x和y兩個變量構成的隨機樣本，首先計算每個觀測變量關于變量x和y的秩變量u和v，將n個觀測變量按變量x升序排列。則n個觀測關于變量x和y的秩為[3]：x的秩變量u：1,2，…，n；y的秩變量v：v1，v2，…，vn。

設在v1的后面有R1個秩大于v1，在v2的后面有R2個秩大于v2，…，在vn-1后面有Rn-1個秩大于vn-1，令：R=R1+R2+…+Rn-1，顯然，變量x和y相關性越強，則R越大。

Kendall秩相關系數的計算公式如下：

Kendall秩相關系數的絕對值不超過1。

2.3 Wilcoxon符號秩檢驗

定序變量配對樣本間的相關性常用Wilcoxon符號秩檢驗，Wilcoxon檢驗利用兩個配對組的數值之差進行檢驗。求出數值差之后，按照絕對值由小到大對這些差值排序。計算最小的秩和，記為T。如果樣本配對數目n≤15，則直接將T值與查表得到的臨界值比較[3]。如果n＞15，則T值近似服從正態分布，可以用z分數作為檢驗統計量。檢驗統計量為：為配對數目，T為正值差的秩或負值差的秩中的較小者[3]。

2.4 Friedman檢驗

Friedman檢驗是M.Friedman于1937年提出的，它是隨機化區組設計的非參數替代技術。隨機化區組設計的假定與其他ANOVA分析的假定一樣，即觀察值是從正態總體中隨機抽取的。如果不滿足這個假定，或研究對象是排序數據，則應采用Friedman檢驗。Friedman檢驗有三個基本假定：一是區組相互獨立；二是區組與處理之間沒有交互效應；三是各區組內的觀察值可以進行排序[4]。

待檢驗的假設如下：H0為處理總體相同；H1為至少有一個處理總體不同。

進行Friedman檢驗時，首先把原始數據轉換為排名。Friedman檢驗是在每個區組內分別從1到c進行排序。每個區組都有c個排名，其中c是處理水平數。利用這些排名，Friedman檢驗可以判斷不同的處理水平（列）是否來自同一個總體。Friedman檢驗所用的檢驗統計量見公式（1），該統計量近似服從卡方分布，如果c＞4，或c=3且b＞9，或c=4且b＞4，則自由度為df=c-1。

Friedman檢驗的統計量為：

其中，c為處理水平（列數），b為區組（行）數，j為特定處理水平，≈χ2，df=c-1，Rj為特定處理水平（列）的秩和。

3 實證分析

本文選取2010—2017年38所“985工程”高校（不含國防科技大學）在武書連榜、校友會榜和邱均平榜中的排名數據[5-7]，對三個中國大學排行榜的數據進行相關性和穩定性檢驗。

3.1 大學排行榜自身穩定性檢驗

分別計算38所“985工程”高校在三個大學排行榜中2017年的排名與之前七年排名的Pearson相關系數，結果如表3所示。可見，三個大學排行榜2017年排名與前七年排名數據具有較強的相關性，相關系數的均值都在0.8以上，屬于高度相關，且顯著性檢驗的P值均近似為零，在0.01的水平上顯著相關，這表明三個排行榜歷年排名數據具有較高的穩定性。其中，武書連榜的相關系數均值最高，為0.8974；其次為邱均平榜，相關系數均值為0.8587；校友會榜相關系數的均值相對最低，為0.8199。

表3 國內三個大學排行榜數據的相關性檢驗

根據三個大學排行榜近八年排名數據之間的相關系數值，繪制出三個排行榜2017年數據與2010—2016年數據的相關趨勢圖，如圖1所示。可見，歷年來武書連榜的相關系數值最高，每年均在0.85以上，且呈現出逐年上升的趨勢。邱均平榜歷年來的相關系數值變化幅度最大，尤其是2013年相關系數驟降，2014年又大幅回升，之后逐年上升；校友會榜歷年的相關系數基本上在0.8～0.85之間。值得注意的是，校友會榜相關系數的變化趨勢曲線與武書連榜高度一致，而多數年份邱均平榜相關系數的變化趨勢與其他兩個排行榜則相反。總體上，三個排行榜近八年排名數據的相關系數均呈現逐年上升的趨勢。

圖1 三個中國大學排行榜2017年數據與2010—2016年數據的相關趨勢圖

3.2 三個排行榜之間的相關性檢驗

為了檢驗三個大學排行榜彼此排名數據之間的相關性和一致性，首先計算“武書連榜-校友會榜（W-X）”、“武書連榜-邱均平榜（W-Q）”、“校友會榜-邱均平榜（X-Q）”2010）—2017年間各年排名數據的Pearson系數和Kendell系數值，結果見下頁表4。可見，三個大學排行榜之間的數據呈現出較高的相關性，且在0.01的水平上顯著相關。其中，校友會榜和邱均平榜排名數據之間的相關性最強，相關系數的均值高達0.95，為極高相關；其次為校友會榜和武書連榜之間的相關系數，也高達0.89；武書連榜和邱均平榜之間的相關系數相對而言最低，但也達到了0.85，屬于高度相關。

其次，根據下頁表4中的Pearson相關系數，繪制出三個大學排行榜2010—2017年排名數據彼此之間相關性趨勢圖，如圖2所示。由圖2可知，“校友會榜-邱均平榜（X-Q）”和“武書連榜-邱均平榜（W-Q）”呈現出高度一致的變化趨勢：2012年前相關性趨強，2013年相關性驟降，2014年降至谷底后反彈，2015年后相關性又逐年趨強。“武書連榜-校友會榜（W-X）”的相關性則始終保持平穩增長的趨勢。從相關系數的振幅看，“W-X”之間的振幅最小，“X-Q”之間的振幅居中，“W-Q”之間的振幅最大。

表4 國內三個大學排行榜之間數據的相關性與一致性檢驗

圖2 2010—2017年三個中國大學排行榜排名數據相關性趨勢圖

最后，根據表4中不同排行榜歷年來的Kendell一致性系數，繪制出三個大學排行榜2010—2017年數據彼此之間一致性趨勢圖，如圖3所示。“校友會榜-邱均平榜（X-Q）”和“武書連榜-校友會榜（W-X）”的一致性趨勢圖形狀高度吻合，“武書連榜-邱均平榜（W-Q）”的一致性曲線圖呈現出不同于另外兩條曲線的特征。三條曲線在2013年的一致性系數最為接近，之后則差異越來越大。

圖3 2010—2017年三個中國大學排行榜排名數據一致性趨勢圖

3.3 三個排行榜之間的穩定性檢驗

首先，應用Wilcoxon符號秩檢驗方法，對三個大學排行榜數據進行兩兩之間的差異性檢驗，結果如表5所示。檢驗的P值均大于0.05，沒有充分證據表明三個大學排行榜數據之間存在顯著差異，即三個大學排行榜的排名數據具有較高的一致性。

然后，分別對三個不同大學排行榜八年的數據做Friedman檢驗，結果如表6所示。武書連榜的P值高達0.981，邱均平榜的P值為0.607，校友會榜的P值最低，為0.037。P值越高，表明歷年大學排名數據變動越小，即排行榜的穩定性越強。可見，武書連榜的穩定性最強（數據具有較強的粘性），其次為邱均平榜，再次為校友會榜。

表5 國內三個大學排行榜之間數據的差異性檢驗

表6 國內三個大學排行榜數據的Friedman檢驗

4 結論

（1）武書連、校友會和邱均平三個中國大學排行榜數據自身具有較強的穩定性。T年的大學排名數據與T-1年數據的相關性最強，與T-2年數據的相關性次之。依次類推，隨著時間的前移，排名數據之間的相關性越來越弱。應當說這種數據特征符合客觀事物的發展規律，是中國大學評價體系科學性的體現之一。

（2）三個中國大學排行榜排名數據在0.01的水平上顯著相關，兩兩之間數據的相關系數高達0.85以上。其中，“校友會榜-邱均平榜”之間的相關性最高，“武書連榜-校友會榜”之間的相關性次之，“武書連榜-邱均平榜”之間的相關性相對而言最低。

（3）三個中國大學排行榜排名數據均具有較高的穩定性。其中，武書連榜的穩定性最強，其次為邱均平榜，再次為校友會榜。且沒有充分證據表明三個大學排行榜之間存在顯著差異，即三個大學排行榜的排名數據具有較高的一致性。