國(guó)際大學(xué)辦學(xué)質(zhì)量評(píng)估體系相關(guān)性分析與綜合指標(biāo)構(gòu)建研究*

趙麗萍 趙妍雙 魏永越 陳 峰 岳國(guó)峰△

近年來(lái)，世界大學(xué)排名受到各界高度關(guān)注，這與高等教育國(guó)際化密切相關(guān)。大學(xué)排名不僅影響到高中生高考志愿選擇，還影響高校教育資源分配中的政府決策。2017年公布的我國(guó)世界一流大學(xué)和世界一流學(xué)科(簡(jiǎn)稱“雙一流”)建設(shè)高校名單，其遴選過(guò)程參考了國(guó)內(nèi)外認(rèn)可度較高的大學(xué)評(píng)價(jià)結(jié)果。越來(lái)越多的大學(xué)開(kāi)始關(guān)注自身排名，將其作為未來(lái)的發(fā)展方向[1]。為規(guī)范高等教育機(jī)構(gòu)排名，聯(lián)合國(guó)教科文組織牽頭成立了大學(xué)排名國(guó)際專家組(international ranking expert group，IREG)，并在IREG會(huì)議上討論通過(guò)了一系列高等教育排名操作規(guī)范——“高等教育機(jī)構(gòu)排名的柏林原則”(Berlin principles on ranking of higher education institutions)[2]。柏林原則從排名的目的、指標(biāo)設(shè)計(jì)與權(quán)重分配、數(shù)據(jù)收集與處理過(guò)程、排名結(jié)果公開(kāi)等四方面對(duì)大學(xué)排名提出了16條細(xì)則。在柏林原則的指導(dǎo)下，逐步發(fā)展出4大國(guó)際公認(rèn)的大學(xué)綜合評(píng)價(jià)指標(biāo)體系，包括：上海軟科教育信息咨詢有限公司發(fā)布的世界大學(xué)學(xué)術(shù)排名(academic ranking of world universities，ARWU)，美國(guó)新聞和世界報(bào)道(US news & world report)發(fā)布的大學(xué)綜合排名(US news universities rankings，US News)，泰晤士世界大學(xué)排名(Times higher education world university Ranking，THE)，和英國(guó)Quacquarelli Symonds國(guó)際高等教育咨詢公司發(fā)布的世界大學(xué)排名(QS)[3]。

《國(guó)家中長(zhǎng)期教育改革和發(fā)展規(guī)劃綱要(2010-2020年)》鼓勵(lì)專門機(jī)構(gòu)和社會(huì)中介機(jī)構(gòu)對(duì)高等學(xué)校學(xué)科、專業(yè)、課程等水平和質(zhì)量進(jìn)行評(píng)估[4]。然而，大學(xué)辦學(xué)水平綜合評(píng)價(jià)指標(biāo)體系的構(gòu)成具有一定的相似性，在權(quán)重分配上側(cè)重點(diǎn)又各有不同，使得公眾對(duì)排名結(jié)果產(chǎn)生疑惑[4]。本文選擇世界范圍內(nèi)認(rèn)可度較高的4個(gè)大學(xué)綜合評(píng)價(jià)指標(biāo)體系，依據(jù)2019年的最新排名結(jié)果，探討其相關(guān)性，并探索綜合4個(gè)指標(biāo)體系，構(gòu)建新的評(píng)估指標(biāo)。

四大國(guó)際公認(rèn)大學(xué)綜合評(píng)價(jià)指標(biāo)體系

選擇目前國(guó)際公認(rèn)的4個(gè)大學(xué)辦學(xué)水平綜合評(píng)價(jià)指標(biāo)體系，包括：

1.軟科ARWU，包括4個(gè)一級(jí)指標(biāo)：教育質(zhì)量(10%)、教師水平(40%)、科研成果(40%)和師均表現(xiàn)(10%)。

2.US NEWS，包括3個(gè)一級(jí)指標(biāo)：聲譽(yù)(25%)、文獻(xiàn)計(jì)量(65%)、科學(xué)卓越(10%)。

3.THE，包括5個(gè)一級(jí)指標(biāo)：教學(xué)(30%)、科研(30%)、論文引用(30%)、國(guó)際化(7.5%)、校企收入(2.5%)。

4.QS，包括6個(gè)一級(jí)指標(biāo)：同行評(píng)議(40%)、雇主聲譽(yù)(10%)、師生比(20%)、師均論文引用數(shù)(20%)、國(guó)際教師占比(5%)、國(guó)際學(xué)生占比(5%)。

各指標(biāo)體系的總分都是100分，指標(biāo)構(gòu)成和權(quán)重各有不同，詳見(jiàn)表1。

資料與方法

1.資料來(lái)源

從各評(píng)估體系官方網(wǎng)站獲取2019年大學(xué)綜合辦學(xué)水平的評(píng)估結(jié)果作為原始分析資料，包括排名、總分以及分項(xiàng)得分。

ARWU，資料取自www.shanghairanking.com，2019年共有1000所大學(xué)入圍。

US NEWS，資料取自www.usnews.com，2019年共有1245所大學(xué)入圍。

THE，資料取自www.timeshighereducation.com，2019年共有1262所大學(xué)入圍。

QS，資料取自www.topuniversities.com，2019年共有1005所大學(xué)入圍。

2.統(tǒng)計(jì)分析

采用Spearman等級(jí)相關(guān)系數(shù)描述各排名體系的得分和排名的相關(guān)性，采用熱圖(heatmap)展示各評(píng)估體系的內(nèi)部指標(biāo)間的相關(guān)性，采用配對(duì)刪除法(pairwise deletion)處理缺失數(shù)據(jù)。用主成分分析法(principal component analysis，PCA)對(duì)四個(gè)評(píng)估體系進(jìn)行綜合，并構(gòu)建新的指標(biāo)。所有統(tǒng)計(jì)分析采用Stata14.0統(tǒng)計(jì)軟件進(jìn)行分析。

指標(biāo)間相關(guān)性分析

1.四個(gè)評(píng)價(jià)體系總分和排名結(jié)果的相關(guān)性

各指標(biāo)體系的相關(guān)性分析結(jié)果見(jiàn)表2。分值的相關(guān)性略低于排名的相關(guān)性。除US News與THE(r=0.87)和ARWU(r=0.86)的相關(guān)性較高外，其余指標(biāo)體系的相關(guān)性皆在0.62～0.79之間。各指標(biāo)體系在統(tǒng)計(jì)學(xué)上不完全相關(guān)，體現(xiàn)各有側(cè)重，各有特色，無(wú)法互相替代。

表2 世界大學(xué)排名體系間相關(guān)性(2019年排名結(jié)果)

*：下三角為總分間的相關(guān)性，上三角為排名間的相關(guān)性；(.)中為統(tǒng)計(jì)分析的樣本量。ARWU僅公布世界排名前100大學(xué)的總分，因此此處納入相關(guān)分析的樣本量較小。

2.各二級(jí)指標(biāo)間的相關(guān)性

各綜合排名體系二級(jí)指標(biāo)的相關(guān)性分析顯示(圖1)，QS的內(nèi)部二級(jí)指標(biāo)間相關(guān)性較弱；而ARWU、US News和THE的各二級(jí)指標(biāo)間存在較高的正相關(guān)，說(shuō)明各二級(jí)指標(biāo)間存在一定的信息重疊。USNews所公布的二級(jí)指標(biāo)是排名(越小越好)，其他排名體系的二級(jí)指標(biāo)為分值(越高越好)，因此USNews的二級(jí)指標(biāo)和其余排名體系的二級(jí)指標(biāo)間呈現(xiàn)負(fù)相關(guān)關(guān)系。

圖1 四大世界大學(xué)評(píng)估體系二級(jí)指標(biāo)間的相關(guān)性(US News的二級(jí)指標(biāo)為排名結(jié)果，其余二級(jí)指標(biāo)為對(duì)應(yīng)分值)

3.構(gòu)建新的綜合評(píng)估指標(biāo)

因各綜合排名體系具有一定的相關(guān)性，又各有其側(cè)重，則可從統(tǒng)計(jì)學(xué)角度將4個(gè)指標(biāo)體系加以綜合，更為全面地反映大學(xué)的綜合水平排名。基于4個(gè)綜合評(píng)價(jià)指標(biāo)排名的相關(guān)矩陣進(jìn)行主成分分析顯示，第一主成分的貢獻(xiàn)度達(dá)75.5%，各排名體系對(duì)第一主成分的貢獻(xiàn)比較均衡(表3)。

表3 四大綜合指標(biāo)排名的主成分分析

*：共458所大學(xué)評(píng)估結(jié)果用于主成分分析。

依據(jù)第一主成分構(gòu)建新的綜合大學(xué)排名指標(biāo)(integrated universities ranking index，IURI)：

IURI=0.471×RARWU+0.524×RUSNews+0.531×RTimes+0.470×RQS

其中R表示各評(píng)估體系的排名。由公式可知，新指標(biāo)基本體現(xiàn)四大指標(biāo)體系排名的平均水平。從結(jié)果來(lái)看，IURI的排名結(jié)果和原評(píng)估體系排名結(jié)果的相關(guān)性較高。但排名較為靠后的大學(xué)中，新指標(biāo)和原指標(biāo)的排名差異明顯。從側(cè)面反映各綜合排名體系側(cè)重點(diǎn)有所不同，對(duì)某些非綜合性大學(xué)來(lái)說(shuō)，排名差異較大。見(jiàn)圖2。

圖2 根據(jù)各評(píng)估體系排名所構(gòu)建的綜合指標(biāo)IURI和原始排名的相關(guān)性

根據(jù)新指標(biāo)遴選出世界排名前50名的大學(xué)見(jiàn)表4。其中，IURI提示，我國(guó)的清華大學(xué)排名進(jìn)入世界排名第22位，為原四大評(píng)估體系結(jié)果的平均水平。

表4 基于4個(gè)評(píng)估體系構(gòu)建的新指標(biāo)情況(前50名)

討 論

各排名采用的指標(biāo)大多是教學(xué)指標(biāo)、科研指標(biāo)、國(guó)際化程度、聲譽(yù)指標(biāo)、產(chǎn)業(yè)化等。各綜合評(píng)估體系的每項(xiàng)指標(biāo)的數(shù)據(jù)來(lái)源不明，權(quán)重差異較大，導(dǎo)致同樣一項(xiàng)指標(biāo)在不同的排名體系中的貢獻(xiàn)不一[5]。對(duì)于綜合性大學(xué)來(lái)說(shuō)，只有在各大排名中表現(xiàn)都好，才可認(rèn)為是綜合辦學(xué)質(zhì)量好的大學(xué)。若在某一方面存在不足，會(huì)直接影響某一綜合排名體系的排名結(jié)果。事實(shí)上，一個(gè)好的大學(xué)，須在教育教學(xué)水平、科學(xué)研究水平、人才培養(yǎng)質(zhì)量、社會(huì)服務(wù)貢獻(xiàn)、國(guó)際視野、文化傳承等各方面都出類拔萃[6]。而對(duì)于醫(yī)科大學(xué)等專業(yè)性院校來(lái)說(shuō)，學(xué)科構(gòu)成不完整，科學(xué)研究、社會(huì)貢獻(xiàn)等方面都無(wú)法和綜合性院校比肩，上述綜合評(píng)估體系是否適用于此類專業(yè)性院校，有待商榷[7]。

二級(jí)指標(biāo)相關(guān)性分析顯示，同一體系中的二級(jí)指標(biāo)相關(guān)性較強(qiáng)，說(shuō)明各二級(jí)指標(biāo)的信息存在明顯的重疊，從統(tǒng)計(jì)學(xué)角度來(lái)看，現(xiàn)有指標(biāo)尚有優(yōu)化的空間。本文嘗試將4個(gè)大學(xué)排名綜合則可以得到新的、更加綜合的排名。本文提出的新的大學(xué)排名中，各大學(xué)排名指標(biāo)體系的貢獻(xiàn)幾乎相等，因此，可以簡(jiǎn)單地將4個(gè)大學(xué)的排名平均化，可得到更加合理的排名。新的排名的結(jié)果更具有代表性和穩(wěn)定性。

另外，各評(píng)估體系的透明度有待改進(jìn)。數(shù)據(jù)獲取、整理過(guò)程，完整數(shù)據(jù)，細(xì)節(jié)算法，歷史變遷，變更依據(jù)，排名執(zhí)行，監(jiān)督機(jī)構(gòu)等細(xì)節(jié)，應(yīng)在網(wǎng)絡(luò)上及時(shí)公開(kāi)，接受廣泛的監(jiān)督和質(zhì)詢，并提供電子文檔以便驗(yàn)證[8]。另外，應(yīng)鼓勵(lì)開(kāi)展大學(xué)綜合評(píng)估和排名的理論方法研究，以更好地服務(wù)社會(huì)和政府決策。