多方法融合視角下的中國最好大學評估檢驗

胡澤文 曹玲 尹獻

關鍵詞：高校評估;大學排名;評價指標;TOPSIS模型;面板數據模型;層次分析模型;灰色關聯模型

高校排名主要通過制定經過科學論證的評估標準和評估方法，對高校的科研活動和科研成果給予科學計算和評估之后得出綜合評分或排名。評估結果可以作為一種價值尺度，促進高校發展，使高校能夠清晰直觀了解到在教學、科研、國際化以及學術成就等諸多方面指標上的優點和不足之處，為學生擇校、政府資助、項目和資金支持、高校自我認識和改進提供一個基準參考。然而目前國內外高校評估實踐在評價指標選擇和指標權重確定方面仍存在較多的主觀成分.定量化的客觀評估實踐相對較少。戴躍依認為評價目的和評價指標體系的不同會影響到評價和排名結果。因此“如何克服指標選擇和權重確定過程中的主觀性，使其對價值主體的影響最小化.使評價更具客觀性”是當前高校評估領域亟需解決的重點難點問題。施艷萍等和郭叢斌等從指標多樣性、權重分配、文獻數據和聲譽數據來源等維度對世界主流的大學排名指標體系特征進行分析，發現THE世界大學排名指標體系最為全面和均衡;QS指標體系相對簡單，聲譽等主觀因素的比重較高;US News世界大學排名指標體系重視科研，文獻類客觀指標比重較大。不同高校評估機構在評估指標、權重和方法方面的創新性和差異性，會導致不同評估機構給出的高校排名結果之間有所差異，使得這些榜單排名給參考人員帶來困惑。

國際性高校評估與排名實踐相對較早.1986年和1987年，《泰晤士高等教育》和美國新聞與世界報道分別推出了英國高等學校排名和美國最佳大學排名，排名不僅對高校進行整體排名，而且進行了分學科排名和分學位等級階段。2004年開始，《泰晤士高等教育》與教育網絡機構QS（Quac.quarelli Symonds）公司共同推出世界大學排名。然而2009年開始，《泰晤士高等教育》和QS公司終止合作，開始單獨推出自己的世界大學排名。21世紀初，中國的一些社會團體、政府組織或高等教育機構受國際大學評價的影響，開始嘗試對中國的大學進行評估排名。例如：2003年開始的中國校友會大學排行榜，2004年武漢大學中國科學評價研究中心推出的中國大學競爭力排行榜（簡稱中評榜），以及2015年上海軟科教育信息咨詢有限公司推出的中國最好大學排名榜（原為上海交通大學世界一流大學排名）。面對各類不同機構推出的大學排行榜，國內外學者提出一些質疑與建議。胡詠梅認為網大高校排名指標體系中涉及科研評價的指標權重過大，會使高校不重視“人才培養”這一基本職能。夏振榮等發現建校歷史、私立大學和英語大國高校對大學排名具有正面影響，而辦學歷史、地域條件和大學性質對大學排名的影響是有限的。李鵬虎發現上海交通大學世界大學學術排名的排名指標體系中，數據覆蓋面單一，論文指標來源多為英文刊物.對德國和法國等一些非英語國家的頂尖大學有失公平。

此外，胡澤文等全面系統性闡述和比較分析了國際代表性高校評估和排名實踐在評估時采用的特色指標和特色評估方法.為國內高校評估實踐提出一些建議：評估單元應該細化到具體學科和專業，不同評估單元應該有不同的指標和權重;應注重科研商業化活動的評估：量化評估與同行評議應該結合起來;評估應該考慮市場化因素;評估時不僅要注重存量指標，也應該注重流量指標;應考慮相對影響、高被引和低被引指標的使用。國際學者Aguillo I F等分別測度了5種國際性高校排名實踐之間的相似性，發現Quacquarelli Symonds公司和西班牙國家研究委員會網絡計量學實驗室的歐洲大學排名結果之間存在較大差異，而中國臺灣地區財團法人高等教育評比中心基金會和荷蘭萊頓大學科學技術研究所提供的歐洲大學排名結果相似度較高。Barreto P D和Hans P H發現政治經濟和文化環境因素、資金和領導是影響高校名次漲落的重要因素，高校排名也會導致資助的偏見，排名靠前的高校能夠獲得更多經費資助。此外，高敏等通過統計分析2016年中國最好大學排名TOPl00高校的區域差異性，發現國內百強高校基本呈現東部多西部少、南部多北部少的分布態勢，區域經濟發展水平和富裕程度對高校排名的影響較大。

1數據與研究方法

首先將中國最好大學排行榜中TOP100高校在2015-2018年歷年的不同評價指標數據及排名結果組成面板數據，實現融合面板數據模型和層次分析模型的指標新權重測算，然后以2017年中國最好大學排行榜的TOP100高校作為評估對象，分別實現基于不同權重和不同定量評估方法的高校評估實踐，并對排名結果進行綜合對比分析。

1.1中國最好大學排名指標體系

中國最好大學排名是由上海軟科教育信息咨詢公司基于第三方公開數據，采用客觀透明的評價指標體系和排名方法，對國內大學進行排名。自2015年開始，每年發布中國最好大學排名榜。該排名2015年并未加入社會聲譽這一指標，但在2018年才開始將培養結果指標權重從15%更改為10%，加入社會聲譽指標，并將權重設定為5%。其余指標保持不變。2018年中國最好大學排名榜單采用的指標及權重如表1所示（http：//cnews.chinadai.1y.com.cn/2018-02/27/content_35746829.htm）。

由表1可知，中國最好大學排行榜采用的指標均是可以通過統計數據測度的硬性指標.其中人才培養類指標的權重最高，達到45%。人才培養類指標中，生源質量指標最受重視，權重高達30%，并將社會聲譽指標作為人才培養類指標的一部分。中國最好大學排名也非常重視服務社會指標和國際化指標，權重分別達到10%和5%。

此外，一級指標中，科學研究占比達到40%，其二級指標一科研規模、科研質量、頂尖成果和頂尖人才的指標權重采用平均分配的原則.各占10%。中國最好大學排名對于生源和科研兩項指標最為重視，總權重達到85%。該指標體系采用的指標數據均來自第三方數據庫，論文數量、論文質量、高被引論文、高被引學者數據均來自Scopus數據庫。生源質量、培養結果及社會聲譽等指標數據則采用省級教育部和統計年鑒等發布的數據。因此指標數據具有可獲取性和客觀性。

1.2面板數據構建

面板數據是時間序列和截面混合數據，指截面上不同個體在不同時點上觀測的二維數據。通過面板數據模型測算高校評估指標權重是權重定量測度的新思路。面板數據主要由2015-2018年中國最好大學排行榜Top100高校的各指標得分數據和綜合得分數據組成，具體構建過程如下：首先基于原始數據和指標權重測算出Top100高校每個指標的得分數據和綜合得分數據，然后篩選出2015-2018年期間連續在前100名中出現的高校指標及綜合得分數據組成面板數據。高校指標數據中剔除了只在2015年和2016年出現的“產學研合作（校企合作論文）”指標，以及只在2018年出現的“社會捐贈”指標、只在2017年和2018年出現的“學生國際化（留學生比例）”指標，現共有指標8個。部分高校2015-2018年期間指標及其綜合得分的面板數據如表2所示（https：//www.shang.hairanking，cn/rankings/bcur/201611）。

1.3研究方法

首先將表2面板數據中反映高校綜合質量的總分設置為因變量，并標記為Y，反映高校不同維度質量的指標作為自變量.各個自變量的標記分別為：生源質量得分（X1）、培養成果得分（X2）、科研規模得分（X3）、科研質量得分（X4）、頂尖成果得分（X5）、頂尖人才得分（X6）、科技服務得分（X7）和成果轉化得分（X8）。同時根據中國最好大學排名指標體系，將反映高校綜合質量的所有指標進行分層，形成高校綜合質量評估的層次結構模型，如表3所示，涵蓋評估目標：高校綜合質量，標記為字母0;3個一級指標A1、A2和A3;A1的兩個二級指標X1和X2，標記為字母B1和B2;A2的4個二級指標X3～X6，標記為C1～C4;A3的兩個二級指標X7和X8，標記為D1和D2。

然后通過構建反映自變量（X1～X2）與因變量（Y）之間多元回歸關系的面板數據模型，借助計量經濟學軟件包EViews工具，量化分析各評估指標對高校綜合排名的重要性，得出反映各指標重要性的回歸系數，同時基于各層指標系數之間差值的絕對值大小，建立判斷指標之間相對重要性的標準，利用層次分析法構建各層指標相對重要性的判斷矩陣.并基于判斷矩陣，利用數學函數測算新的指標權重。最后融合新的指標權重，借助Excel工具，綜合運用各類量化評估方法：TOPSIS法、改進型TOPSIS和灰色關聯法對高校排名進行評估檢驗，并與原始指標權重的評估結果進行對比分析。個體固體效應模型和混合模型是面板數據模型的兩種類型，個體固體效應模型的數學表達式為：

其中i=1，2，…，N;t=1，2，…T，混合模型也稱不變參數模型，即所有截面的截距相同（截距c為常數），系數相同（自變量前的系數β不變）。此外，層次分析法、TOPSIS法和灰色關聯法的數學原理、評估過程和評估實踐參考胡澤文主編的書藉《信息資源評估理論與實踐》。

2融合面板模型和層次分析法的新權重測算

2.1面板數據選擇與分析

將Y作為因變量，X1～X2作為自變量，分別采用混合模型（Pooled Regression Model）和個體固定效應回歸模型（Fixed Effects Regression Model）對表2所示TOP100中國高校組成的面板數據進行擬合分析，結果如表4所示。

為了檢驗固定效應模型是否比混合模型更合適表2面板數據的擬合，冗余性F檢驗被采用。F檢驗假設：

H0：模型中不同個體的截距相同。

H1：模型中不同個體的截距項a不同。

檢驗結果顯示F檢驗的概率為0.408.概率不顯著，表示接受零假設.因此應該摒棄固定效應模型，選擇混合效應模型。根據表4中8個指標變量與評價總得分之間的回歸系數關系，構建混合模型的數學表達式：

2.2融合層次分析法的指標相對重要性標準建立

判斷矩陣作為層次分析法的計算基礎，矩陣元素的值是人們對各因素相對重要性認識的反映，對決策效果或評估結果會產生直接重要的影響。判斷矩陣的元素一般采用1～9及其倒數的標度方法。但由于具體情況的不同，筆者結合Saaty教授提出的“1～9標度方法”.建立反映各指標相對重要性的判斷標準，從而形成高校評價指標層次結構模型及其對應的判斷矩陣。通過分析反映各指標重要性的回歸系數及其差值大小（表4混合模型擬合結果），發現各指標回歸系數差值的絕對值主要在0～0.5之間.因此對傳統“1～9標度”的相對重要性標準依據指標系數差值的絕對值區間進行重新設定為：差值絕對值為“0”表示兩個指標對其上級指標同樣重要，標度為1;“0.05～0.1”表示兩個指標相比，一個比另一個稍微重要，標度為3：“0.15～0.2”表示兩個指標相比，一個比另一個明顯重要，標度為5;“0.25～0.3”表示兩個指標相比，一個比另一個強烈重要，標度為7;“大于0.35”表示兩個指標相比.一個比另一個極端重要，標度為9。此外，標度2表示介于標度1和3之間的重要性，標度4、6和8表示類似含義。具體標準如表5所示。

2.3融合面板數據模型和層次分析法的新權重測算

基于表4所示混合模型擬合出的8個具體指標得分與高校綜合質量得分之間的回歸系數大小，測算出各指標兩兩之間的絕對值，與表5所示新建立的1～9標度進行匹配，建立4個判斷矩陣：評估目標（0）及其一級指標（A）矩陣O-A、一級指標A，及其二級指標矩陣A-B、一級指標A，及其二級指標矩陣A-C、一級指標A，及其二級指標矩陣A-D。其中矩陣0-A建立過程中，評估目標（O）的3個一級指標A1～A3的回歸系數由其子指標系數求和所得。然后對4個判斷矩陣進行一致性檢驗，并應用“和積法”計算指標權重。一致性檢驗標準為CR值，當CR的值小于0.1時，判斷矩陣具有令人滿意的一致性。CR=CI/RI，其中CI為一致性指標，等于（最大特征根一階數）/（階數一1），RI為矩陣階數對應的值（查表可得）。

基于4個判斷矩陣O-A、A1-B、A2-C和A3一D計算出各指標的權重，以及4個判斷矩陣的一致性檢驗標準CR。結果顯示4個判斷矩陣的CR分別為0.047、0、0.045和0，全部小于0.1，符合一致性檢驗標準。其中表6和表7展示了判斷矩陣O-A和A1-B的指標權重及一致性檢驗結果，其中矩陣A-B中的數字7表示指標B，比B，強烈重要（從兩個指標系數絕對值差0.278可以判斷）。表8展示了各層指標權重相對于評估目標（O）的層次總排序，得到8個具體指標對于評估目標的重要性，即指標的最終權重。其中B，和B，的最終權重由B1和B2權重分別乘以A1權重所得;C1～C4最終權重由C1～C4各自權重分別乘以A2權重。

2.4融合原始權重的層次分析權重

依據表1所示各指標的原始權重，判斷指標之間的相對重要性，構建4個判斷矩陣O-A、A1-B、A2-C和A3-D。其中A2和A3一級指標下的C1、C2、C3、C4和D1、D2、D3權重一樣，因此其權重分別是上一級權重的1/4和1/3，故不建立相應矩陣進行計算。其中表9展示了判斷矩陣O-A的指標權重及一致性檢驗結果。表10展示了各層指標權重相對于評估目標（O）的層次總排序，即指標的最終權重。具體計算過程和方法與2.3部分相同。

2.5新權重與原始權重之間的比較分析

基于2017年中國最好大學評價指標體系各層指標的原始權重，通過兩兩比較各層指標的相對重要性（通過原始權重差值比較），建立相應的判斷矩陣，測算出基于原始權重的新權重。表11比較分析了所選8個指標的原始權重（記為權重1）、融合原始權重的層次分析權重（權重2）、融合面板數據模型的層次分析權重（權重3）。

從表11可以看出，在一級指標A1～A3權重方面.權重1和權重2的指標權重大小不一樣，但權重排序仍然一樣，A1“人才培養”仍然排第一，A3“服務社會”排第三，然而基于面板模型測算的權重3中，A2“科學研究”的權重排第一。在二級指標權重方面，3類權重中排名第一仍然是B1指標“生源質量”。權重2是基于原始權重1的層次分析權重，兩類權重的指標值差異相對較小，C1～C4和D1～D2權重值各自相等，無差異。權重3是基于高校各指標面板數據擬合分析結果的基礎上進行層次分析得到的新權重，各指標權重之間的差值相對較大，區分明顯，較具客觀性。例如：權重1中的4個指標C1～C4權重全部為10%，權重2中的4個指標C1～C4權重全部為9%，而權重3中的4個指標C1～C4權重各不相同，分別為13%、10%、7%、27%，各指標的重要程度區分明顯。

3融合新型評估權重和方法的中國高校評估檢驗

分別運用TOPSIS法、改進型TOPSIS和灰色關聯法對所選高校進行評估檢驗和比較分析，并與原始指標權重的評估結果進行對比分析.借此檢驗新型定量評估權重和方法的有效性和健壯性，同時比較分析不同評估方法和權重下高校評估結果之間的差異。

3.1基于TOPSIS法和改進型TOPSIS法的高校評估檢驗

1）評估對象及原始數據

評估對象及原始數據由2017年中國最好大學排名結果中的Topl00所大學及其8個評估指標數據組成。由于原始數據中存在指標值為零的高校，會影響評估結果，因此刪除指標值為“0”的高校，共剩下72所高校作為評估對象（部分高水平大學會因指標值缺失未選人樣本），72所高校名稱及其指標數據如表12所示（部分）。

為了計量比較不同指標權重下的改進型TOP.SIS法評估結果差異，分別使用表8所示層次分析法指標權重和表13所示熵值法權重對表14標準化矩陣進行加權，形成原始標準化矩陣、層次分析法權重加權的標準化矩陣和熵值法權重加權的標準化矩陣，并測算出3類標準化矩陣下的各高校接近程度C，對所選高校進行評估排名。傳統TOPSIS法排名、熵值加權的TOPSIS法排名和層次分析權重的TOPSIS法排名結果，如表16所示。

如表16所示.傳統TOPSIS法排名和熵值加權的改進TOPSIS法排名結果一致性相對較高.前5名的高校名單完全一致。筆者設計的融合面板數據模型和層次分析新權重的TOPSIS法高校排名結果取得較好效果，排名結果的前5名高校與中國最好大學排名的前5名高校名次完全一致，仍然是清華大學、北京大學、浙江大學、上海交通大學和復旦大學。

3.2融合新權重的灰色關聯法高校評估分析

融入表8所示基于面板數據模型和層次分析法測算出的8個指標新權重，利用灰色系統關聯法對所選72所高校進行灰色關聯評估排名。灰色關聯評價模型的構建過程：首先建立目標特征矩陣.設有M所高校有N項評價指標，建立MxN階目標特征值矩陣X。

在該矩陣中X（K）表示第i個高校的第K項指標值。同時從矩陣X中篩選每項指標的最優值，形成最優數列：X（K）。為了實現不同類型指標之間的比較，利用正向指標的區間值標準化式（4）對矩陣X進行規范化處理，即無量綱化。

然后利用表8所示的8個指標層次分析法權重對矩陣X進行加權.并計算分析各高校的灰色關聯度，即求出每所高校的比較系列xi（露）與參考系列X（K）的絕對差：AXi（K）=X（K）-X（K），并找出其最大值Amax和最小值Amin，繼而利用式（5）和式（6）計算每所高校的關聯系數和關聯度.其計算公式如下：

其中P值設定的目的在于調整比較環境的大小，通常取值范圍在0～1之間。最后基于上述灰色關聯度計算過程測算出72所高校的灰色關聯度大小，并進行排名，具體排名結果如表17所示。各高校灰色關聯度的具體計算過程參見書藉《信息資源評估理論與實踐》。

表17所示的各高校灰色關聯度越大.表示高校比較序列與參考序列之間的關系越近，其排名越靠前。可以明顯看出的是，表17所列舉出的灰色關聯度TOP15高校與2017年中國最好大學排名的TOP15高校具有較高的一致性，其中兩類排名的前6名高校名單完全一致，說明融合新權重的灰色關聯評估能夠取得較好的評估效果。

4結論

通過設計和實現融合面板數據模型及層次分析模型的新權重測算，實證檢驗和比較分析了融合新權重的各類評估方法是否具有較優的評估效果和實際應用前景，具體評估結果如表18所示。表18展示了2017年中國最好大學排名靠前72所高校中TOP20所高校的原始排名（記為排名A）、融合面板數據模型和層次分析法權重的灰色關聯度排名（排名B）、融合面板數據模型和層次分析法權重的TOPSIS法排名（排名C）、融合熵值法權重的改進TOPSIS法排名（排名D）、TOPSIS法排名（排名E）、高校最大最小名次的差值F和差值G。差值F表示每所高校在排名A至排名E中的最大最小名次差值;差值G表示每所高校在排名A和排名B中的最大最小名次差值：差值H表示每所高校在排名A和排名c中的最大最小名次差值。

表18所示5種高校排名使用的數據相同，而評估方法和指標權重不同，因此具有可比性。5種排名以原始排名TOP20高校為比較標準，通過比較其他4種排名結果在高校原始排名順序上的差異，發現不同評估方法和權重所得的高校排名之間是否具有一致性。此外，設計的4種排名方法客觀性和定量化較高.均通過客觀權重和客觀評估方法實現。從表18可以發現一些有意義的結論：

1）總體來看，5種排名中高校最高最低名次差值的平均值相對較高，為10.84。高校排名結果會受到指標權重和評估方法的影響.基于同種指標體系和相同數據，但使用不同的評估方法和權重得到的高校排名結果之間會有所差異。綜合實力越靠前的高校，基于不同評估方法和權重的排名結果吻合度越高;綜合實力越靠后的高校，在5種排名結果中的吻合度越低.甚至會出現部分高校不同方法排名結果差值達到30的較大差異。

2）融合新型面板數據模型和層次分析模型權重的灰色關聯度排名（排名B）和改進TOPSIS法排名（排名C）在前5名高校的排名順序上與原始排名（排名A）完全一致;排名B與原始排名A中的TOP20所高校名次差值G的平均值僅為較低的1.15，TOP72所高校名次差值G的平均值為3.39：排名C與原始排名A中的TOP20所高校名次差值H的平均值僅為1.8，TOP72所高校名次差值H的平均值為3.64。其他兩種排名——融合熵值法權重的改進TOPSIS法排名（排名D）和TOP.SIS法排名（排名E）結果之間具有較高的一致性，兩類排名中的前5名高校名次順序基本一致，TOP20所高校的名次差值平均值為1.65，TOP72所高校名次差值平均值為3.5。然而排名D和排名E與原始排名A的高校排名順序有較大差異，例如：排名D與原始排名A的TOP20所高校名次差值平均值為3.55，TOP72所高校名次差值平均值為5.78.比排名B和原始排名A的TOP20所高校名次差值平均值1.15高出2.4，比TOP72所高校名次差值平均值3.39高出2.39。

3）5種高校排名結果的前5名高校名次差異極小，每所高校最大名次與最小名次的差值在2以內。在原始排名第6至第15名的高校名次方面，5種排名高校名次差值最大的是南開大學和北京師范大學，差值均為21。總體來說，排名A和排名B的TOP15高校名次比較接近.最高名次與最低名次的差值最大為4。而排名D和排名E的TOPl5高校名次比較接近，最高名次與最低名次的差值最大為8（僅1所高校），其他高校的差值均在4及其以下。