基于指數理論和大學排名的大學第三方指數構建與應用

曾志嶸　師璐　陳敏生

摘要：在對大學第三方評價進行綜合研究和比較分析的基礎上，提出大學第三方指數的概念構想，通過指數理論建立計算模型與規則對入選的大學第三方評價信息進行整合和運算，構建了大學第三方指數。大學第三方指數用以綜合反映多個大學第三方評價同時作用于一所大學的情況，為總體分析大學在第三方評價中的狀態與趨勢提供了一個新的角度和方法。通過多角度地挖掘與分析數據，大學第三方指數的綜合指數、專項指數可以用于計算生成大學發展競爭力報告、基于區域內大學表現的高等教育競爭力報告等，為大學改革發展規劃、區域高等教育發展戰略等提供第三方評價的大數據分析和比較。

關鍵詞：大學排名;大學第三方指數;構建;應用

高校的辦學水平與發展狀態，是高等教育質量的風向標。隨著高等教育步入大眾化階段，政府、社會、行業、學生、家長、同行等利益相關方對其高度關注，因此迫切需要有更加全面、客觀、精準的信息來評價和判別高等教育發展水平。《國家中長期教育改革和發展規劃綱要（2010-2020年）》中提出，“鼓勵專門機構和社會中介機構對高等學校學科、專業、課程等水平和質量進行評估”[1]。在高等教育評估的大環境下，不斷創新和完善第三方評價的方法、方式，通過第三方組織和機構來評估高校的辦學質量、發展趨勢和競爭力，為利益相關方提供更加全面、客觀和獨立的視角，是大學第三方評價研究的價值目標。

一、大學第三方指數的概念構想

當前，各類大學第三方評價不斷涌現，在實踐中不斷完善并取得了長足的發展。國內外主要的、比較受重視的和關注度較高的第三方評價，主要是針對大學整體水平和關鍵領域而發布的各種類型的排行評價。國內外第三方排名機構，都建立了各自的評價指標和數據庫，從不同的角度對大學進行評價[2][3]，使大學的辦學質量與水平越來越透明。第三方評價信息越來越受關注，為政府部門、社會各界、行業、學生及家長等提供了審視和了解大學發展狀況的一個相對中立的角度，在一定程度上成為了對大學進行分類定位、資源配置和重點建設的重要參考因素，成為了社會和行業遴選人才的重要參照，成為了家長和學生選擇學校的重要影響因素。然而，各類第三方評價主體都有其特定的價值取向，評價維度與評價方式各不相同，評價質量與評價結果各有所異;不同機構開展的第三方評價也存在著信息不對稱、不共享等問題，各個孤立的評價信息，形成了一個新的整體概念和整體局面缺乏現象，帶來了新的數據不對稱和評價信息碎片化問題，在一些時候，讓主管部門、大學和其它利益相關方一時難以判斷，有些大學的排名結果甚至在不同排行榜中呈現出“冰火”兩重天的現象，猶如在一個十字路口，同時出現眾多的指路牌。

隨著各類第三方評價的方法與結果越來越公開透明，第三方評價的原始信息也越來越具有較強的可獲得性，政府、高校和學術領域都希望并嘗試對第三方評價的綜合解讀與比較，呈現出對第三方評價結果進行整合和研究趨勢。目前，大多數研究主要以數據的直接描述和簡單比對分析為主，需要探索一個比較好的綜合比較方法。大學第三方指數研究課題組開展了相關的研究并取得積極的成效，課題組通過綜合分析第三方評價信息，建立了一套研究方法、計算模型和運算規則，嘗試將標準不一、內容各異、權重不同的第三方評價數據進行整合和運算，形成一個能夠更加全面地、客觀地呈現大學的總體第三方評價狀態的指數，我們將其定義為大學第三方指數（Third-party University Ranking Indexes，簡稱TUI）。通過第三方指數的得分情況，能夠反映出大學獲得的第三方評價的總體信息和狀態，能夠減少單一評價信息的偏倚，能夠對大學的整體辦學水平與質量進行更為合理的第三方評價的綜合比較和分析。

二、大學第三方指數構建的價值目標

大學第三方指數構建的目的在于對各類第三方評價進行整合分析及綜合評價，而不是重新構建一套指標體系，其核心價值是反映多個大學第三方評價同時作用于一所大學的情況，并嘗試使評價的維度和內涵更加契合大學的社會職能與大學使命、符合國內外高等教育發展的新趨勢，更加客觀、全面、合理地幫助利益相關方在眾多的第三方評價中進行綜合判斷與解讀。

（一）大學第三方指數致力于客觀反映當前大學第三方評價的總體趨勢

當前，各個第三方機構的評價對象各不相同、評價角度各有側重、評價質量參差不齊、評價結果各不相同，信息發布的時間、空間、形式具有多樣化和分散性等特點。總體上包括“對大學綜合發展實力的排名評價”“對大學科研能力、學科水平、教學質量等專項領域的排名評價”。通過對當前大學第三方評價的綜合性、系統性研究，對各類第三方評價體系的價值取向、指標體系、評價趨勢和評價結果的比較研究，經過前期的計算機模擬，創建了計算模型和方法，將入選的第三方評價信息進行整合和運算，計算出大學第三方指數得分，反映多個第三方評價同時作用于一所大學的狀態與趨勢。

（二）大學第三方指數內涵設計致力于客觀反映大學社會職能和大學使命

以當前各類第三方評價的價值取向為參考基礎，研讀高等教育領域的相關政策以把握國內高等教育的時代背景與緊迫任務，同時結合高校工作人員的態度傾向，在第三方指數內容維度的設計中，整體上圍繞著大學的社會職能與基本使命，以及國內外高等教育發展的新趨勢。根據大學社會職能和大學使命設定的內容維度，對入選的大學排行榜評價指標及權重進行分揀與分配，計算相關的大學排名數據在第三方指數合成中的權重系數，反映出各類第三方評價對大學社會職能和大學使命的綜合評價結果。

（三）大學第三方指數的計算結果與呈現形式致力于對接“用戶”需求

為幫助利益相關方在眾多的第三方評價中進行綜合判斷與解讀，第三方指數的結果呈現形式與數據挖掘運用是需要研究和探討的關鍵點。本研究立足于高校、政府、社會、行業、學生及家長等不同用戶群體的需求，嘗試全方位、多角度地發布第三方指數的計算結果，并對大學第三方指數的計算結果進行挖掘，用于綜合分析大學的發展狀態和競爭水平、綜合分析大學發展水平對區域高等教育競爭力的貢獻度等等。在此基礎上，形成對大學改革發展規劃、區域高等教育發展戰略進行第三方評價的大數據分析報告和政策評價報告，從不同角度滿足不同用戶的需求。

三、中國內地高校第三方指數的構建與運用

從世界范圍來看，大學第三方評價主要包含認證、排行、評議三類模式。[4]國外對大學第三方評價的研究集中在認證和排行方面;在我國，“大學第三方評價”的出現及系統性研究起步較晚，對大學或高等教育的第三方評價主要表現為“一枝獨秀”的大學排名方式。大學第三方指數模型的構建是建立在對大學第三方評價綜合研究的基礎上，評價對象涵蓋了中國大學，評價結果以量化形式呈現。

（一）中國內地高校第三方指數構建的方法學依據

指數理論為中國內地高校第三方指數的構建提供方法學依據。對相關文獻資料進行研讀可知，指數是出于特定目的來選取若干具有代表性的指標，使用恰當的方法將其合成一個顯現復雜社會現象在不同時間或空間變化情況的相對數。指數化研究最初在經濟領域中萌芽[5]，目前不僅廣泛應用于金融投資、貿易經濟、人類社會學、教育學等社會經濟活動領域，而且也日益成為臨床醫學、氣象學、化學、農業科學、數理統計學等自然科學領域的重要研究工具。指數的構建基于多種數理統計方法，需要根據研究目標在每一步選擇合適的方法。中國內地高校第三方指數的構建參考指數編制的一般步驟，包括確定大學第三方評價綜合研究的主題，設立中國內地高校第三方指數的評價內容，確立中國內地高校第三方指數內容維度的權重，采集大學第三方評價數據，進行數據預處理，計算中國內地高校第三方指數，評估與檢驗中國內地高校第三方指數，形成中國內地高校第三方指數分析報告等環節。

通過系統篩選與回顧高教領域的“指數”文獻發現，相關研究分別采用指數方法從不同角度探索高校的競爭力和發展水平：部分文獻以高校的辦學性質為劃分，通過建立評價體系對民辦高校、省屬高校的發展實力進行探究[6];也有一些文獻從方法模型角度，基于灰色系統理論、數據包絡分析法等建立高校的競爭力指數，并選取樣本高校進行實證分析[7];還有一些文獻對高校的發展領域進行劃分，從科學研究、學科建設等視角建立高校競爭力指數，并探索高校競爭力水平的提升路徑[8]。現有文獻對高校競爭力指數相關問題的研究在理論和方法上不斷完善、在深度和層次上不斷拔高，為中國內地高校第三方指數的構建提供了豐富的經驗借鑒。

（二）中國內地高校第三方指數內容維度的設立

在綜合分析當前的大學第三方評價框架體系的基礎上，構建一個能夠客觀描述和比較各個大學第三方認可度的指數模型，將提供一個新的角度和方法，更加綜合、客觀地評測各個大學、不同類型高等教育和地區高等教育競爭力水平。中國內地高校第三方指數內容維度的設計綜合考慮大學第三方評價體系的價值取向、國內高等教育的政策環境和實證調查結果。

1.立足第三方評價機構的關注點

通過分析國內外排名機構發布的大學排行榜評價指標體系，發現當前各類排名涵蓋的評價領域圍繞著大學的基本職能和社會使命展開，并反映著國內外高等教育的發展趨勢，主要包括：人才培養、科學研究、學科專業、社會影響、師資質量、國際化、服務社會等;其中科學研究、人才培養、學科專業、社會影響是第三方評價較為集中的領域。第三方指數構建的過程中，所納入的評價內容主要來自于上述領域。

2.把握政府行政部門對高等教育質量的關注點

通過解讀2015年國務院印發的《統籌推進世界一流大學和一流學科建設總體方案》[9]可知，“建設一流師資隊伍”“培養拔尖創新人才”“提升科學研究水平”“傳承創新優秀文化”“著力推進成果轉化”是重點建設任務。上述5項任務除了第4項外，其余4項均是可以量化的關鍵詞，在當前的各類大學第三方評價中有所體現，這些指標在構建大學第三方指數的內容維度時得到充分反映。

3.參考高校工作人員對第三方評價的關注點

借助學術交流會議現場開展大學第三方評價相關調查的活動宣傳，對作為利益相關方的高校工作人員進行問卷調查。通過網絡調查平臺問卷星收集數據，調查結果顯示，人才培養、學科專業、社會影響和社會服務、學術科研、師資隊伍等是高校工作人員主要關注的排名領域。

通過上述研究和思考，最終在中國內地高校第三方指數的模型架構中納入了各利益相關方都較為關注的人才培養、學科專業、社會服務和影響、科學研究、師資質量等，基于重新設定的這5個評價維度，經過總結提煉、頭腦風暴、專家咨詢對各類大學綜合性排行榜指標和專項大學排行榜進行分揀與分配（見圖1和表1）。

（三）中國內地高校第三方指數評價內容的權重確立

1.中國內地高校第三方綜合指數評價維度的權重確立

對相關的各類大學綜合性排行榜的指標權重與評價結果進行分析，并建立計算模型、運算方法與計分規則。當前的國內外大學第三方評價總體上圍繞高等教育的人才培養、科學研究、社會服務三大職能展開，綜合性大學排名的評價體系中，往往將學科專業、教師隊伍等相關指標列入科學研究或人才培養領域的下設指標中。大學第三方綜合指數的計算模型中，根據所參考排行榜的評價內容，以各個排行榜評價體系中人才培養、科學研究、社會服務和影響等相關指標的權重系數為基礎，綜合考慮所參考排行榜在3個評價領域的價值取向與權重設置趨勢，重新分配并計算各個大學排行榜在3個評價領域的加權平均權重值，加和計算各評價領域的權重值后得出各個綜合性排行榜的總權重系數，第三方綜合指數由相關的綜合性評價數據加權運算后進行標準化與線性處理得出（見表2）。

其中，T表示第三方指數的計算結果，Wi為第i項綜合性排名數據的權重系數，Xi為標準化處理后的第i項排名數據。

2.中國內地高校第三方專項指數評價維度的權重確立

根據各個專項大學排行榜的評價內容與評價結果，對相關的各個專項大學排行榜進行評價領域的劃分，建立計算模型、運算方法與計分規則。在對所參考的第三方專項評價數據進行分類后，采用主成分分析法計算得出各個專項排行榜的權重系數，加權計算專項排行榜的評價結果后進行標準化與線性處理得出大學第三方專項指數，包括人才培養第三方指數、科學研究第三方指數、學科建設第三方指數、教師隊伍第三方指數、大學社會服務和影響第三方指數（見表3）。

其中，S表示第三方專項指數的計算結果，Mi為第i項專項排名數據的權重系數，Yi為標準化處理后的第i項專項排名數據。

（四）中國內地高校第三方指數的測算

1.大學第三方評價數據的采集

在教育部官方網站上，通過全國教育事業發展統計公報、高等教育統計數據等資料，篩選出31個省（區、市）普通高等院校的相關信息。在國內外各類大學排名的發布網站上，分別采集2017年、2018年的4個面向國內大學的第三方綜合評價數據、8個面向國際大學的第三方綜合評價數據和27個第三方專項評價數據。建立大學第三方評價數據庫，匯總各類排行榜的評價數據，將出現在所參考的各個排名中的大學作為第三方指數的評價對象，研究其在各種大學第三方評價共同作用下的結果。2017、2018年入選標準主要是教育部批準的具有招生資格的普通本科院校，不含軍事類高校和港澳臺地區高校。

2.數據清洗

為了保障所采集數據的質量，設置規范化的流程對相關數據進行清洗、整理等處理。部分大學或是未被列入排行榜的評價對象、或是排名信息未被公布而在個別排行榜中的評價數據存在缺失，為了全面地展現各個大學的發展水平，需要盡可能合理地填補這些大學在排行評價中的缺失值。以所采集排行榜中均有數據記錄的評價大學為樣本，根據原始數據的缺失模式來構造具有相同缺失率的數據集，分別用不同的插補方法對缺失數據進行處理，以此比較評估不同插補方法的效果。對于達到排名的評價標準而在個別排行結果中出現數據缺失的大學，根據插補效果最終選定多重插補法對這些大學的缺失數據進行填補。

3.數據標準化處理

由于不同排行榜對大學的評價方法不同、評價指標的計量單位不一致，各項指標數據之間的性質、量綱不統一，評價結果之間不具有可比性。在指數計算前，對各類大學排行榜的評價結果進行“極差標準化”處理，解決不同質指標數據的同質化問題，其數學公式為：

其中，Xj表示第j項評價數據的數值，Xj為第j項評價數據標準化后的結果;正向指標即越大越優型指標，負向指標即越小越優型指標，針對不同趨勢化的評價數據采用相應的公式進行處理，結果分布于0～1之間。為便于計算，本文將預處理后的排名數據統一乘以100，取值范圍在0～100之間。

4.中國內地高校第三方指數的計算結果及運用

通過采集信息、建立大學第三方評價數據庫、進行數據預處理等環節，對相關的大學第三方評價數據進行加權運算，計算出2017年與2018年的大學第三方指數，2017年與2018年大學第三方指數的研究計算對象分別涵蓋了中國內地31個省份的856所大學、866所大學，并根據計算結果形成中國內地大學的第三方綜合指數、人才培養指數、科學研究指數、學科建設指數、師資隊伍指數、社會服務和影響指數;入選大學中，理工類大學的數量最多，綜合類大學和師范類大學的數量分別位居第2和第3，政法類大學和體育類大學的數量相對較少。

在中國內地高校第三方指數計算結果的基礎上，建立基于大學第三方指數的中國內地一流大學和中國內地高水平大學遴選標準，2017年48所大學入選中國內地一流大學、85所大學入選中國內地高水平大學，2018年50所大學入選中國內地一流大學、87所大學入選中國內地高水平大學;根據國內大學教學學科的實踐，對評價大學進行類型劃分，分析了11大類院校的高等教育第三方綜合指數總分值競爭力及大學分類第三方綜合指數得分;按照行政區屬對評價大學進行劃分，分析了東北、華北、華東、中南、西南、西北等6大區域普通高等教育第三方綜合指數競爭力，以及內地31個省（區、市）普通高等教育第三方綜合指數競爭力，以此了解基于區域內高校第三方指數得分的區域普通高等教育競爭力水平。具體結果由南方+客戶端的南方號——“南方教育指數”[10]連續發布（見表4和圖2）。

四、結語

中國內地高校第三方指數的構建和基于該指數的數據挖掘運用，為研究大學第三方評價提供了一種新視角。也為利益相關方能夠更加客觀、綜合、全面解讀各種第三方評價共同作用于同一所大學的結果，減少由單一排行榜評價帶來的偏倚，提供了一個新的方式和方法。中國內地高校第三方指數的研究在信息的利用、數據的清洗、指數模型的設計、數據的挖掘等方面仍有許多研究需要深入。另外，限于篇幅，對第三方指數排名與其它相關大學排名進行的比較與檢驗評估，以及對第三方指數展開縱向時間上的對比等結果未在本文中闡述。在未來的研究中，我們將進一步完善大學第三方指數的評價模型、拓展第三方指數的評價對象和豐富第三方指數的應用。

參考文獻：

[1]中華人民共和國教育部.國家中長期教育改革和發展規劃綱要（2010-2020年）[EB/OL].（2010-07-29）[2019-06-01].http：//old.moe.gov.cn/publicfiles/ business/htmlfiles/moe/info_list/201407/xxgk_171904.html？authkey=gwbux.

[2]高飛.全球大學排名：主要類型與發展趨向[J].高教探索，2015（9）：27-31.

[3]楊天平，任永燦.國內外大學評價指標體系的發展趨勢[J].高教發展與評估，2014（5）：1-11.

[4]陸啟越，余小波，大學社會評價：模式劃分及特點分析[J].湖南師范大學教育科學學報，2014（1）：105-108.

[5]楊立軍，何祥玲.大學生發展指數：概念、架構與關鍵技術[J].高教探索，2018（2）：109-114.

[6]呂元.陜西省民辦高校發展評價與分析研究[J].統計與信息論壇，2015（3）：108-112.

[7]郭春燕，韓丹.基于灰色系統理論和模糊數學的高校軟實力評價[J].統計與決策，2015（15）：90-93.

[8]豐國政.基于ESI數據庫的廣東重點建設高校科研競爭力計量分析[J].高教探索，2016（3）：41-45.

[9]國務院關于印發統籌推進世界一流大學和一流學科建設總體方案的通知[EB/OL].（2015-10-24）[2015-11-05].http：//www.moe.edu.cn/jyb_xxgk/moe_1777/moe_1778/201511/t20151105_217823.html.

[10]南方+客戶端——“南方教育指數”.中國內地大學第三方評價綜合研究報告[EB/OL].（2018-01-21）[2018-01-22].https：//static.nfapp.southcn.com/content/201801/21/c922569.html.

（責任編輯 鐘嘉儀）