摘要:指標體系(評價指標及權重)是決定大學排名的關鍵因素。本文選取《中國大學評價》、《網大中國大學排行榜》、《校友會中國大學排行榜》、《中國高校競爭力排行榜》四個國內大學排名體系進行比較研究?!吨袊髮W評價》本質上是“中國大學研究成果和畢業生的總量排名”,其余三個排行榜是綜合實力排名,《中國高校競爭力排行榜》指標最為全面。國內排名指標體系中存在指標選取片面的問題。以極端優秀個體代表群體、以部分學科代替全部學科的以偏概全思維貫穿每個體系。只有對各個領域的關鍵指標形成共識后,才會出現被廣泛接受的中國大學排名。
關鍵詞:大學排名;指標體系;修正;綜合排名
一、引言
關注持續發布的大學綜合排名是人們了解大學的一個重要途徑。由于大學綜合排名涉及多個方面,人們對綜合性大學排名眾說紛紜、莫衷一是。大學排名結果能否被學校、教育管理機構、家長、學生等廣泛接受。關鍵在于指標體系是否合理,統計數據是否真實、完整,具體操作是否嚴謹、公正,以及相關信息的公開程度等,其中最為關鍵的是排名指標體系的設置。對具體的排名進行討論,對具體指標權重進行質疑,或者從宏觀上進行粗略的比較、泛泛而談。難以得出實質性結論。本文通過對國內綜合性大學排名的指標體系比較研究,為大學排行機構、教育行政部門及研究者提供參考。

用一個指標體系評價所有大學是困難的,盡管“大學排行必先分類”已經成為共識,但怎么進行大學分類仍未得到解決,常用的以行政為主的分類方法也沒有被廣泛認可。常見一個榜上排出所有學校,后面名次則出現幾乎所有項目得分全是零的情況。本文選取中國大陸持續發布的四個大學排名作為比較研究對象。分別是:中國管理科學研究院科學學研究所武書連等發布的《中國大學評價》,網大(中國)有限公司推出的《中國大學排行榜》(下文用《網大排行榜》),中國校友會網發布的《中國大學排行榜》(下文用《校友會排行榜》),武漢大學中國科技評價中心推出的《中國高校競爭力排行榜》(下文用《競爭力排行榜》)。此外,上海交通大學高等教育研究所發布《世界大學學術排名》也是持續發布的排行榜,但其主要對象是世界大學(盡管也包括少量的國內大學)。排行內容主要是學術方面,本文不作為比較研究對象。本研究選取各排行榜2005年度的指標體系進行比較研究。
二、數據處理及修正
4個排名體系設立的指標級數和指標數量不同,《網大排行榜》設置兩級指標,《中國大學評價》、《校友會排行榜》、《競爭力排行榜》設置三級排行指標。每個體系所包含的指標級數不同,每一級指標的名稱、含義和范圍也不完全相同,很難直接進行比較,因而必須對原來的指標體系進行修正。
(一)體系修正
修正目標是:排名的指標級數相同,相同或者相似的指標屬于同一個類別。具體操作是:保持最后一級指標名稱及其在總體系中的權重不變,根據最后一級指標的范疇確定所屬上級指標名稱和比重,相同、相近的末級指標包含于相同的上一級指標之中。

修正后指標體系設置為三級,為了區分于原體系,名稱依次為:指標類別、初級指標和末級指標。末級指標是最基本的組成元素;初級指標反映的是指標的分布范圍;指標類別反映的是指標的領域。末級指標的名稱和權重跟原體系最后一級指標相同。通過統計的方法進行選取初級指標和指標類別,共分為十個初級指標,四個指標類別。具體的指標類別和初級指標的名稱及關系如表1所示。
十個初級指標含義依次為:
學校聲譽:學校的影響力,通過對相應人員的調查產生,包括學術聲譽和社會聲譽等。
自然資源:用來辦學的硬件資源,財政資源、場地、圖書資料、經費等。
學術資源:學術方面的資源,碩士、博士點、重點學科、重點實驗室、各種基地等。
師資隊伍:教師方面的情況,教授、副教授、博士生導師、長江學者、院士、師生比等。
學生來源:學生入學時情況。入學時學生的質量和來源的廣泛性。
學生培養:學生在校時培養和各種獎項。
畢業生:合格的畢業生數量和畢業生質量。
科研資源:支撐科研的各種基地、設備、資金、項目方面的資源。
科研成果:科研產出數量,各種論文、專利、專著等。
科研質量:科研產出質量,高檔次的論文、論文引用等。
(二)指標設置情況
修正后各個排名指標設置數量情況見表2。
三、比較分析
(一)指標類別比較
每個排名的指標類別和權重如表3所示。
由表3可以看出,《中國大學評價》包含人才培養和科學研究兩個類別,其余三個排名都包含四個指標類別?!吨袊髮W評價》包含的兩個指標類別幾乎各占一半,稍微偏向人才培養;其他排名包含四個指標類別,有一個權重超過45%,接近總量一半,一個在25%左右,其余兩個10~18%之間。學校聲譽權重在10~15%之間,有一定影響力?!毒W大排行榜》嚴重偏向辦學資源,《校友會排行榜》、《競爭力排行榜》嚴重偏向科學研究。
(二)初級指標比較
初級指標比較得到各個排名的指標分布范圍,每個排名的初級指標和權重如表4所示。
從表4可以看出,《中國大學評價》只包括三個初級指標,覆蓋面小,《網大排行榜》、《校友會排行榜》、《競爭力排行榜》分別包括八個、七個和十個指標,指標分布廣。小范圍內指標的得分和比較,不能完全代表各個大學的綜合實力。因此,《中國大學評價》不是大學綜合實力排名,《網大排行榜》、《校友會排行榜》、《競爭力排行榜》是大學綜合實力排名,其中又以《競爭力排行榜》最為全面。
從權重角度比較,《中國大學評價》的三個初級指標權重各不相同,畢業生一項就占了57%。其他三個排名的初級指標權重基本上在4.5%~20%,有一項指標超出這個范圍,分別是《網大排行榜》中科研成果(22%),《校友會排行榜》中科研資源(34.78%),《競爭力排行榜》中科研質量(23.02%)。
(三)末級指標比較
不同體系的末級指標有其不同的偏向,直接比較末級指標是困難的。本研究從未級指標反映初級指標的程度方面進行比較,也就是末級指標是否恰如其分的表達了初級指標的內涵。根據排名體系中末級指標對初級指標內涵的體現情況分為三類:較好體現、基本體現、基本沒有體現。
初級指標內涵得到末級指標較好的體現的有自然資源、學生來源、科研資源和科研成果。圖書總量、生均圖書、校舍面積、生均校舍面積等指標體現了辦學擁有的自然資源情況,高考成績或者新生分數等指標也體現了學生一來源的質量,科研經費總量、人均科研經費、各種科研基金體現了科研資源的主要方面,SCI、SSCI、EI、CSSCI、專利、專著等指標較好的體現了科研成果。
末級指標基本體現了初級指標的是科研質量和學術聲譽,偏重各不相同??蒲匈|量方面體現最為突出:《中國大學評價》以論文引用為壓倒性的衡量指標,再輔以國家級、省部級獎勵;而《校友會排行榜》、《競爭力排行榜》都以國家級科技獎勵作為首要指標,論文引用情況則沒有該指標或者即使有也是權重很小。學校聲譽都是用調查的方法獲得分值,但調查對象和過程不相同。
末級指標基本沒有體現初級指標內涵的有師資隊伍、學生培養、畢業生、科研質量,都是采用極端優秀的末級指標來表示其相應的初級指標。體系中大量采用極端優秀的末級指標來表示初級指標:國家重點學科、博士點、各種國家級基地等末級指標表示學術資源,兩院院士數量、長江學者、教學名師等表示師資隊伍,國家級部級優秀教學成果獎和精品課程表示學生培養的情況,全國優秀博士論文、博士生畢業數量表示畢業生情況,國家級科技獎勵表示科研質量的情況等等。

末級指標極端化體現在兩個方面:一個是取樣上以頂尖樣本代表整體的以偏概全,樣本不足以代表整體:一個是學科分布上的不廣泛。以師資隊伍為例,截至2006年8月。高校教師隊伍當中有中國科學院院士296人、中國工程院院士257人,累計長江學者特聘教授707名、講座教授211名,國家級教學名師200名,以上數據總計1671名,占普通高等院校專任教師(總人數96,58萬)的千分之一點七,如此少的極端樣本不可能代表高校的整個師資。另一方面,由于學科間的差異,頂尖數據并沒有完全包括各個學科的頂尖人物:科學院院士、工程院院士屬于自然科學領域,社會科學領域沒有成熟的院士制度,也就是社會科學領域的院士級別的師資沒有得到體現:長江學者也是先在自然科學領域選拔,然后擴大到人文社會科學領域,并不具有等同性。
四、結論
1、以指標體系設置而言,《中國大學評價》本質上是“中國大學科研成果和畢業生總量排名”;《網大排行榜》、《校友會排行榜》《競爭力排行榜》是大學綜合實力排名,但前二者分別缺少科研質量、科研成果這樣非常重要的初級指標:而最后一個則存在部分末級指標權重過小(<0.5%)的問題。

2、排名指標體系中大量存在以極端樣本表示整體、以部分學科代替全部學科的問題。以偏概全是排名不被廣泛認可的重要原因。用國家重點學科代表學術資源、用兩院院士、長江學者數量代表師資隊伍,用全國優秀博士論文代表畢業生質量,用國家級科技獎勵代表科研質量等在國內大學排名體系中顯而易見。學科之間權重分配問題沒有解決,學科之間權重不合理造成《中國大學評價》中理科和工科類的高校排名明顯優于文科類學校,尤其是純文科。
3、持續發布的大學排名各有缺陷,當前中國大學評價的基礎條件并不成熟。只有對構成大學各個領域如辦學資源、科學研究、人才培養等關鍵指標進一步討論研究并達成共識后,被廣泛接受的綜合性大學排名才會出現。