我國院校評估指標體系研究*——從影響本科教學質量因素的視角

王 紅 佘元冠

(北京科技大學經管學院，北京100083)

建立健全以評估為主要手段的質量保障體系，是國際上現代大學管理通行做法。院校評估是我國高等教育評估的主要模式，也是國際上最主要的高等教育評估模式。本文從我國高等教育院校評估指標體系演變過程入手，對影響我國本科教學質量的因素進行調查分析，提出我國高等教育院校評估指標體系構建原則，為完善我國高等教育院校評估制度建設提供參考意見。

一、我國院校評估指標體系的變遷

(一)我國院校評估指標體系的典型案例

本文中院校評估的概念是指針對普通高等學校本科教學工作進行的院校整體層面的評估。從1994年開始，我國進行院校教學評估，至今已有20多年的歷史。院校教學評估指標體系的設計集中了一大批專家、學者、教育管理人員的心血和研究成果，大致經歷了三個階段。

1.實驗階段(1994-2002)

1994年開始，我國對1976年以來新建的普通本科高校開展本科教學工作合格評估，到2002年共對190所學校進行了合格評估。1996年至2000年，對進入“211工程”的高校，開展了本科教學工作的優秀評估，共評院校16所。1999年，對以本科教學為主、辦學歷史長的高校開展本科教學工作隨機性水平評估，共評院校26所。

(1)合格評估指標體系

1994年開始實施的合格評估使用的方案是按學校類型設立的指標體系，有10種，即綜合大學、工科院校、民族院校、師范院校、財經院校、政法院校、藝術院校、體育院校、農林院校、醫藥院校等。原國家教委1994年開始陸續制定了《綜合大學本科教學工作合格評價方案》、《高等工業學校本科教學工作合格評價方案》、《高等農林學校本科教學工作合格評價方案》、《高等醫藥學校本科教學工作合格評價方案》、《高等政法學校本科教學工作合格評價方案》、《高等財經學校本科教學工作合格評價方案》、《高等外語學校本科教學工作合格評價方案》，1999年制定了《高等師范院校本科教學工作合格評價方案》。這些方案共性指標多?？筛爬?以高教司研制的綜合、工業、財經、政法、農林等類型院校的評估方案，基本是圍繞教學條件、教學管理、教學建設、教學效果來設計指標體系。師范司研制的師范類合格評估方案圍繞12個一級指標來設計指標體系，12個一級指標分別是辦學指導思想、教師隊伍、經費投入、圖書資料教學設備、教學場所、專業建設、課程建設、實踐教學、學風建設、教學管理、教學改革與研究、教學效果。概括來說，當時合格評估指標分為重要指標和一般指標，評估結論為合格、暫緩通過、不合格。

(2)優秀評估指標體系

1996年至2000年，國家對進入“211工程”的高校，開展了本科教學工作的優秀評估，共評16所學校;一級指標由下列10項指標組成:辦學指導思想、辦學指導思想、師資隊伍、專業建設、實踐教學、育人環境、教學改革、教學管理、教學效果、傳統與特色。二級指標分重要指標和非重要指標，指標標準分等級，有ABCD四檔，結論為優秀與未達到優秀兩種。

(3)隨機性水平評估指標體系

1999年，國家對以本科教學為主、辦學歷史長的高校開展本科教學工作隨機性水平評估，共評了26所學校。方案的一級指標8個:辦學指導思想、師資隊伍、教學條件與利用、教學建設與改革、教學管理、學風、教學效果、特色項目，二級指標分為重要項目與一般項目。指標標準分等級:有ABCD四檔，結論為優秀、良好、合格、不合格。

總結院校教學評估試驗階段指標體系的特點有兩個:一是研究適應不同類型、不同層次院校的指標體系。對新建院校采用合格評估指標體系，對進入“211工程”的院校采用優秀評估指標體系，對處于“中間”層次的高校采用水平評估指標體系;二是研究適應不同評估目的的指標體系。合格評估重在保證學校的基本質量，促使地方政府加大對新建院校的投入，學校加強教學基本規范的建設。優秀評估重在引導這些高校在硬件要求、科研要求、學生培養目標要求等方面適應我國建設國際一流大學的目標。水平評估重在引導學校辦出特色、辦學水平。

2.探索階段(2003-2008)

2002年，教育部組織實施“普通高等學校本科教學工作水平評估”，將原來的合格評估、優秀評估和隨機性評估方案合并為一個，到2008年共評估589所高校。2002年的水平評估方案一級指標7個，另設有特色項目。二級指標分為重要項目與一般項目。指標等級標準有ABCD四檔，結論分為優秀、良好、合格、不合格。這一時期指標體系的特點，試圖用一種評估指標體系取代各種指標體系，建立周期性的評估制度。

3.完善階段(2009-至今)

(1)現行院校評估合格評估指標體系(2009年至今)

2009年開始，教育部評估中心對2000年之后的新建本科院校開展合格評估，截至2013年，共評估了120所高校。現行合格評估方案共7個一級指標，二級指標及觀測點不分權重。觀測點評價標準不分等級，為是否達到基本要求。評估結論分為為通過、暫緩通過、不通過。

(2)現行院校教學審核評估指標體系

2013年，教育部評估中心對參加過首輪水平評估的高校開展審核評估試點，截至2013年底，試點了6所學校。2014年教育部工作要點要求，全面開展普通高校本科教學工作審核評估。審核評估范圍主要包括學校的定位與目標、師資隊伍、教學資源、培養過程、學生發展、質量保障以及學校自選特色等6+1個項目，審核評估不設標準，評估后形成寫實性的《審核評估報告》?！秾徍嗽u估報告》對各審核項目及其要素的審核情況進行描述，并圍繞審核重點對學校本科人才培養總體情況作出判斷和評價，同時明確學校教學工作值得肯定、需要改進和必須整改的方面。

(二)我國院校評估指標體系變化特點

經過對十幾個院校教學評估指標體系的分析、研究，發現我國院校教學評估指標體系有以下特點:一是核心內容大同小異;二是評估結論方法雷同單一;三是定性指標增多，定量指標減少;四是普遍缺少可操作標準。

1.典型院校教學評估指標內容的比較——核心內容大同小異

我們遴選了三個階段有代表意義典型院校教學評估指標體系，選擇了一級指標進行比較(見下表)。＇ 縱觀我國院校教學評估20年來的指標體系，可以看出以下特點:核心內容大同小異。無論采用那種模式的評估，無論是哪個歷史階段的評估，無論評估指標內容的表述如何，其指標體系的設計從內容上大同小異，基本都是圍繞學校發展戰略、教學條件、教師隊伍、學生、教學管理、教學過程等內容來設計，這些內容都是影響教學質量的因素，只是不同歷史時期，不同評估模式下會有不同的側重點。

表1 院校評估一級指標匯總

2.典型院校教學評估結論方法的比較——結論方式雷同單一

對十幾種院校教學評估方案研究發現，除了現行審核評估指標體系結論不分等級，只是形成寫實性審核評估報告以外，其它所有評估結論的方法都是由專家根據評估指標評判確定。評估指標體系中無論是定性指標還是定量指標，專家在考察后做出判斷是否達到標準或等級。在大數據時代，隨著信息技術的發展，有條件做到把專家從數據核查中解脫出來，專心于定性指標的考察評判。

3.典型院校教學評估指標類型的比較——定性指標增加，定量指標減少

我們把三個階段有代表意義的評估指標中觀測點的類型進行梳理、比較。通過比較，我們發現，從歷史趨勢來看，院校教學評估指標中定量指標減少，定性指標增加。比如實驗階段合格評估指標的定量觀測點數量占所有觀測點數量的47%，接近一半的觀測點是量化的，現行合格評估指標中這一比例只有27%。從評估類型來看，合格評估的定量指標數量多于優秀評估和水平評估。又如，試驗階段合格評估指標中定量觀測點的比例是47%，而同時期優秀評估和水平評估指標中這一比例為27%和18%(各指標體系中量化觀測點比較見)。

4.典型院校教學評估指標標準的比較—缺少可操作標準

院校教學評估20年來，指標的導向作用很明顯，學校通過以評促建，建設效果比較顯著，如校園建設、儀器設備等方面均有較大改善。但也有一些指標缺少專業標準，不易操作，還有一些定量指標，標準十幾年未變。比如:90年代綜合工業大學合格評估指標體系中“學生的學年論文、畢業論文和畢業設計的質量”觀測點，評價標準A級為“好”，C級為“尚好”;首輪水平評估指標體系“畢業論文或設計質量”觀測點，評價標準A級為“質量好”，C級為“論文或設計規范，質量合格”;現行合格評估指標體系中“畢業論文(設計)與綜合訓練”觀測點的基本要求是“選題緊密結合生產和社會實際，難度、工作量適當，體現專業綜合訓練要求”，“論文(設計)質量合格”。這樣的評估標準的具體含義，何為質量好，何為適當，高校及專家均不宜把握。還有一些定量指標，比如實驗室、實習基地狀況，其評價標準從首輪水平評估到現行合格評估，基本都是教育部規劃司2004年2號文件的要求，評價標準10年幾乎沒什么變化。

表2量化觀測點比較

綜上，無論從實踐來看，還是從理論研究上，我們認為高等學校的教學質量是由一系列影響教學質量的因素共同作用形成的。為了使院校教學評估更加科學客觀，首先應當搞清楚哪些因素影響本科教學質量，這些因素是否相互關聯，它們對本科教學質量各自的影響程度如何，具體是通過何種途徑影響本科教學質量的，等等。只有將影響本科教學質量的主要因素研究清楚了，在此基礎上根據不同的評估目的，合理選取指標，建立評價標準，采用適當的評估結論方法，就能建立比較科學合理的評估指標體系。

二、影響院校教學質量的重要因素分析

因素分析是在質與量的辨證統一中，在定性分析的基礎上、定量的分析受多種因素影響的復雜現象總變動中，各個因素的影響程度和影響方向，為教學質量評價提供可靠的信息。因素分析法是一種研究方法，考察影響教學質量的諸因素或動力，對教學質量做出最有力的反映，真正認識質量并推動其發展。對各種因素進行探討研究，最重要的是找到影響教學質量的決定性因素。

本研究的一個重要假設是:無論何種層次、類型的高校，在本科教學規律上是有共性的，在影響本科教學質量的主要因素中，可能有一些各類高校不太相同的因素，但是大部分因素是相同的。在對前面各種指標體系分析、研究基礎上，我們采用問卷調查法，對影響所有高校本科教學質量的共同因素進行分析，通過因素分析來掌握教學質量的一般規律，構建院校教學評估指標體系。

(一)問卷設計與樣本描述

1.問卷設計

為找到影響高等教育教學質量的因素，在對院校評估指標體系20年變遷匯總分析的基礎上，確定影響因素的分析框架，之后就分析框架在教育教學專家和高校展開實地訪談，對分析框架予以調整。分析框架確定之后，設計調查問卷。調查問卷的設定也通過文獻研究與訪談的方法逐步確定。文獻研究重點借鑒以往高等教育教學評估中對指標的設置，訪談則重點對因素設置中與現狀不符的項目進行調整。

2.問卷內容

調查問卷內容包括被調查對象背景信息、與高校教學有關的28項指標。第一部分為影響高等教育教學質量因素的測量，按照原有分析框架設置測量項目。各項目都通過Likert5級評分量表測量，針對影響程度的大小展開測量，從1至5表示影響程度遞增。要求被測試者根據實際情況和個人經驗判斷做出選擇。第二部分為對測量項目的補充。雖然問卷經過了文獻研究和訪談確定測量項目，但為避免遺漏重要的影響因素，問卷為開放性的，學者可以補充測量項目，以求測量的科學、準確。

3.數據收集與樣本描述

為了得到可靠、科學、合理的問卷調查結果，本研究選擇了以下人員發放:1)參加過院校教學評估的專家69人，占總人數的68%;2)組織參加院校教學評估的高校領導27人，占總人數的27%。這些人在教學第一線，了解我國高等教育教學情況，掌握第一手資料;3)問卷還向政府中高等教育的管理者、高等教育院校評估的組織者發放，共5人。他們具有廣博的視野，了解國內外高等教育的趨勢和方向。

被調查對象以男性為主，占全部的86.1%;參加過1-5次院校教學評估工作為多數，占52.5%;絕大多數被調查對象的專業職稱為正高級職稱。行政職級方面，副校級比例最大，占全部的46.9%，正校級占25.0%，二者相加，行政職級為校級的被調查對象占全部的71.9%。

調查共發放問卷120份，回收問卷103份，有效問卷101份。

表3 樣本描述統計表

(二)調查結果與統計

被調查對象對各指標的重要性從5-1分按照非常重要到不太重要進行打分。問卷設計整體性系數Cronbach’s Alpha系數為0.85，表明問卷整體性設計非常好。

表4 因素重要性百分比及權重表

根據問卷中被調查對象各因素得分情況，計算出各因素不同重要性的百分比分布、均值，并使用專家評定法計算權重。

重要程度位于5-4.5之間(非常重要)的因素有:辦學定位，人才培養目標，課外師生交流，學習興趣，學生心理咨詢，學科、專業建設水平，專業培養方案，課程設置，課堂教學內容，課堂教學方法，實驗、實習、實踐教學環節，共11項。

重要程度位于4.5-4之間(比較重要)的因素有:教學思想與理念，生師比，教育教學水平，生源質量，學習時間投入，教學與科研的結合，課程資源，教學管理制度，共8項。

重要程度位于4-3.5之間(一般重要)的因素有:高級職稱占教師比例，教師精力投入，參與社會活動，生均教學科研儀器設備，圖書資料，班級規模，學校文體設施，學校后勤保障，第二課堂，共9項。

(三)影響院校教學質量的重要因素分析

1.因素的重要性分析

通過計算和比較各因素均值可以發現，有11項因素非常重要，8項因素的重要程度次之，還有9項因素再次之，按照重要程度排序見下表。

表5 因素重要性排序表

2.問卷調查結論

從以上對調查的28項重要因素的排名和聚類分析，得出以下結論:

(1)最重要的因素有:辦學定位、人才培養目標、專業培養方案、課程設置、課堂教學。

辦學定位:學校應根據經濟建設和社會發展的需要、自身條件和發展的潛力，合理確定學校定位。辦學定位應在學校發展規劃中充分體現，并在人才培養中得到全面落實。

人才培養目標:培養目標包括學校人才培養總目標和專業培養目標兩個層面。學校人才培養總目標應符合學校辦學定位，專業培養目標應符合學校人才培養總目標。專業培養目標應體現于人才培養的全過程。

專業培養方案:在我國目前教育體制的專業框架下，高校人才培養很大程度上仍然是以專業為單位，專業與課程的實施是人才培養過程的主要載體。專業培養方案是對人才培養目標的細化，是由各類課程建立而成的有機整體，制定培養方案的質量決定著課程效能的發揮。

課程與教學:關于課程與教學的關系，在學術界有爭論。但無論對課程與教學的關系持何種觀點，任何人都不會否認教學總是依托于課程而存在的。無論評價本科教學質量還是研究影響本科教學質量的因素，都離不開課程。課程的設計與專業培養方案的制定均是限在某一學科和專業框架下的考量，而全校范圍的課程規劃對創新人才培養的重要作用亦不可忽視，其作用甚至更為深遠。

在現有教育教學條件下，高校通過在課程設計、專業培養方案制定和全校課程規劃這三個層次的積極探索和實踐，能夠開拓和形成有益于創新人才培養的現實途徑。課程設計是針對單門課程的有效的教學內容組織和教學方式安排;專業培養方案是一組圍繞某一特定人才培養目標所形成的課程有機整體;全校課程規劃則以學校整體教育教學理念為依托，通過對全校公共課程結構的優化和大類課程平臺的構建來實現其創新人才的培養目標。

課堂教學是落實課程教學的主要載體，是教師“教”、學生“學”的主要陣地，是學生獲取知識的主要場所。被調查者將課堂教學內容、課堂教學方法排在28項重要性因素的第6、第7位，說明在我國現有條件下，課堂教學質量對教學質量有著重要的影響。要評價教學質量，課堂教學質量是不可忽視的一環。

(2)教學條件、資源性因素重要性低。在問卷的28項因素中，教學儀器設備、圖書資料、生師比、高級職稱教師等，這些涉及教學條件資源類的因素，重要性基本都排在后10名。我們分析認為，隨著我國經濟社會的快速發展，國家對高等教育的重視和投入不斷加大，以及持續20年教學評估的開展，高校的基本辦學條件明顯得到了改善。雖然對2002年到2008年的水平評估，社會上有一些負面的聲音，但不可否認的是，評估提出來的以評促建、評建結合、重在建設的方針是值得肯定的，而且通過評估，學校教學條件的建設和改善效果是最明顯的。

(3)“軟性”因素更重要，“硬性條件”因素退居二線。在上述最重要的幾項因素中，“辦學定位、人才培養目標”屬于教育教學思想，“專業培養方案、課程教學”屬于培養過程，說明被調查者更看重影響教學質量的“軟實力”;再從這次實證調查涉及教師的5項因素來看，按重要性依次為:課外師生交流、教育教學水平、生師比、教師精力投入、高級職稱占教師比例，這說明被調查者也更加看重教師的“軟實力”和“軟投入”，這從高級職稱占教師的比例這項硬性條件因素在28項因素中，重要性排在23位也可看出。

三、我國院校評估指標體系構建原則

(一)以多元而統一的質量觀為指導思想

研究影響院校教學質量的主要因素，首先要對什么是高等教育大眾化時期的“院校教學質量”有科學的認識。文獻表明，高等教育質量觀因不同的時代、不同學派的哲學、不同類型的高校、不同的利益相關者而不同。大體說來，有如下幾種質量觀:一是符合性質量觀，“合格即質量”;二是適用性質量觀，“符合需要即質量”;三是發展性質量觀。高等教育大眾化必然帶來多樣化的質量觀，但院校教學質量的多樣化與統一性是辨證的關系。統一性和多樣性是事物存在的基本關系，統一性反映事物共同特質;多樣性反映事物的個性特質。因此，統一性和多樣性是院校教學質量內在的兩個方面，缺一不可。既不存在沒有統一性只有多樣性的本科教學質量，也不存只有統一性沒有多樣性的院校教學質量。我們認為，符合性質量觀、適用性質量觀、發展性質量觀不僅是高等教育質量觀發展史上的三個階段，而且這三種質量觀對于院校教學評估模式的建立，不同類型的高校采用何種評估模式具有一定的意義。比如在符合性質量觀下的合格評估模式，比較適用于新建院校的評估。

(二)以影響教學質量的因素為主要內容

正如前述，院校教學評估的指標體系應該建立在對影響本科院校教學質量主要因素的研究基礎之上，指標的內容應該抓住影響院校教學質量的重要因素。2002-2008年的水平評估指標體系對此不能說毫無考慮，但也應該承認，以前對影響本科教學質量的因素確實研究很不夠，這是導致水平評估有效性欠缺的重要原因之一。影響本科教學質量的因素有很多，國內外文獻中提到的諸如:教學理念、辦學定位、教學與科研的結合、教師發展和教師隊伍建設、招生方式和生源質量、學風、課程建設、人才培養模式、學科建設、教學方法改革、教學管理、教學設施和條件、國際化，等等。這些因素或虛或實，影響作用或大或小，有的是直接影響，有的是間接影響，各種因素往往又交織在一起。

(三)以指標的有效性為基本要求

影響教學質量的因素有很多，在不同模式下根據評估目的選擇不同的影響因素作為指標。院校教學評估指標不要求面面俱到，這既不現實，也不可能，更無意義。在指標的選取上要本著有效、有用的原則，求精不求全，只要指標能夠有效達到評估目標，能夠發揮評估的導向作用即可，同時還要考慮數據的有效性和可信度。

(四)以成果檢驗——學生學習效果為出發點和落腳點

院校教學評估指標的選取要按照以學生發展為本的理念，建立以提高學生自主發展能力為目標的價值取向，以關注學生學習效果和學生發展為主線，構建院校教學評估指標體系。目前，國際高等教育質量保證呈現出一種趨勢，即非常注重基于學生調查的評估模式?；趯W生調查的評估模式是指以在校高年級學生或畢業不久的學生為調查對象，以學生學習投入及對大學學習、生活等于高等教育質量相關的多維度認知、評價為內容的調查。通過調查數據來制定有利于質量提高的政策或采取相關的措施。例如英國在2011年實施的新的質量保證方式中非常重視英國學生調查(NSS)，這個調查是首個在英國政府主導下推行的學生學習調查，NSS構成了目前英國高等教育質量保證框架的一部分。應該說學生調查直接或間接的觸及了院校教學質量的本質，為質量改進提供了工具。