我國第一輪本科教育評估反饋的有效性分析

張慧潔　薛　震

摘 要：目前關于本科教學評估反饋意見對學校的教學工作水平提高的實際作用如何很少有學者作專門的研究，而評估反饋直接關系到學校進一步發展的問題，評估的關鍵在于整改，在于建立質量保障的長效機制。本文是以上海市教育評估院開展的《教育評估反饋有效性研究》課題為基礎，通過對15所不同層次高校問卷調查的實證分析，對本科教學評估反饋有效性進行了較為全面的研究，最后總結了本科教學評估反饋有效性的特征并給出了應對教學評估反饋無效性的對策建議。

關鍵詞：教學評估；反饋；有效性分析

一、從本科教學評估調查問卷看評估及反饋中存在的問題

我國第一輪高等學校本科教學評估結束了，筆者認真地閱讀了2007年以前參評的234所高校本科教學工作水平評估整改方案并進行了認真地分析，在此基礎上選取了“985工程”院校、“211”院校、普通本科院校15所對教育評估反饋的有效性進行了認真地調查。本次調查共發放問卷600份，回收問卷582份，回收率為97%。問卷發放遵循了以下幾個要求：⑴為了確保問卷發放和收回的效率，發放問卷的學校是與課題有密切關系的院校，如上海工程技術大學、華東政法大學、東華大學、上海師范大學、上海理工大學、華東理工大學、上海財經大學、廈門大學、浙江大學、中華女子學院等。⑵選擇本科教學評估結束在一年以上，五年以下的學校。⑶問卷發放對象為親歷過教學評估的教師、教學管理人員和學校領導，這是因為一方面教師是教學質量改進的促進者和見證者，他們對自身情況、學生情況、教學條件、教學管理等方面的變化都比其他群體更熟悉；另一方面，大多數教師都直接或者間接地參與了評估工作，對教學評估工作比較熟悉，相關調查發現認為非常了解本科教學評估相關內容的教師比例達到82.2%。⑷問卷內容設計采用李克特五點尺度(Likert scale)，分別為非常同意、同意、不確定、不同意和非常不同意等五個等級，依序給予4，3，2，1，0之評分。

（一）反饋意見對教學相關方面的有效性調查情況

這里的教學相關條件指教學投入、教學改革、教學管理等。教學相關條件是教學活動得以正常進行的物質基礎和體制保障，對教學水平的穩定和提高起著非常重要的作用。[1]對教學相關條件的教育評估反饋有效性調查主要是從以上三個方面（見表1）考察教學評估結束后，學校是否能夠在評估反饋意見的基礎上在這些方面有所改進。在教學改革方面，從調查結果可以看出，“學校的教學改革力度較大”得到了54.8%教師的肯定，均值達到2.30，但是教學改革效果卻不是很理想，均值僅為1.82，肯定教學改革效果較好的僅占36%，而持否定態度的卻占到了47.1%。教學管理方面，從調查結果可以看出反饋意見對教學質量控制和教學管理績效兩個方面的影響比較大，兩方面均值分別達到了2.51和2.43。然而在教學管理隊伍優化和教學態度改善這兩方面持否定態度的分別占32.7%和51.3%，而持肯定態度的僅占26.5%和28.3%，兩者的均值分別為1.84和1.66，這說明反饋意見對教學管理隊伍和教學管理態度的改善作用不明顯。教學投入比較大，對其變化持否定態度比例僅為9.0%和14.2%，兩者的均值分別達到了2.95和2.77，這說明教學評估反饋意見對教學投入的影響顯著。

（二）對教師相關教育評估反饋有效性調查情況

教師是主要教學活動的組織者和實施者，其個人素質、教學態度、師德修養、教學方法等方面都影響著教學效果，這些方面的進步也是教學水平提高的關鍵所在。[2]設置以上四個問題（見表2）的目的就是為了考察教學評估反饋后，教師在結構、素質等方面是否有所優化。從調查結果看，反饋意見對教師規范教學計劃和學校師資隊伍建設的促進作用比較明顯，兩者的均值分別為2.70和2.45，尤其是對教師規范教學計劃影響明顯持肯定態度的占75.3%；然而反饋意見對教師改進教學方法和師德修養的提高的影響卻不明顯，對教師改進教學方法影響明顯和師德修養提高影響明顯持否定態度的人分別為55.5%和64.0%。由此也可以看出，教師的教學方法、師德修養等“軟實力”的提高并不是通過一次評估就能解決的問題，而必須建立一種長效的監督機制，促使教師的持續成長。

（三）對學生相關的教育評估反饋有效性調查情況

學生在教學活動中居于主體地位,是整個教學活動的中心,也是教學質量的最終載體，他們的發展是教學質量及對其評估的核心所在。以上四個問題（見表3）從學風、綜合素質、就業率等方面考察了本科教育評估結束后學生的變化情況。調查結果清楚地表明，從我們設置的四個問題的回答情況來看，大部分被調查者認為學生在這幾個方面幾乎沒有進步，四個問題的均值都沒有超過2，尤其是在學生綜合素質、就業率和就業質量兩個方面，61.9%和66.3%的調查對象對兩者明顯提高持否定態度，兩者的均值僅為1.38和1.26。通過對部分調查對象的訪談我們得知，絕大部分教師認為在評估過程中學校會通過層層動員，確保學生的上課出席率，確保學習風氣在評估期間的良好。事實上學生素質的提高、學習風氣的良好以及這兩者的最終表現形式—就業率的提高都不是通過突擊動員所能達到的。

（四）對學校發展影響相關的教育評估反饋有效性調查情況

本科教學工作水平評估的目的、特征和意義都鮮明地指出“名義是教學評估，實質是對學校辦學水平和能力的綜合評估”，它帶有促進學校整體發展的功能。設置以上四個問題（見表4）主要從學校的辦學自主權、辦學指導思想等方面考察教學評估反饋意見對學校發展的影響。調查結果表明：首先，51.3%的人對評估反饋意見從總體上有利于促進學校發展持肯定態度，均值為2.32，這說明教學評估在總體上是有效和必要的；其次，評估反饋意見對學校辦學指導思想的提高促進作用比較明顯，僅有15.5%的人持否定態度，均值為2.53；第三，關于反饋建議與自主辦學明顯矛盾和反饋建議會導致辦學模式雷同這兩個選項，43.8%和40.5%的人持否定態度，均值分別為1.76和1.89，這說明評估反饋意見并沒有和學校自主辦學權之間產生明顯的沖突，也不會導致辦學模式的雷同，這點和社會上很多人的認識有所不同。[3]

二、成績、問題與分析

（一）成績

通過以上調查問卷的統計結果和分析不難得出以下結論：

1. 理清了學校發展的思路，抓住了不同類型學校特色問題

經過調查，特別是閱讀不同院校評估整改材料，筆者認為，本科教學評估在幫助各類院校理順學校發展思路上的作用比較明顯，在幫助各類院校找準辦學特色上的作用也比較大，在確立發展目標上的作用明顯。

通過這次評估，不同層次的院校都能夠抓住其發展的重點，雖然說評估的標準趨同，但是每一所學校各自的發展重點還是凸現出來，由于發展側重點不同，很難在同一把尺子上分出等級，但是涉及到質量的共性問題還是一致的。比如，不管發展目標怎樣，都有師資隊伍建設問題。“985工程”院校和特色院校還是區分出了各自發展的不同點。如人才培養模式上，“985工程”院校普遍制定了通識教育或者是大類人才培養方案，在人才培養模式上進行了探索，這是提高質量的根本，也是在評估指標設計中所沒有涉及到的。教學評估反饋提出了針對性的建議，對特色學校有針對性地提出了本校要迫切解決的問題。

2. 在軟指標中，學校傳統、辦學資質等隱性因素受到了檢驗

本科教育評估使學校辦學年限、辦學資質、辦學傳統等隱性因素受到了檢驗，幾乎每所大學都十分重視這些軟指標對學校的影響，各校自評報告中都有一部分是對軟因素為學校發展帶來的影響所做出的總結。這些軟因素為學校的進一步發展奠定了基礎，同時它也是學校發展不可忽視的因素。這次評估雖然考察硬件建設較多，但是對軟實力的檢驗也是空前的，看似是對本科教學質量的評估，其實是對整個學校辦學水平的檢驗。對于各學校圍繞評估目標進一步形成的大學制度建設，適應這一目標的辦學體制、運行機制作了檢驗。許多學校制定了內部質量保障制度，在平時督導檢查學生的作業、教師上課的規范等方面都有了一定程度的提高；總體上促進了學校水平的提高，促進了學校的校舍、運動場所、語音室、計算機、投影儀等先進設備的改善；在某種程度上，也促進了學校整體辦學方向、辦學特色的提升。

3. 在硬指標中，學校的各項實力得到加強

通過第一輪評估，學校的基礎設施建設得到了完善。各級政府投入學校樓堂館所建設的力度較大，使學校的整體面貌有了較大的改觀。通過評估，學校的師生比、教師中高學歷人數、學科帶頭人、教師的外語水平等方面得到了改善。從100多份整改報告中，我們看到硬件建設集中的問題是師資隊伍建設問題，幾乎每一所學校都把師資隊伍建設問題作為今后整改的重點。[4]其次是學科建設問題，而學科建設問題的實質還是師資隊伍建設問題。校區融合問題是合并院校所面臨的共性問題，特色院校向綜合化發展也具有代表性，但是經過評估調整，堅持特色化對于行業院校進一步明確發展方向已經起了很大的作用。

4. 評估促進了本科教學質量的提高

課題組除了閱讀各院校的整改報告之外，還選取了上海體育學院、上海理工大學、同濟大學、上海財經大學、天津大學、浙江大學等院校進行實地訪談。一些院校認為，教學評估在提升高等學校對本科教學的重視，特別是研究型大學重視本科教學方面效果明顯。如許多教師認真研究課程，改變了教案幾年也不變的現象。通過大面積檢查考卷，促進了教師教學水平的提升，改善了學校的辦學條件。

絕大多數院校原來的教學管理制度已經老化，畢業論文、教學事故、教材標準、研究生代課等還時常遇到問題。評估整改后，制度逐漸朝著規范化的方向發展。許多院校認為，質量保證體系在評估前沒有可操作性，評估后對發現的問題進行小整改，經過大約兩年時間的完善，能夠解決基本問題。因此，評估整改的再評估是非常必要的。

5. 加強了師資隊伍質量建設

經過這一輪評估，各個學校都從兩個方面提出了師資隊伍建設方面的問題。一是加大引進人才的力度；一是加大培訓人才的力度。現實中許多重點院校從編制上來說并不缺教師，但是絕大多數教師都在搞科研。還有人指出，加強師資隊伍建設，深化人事制度改革，要著力培養青年教師。所以，師資隊伍建設包含著很廣的內容，它確實是目前制約高校教學質量的因素。不論是加大世界一流科學家、人文社會科學大師的引進力度，還是增加重點學科，或是為了向著學科齊全、綜合化的方向看齊，或是為了加強學科融合，或是為了理工、文科盡快實現交叉，特色院校強調為行業服務，總之，學校的層次不同，師資隊伍建設的要求也不同。

絕大多數院校缺少師資的原因，許多專家認為，這輪評估的師生比指標是參照國外的，國外提倡小班上課，則師生比高。而我國大班上課，加上擴招的因素，師資隊伍建設緩慢。因此，大多數院校普遍缺乏師資。另外，評估的無效性，反饋意見失靈，也是一個原因。從自評報告上看，有的學校并不缺教師，只是因為專家根據其他院校的普遍意見而照搬，出現了評估結論失真的現象。實際上，少量的資源可以用在改善其他更需要的辦學條件上。如此強調學校缺少師資，反而會降低學校對教學質量其他制約因素更多的思考，沒有在學校體現出整改的特色，拉大了其與強校的距離。從某種角度上說，學校缺乏師資的評估結論，是評估無效性問題造成的。

6. 加強學科建設

學科建設的關鍵是經費投入、人才引進與出高水平的成果。它反映了我國絕大部分院校的現狀。“985工程”院校加強學科建設在于增加重點學科的數量，注重大師的引進，同時也重視SCI論文的數量；“211工程”院校學科建設重在增加博士點，增加研究型大學的含金量；新建院校的學科建設是為了向著學科齊全、綜合化的方向看齊；合并后的院校加強學科建設，是為了與理工、文科盡快實現交叉；特色院校加強學科建設是為行業服務，突出學科特色，調整和優化學科結構，堅持突出重點，兼顧全面，強化優勢，辦出特色。總之，學科建設的層次不同，要求也不同，但是有一點是相同的，這就是投入。這也是此輪評估暴露的最多的問題。[5]

7. 加強學生的考風、考紀和課堂紀律建設

學生考風、考紀與學校紀律有關，大學的特別權力對學生考風、考紀與紀律的約束在平時的作用比較明顯，遠遠超過了一次評估所起的作用。因此，與各個學校制定的規章制度相比，評估不是起絕對作用，但卻督促了學風。所以，在許多學校的整改意見中，并沒有過多涉及考風考紀問題。通過評估，許多學校的學生自覺遵守紀律，無曠課，無考試作弊，遲到率少于百分之一；校園課外科技文化活動豐富活躍，多數學生積極參與，效果好。學風建設措施得力，積極開展優秀學風班級評選活動。學生實習成績評定標準完善、合理；實習工作總結制度健全。畢業論文組織領導職責清楚、論文工作計劃周密、工作要求明確，論文選題有實際意義或理論意義；指導教師配備符合標準，紀律清楚、有針對性，指導次數得當，論文評定標準合理。

（二）問題

1. 評估制度不完善帶來的問題

盡管目前本科教學評估還存在較多的問題，比如過長時間的評估準備，耗費了學校大量的人、財、物，給學校領導、教師和學生增加了巨大壓力，他們把許多精力用在應對評估而不是集中在教學本身的管理質量；打亂了學校正常的教學秩序，助長了弄虛作假等惡劣風氣。[6]評估時間短，一次性難以檢查出存在的問題，評估結論雷同的比較多，這一方面反映了教學質量的共性問題，另一方面也說明評估指標本身存在著問題。目前媒體和許多專家都對本科教學評估持批評態度。下一輪評估時間應相對長一些，專家住進學校，幫助查找問題，變總結性評估為過程性評估。

2. 在“硬性指標”方面，教學評估反饋意見的作用明顯

這里“硬性指標”是指能夠通過行政手段和臨時動員迅速提高的項目，它們屬于高等院校教學的外在條件。比如教學設施、教學經費、教師規范、教學計劃、師資隊伍建設等。這些項目通過學校的教學投入和行政命令在短期就能得到明顯的提高，同時這些指標往往也是評估專家容易考察的項目。[7]我們認為“硬性指標”并非教學水平表現的關鍵性指標，它們只能反映學校的辦學條件如何，而并不能在更深層次上反映學校的教學質量。

下一輪評估將在課程設計、教學過程的設計、學生評估的設計、時間質量、投放于教育質量工作的資源等方面著手。或者在人才培養模式方面經常變換指標以增加評估的覆蓋面。另外，指標要和諧，就是整體指標與部分指標之間不能沖突，否則，會顧此失彼。指標還要具有相對獨立性，每一項指標不會產生相互覆蓋，你中有我、我中有你的現象。指標能夠量化，有些隱性指標要盡量找到可測量的方面。如學校的聲譽，這項指標是測量大學辦學在社會上聲望的指標，可以找出有典型性的項目取代，比如入學率和就業率。評估指標設計的原則是使大學評價生態化，建立生態大學的評價指標體系。

3. 在“軟性指標”方面，教學評估反饋意見的作用不如硬指標

“軟性指標”是本科教學水平的內在質量的體現，這些內在質量是行政手段或臨時動員所難以從根本上提高的。它們主要包括教學管理態度、學生綜合素質、學習風氣、師德修養、學生就業率、教師教學方法等。調查結果表明，大多數人認為教學評估反饋意見對這些方面沒有促進作用。而以上這些指標卻恰恰是反映教學質量的關鍵性指標，從根本上反映了本科教學質量。而這些關鍵性指標往往是難以測量的。“軟性指標”的難以測量也正是導致教學評估優秀率居高不下的原因之一，這事實上與我國教育的實際不符。比如在軟指標中，沒有反映制度、機制等方面的問題，而恰恰是制度、機制影響了大學教學質量的提升。軟指標應該是“暗物質”，它的存在應該起到決定名次的重要作用。比如，一個學校的資質、是否在某一領域曾經起到旗艦作用、今后發展的預測與分析等等。

三、改進評估的建議

（一）每一所學校根據自身的發展制定目標，評價圍繞著目標達成度來進行

日本實施大學法人化后，2008年正式實施國立大學法人評鑒[8]，其目的是以大學院校的研究生和本科生為單位，六年一次對各大學公布的中期目標達成多少的程度進行評鑒。我國下一輪評估應該根據每所學校的自身狀況，設定指標來對此進行評鑒。這樣對不同實力、不同特色、不同學科基礎的院校進行質量檢測；根據他們的辦學目標、辦學特色、辦學思路，進行評估指標設計，建立每一所學校的教學質量保障體系，特別是涉及到本科教學體系的質量保證框架，綜合提煉帶有共性的質量標準；研究國際上發展水平類似的學校質量標準制作的過程，進行國際性評鑒，制定評鑒院校的標準，定期進行評鑒；制定院校教師研究計劃、續任、長聘與升遷等審查；成立國際評估咨詢委員會，邀請國際大師、學者對本校進行評鑒，提出建議及發展策略，在不同層級的院校列出國際標準的制作過程，作為各校努力的方向；在學校升遷時，均以國際標準測量學校發展計劃的實施情況及存在的差距。

（二）把人才培養體系和學生支持體系作為重點進行評價

把人才培養體系作為重點進行評價，揭示各種不同類型院校本科生教育的本質、特點與規律，以及與之相適應的人才培養質量保障體系。建立符合人才培養內涵、特點和本質要求的評價理念與方法；構建人才培養評價指標體系。注重高校內部在招生、教師、課程、實踐教學等方面的制度建設。在教學內容和教學方法上，設計指標應側重：教學課程是否依照教學目的成體系編寫，其內容、水平以及學位名稱是否恰當；開設的課程是否有其相應的教學形式以及學習指導方法；成績評價、學分認定以及畢業認定是否恰當有效；對照教育目的所希望培養的人才標準，教學的效果是否提高；在學生學習過程中是否有合適的指導，向學生提建議并且幫助解決問題的學習支持體系是否有效運行；支持學生自主學習的環境是否具備。[9]此外，對學生課外活動的支持體系是否可行，關于學生生活、就業以及經濟援助等方面的支持體系是否有效地運行。

（三）對本科構成框架中的軟環境進行評價

要將評估指標制定的重點放在本科教學質量構成的框架上，包括本科教學質量的領導機構、管理機構、執行細要的工作機構及各自的職責，同時明確本科教學質量的監督系統。評價內容還包括：本科教學目標是否明確，本科教學內容是否明確，并且該內容是否與《學校教育法》的規定、大學所追求的一般目標相吻合，本科教學的基本組織是否依照大學目的進行設置；開展各類教學活動時，必要的運轉體制是否恰當的設置并發揮作用；對教師、教學管理人員以及教學輔助人員的培訓的體制是否設置進行評價；為了實現大學目的，對于將來的教學活動是否有合適并且穩定的財政來源；作為實現大學目的并開展各項活動的財務基礎，是否有恰當的收支計劃并且嚴格執行；關于大學的財務的監督是否有效實施進行評價。[10]

（四）注重院校、系、教師、學生個體的評估

目前評估由于是政府自上及下的行政性行為，教學改革難以形成學校整體性的組織行為。評估后提高教學質量的任務，靠學校行政部門是難以推動的，必須依賴于調動基層教學組織和教師教學改革的積極性。現在的教學評價傾向于對高校教學工作的整體性評價，而不是就某一學科專業教學狀態或教學質量進行評價。學校必須擺脫這種粗放型狀態，而向專業化、深入化發展。可行的做法是從對各個高校的評估，轉變為對各個高校的各院系的評估，制定出院系評估指標體系，組織相關領域的同行進行評估。以院系為重點進行評估，首先要制定評估指標體系，與學校整體評估相比，院系評估指標體系針對性強、個性強；把質量落實到院系自己身上，有利于調動各院系的積極性，使評估成為一種全校共同價值的創造過程，實質上是對大學自治管理的回歸。目前，許多高校都在第一輪評估后制定了院系評估指標，力爭在兩年內完成對院系的評估。每所學院的評估者同時也是該領域的同行或專家，他們既是評估者，又是被評估者，這樣的身份更有利于他們成為教學質量保障的專家。

（五）注重評估整改

我國實行的是五年一輪的教學評估制度，在每次評估結束后不論評估結果如何都要求學校根據評估反饋意見進行為期一年的整改。整改工作是高校落實教育部專家組反饋意見，鞏固和深化評估成果的重要措施。[11]然而，部分高校存在著重視專家組進校考察評估而忽視評估后的反饋意見或者僅對反饋意見的“硬性指標”進行改善的情況。在目前制度下，學校在整改結束后只需向教育部呈報整改情況報告，并不需要再接受任何檢查，這就更導致了對學校評估反饋意見的不重視。因此，要提高評估反饋意見的有效性，關鍵是建立長效監管機制，隨時抽查或考察學校根據評估反饋意見的整改情況。長效監管機制的建立要充分利用現代信息技術，建立日常調查與現場突擊考察的監管制度。

（六）對每一所學校的制度創新進行評價

高等教育質量的提高并不只是對質量的結果進行評價，更主要的是對質量生成機制的制度創新進行評價，從注重評價的結果轉向注重評價過程。摒棄那種舍本逐末的表面化、形式化、程式化和工具化的困擾及過分強調結果的評價方法，探究一種反映學校內在素質提升和創造性文化模式生成過程的評價方法。注重教學要素質量的評價，注重各種因素對教學創新影響程度的分析，注重大學學術力量成長的內在要素及相關規律的分析，注重教學內涵、特點和本質要求的評價。對獨特的學術創造進行評價，對教學成果永恒性、學術研究創造性、學術資源豐富性、獨特性、學術氛圍的寬容性進行評價。

（七）改革評估方式，降低評估成本

評估方式的選擇直接影響到評估結果的準確性和反饋意見的有效性。我國目前采取的是五年一次對所有高校都進行評估的方式，一般會提前一年通知學校。這種方式有以下明顯的缺陷：首先，這種提前一年通知學校、興師動眾的評估方式，大大增加了評估成本，尤其是評估中的隱性成本，造成了大量的人、財、物的浪費，加重了國家和學校的負擔，長此以往，本科教學評估必然難以持續[12]；其次，提前一年通知學校，實際上是給學校充分的準備時間，評估結果并不能反映學校教學水平的正常發展狀況，反而給學校弄虛作假提供了充分的時間；再次，由于在5年內要對全國600多所高校進行評估，工作量巨大，這就難以保證所有評估的質量，從而也難以保證評估結果的準確性。評估形式是抽查了若干門課程的若干份試卷，抽查了若干個專業的畢業設計和畢業論文；召開了學校領導、管理干部、教師、學生、畢業實習學生等座談會；專家隨機聽課，抽查實驗課，隨機抽查評閱課程、試卷和畢業論文，對實習學生進行理論測試，進行了臨床技能測試，檢查了學生早操情況。這樣的形式幾乎在所有被評估過的院校都發生過，這樣走了過場，而且被評學校都進行了偽飾。[13]