淺析大學教師教學評價方法之技術效能*

●駱　美

淺析大學教師教學評價方法之技術效能*

●駱美

摘要：制度不合理僅是引致現階段我國高校科研“GDP”至上之異化現象的表象。這背后的一個重要原因在于實務界對大學教學評價技術資源缺乏一定程度的了解和掌握。通過提供一個簡單明了的“技術指標”框架，可以幫助相關利益者提高對教學評價方法的認知、選擇和運用能力，為保障大學教師教學評價的公平公正性，落實教學在教師管理制度中的應有地位提供一條可行路徑。

關鍵詞：大學教師評價；大學教學評價；評價方法；技術標準

在我國，盡管大學教學與科研的失衡問題很早就引起了高等教育工作者的重視，但該領域對教學評價方法和技術的研究卻一直比較薄弱，實務界對教學評價方法的運用也不盡如人意。辨識、分析以及解決我國大學教師評價存在的主要問題，對教學評價方法的技術效能進行系統化梳理，對提高評價使用者的認知、選擇和運用能力，落實教學在教師管理中的應有地位具有十分重要的意義。本文所做技術分析適用于與教師崗位分類管理、職稱晉升、人才計劃、獎勵與懲罰等高風險人事決策掛鉤的教師教學總結性評價。

一、教師評價制度中的教學評價問題

我國高等教育教師評價的“應然”和“實然”之間存在很大的差距，突出表現在制度框架中科研與教學的嚴重失衡。有學者認為制度失衡僅僅是表象，真正的原因在于高校“教學學術”理念的缺失［1］。這些學者以美國著名學者博耶1990年對“教學學術”的界定為理論支撐，認為中國高校如果能沿著博耶的邏輯，轉變觀念、更新理念，那么評價制度中教學將獲得與科研同等的重要地位，進而教育活動中教師職業道德與職業素養下滑等問題均能迎刃而解。

然而，在我國導致中國大學科研與教學失衡的因素并非僅在觀念層面。中國歷來是一個教育大國，中國人對教育的重視為世界稱道，無論教學是否歸屬學術范疇，中國教育者對教書育人這一基本使命的重要性是達成普遍共識的。制度不合理的主要原因在于貫徹支撐這一觀念的教師評價技術沒有跟上現代化教育管理實踐的要求。

現行中國高等教育教師評價制度的邏輯起點源于西方的現代教育評價，其體系的框架搭建和方法技術的應用雖也結合我國過往經驗，但主要還是以學習和模仿發達國家模式為演進路線。這種安排在鑒定教師科學研究活動質量方面是行得通的，盡管各高校的科研評價體系仍存在許多為人詬病的地方，但通過學習西方經驗依據學科特色構建多個本土論文影響因子系統，科研評價在技術上已基本達到“公平公正”這一基礎要求，能夠基本滿足大學對科研的評價需求。相比之下，教學評價在引進西方成熟做法的過程中卻遇到了本土化難題。由于西方教學評價主要采用主觀、質性的評價方法與技術，在我國以“差序格局”為主導的社會結構和文化土壤環境下，其評價的公平公正性遭到了廣泛爭議和質疑。

換言之，中國高等教育教學與科研失衡的原因雖表面看來源自制度的價值取向，而實質在于評價實踐長期面臨著技術瓶頸。有部分學者也注意到了評價方法與技術應用水平低下對我國高等教育評價實踐的影響［2］。遺憾的是，這方面的研究一直都比較薄弱。研究者要么僅從整個教育評價架構層面對評價方法的技術價值、技術效用等問題進行陳述，未深入到機理層面對各方法進行逐一鑒別；要么羅列各方法的概念、理論依據、基本程序、指標體系等，在方法的技術問題上卻淺嘗輒止，缺乏深度開掘，難以對實踐提供具有系統性的理論指導。鑒于此，本文將致力于填補當前研究空白，針對實踐中面臨的技術難點，提供一套對評價方法效能進行元分析的指標體系，并根據此體系對各教學評價方法進行具體到操作層面的系統化梳理，為高校落實和提高教學評價的公平公正性探索一條切實可行的路徑。

二、衡量教學評價方法之效能的技術指標

評估標準，根據美國教育評估標準聯合委員會的定義，是指從事評估專業實踐的人們相互之間達成的共識原則，旨在通過標準的設立與達成，提高評估質量，增強其公平公正性［3］。評估技術作為評估標準的主要構成，其共識原則的指向首先集中于可供選擇的各種評價方法的技術效用；然后關注評價方法所涉及的評估程序和工具操作條件的實際可行度。

需要指出的是，本文所建議的技術指標較為寬泛，不能代替諸如定性和定量研究設計與分析、測量與數據收集、數據分析等研究方法領域的具體指標與標準。提供這一技術指標的目的是為高校教師教學評價的利益相關者提供一個簡單明了的認知框架，為短期內解決當前大學教師教學評價難題，提高評價質量尋找突破口。本文提出的評價技術指標具體如下：

（一）準確性

教育評價以事實判斷為基礎，教育事實判斷的科學性直接影響價值判斷的科學性。科學準確的事實判斷必須具有兩個基本屬性：有效、可靠。這是各學科科學解釋自然或社會現象所須遵循的兩大基本準則。

1.有效性

在測量學中，有效性通常通過效度這個概念來體現，指一個測量工具（或操作性定義）是否測量了它本應測量的內容。保羅考茲比教授（Paul Cozby）在其所著的方法論教材中講述了一個關于零效度的例子：假設你想測測自己的智力，測試者卻讓你站到一個類似鞋碼器的測試儀器上，顯然鞋碼信息對智力程度的表達是完全無效的。［4］以此類推，教育評價的有效性主要取決于評價結果與評價客體的事實本質是否相符以及相符的程度如何。

2.可靠性

可靠性在測量學中是通過信度這個概念來體現的，是任何總能夠產生相同結果的系統所具備的一種屬性［5］。再借用保羅·考茲比教授的舉例，鞋碼器雖然在測量智力方面是無效的，卻顯示出許多類型的信度，例如這個儀器無論測量多少次，對同一客體都會呈現出一致的讀數（測量學稱之為“重測信度”），并且無論誰操作它，它都會給出一樣的讀數（稱之為“評分者信度”）。信度的形式較多，但是與教師總結性評價最相關的是重測信度以及評分者信度。信度在教育評價領域通常是指評價結果的一致性，即如果對同一教育事物進行多次測評，是否能夠得到相同或相似的結果。

（二）可行性

設立可行性指標是為了確保教學評價的方案是實際可行的。要注意的方面具體包括（但不僅限于）：在數據和資料收集方案決定之前，確保各種信息收集計劃的可操作性；主要選擇那些與評價人員相關技術水平一致的程序步驟；必要的時候，對評價人員進行短期培訓；對于可能出現的問題，提前做好后備方案，等等。嚴格來講，可行性指標并不完全屬于技術范疇，其內涵通常還涵蓋政治與成本效益方面的考慮。

三、評價技術指標在實踐應用時應注意的關鍵點

教師評價作為一種對人的價值判斷活動，一開始就與社會科學研究方法的應用密切聯系。筆者根據在社會科學研究、教育測量以及教育評價等領域積累的知識與經驗，梳理出高等教育教師評價過程的幾個關鍵節點，以期幫助在評價實踐中提高對教學事實的準確判斷：

第一，清楚地了解評價主體的反映能力。從高等教育評價方法的技術起源來看，任何一種方法都是為了解決與特定對象有關的問題而開發出來的，在教師評價實踐中，如果不結合評價目的，批判考慮評價主體在達成評價任務方面的有效程度，則評價很難達到預期的目的。以目前我國高等教育界運用最普遍的學生評教為例，其在西方發達國家的發源與全面質量管理以及人本主義思潮對教育界的沖擊緊密相關。學生評價教學在彰顯主體關系平等、價值意義同構等現代教育理念方面具有其他方法不能望其項背的功能。然而當評價目的轉向衡量教師勞動質量時，學生評教本身的局限就凸顯出來。教師的知識傳播行為具有非常強的復雜性和學術性，盡管學生是教學過程的重要參與方，但是學生在教師掌握知識的深度廣度、課程設計能力以及所用教學材料的科學合理性方面卻始終處于信息弱勢，因而很難準確做出符合價值主體需求的判斷。

第二，清楚地了解評價工具的信息收集能力。關于評價工具的測量能力，測量學中有專門的實證檢驗方法，但對于大多數教育管理者而言，這些檢驗方法也許并不實用。本文所談及的評價工具測量能力更為直觀。教師評價所涉及的資料收集方法大多源自社會科學研究方法，雖然這些方法經過多年的發展已經比較成熟，但是在人類復雜的情感、態度、認知、行為等屬性特征面前，其準確捕捉與評價目的一致的信息能力本身就各有長短。比如教學評價中常見的問卷受其書面形式的限制，對行為特征的測量能力就遠不及對態度、情感等主觀感受特征的測量。而相較之下，直接觀察對行為信息的采集則更為敏銳。此外，由于問卷主要以量化的形式表達意見，有時會使一些評價項目帶上不太符合邏輯的精確性，反而導致其甄別精準度降低。某些大學的學生評教數據，大部分老師的得分在98以上（百分制），人際差距精確到十分位。學校卻常將這些結果進行排名，并以此作為鑒別教師教學水平高低的依據。那么得99.9分的老師真的優于99.8的老師嗎？這樣的排名顯然是無效的，并有失公允。

第三，清楚地了解評價程序的抗干擾能力。在現階段大學教師教學評價條件下，教學事實的許多方面是難以客觀量化的，主觀量化和主觀質性評價便成為了主導。這些方法的共同特征是通過各類“人”對教學事實的“真”進行主觀反映，因而評價實施的過程中，不可避免地會受到人對教育事物的認識差異以及人際主觀情感或利益的沖突影響，某些情況下甚至出現評價主體不嚴格尊重事實，不按照科學標準進行評議的“形式主義”和“好好先生”現象。評價工作者因此須對各個步驟在抵抗人為因素影響的優勢與局限方面有清晰的了解，認真思考如何利用某些程序的合理正義性降低甚至排除“人情關系”等對評價準確性可能造成的負面干擾。

此外，本文將內涵多維的“可行性”指標置于大學教師評價之“技術指標”框架下，意在提醒高校頂層設計與決策人員在注重教學評價準確性與公平公正性的前提下，充分考慮方案的實用性、政治性以及經濟性，避免落入“唯技術論”之陷阱，設計出理論上可行但實際不可用的評價方案。不過，到目前為止大多數高校的教學評價實踐與“唯技術論”的方向正相反，往往在“利用現有管理條件”思想下，為可行性而犧牲準確性要求。那么，可行性與準確性之間究竟孰輕孰重？筆者認為鑒于總結性評價對個體教師的高風險性，在評價成本與潛在政治影響或者經濟成本尚未成為不可逾越的障礙的情況下，準確性應該總是優先于可行性。畢竟，只有首先實現對教學事實的準確把握，公平公正的教師評價才能有堅實的物質基礎。

四、教學評價方法之技術效能分析

基于以上技術指標及其在應用時應注意的要點，沿著“要素解構——綜合歸納”的思路，本文借用“標準參照評估”法的比較視角對各方法的技術效能進行了從局部到整體的等級區分。參照的基準為美國高校廣泛使用的學生評教。作為基準，此版本學生評教方法在有效性、可靠性以及可行性三個技術維度的評價等級設定均為“+”，其他評價方法高于此基準則相應增加“+”符號，反之則標記“—”符號，“+”或“—”的個數由與基準之間的差異程度決定。分析結果見表1。

在表1中，整體技術效能是三個要素所涉及的準確性效能之綜合，輔以方法可行性進行總體評判。在評判各要素對評價方法有效性的影響時基于兩方面認識：（1）評價主體對客體教學水平、教學質量的反映能力。校內外同行、懂教學的管理者被認為比學生有更高的反映能力（有效性等級“++”），而管理者與用人單位由于不直接參與教學過程被認為普遍比學生的反映能力低（有效性等級“—”）；（2）所采用評價工具對教學事實信息的收集能力。評價者直接觀察課堂教學行為（或教學錄像）被認為比基準工具（評教問卷）有更強的信息收集能力（有效性等級“++”）；輔以配套教學檔案材料則有效性提升一個等級（+++）；如果教學錄像是隨機獲取的，又有配套教學檔案材料，則此評價工具的有效性等級為最高（++++）。在評判各要素對評價方法可靠性的影響時處于以下兩方面考慮：（1）評價主體的數量（旨在關注“重測信度”）。主體數量少于基準的，可靠性等級均為“—”；（2）評價程序的抗干擾能力（旨在關注評分者信度）。非匿名式同事評價和管理者評價（校領導評價除外）因無法較圓滿的降低評議者與被評議教師之“人情關系”或“惡意競爭”的干擾，其評分者信度等級低于基準（“—”）；省內同行評價因存在專家與被評議教師認識的可能性而被視為和基準有同等的評分者信度；相比之下，省外同行匿名式評價、畢業生評價以及用人單位評價因在很大程度上克服了人情干擾而被認為具有比基準更高的評分者信度（“++”）。在評判可行性方面，管理者評價、省內同行公開課評價、畢業生評價和用人單位評價因面臨比率嚴重失調的人力困境，均被賦予比基準低的等級（“—”）；其他評價方法則與基準的操作可行性等級相同。根據表1的分析結果，在構建科學合理的大學教師教學評價體系時應注意：

（一）運用多種方法，避免教學評價實踐的簡單化傾向

教育評價是對教育事物或人物的組織價值（或社會價值）的系統判斷，屬于典型的主觀判斷。但是公平公正的教師評價最根本的依據仍然在客觀物質世界，需要通過合目的、合規律地收集和分析信息，對教師教育活動的事實本質進行科學的認識和反映。為實現這個目標，評價方案應同時具備高有效性、高可靠性與高可行性。然而，表1顯示，盡管目前大學教學評價方法的儲備是豐富的，但是沒有一種或一類方法在技術效能方面能同時達到此要求。因此，面對復雜的高等教育評價任務，有必要注意“方法多樣、主體多元、內容多維”，根據評價目的與基礎條件，揚長避短，互為補充。

當前在我國高等教育教師教學評價實踐中普遍存在的問題是，豐富的評價方法資源在實際中很少得到開發利用，甚至很少受到關注，這種將復雜的教育教學現象簡單化、單一化技術處理的做法，不能不說是我國大學教師評價發展的一大遺憾。充分發掘、合理利用現有高等教育教學評價方法之技術資源，是迅速高效提高我國教育評價水平的可行路徑，也是高等教育評價發展的客觀要求。［6］

表1　大學教師教學評價方法之技術效能

（二）注意微觀細節，避免教學評價方法的誤用濫用

表1同樣顯示，即使是同一類評價方法，細節的不同設計也會導致整個方法的技術效能出現較大差異。以學生評教為例，其主要信息收集方法為問卷調查。社會科學研究方法論強調使用“匿名制”與“自愿參與”兩個措施以保障調查結果準確性［7］。相較于美國高校，我國部分高校的學生評教活動卻并未意識到這兩項措施的重要性，為單純追求學生參與率，以選課權為交換籌碼，強迫每個學生對授課教師的教學進行評價。表面看來，似乎參與評議的人數增加了，評議結果就更可靠，殊不知在非自發性動力驅使下的評價，使本來無興趣參與的問卷回答者極易罔顧評價目的與事實，胡亂填寫，并最終導致“純凈”數據被某些“污染”數據侵蝕，使得評教結果的整體可靠性降低。對比之下，“學生評價教學錄像”式評教卻由于既保證了足夠的評議者數量，又通過讓本校非授課班級學生或外校學生參與的方式基本克服了學生評教中自身背景、教師背景以及課程背景等因素［8］對結果的消極影響，因此方法的整體有效性與可靠性得到了有力保障。

從我國高等教育評價的發展歷程觀察，我國的相關理論研究、制度建設和實踐活動一直堅持走中西結合的道路。前面對不同版本“學生評教”及其技術效能差異的解釋表明，在“拿來”西方經驗的時候，應充分了解每種評價方法的國別土壤，歷史起源，教育文化，資源條件以及技術要求等等，以保障評價方法在我國的微觀選擇在評價目的、評價對象特點和操作條件的配套使用上科學合理，避免評價方法在實踐中的誤用、濫用等嚴重后果。

（三）明晰技術效能，推動教學評價方法的不斷創新

從高等教育評價發展的宏觀需求看，充分了解現有評價方法的技術要求與效能還有助于教育評價方法的技術創新，因為在方法與技術的形成過程中，根據現實需求，對原有方法的相關量度或程序作出一些調整和變化，本身就有可能衍生出一些新的方法與技術。1985年，美國學者霍瑞斯.曼（Horace Mann）在波士頓文法學校以小論文筆試取代傳統口試的改革雖是從口頭到書面的調整，卻開啟了以學生書面考試成績評估學校教學效能的傳統［9］。表1列舉的教師教學評價方法中，包含很多通過細節微調實現方法創新的例子。比如，同事評估從最初的內部進行到引入校內外專家，并由此衍生出“同行評價”；評價工具從最初的課堂實地觀察到引入教學錄像，使得跨地域同行評審成為可能。而本文首次提出的“隨機課堂教學錄像”概念，旨在實現對教師教學信息采集視野從最優狀態瞬間捕捉擴展到持續性一般狀態反映，使得進一步提高對教師教學事實的準確把握成為可能。當然，雖然僅多了“隨機”二字，這背后蘊含的社會科學研究技術要求更嚴，所需評價成本也更高。

總之，在現代教育質量保障思想方法體系中，教師是大學最寶貴的資源。教師對教育教學的重視度和貢獻度，與相關教師管理制度為其提供什么樣的動力、條件和機會緊密相關。評價作為師資隊伍管理體系的核心機制，只有當其真正實現對教學事實的公平公正評測時，才能大面積激發教師教學行為朝組織目標方向正態前進。針對當前我國大學在教學評價方面的短板，本文為高校管理者和其他相關利益者提供了一個簡單明了的技術指標框架，幫助其對各評價方法進行系統梳理，了解原理，明白操作，對比優缺點，為彌補現階段相關研究的不足，落實教學在教師管理實踐的應有權重提供了技術可行性。當然，在一個以財政支持為主要經費來源的高等教育體系，僅在大學內部攻克教學評價技術瓶頸是不夠的。雖然使用者提高了對評價資源的理性認知以及選擇能力，但是部分高校的專任教師管理方案搭建仍將受制于來自體系內外宏觀環境的壓力。當前，我國高等教育體系內部資源分配機制以及社會第三方教育質量監控機制在評價大學教師教育教學集體成果方面同樣面臨準確性和可行性困境。而這些都是需要通過高等教育質量評價方法的技術研究與開發才能解決的，也是高等教育評價需要迫切發展的一個重要方向。

參考文獻：

［1］康翠萍.一種認識理路：高校教師教學發展的現實反思與理性建構［C］.武漢：中南民族大學教師教學發展中心，2014.16-27.

［2］［6］沈玉順.高等教育評價方法技術的誤用、濫用及其矯正［J］.復旦教育論壇，2010，（5）.

［3］［美］詹姆斯·桑德斯.劉玲譯.教育項目評估標準——如何評價對教育項目的評估［M］.北京：北京大學出版社，2012.2.

［4］Cozby，P.C.Methods in Behavioral Research（9th ed.）.New York：McGraw-Hill，2006：45.

［5］［加］基思.斯坦諾維奇.對“偽心理學”說不［M］.竇東徽，劉肖岑譯.北京：人民郵電出版社，2012.

［7］Madhabi Chatterji.Designing and Using Tools for Educational Assessment［M］.Boston:Pearson Education，Inc.，2003.

［8］梅萍.近十年我國高校學生評教有效性問題研究述評［J］.現代大學教育，2013，（4）.

［9］吳巖.構建中國特色高等教育質量保障體系［M］.北京：教育科學出版社，2014.9.

（責任編輯：孫寬寧）

駱美/中南財經政法大學教師發展中心主任，助理研究員，教育領導與政策學博士

*本文系中央高校基本科研業務費專項資金項目“基于復合創新型人才培養視角下的教育評價范式創新”（項目編號：31541310706）的研究成果之一。