MATE多元教學有效性評價工具的設計與檢驗

邢磊 張興旭

摘 要：通過梳理教學有效性評價的多種取向和主流評價方法，衡量有效教學相關的課程特性、教師特質、教師教學行為、學生特性以及學生學習成效等不同維度之間的關系，形成對教學有效性的綜合性界定并設計開發教學有效性的多元評價框架（MATE模型）和相應的評價工具。通過對上海交通大學2017—2019學年的170余門課程實施評估的應用實例以及對數據的定量分析，探討評價框架和工具對教學管理和教學發展的有效性和局限。

關鍵詞：教學有效性;教學評估;多元評價

一、教學有效性的界定與取向

有效教學的理念源于20世紀上半葉。從產生至今，有效教學就一直是教學研究的焦點之一，頻繁出現在教育文獻和實踐者的視野之中。但有效教學是一個動態發展的概念，其內涵一直隨著教學價值觀、教學的理論基礎及教學研究的范式變化而不斷擴展。美國心理學會和高等教育協會前主席麥基奇曾在1979發表的文章中將教學有效性定義為（教師）幫助學生達成教育目標的程度[1]。然而，高等教育界對于“好的教學”始終缺乏共識。一方面是因為對教與學本身規律的探索仍在不斷深入，另一方面則是高校教學實踐存在差異。縱觀教學有效性評價的歷史，出現過以下幾種主要的評價取向：

（1）教師個人特質取向。伴隨著19世紀心理測量運動、心理測量理論的形成和在實際中的大量應用，有效教學最初被認為是教師某些個人特質的體現[2]。此時一般會借助于心理測量量表來評價一系列理想化的教師特質，如：熱情、公平、嚴苛、幽默等。簡言之，能不能教得好，首先要看你是否具備理想化特質。但若僅以此評判，就過于依賴天性，有失偏頗。

（2）學生學習成效取向。關注“學”的結果，以學生最終在知識、態度、技能、能力、行為、價值觀、素養等方面的發展變化來衡量教學的質量。在當代高等教育質量越來越受到家長和社會關注的背景下，在專業評估和認證盛行的推動下，學生學習成效評價越來越受到重視[3]。但對于高等教育而言，它的最大局限在于操作性不強。因為用學生的學習直接代表教學的有效性，不但需要測量的效度能夠區分不同教師、不同學科、不同教學目標的差異，而且要能支持增值方式（前后測之差表征學習變化的程度），這對學生學習測量工具的要求非常高[4]。

（3）學生認知過程取向。跟以學習成效的結果取向不同，認知過程取向關注學習有效發生的內在心理機制，認為有效學習取決于學生的學習觀及先前的學習經驗、學習方法（如深層學習法和表層學習法等）、動機水平等[5]。值得注意的是，由于認知過程是內隱的心理屬性，評價測量技術角度的可行性一直難以突破。然而隨著新技術的發展，越來越多的測量手段不斷在提升對學生能力作出判斷的可行性，比如隱形性評估、學習分析等都是當前評價研究和實踐最前沿的熱點。

（4）教師教學行為取向。圍繞“教”展開，立足于盡可能描述客觀反映和還原教學過程的教學方法等行為現象，作為判斷教學有效性以及幫助教師改進教學的參照。這類對教學有效性的教學行為取向具有非常好的操作性，因而在過去幾十年里得到了很好的發展，出現了一系列有代表性的觀點。如：美國高等教育協會1987年發表的美國大學本科教育的七條原則，得到高教界的廣泛關注和認同[6]。美國學者鮑里奇在回顧了針對基礎教育教師教學行為的30年研究基礎上，梳理出最重要的5種教學行為[7]。

雖然是從基礎教育中總結出的規律，但和上述大學本科教育的七條原則頗有相似之處。

（5）教師核心素養取向。教師核心素養（Competencies，也譯成能力、勝任力）取向與教學行為取向在實際的評估中都是以外顯的教學行為作為觀察和衡量的。不同在于素養是“一種將知識與技能、認知與情感、創造性與德性融為一體的復雜心理結構”[8]，體現了對將有效教學簡單看作在特定情境和條件下呈現的外部行為的修正。

涉及人的心理與行為的研究是極其復雜的，教學活動更是如此，上述取向都有其存在的意義和價值，但都有被詬病的缺點。因此，將教學有效性的不同取向整合到同一框架下，多角度地去獲取教學過程、教學行為的全貌，將使教學評估更為客觀、科學。

二、多元教學有效性評估模型與工具的設計與開發

評估工具的開發始于評估框架的搭建，我們基于教學有效性的幾種取向，在文獻基礎上設計了教學有效性多元評價模型。該模型整合了教學行為、教師特質、課程特質、學生特質、學生滿意度和學習成效六個維度。教學有效性評價另一個重要的方面就是評價方法。對教學有效性的不同取向，直接決定了教學評價方法的選擇。當代主流的高等教育教學評價方法按普及程度有學生評教、同行評議、教師自評。為了避免單方面評價所造成的偏差，我們借鑒企業360度環評技術路線，采取兼而有之的混合策略，集學生評教、同行評議、教師自評于一體。這樣即形成“三元六維”的評估模型（見圖1），最核心的是當中的教學行為，除了大家較為熟悉的學生滿意度、教師特質、學習成效等維度，還納入了課程特質和學生特質。課程特質這個維度是為了在課程比較時能夠區分不同課程所存在的差異。學生的特質主要是了解學生的學習方式、狀況，進而幫助老師更好地找到匹配的教學改進方法。

該模型能夠很好地提供一個系統考查教學有效性的框架，而且充分考慮了其他影響評價結果可比較性和普適度的維度，如課堂規模、課程難度等決定課程間差異的課程特質，為評估結果兼容總結性和形成性用途提供了保障，也為教學管理和教學發展工作提供理論指引。但涉及具體的實施落地，該評估方案的缺陷就是需要較多的投入。

三、評估模型應用

該評估工具目前已經在上海交通大學推廣使用，截至2019年秋季學期共覆蓋283門課程。其間也面臨了很多困難和挑戰，但隨著具體的實踐和反思，問題正在不斷地被優化。其一，學生問卷體量較大，為保證填答率，我們采取發小禮品的方式來鼓勵學生認真填答，邀請院系領導參與，錄制學生問卷填答說明，從行政約束的角度使學生重視，也能消除學生的評價顧慮。其二，目前評估的大部分工作是純人工完成，尤其是評估報告的生成，占用較多工作量，未來如在更大范圍內推廣應用，這種評估形式可能會承載不了。為破解此困境，我們目前已經在做評估網站，明年全自動化的版本將會上線。

該評估模型更深層次的應用體現在評估報告的解讀。評估結束后可以給到老師課程層面的評估報告，幫助老師更好地審視和改進教學。對于院系而言，評估報告可以應用在多個方面，如做本科評鑒、專業認證、專業院系課程質控系統或者是完成學校硬性的評估任務等。例如，新建了一個專業，需要摸底教學質量，就可以對一組課程進行評估，除了個人報告外，還可以提供整門課程的團隊報告，為院系進行教學改革、提升整體教學質量提供一個有力的抓手。目前，MATE評估使用量不斷增長，由此可見，大家對教學評估的重視程度與日俱增。對于任何報告，進行專業的解讀是關鍵，這樣才能正確地把控未來改進的方向和范圍。正所謂磨刀不誤砍柴工，不要急于給課程質量或教學能力下一個結論，而是要花時間和心思去研讀報告，從報告所呈現的數據中去發現個人教學中所存在的問題，去挖掘整個團隊教學的規律和共性短板。下面從一些維度進行剖析和解讀。

（1）課程特質差異。如圖2所示，從閱讀量、作業量、難度系數可以了解課程設置情況，通過與整門課程的均值對比，可以更具體地知曉課程的閱讀量是多還是少，課程難度是否把握合理。從團隊的數據中，也可以挖掘出更深層次的信息，如不同類型課程的特點。圖中三角形和圓形表示的是專業基礎課和專業必修課，環形和菱形是通選和選修課，從這一組數據中可以看出課程對于學生的強度。整體而言，課程特質的維度能夠很好地區分課程間的差異，顯示出一些課程的規律。

（2）教師特質的差異。20世紀20年代高校開始使用問卷以來，教師特質出現在很多學校的評估問卷中，很多學校現在也使用教師特質來做評估。從人崗匹配的角度來分析，這是合理的舉措。因為一開始我們在不知道教師實際教學行為的情況下，可以根據其性格特質去預測未來是否能勝任這個崗位，總是會有一些和老師個人特質相關的變量，如文獻中所提到的幽默、正直、熱情。

（3）學生認知過程的差異。“學生認知”這一維度的設定借鑒了約翰比格斯的認知量表，是測量學生學習過程當中的狀態，有表層學習和深層學習兩個象度，劃分為四個象限。X軸越高表示學生深層學習越多，Y軸越高表示學生表層學習越多。圖3所列出的三門課，學生的分布都不一樣。圖中每個點代表一個學生，對于老師而言，最大的意義在于能夠看到班級學生所處的學習狀態，集中反映出的某種趨勢，是很好的反饋信息。同時院系報告中也包含關于學生認知的分布圖，圖3中右下方散點圖分別代表所有學生和所有課程的平均分布情況，從點的集中趨勢可以看出一組課程的學生學習狀況如何。

（4）教學行為的差異。MATE評估的教學行為包含5個維度。維度模型的構建借鑒了經典的美國本科教育七法則理論和關鍵教學行為的理論。相對而言，這兩個理論被認為是比較符合有效教學的原理。如圖4，從這些教學行為的維度切入，可以看到課程和課程之間的差別。不同的折線代表不同的評價主體，將教師自評、學生評價、同行評議置于同一圖表中，能夠很好地識別出在哪些教學行為上三個評價主體的認知是一致的，從而找出優勢或共性短板。如果評價主體間的評估差異較大，我們則認為在該維度上評價者存在認知偏差，需要進一步去了解從而找到可以解釋此種現象的深層次原因。傳統評教也包含督導或同行評議，但問題在于不同評估的維度不一樣，無法實現將數據進行整合和對比。這也正是MATE評估的優勢所在。在一個報告中把這些數據很好地匯聚在一起，方便使用評估結果給實踐反饋。

（5）“教學有效性”綜合評估指標。做任何評估都有其目的和出發點，所以在評估實施前必須明確通過此次評估擬解決的問題是什么。不同院系使用MATE評估的目的會有所差異，可能是為了晉升考核作參考，也可能僅是希望通過全面評估來探索提升教學質量的方式。考慮到用途不一，MATE評估盡可能收集全面的數據，使院系依據需求去設定符合期待和應用場景的計算權重。如圖5，MATE提供了四種不同的權重。通過實踐我們發現，當權重設定不同時，課程之間也有一定的差異。如圖6，實折線代表，不管何種權重設置，多元主體對課程的評價是較為一致的，反映出評價的穩定性，評價者對這門課程有較為一致的認知。虛的折線說明，當只依賴學生評教時，對教師或課程的評價相對較低。如果按照對等的權重綜合計算不同評價者的分數，結果就會發生改變，過低或過高的情形會有所改變。由此來看，從不同的視角來看，對課程的評價結果是有偏差的，應該根據具體的應用場景來選擇評價權重。

四、未來展望

綜上所述，多元教學有效性評估作為一種新興的、全面的評價工具，能夠很好地緩解目前高校對教學職能日益重視與教學評價手段匱乏之間的矛盾。但其未來發展也面臨著很多挑戰，比如：隨著使用量擴增，純人工服務將無法負載大批量評估;院系在推進教學評估的過程中，需要專業性的指導;如何為學校、職能部門、教師本人解決評教問題，獲得充分的關注和認可。基于存在的問題，我們未來有三大努力的方向。其一，2020年MATE網站在線化將實現，并全面推廣到全校教師使用，網站的開發將縮小MATE評估的成本，也能夠覆蓋更多教師。其二， MATE 2020年工作目標，配合院系定制質控方案。以院系為主體，將學科差異考慮進去，為院系提供定制的方案。從成本角度考慮，可以兼容院系已有的資源，如督導系統，避免兩條線重復建設。這就需要把數據、算法、流程與學院原有的評價指標做匹配和定制。當然院系評估也面臨著學生填答問卷負荷重的問題。為避免影響填答有效性，我們將開發簡版問卷，只保留關鍵指標。其三，在高校里推進教學評估并非易事，評估工具的順利落地應用還需要高校職能部門的一些政策或要求來保障。未來MATE評估結果將被納入人事晉升中，作為人事晉升教學方面的評估抓手。教師可自愿申請參評，用于不斷改進個人的教學水平，同時也是為長遠的晉升和個人發展作準備。

參考文獻：

[1] Mckeachie W J. Student Ratings of Faculty： A Reprise[J]. Academe， 1979， 65（6）：384-397.

[2]孫炳海，申繼亮. 美國教師評價的發展歷程與評價模型研究述評[J]. 比較教育研究，2009（5）：73-76.

[3] Ewell P T. An emerging scholarship： A brief history of assessment[M]// Banta T W E. Building a Scholarship of Assessment[C]. Jossey-Bass， 2002.

[4] Wieman， C. A Better Way to Evaluate Undergraduate Teaching[J]. Change： The Magazine of Higher Learning， 2015（47）：1， 6-15.

[5]邁克爾·普洛瑟，基思·特里格維爾. 理解教與學[M]. 北京：北京大學出版社，2007.

[6] Chickering A W， Gamson Z F. Seven principles for good practice in undergraduate education[J]. Biochemical Education， 1989， 17（3）：140-141.

[7]加里·鮑里奇. 有效教學方法（第七版）[M]. 南京：江蘇教育出版社，2014.

[8]張華. 論核心素養的內涵[J]. 全球教育展望，2016，45（4）：10-23.

[基金項目：全國教育科學“十三五”規劃2018年度教育部重點課題“循證的高校教師教學核心素養框架研究”，編號：DIAI80403]

[責任編輯：陳立民]