多視角教學質量評價的一致性分析與應對策略

郭克華，朱翡虹，金一粟，奎曉燕，余肖勇

（1.中南大學計算機學院；2.中南大學本科生院，湖南長沙 410083）

0 引言

“雙一流”學科建設是一項重大國家戰略，其目標是打造中國高等教育領域的尖端學科，為提升國家綜合實力和國際競爭力培養一流人才。2015 年8 月，國務院印發《統籌推進世界一流大學和一流學科建設總體方案》［1］，推進了新時代高等教育建設改革。“雙一流”教學質量是影響高等教育發展的重要因素，教學質量評價在高校教學改革中起著關鍵的決策作用［2］。目前，高校教學質量評價已形成一套成熟的體系，由教學專家、教學同行和學生評價以及教師自評的多視角評價方式構成［3］，其中教學專家評教和學生評教是多數高校普遍采用的評教方式。教學專家是從專業、客觀的角度進行評價，具有規范性和形式性，學生評教是從主觀角度進行評價，具有真實性［4］。不同視角下評教方式所反映的教學質量評價結果之間有何聯系，對高校教學改革有何啟示，值得深入探究。本文針對多視角教學質量評價的一致性進行分析，揭示內在的現象特征，就存在的問題提出應對策略，以推動高校教學改革，優化“評”與“教”的關系，提高教學質量。

1 相關研究

為深化高校教育改革，提高辦校辦學水平，完善并評估高校教育的教學質量評價具有實際應用價值。從20 世紀90 年代改革開發以來，我國教育管理體系就形成以“學生為中心，立足于育人”的教學理念［5-6］。在這種教學理念的指導下，高等教育逐漸偏向以學生評教的方式對教學質量進行評價為教學改革的重要反饋。

許多學者從學生或督導評教方面出發，對教學改革進行研究并提出相關建議。廖明等［7］基于學生視角，構建多元線性回歸模型研究課程知識的實用性、教師授課方式和教科書的質量對教師授課效果的影響；朱征軍等［8］則指出思政課程是高校立體化育人的核心，采用一致性原則，從思政目標的引領性、反饋評估的一致性及育才育德的結合性三方面出發，改進思政課程教學；李磊等［9］探索“教師—學生”雙主體互動教學模式，結合任務驅動型與案例教學方式，有效地鍛煉了學習發現、分析及解決問題的邏輯推理能力，同時避免了以單一主體確定教學質量，有利于教學客觀反饋；Shen 等［10］運用模糊綜合評價方法對護理情景教學質量進行評價，制定相應評價體系，利用層次分析法確定各指標權重，以指導更高質量的實踐教學；Ali 等［11］提出加權區間值雙主模糊集（WIVDHFS），它是一種以區間形式描述決策因子及非決策因子的關系，為影響力大的區間分配不同權重并提供關于決策結果更多信息的方法［12］，幫助決策者在決策問題上獲得準確合理的結果，并驗證了WIVDHFS 在教學質量評估中的應用；謝淮北［13］使用層次分析法對實驗教學質量進行綜合評價，構造指標層的判斷矩陣；張祥瑛等［14］運用多組有序變量的秩和檢驗構建多主體的課堂教學評價體系，分別從各自角度解決了單一評價方案會導致教學評教可信度低的問題；吳培群［3］指出專家與學生評教存在一定差異，專家評分過于依賴顯見性因素，學生評價依賴“就讀經驗”。

隨后，學者們引入統計學方法，研究督導評價與學生評價的一致性、差異性，提出評教方式優化和教育質量改革。趙玉［15］采用統計學上的多面RASCH 模型從學生、教師、評教指標3 個側面分析教師教學能力，消除不同側面評分的差異性，使評教指標客觀化，提高多視角評教一致性；高巍等［16］使用Jaccard 系數和Kappa 統計量的一致性檢驗，論證了國外科學工程專業相關指標體系（COPUS）可以作為教學質量評價的參考，但他們也指出了中外教育觀的差異，引入國外的COPUS 教學評價量規具有一定困難；秦昳等［17］針對單一的教學評價方法導致人才培養目標與社會產生脫節的問題，提出建立云模型評價體系，借助云模型對概念和數值之間的轉換能力，解決教學質量影響因素的量化問題。

在不同教改背景下，現有研究工作針對的對象、采用的方法大同小異。“雙一流”大學是我國“國之重器”，其教學質量、教學評價直接體現了我國高等教育的最高水平。“雙一流”學科建設改革研究成果相對缺乏，在《統籌推進世界一流大學和一流學科建設總體方案》階段性完成之際，本文基于多視角并應用網絡評教系統，研究某“雙一流”高校的本科評教體系，對不同視角的評教數據進行差異性分析，全面優化評教體系，實行科學評教管理。

2 研究對象與研究方法

2.1 研究對象

本文以某所典型“雙一流”高校2016 級本科生為研究對象，從高校網絡評教系統中提取本科生4 年的培養數據，數據具體包括8 468 名學生基本信息、5 595 門課程及其期末考試成績、3 328 位教師課程評教情況。該高校的評教方式為督導評教和學生評教兩種視角，評教數據包括學生評教數據3 萬余條，督導評教數據2 808 條。其中，督導評教是從教學態度、教學內容、教學方法、教學準備及教學效果等指標對課程進行評估；學生評教是完成課程學習后，在期末統一對所有課程的教師進行評教，以總分形式給出。本文借助評教數據，從督導、學生的角度，對某類課程教學質量評價結果的一致性進行分析。

2.2 研究方法

本文主要采用t 檢驗和相關性分析相結合的方法分析不同視角教學質量評價的一致性。為了保證評教數據的準確性，本研究對異常數據作了處理。首先，對數據進行描述性統計，了解督導評教與學生評教的特點；其次，采用獨立樣本的t 檢驗法對督導和學生的評教分數進行差異性分析［21-22］，并根據檢驗結果作更進一步分析，如果檢驗結果存在差異，則對差異情況進行特征分析；最后，運用統計學上的Pearson 相關系數刻畫督導和學生評教之間的關系，揭示不同視角教學質量評教的內在聯系，從而找出影響教學質量的因素，更好地指導高校教學質量改革。本文統計分析結果在SPSS 24.0 軟件中完成，無特殊注釋情況下，顯著性水平一般取0.05（α=0.05）。

3 多視角教學質量評價一致性分析

3.1 多視角教學質量評級情況

本文對某“雙一流”高校2016 級學生（包括少數重修學生）的課程評教數據進行統計分析。在3 萬條學生評教數據中，清洗了無效數據（極高、極低分），得到同時有學生和督導對教師課程評教的有效數據合計1 590 條，這些課程包含的課程覆蓋了全校26 個學院，其開課時間集中分布在2018-2020 年4 個春、秋季學期，描述性統計結果如表1 所示。

Table 1 Descriptive statistics of teaching evaluation scores of supervisors and students表1 督導評分和學生評分描述性統計

從表1 可知，督導評教平均分為86.12，學生評教平均分為90.68，督導的評教分數整體比學生低4.56 分，標準差比學生評分低1.03 分；從變異系數看，督導和學生的評分組內個體間離散程度較小，說明督導和學生評教分數在平均值附近較為集中。根據上述統計結果發現，督導評分普遍低于學生評分，兩者存在一定差異性。

為驗證督導評分和學生評分是否存在顯著性差異，先對1 590 條有效的評教數據進行正態性檢驗。

有多少人當初把武俠書放進桌下偷看，一抬頭竟忘了今夕是何夕；有多少人披個床單，拿根木棍就幻想自己是大俠；還有每年暑假不斷檔的電視劇。

從圖1 可知，督導和學生評教分數的直方圖中心趨勢線呈鐘形，可認為督導和學生評教分數的分布基本符合正態分布規律，說明評分數據合理。因此，可采用t 檢驗方法對數據進行差異性分析。

Fig.1 Normality test of supervisory and student evaluation of teaching scores圖1 督導和學生評教分數的正態性檢驗

根據兩個獨立樣本的檢驗結果表2 可知，對于督導和學生對課程評教的分數，F 值為2.498，其Sig=0.114＞0.05，可認為督導和學生的評教分數方差相等；在方差齊時，t 統計量的Sig=0.000＜0.05，故拒絕原假設，認為督導和學生在教學課程上評分存在差異，該差異具有統計學意義。

Table 2 Independent sample T-test表2 獨立樣本t 檢驗

3.2 教學質量評價差異性量化

上文已經得出督導和學生的教學質量評價結果不完全一致。為考察存在顯著差異的課程情況，進一步地對教學質量評價的差異性進行分析。教學質量評價的總體情況有3 種，即督導和學生同時評分高、督導和學生同時評分低，以及督導和學生評分存在不同級別的等級差。本文設定前兩種情況為一致性評教，第三種情況視為差異性評教。

為了找出評教一致和差異相對應的課程特征，進一步對課程差異性進行量化，將督導和學生的評教分數轉換為5 個評教等級，即分數≥95 分設為優秀，95 分＜分數≤85 分為良好，85 分＜分數≤75 分為一般，75 分＜分數≤60 分為合格，分數＜60 分為不合格，并按等級從高到低分別量化為5、4、3、2、1。將督導和學生的評教分數轉換為等級制后，能明顯看出兩者區別，督導評教的結果主要集中于“良好”和“一般”兩個等級，而學生評教結果集中在“優秀”和“良好”兩個等級，具體如圖2 所示。

Fig.2 The distribution of supervisory and student evaluation levels圖2 督導和學生評教等級分布

本文將督導和學生評教等級差在兩個等級及以上的視作顯著性差異，將評教等級差在一個等級以內的視為一致性評教。經篩選，在1 590 條有效評教數據中，得出165條為具有顯著差異的數據，即約10.3%的數據顯示學生和督導評教存在顯著性差異；89.7%課程的評教具有一致性。其中，一致評價差（評教分數小于75 分）的課程僅有21 門，約占1.47%，一致評價好的情況占大概率，這說明該高校的評教體系是合理的。總體課程差異情況結果如圖3 所示。

Fig.3 Differences in the overall curriculum圖3 總體課程差異情況

3.3 具有差異與一致評價差的課程特征分析

在以上分析中，已經了解到督導和學生的評教結果有89.7%的概率趨于一致，該結果符合客觀事實。為課程改革方案提供指導性幫助，對評教具有差異性的課程以及被督導和學生一致評價差的課程進行特征分析，具體如圖4—圖7 所示。

從圖4 可以看出，顯著差異課程學生成績平均分為75.68，一致評價差的課程學生成績平均分為69.42，可得知這兩類課程對學生而言難度都較大，學生成績整體不高。根據圖5—圖7 可得出以下兩個結論：

Fig.4 The relationship between course performance and teaching evaluation圖4 課程成績與教學評價關系

Fig.5 The relationship between curriculum attributes and teaching evaluation圖5 課程屬性與教學評價關系

Fig.6 The relationship between the distribution of the course opening semester and the teaching evaluation圖6 課程開課學期分布與教學評價關系

Fig.7 The relationship between curriculum scale and teaching evaluation圖7 課程規模與教學評價關系

（1）顯著差異課程主要是必修課，由某工科學院承擔，屬于工科類課程。具有顯著差異的課程開課時間與所有課程分布一致。根據該類課程規模顯示，上課人數在11～100 人以內，可以得出該類課程主要為專業類課程。

（2）一致評價差的課程主要是選修課，且主要由理工類學院承擔。課程開課時間主要集中在2018-2019 秋季學期內，2016 級學生正處于大三下學年階段，課程人數在100人以內，由此推斷出該類課程屬于基礎公共課程。

綜上，可總結得出差異和評價差的課程都具有規模小、開課學期集中度高、學生成績偏低的一致特征。

3.4 督導與學生評教相關性

在高校中，督導對教學質量評價是依據一套指標體系完成，該指標體系能客觀準確地反映教學基本情況，涵蓋教師的思想態度、授課形式、儀容儀表、教案設計、課堂氛圍等方面。本文所選取大學的課程評教體系包括一級指標和二級指標，具體如表3 所示。

Table 3 Standards for supervision and evaluation表3 督導評教標準

為了進一步找出差異課程的內在原因，考察督導評教的指標體系與學生評教之間的聯系，采用統計學上的相關性進行刻畫，包括所有課程上學生綜合評分與督導評教各項指標的相關分析、督導和學生評分與課程特征的相關性分析，從而揭示多視角評價的內在標準，找出差異存在的影響因素。

由表4 可得，學生評教與督導的評教指標x5、x8呈現出0.05 水平的顯著性，以及與x4、x7、x9和x10在0.01 水平上也呈現顯著相關性。特別地，x7和x10指標的相關系數大。具體表現在學生注重教師在教學課程上的目標和任務是否清晰明確，以及教學信息技術、傳統教學手段、教學資源等應用是否合理這兩方面。同時也看重教師備課情況，反映在教師上課時是否能透徹闡述課程內容，還有教師的普通話水平對評教也會產生一定影響。x9和x10都屬于學生上課的狀態，是督導評分標準里分值最高的兩項，也是與學生評教產生0.01 顯著相關，說明學生上課狀態是督導和學生同時比較關注的點。

Table 4 Relevance of supervision of evaluation indicators and student evaluation表4 督導評教指標與學生評教相關性

由表5 可知，督導和學生評教都與課程屬性、開課學期及課程規模顯著相關。具體表現為必修課的評價分數高于選修，選修分數高于任選，這種現象在督導評分中尤為明顯。開課學期越往后、規模越小的課程，評價就越高。對于全校性的公共課，比如體育課、思政課等，督導和學生對其教學評價比專業類課程低。此外，學生評教還與授課教師具有正相關聯系，入職時間排在靠后的教師，學生對其教學質量評價就越高，說明學生更偏向于新來的教師。

Table 5 Relevance of supervision and student evaluation of teaching and course Features表5 督導和學生評教與課程特征的相關性

4 總結與建議

4.1 總結

本文以某所“雙一流”高校2016 級本科生4 年培養過程的相關數據為研究對象進行多視角教學質量評價結果的一致性分析，挖掘不同角度教學質量評價結果之間的聯系，為學生個性化培養、培養方案優化、教學質量改革提供量化參考。根據對評教結果的定量分析，高校應將評教結果及時反饋至學院和教師，并在課程設置和課程教學上作出相應調整，一定程度上幫助教師改進教學，促進教師在教學過程中與學生形成良好關系。由以上統計分析，可以得出如下結論：

（1）督導評教和學生評教結果大體趨于一致。督導評教和學生評教僅有10%的數據存在差異性、督導的評教分數普遍比學生低、督導評分的區分度比學生大、督導評教的準則比學生評教標準。

（2）存在差異性的課程主要為選修課。這些課程主要由某工科學院承擔開課任務，其呈現出學生考試成績低、課程規模小、開課時間集中在大三上學期的特征。同樣地，督導和學生一致評價差的課程主要是必修課，屬于基礎公共課程，課程特征和差異課程相同。

（3）督導和學生評教之間存在顯著相關。他們著重關注學生上課的具體表現，其次關注教師教學情況。對于學生而言，教師備課是否充分，上課時是否能清晰表達課本內容，影響學生在課堂上的表現，從而影響學生對該課程和教師的評價。

（4）課程特征對督導和學生評教情況產生影響。必修課的評教分數比選修課高，任選最低；開課學期越往后、規模越小的課程，評價就越高。對于全校性的公共課而言，比如體育課、思政課等，督導和學生對其教學質量的評價分數較其他課程低。

4.2 建議

根據對差異課程特征的分析結果，督導和學生對教師教學評價存在差異，本文給出幾點建議：

（1）量化指標，完善學生評教體系。目前，高校采用總分制的學生評教形式過于簡單，無法從學生評教數據中獲取學生對課程的反饋和對教師的建議。本文建議進一步改善學生評教方式，可采取給予學生對教師教學情況的量化指標，比如教師對課本知識的熟練程度、教師對學生的答疑情況、教師是否注重培養實踐和創新能力及課程考核方式是否合理等，學生可根據自身情況給出分數。

（2）學生導向，更新課堂教學模式。課程存在差異的課程主要是專業課，學生看重的是教師教學狀態和課堂氛圍。對于專業類課程，其授課方式不應該與公共課一致，授課教師可設計多樣化的教學方式，如采取小組討論、課堂互動等形式，激發學生學習興趣，通過問題引導、實驗解說等方式拓展學生思考和探究問題的空間。

（3）全面發展，優化課程結構設置。學生在大學中的課程體系是由其所在專業的培養方案決定。專業類課程一般安排在大三階段，學生在大三整年都主修專業課程，這樣安排會對學生造成較大的學業壓力。高校可在基礎教育課程上，制訂若干組“專業課組合”，由學生自由選擇，每個專業課組合需要有對應的教學計劃；或在修讀專業課的同時，多開設通識課，以學科交叉方式拓寬學生知識面。

5 結語

“雙一流”建設是中國新時代在高等教育發展的重大戰略部署，本文研究的某“雙一流”高校的本科教育質量評價體系具有較高的成熟度，多視角的評教分析結果大部分趨于一致，表現了“雙一流”高校學科建設的優越性，充分體現了中國建設世界一流大學和一流學科所取得的成績，其評教體系值得推廣至普通高等院校的教育改革中。在學科建設發展形勢表現出較好趨勢時，也應持續重視高等教育本科教學質量，進一步發展本科教育中差異性大的選修課程評教體系，讓中國教育普適和差異并存，為今后的教學管理工作指明方向。