多視角教學質(zhì)量評價的一致性分析與應(yīng)對策略

郭克華，朱翡虹，金一粟，奎曉燕，余肖勇

（1.中南大學計算機學院；2.中南大學本科生院，湖南長沙 410083）

0 引言

“雙一流”學科建設(shè)是一項重大國家戰(zhàn)略，其目標是打造中國高等教育領(lǐng)域的尖端學科，為提升國家綜合實力和國際競爭力培養(yǎng)一流人才。2015 年8 月，國務(wù)院印發(fā)《統(tǒng)籌推進世界一流大學和一流學科建設(shè)總體方案》［1］，推進了新時代高等教育建設(shè)改革。“雙一流”教學質(zhì)量是影響高等教育發(fā)展的重要因素，教學質(zhì)量評價在高校教學改革中起著關(guān)鍵的決策作用［2］。目前，高校教學質(zhì)量評價已形成一套成熟的體系，由教學專家、教學同行和學生評價以及教師自評的多視角評價方式構(gòu)成［3］，其中教學專家評教和學生評教是多數(shù)高校普遍采用的評教方式。教學專家是從專業(yè)、客觀的角度進行評價，具有規(guī)范性和形式性，學生評教是從主觀角度進行評價，具有真實性［4］。不同視角下評教方式所反映的教學質(zhì)量評價結(jié)果之間有何聯(lián)系，對高校教學改革有何啟示，值得深入探究。本文針對多視角教學質(zhì)量評價的一致性進行分析，揭示內(nèi)在的現(xiàn)象特征，就存在的問題提出應(yīng)對策略，以推動高校教學改革，優(yōu)化“評”與“教”的關(guān)系，提高教學質(zhì)量。

1 相關(guān)研究

為深化高校教育改革，提高辦校辦學水平，完善并評估高校教育的教學質(zhì)量評價具有實際應(yīng)用價值。從20 世紀90 年代改革開發(fā)以來，我國教育管理體系就形成以“學生為中心，立足于育人”的教學理念［5-6］。在這種教學理念的指導下，高等教育逐漸偏向以學生評教的方式對教學質(zhì)量進行評價為教學改革的重要反饋。

許多學者從學生或督導評教方面出發(fā)，對教學改革進行研究并提出相關(guān)建議。廖明等［7］基于學生視角，構(gòu)建多元線性回歸模型研究課程知識的實用性、教師授課方式和教科書的質(zhì)量對教師授課效果的影響；朱征軍等［8］則指出思政課程是高校立體化育人的核心，采用一致性原則，從思政目標的引領(lǐng)性、反饋評估的一致性及育才育德的結(jié)合性三方面出發(fā)，改進思政課程教學；李磊等［9］探索“教師—學生”雙主體互動教學模式，結(jié)合任務(wù)驅(qū)動型與案例教學方式，有效地鍛煉了學習發(fā)現(xiàn)、分析及解決問題的邏輯推理能力，同時避免了以單一主體確定教學質(zhì)量，有利于教學客觀反饋；Shen 等［10］運用模糊綜合評價方法對護理情景教學質(zhì)量進行評價，制定相應(yīng)評價體系，利用層次分析法確定各指標權(quán)重，以指導更高質(zhì)量的實踐教學；Ali 等［11］提出加權(quán)區(qū)間值雙主模糊集（WIVDHFS），它是一種以區(qū)間形式描述決策因子及非決策因子的關(guān)系，為影響力大的區(qū)間分配不同權(quán)重并提供關(guān)于決策結(jié)果更多信息的方法［12］，幫助決策者在決策問題上獲得準確合理的結(jié)果，并驗證了WIVDHFS 在教學質(zhì)量評估中的應(yīng)用；謝淮北［13］使用層次分析法對實驗教學質(zhì)量進行綜合評價，構(gòu)造指標層的判斷矩陣；張祥瑛等［14］運用多組有序變量的秩和檢驗構(gòu)建多主體的課堂教學評價體系，分別從各自角度解決了單一評價方案會導致教學評教可信度低的問題；吳培群［3］指出專家與學生評教存在一定差異，專家評分過于依賴顯見性因素，學生評價依賴“就讀經(jīng)驗”。

隨后，學者們引入統(tǒng)計學方法，研究督導評價與學生評價的一致性、差異性，提出評教方式優(yōu)化和教育質(zhì)量改革。趙玉［15］采用統(tǒng)計學上的多面RASCH 模型從學生、教師、評教指標3 個側(cè)面分析教師教學能力，消除不同側(cè)面評分的差異性，使評教指標客觀化，提高多視角評教一致性；高巍等［16］使用Jaccard 系數(shù)和Kappa 統(tǒng)計量的一致性檢驗，論證了國外科學工程專業(yè)相關(guān)指標體系（COPUS）可以作為教學質(zhì)量評價的參考，但他們也指出了中外教育觀的差異，引入國外的COPUS 教學評價量規(guī)具有一定困難；秦昳等［17］針對單一的教學評價方法導致人才培養(yǎng)目標與社會產(chǎn)生脫節(jié)的問題，提出建立云模型評價體系，借助云模型對概念和數(shù)值之間的轉(zhuǎn)換能力，解決教學質(zhì)量影響因素的量化問題。

在不同教改背景下，現(xiàn)有研究工作針對的對象、采用的方法大同小異。“雙一流”大學是我國“國之重器”，其教學質(zhì)量、教學評價直接體現(xiàn)了我國高等教育的最高水平。“雙一流”學科建設(shè)改革研究成果相對缺乏，在《統(tǒng)籌推進世界一流大學和一流學科建設(shè)總體方案》階段性完成之際，本文基于多視角并應(yīng)用網(wǎng)絡(luò)評教系統(tǒng)，研究某“雙一流”高校的本科評教體系，對不同視角的評教數(shù)據(jù)進行差異性分析，全面優(yōu)化評教體系，實行科學評教管理。

2 研究對象與研究方法

2.1 研究對象

本文以某所典型“雙一流”高校2016 級本科生為研究對象，從高校網(wǎng)絡(luò)評教系統(tǒng)中提取本科生4 年的培養(yǎng)數(shù)據(jù)，數(shù)據(jù)具體包括8 468 名學生基本信息、5 595 門課程及其期末考試成績、3 328 位教師課程評教情況。該高校的評教方式為督導評教和學生評教兩種視角，評教數(shù)據(jù)包括學生評教數(shù)據(jù)3 萬余條，督導評教數(shù)據(jù)2 808 條。其中，督導評教是從教學態(tài)度、教學內(nèi)容、教學方法、教學準備及教學效果等指標對課程進行評估；學生評教是完成課程學習后，在期末統(tǒng)一對所有課程的教師進行評教，以總分形式給出。本文借助評教數(shù)據(jù)，從督導、學生的角度，對某類課程教學質(zhì)量評價結(jié)果的一致性進行分析。

2.2 研究方法

本文主要采用t 檢驗和相關(guān)性分析相結(jié)合的方法分析不同視角教學質(zhì)量評價的一致性。為了保證評教數(shù)據(jù)的準確性，本研究對異常數(shù)據(jù)作了處理。首先，對數(shù)據(jù)進行描述性統(tǒng)計，了解督導評教與學生評教的特點；其次，采用獨立樣本的t 檢驗法對督導和學生的評教分數(shù)進行差異性分析［21-22］，并根據(jù)檢驗結(jié)果作更進一步分析，如果檢驗結(jié)果存在差異，則對差異情況進行特征分析；最后，運用統(tǒng)計學上的Pearson 相關(guān)系數(shù)刻畫督導和學生評教之間的關(guān)系，揭示不同視角教學質(zhì)量評教的內(nèi)在聯(lián)系，從而找出影響教學質(zhì)量的因素，更好地指導高校教學質(zhì)量改革。本文統(tǒng)計分析結(jié)果在SPSS 24.0 軟件中完成，無特殊注釋情況下，顯著性水平一般取0.05（α=0.05）。

3 多視角教學質(zhì)量評價一致性分析

3.1 多視角教學質(zhì)量評級情況

本文對某“雙一流”高校2016 級學生（包括少數(shù)重修學生）的課程評教數(shù)據(jù)進行統(tǒng)計分析。在3 萬條學生評教數(shù)據(jù)中，清洗了無效數(shù)據(jù)（極高、極低分），得到同時有學生和督導對教師課程評教的有效數(shù)據(jù)合計1 590 條，這些課程包含的課程覆蓋了全校26 個學院，其開課時間集中分布在2018-2020 年4 個春、秋季學期，描述性統(tǒng)計結(jié)果如表1 所示。

Table 1 Descriptive statistics of teaching evaluation scores of supervisors and students表1 督導評分和學生評分描述性統(tǒng)計

從表1 可知，督導評教平均分為86.12，學生評教平均分為90.68，督導的評教分數(shù)整體比學生低4.56 分，標準差比學生評分低1.03 分；從變異系數(shù)看，督導和學生的評分組內(nèi)個體間離散程度較小，說明督導和學生評教分數(shù)在平均值附近較為集中。根據(jù)上述統(tǒng)計結(jié)果發(fā)現(xiàn)，督導評分普遍低于學生評分，兩者存在一定差異性。

為驗證督導評分和學生評分是否存在顯著性差異，先對1 590 條有效的評教數(shù)據(jù)進行正態(tài)性檢驗。

有多少人當初把武俠書放進桌下偷看，一抬頭竟忘了今夕是何夕；有多少人披個床單，拿根木棍就幻想自己是大俠；還有每年暑假不斷檔的電視劇。

從圖1 可知，督導和學生評教分數(shù)的直方圖中心趨勢線呈鐘形，可認為督導和學生評教分數(shù)的分布基本符合正態(tài)分布規(guī)律，說明評分數(shù)據(jù)合理。因此，可采用t 檢驗方法對數(shù)據(jù)進行差異性分析。

Fig.1 Normality test of supervisory and student evaluation of teaching scores圖1 督導和學生評教分數(shù)的正態(tài)性檢驗

根據(jù)兩個獨立樣本的檢驗結(jié)果表2 可知，對于督導和學生對課程評教的分數(shù)，F(xiàn) 值為2.498，其Sig=0.114＞0.05，可認為督導和學生的評教分數(shù)方差相等；在方差齊時，t 統(tǒng)計量的Sig=0.000＜0.05，故拒絕原假設(shè)，認為督導和學生在教學課程上評分存在差異，該差異具有統(tǒng)計學意義。

Table 2 Independent sample T-test表2 獨立樣本t 檢驗

3.2 教學質(zhì)量評價差異性量化

上文已經(jīng)得出督導和學生的教學質(zhì)量評價結(jié)果不完全一致。為考察存在顯著差異的課程情況，進一步地對教學質(zhì)量評價的差異性進行分析。教學質(zhì)量評價的總體情況有3 種，即督導和學生同時評分高、督導和學生同時評分低，以及督導和學生評分存在不同級別的等級差。本文設(shè)定前兩種情況為一致性評教，第三種情況視為差異性評教。

為了找出評教一致和差異相對應(yīng)的課程特征，進一步對課程差異性進行量化，將督導和學生的評教分數(shù)轉(zhuǎn)換為5 個評教等級，即分數(shù)≥95 分設(shè)為優(yōu)秀，95 分＜分數(shù)≤85 分為良好，85 分＜分數(shù)≤75 分為一般，75 分＜分數(shù)≤60 分為合格，分數(shù)＜60 分為不合格，并按等級從高到低分別量化為5、4、3、2、1。將督導和學生的評教分數(shù)轉(zhuǎn)換為等級制后，能明顯看出兩者區(qū)別，督導評教的結(jié)果主要集中于“良好”和“一般”兩個等級，而學生評教結(jié)果集中在“優(yōu)秀”和“良好”兩個等級，具體如圖2 所示。

Fig.2 The distribution of supervisory and student evaluation levels圖2 督導和學生評教等級分布

本文將督導和學生評教等級差在兩個等級及以上的視作顯著性差異，將評教等級差在一個等級以內(nèi)的視為一致性評教。經(jīng)篩選，在1 590 條有效評教數(shù)據(jù)中，得出165條為具有顯著差異的數(shù)據(jù)，即約10.3%的數(shù)據(jù)顯示學生和督導評教存在顯著性差異；89.7%課程的評教具有一致性。其中，一致評價差（評教分數(shù)小于75 分）的課程僅有21 門，約占1.47%，一致評價好的情況占大概率，這說明該高校的評教體系是合理的。總體課程差異情況結(jié)果如圖3 所示。

Fig.3 Differences in the overall curriculum圖3 總體課程差異情況

3.3 具有差異與一致評價差的課程特征分析

在以上分析中，已經(jīng)了解到督導和學生的評教結(jié)果有89.7%的概率趨于一致，該結(jié)果符合客觀事實。為課程改革方案提供指導性幫助，對評教具有差異性的課程以及被督導和學生一致評價差的課程進行特征分析，具體如圖4—圖7 所示。

從圖4 可以看出，顯著差異課程學生成績平均分為75.68，一致評價差的課程學生成績平均分為69.42，可得知這兩類課程對學生而言難度都較大，學生成績整體不高。根據(jù)圖5—圖7 可得出以下兩個結(jié)論：

Fig.4 The relationship between course performance and teaching evaluation圖4 課程成績與教學評價關(guān)系

Fig.5 The relationship between curriculum attributes and teaching evaluation圖5 課程屬性與教學評價關(guān)系

Fig.6 The relationship between the distribution of the course opening semester and the teaching evaluation圖6 課程開課學期分布與教學評價關(guān)系

Fig.7 The relationship between curriculum scale and teaching evaluation圖7 課程規(guī)模與教學評價關(guān)系

（1）顯著差異課程主要是必修課，由某工科學院承擔，屬于工科類課程。具有顯著差異的課程開課時間與所有課程分布一致。根據(jù)該類課程規(guī)模顯示，上課人數(shù)在11～100 人以內(nèi)，可以得出該類課程主要為專業(yè)類課程。

（2）一致評價差的課程主要是選修課，且主要由理工類學院承擔。課程開課時間主要集中在2018-2019 秋季學期內(nèi)，2016 級學生正處于大三下學年階段，課程人數(shù)在100人以內(nèi)，由此推斷出該類課程屬于基礎(chǔ)公共課程。

綜上，可總結(jié)得出差異和評價差的課程都具有規(guī)模小、開課學期集中度高、學生成績偏低的一致特征。

3.4 督導與學生評教相關(guān)性

在高校中，督導對教學質(zhì)量評價是依據(jù)一套指標體系完成，該指標體系能客觀準確地反映教學基本情況，涵蓋教師的思想態(tài)度、授課形式、儀容儀表、教案設(shè)計、課堂氛圍等方面。本文所選取大學的課程評教體系包括一級指標和二級指標，具體如表3 所示。

Table 3 Standards for supervision and evaluation表3 督導評教標準

為了進一步找出差異課程的內(nèi)在原因，考察督導評教的指標體系與學生評教之間的聯(lián)系，采用統(tǒng)計學上的相關(guān)性進行刻畫，包括所有課程上學生綜合評分與督導評教各項指標的相關(guān)分析、督導和學生評分與課程特征的相關(guān)性分析，從而揭示多視角評價的內(nèi)在標準，找出差異存在的影響因素。

由表4 可得，學生評教與督導的評教指標x5、x8呈現(xiàn)出0.05 水平的顯著性，以及與x4、x7、x9和x10在0.01 水平上也呈現(xiàn)顯著相關(guān)性。特別地，x7和x10指標的相關(guān)系數(shù)大。具體表現(xiàn)在學生注重教師在教學課程上的目標和任務(wù)是否清晰明確，以及教學信息技術(shù)、傳統(tǒng)教學手段、教學資源等應(yīng)用是否合理這兩方面。同時也看重教師備課情況，反映在教師上課時是否能透徹闡述課程內(nèi)容，還有教師的普通話水平對評教也會產(chǎn)生一定影響。x9和x10都屬于學生上課的狀態(tài)，是督導評分標準里分值最高的兩項，也是與學生評教產(chǎn)生0.01 顯著相關(guān)，說明學生上課狀態(tài)是督導和學生同時比較關(guān)注的點。

Table 4 Relevance of supervision of evaluation indicators and student evaluation表4 督導評教指標與學生評教相關(guān)性

由表5 可知，督導和學生評教都與課程屬性、開課學期及課程規(guī)模顯著相關(guān)。具體表現(xiàn)為必修課的評價分數(shù)高于選修，選修分數(shù)高于任選，這種現(xiàn)象在督導評分中尤為明顯。開課學期越往后、規(guī)模越小的課程，評價就越高。對于全校性的公共課，比如體育課、思政課等，督導和學生對其教學評價比專業(yè)類課程低。此外，學生評教還與授課教師具有正相關(guān)聯(lián)系，入職時間排在靠后的教師，學生對其教學質(zhì)量評價就越高，說明學生更偏向于新來的教師。

Table 5 Relevance of supervision and student evaluation of teaching and course Features表5 督導和學生評教與課程特征的相關(guān)性

4 總結(jié)與建議

4.1 總結(jié)

本文以某所“雙一流”高校2016 級本科生4 年培養(yǎng)過程的相關(guān)數(shù)據(jù)為研究對象進行多視角教學質(zhì)量評價結(jié)果的一致性分析，挖掘不同角度教學質(zhì)量評價結(jié)果之間的聯(lián)系，為學生個性化培養(yǎng)、培養(yǎng)方案優(yōu)化、教學質(zhì)量改革提供量化參考。根據(jù)對評教結(jié)果的定量分析，高校應(yīng)將評教結(jié)果及時反饋至學院和教師，并在課程設(shè)置和課程教學上作出相應(yīng)調(diào)整，一定程度上幫助教師改進教學，促進教師在教學過程中與學生形成良好關(guān)系。由以上統(tǒng)計分析，可以得出如下結(jié)論：

（1）督導評教和學生評教結(jié)果大體趨于一致。督導評教和學生評教僅有10%的數(shù)據(jù)存在差異性、督導的評教分數(shù)普遍比學生低、督導評分的區(qū)分度比學生大、督導評教的準則比學生評教標準。

（2）存在差異性的課程主要為選修課。這些課程主要由某工科學院承擔開課任務(wù)，其呈現(xiàn)出學生考試成績低、課程規(guī)模小、開課時間集中在大三上學期的特征。同樣地，督導和學生一致評價差的課程主要是必修課，屬于基礎(chǔ)公共課程，課程特征和差異課程相同。

（3）督導和學生評教之間存在顯著相關(guān)。他們著重關(guān)注學生上課的具體表現(xiàn)，其次關(guān)注教師教學情況。對于學生而言，教師備課是否充分，上課時是否能清晰表達課本內(nèi)容，影響學生在課堂上的表現(xiàn)，從而影響學生對該課程和教師的評價。

（4）課程特征對督導和學生評教情況產(chǎn)生影響。必修課的評教分數(shù)比選修課高，任選最低；開課學期越往后、規(guī)模越小的課程，評價就越高。對于全校性的公共課而言，比如體育課、思政課等，督導和學生對其教學質(zhì)量的評價分數(shù)較其他課程低。

4.2 建議

根據(jù)對差異課程特征的分析結(jié)果，督導和學生對教師教學評價存在差異，本文給出幾點建議：

（1）量化指標，完善學生評教體系。目前，高校采用總分制的學生評教形式過于簡單，無法從學生評教數(shù)據(jù)中獲取學生對課程的反饋和對教師的建議。本文建議進一步改善學生評教方式，可采取給予學生對教師教學情況的量化指標，比如教師對課本知識的熟練程度、教師對學生的答疑情況、教師是否注重培養(yǎng)實踐和創(chuàng)新能力及課程考核方式是否合理等，學生可根據(jù)自身情況給出分數(shù)。

（2）學生導向，更新課堂教學模式。課程存在差異的課程主要是專業(yè)課，學生看重的是教師教學狀態(tài)和課堂氛圍。對于專業(yè)類課程，其授課方式不應(yīng)該與公共課一致，授課教師可設(shè)計多樣化的教學方式，如采取小組討論、課堂互動等形式，激發(fā)學生學習興趣，通過問題引導、實驗解說等方式拓展學生思考和探究問題的空間。

（3）全面發(fā)展，優(yōu)化課程結(jié)構(gòu)設(shè)置。學生在大學中的課程體系是由其所在專業(yè)的培養(yǎng)方案決定。專業(yè)類課程一般安排在大三階段，學生在大三整年都主修專業(yè)課程，這樣安排會對學生造成較大的學業(yè)壓力。高校可在基礎(chǔ)教育課程上，制訂若干組“專業(yè)課組合”，由學生自由選擇，每個專業(yè)課組合需要有對應(yīng)的教學計劃；或在修讀專業(yè)課的同時，多開設(shè)通識課，以學科交叉方式拓寬學生知識面。

5 結(jié)語

“雙一流”建設(shè)是中國新時代在高等教育發(fā)展的重大戰(zhàn)略部署，本文研究的某“雙一流”高校的本科教育質(zhì)量評價體系具有較高的成熟度，多視角的評教分析結(jié)果大部分趨于一致，表現(xiàn)了“雙一流”高校學科建設(shè)的優(yōu)越性，充分體現(xiàn)了中國建設(shè)世界一流大學和一流學科所取得的成績，其評教體系值得推廣至普通高等院校的教育改革中。在學科建設(shè)發(fā)展形勢表現(xiàn)出較好趨勢時，也應(yīng)持續(xù)重視高等教育本科教學質(zhì)量，進一步發(fā)展本科教育中差異性大的選修課程評教體系，讓中國教育普適和差異并存，為今后的教學管理工作指明方向。