教學(xué)質(zhì)量評價系統(tǒng)中識別評教偏差的應(yīng)用技術(shù)研究

李礴，鄧桂萍

（長沙航空職業(yè)技術(shù)學(xué)院，湖南長沙 410124）

當(dāng)前，在我國高校教師教學(xué)質(zhì)量的評價體系中，學(xué)生對教師授課過程及其教學(xué)效果的評價已占非常重要的地位。學(xué)生評教不僅能作為考核教師教學(xué)水平的評估依據(jù)，更能促進(jìn)教師對教學(xué)活動、教學(xué)方式的持續(xù)改進(jìn)。但是，由于學(xué)生對教師存在個人情感因素，很容易使得學(xué)生在評教過程中產(chǎn)生評教偏差。一方面由于學(xué)生的教育背景、個人能力以及對課程知悉程度等差異因數(shù)造成的評教偏差，屬于感知差異評教偏差；另一方面，學(xué)生的隨意消極評教、存心惡意評教以及為了取悅教師和學(xué)校的趨高評教而產(chǎn)生的評教偏差則屬于非感知差異評教偏差。無論哪種評教偏差均能嚴(yán)重影響教師的教學(xué)質(zhì)量評判，無法準(zhǔn)確反映教師的真實教學(xué)水平。因此，開展對高校教師教學(xué)質(zhì)量評價系統(tǒng)中識別、修正或剔除學(xué)生的評教偏差，提升學(xué)生評教準(zhǔn)確性的研究，對降低學(xué)生評教偏差對教師評價效果的影響有著極其重要的研究意義。

1 核心概念的界定

本文涉及的高校主要是指各類普通本科院校及高職高專，主要涉及以下幾個核心概念：

（1）高校教師教學(xué)質(zhì)量評價

高校教師教學(xué)質(zhì)量評價是對教師教學(xué)過程及其結(jié)果是否達(dá)到一定質(zhì)量標(biāo)準(zhǔn)所做出的價值判斷，是衡量教學(xué)工作全面設(shè)計、實時、分析的科學(xué)性，從而確保教學(xué)目標(biāo)和教學(xué)任務(wù)的高效實現(xiàn)[1]。教師教學(xué)質(zhì)量評價指標(biāo)是教學(xué)質(zhì)量評價體系或評價系統(tǒng)中的重要內(nèi)容。評價指標(biāo)通常需要包含：教學(xué)素養(yǎng)、教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)效果等幾個維度，客觀全面地反映教師的基本素質(zhì)和教學(xué)能力[2]。針對這幾個維度展開，形成具體的評價指標(biāo)要素，學(xué)生才能對教師評價具有實際的可操作性。例如教師素養(yǎng)可制定：為人師表、語言表達(dá)、精神狀態(tài)、板書規(guī)范等指標(biāo)要素；教師態(tài)度可制定：教學(xué)紀(jì)律、備課輔導(dǎo)、師生交流、教學(xué)責(zé)任等指標(biāo)要素；教學(xué)方法可制定：教學(xué)互動、教學(xué)手段、教學(xué)形式、學(xué)以致用等指標(biāo)要素；教學(xué)效果可制定：課

題氣氛、考試成績、能力提升、全面發(fā)展等指標(biāo)要素。（2）學(xué)生評教

學(xué)生評教是指高校在校學(xué)生根據(jù)學(xué)生評教制度和評教指標(biāo)體系，通過評教系統(tǒng)或填寫評教問卷等方式對教師的教學(xué)過程、教學(xué)質(zhì)量、教學(xué)效果及學(xué)生收獲等予以定量評價的過程[3]。學(xué)生評教對于教師的教學(xué)素養(yǎng)、教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)效果等幾個維度的教學(xué)質(zhì)量評價有著重要的參考價值。本文研究的學(xué)生評教界定為學(xué)生通過教師教學(xué)質(zhì)量評價系統(tǒng)，根據(jù)評價指標(biāo)對教師的教學(xué)過程和教學(xué)質(zhì)量進(jìn)行定量評價。

（3）學(xué)生評教偏差

學(xué)生評教偏差是指學(xué)生在依據(jù)評價指標(biāo)對教師進(jìn)行評教的過程中，因?qū)W生的主觀因素或客觀因素而產(chǎn)生的學(xué)生評教結(jié)果與教師的實際教學(xué)質(zhì)量與效果發(fā)生偏離或偏差。評教偏差因素可分為感知差異評教偏差和非感知差異評教偏差兩方面。學(xué)生的教育背景、個人能力以及對課程知悉程度等差異因數(shù)造成的評教偏差屬于感知差異評教偏差；學(xué)生的隨意消極評教、存心惡意評教以及為了取悅教師和學(xué)校的趨高評教而產(chǎn)生的評教偏差則屬于非感知差異評教偏差[3]。本文的學(xué)生評教偏差界定為學(xué)生的感知差異評教偏差和非感知差異評教偏差兩種，研究目的是如何通過技術(shù)手段來消除學(xué)生的評教偏差。

2 高校學(xué)生評價偏差因素的研究現(xiàn)狀

當(dāng)前，國內(nèi)外學(xué)者針對高校學(xué)生評價偏差的因素及對策已展開了廣泛的研究。美國學(xué)者Anikeef研究發(fā)現(xiàn)學(xué)生所處的年級會影響評教分?jǐn)?shù)，高年級學(xué)生給教師打分較為寬松。Feldman和Marsh研究發(fā)現(xiàn)教師個性特征和性別均能對學(xué)生評教產(chǎn)生較大影響。國內(nèi)學(xué)者對我國高校學(xué)生評教偏差的因素也進(jìn)行了深入研究。2019年，北京師范大學(xué)劉冬梅等針對高校學(xué)生評教的影響因素與應(yīng)對策略作了研究，其研究分別從高校教師差異和高校學(xué)生差異兩個角度分析了影響學(xué)生評教的因素[4]。劉冬梅認(rèn)為，教師的專業(yè)領(lǐng)域差異、任教班級差異、性格理念差異、才能才干差異以及責(zé)任心與學(xué)生感情差異是教師給學(xué)生產(chǎn)生評價偏差的因素；學(xué)生的學(xué)習(xí)態(tài)度差異、學(xué)習(xí)興趣差異、性格愛好差異、學(xué)習(xí)方法差異以及評教態(tài)度差異是學(xué)生自身方面評價偏差的因素。中南民族大學(xué)解佳龍認(rèn)為高校學(xué)生的評教偏差主要表現(xiàn)在認(rèn)知模糊評教、隨意消極評教、存心惡意評教、引致趨高評教等四個方面[5]，解佳龍在學(xué)校、學(xué)生和教師三個層面上提出了高校學(xué)生評教糾偏的指導(dǎo)策略和建議，但沒有給出如何修正評教偏差的具體方法。中國地質(zhì)大學(xué)（武漢）譚智力等針對高校學(xué)生的感知差異造成的評教偏差現(xiàn)象進(jìn)行了研究，從學(xué)生的教育背景、個人能力、個人先前的學(xué)科興趣和了解程度、教師的可愛度、評價時間等幾個方面分析了產(chǎn)生感知差異的原因[6]，但其研究結(jié)果也只是提出了關(guān)于消除感知差異引起的評教偏差的應(yīng)對策略，并非具體實際方法，而且對于學(xué)生的隨意消極評教、存心惡意評教以及學(xué)生為取悅教師和學(xué)校而產(chǎn)生的趨高評教等行為造成的非感知評教偏差并未進(jìn)行研究。

以上均是對我國高校學(xué)生評教偏差的產(chǎn)生因素及其應(yīng)對策略的研究成果，為建立學(xué)生評教模型和科學(xué)的管理機制提供了理論支撐。

3 高校學(xué)生評教信息技術(shù)及管理系統(tǒng)的研究現(xiàn)狀

目前我國針對學(xué)生評教技術(shù)層面的研究主要體現(xiàn)在學(xué)生評教系統(tǒng)開發(fā)、統(tǒng)計分析、結(jié)果處理等軟件設(shè)計等方面。鄒文林以證據(jù)推理方法研究了網(wǎng)上學(xué)生評教，認(rèn)為證據(jù)推理方法是一種研究認(rèn)識不確定性問題的方法，并將證據(jù)推理方法應(yīng)用到學(xué)生評教中，以證據(jù)推理作為測評統(tǒng)計方法開發(fā)了網(wǎng)上評教系統(tǒng)[7]，該研究成果在一定程度上提高了網(wǎng)上評教數(shù)據(jù)的準(zhǔn)確性，為評教數(shù)據(jù)處理提出了新的方法。楊超等研究了學(xué)生評教信息系統(tǒng)，對提高學(xué)生評教系統(tǒng)的準(zhǔn)確度、可信度提出了建議[8]。艾文國等人提出了按“同質(zhì)課程”建立比較集，設(shè)計了適合各學(xué)科、專業(yè)特點的動態(tài)指標(biāo)體系，并給出了指標(biāo)權(quán)重的確定方案，以標(biāo)準(zhǔn)分評教模型為基礎(chǔ)，構(gòu)建了評教修正模型[9]。張金標(biāo)運用基于信息熵的理論算法構(gòu)建了評教偏差識別與修正模型，在一定程度上提高了評教系統(tǒng)數(shù)據(jù)的可信度[10]。

以上關(guān)于我國高校學(xué)生評教系統(tǒng)的研究成果大致可以總結(jié)為以下三個方面：一是利用信息挖掘技術(shù)分析影響教學(xué)質(zhì)量的關(guān)鍵因素；二是利用信息技術(shù)提高評教系統(tǒng)的準(zhǔn)確度和可信度；三是以動態(tài)評教指標(biāo)體系為基礎(chǔ)，構(gòu)建評教修正模型。

4 修正或剔除學(xué)生評教偏差的應(yīng)用技術(shù)

影響學(xué)生評教偏差的關(guān)鍵因素主要分為兩類，一類是學(xué)生感知差異引起的評教偏差，另一類是學(xué)生非感知差異引起的評教偏差。根據(jù)目前的研究成果，可以通過大數(shù)據(jù)分析學(xué)生評教數(shù)據(jù)，得到一般性高校教師教學(xué)質(zhì)量評價體系中普遍存在的學(xué)生感知差異因素，以此為基礎(chǔ)建立符合一般性高校教師教學(xué)質(zhì)量評價體系且能夠修正學(xué)生感知差異的評教模型，并在此基礎(chǔ)上研究統(tǒng)計學(xué)中的各種異常值判別準(zhǔn)則，以識別或剔除學(xué)生非感知差異產(chǎn)生的評教偏差，進(jìn)而能夠最大程度地減少因?qū)W生評教偏差對教師執(zhí)教水平和執(zhí)教效果的評價影響。本文認(rèn)為可以具體從以下幾個技術(shù)方面進(jìn)行研究：

（1）使用大數(shù)據(jù)分析方法，研究高校學(xué)生評教數(shù)據(jù)樣本

調(diào)研收集各類高校學(xué)生評教的大數(shù)據(jù)樣本，采用莖葉圖分析樣本數(shù)據(jù)的分布特征，采用箱型圖分析樣本數(shù)據(jù)的中心特征和離散特征，重點關(guān)注可疑異常數(shù)據(jù)的位置特征，結(jié)合莖葉圖統(tǒng)計可疑異常數(shù)據(jù)出現(xiàn)的頻次與頻率，計算出各數(shù)據(jù)段的出現(xiàn)頻率或百分比。根據(jù)分析得到數(shù)據(jù)特征，仿真出易于數(shù)學(xué)模型實驗用的樣本特征數(shù)據(jù)。

（2）構(gòu)建能夠反映高校學(xué)生感知差異的閉環(huán)評教模型

基于一般性學(xué)生評教指標(biāo)體系的特征數(shù)據(jù)樣本，提煉出能夠反映學(xué)生評教偏差因素的評價指標(biāo)，構(gòu)成評教指標(biāo)體系，利用主成分分析法和加權(quán)平均法對評教指標(biāo)體系中的評教指標(biāo)權(quán)重進(jìn)行合理配比與計算，構(gòu)建評教指標(biāo)的象限圖分析模型，形成一套能夠反映學(xué)生感知差異的學(xué)生評教模型。評教模型根據(jù)評教偏差結(jié)果與實際應(yīng)用情況重新分析評教指標(biāo)體系，對于不合適的評教指標(biāo)則從評教指標(biāo)體系中剔除，對于合適的評教指標(biāo)則在評教指標(biāo)體系中予以保留或新增，進(jìn)而形成一個可以修正學(xué)生感知差異評教偏差的閉環(huán)評教模型。

（3）確定在閉環(huán)評教模型中識別或剔除學(xué)生非感知差異評教偏差的最佳方法

通過分析對比萊因達(dá)準(zhǔn)則、格拉布斯準(zhǔn)則、狄克遜準(zhǔn)則、肖維勒準(zhǔn)則、絕對均值法以及分位數(shù)法等六種可用于動態(tài)檢測數(shù)據(jù)異常值的準(zhǔn)則，對六種數(shù)據(jù)異常值檢測準(zhǔn)則設(shè)計相應(yīng)的實驗算法。通過實驗，從異常值識別效果（孤立異常值、連續(xù)異常值）、是否要求樣本正態(tài)分布、算法實現(xiàn)的難易程度以及適應(yīng)范圍等方面對比分析六種數(shù)據(jù)異常值判別準(zhǔn)則。六種數(shù)據(jù)異常值判別準(zhǔn)則的對比如表1所示。

表1 六種數(shù)據(jù)異常值判別準(zhǔn)則的對比

學(xué)生的評教數(shù)據(jù)一般呈正態(tài)分布，其中的異常評分（包括惡意評分）通常不會連續(xù)出現(xiàn)。在前面分析對比的六種數(shù)據(jù)異常值判別準(zhǔn)則中，只有狄克遜準(zhǔn)則和格拉布斯準(zhǔn)則的特點均符合一般評教系統(tǒng)的數(shù)據(jù)分布要求。經(jīng)進(jìn)一步研究發(fā)現(xiàn)，對于樣本數(shù)量n，在3≤n＜25的范圍內(nèi)，使用狄克遜準(zhǔn)則和格拉布斯準(zhǔn)則來判別可疑異常數(shù)據(jù)是合適的，但在25≤n≤185的范圍內(nèi)，格拉布斯準(zhǔn)則的判別效果比狄克遜準(zhǔn)則更佳。而在一般評教系統(tǒng)中，單個被評項的評分總數(shù)量在10至100之間，所以格拉布斯準(zhǔn)則比狄克遜準(zhǔn)則更適合于評教系統(tǒng)的實際要求。

格拉布斯準(zhǔn)則的基本思想如下:先將呈正態(tài)分布的等精度多次測量的樣本數(shù)據(jù)按從小到大排列,統(tǒng)計臨界系數(shù)G(a,n)的值為G0,然后分別計算出G1、Gn:G1=(X-X1)/σ，其中，Gn=(Xn-X)/σ，α是檢出水平值，該值與置信概率有關(guān)。若G1≥Gn且G1＞G0，則數(shù)列中首數(shù)據(jù)X1應(yīng)予以剔除;若Gn≥G1且Gn＞G0，則數(shù)列中的末數(shù)據(jù)Xn應(yīng)予以剔除；然后對數(shù)列中剩下的測量值重新計算平均值和標(biāo)準(zhǔn)偏差以及G1、Gn和G0。重復(fù)上述步驟繼續(xù)進(jìn)行判斷，當(dāng)出現(xiàn)G1＜G0且Gn＜G0時,則說明此時的樣本數(shù)列不存在“異常值”，即可停止檢測。

基于格拉布斯準(zhǔn)則結(jié)合評教系統(tǒng)的評教指標(biāo)，采用協(xié)同過濾算法得到學(xué)生評教的預(yù)測評分，通過計算預(yù)測評分與實際評分之間的平均絕對偏差MAE來衡量預(yù)測評分的準(zhǔn)確度。平均絕對偏差MAE滿足公式1，其中：Pi是指學(xué)生對n個評教對象的第i個評教項目的預(yù)測評分，Qi是學(xué)生對該評教項的實際評分。MAE的值越接近于0，說明預(yù)測值與實際值偏差越小，預(yù)測效果越好。

在取得較好預(yù)測效果的前提下，根據(jù)評教系統(tǒng)設(shè)定的惡意評分識別規(guī)則，將預(yù)測評分與算法識別出的異常評分進(jìn)行差異率計算，差異率v滿足公式2。其中Pi為第i個項的預(yù)測評分，Ti為算法識別出的某學(xué)生對第i項的異常評分。

若計算的差異率v大于門限值55%以上，則判定異常評分Ti為惡意評分，且差異率的門限值可依據(jù)惡意評分識別規(guī)則進(jìn)行靈活設(shè)置。

5 總結(jié)

基于以上研究，本文認(rèn)為可以通過大數(shù)據(jù)分析等研究方法，構(gòu)建出能夠反映學(xué)生評教偏差因素的評教指標(biāo)體系，對評教指標(biāo)體系中的評教指標(biāo)權(quán)重進(jìn)行合理配比與計算，研究出能夠反映高校學(xué)生感知差異的閉環(huán)評教模型，通過實驗確定出格拉布斯準(zhǔn)則在評教系統(tǒng)中識別學(xué)生惡意評分是一種較好的解決方案，進(jìn)而可以為設(shè)計既能自我修正學(xué)生感知差異評教偏差，又能識別或剔除學(xué)生非感知差異評教偏差的評教系統(tǒng)提供了有效的解決方案，為最大程度上減少學(xué)生評教偏差對教師評價效果的影響有著重要的應(yīng)用價值。