基于機器學習的高校學生評教信度分類分析

苑迎春，雒明雪，陳江薇

(1.河北農業大學 信息科學與技術學院，河北 保定 071000；2.河北農業大學 教務處，河北 保定 071000)

課堂教學是高校實現人才培養最直接和最根本的方法，課堂教學質量的高低直接決定著人才培養質量，科學合理的課堂教學質量評價能有效地促進人才培養質量的提升。為保障課堂教學質量得到有效監測和及時反饋，很多高校通過學生評教這一舉措來實施監測并反饋教學質量情況，從而促進教學質量的提高。學生評教為教師收集學生反饋信息和改進教學服務提供幫助，其結果直接影響學校對教師考核、課程規劃等。然而，在實際評教過程中，存在著學生不客觀評教的問題，如學生在評教時存在被動、消極、敷衍、“集體高分”“分數貶值”、隨意評教、惡意評教等現象[1-4]。以上不良現象影響了評教的客觀性，因此如何糾正學生不客觀評教，提高學生評教信度具有重要意義。

為提升學生評教的客觀性，大量學者做了相關研究。部分學者從評價指標出發，建立科學、有效的評教指標，從教學、練習與評價、學生反饋等多維度進行打分，全方面、多角度地對教師教學進行評價，同時提高學生評教的便捷性；也有部分學者從評教原始數據的分析、處理入手，通過對不客觀數據的識別，將異常數據進行剔除或通過修正算法進行修正，減輕偏離數據的影響，使教師最終評價更加客觀[5]。

針對學生評教數據的客觀性問題，不同學者通過定義不同指標進行識別和區分。陳慧針對嚴重偏離的數據，采用統計學方法定義指標，認為評教數據應符合正態分布，利用三倍標準差原理，將落在三倍標準差區間之外的數據定義為偏離數據。姚成、龔毅等學者引入粗差理論定義指標，識別嚴重偏離群體的數據[6-7]。李慧等人則利用K-Modes改進算法定義偏離指標，對評教數據進行聚類，尋找評教中的離群點[8]。陳文等人通過對學生評教原始數據進行信度分析，發現數據中存在“噪聲”數據，并將噪聲數據分為“偏見”噪聲和“敷衍”噪聲 ，對不同類型的噪聲定義不同指標進行識別[9]。“偏見”評價噪聲采取3a法則進行識別，對超過10名教師給予相同分數的數據定義為“敷衍”評價噪聲。

對評教不客觀數據的處理方法，不同學者也存在不同意見。楊曉明[10]等學者認為評教數據量大，可采用刪除數據的方法處理不客觀數據。溫兵等則通過定義偏差系數(描述某位學生的評價與大眾的偏差)和主觀原因系數(評價結果的兩極化程度，偏高或偏低程度)，引入公平度的概念對每個學生的數據進行加權，減輕不客觀數據的權重。張義東和于長英、高旭都提出了采用標準分的方法處理評教數據，有效消除不同年級、專業、學科以及課程性質等因素對教師評分的影響，提高評教結果的可比性，使評教結果可信度和有效性大幅提高[11-13]。劉瑞玲則是在運用LOF離群算法識別離群數據后，在大量數據反復試驗基礎上定義了修正公式[14]。對離群數據進行修正，利用修正方式對偏差評教數據進行糾正，更大限度的保留了學生評教價值。

以上對評教中不客觀數據指標的定義，大多聚焦于偏離數據的嚴重程度分析和處理，而對于“敷衍”數據指標定義較少；對不客觀數據的處理大多采用直接刪除或加權、修正來減輕不客觀數據的影響。本文通過對評教數據分析，多角度定義學生的評教信度指標，利用機器學習中的聚類算法，按照學生樣本信度近似程度，實施無監督分類，通過對分類結果分析得到群體特征，借助星級評定向學生來反饋評教信度，引導和警示學生客觀評教，形成良性循環機制提高學生評教信度，改善學生評教質量。

一、學生評教信度指標定義

一般而言，學生評教的客觀程度取決于兩個方面。一方面，是同一個學生對所學課程的評分，表達了一名學生對多門課程教師的評教態度，學生對不同課程任課教師評分應有所區分，若學生對不同任課教師的區分度明顯，說明其評價的客觀性越高。另一方面，則是多名學生對同一門課程教師的評教態度，可用一名學生與同課程學生評教的偏離程度衡量。通常情況下，如果他和其他學生的評教偏離度越大，則說明該學生對這門課程評教的客觀程度越差。此外，體現學生主觀思維的教師評語也是高校學生評教的主要內容，能比較真實地反映學生想法，相比客觀評分能夠提供更加豐富的信息。因此，主觀評語質量也是學生評教客觀程度的重要體現之一。本文正是基于上述角度，定義了描述學生客觀評教信度的7個指標，用以衡量和評價學生的評教信度，如表1所示。

表1 評教信度指標

1.區分度方差，用于描述學生對不同教師評分的區分度。以學生評教所有評分分數作為研究對象，計算每位學生評分方差。計算公式為：

(1)

根據區分度方差可知，一名學生同時評價多門課程，方差值越大，表明學生對教師區分度越大。

2.波動極差，用于描述學生不同課程評分的波動性。計算每位學生評分最大值、最小值，得到極差。計算公式為：

(2)

式中，max(Si)為第i個學生評分最大值，min(Si)為第i個學生評分最小值。

根據波動極差，一名學生同時評價多門課程，波動極差越大，表明評教波動性越強。

3.相鄰差方差，用于描述學生對不同教師評分的差距。將評分進行排序，計算相鄰評分差值的方差。計算公式為：

SORi=sort(Si)

(3)

SAij=SORj+1-SORj

(4)

SAVi=var(SAi)

(5)

式中，SORi為第i個學生評分排序，SAij為第i個學生，第j、j+1門課程分數差，SAVi為第i個學生相鄰差方差。

根據相鄰差方差可知，一名學生同時評價多門課程，相鄰差的方差值越大，表明學生對教師的評分差距越大。

4.最大相同分數比，用于描述學生評分過程中給不同教師相同分數的程度。計算每位學生同一分數的個數，得到最大相同分數數目占所有課程數的比值。計算公式為：

SMi=max(SIi)/n

(6)

式中，SIi為第i個學生評教相同分數個數的集合，n為第i個學生評教課程數。

根據最大相同分數比可知，一名學生同時評價多門課程，最大相同分數比越低，表明學生的相同評分越少，其認真客觀的評教態度越強。

5.信息量，用于描述學生評教文本有效信息數量，評論內容是否與教師、課堂相關。根據聶卉等提出的平均詞條數計算信息量[15]。計算學生每條評語中詞語在詞典中的詞條數，將平均詞條數作為信息量指標，計算公式為：

Tij=dict_ni

(7)

(8)

式中，Tij為第i個學生的第j條評語包含詞條數目，IMi為第i個學生n條評語平均詞條數即信息量。

根據信息量可知，一名學生同時評價多門課程，信息量越高，表明學生評價的有效信息越多。

6.評語相似度，用于描述學生評教內容的相似度。文獻[16]將文本轉化為空間向量，結合詞語語義信息進行相似度計算。本文評語相似度計算簡化文獻中的算法，計算公式為：

(9)

式中，STi為第i個學生相同評語個數，n為第i個學生評語個數。

根據評語相似度可知，一名學生同時評價多門課程，評語相似度越低，表明學生相同評語越少，評教越認真。

7.偏差率，用于描述學生課程評分偏離群體程度。對任何一名學生，在同一門課程中的評教分數應與其他同學大體一致，不應嚴重偏離同課程的其他同學。根據溫兵提出的粗差算法進行偏差判斷，記錄偏差學生，得到每位學生偏差評教數，計算偏差率[11]。偏差率計算公式為：

(10)

(11)

根據偏差率可知，一名學生同時評價多門課程，出現偏差的比率越低，表示學生出現的偏差評教越少，能夠客觀進行評教。

二、學生評教信度識別方法

(一)學生評教信度框架

本文基于機器學習算法和文本分析算法設計學生評教信度識別方法框架(見圖1)。本框架包括數據的收集與處理、評教指標的計算、評教信度指標分析、評教信度分類4個部分。

圖1 學生評教信度識別框架圖

(二)評教數據的收集與處理

數據的收集與預處理是后續計算的基礎。本文研究數據來自某高校2018—2019學年度，29 057名學生近44萬條評教數據。由于每位學生所上課程數目存在較大差異，為更好地體現數據的群體性特征，將學習課程數量少于10門的學生數據進行剔除。最終剩余學生25 455名，評教數據399 836條。

(三)學生評教信度指標計算

本文第一節對學生評教信度指標進行了定義，計算過程如下：

1.區分度方差、波動極差、相鄰差方差、最大相同分數比、偏差率的計算如式(1)～(6)、(10)～(11)。

2.信息量、評語相似度的計算過程需進行文本預處理。本文選用目前主流的分詞工具結巴分詞，對學生評語進行分詞；將評語中無意義的字、詞，如“的”“一些”等刪除[17]。結合知網、臺灣大學等停用詞表，組合成新的停用詞表，對分詞后的數據去掉停用詞，然后進行詞頻統計，并經過人工剔除評教無關詞語，形成評教詞典。信息量、評語相似度計算如式(7)～(9)。

(四)評教信度指標相關分析

對計算完成的信度指標進行相關性分析，結果如表2所示。可以看出區分度方差、波動極差、相鄰差方差3個指標的相關系數均大于0.7，具有較強相關性。為避免指標冗余，經多次實驗，將相鄰差方差、波動極差指標刪除。

表2 指標間相關性分析

(五)學生評教信度分類方法

1.分類方法。本文研究的學生評教數據為無標簽數據，故利用聚類算法進行學生信度分析。聚類分析是常用的數據挖掘技術之一，被應用于信息處理、圖像分析等多個領域。聚類算法是研究特征分類問題的一種多元統計方法，通過將數據分為不同簇，使同一個簇中數據具有較高的相似度，不同簇中數據差距較大。本文中不同學生的評教行為具有相似性，通過歸類研究，有助于了解和分析不同分類群體的特征[18]。

K-Means++聚類算法屬于基于劃分的聚類算法，是對K-Means聚類的改進算法。在聚類中心的選擇上本著不同聚類中心越遠越好的原則，改善了K-Means選取初始聚類中心的隨機性，適用于圓形(或者高維球形)等分布，具有出色的速度和良好的可擴展性[19]。

2.分類方法評價研究。聚類質量評價指標分為內部指標、外部指標。無監督聚類采用外部指標進行聚類質量評價。外部指標有輪廓系數(Silhouette Coefficient)、Calinski-Harabaz等。

輪廓系數指標：結合內聚度和分離度兩種因素。輪廓系數范圍是(-1,1)，其中值越接近1表示樣本與自己所在簇中的樣本越相似，與其他簇中的樣本越不相似，當樣本點與簇外樣本更相似時，輪廓系數為負[20]。當輪廓系數為0時，則代表兩個簇中的樣本相似度一致，兩個簇應該劃分為一個簇。輪廓系數計算公式如下：

(12)

式中，S(i)為樣本i的輪廓系數，n為樣本點個數，a(i)為樣本i到同簇其它樣本的平均距離，b(i)是i樣本到與它相鄰最近的一簇內的所有點平均距離的最小值。將所有樣本的輪廓系數求平均，得到聚類結果總輪廓系數。

CH指標：通過計算簇中各樣本與簇中心的距離平方和來度量簇內的緊密度，通過計算各簇中心點與數據集中心點距離平方和來度量數據集的分離度，CH指標由分離度與緊密度的比值得到[21]。因此，CH越大代表簇自身越緊密，簇與簇之間越分散，聚類效果越好。CH指標計算公式如下：

(13)

式中，m表示聚類的數目,k表示當前簇,tr(Bk)表示簇間離差矩陣的跡,tr(Wk)表示簇內離差矩陣的跡。

(六)學生評教信度的分類

本文學生評教信度分為5類，將評教信度指標作為輸入，應用聚類算法得到分類結果。通過對分類群體特征分析，參照電影評價、電商評價，對5個類別進行星級評定，反饋給學生，達到警示的目的，敦促學生客觀評教，提高學生評教信度，改善教師評價的有效性[22-23]。

三、學生分類結果分析

(一)信度指標分析驗證

將剔除前后學生評教信度指標作為輸入，利用K-means++，對比不同指標組成對聚類效果影響(如表3所示)。剔除冗余指標后輪廓系數、CH指標均有提升，證明進行指標精簡后，分類更加合理有效。

表3 聚類算法指標評分對比

(二)學生分類結果分析

通過K-means++聚類算法將學生評教信度分為5類，對每個類別中指標進行均值統計，如表4所示，不同類別之間指標差異明顯，驗證了學生評教信度指標的有效性，最后分析每種類型的群體特征，對應不同評教行為。

表4 聚類結果分析

第一類學生，從學生所評教的多門課程來看，該類學生對每門課程老師的教學擁有自己的判斷，對不同教師給予不同分數，有明顯的區分度。和學習同一門課程的其他同學相比，具有較低的偏差率，表明該類學生能夠客觀公平的進行評教，具有較少的極端情緒。從評語角度，能夠清晰的表達自己想法，發表有意義的評論。該類學生不需要進行敦促，能夠正確行使自己的權利，客觀評教，認定為5星，給予肯定。

第二類學生，從學生所評教的多門課程角度分析，該類學生對不同教師具有明顯區分度，評分具有明顯梯度，對評教活動認真對待。和學習同一門課程的其他學生相比，具有一定的偏差度，說明該類學生評教過程中，存在一定數量的課程偏離大部分同學。從評語角度，該類學生所評文本具有一定的信息量，并且相似度較低。綜合考量，該類學生能夠對不同教師有一定區分度，能夠認真評教，但是存在一定偏差，認定為4星。

第三類學生，從學生自身角度分析，該類學生對不同教師的區分度不大，相同分數的評分較多，梯度不明顯，表明沒有對全部教師認真評價。和學習同一門課程的其他同學相比，具有較低的偏差率，表明能夠基本客觀的進行評教。從評語角度，該類學生評語有一定的信息量。綜上，該類學生對不同教師區分度不夠，但能夠基本客觀進行評價，且具有一定的信息量，給予3星。

第四類學生，從學生自身角度分析，該類學生對不同教師區分度很小，沒有明顯的梯度。和學習同一門課程的其他同學相比，偏差較大，沒有客觀評教。從評語角度分析，該類學生信息量較低，且存在大量相同評語。綜上，該類同學對不同教師沒有明顯區分，并且存在惡意評教，給予2星。

第五類學生，從學生自身所評教的多門課程來看，該類學生對老師的評教區分度很小，給不同老師評相同分數的比重較大，具有敷衍現象。和學習同一門課程的其他同學相比，該類學生偏差較大，表明該類學生沒有能夠對老師進行客觀評價，而是一味的惡評或好評。從評語角度，該類學生評語具有信息量低，相似度高的特征。綜合考量，該類學生對評教具有隨意性，沒有客觀評教，認定為1星，需要進行一定的敦促。

四、研究結論

學生評教是教師評價的重要組成部分，學生評教質量對教師評價的結果具有直接影響，相關研究大多通過尋找偏差去掉數據或對數據進行修正均無法改變學生評教的態度，無法有效改善學生不客觀評教的行為，同時也不利于學生良好品格的形成。本文通過對評教數據分析，多角度提取學生評教信度指標，利用機器學習算法，對學生進行分類，方便教師掌握學生評教情況，敦促學生認真評教，使學生有效行使權利，有利于更好地進行教師評價活動，為優化課堂、改善教學提供幫助。

本文通過某高校數據分析，結果驗證了高校大學生存在敷衍評教行為，有約5%的學生存在明顯的惡評或好評，沒有做到客觀評教。對學生分類評定一方面能夠對學生進行警醒，為未來評教打下良好的基礎，另一方面也為后續評教數據預處理做準備，對不能夠認真評教的學生給予較低的權重，為保證評教數據的客觀性起到積極作用。