基于人工智能的課堂學習情感評價研究*

孫發勤，鄧雯心

（1.揚州大學 新聞與傳媒學院，江蘇 揚州 225009；2.江南大學 人文學院，江蘇 無錫 214122）

一、研究背景

在教育目標分類學中，布魯姆將情感單獨劃分為一大領域，說明了情感在教育中的重要地位。2001 年教育部指出要讓學生形成積極主動的學習態度，而非單一地將關注點集中在知識技能的傳授上。2017 年新課程標準提出學科核心素養，教學的重點不再僅限于學生的認知能力或操作水平，學生的情感也逐漸成為教學成功與否的衡量標準之一。在學習過程中，情感影響著人的認知和行為，把握學習者的情感狀態，對未來的智慧化和個性化教育發展尤為重要[1]。

由于情感具有內隱性，因此對情感的評價相對困難。目前主要情感評價方法為觀察法、訪談法和問卷法，但是這些評價方法往往費時費力，且更多以總結性評價方式出現，脫離具體課堂情境。因此為了能適應智能化教育對學生學情實時掌握的要求，本研究利用人工智能表情識別技術采集學生課堂實時表情數據，進行信息反饋處理，具有更高的即時性和可靠性。

二、情感評價研究的現狀與趨勢

情感指的是人對客觀事物所持態度的體驗，反映了客觀事物與個人預期之間的關系[2]。當客觀事物符合個人的期待時，人往往會產生積極的情緒體驗；當客觀事物不符合個人預期時，人就會變得失落沮喪。積極的情緒有利于記憶的鞏固、工作和創造性問題的解決[3]。在學習過程中，正向情緒，例如喜悅，對學習有著促進作用，它可使思維變得敏銳，思考問題也更加全面；而負向情緒，例如困惑、沮喪，則不利于學習活動的開展，學生的思維會因此變得遲鈍，受到禁錮[4]。情感由三部分組成[5]，①主觀體驗：個人對于不同情感的心理感受；②外部表現：他人可見的情感表達方式，包括表情動作等；③生理喚醒：由情感產生的生理反應，例如心跳加快等等。根據Albert Mehrabian 的研究，在情感信息的外部表現中，有55%的信息意義來自肢體語言（儀態、姿勢、表情）[6]，由此可見表情在判斷情感中的重要性。

目前情感評價主要以理論模型建構為主。Barbara認為情感因素，例如學習興趣、學習態度等，會影響學習者對學習活動的處理與規劃[7]。李吉會結合布魯姆在情感領域的教育目標思想和各學科課程目標，提出了“學業情感”的概念：學生對所學內容是否吻合自己需要的體驗。根據學業情感，李吉會又將其分解為四個一級指標，包括學習興趣、學習態度、學習意志、學業價值觀[8]。劉凱峰、呂效國在對數學學習進行情感評價研究時，針對學生個人，建議將情感領域的評價劃分為學習動機、學習態度、學習意志、學習信念四部分[9]。趙德成在研究新課程中的情感、態度與價值觀時指出，一般的情感評價要求學生說出他們關于興趣、態度、價值觀等情意因素的想法和感受[10]。

隨著“互聯網+”、大數據、人工智能等新一代信息技術的發展，情感評價研究也逐漸走向智能化。江騰蛟等基于淺層語義與語法分析相結合的情感詞對抽取方法，研究了電商環境中商品評論的情感評價[11]。陳子健等實現基于面部表情的學習者情緒識別，梳理不同特征提取算法的特點及局限性，為探索適合學習者面部表情識別的特征提取算法提供借鑒，但缺乏實際課堂應用研究。

因此本研究把重點放在課堂這個特定的環境下如何利用人工智能的人臉及表情識別技術進行課堂實時自動情感評價。

三、研究設計

1.課堂情感評價指標的選擇

結合上述研究，本研究將主要評價內容的含義進行梳理，如表1 所示。

表1 學習情感評價指標內涵

在上述六種情感評價指標中，學習興趣、學習態度和學習意志有相應較為明確的外顯傾向，而學業價值觀、學習動機和學習信念則是學習者的內部心理狀況，需要長期觀察分析才能評判。同時，鑒于態度更多體現為外顯的行為，單純通過表情很難識別出學習者的態度，因此本研究主要以學習興趣和學習意志為情感評價指標。

2.課堂情感評價指標的量化

（1）課堂表情的劃分

在學習過程中較為突出的情緒包括無聊、困惑、沮喪、投入和喜悅[12]。其中，正向情感表情包括投入和喜悅，負向情感表情包括無聊、困惑和沮喪。情感是動態變化的[13]。學生對所講內容感到有興趣或者課堂內容吸引他時，學生會變得投入；當最終問題得以解決，學生會獲得滿足感，從而變得喜悅甚至興奮。如果學生對課堂內容不感興趣，臉上便會流露出無聊的表情；當課堂內容難以理解時，學生就會變得困惑；當在學習過程中屢經失敗時，學生就會沮喪。此外，當學生臉部表情不產生明確特征時，本研究將其定義為平靜。在此基礎上，本研究明確了課堂表情識別的六個關鍵表情：沮喪、困惑、無聊、平靜、投入、喜悅。此外，在課堂表情識別過程中，還會出現無法識別表情的狀況，主要原因之一是觀察對象的臉在圖像中不是正面的，例如低頭等。由于采集課堂表情的硬件設備設置于教室前方，正面對學生，所以當學生的注意力沒有集中在課堂上，即沒有直面教室前方時，此時該學生的表情記錄便為缺失值。

（2）學習興趣

當課堂內容引起學生的興趣時，學生能夠輕松愉悅地參加該課堂活動，課堂本身的內容會吸引學生的參與[14]。學生對課堂的投入程度反應了學生的學習興趣，并且在此過程中，學生的情感是積極愉悅的。由此，本研究將學生的正向情感表情時間比與平靜表情的時間比相加作為學生學習興趣的評價依據，稱之為投入時間比，即：學習興趣∝投入時間比=(平靜時長+投入時長+喜悅時長)/課堂總時長。

（3）學習意志

學習意志是有意識地承擔、堅持和實現特定學習目標的意愿[15]。良好的學習意志包括不斷堅持克服學習中的種種困難，耐得住長時間的學習活動。學習意志薄弱的主要體現就是學習注意力分散，不能夠長時間地堅持[16]。因此本研究可以將注意力集中時間比作為學習意志的依據，即：學習意志∝注意力集中時間比=（總時長-缺省時長）/課堂總時長。

四、數據的采集、處理與分析

1.課堂情感評價總流程

學生課堂表情識別處理采用的是團隊自主研發的課堂表情處理軟件。該軟件以FaceAI 開源庫為基礎，加以團隊自主訓練的課堂表情分類模型，對課堂視頻進行識別與分析，導出學生的表情數據，并最終形成學生課堂表情的可視化圖表。主要流程如圖1 所示。

圖1 課堂情感評價研究流程圖

（1）人臉檢測：采用OpenCV 已經訓練好的Haar 分類器，將人臉分類模型導入軟件中，檢測出視頻里可能存在的人臉。

（2）人臉識別：此步驟需要事先采集學生的人臉圖像，再利用Face Recognition 開源庫，定位人臉在圖像中的位置，識別出人臉的各關鍵點。最后，將視頻中的人臉與學生的照片比對，輸出視頻中的人臉結果，如圖2 左側所示，圖片中下方編號即為識別出的學生編號。

圖2 人臉識別及表情識別

（3）課堂表情識別：課堂表情與一般普遍表情之間的差異，有其特殊性，因此不能直接使用通用的表情分類模型。為了讓課堂表情識別更加精確，本研究團隊搜集了相關的課堂視頻與圖像，手動截取視頻和圖像中的學生表情，并打上標簽。由于時間緊迫，本研究共采集了3000 張學生課堂表情的圖像，其中包括喜悅、投入、平靜、無聊、困惑、沮喪六種表情，以此建立本研究自己的課堂表情數據庫。通過機器學習，自建課堂表情分類器，最終模型與數據的吻合度為0.56，表情識別如圖2 右側所示。

（4）數據統計與可視化：軟件將課堂視頻中的人物、時間、表情記錄到數據表中。程序執行過程中將記錄下視頻的幀數、識別出的學生編號以及該學生的表情編號，并將這三項數據實時傳入數據庫。數據庫中還存有學生編號與學生姓名對照表、表情編號與表情對照表，最終利用數據可視化，直觀地展現給研究者。

2.數據采集

本次實驗對象為某校教育技術學專業2016 級全體學生，共27 名實驗對象，包括6 名男生、21 名女生，年齡在20 至22 歲。課程選擇了《Python 程序設計》中關于圖形界面開發的內容，課程時間為45 分鐘，實驗中對視頻表情采集的時間間隔為10 秒，通過人臉識別與表情識別處理，每個學習者都獲取到從190 到257 不等的表情標簽數據。

圖3 學習者表情變化時序圖

3.數據處理

根據上述研究的學習情感評價模型中的評價依據計算公式來處理數據，所得結果如表2 所示，表2 中列舉了3 種典型特征的學習者表情數據。圖3 為6 號學生表情變化的可視化時序圖，縱坐標從2 至-3，分別代表6 種不同的情緒狀態，0 表示平靜，正值表示正向情緒，負值表示負向情緒，橫軸表示時間。為了降低數據抖動，本研究將表情變化時序圖以50 秒為窗口作表情圖的平滑計算，其中深色曲線為平滑表情序列圖，淺色曲線為檢測表情變化圖。

表2 部分學生數據統計結果

4.數據分析

（1）基于學習情感評價數據的課堂學習者分類

根據上述研究中得到學習情感評價模型數據，本研究進一步采用聚類研究的方法，對上述27 個樣本進行進一步處理，樣本通過K-means 算法自動聚成3 個有效分類，如圖4 所示。由圖中可以明顯看出，樣本大致可以分為3 類。

根據不同學生的情感評價指標數據及學生表情變化時序圖，結合情緒樣本聚類結果，編程課堂中的學生大致分為三類：學習認真型、學習困難型、學習倦怠型。

①學習認真型

以17 號學生為代表的學習者，圖5 上部顯示了17號學習者表情變化時序圖。這類學生絕大多數時間處于平靜狀態，正負向的情緒波動小，學習興趣比較濃厚，學習意志比較堅強，課堂投入時間比與注意力集中時間比均在80%以上。學習認真型學生在本次實驗的所有實驗對象中所占人數為26%左右，他們對待編程課堂始終處于一種較為冷靜的狀態，學習自覺，能夠認真聽課。因此本研究建議教師以平常的方法繼續給予這類學生教學支持，不需要給予過度的教學干預。

圖4 情緒樣本數據聚類圖

②學習困難型

圖5 不同類型學習者表情變化時序圖

圖6 課堂班級表情分布時序圖

以4 號學生為代表的一類學習者正向情感時間幾乎為0%，負向情感時間比為較高（30%以上），課堂投入時間比與注意力集中時間比相對較低（40%以下）。圖5中部顯示了4 號學習者表情變化時序圖。從圖中可以看出，該生頻繁表現出困惑或者沮喪。學習困難型的學生常常對編程課堂的內容感到難以理解，編程似乎是他的薄弱科目，由于上課內容聽不懂，導致其注意力渙散。因此本研究建議教師對此類學生多多關注，在課上或課后為其提供教學輔導，這部分同學約占樣本的30%左右。

③學習倦怠型

以6 號學生為代表的學習者，如圖5 底部所示，這類學生表情在無聊和平靜之間來回波動，其正向情感時間較低（10%左右），負向情感時間比較高（20%左右），課堂投入時間比與注意力集中時間比約占60%左右。學習倦怠型的學生對課堂內容不感興趣，似乎無心于課堂，他們的行為往往都是隨大流，無法得知其是否認真聽講，深入思考老師提出的問題，這部分同學占課堂中人數的大多數，約44%左右。因此本研究建議教師在課堂上需要多督促此類學生，例如對其進行提問等等，讓其積極思考，投入學習。

（2）基于學習情感評價數據的課堂內容分析

將所有學生的表情數據匯總后，可以繪制課堂班級表情分布時序圖，橫軸代表時間，縱軸代表呈現各類表情的學生比例。圖6 為本次實驗的課堂班級表情分布時序圖，圖中最上方的色塊部分代表呈現正向表情學生的比例，中間色塊部分代表呈現平靜表情人數的比例，底部色塊部分代表呈現負向表情人數的比例。

通過觀察課堂班級表情分布時序圖后發現：一是整體負向情感表情呈現的比例較高；二是課程初始，部分學生表現出積極的狀態，而后便歸于平靜；三是在“20 分49 秒至22 分37 秒”，課堂學生集中表現出負向情感表情。

通過回放視頻，并對數據深入分析后發現，在實際課堂中要注意以下幾個問題：

①在課堂內容的選擇上，要難易、理論實踐相結合

本節課為純理論的編程知識，內容較多；老師語調平平，講解枯燥。由于這兩點原因，在整節課中，學生會表現出負向情感。因此，在編程這類知識點繁多且較難理解的科目中，不能急于追求進度，教師應盡可能地突出教學知識中的重點。對于一些過于困難的知識要輔以案例詳細講解，同時要合理安排好內容的難易比例，不能讓學生始終保持高認知負荷。

②在課堂活動的組織上，要始終保持與學生的互動

本節課在上課之初，由于部分學生還沒有完全進入課堂學習狀態，又或躍躍欲試，表情比較豐富，呈現出積極狀態。因此，在課堂活動的組織上，教師可以采取互動等方式，要保持住學生上課的激情。在上課之初，學生可能是比較興奮的，教師應思考如何把握住學生興奮的勁頭，并把其轉換到本堂課的學習中。教師可以在每節課前選取學生感興趣的點作為課堂內容的引入，并在上課期間通過開展多種形式的互動保持學生的注意力和學習興趣。

③在課堂內容的實施上，要注意教學媒體的恰當使用

分析課堂的“20 分49 秒至22 分37 秒”，老師正講到tkinter 中常用的組件，PPT 上呈現的是一張表格，包括了tkinter 中各種組件的名稱和它們的含義。由于表格內容過多過密，又沒有突出重點，突然呈現在學生面前會讓學生覺得不適，呈現出較多負向情感。因此，在上課期間，不建議教師在黑板或投影屏幕上一次性呈現大量的文字內容，這會讓學生感到煩躁，不利于課堂內容的講解。如果實在不能避免在PPT 上出現大量文字，那么教師要通過語言的變化來吸引學生，例如在重要的地方語速變緩，提高音量。這不僅能吸引學生的注意，也能讓學生意識到此知識點的重要性。

五、總結與展望

本研究通過采集學生在編程課堂上的表情數據，并依據對實驗數據結果的深入分析，得出了數據聚類后不同類型學生群體的群體特征并提供了具有針對性的干預措施，最后對課堂效率提升提出了相關建議。本方法在課堂學習情感評價方面雖取得了一定的成效，但也遇到了一些問題，這為今后的繼續研究提供了方向：①如何優化算法，解決臉部遮擋、角度偏側等因素導致的人臉識別與表情識別準確度低的問題；②在課程方面，要考慮到實際課程內容對學生的影響，帶有情感偏向的課程（語文、歷史等）可能會帶動學生的情緒，本研究已經注意到，不同類型的課程情感評價標準是有區別的；③進一步拓寬情感評價的數據獲取途徑，如利用Kinect 增加體態檢測、利用手環增加脈搏檢測等，還可以利用多模態分析技術對學習情感進行更加確切和有效的評價。