課堂學情態(tài)勢感知輔助教學系統(tǒng)的設(shè)計與實現(xiàn)

王殿林

摘要：為解決班級授課制課堂中個別學員學習投入不佳問題，設(shè)計實現(xiàn)了一個基于人臉表情識別的課堂學情態(tài)勢感知輔助教學系統(tǒng)。系統(tǒng)實時獲取學生面部照片信息并使用VGGNET進行表情識別，通過獲取到的知識點難易度指標數(shù)據(jù)和課堂授課進度信息，挖掘出指征學生學習投入水平的面部表情時序關(guān)系，并應(yīng)用于系統(tǒng)對教師進行“干預(yù)信息”提示。系統(tǒng)在真實教學場景應(yīng)用效果較好，能夠根據(jù)表情時序關(guān)系模式及時向教師提示需要干預(yù)的學生，提升了課堂中學生整體的學習效率。

關(guān)鍵詞：課堂學情態(tài)勢感知；表情時序關(guān)系模式；干預(yù)提示

中圖分類號：TP18? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）34-0026-03

1 概述

課堂教學是各類學校培養(yǎng)人才的基礎(chǔ)環(huán)節(jié)和重要組成部分。課堂教學作為學校教學的基本組織形式，學生能否深度學習達成預(yù)期教學目標是關(guān)鍵，研究學生在課堂學習中的學習投入問題具有一定現(xiàn)實意義。學習投入指的是學生在學習活動中的認知、行為和情感投入[1]。本研究關(guān)注的是學生的學習情感態(tài)度投入，也就是學生在課堂學習過程中的情感體驗，需要考察積極的情感體驗、消極的情感體驗以及一些中性的情感體驗。

研究表明，情緒對感知、注意、記憶、學習、推理及其問題解決等認知加工過程具有重大影響[2]。基于此，采用智能硬件及攝像設(shè)備實時捕捉課堂授課中學生的面部表情照片，通過部署于智能硬件中的深度學習模型VGGNET[3]分析學生的面部表情，結(jié)合課前依據(jù)課堂講授內(nèi)容知識點設(shè)置的難易度指標，分析面部表情與學情態(tài)勢的相關(guān)性，進而挖掘出學生學習投入的指向性面部表情組合關(guān)系指標，反過來應(yīng)用于教學指導和教師介入，便于教師對學習投入不佳學生進行積極干預(yù)，主動幫助學生“回歸”課堂，提升課堂學習的總體效率。

本文的研究內(nèi)容主要是設(shè)計實現(xiàn)課堂學情態(tài)勢感知輔助教學系統(tǒng)，基于部署于智能硬件的VGGNET對捕獲的學生面部照片進行表情識別，關(guān)聯(lián)知識點難易度指標，推理出幾個指征學生學習投入水平的面部表情時序關(guān)系，應(yīng)用于教學指導。

2 背景概要

現(xiàn)代社會，隨著教學內(nèi)容的增加和人才需求的加大，為了提高教學效率，院校的教學組織形式一般采用班級授課制。班級授課制很好地順應(yīng)了工業(yè)時代經(jīng)濟快速發(fā)展的潮流，符合現(xiàn)代學校發(fā)展和普及大眾教育的基本需要。隨著第三次科技革命浪潮的推進，諸如網(wǎng)絡(luò)教學、虛擬教學、線上線下混合式教學等新的教學組織形式也逐漸被人們所接受，開始得到應(yīng)用。新冠肺炎疫情在全球肆虐后，更加速了新教學組織形式的應(yīng)用和推廣。

盡管新的教學組織形式有利于提升教學質(zhì)量，但傳統(tǒng)的班級授課制仍是主要的教學組織形式，仍是院校組織教學活動各要素完成教學任務(wù)的主要形式。在課堂中組織教學活動，一方面便于學校實施教學計劃，便于教學管理和評價，提高教學效率，各類學習活動可以穩(wěn)步推進；另一方面，也存在難以滿足學生的個性化特異化需求，學生學習狀態(tài)難以整體掌控分類干預(yù)，學生主體性創(chuàng)新性受限制等問題。其中，學生學習狀態(tài)差異化明顯問題在傳統(tǒng)的傳授知識課中尤其明顯。

從學習體驗角度分析，學生在傳授知識課中一旦出現(xiàn)學習狀態(tài)不佳問題，想通過自我調(diào)節(jié)的方式回歸課堂，回到教師的講課思路上來，往往比較困難。即使能夠回歸，由于存在一定時間的偏移，再次進入課堂，可能存在“與前序知識銜接不上”“跳過關(guān)鍵知識點”等問題，可能導致再次思緒偏離甚至自我放棄。因此，在學生剛出現(xiàn)“學習狀態(tài)不佳”傾向性狀態(tài)之前就進行干預(yù)，可以幫助學生快速回歸課堂，提高學習效率。

學生“學習狀態(tài)不佳”的狀態(tài)可以通過肢體動作、情緒等外在表現(xiàn)反饋。研究關(guān)注情緒與“學習狀態(tài)”“學習投入”的關(guān)系，期望通過技術(shù)手段獲取學生情緒信息與“學習狀態(tài)”的關(guān)聯(lián)，進而對授課中的教師進行提示以便進行人工干預(yù)。已有研究關(guān)注于使用人工智能技術(shù)進行學情分析：一種方法[4]是在課堂教學中采用人臉識別技術(shù)識別抬頭率，分析學生的學習專注度，進而為后續(xù)實施教學分析提供參考；另一種策略[5]針對教師不能及時掌握學生情緒變化而及時調(diào)整課程進度問題，歸納學生7種表情與對應(yīng)“學習狀態(tài)”理解，設(shè)計實現(xiàn)了一個學生情緒識別系統(tǒng)，可以為教師提出針對性教學建議。

為了更有效實時地幫助教師識別“學習投入”不佳學生，研究設(shè)計實現(xiàn)了課堂學情態(tài)勢感知輔助教學系統(tǒng)，應(yīng)用VGGNET深度學習模型識別學生情緒特征，并不是簡單地將這些特征與“學習狀態(tài)”關(guān)聯(lián)，而是將時序情緒特征看作是“學習狀態(tài)”的特征，進而挖掘出反應(yīng)“學習狀態(tài)”差的時序情緒序列，并與當前授課進程中知識點難易度進行關(guān)聯(lián)分析，以便更好地為教師干預(yù)學習投入不足的學生提供指導。

3 課堂學情態(tài)勢感知輔助教學系統(tǒng)設(shè)計概況

課堂學情態(tài)勢感知輔助教學系統(tǒng)分為硬件和軟件兩部分。硬件采用NVIDIA Jetson Xavier NX SUB開發(fā)板套件。Jetson Xavier NX是一款英偉達設(shè)計生產(chǎn)的嵌入式主板，搭載了6核ARM架構(gòu)的64位CPU和384核Volta架構(gòu)的GPU以及48個向量計算核心，AI算力達到21 TOPS，適用于嵌入式系統(tǒng)和邊緣計算開發(fā)，可被視為一臺適合部署深度學習模型的強算力計算機。

軟件部署于硬件之上，主要是基于VGGNET模型的Python程序，用于進行人臉表情識別。同時，實時獲取教師正在講授的知識點和難易度指標信息。基于統(tǒng)計學原理，挖掘?qū)W生面部表情時序關(guān)系，從而指導教學實踐。圖1為系統(tǒng)架構(gòu)圖，主要是獲取人臉圖片數(shù)據(jù)和實時知識點授課進度和知識難易度指標數(shù)據(jù)，經(jīng)由“課堂學情態(tài)勢感知輔助教學系統(tǒng)軟件分析子系統(tǒng)”處理，最終完成輔助教學指導任務(wù)。

圖2為“課堂學情態(tài)勢感知輔助教學系統(tǒng)軟件分析子系統(tǒng)”的模塊關(guān)系圖，由四個模塊構(gòu)成：知識點難易度獲取模塊、表情識別模塊、表情特征模式分析提取模塊、輔助教學指導模塊。知識點難易度獲取模塊接收智慧屏中當前課程講次的知識點實時進度和預(yù)先設(shè)定的知識點難易度指標數(shù)據(jù)，交由表情特征模式分析提取模塊使用；表情識別模塊收集攝像頭定期拍攝到的人臉照片后，采用VGGNET深度學習模型識別出學生的表情信息并進行標記交由表情特征模式分析提取模塊使用；表情特征模式分析提取模塊收集前述兩方面數(shù)據(jù)后，綜合分析數(shù)據(jù)，使用統(tǒng)計學方法抽取與知識點難易度強相關(guān)的表情時序關(guān)系并保存；輔助教學指導模塊根據(jù)成熟的表情時序關(guān)系模式結(jié)合表情識別模塊的實時數(shù)據(jù)，對學生學習投入情況進行判定，選擇最需干預(yù)的學生，并通過智慧屏進行預(yù)警，教師根據(jù)課堂情況自主決定干預(yù)方法。

4 表情時序關(guān)系模式

根據(jù)美國心理學家Ekman等人的研究結(jié)論[6]，情緒包括：高興、驚訝、悲傷、擔憂、生氣、厭惡6種基本情緒，同時加入中性情緒作為非6類情緒的補充。基于重難點知識學生學習狀態(tài)普遍不佳的假設(shè)，反應(yīng)“學習狀態(tài)”差的時序情緒序列模式由上述6種基本情緒構(gòu)成。為了挖掘出上述時序情緒序列模式，使用已構(gòu)建好的課堂學情態(tài)勢感知輔助教學系統(tǒng)針對信息系統(tǒng)設(shè)計與應(yīng)用課程進行探索性研究。信息系統(tǒng)設(shè)計與應(yīng)用課程是信息系統(tǒng)工程專業(yè)的專業(yè)背景課程，學生在學習了大學計算機基礎(chǔ)、程序語言、計算機網(wǎng)絡(luò)、數(shù)據(jù)庫系統(tǒng)等方面的知識后，通過該課程的學習進一步從系統(tǒng)規(guī)劃分析設(shè)計的角度審視信息系統(tǒng)的構(gòu)建過程，具備抽象和逐步求精的設(shè)計理念，從而為形成系統(tǒng)思維打下基礎(chǔ)。

以“結(jié)構(gòu)化的分析”這堂課為例，共有39名學生聽課學習。在探索挖掘時序情緒序列模式時，課前，通過課程教學組集體備課研究，選定了12個知識點和3個知識難點，并在課件的相應(yīng)位置進行了標注。表1展示的是知識點難易度以及在課程進度中的位置關(guān)系。課中，與智能硬件連接的攝像頭以10秒為間隔實時捕獲學生的情緒信息，結(jié)合智慧屏中教師講解課件的進度信息，生成39組與知識點信息關(guān)聯(lián)的學生基本情緒序列。針對難、中、易得知識點信息進行基于統(tǒng)計的相似時序情緒序列模式識別，最終挖掘出的表情時序關(guān)系模式如表2所示。

5 教學應(yīng)用效果及前景

系統(tǒng)識別出情緒序列模式后，應(yīng)用到后續(xù)課堂教學中，發(fā)現(xiàn)對教師有一定的輔助作用，序列模式觸發(fā)系統(tǒng)報警并篩選出最需干預(yù)學生一般出現(xiàn)在重難點知識講解的中后段，且序列模式持續(xù)觸發(fā)多名學生告警。針對上述情況，教師及時調(diào)整設(shè)計好的授課安排，將時間線往回撥，通過提問、課堂小練習、小討論等方式緩解學生的擔憂焦慮甚至是悲傷情緒，從疑問點出發(fā)進行回溯，幫助學生理清思路，查找問題癥結(jié)，跳出誤區(qū)，實現(xiàn)知識的理解。因此，在系統(tǒng)調(diào)優(yōu)中，針對此類成規(guī)模地觸發(fā)系統(tǒng)告警的問題，系統(tǒng)及時做修正，不再提示干預(yù)某一個學生，而是提示采用集體干預(yù)策略。

由于不同類知識的學習存在顯著的差異性，在后續(xù)研究中將針對不同的課程進行針對性的情緒序列提取工作。期望系統(tǒng)能夠應(yīng)用于更多的課程中，協(xié)助教師開展授課活動。同時，學習活動是雙向的，既需要老師的教授過程，更需要學生的積極參與其中，因此系統(tǒng)的提示性信息是否可以公開展示在課堂中或以某種方式悄悄地提示學生本人也是未來需要研究的方向。

6 結(jié)束語

本文設(shè)計實現(xiàn)了一個課堂學情態(tài)勢感知輔助教學系統(tǒng)，系統(tǒng)通過智能硬件上的攝像頭捕獲學生課堂面部表情照片，采用VGGNET深度學習模型分析表情信息，結(jié)合智慧屏傳輸?shù)恼n程進度信息和知識點難易度指標信息，挖掘出一組關(guān)于學生“學習狀態(tài)”差的時序情緒序列，應(yīng)用于系統(tǒng)進一步實時監(jiān)測學生學習狀態(tài)，輔助教師進行人工干預(yù)。系統(tǒng)可用于真實教學場景，輔助教學工作，提升班級授課制教學組織形式中學生整體的學習效率。

參考文獻：

[1] 何佳.碩士研究生學習投入現(xiàn)狀的實證研究——以J大學為例[D].南昌：江西師范大學，2015.

[2] Tyng C M，Amin H U，Saad M N M，et al.The influences of emotion on learning and memory[J].Frontiers in Psychology，2017（8）：1454.

[3] Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition[EB/OL].[2021-10-20].2014：arXiv：1409.1556.https：//arxiv.org/abs/1409.1556.

[4] 湯雙霞.基于改進神經(jīng)算法在課堂人臉識別學情分析應(yīng)用研究[J].信息系統(tǒng)工程，2019（11）：122-123.

[5] 李鵬.輔助大學課堂教學的端到端學生情緒識別系統(tǒng)的研究[D].成都：電子科技大學，2020.

[6] Ekman P.Emotions Revealed： Recognizing Faces and Feelings to Improve Communication and Emotional Life[M].Glasgow：Times Books，2003.

【通聯(lián)編輯：王力】