基于微表情和頭部姿勢識別的學生課堂專注度評價平臺構架研究

王鑫鑫 曾維佳 王奕霖 李樹緣 段鑄宸 扈淼

摘要：教育信息化逐漸成為全國關注的重要話題，通過教育信息化提高教學效率是教育事業中課程改革的重大目標。課堂教學是教師與學生交流互動的空間，是教師指導學生學習和學生探索知識的主要途徑。以學生為主體的課堂教學中，學生的學習狀態與知識的獲取情況對于教學過程優化顯得尤為重要。本文旨在通過采用基于深度學習的學生課堂表情和頭部姿勢的智能檢測和識別技術，結合課分析和評堂專注度與個性化學習理論，實現對課堂專注度自動技術價，為教師開展學情分析、改善教學方式、實現個性化教學提供有效途徑。

關鍵詞：教育信息化;智能檢測和識別技術;課程專注度評價

一、研究目的與意義

（一）促進學生個性化發展

近年來，我國的教育改革中始終強調以學生為中心，加強學生的個性化學習，促進全面發展。個性化學習強調在學習的過程中針對學生的個性化特征與發展潛能采用適當的方法、手段、策略、內容和評價等，從而使學習者在各方面都能充分自由地發展。本文通過對學生在課堂學習過程中出現的表情以及頭部姿勢的變化，判斷學生在學習過程中的專注度變化，設置實時提示手段或課后反饋等方式，讓學生自我了解課堂學習中存在的問題并及時改進。

（二）提高教學反饋質量

在課堂教學中，學生的面部表情和姿勢反映了其心理活動和情感狀態的豐富信息。使用基于微表情與姿勢識別判斷學生專注度的輔助系統，可以對學生的情緒變化與姿勢變化進行實時地記錄，更大程度地準確判斷學生的學習狀態以及課堂情感起伏情況，從而幫助教師調整教學進度，提高教學效率。

（三）推動教學評價體系改革

評價是高等學校監控教師教學質量和確保人才培養質量的重要手段。良好的評價手段可以確保學校的教學計劃按照預期的培養目標施行，可以保證教學質量和教學效果處于較高的水平。

（四）構建智慧教育發展平臺

技術的發展拓寬了教育的思考空間，豐富了教育的內涵實質，為智慧教育環境的發展提供了路徑。通過使用基于微表情與頭部姿勢的課堂專注度評價系統，可以較好地推動智慧教育的環境建設，以較為新穎的技術手段進行數據的智能化收集，內容的快速化分析，評價方式多樣化，評價手段全面化，最終促進智慧教育的發展與實現。

二、學生課堂專注度分析方法

（一）學生課堂專注度分析方法研究

1.專注度等級劃分

根據所使用的面部表情識別系統的識別情況，本文將課堂中的表情分為7類進行課堂專注度的判斷，通過對表情的積極程度進行等級劃分，將其中不同的表情劃分到4個不同的專注程度中去;同樣地，根據課堂中學生頭部可能出現的仰俯與偏轉角度情況，將其進行綜合判斷，從而劃分不同的專注程度中。

2.基于模糊綜合評價的矩陣算法

為了將較為模糊的專注度內容進行精確化地數據處理，選擇了模糊綜合評價的矩陣算法，對課堂專注度進行分數的評定，根據專注度等級情況分配權重，進而將逐幀保存的數據以分數的方式進行展示。

（二）課堂微表情和頭部姿勢相關識別技術

1.課堂微表情識別技術

通過使用多任務訓練的不同模板的CNN模型，從尺度不變、圖像分辨率和相關上下文信息三個方面完成自動人臉和姿勢檢測和定位，并采用基于面部表情和頭部姿勢識別的綜合深度學習框架FATAUVA-Net，通過動作單元、效價和喚醒空間實現課堂微表情和頭部姿勢識別。

2.微表情多維度評價體系

應用中科院CASME微表情庫SectionA部分對微表情識別模塊的準確率進行驗證。同時，將課堂視頻作為輸入，驗證系統在整節課全部學生不同時間段專注度的評價效果，并與優秀教師的評分進行對比。

三、基于微表情識別的學生課堂專注度評價可視化平臺

（一）建立了基于微表情識別的學生課堂專注度評價可視化平臺

該平臺能夠幫助教師檢測每個學生在課堂中的表情變化，從而得到學生的專注度信息，及時反饋，以提升課堂教學質量。研究成果可以豐富教學評價系統，對提高教學質量等具有重要研究意義。以面部表情特征的分析方法，可以使學習狀態數據的采集和保存更加的全面，也能更好地用于學習狀態的分析，也給了教育工作者更加全面的分析指標。同時，將機器學習用在課堂教學研究，對推進教育大數據有重要的研究意義。

（二）完成對教學過程中的學生專注度自動跟蹤、監控、分析以及課堂評價

通過分析學生在愉快等的表情狀態，結合喚醒和效果的強度，實現課堂專注度自動跟蹤，使用多任務訓練的不同模板的CNN模型，實現課堂微表情監控，基于Python和TensorFlow技術，便于教師進行分析，將課堂視頻作為輸入，驗證系統在整節課全部學生專注度等的評價效果。

四、結語

通過采用基于深度學習的學生課堂表情和頭部姿態的智能檢測和識別技術，結合課堂專注度與個性化學習理論，實現對課堂專注度自動分析和評價，為教師開展學情分析、改善教學方式、實現個性化教學提供有效途徑。同時，秉著“人工智能+教育”的思路，將人臉表情分析技術應用于課堂環境中，通過表情識別技術分析學生上課專注情況，從而幫助教師進一步了解學生上課情況，使其能夠更合理安排教學內容以及調整教學方式，這也進一部分促進教學信息化、智能化。

參考文獻

[1]彭樹風，基于深度信息的監控視頻人臉識別方法研究與實現[D]，北京郵電大學，2017

[2]李勇，基于跨連接LeNet-5網絡的面部表情識別[J]，自動化學報，2018，44（01）：176-182

[3]郭曉旭，基于微表情識別的學生課堂專注度分析系統研究[D]，云南師范大學，2019

項目信息：2021年度大學生創新創業訓練項目國家級項目“基于微表情和頭部姿勢識別的學生課堂專注度評價可視化平臺”（項目編號：202113207009）

作者簡介：

劉欣宇，女，2002年3月，漢族，本科在讀，大連科技學院數字技術學院信息管理與信息系統專業2020級學生，研究方向信息管理與信息系統。

曾維佳，女，1984年3月，漢族，碩士，副教授，研究方向數據處理、信息安全、管理優化。