教學場景下的學生課堂狀態識別方法研究與應用

劉志剛，韓鵬婧

（1.東北石油大學應用技術研究院博士后工作站，黑龍江大慶 163318；2.東北石油大學計算機與信息技術學院，黑龍江 大慶 163318）

近年來，智能化教育以人工智能為核心驅動力進行智能化教育環境與生態建設[1]。智能感知是智能化教育的關鍵技術，旨在利用智能教學系統了解學習者行為、教師的教學、教學環境等物理狀態信息，開展教育大數據的分析與決策[2]。在人工智能賦能教育變革的背景下，很多學者對識別學生狀態進行了探索性研究。早期主要采用光流[3]、方向梯度直方圖HOG[4]等手工設計算子提取學生特征，根據支持向量機[5]等識別行為狀態。隨后很多學者將卷積神經網絡用于學生狀態識別，避免手工設計算子的難度[6-13]。這些方法要求視頻采集到單個學生具有理想的人體姿態，然而，現實教學場景中學生人體遮擋現象非常明顯。因此，研究分布密集的學生狀態識別是智能教學評價的關鍵問題。

1 學生課堂狀態識別模型

1.1 學生位置檢測模型

開展學生課堂狀態識別的研究，要將學生個體從視頻中分離，因此個體位置的準確檢測是狀態識別的首要問題。針對視頻中普遍存在的遮擋現象，該文首先設計多尺度注意力模塊MAM，抑制學生人體局部遮擋區域的特征噪聲；其次，為提高檢測速度，引入文獻[11]的中心點尺度預測模型（Center and Scale Prediction，CSP）作為嵌入MAM 的基礎架構，并將嵌入MAM 的模型記為CSP-MAM；最后，構建聯合損失函數進行學生位置檢測模型訓練。

1.1.1 多尺度注意力模塊MAM

注意力機制是一種通過模擬人類視覺系統，聚焦興趣區域獲得細節信息的方法。該文引入注意力機制，在構建的多尺度注意力模塊MAM 中，通過外部監督的方式增強學生人體可見區域的特征提取，抑制遮擋區域的噪聲干擾。MAM 模塊結構如圖1所示。

圖1 MAM模塊結構圖

1）空間特征圖Matt：對輸入MAM 的不同尺度特征圖fn，在通道上進行混合池化，利用3×3 卷積核進行濾波，通過非線性前向計算輸出Matt；

2）區域增強特征圖Mvis：增加可見區域注意力聚焦分支，通過數據集標注作為外部監督信息計算輸出Mvis，增強特征圖的可見區域特征響應；

3）全局特征圖Mglobal：為抑制遮擋區域、增強可見區域特征提取，對Mvis和Matt進行空間疊加構建Mglobal，通過內積作用輸入特征圖fn，構建可見區域特征增強的全局特征圖Fn。

1.1.2 學生位置檢測模型

首先，CSP-MAM 利用ResNet-50 作為目標檢測模型的特征提取網絡，為綜合淺層特征圖的圖像細節特征和深層特征圖的抽象語義特征，使用多尺度注意力模塊MAM 對ResNet-50 的第3、4、5 層特征圖進行特征融合；其次，對增強后的特征圖進行L2 Normalization 標準化，使用反卷積統一特征圖尺寸；最后，對不同分辨率的特征圖進行通道融合，通過三個全卷積分支計算學生人體的目標中心位置、高度和中心位置偏移量。

1.2 學生骨架信息提取模型

根據CSP-MAM 檢測的學生位置進行學生個體圖像的視頻分離，此時若直接通過深度學習進行狀態識別，易受到教室背景、學生服飾等干擾噪聲的影響，降低識別精度。針對該問題，該文根據學生人體關節點骨架信息特征開展行為識別。提取學生人體關節點骨架信息的方法主要有兩種：1）通過穿戴設備或深度傳感器提取。該方法具有較高的準確率，但在課堂多人環境下成本較大，易受距離限制；2）采用深度學習的姿態估計技術，提取人體圖像的關節點骨架信息。該方法不受設備、人數和距離的限制，具有更好的適用性。該文選用第二種方法，通過姿態估計模型OpenPose 對分離出的學生人體提取骨架信息，包括25 個人體關節點的點位坐標和連接關節點的骨架信息，如圖2 所示。

圖2 OpenPose檢測的人體關節點骨架信息

1.3 學生課堂狀態識別模型

該文將學生狀態分為四種積極行為和兩種消極行為，其中積極行為包括端坐、書寫、舉手、起立，消極行為包括趴桌子、玩手機。根據OpenPose 提取的學生關節點和骨架信息，為提高學生課堂狀態識別的準確率，采用不同的機器學習模型進行狀態自動識別，包括支持向量機、極限學習機和卷積神經網絡VGG-16、ResNet-50[16]。最后，根據實驗對比選擇準確率最高的識別模型進行實際應用。

1.3.1 經典機器學習模型

支持向量機（Support Vector Machine，SVM）是由Vapnik 等人提出的經典機器學習模型。極限學習機（Extreme Learning Machine，ELM）是新加坡國立大學黃廣斌教授提出的一種快速神經網絡模型。由于SVM 和ELM 具有分類速度快、精度高的特點，廣泛應用于相關領域的分類識別問題中。采用二者識別學生狀態時，輸入特征是離散的學生人體關節點坐標。為提高行為識別精度，特征工程階段包括：1）由于學生受到桌椅、前排學生的局部遮擋，多數學生在課堂視頻中僅出現上半身。為保持所有學生的骨架特征一致，降低干擾特征影響，綜合考慮“站立”行為的識別，去除膝蓋以下的關節點（圖2 中第11、14、19～24 點）；2）關節點預處理時，采用關節點坐標與1號關節點的相對坐標，避免關節點位置受課堂視頻圖像幀的絕對位置影響。

1.3.2 卷積神經網絡

相對于傳統的機器學習模型，深度學習理論在近年來的人工應用研究中獲得了更大的成功。該文選用卷積神經網絡識別學生狀態行為，采用VGG-16 和ResNet-50 模型。與SVM 和ELM 不同，二者的輸入特征是根據學生人體關節點截取區域圖像。為增強VGG-16 和ResNet-50 特征提取的魯棒性，將圖像分別縮放為224×224 像素和448×448 像素。

2 仿真實驗

2.1 實驗數據集

實驗環 境：CPU Intel Xeon(R) E5-2640、內存8 GB、GPU 顯卡NVIDIA RTX2070Super。模型訓練驗證的實驗數據集包括目標檢測數據集和行為識別數據集，具體包括：

1）目標檢測數據集：為進行學生位置檢測模型CSP-MAM 的訓練與測試，使用遮擋檢測數據集CityPersons。訓練集和測試集分別包含2 975 張和500 張圖像，每張圖像分辨率為2 048×1 024，具有豐富的遮擋形式，并提供人體目標全身邊界框和可見部分邊界框。

2）行為識別數據集：在實際應用前，需對學生狀態識別模型進行訓練和測試。由于目前國內外沒有標準公共數據集，該文選取某大學400 名志愿者為數據來源，拍攝每名同學的舉手、聽課、看書、站立、趴桌子、玩手機六個課堂狀態動作，通過數據標注構建數據集NEPU-300。

2.2 實驗步驟

1）學生目標位置檢測：首先，使用CityPersons 數據集完成學生位置檢測模型CSP-MAM 的訓練與測試，通過遷移學習應用到本實驗中；其次，按照視頻幀采集頻率，獲取實時視頻流中的圖像幀，根據CSP-MAM 對教學視頻中的學生位置進行目標檢測；

2）學生骨架信息提?。簩z測后的單個學生人體目標從視頻圖像中分離出來，通過OpenPose 完成學生骨架信息提取，保存除11、14、19-24點外的17個關節點的相對坐標，以及17個關節點的骨架區域圖像；

3）學生課堂狀態識別：首先，根據OpenPose 對NEPU-300 數據集識別的學生關節點、骨架區域特征完成行為識別模型的訓練，包括SVM、ELM、VGG-16 和ResNet-50。其 中，VGG-16 和ResNet-50 在ImageNet 上完成預訓練；其次，為避免模型訓練過擬合，訓練過程中采用旋轉、平移、翻轉的方法對NEPU-300 數據集進行增強；最后，將訓練好的狀態識別模型應用到學生狀態識別任務中。整體流程圖如圖3 所示。

圖3 學生課堂狀態識別流程圖（以ResNet-50為例）

2.3 實驗分析

為實驗對比有效，在相同實驗條件下進行五組獨立隨機實驗，實驗結果為多次實驗的平均識別準確率。根據實驗環境，將Epoch 設為50，Mini-batch設為30，并對比該文所提的CSP-MAM 與其他主流檢測模型YOLOv5、SSD 在四種狀態識別模型上的性能。觀察表1 可知：①在對比的三種目標檢測模型中，通過引入CSP-MAM 檢測模型，相對于YOLOv5、SSD，四種機器學習模型的學生狀態識別精度均有提升，結果表明，CSP-MAM 有效提高遮擋學生的位置檢測能力，降低課堂視頻分離后的學生個體圖像中干擾噪聲對模型提取特征的影響；②在對比的行為識別模型中，ResNet-50 和VGG-16 的狀態識別準確率均高于傳統的機器學習SVM、ELM，并以ResNet-50 的識別精度最為理想。實驗表明，采用深度學習方法進行學生課堂狀態識別具有更好的識別準確率和泛化能力。

表1 學生狀態識別準確率的實驗結果對比

如圖4 和圖5 所示，分別為使用SVM 和ResNet-50 進行六種課堂狀態識別的混淆矩陣圖。對于“舉手”“站立”“趴桌子”三種骨架關節點特征較為明顯的行為，識別準確性較高，對于“聽課”“看書”“玩手機”三種關節點特征區別度較低的行為，準確性略低。同時，ResNet-50 相對于經典機器學習SVM 模型在六種狀態的識別準確性上均明顯提升。

圖4 使用SVM進行六種課堂狀態識別的混淆矩陣圖

圖5 使用ResNet-50進行六種課堂狀態識別的混淆矩陣圖

3 系統設計與教學評價應用

3.1 學生狀態智能輔助分析系統

為輔助教師及時掌握學生學習狀態、快速分析教學效果和有效提高課堂教學質量，該文在所提研究方法的基礎上，設計學生課堂狀態智能輔助分析系統，實現課堂教學信息反饋實時性、傳遞高效性和處理智能性。該系統包括五大模塊，具體如下：

1）課堂錄像模塊：采用固定攝像機完成課堂教學場景的實時錄制，將視頻信號通過專用線路傳輸到主控服務器；

2）圖像采集模塊：構建RSTP 流媒體服務器，設置視頻分幀采集頻率，提取課堂視頻圖像幀，將圖像輸入給目標檢測模塊；

3）目標檢測模塊：通過CSP-MAM 模型對采集的課堂教學場景圖像進行學生目標位置檢測，從場景圖像中分離出檢測后的每個學生個體圖像；

4）行為識別模塊：通過OpenPose 提取學生人體骨架信息，獲取關節點區域像素特征，采用ResNet-50 進行學生狀態識別；

5）數據分析模塊：根據模型識別結果進行教學過程的統計分析，包括抬頭率、低頭率、課堂參與度、互動活躍度四種評價指標。

3.2 課堂教學效果評價

該研究中的課堂教學評價包括即時評價和總體評價兩部分，其中，即時評價采用學習率、低頭率兩個常用指標實時反映學生聽課狀態，總體評價則采用課堂參與度、互動活躍度兩個指標衡量整體教學過程。綜合考慮計算速度與分析效果，設視頻分幀采集頻率τ=12 秒/幀。為方便描述，記課堂學生總數為N，課堂互動次數為P，學生在各時刻狀態依次記為“端坐”：Ai(t)、“看書”：Bi(t)、“舉手”：Ci(t)、“站立”：Di(t)、“趴桌子”：Ei(t)、“玩手機”：Fi(t)。其中，Ai(t)為第i個學生在t時刻是否處于“端坐”狀態，若是取1，反之取0，其他同理。

1）學習率η(t)：根據采集頻率τ獲取的課堂視頻圖像進行學生行為識別，以“端坐”“看書”“舉手”“站立”四種積極狀態為依據，實時反映聽課人數比例，具體如式（1）。

2）低頭率μ(t)：主要統計“趴桌子”“玩手機”兩種消極狀態，實時反映教學中消極學習的學生比例，具體如式（2）。

3）課堂參與度γ：主要反映學生群體在教學時長內的積極行為、參與學習的比例情況。按照圖像采集頻率τ，將教學監測視頻時長T分內的教學過程離散成60T/τ個視頻場景序列，依據四種積極狀態計算全體學生的課堂參與度。為降低學生“端坐”“看書”時的心不在焉現象，設置權重因子λ1=0.3、λ2=0.7 調節“端坐”“看書”與“舉手”“站立”之間的比例關系。當τ=12 時，參與度計算見式（3）。

4）互動活躍度κ：互動活躍度主要反映學生群體在提問、互動等教學過程中的活躍情況。根據互動環節時長離散后的P個圖像場景序列，在“舉手”“站立”行為識別的基礎上計算活躍度，設置權重因子λ3=0.45，λ4=0.55 調節兩種行為對κ的貢獻，具體如式（4）。

4 結論

近年來，以深度學習為主導的人工智能理論取得了很大發展，智能視頻分析技術逐漸引起研究者的關注。由于攝像機角度、座位前后排、學生密集和人體柔性等因素的影響，人體遮擋問題是學生狀態自動識別的難點問題。針對該問題，該文對位置檢測、特征提取、狀態識別和系統實際應用進行研究，最終實現了利用教學評價指標自動完成教學效果評價。該文的研究能夠有效助力于課堂為主體的智能化教育評價，從而促使教師改革教學方法，優化教學策略，不斷提高教學效率。