基于人工智能的學生課堂行為分析方案研究

摘要：文章從介紹我國教育信息化發展情況人手，分析了高校在學生課堂行為分析中面臨的主要問題，探討了學生課堂行為分析的目標。文章設計了一種學生課堂行為識別方法，并以該方法為基礎設計了學生課堂行為分析方案，對該方案的典型應用場景進行分析，通過該方案能改進高校課堂教學評價方法，有利于高校課堂教學質量和管理水平的提升。

關鍵詞：學生課堂行為;人工智能;課堂教學質量

中圖分類號：TP393 文獻標識碼：A

文章編號：1009-3044（2020）19-0003-03

開放科學（資源服務）標識碼（0SID）：

隨著信息技術的進步，將信息化技術應用于教育和教學過程，能有效促進我國教育事業發展，從而提升我國高校整體教學質量。在教育信息化1.0時代，高校實施支撐教育信息化的基礎設施建設，投影儀、教學電腦、話筒、拾音器等各種各樣的多媒體設備被應于多媒體教室，同時教學資源管理平臺、錄播系統、網絡教學系統等也普遍應用于教學[1]。通過教育信息化1.0階段的建設成果為教育信息化技術提升打下堅實基礎。教育信息化2.0時代，教育信息化進入了新的發展階段，逐步應用移動互聯網、大數據、人工智能、物聯網等新興技術驅動傳統教學理念、模式、內容和方法的改革，推動智慧校園的建設，全面提升教育信息化水平[2]。

但目前我國高校對學生課堂行為的分析多通過人工隨堂聽課和課堂視頻觀察等方式，對學生課堂行為進行人工標記和記錄，該方法及時性差且需要投入大量人力物力，導致效率低下[3]。在智慧校園的背景下，高校對原有的多媒體教室基礎設施不斷完善，使其具備應用信息化技術推動信息技術與教育教學融合的基礎條件[4]，應用人工智能技術創新學生課堂行為分析手段，有利于提升高校課堂教學質量管理水平[5]。

1 學生課堂行為識別方法

本文通過應用人工智能技術設計了一種學生課堂行為識別方法，并通過該方法全方位地對學生的各類課堂行為進行采集和識別。通過觀察課堂教室的視頻，教室內學生各種行為的特征，主要集中于學生的上半身。在學生處于抬頭、低頭兩種情況下的同時能產生各種行為，因此本方法首先對學生頭部的兩種行為進行識別，在對其身體其他特征識別，最終識別出學生在課堂中具體行為包括舉手行為、聽講行為、書寫行為、站立行為、面部行為、閱讀行為、睡覺行為、手機行為等。學生課堂行為分類如圖1所示。

1.1樣本分類訓練

在實現對學生課堂行為識別前，需要采集學生抬頭低頭狀態樣本、學生行為樣本和學生面部表情樣本，并對各類樣本分別進行訓練生成樣本模型。

（1）學生抬頭低頭狀態樣本訓練：

通過手動標記的方式在視頻圖像中抓取學生抬頭、低頭及頭部四周圖片的樣本，將樣本圖片歸一化為統一大小，利用HOG特征算法[6]對三類樣本進行特征提取，采用SVM算法對三類樣本進行訓練，生成樣本模型。學生抬頭低頭狀態樣本訓練流程如圖2所示：

（2）學生行為樣本訓練：

通過手動標記的方式在視頻圖像中抓取學生行為圖片序列樣本，應用IDT算法對樣本進行訓練和分類，生成學生行為樣本模型。學生行為樣本訓練流程如圖3所示：

（3）學生面部表情樣本訓練：

通過手動標記的方式在視頻圖像中抓取學生各種面部表情圖片的樣本，將樣本圖片歸一化為統一大小，利用LBP特征算法對樣本進行特征提取，采用CNN算法對樣本進行訓練，生成樣本模型。學生面部表情樣本訓練流程如圖4所示：

1.2學生課堂行為識別

學生課堂行為識別包括以下幾個步驟：視頻壓縮、頭部檢測、頭部狀態識別、行為提取、邊緣提取、課堂行為識別。如下圖5所示：

學生課堂行為識別具體實現是通過多媒體教室內攝像頭采集到教室內視頻數據，通過視頻壓縮算法將視頻圖片按照等比例縮小，利用HOG特征算檢測出視頻中的每個學生頭部位置，并識別出視頻中每個學生的抬頭和低頭狀態，根據頭部位置初步確定身體位置，采用idt算法識別學生的行為，對其手部附近的區域進行邊緣處理，根據物品區域及形狀確定物體，最后通過LBP特征算法和CNN算法對學生面部狀態進行識別，匯總整體識別結果對學生課堂行為進行判斷和識別。

2 學生課堂行為分析方案

基于本文設計的學生課堂行為識別方法，設計學生課堂行為分析的方案，學生課堂行為分析的目標是在多媒體教室建設成果的基礎上，應用人工智能技術實現學生課堂行為自動分析，輔助學生、教師和學校管理者及時了解課堂教學相關情況，促進高校課堂教學質量提升。

學生課堂行為分析的總方案如下圖6所示，該方案中的監控設備負責完成全校所有課堂視頻的采集工作，并通過視頻轉發服務器將視頻信息存人到磁盤陣列存儲系統中，教務系統依托高校的數據交互平臺將課表信息存到架構的MYsoL數據庫中，同時完成監控設備與課表相關數據的關聯。課堂行為識別平臺，利用HOG特征提取算法、SVM算法、LBP特征提取算法、IDT行為提取和識別算法和人工神經網絡算法對學生課堂行為進行識別。統一通信平臺主要完成學生課堂行為分析結果消息推送，發送途徑有微信、釘釘、信息門戶和短信方式。視頻檢索平臺能根據學校管理者的不同需求和各類查詢條件，實現實時視頻、回放視頻段的學生課堂行為分析結果展示。

3 方案的應用場景分析

我國高校具有多媒體教室眾多、分布廣泛，每日上課量大和課堂督導人員不足等特點。如何及時有效了解所有課堂教學的情況，科學的對課堂教學情況進行評價，是高校課堂管理面臨的一大難題。人工隨堂聽課的傳統課堂教學評價方式，僅僅只能完成小部分課程課堂教學的評價，無法對高校所有課堂情況做出科學的評價。對于實際參與課堂互動的教師和學生也無法了解自身的上課情況，不利于高校課堂教學質量提升。將本文設計的學生課堂行為分析方案應用于高校課堂教學評價，能輔助高校管理者實現課堂教學自動、科學的評價。

該方案通過所有教室內監控設備自動采集所有課堂教學的視頻數據，利用教務系統獲取所有教室的課表數據，將視頻數據存人視頻存儲數據庫，課表數據存人MYsoL數據庫。通過課堂行為識別平臺自動識別學生在課堂中的舉手行為、聽講行為、書寫行為、站立行為、面部行為、閱讀行為、睡覺行為和手機行為等。根據用戶權限將識別結果通過圖片、視頻和文字的形式，通過統一通信平臺發送給學生、教師和學校管理者，有利于學生及時了解自己的課堂學習情況，及時調整學習方法。幫助教師及時掌握課堂教學情況，不斷改進教學方式和提升教學水平。輔助高校管理者全面了解課堂教學情況，促進高校課堂教學質量提升。

4 結束語

課堂教學質量是各大高校關注的重點問題，學生課堂行為是課堂教學質量優劣的重要體現。在人工智能技術發展的背景下，應用新興技術自動實現學生課堂行為識別，能輔助高校對課堂教學質量客觀、科學的評價，同時指導教師更加高效的開展課堂教學。促進高校教師綜合素質提升，為課堂教學質量評價提供新的方法。

參考文獻：

[1]雷朝滋.教育信息化：從1.0走向2.0——新時代我國教育信息化發展的走向與思路[J].華東師范大學學報（教育科學版），2018，（1）：98-103.

[2]李志河等.教育信息化2.0視域下高等教育信息化發展水平評價研究[J].遠程教育雜志，2019（6）：81-90.

[3]李勝男.基于人工智能技術的課堂教學行為的分析框架構建研究[D].北京：北京郵電大學，2019.

[4]殷華平.利用“希沃易+”智慧校園整體解決方案打造智能教育服務平臺[J].中國電化教育，2016（21）：69-71.

[5]劉清堂，基于人工智能的課堂教學行為分析方法及其應用[J].中國電化教育，2019（9）：13-21.

[6]胡麗喬，仇潤鶴.一種自適應加權HOG特征的人臉識別算法[J].計算機工程與應用，2017，53（3）：164-168.

【通聯編輯：唐一東】

基金項目：中央高校基本科研業務費專項資金項目“基于平安校園的智能視頻分析技術研究”（項目編號：CZQ17007）;中南民族大學教研項目“基于信息化技術的課堂教學質量管理研究（JYX18070）”階段性研究成果

作者簡介：萬晨（1986-），男，湖北武漢人，實驗師，碩士，中南民族大學，研究方向為大數據、計算機網絡、教育技術、人工智能、圖形圖像處理。