學生課堂行為視頻圖像采集和識別系統

王竑熹

目前，國內外還未對學生課堂行為形態進行廣泛研究，學生因為上課注意力不集中而遺漏重要知識點的情況時有發生，而教師只能通過考試了解學生掌握知識點的情況，教學效果沒有得到實時反饋。

因此，課堂教學評估及學生課堂行為圖像識別技術已成為智能化教學、提高教學質量的一個迫切需要研究的技術領域。

一、硬件架構

基于流媒體的網絡視頻圖像采集系統即利用流式傳輸技術在網絡中連續、實時地傳輸視頻圖像，授權用戶只要與網絡相連就可以獲取視頻信號，從而實現遠程控制及智能分析。

流媒體網絡視頻圖像采集系統包括攝像機、圖像采集卡、流媒體視頻服務器和流媒體客戶端。

流媒體視頻服務器將獲取的數字視頻信號壓縮為一個個壓縮包，當用戶通過客戶端發出請求時，系統內的視頻服務器向客戶端傳輸實時數據。客戶端可在接收流媒體數據流的同時將部分內容放入緩存即開始播放視頻，而不需要等待全部數據流傳輸完畢。圖1為流媒體網絡視頻圖像采集系統硬件結構圖。

二、學生課堂行為視頻圖像采集和識別軟件

根據系統功能將系統軟件分為視頻采集和通信模塊、圖像背景處理模塊、圖像分析模塊、行為異常分析模塊、學生專注力分析模塊和教學效果評估模塊等，結構如圖2所示。

1.視頻采集和通信模塊

通過設置板卡參數將光學圖像轉換為數字信號傳輸到服務器上。

2.圖像背景處理模塊

采集學生上課前的原始背景圖像作為比對軟件的基礎圖像，用于識別人身輪廓的變化。

3.圖像分析模塊

使用識別算法識別當前幀的人身圖像。

4.行為異常分析模塊

比對當前圖像幀與背景圖像，記錄超過閾值的人身輪廓移動對應的學生編號。

5.學生專注力分析模塊

統計不同學生整堂課的人身輪廓移動情況，計算全體學生在每堂課的不同知識點教學時間段的專注程度并打分，為教學評估提供依據。

6.教學效果評估模塊

統計整堂課的學生異常行為，分析學生學習的專注程度，評估當堂課的教學效果。

三、總結

本文對學生課堂行為視頻圖像采集和識別系統進行了初步的研究和探索，然而由于人身識別問題的復雜性，系統還存在一些不足之處。

1.對圖像采集和識別的環境要求比較高。為了獲得較好的識別效果，攝像機需要固定，并保證識別目標所在的環境干擾因素較少。如果攝像機清晰度不高、角度不合理就會影響識別結果。

此外，由于視頻圖像采集系統采用的是基于流媒體的網絡傳輸方式，受制于信號轉換、網絡帶寬和計算機性能，系統在播放視頻時存在延遲現象，如果視頻每秒幀數過高，也會導致處理延遲。

2.本系統雖然可以自動識別課堂上學生的人身輪廓，但在異常行為增多的情況下，識別準確率明顯下降。

3.本系統缺乏學生專注力的行為學研究數據，需要操作人員積累經驗，根據實際采集圖像不斷調整專注力判斷的策略。后續可增加高清攝像機進行人臉輪廓識別，逐步將學生面部表情識別出來，提高專注力分析和教學效果評估的準確率。（指導老師：史朝群）