基于流媒體的學生課堂行為視頻圖像采集和識別系統研究

王竑熹，史朝群

（湖南省株洲市南方中學高中部，株洲 412002）

1 引言

現階段，隨著我國互聯網技術呈現出突飛猛進的發展態勢，圖像識別在各個領域均得到了廣泛的應用，并且呈現出非常廣闊的發展前景。圖像識別已經成為當前研究的重點內容，它包括了運動目標的檢測，目標分類與提取，目標跟蹤與計數等方面，涉及到圖像處理與識別領域許多核心課題[1]。

本論文研究了課堂學生行為圖像識別問題，在本論文中，介紹了簡單的課堂學生人身識別系統的軟硬件構成，通過軟件識別課堂學生聽課行為與背景圖像的差別，發現并掌握學生在課堂聽課時間中注意力不集中、交頭接耳等不良行為，記錄統計學生舉手發言的次數等良好學習習慣。

2 基于流媒體的學生課堂行為視頻圖像采集和識別系統的硬件架構

以流媒體為基礎前提的視頻圖像采集系統，其將流式傳輸技術與互聯網技術兩者有機統一起來，實現視頻的實時傳輸。對于使用者而言，其在互聯網條件下就可以充分發揮視頻采集系統的作用保證各項工作穩定的、有序的開展，從而對所捕捉的圖像進行智能化分析。目前，流媒體圖像采集主要由視頻采集卡、流媒體視頻服務器、攝像頭以及分控客戶端等組件所構成。基于流媒體的視頻傳統系統可以被比喻為一個小型的倉庫，其將所采集到的視頻圖像等存儲于該倉庫中，若使用者只需要輸入特定的指令就可以將視頻調出來。同時，視頻緩存過程中就可以就像調用，有效節約時間。總體而言，傳輸系統的功能原理如下圖所示：

圖1 系統的硬件結構

（1）攝像機。攝像機實現光學圖像轉換為模擬圖像再變為數字圖像，保證畫面清晰和基本無延遲。攝像機是基于光的特性開展工作的，其將圖像收錄于芯片上，根據光比例的差異性，采取不同比例的電荷以時間序列的方式產生視頻信號，從而達到視頻傳輸的根本目的。

（2）視頻采集卡。在視頻傳輸系統中，視頻采集卡類似于小倉庫，其可以根據使用者所需視頻型號實現視頻型號的轉化，更好滿足使用者的實際需求。

（3）流媒體視頻服務器。流媒體視頻服務器作為專業化的網絡傳輸設備，其最為重要的功能在于壓縮、處理以及保存視頻，主要由音視頻壓縮編解碼器芯片、網絡接口、音視頻接口、協議接口控制、輸入輸出通道、系統軟件等組件所構成，其可以將模擬信號轉換為數字信號，可以傳輸相關的數據信息。一般情況下，其已經具備網絡功能，無需用戶進行相應的開發。同時，部分設備商可以根據自己的實際功能對該設備的網絡功能進行升級改造。

（4）流媒體客戶端。流媒體客戶端是直接面向使用者的，該設備最為重要的功能在于實現對其他子系統的監控和調用。若使用者想要調用某個子系統上的某個視頻時，只需要在流媒體客戶端中輸入對應的指令，就可以直接調用該視頻。同時，由于各個元件之間具有獨立性特征，該客戶端的使用對于其他原件的使用并不會帶來干擾。

通過對上述硬件結構進行分析，可知在選擇以流媒體為基礎的網絡視頻圖像采集系統時，可以從集成性、靈活性以及可靠性等方面進行考慮。通過基礎設備的搭建和視頻采集客戶端的開發即可將采集的視頻圖像數據傳給圖像處理模塊進行處理，實現圖像輸入的功能。

3 學生課堂行為視頻圖像采集和識別軟件

通過上述對流媒體視頻圖像采集系統進行分析，可以將學生課堂行為視頻采集系統分為以下六大模塊：視頻采集和通信模塊、圖像處理模塊、圖像分析模塊、行為異常分析模塊、學生專注力分析模塊和教學效果評估模塊。系統軟件結構如圖2所示。

圖2 系統的軟件結構

（1）視頻采集和通信模塊：充分發揮光的特性和作用，將捕捉得到的光學信號轉化為可以識別的數字傳輸信號。

（2）圖像背景處理模塊：對于攝像頭所捕捉到的區域，將其分為若干個小區域，將其與后續的動作進行對比，從而對于學生的動作行為進行準確的識別。

（3）圖像分析模塊：充分發揮計算機程序識別功能，對于視頻中人像進行相應的識別。

（4）行為異常分析模塊：當對不同幀的視頻圖像進行識別，與圖像背景處理模塊所得到人身輪廓進行比對，對于在閾值內的輪廓移動不予記錄，超過閾值的人身輪廓移動對應的學生編號進行記錄。

（5）學生專注力分析模塊：對于行為異常分析模塊中所獲得的信息和數據進行全面的準確的分析，對于學生的專注力等情況進行科學的、準確的打分，這為教師開展課堂教學評估將會提供可靠的依據。

（6）教學效果評估模塊：根據學生專注力評分結果，根據特定的算法，對于課堂教學效果進行科學的、準確的評價。

4 結束語

本文對于學生課堂行為視頻圖像采集和識別系統進行了初步的研究和探索，但是，由于人身識別存在著較為鮮明的復雜性特征，因此，該系統仍然存在著較多不完善的地方亟需改進，主要表現在以下幾個方面：

（1）系統在視頻采集過程中，對于采集環境提出了較高的要求和標準。因此，必須要對特定的角度進行捕捉，保持攝像頭固定，使得采集效果得到全面的提升。同時，視頻傳輸過程中，計算機性能會對傳輸效果帶來直接性的影響，視頻的流暢度無法得到絕對保障，可能會導致延遲等情況的發生，這對于用戶的體驗感將會帶來一定的影響。

（2）該視頻采集系統處于發展的初始階段，識別準確率仍處于較低的水平，若學生動作較為頻繁，這方面的問題尤為突出。

（3）本系統缺乏學生專注力的行為學研究數據，需要在實際應用中根據實際采集圖像識別后，靠操作人員積累經驗，不斷調整專注力判斷的策略，畢竟無課堂異常行為并不代表就在專心聽課，后續通過增加高清攝像頭和人臉輪廓識別，逐漸將學生面部表情識別出來，這樣才能提高專注力分析和教學效果評估的準確率。

隨著我國全面進入素質教育階段，學生課堂行為視頻圖像識別技術將受到越來越多的重視，相關的識別算法也在不斷發展、完善中，有極為廣闊的應用前景。