智能課堂監控與分析系統

戴振澤　施艷　鄭少偉　郭梓文　丁王斌

摘 要：為解決傳統監控系統耗時長，效率低，可靠性差等問題，本文基于人工智能技術，對傳統監控系統進行改進提升，設計一個智能課堂監控與分析系統。該系統綜合使用Java編程技術、圖像視頻處理技術、機器學習技術，對學生在課堂上的行為表現進行智能地識別與分析，實現從人工監控到智能監控的轉變，從而大幅提升課堂質量管控。

關鍵詞：智能課堂；視頻監控；人工智能

中圖分類號：TP319 文獻標識碼：A

1 引言（Introduction）

課堂監控系統是記錄和重現課堂教學的重要工具[1]，是一種采用跟蹤技術來記錄課堂教學活動的系統。

智能課堂監控與分析系統的創建，是為了更好的提高學校對課堂教學質量的管控的重要舉措，而傳統課堂監控系統一般由人工監控，用于實時監視課堂教學情況與突發事件，無法有效的對課堂教學質量進行評估。智能課堂監控與分析系統以其全新的“主動監控”模式，從根本上解決了傳統課堂監控系統的完全依賴人工監控的局限性，大幅提升了課堂監控系統的工作效率，節省了人力資源。通過監控視頻中的圖像進行自動智能分析來對監控進行識別，分類，在此基礎上來分析判斷，從而完成日常管理，做出反饋。

2 智能課堂監控現狀（Intelligent classroom

monitoring）

據調查顯示，很多高校的課堂監控還停留在手工統計數據、手工計算分析數據的層次上，缺乏實效性的反饋。當前很多發達國家高校也建立了相對完善的課堂監控系統，對課堂教學活動進行了深入研究。

例如：澳大利亞昆士蘭大學（The University of Queensland）課堂監控系統是對教師教學進行監督，由教學委員會進行綜合加工、整理評價，并對教師進行相應指導；美國耶魯大學（Yale University）課堂監控以考察學校教學目標、計劃、大綱、學生管理等工作，由第三方鑒定機構進行考評；英國的圣安德魯斯大學（University of St Andrews）課堂監控主要側重教學過程，全過程、全方位、全員性監控評估，即教師質量監控評估，學生質量監控評估，教學效果監控評估等[2]。

當然，國內高校也有課堂監控體系，但以人工為主，對于數據采集統計，往往消耗數據處理時間，失去時效性，降低教學監控效果。例如：蘇州市職業大學課堂監控系統是對教師行為、學生行為、教學特色等內容進行監控分析，只是重點分析課堂教學，對教師監控、對板書監控、對多媒體教學進行監控、對學生活動監控，但是只能監控而已并不能形成智能的分析系統，會造成評價的偏差[1]；無錫職業技術學院課堂監控系統只是對“學生信息反饋”“聽評課反饋”“課堂考勤”等主要功能模塊進行整合，實現了教學信息實時采集、實時反饋，動態數據智能匯總，同樣也無法做出智能的評定[3]；山東技師學院課堂監控系統是通過校園網對教學樓課堂實行有效地監控，能夠根據需要對存儲圖像時間進行設定，實現實時錄像、錄像存放、回放、錄像檢索等管理。通過設計，輔導員可以不受時間空間的限制，方便的使用手機、電腦等終端設備對自己所帶班級進行遠程的紀律和學習督導[4]。但是實現對課堂信息的提取、基礎數據的匯總需要人員增添，統計分析可比性不強，沒有實現實時監控[1]。

2.1 傳統視頻監控系統的不足

目前視頻監控已經普遍存在，但往往并沒有充分發揮它實時主動監督的作用?，F存的大部分視頻監控系統一般都是通過兩種方法運用監控的結果：

（1）將攝像機的拍攝的視頻記錄下來，當突發異常事件之時，才通過回放所保存的視頻，觀察所發生的事實。但是，這時往往為時已晚，不利于進行預防和調整。

（2）把多個視頻監控畫面集中到一個監控室內，通過監控室內數十個顯示器同時顯示各個場景畫面，以供監控人員觀看。當監控人員通過顯示畫而發現某些異常時，人工通知相關人員前去處理。但是，據調查顯示，每小時一個人能集中注意力的時間低于20分鐘，另外由于攝像頭較多，往往每個顯示器都是輪流顯示多個攝像頭的畫面。因此，通常監控人員平均觀看每個攝像頭的時間低于每小時5分鐘，無法有效地進行管理[5]。

龐大的視頻數據量，由人工實時監控，所花費的代價是驚人的，效率是非常低下的。總之，裝備帶有一定智能的視頻監控系統已經是很多行業的迫切要求。

2.2 智能視頻監控系統的定義及其優點

智能視頻監控就是在不需要人工干預情況下，利用計算機視覺、數字圖像處理和視頻圖像分析的方法，對攝像機拍攝的視頻圖像序列進行自動分析，實現系統對場景中的舉動進行識別判斷。

智能視頻監控系統和傳統的視頻監控系統比較，具有很多的優點：

（1）無限監控。智能視頻監控系統能對所監控的畫面進行一天24小時無止息的監控，并自動分析，提高事件分析的效率并及時反饋，可及時查看。

（2）提升準度。智能視頻監控系統可以借助強大的視頻處理、分析模塊，能有效地降低漏查和誤查概率。

總之，智能化一直是計算機視覺的熱點研究問題之一，也是時代發展的必然。

建設“智慧課堂”是提升教學質量的新支點和新動力，隨著人工智能技術的迅猛發展，傳統視頻監控系統與人工智能的結合是大勢所趨，因此發展課堂智能監控技術也勢在必行。傳統課堂監控系統由于海量視頻數據在人力監控資源上的局限性，這種“被動式，忽略式”的視頻監控模式難以滿足當今學校對教學的管控服務。本文旨在設計一個智能課堂監控與分析系統，以建設高效課堂為中心，利用最新的圖像視頻處理與機器學習技術對學生在課堂上的行為表現進行智能地識別與分析，讓監控智能化，讓課堂智慧化。

3 智能課堂監控與分析系統設計（Design of intelligent

classroom monitoring and analysis system）

3.1 系統方案總括

現如今，教室里安裝的視頻監控除了對課堂教學情況進行監控與記錄以外，并不能對其進行有效地分析，在反饋整合上沒有實現智能化。本文設計的智能課堂監控與分析系統是一個結構嚴謹，時效性強的系統[6]，其方案流程為：教室攝像頭定時截取課堂學生行為照片并傳入系統后臺，系統按照以時間命名的文件夾將其提取、存檔，通過樣本訓練的方式得到符合的構造方式，智能地對圖像進行自動識別分析，從而對數據進行整合，得出一張課堂反饋表，減少人力長時間監控疲勞的弊端，有助于數字化校園的建設與發展，能有效的提高學校對課堂教學質量的管控，推動“智慧課堂”的發展。設計了如圖1所示的結構圖。

3.2 軟件結構設計及功能簡介

系統軟件采用數據庫作為管理系統的后臺，采用Java開發工具軟件作為數據操作的前臺，是用戶和計算機交流的人-機接口管理軟件[7]。按照智能課堂監控與分析系統的架構，設計了如圖2所示的功能模塊。

由圖可知，智能課堂監控與分析系統是依托監控系統對學生在課堂上課行為表現（如睡覺、玩手機、認真聽課等）的海量數據的采集，通過課堂行為動作識別模塊中的機器學習的方法對采集的圖像進行智能的識別與分類，并在此基礎上對數據進行智能的評估，實時數字化反饋學生課堂行為，不受時間空間的限制，提高信息整合能力。

（1）課堂行為監控模塊

實時監控是對學生課堂行為的一個提醒，能夠起到一個督促的作用。教學檢查中教務處、系部檢查人員可以不受地點限制地完成對課堂的檢查，完成對課堂狀況的判斷，可以更加如實掌握學生的課堂表現，對學生和學校都能有促進作用。

（2）課堂行為動作識別模塊

作為系統的核心模塊，該模塊顯得尤為重要。通常所說的圖像識別，是指利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標和對象的技術。但是在實際行為圖像處理過程中，經常會出現奇怪現象，如端正坐姿的睡覺、遮擋性的玩手機等行為都對系統識別有很大的影響，圖像與現實所出現的差異也在所難免，通過海量原型的比對，從而得出較為正確可靠的信息資源。

實現課堂行為識別的方法多樣，我們選擇的是基于人工智能行為識別的條件下利用Python進行深度學習設計、開發，封裝圖像數據庫，對其進行檢測分析，判斷學生課堂的行為舉動，通過機器學習的方法能有效地做出反饋，改進學校管理學生的模式，提升學校的教學質量。借助計算機強大的數據處理功能，反饋出各個班級學生的上課狀態、上課風貌，快速分析識別更準確地得出數據結論，使得圖像信息數字化，從而可以更方便地理解判斷。

（3）智能評價模塊

將一節課45分鐘分為三段（每15分鐘一段），每一段進行單獨評分。設定各個時段聽課效率占比大于75%為優秀，占比大于50%小于75%的為良好，占比小于50%的為聽課效率較差的狀況（聽課效率=認真聽課的人數/班級總人數）。最后依據分段評分情況，按照一時段前15分鐘占比三成，二時段中間15分鐘占比四成，三時段末15分鐘占比三成的評分標準累加完成對各班該節課最后得分的評估（設一時段、二時段、三時段聽課率分別為X1、X2、X3，則最后評

分=X3*30%+X2*40%+X3*30%）。

學?？梢曰诜治鼋Y果在后期的探討中給予各個班教學更中肯的評價，也可以以此作為評優的考核標準。

本文重點是將人工智能技術應用于智能課堂監控與分析系統中，該系統源于計算機視覺，融合了圖像處理技術，模式識別等技術，這些技術已經越來越受到外界的關注。同時，利用已有的教室監控資源，降低成本，發揮團隊和師資的強大力量去努力實現教育教學的可視化管理。

4 實現效果（Achieved results）

4.1 系統主界面

當用戶啟動軟件后，進入智能課堂監控與分析系統主界面，主界面設置了四個窗口（實時監控、信息管理、數據查詢、設置），可以根據不同的需求開啟不同的窗口，如圖3所示。

4.2 實時監控

軟件對攝像頭所監控的數據進行同步傳輸，直接成像進入系統，可以隨時了解各班學生課堂表現，從而可以及時的做出提醒和改進，如圖4所示。

4.3 自動截圖與分類

軟件對該攝像頭下產生的數據進行分類并自動截圖保存至本地，系統可以根據圖片顯示進行管理，也可方便有據查看課堂行為，如圖5所示。

4.4 數據查詢

用戶可以選擇性地對各個年級、各個專業、各個班級進行課堂行為表現查詢，依據自由選擇導出各班的課堂結果分析，如圖7所示。

5 結論（Conclusion）

課堂教學是素質教育的主要陣地，是教師和學生教與學活動相互的直接表現。課堂行為動作監控可以全方位跟蹤學生學習，本文智能課堂監控與分析系統充分結合了智能識別技術、計算機技術和網絡技術，為教學質量提供真實有效的依據。本文所涉及的人工智能機器識別中的行為識別作為當下最熱門的技術之一，應用層面廣博。本文的研究和設計成果可以為各個高校課堂學生行為管理提供有益的借鑒和參考。但是行為識別程序在實際應用時，識別準確率還有待提高，需要進一步研究完善。

參考文獻（References）

[1] 樊凌，戴雯惠，唐寅.基于智能跟蹤的課堂教學監控系統的探索與研究[C].International Conference on Education Technology & Training，2010.

[2] 黃健榮.梧州學院課堂教學質量監控系統的設計與實現[D].電子科技大學，2013.

[3] 徐金鳳，張路遙.高職院校教學質量監控信息化平臺的設計——以無錫職業技術學院為例[J].無錫職業技術學院學報，2017，16（3）：41-44.

[4] 李霞.校園視頻監控系統的研究與實現[D].山東大學，2015.

[5] 袁國武.智能視頻監控中的運動目標檢測和跟蹤算法研究[D].云南大學，2012.

[6] 荊洲，權偉，唐杰，等.基于人臉識別的智能課堂點名系統[J].軟件工程，2017，20（5）：43-46.

[7] 王云良，湯慧芹，顧衛杰.高職院校智能化課堂教學質量監控系統研究[J].軟件工程，2015（3）：28-29.

作者簡介：

戴振澤（1998-），男，本科生.研究領域：物聯網工程.

施 艷（1998-），女，本科生.研究領域：物聯網工程.

鄭少偉（1998-），男，本科生.研究領域：軟件工程.

郭梓文（1999-），男，本科生.研究領域：圖像處理.

丁王斌（1990-），男，碩士，助教.研究領域：軟件工程.本文通訊作者.