基于教室監控視頻的課堂行為計數分析

歐溫暖 ， 田緒紅， 朱同林

（1. 華南農業大學農業多媒體技術研究所，廣東 廣州 510642；2. 華南農業大學信息學院，廣東 廣州 510642）

隨著科技的進步和經濟的發展，人們的社會生活水平不斷提高，校園的教學、管理等方式也發生了很大的變化。其中，大多數學校出于對教學場所中多媒體設備、教學狀況、公共教室利用情況、考試等原因，都在教室安裝了視頻監控系統，并進行視頻錄制與存儲，為監督教室安全、教學質量評估及監考考場等提供一種嶄新的手段。

基于視頻圖像的分析一直是計算機視覺和數字圖像處理領域研究的熱點和難點。近年來，國內外涌現許多基于視頻分析的研究成果[1-3]，但大多數都局限于對運動目標的檢測與跟蹤，在行為統計方面卻很少涉及。閆敬文等人提出的基于視頻圖像處理的人數統計方法[4]，使得人數統計技術有望從實驗室進入實際應用領域；但由于該方法是根據人的頭發顏色進行識別，只能應用在某些特定的場合。鄭澤文等提出的基于運動信息的教師到課情況檢測[5]，雖然較好地檢測教師到課情況，但課堂行為統計方面同樣沒有涉及。

課堂教學監控是課堂教學管理的重要環節，學生的課堂問題行為將直接影響著教學效果[6-7]。考慮到教室視頻可獲取及時、準確、具體、直觀的信息，而目前對這些信息基本上只是進行存儲，僅在出現異常或者有爭議情況下才調出來進一步求證。基于上述考慮，本文嘗試利用計算機對教室監控視頻中容易被察覺的外在行為進行分析，進而統計出課堂上出現訪問講臺和出入教室的人數。這不僅能夠很好地利用計算機協助開展課堂教學監控任務，而且大大地減少監控所需的物力和人力。通過分析計算機的統計結果，學校相關部門可以及時了解并掌握課堂教學的情況，并采取相應措施對課堂教學現場實施有效的監控，具有一定的現實意義和應用價值。

1 教室監控視頻運動目標檢測

視頻中的運動目標只有在連續的圖像序列中才能體現出來，故運動目標檢測過程其實就是在連續圖像序列中尋找差異，并將其提取出來。實現運動目標完整檢測的流程圖如圖1所示。

圖1 運動目標檢測流程圖

1.1 圖像預處理

1.1.1 圖像灰度化

為了統一進行處理和節省存儲空間和圖像處理時間，通常需要將索引圖、真彩色圖轉換為256級灰度圖像，灰度值范圍為0～255。

1.1.2 圖像分割

圖像分割的主要目的是將圖像劃分為與其中含有的真實世界的物體或區域有強相關性的各個組成部分[8]。圖像二值化可以將圖像中目標和背景分離出來，用公式表示為

1.2 運動目標檢測

目前常用的運動目標檢測方法主要有3種：幀差法[10]、背景差法[11]和光流法[12-13]。實驗給出幀差法和背景差法的檢測結果，如圖2、3所示。

圖2 幀差運動目標檢測

圖3 背景差運動目標檢測

從檢測結果可以看到，背景差法可獲得關于運動目標區域的完整而精確的描述，定位準確，不會擴大運動區域；但算法的不足之處體現在對光線、天氣等環境條件的變化十分敏感。幀差法對環境和光線變化有很強的適應性，并且算法原理簡單，易于實現；但幀差法進行目標檢測和分割精度較低，容易產生“空洞”現象，后續結合圖像去噪和數學形態學處理，獲得比較滿意的檢測效果，從而彌補該方法的不足。本文采用幀差法對運動目標進行檢測，并利用連續的兩次閉運算消除運動目標所產生的“空洞”現象。

1.3 運動目標標記

實際中檢測到的運動目標有可能被分割成彼此分離的連通區域，我們需要尋找圖像中所有目標對象，并且將屬于同一目標對象的所有像素用唯一的標記值進行標記，把各個連通區域區分出來。利用該標記算法我們能夠準確識別每個目標，并求出每個連通區域各自的參數（面積、周長等），然后根據各個區域的幾何特征剔除一些在面積和形狀上不符合實際跟蹤目標條件的區域，保留可能的運動目標區域。對運動目標的標記結果如圖4所示。

圖4 運動目標標記結果

2 基于視頻分析的課堂行為統計

為了對在課堂上進出教室、出入講臺這兩種行為進行分析統計，本文提出一種基于視頻分析的課堂行為統計方法，通過對跟蹤目標和監控區域的位置狀態信息進行建模，給出了4種不同的位移模型。

2.1 監控區域設定

由于不同教室中的攝像頭的分布位置不同，因而在采集到的視頻中靜態背景也會有所差異。圖5給出在不同的視頻中設置教室中的門作為監控區域的情況。

圖5 監控區域設置

2.2 運動目標移動情況分析

考慮運動目標相對監控區域的移動情況，我們將運動目標的中心位置（即矩形的中心位置）當作運動目標所在的位置，記為運動點。當運動點出現在監控區域內時，我們認為運動目標進入監控區域；否則認為運動目標在監控區域外，如圖6、圖7所示。其中綠色框代表監控區域，紅色框代表運動目標，圓心黑點表示運動點，箭頭表示移動路徑。

圖6 運動目標相對監控區域的位置

圖7 運動目標相對監控區域的移動情況

針對運動點的起始位置b和終止位置e兩個狀態，可確定運動目標相對監控區域Z的移動情況，共有如下4種位移模型，并分別給出判定條件：

· 當起始點b和終止點e都出現在監控區域內，認為運動目標在監控區域內移動，如圖7(a)所示，滿足判定條件

· 當起始點b出現在監控區域內，終止點e出現在區域外，認為運動目標從監控區域內移動到區域外，如圖7(b)所示，滿足判定條件

· 當起始點b出現在監控區域外，終止點e出現在區域內，認為運動目標從監控區域外移動到區域內，如圖7(c)所示，滿足判斷條件

· 當起始點b和終止點e都出現在監控區域外，認為運動目標在監控區域外移動，如圖7(d)所示，滿足判斷條件

2.3 課堂行為計數分析

結合上述4種不同的位移模型，實驗對采集的課堂監控視頻進行分析，并對在課堂上進出教室和上講臺的行為進行統計。

2.3.1 課堂上進出教室的人數計數

· 運動目標進入教室

圖8所示為運動目標進入教室的視頻監控過程。當對運動目標的標記首次出現在監控區域范圍內，并逐漸移動到監控區域范圍外，到最后在監控區域范圍外消失，此時判定運動目標進入了教室。

圖8 運動目標進入教室視頻監控過程

· 運動目標走出教室

圖9所示為運動目標走出教室的視頻監控過程。當對運動目標的標記首次出現在監控區域范圍外，并漸漸移動到監控區域范圍內，到最后在監控區域范圍內消失，此時判定運動目標走出教室。

圖9 運動目標離開教室的視頻監控過程

· 運動目標沒有進出教室

圖10所示為運動目標從教室門口走過的視頻監控過程。當對運動目標的標記首次出現在監控區域范圍內，到最后在監控區域范圍內消失；或者，當對運動目標的標記首次出現在監控區域范圍外，到最后在監控區域范圍外消失；對于上述兩種情況，則判定運動目標沒有進出教室。

圖10 運動目標從教室門口走過的視頻監控過程

2.3.2 課堂上走上講臺的人數計數

圖11所示為運動目標上講臺的視頻監控過程。在對課堂上上講臺的人數進行統計之前，同樣需要將教室中講臺所在的區域設置為監控區域。

圖11 運動目標上講臺的視頻監控過程

2.3.3 多運動目標情況分析

在實際的環境當中，有可能出現連續多個人一起進出教室或上講臺的情況。對于出現這種情況，利用本文的檢測方法檢測到的多個運動目標會構成同一個連通域，此時的多個運動目標只會形成一個標記，如圖12所示。

圖12 出現連續多個運動目標的情況

從上圖可以看出，當連續出現多個運動目標時，標記運動目標的矩形框寬度發生了明顯的變化。針對上述情況，可以根據矩形框的實際寬度值判定所監控到的運動目標個數，這里根據實際采集的視頻情況，只考慮最多連續出現3個運動目標的情形。實驗對連續出現多個運動目標的情況進行采樣學習。表1列出不同目標個數的出現同所標記矩形框的寬度值d的之間的關系。

表1 連續出現多個運動目標判定條件表（單位：像素）

3 實驗結果及分析

本文所用的實驗數據來自華南農業大學第3教學樓的課堂教學監控錄像，用到的攝像機和圖像參數如下：

· 有效像素：PAL:752×582 NTSC:768×494

· 最低照度：彩色0.1/0.14Lux

黑白0.01/0.014Lux

· 水平解析度：540TVL(彩色)

600TVL(黑白)

· 信噪比：大于50dB

· 鏡頭：2.1-11mm Φ14

· 圖像寬度：240像素

· 圖像高度：192像素

· 圖像水平分辨率：96DPI

· 圖像垂直分辨率：96DPI

· 圖像位深度：24

實驗對采集到的10個視頻錄像（圖13所示）進行分析，并統計出課堂上進出課室的人數和上講臺的人數。所得到的實際值和測得值如表2、表3所示。

圖13 實驗采集的10個視頻錄像數據

表2 課堂上進出課室的人數統計結果表

表3 課堂上訪問講臺的人數計數結果表

從對課堂上進出課教室人數進行統計的結果可以發現，視頻2中進出教室人數的測得值比實際值都少了1人，原因是在視頻2中，監控區域同時出現了進出教室的運動目標，即一個人正走出教室，一個人正進入教室。對于這種情況，兩個人會走在一起然后分開，因而影響統計結果。本文目前沒能對該情況進行處理，有待后續進一步研究處理。但排除視頻2中出現的情況，其他的視頻的測得值和實際值完全吻合。

針對課堂上訪問講臺的人數的計數結果，情況同對課堂上進出課室的人數計數情況類似。當剛好出現兩個人同時上下講臺的時候，也會對實驗的結果產生影響，如視頻5、視頻10統計得到的結果。

但從實驗的總體分析結果可知，實驗中所采集到的教學視頻監控錄像普遍適合用本方法進行分析處理。

4 結 論

針對教室監控視頻中出現的課堂走動行為，本文提出了一種基于視頻分析的課堂行為統計方法，通過對跟蹤目標和監控區域的位置狀態信息進行建模，實現對在教堂上進出課室人數和上講臺人數進行統計。實驗分析結果驗證了算法的有效性，對教學視頻監控，具有一定的應用價值。

針對算法存在的不足，本文將在接下來的工作中進一步考慮對同時出現往相反方向運動的多目標情況進行處理，以期能達到更大的應用范圍和價值。

[1]Behrad L, Shahrokni A, Motamedi S A, et al. A robust vision-based moving target detection and tracking system[C]//Proceedings of Image and Vision Computing Conference, Dunedin, New Zealand, 2001: 26-28.

[2]伏思華, 張小虎. 基于序列圖像的運動目標實驗檢測方法[J]. 光學技術, 2004, (4): 215-217.

[3]舒 恒. 基于視頻的人體運動檢測與跟蹤[D]. 北京:北京理工大學, 2008.

[4]閆敬文, 樊秋月. 基于視頻圖像處理的人數統計方法[J]. 汕頭大學學報(自然科學版), 2008, (2): 69-73.

[5]鄭澤文, 陳慶章. 基于運動信息的教師到課情況檢測[J]. 浙江工業大學學報, 2010, (4): 420-425.

[6]陳 美. 淺論課堂教學監控[J]. 吉林教育, 2011, 14: 48.

[7]張偉靜. 如何有效的應對課堂問題行為[EB/OL].http://www.qtedu.net/eduzl/jsgd/200711/81923.html.(2007-11-22).

[8][美]Sonka M, Hlavac V, Boyle R. 圖像處理、分析與機器視覺(第 2版)[M]. 艾海舟, 武 勃, 譯. 北京:人民郵電出版社, 2003: 83-144.

[9]賈永紅, 崔衛紅, 余 卉. 數字圖像處理實習教程[M].武漢: 武漢大學出版社, 2007: 75-76.

[10]Liption A, Fujiyoshi H, Patil R S. Moving target detection and classification from real-time video[C]//Fourth IEEE Workshop Application of Computer Vision, 1998: 8-14.

[11]Nir F, Stuart R. Image segmetation in video sequence:a probabilistic approach[C]//International Conference on Uncertainty in Artificial Intelligence, 1997:175-181.

[12]Tekalp A M. Digital video processing [M]. Beijing:Tsinghua University Press, 1998: 181-186.

[13]Horn B, Schunch B, Detemining. Optical flow [J].Artificial Intelligence, 1981, 17: 185-203.