基于YOLOv3的大學生上課時間觀念的研究

程莎 王全民

摘 ?要： 本文基于教室監控視頻數據對大學生上課時間觀念進行研究，采用“檢測-跟蹤-計數”框架對不同時間段學生到課人數進行統計分析。目標檢測階段是以YOLOv3網絡作為目標檢測的基礎模型，通過構建教室出入學生樣本庫，訓練出更適合檢測教室行人的網絡模型;目標跟蹤階段使用的是DSST算法進行目標跟蹤，結合幀間質心匹配算法進行人數統計。最后，對各個時間點進出教室人數進行分析研究，實驗結果表明了方法的有效性。

關鍵詞： Yolov3;目標檢測;DSST;人數統計

中圖分類號： TP391.41 ? ?文獻標識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2020.01.034

本文著錄格式：程莎，王全民. 基于YOLOv3的大學生上課時間觀念的研究[J]. 軟件，2020，41（01）：156159

【Abstract】： This paper studies the concept of college students' class time based on video data of classroom monitoring，the "detection - tracking - counting" framework was used to analyze the number of students coming to class in different time periods. The target detection phase is based on the YOLOv3 network， through the construction of classroom access student sample database， a more suitable network model is trained to detect pedestrians in the classroom; In the target tracking phase， DSST algorithm is used for target tracking， combined with the inter-frame centroid matching algorithm， the number of people is counted. Finally， the number of students entering and leaving the classroom at each time point is analyzed and the experimental results show the effectiveness of the method.

【Key words】： YOLOv3; Object detection; DSST; People counting

0 ?引言

在校園數字化建設的大背景下，產生了大量可挖掘數據;隨著深度學習的飛速發展，通過智能的識別與分析，我們可以充分挖掘數據里面的潛在價值，有助于優化教學管理提高教學質量。針對到課人數統計的研究主要涉及目標檢測和目標跟蹤算法。

傳統目標檢測方法主要分三步：區域選擇、特征提取和分類器分類。深度學習的出現，使得特征提取和分類器分類合并一步實現。利用卷積神經網絡提取行人特征進行檢測的方法，在行人目標出現遮擋、形變問題的情況下，檢測的準確度仍然得到一定程度的保證。目前CNN常用的目標檢測模型有：Faster R-CNN、SSD和YOLO。Faster R-CNN提出了新的RPN網絡代替了原來的對每個區域建議（region proposal）方法，準確度得到了提升但是檢測速度仍然不夠快;SSD的改進核心是使用小卷積濾波器預測邊界框位置中的對象類別和偏移，使用單獨的預測變量（濾波器）進行不同的寬高比檢測，并將這些濾波器應用于網絡后期的多個要素圖以執行多尺度檢測。SSD檢測相比Faster R-CNN檢測速度更快，檢測精度更高;2018年Joseph Redmon和Ali Farhadi提出YOLOv3模型，該模型準確度與SSD模型相媲美，速度卻是SSD模型的3倍多。YOLOv3是速度和精度最均衡的目標檢測網絡，它融合了多種先進方法，改進了YOLOv1和YOLOv2的缺點，且效果更優。因此，實驗選用了YOLOv3作為目標檢測模型。

根據工作原理，目標跟蹤主要分為生成式模型和鑒別式模型兩大類。鑒別式模型相對于生成式模型能夠更好的處理遮擋目標，由于實驗數據存在大量遮擋的情景，所以我們選擇了鑒別式模型。鑒別式模型中相關濾波算法無論在準確率還是速度方面都有好的性能，而DSST是相關濾波的改進增加了尺度跟蹤，更準確的對視頻中行人進行跟蹤。

采用幀間質心匹配算法最終實現計數功能。通過前面階段獲取目標檢測狀態集和目標跟蹤狀態集，采用歐式距離最近原則，來關聯目標檢測狀態集和目標跟蹤狀態集，進而得到各個學生的運動軌跡。根據目標對象運動軌跡計算出目標移動方向。設置閾值，跟蹤目標如果發現目標通過閾值，進行該目標的計數。

1 ?本文方法

1.1 ?YOLOv3原理

YOLOv3算法是物體檢測算法YOLO系列第三個版本，可以檢測出person、bicycle、car等80個類別物體。借助于GPUTitanX，YOLOv3在COCO數據上51 ms內實現了57.9的AP50[1]，檢測性能表現非常優異。

YOLOv3首先將原圖縮放到寬416高416大小，然后將其按照特征圖的尺度大小劃分為S X S大小單元格，每個單元格有三個anchor boxes預測三個邊框，在在特征圖為13×13、26×26、52×52三個尺度上依次進行檢測。每個尺度預測3個box，使用聚類設計anchor，解出9個聚類中心，按照大小將其分成三種尺度。在訓練過程中，YOLOv3損失函數包括三部分：目標置信度損失、目標定位損失和目標分類損失。目標置信度是預測目標矩形框內存在目標的概率，采用二值交叉熵損失;目標分類損失同樣采用的是二值交叉熵損失;目標定位損失采用的是真實偏差值與預測偏差值差的平方和。

YOLOv3的模型結構是由Darknet53和三次采樣輸出構成。網絡中大量使用殘差連接，通過增加深度提高準確度。Darknet53網絡結構的最小單元是由卷積層、Batch Normalization層和激活函數（LeakyRelu）組成。借鑒類金字塔輸出，三次采樣輸出越來越小的檢測目標，增強了對不同大小物體及復雜背景物體的檢測效果。使用多個獨立logistic分類器代替softmax，實現多標簽分類，一定程度上保證檢測到的物體多樣性。

1.2 ?DSST原理

DSST跟蹤算法是基于MOSSE濾波器的改進，增加了HOG特征進行目標跟蹤，而且提出了快速尺度估計的方法。DSST算法用不同維度的濾波器來進行相應的目標尺度變化評估、目標位置變化評估以及用于詳盡尺度空間的目標定位。算法的思想是設計兩個濾波器，一個是位置濾波器用來給當前目標進行定位，另一個是尺度濾波器用來對當前目標進行尺度估計，結合兩種濾波器實現目標跟蹤，算法簡潔相對于MOSSE算法更適合于紋理特征的場景。

1.2.1 ?位置過濾器

該算法將輸入樣本f設計為d維特征向量，那么最小均方誤差和可以表示如下。

上式中，λ是正則項系數，參數λ可以消除f頻譜中的零分量干擾，避免分子為零;上標l表示特征的維度;g是通過訓練f得到的理想輸出。式中當t=1時，結果如下。

由于求解d維線性方程非常耗時，可以通過對上式中的分子 和分母 進行分別更新，進而得到魯棒的近似結果，公式如下。

其中，η為學習率，最大濾波器相應值y為。

1.2.2 ?尺度過濾器

在新的一幀圖像中，先利用二維位置濾波器來確定目標物體的位置信息，然后再利用一維尺度濾波器進行尺度匹配。過程是以目標位置的中心位置為中心點，獲取不同尺度的候選patch，然后找到最優的匹配尺度。目標樣本尺寸選擇原則：

上式中，P和R代表在前一幀的目標框的寬和高，S代表尺度個數，省略號代表區間為[–16， 16]之間的整數值，a代表尺度因子。

1.3 ?幀間質心匹配算法

學生上課時間統計實驗的核心算法是目標檢測和目標跟蹤兩大算法，但是要實現視頻流數據統計，我們需要通過幀間質心匹配算法在幀間建立邏輯聯系，關聯目標檢測結果和目標跟蹤結果，然后通過學生運動軌跡流，實現進出教室人數計數功能。

假設在t時刻，目標檢測列表為 ，目標跟蹤鏈表為 ，設 為檢測鏈表中第k個目標 的中心坐標，設 為跟蹤鏈表中第l個目標 的中心坐標，定義 和 空間距離為。

計算出每個檢測出的目標和所有的跟蹤目標進行距離求解 ，設有K個檢測目標和L跟蹤目標，則可以得到距離關聯矩陣。

通過距離矩陣λ，根據質心最近距離匹配原則，我們求得檢測出來的學生以及其對應的跟蹤狀態集，從而我們可以得到視頻中各的學生的運動軌跡。

根據視頻里教室分配特點，我們設置計數閾值為第一排過道。當目標物體越界，計數器自動進行計數。假設學生軌跡點開始坐標值為（m1， n1），結束坐標為（m2， n2），如果m2–m1小于零，則表示軌跡方向是向上的，視頻中反應的就是出教室，則設置的出教室數值加一，總數減一;反之，則表示軌跡方向是向下的，視頻中反應的就是進教室，則設置的進教室數值加一，總數加一。

2 ?實驗結果及和分析

2.1 ?實驗數據介紹與預處理

2.1.1 ?數據說明

實驗數據是某高校教室的監控視頻。采集的數據包括了本科四個年級以及研究生三個年級的教室監控視頻。相對于傳統的問卷調查，本文實驗數據覆蓋面更廣更全面。

2.1.2 ?數據處理

根據教室特點，為了減少不必要的干擾因素以及提高實驗效率，我們將實驗原數據通過視頻剪裁分成左通道與右通道兩部分，如下圖所示。

2.2 ?實驗設計細節與效果

檢測試驗數據集是從樣本視頻中采集的，使用labelImg標注工具，然后將數據集轉化為Pascal VOC數據集的標準格式。完成了數據集的制作后，用YOLOv3檢測器訓練。

目標跟蹤的實現使用OpenCV的pyimagesearch庫中的trackableObjects類，其中包含了DSST算法。實驗中，跟蹤類的初始化中目標位置框參數由檢測結果賦值。

結合幀間質心匹配算法，根據距離最近原則，我們將目標檢測階段的到的對象和目標跟蹤階段的到的狀態集一一對應，從而得到每個進出學生的運動軌跡，通過運動軌跡，和我們設置的越界線（第一排過道），實現進出學生計數功能。其中，進教室則標志In加一，出教室則標志Out加一。實驗效果如下圖。

2.3 ?結果分析

本文對大一、大二、大三、大四的課堂視頻進行了實驗，并進行了數據的統計。根據實驗結果，我們在課前30分鐘課后30分鐘時間段內以及課程結束時刻，選取幾個時刻統計人數，統計表格如下。

樣本中大一某課堂總人數100，大二某課堂總人數110，大三某課堂總人數106，大四班級總人數90。根據數據統計結果，從大一至大四我們可以分別分析出缺課率是0、5.5%、5.6%、0，遲到率是3%、5.8%、10%、1.1%，早退率是1%、6.7%、18%、0。從數據我們可以看出來，樣本中大一和大四課堂的時間觀念較強，大三課堂的遲到率和早退率都較高于其他年級。在大數據時代，通過數據我們可以更加客觀科學的分析事物。從數據著手，更加科學規范的管理學生和提高教學質量。

3 ?結論

本文主要研究內容包括目標檢測、目標跟蹤和軌跡分析等技術，研究對象是動態的學生上課視頻，智能化的行人流量統計算法可以幫助使用者節省人力成本。本文所涉及的算法通過實際的測試驗證了其實時性以及適用性都可以達到預期的目標?；诮淌冶O控視頻使用YOLOv3目標檢測算法對不同時間點學生人數進行實時統計，可以客觀統計學生的缺課率、遲到率和早退率，相應反應出學生的時間觀念、學習風氣以及對不同課程的興趣情況等，方便學校更好的管理教務。

參考文獻

[1] 基于視頻監控的教室人數統計系統的研究與設計[D]. 重慶理工大學， 2017.

[2] 基于視頻監控的教室人數統計[D]. 安徽大學， 2014.

[3] 尹本雄. 基于WEB的多媒體教室遠程視頻監控及控制系統的設計與實現[J]. 信息系統工程， 2014（12）： 35-35.

[4] 教室監控視頻中人員異常行為檢測研究[D]. 電子科技大學， 2018.

[5] 閆一鳴. 高校教室電子監控的合法性探究[D]. 廣西大學， 2015.

[6] 哈圖， 金永昌. 計算機遠程監控系統在教學中的研究與實現[J]. 內蒙古農業大學學報（自然科學版）， 2015（3）： 141-146.

[7] 黃欣. 視頻監控系統在教學管理中的應用[J]. 中國教育技術裝備， 2015（10）： 18-20.

[8] 黎翠轉. 視頻監控系統及智能視頻監控技術研究[J]. 機電信息， 2014（15）： 110-111.

[9] 黃巖. 基于計算機軟硬件的視頻監控系統設計與研究[J]. 計算機技術與發展， 2018， v.28; No.253（5）： 133-136+140.

[10] 邵志晨. 計算機網絡技術在視頻監控聯網中的應用探究[J]. 計算機光盤軟件與應用， 2014（1）： 107-107.

[11] 趙華， 鐘志宏， 蘭峰， 等. 淺析智能視頻監控系統[J]. 計算機光盤軟件與應用， 2014（19）： 45-45.

[12] 葉金嶺， 王青峰， 余波. 網絡視頻監控在數字校園中的應用研究[J]. 計算機光盤軟件與應用， 2014（11）： 251-251.

[13] 陳俊良， 葛俊鋒， 葉林， 等. 基于?？低昐DK的視頻監控軟件的開發[J]. 工業控制計算機， 2015（7）： 97-98.

[14] 惠曉威， 王克. 移動視頻監控系統的實現[J]. 計算機應用與軟件， 2014（1）： 148-150.

[15] 面向智能視頻分析的網絡視頻監控系統軟件設計與實現[D]. 東南大學， 2016.

[16] 李曉飛. 探討計算機網絡技術在視頻監控聯網中的應用[J]. 電子技術與軟件工程， 2013（23）： 31-31.

[17] 張亮. 計算機網絡技術在視頻監控聯網中的應用[J]. 網友世界·云教育， 2014（19）： 23-23.

[18] 陳翔， 顧慶， 劉望舒， 等. 靜態軟件缺陷預測方法研究[J]. 軟件學報， 2016， 27（1）： 1-25.

[19] 孫文榮， 周先春， 嵇亞婷. 基于直方圖均衡化、PCA和SVM算法的人臉識別[J]. 軟件， 2014， 35（8）： 11-15.