YOLOv4智慧課堂頭部檢測

長江大學(xué)電子信息學(xué)院 呂 星 王壯壯 楊友平

目標(biāo)檢測廣泛應(yīng)用在人臉檢測、行人檢測、車輛檢測等領(lǐng)域。目前從圖片和視頻中需要提取更多信息和特征，這就對網(wǎng)絡(luò)的準(zhǔn)確性和實時性提出了更高的要求。特別是在小目標(biāo)檢測方向，小目標(biāo)一般存在分辨率低、圖像模糊、攜帶的信息少，導(dǎo)致特征表達能力弱，即在提取特征的過程中收集的信息較少。小目標(biāo)有兩種定義方式，一種是相對尺寸大小，如目標(biāo)尺寸的長寬是原圖像尺寸的0.1，即可認為是小目標(biāo)，另外一種是絕對尺寸的定義，即尺寸小于32×32像素的目標(biāo)即可認為是小目標(biāo)。小目標(biāo)檢測在深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型中一直是一個難題。早期的目標(biāo)檢測框架大多數(shù)是針對通用的目標(biāo)來進行檢測，如經(jīng)典的One-stage算法YOLO和SSD，Two-stage算法faster-RCNN等，這些方法主要是針對通用目標(biāo)數(shù)據(jù)集來設(shè)計的解決方案，因此對于圖像中的小目標(biāo)來說，檢測效果不是很理想。

為了提高小目標(biāo)檢測的精度和大學(xué)課堂的一般情況，我們將學(xué)生的到課情況進行統(tǒng)計，我們使用神經(jīng)網(wǎng)絡(luò)對教室的首先我們將從課堂中獲取的視頻進行逐幀預(yù)處理，然后使用YOLOv4網(wǎng)絡(luò)訓(xùn)練頭部檢測模型，最后將訓(xùn)練好的模型對課堂中的視頻、圖片進行檢測。實驗結(jié)果表明，通過本文基于深度學(xué)習(xí)的方法，與其它的小目標(biāo)檢測相比，速度和準(zhǔn)確率更好，模型泛化能力更強。

圖1 頭部檢測流程圖

1 頭部檢測整體流程

本文針對課堂教室場景，通過頭部檢測的方法觀察課堂上學(xué)生的學(xué)習(xí)情況。首先，對輸入視頻進行預(yù)處理，使用交叉訓(xùn)練的方式將數(shù)據(jù)集分成：訓(xùn)練集、測試集、驗證集，之后調(diào)整網(wǎng)絡(luò)參數(shù)來訓(xùn)練頭部檢測模型，最后進行頭部檢測。如圖1所示。

2 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

YOLO系列的算法屬于目標(biāo)檢測網(wǎng)絡(luò)中One-stage算法，相比于Two-stage算法，其速度相對就很快。One-stage算法因為僅僅需要送入網(wǎng)絡(luò)一次就可以預(yù)測出所有的邊界框（如圖2所示），將Two-stage中很多的分類流程都省略掉，因而速度較快。

圖2 One-stage算法流程

然而，One-stage算法通常與Two-stage算法相比，準(zhǔn)確率都達不到理想的效果。在目前國外最新推出的目標(biāo)檢測網(wǎng)絡(luò)YOLOv4之后，該算法的檢測速度和精度都超過之前其它方法。該網(wǎng)絡(luò)主要分成4部分：輸入端、骨干網(wǎng)絡(luò)、頸部、預(yù)測端。YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

輸出端：將輸入的圖片都固定為一定尺寸，為了增強網(wǎng)絡(luò)模型的泛化能力，該網(wǎng)絡(luò)對訓(xùn)練時的輸入端進行馬賽克數(shù)據(jù)增強、SAT自對抗訓(xùn)練等操作。

骨干網(wǎng)絡(luò)：使用CSPDarknet53，該模塊通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)來減少計算量，降低內(nèi)存成本，同時也保證檢測的準(zhǔn)確率。

頸部：網(wǎng)絡(luò)中加入了SPP模塊，用來固定輸出圖像的尺寸大小，為多尺度訓(xùn)練提供了基礎(chǔ)。網(wǎng)絡(luò)的頸部，使用PANet替換YOLO v3中的特征金字塔(FPN)，前者加強了特征金字塔的結(jié)構(gòu)，縮短了高低層特征融合的路徑。

預(yù)測端：預(yù)測使用原來yolo v3的頭部結(jié)構(gòu)，輸出三種尺度的邊界框：13×13、26×26、52×52，小尺度輸出用來檢測大型目標(biāo)，最大尺度用來檢測小目標(biāo)。

3 訓(xùn)練頭部檢測模型

該實驗是使用操作系統(tǒng)Ubuntu18.04，深度學(xué)習(xí)框架TensorFlow1.15.0和圖像處理庫Opencv3.4.3進行的。使用的硬件是采用GeForce GTX 1660Ti Max-Q Design。

我們將大學(xué)課堂上的視頻和圖片作為自己的數(shù)據(jù)集來訓(xùn)練，選取課堂上2000張左右的圖片，數(shù)據(jù)集采用VOC格式，通過人工做標(biāo)簽的方式制作數(shù)據(jù)集。訓(xùn)練采用交叉驗證的方式，將數(shù)據(jù)集分為訓(xùn)練集、測試集、驗證集，訓(xùn)練集包含549張圖片，測試集包含1099張圖片，驗證集包含550張圖片。

學(xué)習(xí)率設(shè)為0.001，每批次輸入64張圖片，將64張圖片分成64份放入網(wǎng)絡(luò)進行訓(xùn)練，動量設(shè)置為0.9，權(quán)重衰減為0.0005，最大迭代次數(shù)設(shè)為6萬次。頭部模型檢測結(jié)果如圖4所示。

4 頭部檢測系統(tǒng)的設(shè)計和實現(xiàn)

通過YOLOv4訓(xùn)練好的模型，我們設(shè)計了一個頭部測的軟件系統(tǒng)，用python語言編寫，系統(tǒng)測試效果如圖5所示。

我們對課堂中的學(xué)生頭部進行檢測，該目標(biāo)在檢測中存在目標(biāo)小、容易被遮擋的問題，對于以上問題，我們提出使用新的YOLOv4網(wǎng)絡(luò)來訓(xùn)練頭部檢測模型，實驗結(jié)果證明該網(wǎng)絡(luò)對于小目標(biāo)的檢測達到了不錯的效果，學(xué)生后排被遮擋的問題已經(jīng)被解決，同時也能保證檢測模型精度不受影響。

在設(shè)計好的數(shù)據(jù)可視化界面中，我們調(diào)用訓(xùn)練好的改進yolo v4模型進行測試，其結(jié)果表明頭部檢測的精度和遮擋問題已經(jīng)得到解決。圖5所示為可視化界面測試的效果。

總結(jié)：本文提出基于YOLOv4的頭部檢測方法，采用網(wǎng)絡(luò)訓(xùn)練好的頭部模型，然后對圖片或視頻進行檢測。通過上述的實驗結(jié)果表明，YOLOv4算法雖然屬于One-stage目標(biāo)檢測算法中的一類，但其具備了One-stage和Two-stage兩種算法的優(yōu)點：既準(zhǔn)確速度又快。在目標(biāo)檢測中難以突破的小目標(biāo)檢測方向，也具有良好的檢測定位能力。

圖4 頭部模型檢測結(jié)果

圖5 系統(tǒng)測試結(jié)果