基于YOLOv3 的視頻場景行人檢測研究*

王明吉，張 政，倪子顏，張 勇，劉 斌

（東北石油大學(xué)，黑龍江 大慶 163000）

0 引言

目標(biāo)檢測是計算機視覺的重要內(nèi)容[1]，是圖像信息處理研究中至關(guān)重要一步。行人檢測作為目標(biāo)檢測其一重要分支，結(jié)合目標(biāo)跟蹤技術(shù)，在行為分析、交通監(jiān)控、無人駕駛技術(shù)、智能服務(wù)領(lǐng)域有著廣泛的應(yīng)用[2]。基于卷積神經(jīng)網(wǎng)絡(luò)提取特征的檢測方法逐漸替代了傳統(tǒng)手工提取的檢測方法，依靠其強大的特征提取和自學(xué)能力成為檢測技術(shù)領(lǐng)域的主流方法，并取得了階段性突出的成果，尤其在稀疏大尺度目標(biāo)上有很好的檢測效果。但當(dāng)面向?qū)嶋H應(yīng)用場景時，攝像頭與行人的距離較遠會導(dǎo)致尺度不均，且小目標(biāo)居多，更易收到環(huán)境噪聲及遮擋影響，使得檢測效果并不理想，進一步針對小目標(biāo)檢測進行深入研究具有重要的理論意義和實際的應(yīng)用價值。

1 深度學(xué)習(xí)的目標(biāo)檢測算法

主流的深度學(xué)習(xí)目標(biāo)檢測算法結(jié)構(gòu)均基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建，按流程主要分為twostage 和one-stage 兩個系列。two-stage 將檢測任務(wù)分為兩個階段，首先通過在圖片上遍歷滑框選取感興趣的候選區(qū)域框映射到特征圖（feature map）區(qū)域上，再重新輸入到全連階層分別進行分類和回歸處理得到檢測結(jié)果。該系列在2015 年發(fā)表的更快的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（Faster Region-Based Convolutional Network，F(xiàn)aster R-CNN）[3]通 過 引 入?yún)^(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）[4]替代搜索框選擇，同時增加錨點機制應(yīng)對目標(biāo)形狀的變化，從而減小了空間消耗，實現(xiàn)了高精度，但遠遠達不到實時檢測。

為了滿足實際場景應(yīng)用對目標(biāo)檢測的要求，檢測的研究方向逐漸轉(zhuǎn)向速度為主的檢測網(wǎng)絡(luò)，以YOLO[5]系列，半離散矩陣分解（Semi-Discrete Matrix Decomposition，SDD）[6]為代表的基于回歸的單階段網(wǎng)絡(luò)應(yīng)運而生。此系列主要將圖片網(wǎng)格劃分區(qū)域得到數(shù)據(jù)塊，每塊區(qū)域獨立預(yù)測一次性得到全部邊界框，同檢測任務(wù)統(tǒng)一視作回歸問題，形成了端對端的訓(xùn)練流程，速度可達到45 fps，F(xiàn)aster-RCNN 只有7 fps。然而，由于取消了RPN 網(wǎng)絡(luò)使得網(wǎng)格定位模糊，降低了檢測目標(biāo)精度。YOLOv2[7]引入二階段類似的anchor 機制動態(tài)的調(diào)整網(wǎng)絡(luò)使其能夠預(yù)測不同大小的圖片，一定程度上平衡了檢測的速度和精度。但面向目標(biāo)密集的自然場景時，主要以大目標(biāo)為主導(dǎo)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)檢測機制對于分辨率較小的小目標(biāo)特征不敏感，需要更細膩的特點進行特征學(xué)習(xí)，并且YOLO 對圖片的縮放操作與多次下采樣進一步縮小了小目標(biāo)的分辨率導(dǎo)致了小目標(biāo)檢測性能的不穩(wěn)定。現(xiàn)有的通用檢測網(wǎng)絡(luò)無法避免小目標(biāo)檢測效果相對大目標(biāo)較差的問題，但仍可以結(jié)合網(wǎng)絡(luò)結(jié)構(gòu)特點改進或優(yōu)化。常通過引入注意力機制，上下文信息或者強化特征提取網(wǎng)絡(luò)等優(yōu)化舉措提高小目標(biāo)檢測性能。宦海[8]等人通過利用空洞卷積捕捉大感受野，并使用多卷積核尺寸和膨脹率的卷積，構(gòu)建多層并行的空洞感受野模塊（Atrous Receptive Module，ARM），提高對小目標(biāo)的檢測能力。任宇杰[9]等人基于單次多尺度檢測器（Single Shot MultiBox Detector，SSD）提出一種與MobileNet結(jié)合的輕量級深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并通過使用focal loss 損失函數(shù)動態(tài)調(diào)整交叉熵平衡正負樣本，提高檢測性能。

2 密集行人檢測網(wǎng)絡(luò)結(jié)構(gòu)

2.1 YOLOv3

YOLOv3[10]是性能較好的代表性檢測網(wǎng)絡(luò)之一，其結(jié)構(gòu)如圖所示，Yolov3 使用darknet53 作為主干網(wǎng)絡(luò)，并使用步幅為2 的卷積層替代了網(wǎng)絡(luò)中的池化層進行特征圖降采樣，有效地阻止了池化層帶來的低層級特征信息損失。其最主要的特點是擁有以Resnet 為靈感的5 個殘差模塊，能夠進行更深層次信息的傳播。YOLOv3 結(jié)構(gòu)如圖1 所示，殘差模塊由殘差單元resX 和DBL 單元組成，X代表模塊中殘差單元的數(shù)量，每個DBL 都由一個卷積層、歸一化層和LeakyRelu 激活函數(shù)組成，除此之外YOLOv3 還使用了多個tricks 來提升檢測性能，比如在原始YOLO 基礎(chǔ)上增加了anchor 機制和類似于特征金字塔（Feature Pyramid Network，F(xiàn)PN）[11]的多尺度預(yù)測。

圖1 YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3 首先將特定尺寸的圖像數(shù)據(jù)輸入模型，通過卷積操作得到特征圖并劃分網(wǎng)格，特征圖的每一個網(wǎng)格需要預(yù)測3 個目標(biāo)框，每個預(yù)測得到S×S×3 ×(5+C)維度的輸出，其中S 是劃分的網(wǎng)格數(shù)量。x、y、w、h、confidence5 個參數(shù)分別表示檢測框的橫、縱坐標(biāo)，寬度和高度以及置信度，還包含一個類別概率C。YOLOv3 為了使檢測能夠適應(yīng)大小不一的物體，分別使用步幅32、16 和8 進行下采樣操作，并為每種下采樣尺度設(shè)定3 種先驗框進行預(yù)測聚類分析，總共9 種尺寸的先驗框，得到三個不同檢測尺度的輸出。最后通過閾值篩選確定圖中目標(biāo)最終的坐標(biāo)信息和類別的預(yù)測值。

2.2 位置增強特征金字塔

卷積神經(jīng)網(wǎng)絡(luò)中的大尺度特征圖由于經(jīng)過較少的下采樣，感受野較小包含更多的細節(jié)位置信息；小尺度特征圖則感受野大包含更多的語義信息。因此，通過由淺及深地特征融合才能獲得更豐富的特征信息。原始的特征金字塔結(jié)構(gòu)為，同一特征層級逐層進行步幅為2 的特征映射得到新特征圖，并將階段性最強信息作為輸出進行橫向連接，但同一層級傳播會壓縮細節(jié)位置信息，對小特征表達能力差的小目標(biāo)不敏感，且傳播過程中仍存在細節(jié)的丟失。于是延續(xù)了多尺度融合特征的優(yōu)越性，提出一種橫向拓展的位置特征增強金字塔模型FPLN（Feature Pyramid Location Network），通過全連接堆疊信息后再自適應(yīng)特征創(chuàng)建特征信息流的方式，修復(fù)特征候選區(qū)域和特征層次之間的損壞路徑，使模型能夠?qū)W習(xí)到更多的有效特征，進一步提高小目標(biāo)的檢測精度。

位置特征增強金字塔模型直接采用主干網(wǎng)絡(luò)后的預(yù)測分支的三個不同尺寸檢測頭{c1，c2，c3}作為第一階段的特征圖，將輸入608 尺寸的通過32、16、8 倍下采樣得到的76、38、19 尺寸特征圖的直接進行自下而上的采樣，再用1×1 的卷積核將三個尺度特征圖進行通道的緯度變化，接著較深層特征圖上采樣放大2 倍應(yīng)對相鄰層級特征圖尺寸統(tǒng)一后像素級的加法迭代得到{d1，d2，d3}，實現(xiàn)第一階段底層語義信息的增強結(jié)構(gòu)。為了最大化豐富D層特征，保留低語義層包含的位置細節(jié)信息，如圖2 左側(cè)對C 列YOLOv3 檢測頭的三個尺度特征圖譜與一次自上而下的特征圖D 列特征進行全連接（FC，F(xiàn)ull Connect）操作，同樣通過采樣統(tǒng)一尺寸的方式再一次傳播原始信息并通過堆疊方式彌補傳播過程中丟失的信息。

圖2 FPLN 網(wǎng)絡(luò)結(jié)構(gòu)

除此之外，如圖2 右側(cè)所示，以相同的融合策略又增加了一組二倍下采樣疊加，構(gòu)建自下而上的位置特征增強，并與D 層通過1×1 融合得到{p1，p2，p3}，形成了特征圖的閉環(huán)結(jié)構(gòu)，在尺度融合中豐富信息，融合特征圖譜信息和自頂向下傳達強語義特征堆疊，最后附加層則自底向上傳達強定位特征，綜合的提升了網(wǎng)絡(luò)對小目標(biāo)的識別能力。

圖3 廣義交并比與DIoULoss 回歸對比流程

2.3 損失函數(shù)

為了使預(yù)測框與真實框之間的對齊程度實現(xiàn)更好的表征，獲得更精準(zhǔn)邊框度量，以迎合更為密集行人框互相堆疊易發(fā)生漏檢的數(shù)據(jù)特征，針對YOLOv3 對預(yù)測框的中心及橫縱坐標(biāo)使用LossDIoU為目標(biāo)定位損失函數(shù)，進行計算偏移的優(yōu)化，提升網(wǎng)絡(luò)對目標(biāo)位置的定位的準(zhǔn)確性。考慮重疊面積的廣義交并比原基礎(chǔ)上增加了基于中心點歸一化距離，在損失函數(shù)中引入懲罰項，提出了DIoU（Distance Intersection over Union）損失函數(shù)如下：

式中，B為檢測框，Bgt為真實框，d為計算兩者的歐式距離函數(shù)，c為覆蓋兩框間最小框中心的對角線距離。下圖回歸過程中可以看出廣義交并比損失會通過擴大預(yù)測盒與尋找目標(biāo)框并與之重疊，相比交并比損失更關(guān)注中心點距離并逐步通過懲罰項縮小距離。兩者同時引導(dǎo)邊界框移動方向的過程中，相比優(yōu)化的是兩個目標(biāo)框間重疊面積的損失，DIoU 損失直接最小化兩個目標(biāo)框中心點距離的回歸過程收斂更快且網(wǎng)絡(luò)更穩(wěn)定，DIoU 還可以避免在兩框無交集時，廣義交并比損失退化為零的情況，更加符合目標(biāo)框回歸的機制。

2.4 錨點框選擇

選擇尺寸合適的錨點框以及Anchor 個數(shù)更有利于提高檢測的準(zhǔn)確率，并可以根據(jù)檢測數(shù)據(jù)集差異做出相應(yīng)調(diào)整。原始YOLOv3 算法錨點框個數(shù)以及寬高比是基于包含行人在內(nèi)的80 類的目標(biāo)的COCO 數(shù)據(jù)集[12]上進行聚類得到的。獲得的聚類不能精準(zhǔn)的代表單類行人框的特征，本文針對復(fù)雜場景下單類行人檢測，采用密集行人數(shù)據(jù)Human Crowd[13]，通過以IoU 為度量的K-mean 聚類[14]分析方法重新聚類，度量公式如下：

得到行人特征對應(yīng)的三個尺度的9 組錨點框聚類結(jié)果：(19,12) (14,29) (30,26) (40,59) (55,78) (60,132) (122,178) (146,238) (303,340)。

3 模型訓(xùn)練與實驗分析

3.1 實驗環(huán)境及訓(xùn)練參數(shù)

實驗使用的硬件：CPU（處理器）型號為Inteli7，GPU 為英偉達2080Ti R，內(nèi)存為11 GB。

實驗使用的軟件：操作系統(tǒng)為Ubuntu 16.04，深度學(xué)習(xí)框為PyTorch 1.6，另外安裝軟件環(huán)境Cuda 10.1+OpenCV。

實驗過程使用COCO 作為訓(xùn)練集，輸入圖像并進行mix up 數(shù)據(jù)增強，平臺搭建網(wǎng)絡(luò)模型進行訓(xùn)練。訓(xùn)練過程中的batch尺寸設(shè)為64，權(quán)重衰減為0.000 5，動量值為0.9，學(xué)習(xí)率衰減策略采用指數(shù)衰減策略。首先采用初始化學(xué)習(xí)率0.01，保持此學(xué)習(xí)率到第40個epoch，從40 個epoch 使用gamma=0.9 來衰減學(xué)習(xí)率，一共訓(xùn)練200 輪，訓(xùn)練時間為兩天時間最終得到密集行人檢測模型。訓(xùn)練過程中，使用自適應(yīng)動量優(yōu)化（Adaptive Moment Estimation，ADAM）算法[15]根據(jù)訓(xùn)練數(shù)據(jù)迭代自主地完成神經(jīng)網(wǎng)絡(luò)的權(quán)重更新，優(yōu)化模型的參數(shù)。保存完整訓(xùn)練模型后，以人流聚集視頻場景作為測試數(shù)據(jù)集，應(yīng)用訓(xùn)練好的模型測試本文網(wǎng)絡(luò)在面對遮擋以及攝像距離導(dǎo)致的尺度多樣性問題時，對行人目標(biāo)的檢測性能。

3.2 評估標(biāo)準(zhǔn)

實驗中采用平均精度均值（mean Average Precision，mAP）和檢測速度（單位為fps）作為評價標(biāo)準(zhǔn)檢驗?zāi)Ｐ偷挠行浴Ｆ渲蠵recision 表示正確預(yù)測數(shù)占總真實標(biāo)簽數(shù)的比例，Recall 表示正確預(yù)測數(shù)占目標(biāo)預(yù)測總數(shù)的比例，mAP 平均精度為計算兩者曲線下的面積的綜合指標(biāo)。其中mAPs 指標(biāo)代表目標(biāo)尺度小于322的小目標(biāo)。

3.3 實驗數(shù)據(jù)及分析

視頻場景下，同一幀檢測效果對比如圖4 和 圖5 所示。圖4 為原算法檢測結(jié)果圖，未檢測出被遮擋的行人，尤其是在遠處和背景相連的小行人處呈現(xiàn)了檢測空白。圖5 為本文視頻行人檢測算法結(jié)果圖，能夠成功檢測到被遮擋較大的行人和遠處的小目標(biāo)。

圖4 YOLOv3 算法視頻幀檢測結(jié)果

圖5 本文算法密集行人檢測效果

實驗第一階段，將本文算法與SSD 以及YOLOv3 算法做對比實驗，相同算法的前提下，輸入的分辨率越大得到檢測的精度越高，證明了豐富圖片特征對目標(biāo)檢測結(jié)果的重要性。結(jié)果如表1 所示，本文算法的小目標(biāo)平均精度達到了92.25＆，較SDD 與原始YOLOv3 分別提高了8.89＆和4.25＆，證明了模型的有效性。

表1 本文算法與原算法性能對比

實驗第二階段基于YOLOv3 算法針對改進的每一步進行消融實驗的對比。驗證本文的位置增強網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)的優(yōu)化都能為算法爭取到精度的提高，結(jié)果如表2 所示，在數(shù)據(jù)預(yù)處理的基礎(chǔ)上，位置增強的金字塔網(wǎng)絡(luò)結(jié)構(gòu)能有效獲取豐富特征，在尺寸小于322的情況下目標(biāo)精度提高了2.15＆，增加的基于中心點距離的損失函數(shù)通過精細定位使精度提高了1.78＆，在多尺度目標(biāo)上的平均精度達到了94.15＆。增添模型一定程度上增加了網(wǎng)絡(luò)的計算，但仍滿足實時性的要求，以上證明本文基于YOLOv3 的視頻場景網(wǎng)絡(luò)模型在密集行人場景下是行之有效的。

表2 本文算法增益實驗

4 結(jié)語

針對視頻中的密集人群檢測中小目標(biāo)定位差精度較低的問題，提出了一種基于YOLOv3 的位置增強金字塔模塊行人檢測模型。在視頻數(shù)據(jù)集上的實驗結(jié)果表明，在保證了實時性的情況下，本文算法在面對小目標(biāo)行人和普通尺度行人的檢測精度都有所提高，在智能檢測領(lǐng)域具有一定的前景。通過對YOLOv3 三個尺度特征圖下采樣后，與進行全連接再雙向的創(chuàng)建信息流進行特征融合，增強特征提取能力，同時結(jié)合DIoULoss縮近邊框偏移獲得更精準(zhǔn)的預(yù)測框和符合行人特征的錨點框預(yù)選，提高了密集行人檢測性能。未來考慮使用更加輕量的網(wǎng)絡(luò)結(jié)構(gòu)，降低復(fù)雜度，尋求更加高效精準(zhǔn)的檢測思路。