一種基于改進YOLOv3的密集人群檢測算法

丁文杰，苗笛，高宇杭，陳思錦

一種基于改進YOLOv3的密集人群檢測算法

丁文杰，苗笛，高宇杭，陳思錦

（天津職業(yè)技術(shù)師范大學 電子工程學院，天津 300222）

對于天津地鐵中的密集人群的場景，且YOLOv3算法模型對行人的識別率不高，在嚴重遮擋的情況下出現(xiàn)漏檢的問題。針對以上問題，提出了一種基于改進YOLOv3的密集人群檢測算法。通過對特征提取網(wǎng)絡(luò)和損失函數(shù)進行改進，并且在訓練模型階段，采用K-means++方法生成4個瞄點框，用于提升網(wǎng)絡(luò)的訓練速度。實驗結(jié)果表明，改進后的算法在準確性和實時性上相對于Faster RCNN和傳統(tǒng)的YOLOv3算法有了明顯的提高，驗證了該檢測方法的高效性。

密集人群；YOLOv3；特征提取網(wǎng)絡(luò)；K-means++

隨著新型城市化戰(zhàn)略的實施，出現(xiàn)了像地鐵這樣的密集人群場所。近年來隨著城市軌道交通的迅速發(fā)展，為密集人群場景下的目標檢測提供了數(shù)據(jù)和技術(shù)支持。密集人群場所下人員的交通安全和規(guī)劃具有重要作用，因此需要提高檢測算法的識別率，降低漏檢率。

目前基于深度學習的目標檢測算法取得了巨大的成功，并且在各項領(lǐng)域應(yīng)用得越來越廣泛[1]。一類是候選框分類算法類，先是輸入圖片進行候選框的選取[2]，然后用SVM分類器進行分類[3]，最后再進行邊框回歸。由此衍生出各種RCNN版本[4]，如Fast RCNN、Faster RCNN、Mask RCNN[5]。另一類是YOLO算法，它無需預先產(chǎn)生候選框[6]，通過CNN的全局特征預測[7]，直接輸出物體的位置邊框。基于YOLO算法產(chǎn)生了YOLOv2，基于YOLOv2的YOLO9000、YOLOv3算法[8]。YOLOv3算法雖然有較好的綜合性能，但是對于天津地鐵密集人群的檢測，其準確度不高，尤其是在行人遮擋嚴重的情況下，出現(xiàn)漏檢率較高的問題。針對上述問題，本文提出一種基于改進YOLOv3的密集人群檢測算法。

1 YOLOv3算法

YOLOv3算法借鑒了ResNet殘差網(wǎng)絡(luò)結(jié)構(gòu)[9]，并加入了FPN網(wǎng)絡(luò)結(jié)構(gòu)[10]，在前兩代的基礎(chǔ)上提升了精確率，同時保證了檢測速度。YOLOv3算法的基本思想是：YOLOv3首先將輸入圖片縮放到一定的大小，按照特征圖的尺度大小劃分為×個相同大小的單元格，且YOLOv3有3個尺度的輸出，分別為52×52、26×26、13×13的大小，每個單元格3個anchor boxes預測3個候選框。YOLOv3候選框仍然采用YOLO9000預測bounding box的方法，對每個候選框預測4個坐標偏移x、y、w、h。如果feature map某一單元偏移圖片左上角坐標x、y，anchor box候選框尺寸為w、h。那么生成對預測坐標為：

x=（x）+x

x=（y）+y

YOLOv3用Darknet53作為特征提取網(wǎng)絡(luò)[11]，YOLOv3首先將13×13的特征圖進行卷積處理后進行預測，得到第一次檢測結(jié)果；然后將13×13特征圖上采樣得26×26特征圖與之前網(wǎng)絡(luò)中26×26特征圖進行融合形成新的特征圖，進行多次卷積送入檢測層，得到第二次檢測結(jié)果；再對26×26特征圖上采樣與之前層進行融合得到52×52特征圖，進行多次卷積送入檢測層，得到第三次檢測結(jié)果，將三次得到的檢測結(jié)果進行NMS處理后得到最終識別效果[12]。整個檢測過程如圖1所示。

圖1 YOLOv3算法檢測過程

YOLOv3模型的骨干框架使用53層卷積的殘差網(wǎng)絡(luò)結(jié)構(gòu)，因此YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)被稱為Darknet53，其由一系列的3×3和1×1的卷積層組成[13]，其中包含23個殘差模塊和檢測通道的全連接層，使用了修正函數(shù)，在保證檢測速度的同時又提高了對目標識別準確率[14]。除訓練框架外YOLOv3還劃分3種不同柵格大小的特征檢測通道，包括52×52、26×26、13×13柵格大小的特征圖，分別對應(yīng)小、中、大尺度特征的圖像檢測。Darknet53仿照ResNet網(wǎng)絡(luò)，與ResNet-101或ResNet-152精確率接近，但速度更快[15]。該網(wǎng)絡(luò)采用了深度殘差網(wǎng)絡(luò)的思想，在網(wǎng)絡(luò)后兩個特征圖上采樣，再與前期的相應(yīng)特征圖結(jié)合，從而得到預測的結(jié)果。主流網(wǎng)絡(luò)表現(xiàn)數(shù)據(jù)如表1所示。

2 基于改進YOLOv3的方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)的改進

雖然Darknet53通過深度殘差網(wǎng)絡(luò)使網(wǎng)絡(luò)訓練的難度下降，大量使用卷積核減少了參數(shù)量。對于單個物體的檢測來說，其參數(shù)多，數(shù)據(jù)量需求大，過于復雜與多余，檢測速度慢。本文針對這一問題，提出一種改進的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)在過渡模塊中使用了卷積核進一步降低維數(shù)。在淺層網(wǎng)絡(luò)中增加了卷積層和殘差連接結(jié)構(gòu)的數(shù)量，這樣可以提升更深層網(wǎng)絡(luò)特征的細粒度，網(wǎng)絡(luò)使用步長為2的卷積層代替池化層，來提高對目標的檢測精確率。改進的YOLOv3特征提取網(wǎng)絡(luò)如表2所示。

表1 主流基礎(chǔ)網(wǎng)絡(luò)表現(xiàn)數(shù)據(jù)表

主流網(wǎng)絡(luò)Top-1準確率/（%）Top-5準確率/（%）浮點每秒運算速度/（次·s-1）檢測速度/（f·s-1） Darknet1974.191.81 246171 Darknet5377.293.41 45778 ResNet10177.193.71 03953 ResNet15277.693.81 39037

表2 改進的YOLOv3特征提取網(wǎng)絡(luò)

類型濾波器數(shù)量濾波器大小輸出大小 Conv163×3/2208×208 Residual（1）×416321×13×3208×208 Residual（2）×432641×13×3104×104 Residual（3）×4641281×13×3/252×52 Residual（4）×41282561×13×326×26

改進的YOLOv3特征提取網(wǎng)絡(luò)為解決梯度消失的問題采用了層連接方式，傳遞特征的方式得到了強化，參數(shù)的數(shù)量減少，大幅減少了計算量。增加的1×1和3×3卷積核使 網(wǎng)絡(luò)結(jié)構(gòu)的信息表達更豐富。改進的網(wǎng)絡(luò)結(jié)構(gòu)加入了104× 104特征分辨率檢測模塊，刪除了13×13特征分辨率檢測模塊，提高了該網(wǎng)絡(luò)的特征分辨率，進而提升對目標檢測的準確率。

2.2 損失函數(shù)的改進

對損失函數(shù)函數(shù)邊界框X和Y參數(shù)進行單元化，因為這樣設(shè)置可以使網(wǎng)絡(luò)的性能更優(yōu)。損失函數(shù)使用了平方和函數(shù)，由于許多網(wǎng)絡(luò)單元格不包含任何對象，所以如果將這些單元格的置信度置為0，可能會出現(xiàn)梯度消失的問題。YOLOv3使用參數(shù)coord、noobj來完成這個工作，并根據(jù)經(jīng)驗設(shè)置參數(shù)coord=5和noobj=0.5。一個網(wǎng)格單元可以由多個瞄點框來提取特征，而一個目標只需要一個瞄點框來瞄點。根據(jù)哪個瞄點框具有最高的重疊度值來提取目標的特征，這使得瞄點框特征提取更加準確。每個瞄點框都可以更好地確定目標的大小、方向及類別，從而提高算法的召回率。YOLOv3算法的損失函數(shù)如下所示：

損失函數(shù)的改進能使損失值變得更小，改進后的損失函數(shù)采用了數(shù)據(jù)集進行訓練與測試。因為bounding box的值與ground truth的值大小剛好相等，所以不需要計算兩者之間的長寬誤差，所以改進的損失函數(shù)的表達式為：

3 實驗結(jié)果及分析

3.1 實驗環(huán)境和數(shù)據(jù)集

本實驗采用的數(shù)據(jù)集是在密集人群場景下的視頻圖像進行手工標注而來。由于密集場所下行人遮擋嚴重，只能看到行人的頭部和肩部，因此標注框只包含行人的頭部和肩部，這樣有利于提高算法的準確率。所有圖片大小按416×416輸入，將該數(shù)據(jù)集包含了1 065張圖片，隨機選取600張作為訓練集，剩余405張作為測試集。

實驗環(huán)境的配置如表3所示，所有訓練均在該實驗環(huán)境中進行。

表3 實驗環(huán)境的配置

名稱相關(guān)配置 CPUInter（R）Core（TM）i7-4790 內(nèi)存16 G GPUNVIDIA GTX1080 11GB GPU加速庫CUDA9.0 CUDNN7.0.3 操作系統(tǒng)Ubuntu 16.04 數(shù)據(jù)處理Python3.7 Opencv4.0

3.2 生成瞄點框

K-means++是對K-means初始點敏感改進的算法，其基本思想是盡可能合理地選擇初始點點，K-means++聚類方法具有高效率及高速度的特點。K-means++算法使得初始聚類中心之間的相互距離盡可能的大，其算法的基本流程如下。

步驟1，從集合中隨機選取一個點作為初始聚類中心。

步驟3，重復步驟2，直至選出全部的聚類中心點。

步驟4，對選出的聚類中心進行K-means聚類。

YOLOv3引入了anchor，采用K-means ++聚類方法對數(shù)據(jù)集中的bounding box進行聚類獲得合適的anchor，anchor的值影響目標檢測的速度與精度。為anchor的個數(shù)，K-means++算法采用歐式聚類來計算，意味著較大個數(shù)的簇更容易產(chǎn)生錯誤，因此YOLOv3采用重疊度（）來消除候選框所帶來的誤差，代替歐式距離的最終距離函數(shù)為：

（，）=1－（，）

聚類目標函數(shù)為：

其中，可以代表瞄點框，代表距離，瞄點框的大小隨著值的改變而改變。目標函數(shù)的變化曲線如圖2所示，隨著的增大，目標函數(shù)呈下降趨勢，且隨著值的增大，函數(shù)曲線趨于平緩。從圖中可以看出=4時是函數(shù)的拐點，即瞄點框的個數(shù)為4時，進行瞄點框的生成，且聚類效果最好，即可以考慮每個尺度使用4個瞄點框。

3.3 模型訓練與結(jié)果分析

在訓練階段，為了使網(wǎng)絡(luò)穩(wěn)定，設(shè)置動量參數(shù)為0.9，衰變值為0.005，初始學習率設(shè)定為0.001。學習率采用多分布策略來學習。迭代到3 000、4 000和5 000次時，學習率分別為0.000 1、0.000 01和0.000 001。模型訓練流程如圖3所示。

圖2 目標函數(shù)的變化曲線

圖3 模型訓練流程圖

表4 三種算法性能的對比

算法名稱P/（%）R/（%）AP/（%）速度/（f·s﹣1）處理時間/ms 改進的YOLOv3算法74.191.887.0255.317.3 傳統(tǒng)的YOLOv3算法87.5675.9275.9730.230.1 Faster RCNN算法80.2561.2768.2446.520.1

從表中可以看出改進的YOLOv3算法在平均精確率上比傳統(tǒng)YOLOv3算法提升11.05%，相比Faster RCNN算法提高了18.78%。從表4中可以看出改進的YOLOv3算法精確率最高，F(xiàn)aster RCNN算法最低，但在速度上，改進的YOLOv3算法的速度最快，傳統(tǒng)的YOLOv3算法最低，F(xiàn)aster RCNN算法次之。實驗證明，改進的YOLOv3算法在召回率、精確率、平均精確率、速度上均表現(xiàn)最好。

4 結(jié)束語

針對天津地鐵密集人群場景，提出了一種基于改進YOLOv3的密集人群檢測算法，并在實驗數(shù)據(jù)集進行了訓練和測試。通過改進網(wǎng)絡(luò)的結(jié)構(gòu)，使網(wǎng)絡(luò)更深，優(yōu)化損失函數(shù)，大大提高了算法的精確率。并對數(shù)據(jù)進行維度聚類分析，選擇合適的瞄點框個數(shù)。改進的算法在速度達到55.3 f/s時，精確率、召回率、平均精確率分別達到了90.53%、87.61%、87.02%，表現(xiàn)出了其良好的性能。但其對小目標的識別率不高且存在定位不準確的問題。如何提高對小目標的識別率，將會是下一步研究的重點內(nèi)容。

［1］REDMON J，F(xiàn)ARHADI A.YOLOv3：an incremental improvement［C］//IEEE Conference on Computer Vision and Pattern Recognition，2018（4）：89-95.

［2］ZHI Z，TONG H，HANG Z，et al.Bag of freebies for training object detection neural networks［C］//IEEE Conference on Computer Vision and Pattern Recognition，2019：4-6.

［3］MAHDI D M，SAEED M，HOSSEIN S A，et al.Assisted excitation of activations: a Learning technique to improve object detectors［C］//IEEE Conference on Computer Vision and Pattern Recognition，2019：3-5.

［4］金瑤，張銳，尹東.城市道路視頻中小像素目標檢測［J］.光電工程，2019，46（9）：74-81.

［5］張富凱，楊峰，李策.基于改進YOLOv3的快速車輛檢測方法［J］.計算機工程與應(yīng)用，2019，55（2）：12-20.

［6］吳帥，徐勇，趙東寧.基于深度卷積網(wǎng)絡(luò)的目標檢測綜述［J］.模式識別與人工智能，2018，31（4）：335-346.

［7］鄒浩，林赟，洪文.采用深度學習的多方位角SAR圖像目標識別研究［J］.信號處理，2018，34（5）：513-522.

［8］王港，陳金勇，高峰，等.基于深度學習的遙感影像基礎(chǔ)設(shè)施目標檢測研究［J］.無線電工程，2018，48（3）：219-224.

［9］劉敦強，沈峘，夏瀚笙，等.一種基于深度殘差網(wǎng)絡(luò)的車型識別方法［J］.計算機技術(shù)與發(fā)展，2018，28（5）：42-46.

［10］吳彥丞，陳鴻昶，李邵梅，等.基于行人屬性異質(zhì)性的行人再識別神經(jīng)網(wǎng)絡(luò)模型［J］.計算機工程，2018，44（10）：196-203.

［11］艾玲梅，葉雪娜.基于循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的目標檢測與分類［J］.計算機技術(shù)與發(fā)展，2018，28（2）：31-35.

［12］戴偉聰，金龍旭，李國寧，等.遙感圖像中飛機的改進YOLOv3實時檢測算法［J］.光電工程，2018，45（12）：84-92.

［13］夏胡云.基于PCANet的行人檢測算法研究［D］.杭州：杭州電子科技大學，2018.

［14］肖定坤.基于深度網(wǎng)絡(luò)的sar圖像目標檢測技術(shù)研究［D］.西安：西安電子科技大學，2017.

［15］程嘉暉.基于深度卷積神經(jīng)網(wǎng)絡(luò)的飛行器圖像識別算法研究［D］.杭州：浙江大學，2017.

TP391.41

A

10.15913/j.cnki.kjycx.2020.18.012

2095－6835（2020）18－0031－03

丁文杰（1994—），男，安徽黃山人，碩士研究生，研究方向為深度學習、機器視覺。苗笛（1986—），女，天津人，副教授，博士，研究方向為人工智能、5G網(wǎng)絡(luò)架構(gòu)。

〔編輯：王霞〕