基于YOLOv4改進算法的復雜行人檢測模型研究*

李 蘭,劉 杰,張 潔

(青島理工大學信息與控制工程學院，山東 青島 266000)

1 引言

當今社會，監控遍布住宅小區、超市、工廠、廣場、車站和機要室等眾多場所，為維護社會治安發揮著重要作用。卷積神經網絡的出現及應用為高速準確地在圖像和視頻序列中進行目標檢測提供了可能。目前主流的目標檢測算法有2種：兩階段檢測算法和單階段檢測算法。兩階段檢測算法首先在第一階段通過選擇性搜索算法提取出候選區域，生成提議對象；然后在第二階段利用深度神經網絡實現分類。該類檢測算法主要包括R-CNN(Region-based Convolutional Neural Network)、SPPNet(Spatial Pyramid Pooling Network)、Fast R-CNN(Fast Region-based Convolutional Network)、Faster R-CNN(Faster Region-based Convolutional Neural Network)和R-FCN (Region-based Fully Convolutional Network)等，其特點是檢測精度較高，但檢測速度慢。單階段檢測算法跳過了提議對象的生成，直接預測目標邊界框和分類。該類檢測算法主要包括SSD(Single Shot multibox Detector)、YOLO(You Only Look Once)、YOLOv2、YOLOv3和YOLOv4等，其特點是檢測精度略低，但檢測速度明顯優于兩階段檢測算法[1-3]。

行人檢測存在行人姿態和尺度多樣及行人遮擋的問題，導致YOLOv4算法對部分行人檢測不準確，存在誤檢和漏檢的情況。本文提出一種在YOLOv4模型基礎上的改進算法。改進算法使用k-means聚類算法對數據集中目標真實框尺寸進行聚類分析，根據分析結果選出適用于行人的先驗框尺寸。在此基礎上使用PANet(Path Aggregation Network)將淺層特征和高層特征進行融合，解決行人的多姿態多尺度問題。對于行人遮擋問題，使用斥力損失函數，利用預測框吸引指定目標，同時排斥周圍其他行人目標，使預測框靠近正確目標的同時遠離錯誤目標，提高行人檢測效果。然后將非極大值抑制NMS(Non-Maximum Suppression)替換為soft-NMS(soft Non-Maximum Suppression)和DIoU-NMS(Distance-IoU Non- Maximum Suppression)[4,5]，當其他先驗框與得分最高的先驗框重疊時，衰減其他先驗框的分數，重疊越多受到的懲罰越大，衰減得也就越多，以此減少目標的丟失。實驗結果表明，基于YOLOv4算法改進的行人檢測模型能夠很好地定位圖像中多姿態多尺度的行人，并且對處于遮擋情況下的行人也能檢測得很好。

2 相關工作

由文獻[6]可知，R-CNN算法利用選擇性搜索算法從輸入的圖像中提取出2 000個可能存在目標的候選區域；然后復制所有候選框所對應的原圖區域并將其縮放為固定大小的圖像，依次將其輸入到卷積神經網絡中進行特征提取，使用支持向量機進行分類；最后通過線性回歸器得到每個類的精確位置信息。但是，R-CNN算法中的每個候選框都要單獨進行特征提取和分類，非常耗時。蔡佳然[7]和羅鵬飛[8]在SPP(Spatial Pyramid Pooling)模型中引入了空間金字塔池化策略，使得檢測模型可以接受任意大小的輸入，提高了模型對于目標形變的魯棒性。文獻[9]中的Fast R-CNN檢測算法使用卷積神經網絡提取整幅輸入圖像的深度特征；接著用選擇性搜索算法基于原圖生成候選框；隨后將候選框映射到特征圖并使用ROI Pooling提取其對應的特征，將Softmax分類器添加在全連接層的后端以實現模型的分類，使模型特征提取和分類都基于神經網絡實現；最后使用邊界回歸器調整位置坐標。但是，Fast R-CNN算法仍使用選擇性搜索算法，耗時大以致無法實現真正的端到端檢測。文獻[10]也采用了Faster R-CNN檢測算法，在使用卷積神經網絡提取整幅輸入圖像的深度特征后，用RPN(Region Proposal Network)取代選擇性搜索算法生成候選框并映射到所提取的特征圖上；然后ROI Pooling將候選框所對應的特征轉換為固定長度的輸出數據；最后利用Softmax分類器分類并進一步調整物體的位置信息。文獻[11]采用R-FCN算法，根據目標檢測需要定位目標位置的特點將ResNet(Residual Network)網絡改造成用一層位置敏感卷積層替換掉全連接層的全卷積網絡，旨在解決目標檢測過程中全連接層丟失目標精確位置信息的問題。

單階段檢測算法中整個檢測過程只有一個網絡，可以進行端到端的回歸，在單個的神經網絡中，直接從一次評估中得到目標的位置信息和類概率。由文獻[12]可知，YOLO檢測算法將原始輸入圖像分成S×S個網格單元，每個網格單元生成B個邊界框和置信度，進行物體的框定和分類，最后利用NMS去除冗余的邊界框，得到最終的位置信息和類概率。YOLO大大加快了檢測速度，但1個網格單元只能預測2個邊界框而且這2個邊界框屬于同一個類，導致靠得近的目標和尺度小的目標都很難被檢測到。由文獻[13]可知，YOLOv2對網絡中每一層輸入的數據進行批量歸一化處理和預處理，大大提高了訓練速度和效果；引入的先驗框可以在一個網格單元中預測多個尺度的不同物體，增加了預測框的數量；通路層獲取上一層特征圖的細節信息，并將該特征圖同最后輸出的特征圖相結合，提高了對小目標的檢測能力。由文獻[14]可知，YOLOv3算法使用加入了殘差模塊的Darknet-53解決了深層網絡的梯度問題，使用k-means聚類算法確定了先驗框尺寸，改進了多尺度特征融合網絡，小目標行人的檢測效果得到進一步提升。Bochkovskiy等人[15]提出了YOLOv4檢測算法，使用CSPDarknet53作為主干特征提取網絡，SPP和PANet作為加強特征提取網絡。SPP分別利用4個不同尺度的最大池化層進行處理，極大增加了感受野，分離出最顯著的上下文特征；PANet在完成特征金字塔從上到下的特征提取后還需要實現從下到上的特征反復提取。此外，YOLOv4還有Mish激活函數、Mosaic數據增強、CIoU(Complete Intersection over Union)、學習率預先退貨衰減等“堆料”應用，相較于其他算法檢測精度更高，檢測速度更快。YOLOv4是目標檢測模型，行人與物體目標之間存在長寬比、形態、尺寸和遮擋等差異，如果直接將YOLOv4模型用于行人檢測，會導致模型對小尺度、非站立姿態、被遮擋行人的檢測效果并不是特別令人滿意。

3 改進的YOLOv4算法

為了使YOLOv4算法更好地適用于行人檢測，本文對YOLOv4進行以下改進：首先，使用k-means聚類算法對行人數據集真實框尺寸進行分析，根據聚類結果確定先驗框尺寸；其次，利用改進的PANet特征金字塔進行多尺度特征融合，增加對多姿態、多尺度行人目標的敏感度，以提高檢測效果；最后，針對行人遮擋問題，利用預測框吸引指定目標的同時排斥周圍其他行人目標，提出使用斥力損失來優化損失函數，使得預測框靠近正確目標的同時遠離錯誤目標。

3.1 目標框聚類分析

YOLOv4算法中，先驗框(即初始邊界框)是根據不同尺度的網絡層來確定的。早期目標檢測算法中先驗框的尺寸是憑經驗確定的，過于主觀。YOLOv2之后的算法大多使用k-means聚類分析來確定先驗框尺寸。

k-means聚類算法發現給定數據集的k個簇并用簇的中心點來描述,k-means聚類算法使用歐氏距離來度量樣本間的相似度，若在真實框聚類過程中使用k均值歐氏距離，就會使較大的邊界框產生較多誤差。因此，本文提出如式(1)所示的先驗框聚類的距離度量計算公式，使得樣本間的距離與邊界框的大小無關。

distance(box,cen)=1-CIoU(box,cen)

(1)

其中，box和cen分別是真實框和邊界框簇中心點集合;CIoU是IoU(Intersection over Union)基礎上的改進，對邊界框的尺寸不再敏感，不僅考慮了真實框與邊界框簇中心的交并集比值，還考慮了真實框與邊界框之間的中心點距離、重疊率、長寬比和最小閉包區域對角線距離。CIoU計算如式(2)～式(4)所示：

(2)

(3)

(4)

其中，b和bgt分別表示邊界框和真實框的中心點，d表示2個中心點的歐氏距離，c表示最小閉包區域的對角線長度，α是權重參數，v表示長寬比的相似性，w和wgt分別表示邊界框和真實框的寬，h和hgt分別表示邊界框和真實框的高。圖1中左上角為真實框，右下角為邊界框，外邊框為兩者的最小閉包區域。

Figure 1 Relation of ground truth,boundary box and minimum closure area 圖1 真實框、邊界框與最小閉包區域關系

本文利用k-means聚類算法將行人數據集分成k個簇，經過一系列迭代運算使得簇內邊界框的距離盡可能小，簇間邊界框的距離盡可能大，再通過目標函數確定先驗框的尺寸。通過對行人數據集中真實框的尺寸進行聚類分析，選出適合行人目標的先驗框尺寸，取代YOLOv4算法中原來的先驗框尺寸，以達到提高檢測效果的目的。

3.2 改進的多尺度特征融合

淺層網絡包含更多的行人定位信息，深層網絡包含更多的行人語義信息，網絡經過一系列的下采樣操作后，小尺度行人的定位信息就會丟失[3]。本節的目的是通過多尺度特征融合，使淺層小目標行人的定位信息更多地傳遞到深層網絡中，以提高YOLOv4檢測模型對小尺度行人的檢測精確度。

YOLOv4算法中SPP模塊[16]設計在CSPDarknet53最后一個特征層的卷積里，分別利用4個不同尺度的池化核(分別為13×13,9×9,5×5和1×1)進行最大池化處理，將不同尺度的特征轉換為長度固定的輸出，以極大地增加感受野，分離出最顯著的上下文特征[7]。SPP加強特征網絡結構如圖2所示。

Figure 2 Structure of SPP enhanced feature network 圖2 SPP加強特征網絡結構

PANet結構[17]首先在傳統特征金字塔結構FPN(Feature Pyramid Network)中完成從上到下的特征提取，這一步中只增強了語義信息，沒有傳遞定位信息；然后在下一個特征金字塔中完成從下到上的路徑增強特征提取，將淺層的強定位信息傳遞上去；接下來自適應特征池化層利用金字塔所有層的特征使得后期的分類和定位更加準確；最后是全連接層融合。其網絡結構如圖3所示，從左到右a為FPN特征金字塔，b為從下到上路徑增強，c為自適應特征池化，d為分類定位，e為全連接融合。

Figure 3 Structure of PANet 圖3 PANet結構

Figure 4 Structure of improved feature extraction network 圖4 改進后的特征提取網絡結構

YOLOv4算法在3個有效特征層上使用了PANet結構，但對于小目標行人和多姿態行人的識別效果還是不佳。因此，本文對YOLOv4進行如圖4所示的改進，使其在4個有效層上進行多尺度特征融合。

3.3 斥力損失函數

遮擋分為類間遮擋和類內遮擋，前者是對象被其他類別的對象遮擋，后者是對象被同一類別的對象遮擋。進行行人檢測時，類內遮擋所占比例更大[18]。本文針對類內遮擋提出使用斥力損失函數來優化YOLOv4原有損失函數，利用預測框吸引指定目標的同時排斥周圍其他行人目標框，增大預測框與周圍其他行人目標框的距離，使得預測框靠近正確目標的同時遠離錯誤目標。計算公式如式(5)所示：

L=LYOLOv4+γ·LRepGT+β·LRepBox

(5)

其中，LYOLOv4表示預測框與其指定目標的損失計算值，本文繼續沿用YOLOv4中的損失計算方式;LRepGT表示預測框與周圍其他目標真實框的損失計算值;LRepBox表示預測框與周圍其他目標預測框的損失計算值;γ和β分別表示2種損失的權重。

當預測框與其他目標真實框靠得太近時，會出現檢測不準確的情況。本文通過使用LRepGT減小其他目標真實框對預測框的影響,其計算公式如式(6)～式(11)所示：

(6)

(7)

(8)

(9)

(10)

(11)

其中，P=(lp,tp,wp,hp)和G=(lg,tg,wg,hg)為預測框和真實框，分別由它們的左頂點坐標及其寬度和高度表示；ρ+={P}是所有預測框的集合;ζ={G}是一幅圖像中所有真實框的集合;ρ+中的預測框P經過回歸計算得到BP;光滑函數Smoothln(x)在(0,1)中連續可微;σ∈[0,1)是調整斥力損失函數對異常值敏感的光滑參數。

當預測框與其他目標預測框靠得太近時，在進行soft-NMS、DIoU-NMS計算過程中容易篩選掉IoU大于閾值的預測框，出現漏檢的情況。本文使用LRepBox將不同目標的預測框分開，可以有效緩解這種情況，其計算如式(12)所示：

(12)

其中，BPi和BPj分別表示P中第i個和j個預測框；當預測框之間的交并比大于0時使用I(·)函數進行計算；ε為很小的常數。

4 實驗與結果分析

4.1 實驗環境

本文在Windows系統下使用keras搭建基于YOLOv4改進的目標檢測框架作為實驗運行環境。硬件條件為CPU:Intel(R)Core i7-8750H 2.2 GHz，最高睿頻4.1 GHz；GPU:NVIDIA GeForce GTX1060Ti。

4.2 實驗數據集

本文比較分析了CityPersons[19]、CoCo和CrowdHuman 3個行人數據集的特點。如表1所示，CityPersons中平均每幅圖像有7個行人而且行人被遮擋的情況更多，行人多樣性和被遮擋情況更符合本文研究內容。CityPersons行人數據集是在CityScapes數據集的基礎上建立的，5 000個精細標注的圖像中包含35 000個行人，劃分為2 975個訓練圖像、500個驗證圖像和1 525個測試圖像。行人主要分為4種：(1)步行的人，包括跑步、走路和站立姿勢的行人；(2)騎行的人，包括騎自行車和摩托車的行人；(3)坐著的行人；(4)非正常姿勢的人，包括彎腰、深蹲等姿勢的行人。非密集圖像上的實驗是為了驗證本文所提方法是否對孤立對象檢測有影響。

Table 1 Pedestrian density in different datasets表1 不同數據集行人密度

4.3 實驗參數

本文使用0.000 1的權重衰減和0.9的動量，模型分別以0.000 05,0.000 5和0.005的學習率進行4×103，8×103和30×103次迭代訓練，訓練批量為10，輸入圖像大小為608×608像素。

4.4 實驗結果

訓練集中的真實框經過k-means聚類后得到的12個先驗框尺寸，如表2所示，將得到的先驗框尺寸分別應用于網絡不同尺度的檢測層中。

Table 2 Anchorbox sizes after cluster analysis表2 聚類分析后先驗框尺寸

本文改進模型在CityPersons數據集上的檢測結果如圖5所示。

從圖5可以看出，不同形態尺度的行人和被遮擋的行人都可以被檢測到，且準確率較高，在非密集型圖像上也表現出了較好的檢測效果，因此，在YOLOv4算法基礎上進行改進的行人檢測模型具有較好的檢測效果。

Figure 5 Detection results of the improved YOLOv4 圖5 本文改進的YOLOv4檢測結果

為進一步證明改進模型的性能，將處理好的數據集分別在Faster R-CNN、YOLOv3、YOLOv4和改進的YOLOv4 4種模型上進行實驗，檢測結果對比如圖6所示。

Figure 6 Comparison of detection results圖6 檢測結果對比圖

從圖6可以看出，相比于其他3種模型，改進的YOLOv4行人檢模型架在小尺度、多姿態和被遮擋行人方面檢測精度都更高。本文使用平均檢測時間Avgtime、準確率Precision、召回率Recall和平均檢測精度AP作為檢測模型的評價標準。k-YOLOv4表示只對原YOLOv4模型進行k-means改進,P-YOLOv4表示只對原YOLOv4模型進行多尺度融合改進,檢測結果對比如表3所示，6種檢測模型的P-R值變化如圖7所示。

Table 3 Comparison of results of different detection models表3 不同檢測模型檢測結果對比表

Figure 7 Comparison of P-R values of different detection models圖7 不同檢測模型P-R值變化對比圖

從表3可以看出，在這6種檢測模型中，YOLOv3的平均檢測時間遠遠少于Faster R-CNN的，但準確率略低于Faster R-CNN的；Faster R-CNN的平均檢測時間過長，達不到實時檢測的目的;YOLOv4的平均檢測時間較YOLOv3的少0.59 ms，平均檢測精度提高了3.79%，且召回率也有所提升;k-YOLOv4和P-YOLOv4相比于YOLOv4檢測效果均有所提高;改進的YOLOv4檢測模型的平均檢測時間略高于YOLOv4的，但召回率提高了1.14%，平均檢測精度也提高了。從圖7可以看出，改進的YOLOv4檢測模型P-R值大于其余5種檢測模型，一方面是因為聚類分析為先驗框選擇了合適的尺寸，使得目標定位更準確，多層的多尺度融合可以更好地檢測小目標和多姿態的行人；另一方面是因為使用斥力損失函數提高了被遮擋行人的檢測精度。總之，實驗表明本文提出的YOLOv4改進模型具有更好的檢測效果。

相同迭代次數下，截取的6種檢測模型訓練過程中的loss值變化情況如圖8所示。

Figure 8 Change trend of loss values of different detection models圖8 不同檢測模型loss值變化對比圖

從loss值變化對比圖來看，本文改進的YOLOv4檢測模型開始訓練時loss值相比其他6種模型都大，經過訓練后loss值開始下降并逐漸趨于平穩，收斂效果更好且收斂值更低。

本文還用自己采集的數據集進行了測試，檢測結果如圖9所示，說明進行多尺度特征融合對檢測小目標、多姿態行人是有效的，斥力損失函數的使用也提高了被遮擋行人的檢測精度。

Figure 9 Diagram of detection results圖9 檢測結果圖

5 結束語

為了提高多尺度、多姿態行人的檢測精度，本文對LOYOv4算法進行了以下改進：首先，使用k-means聚類算法對行人數據集的真實框尺寸進行分析，根據聚類結果確定先驗框尺寸大小；其次，利用改進的PANet特征金字塔進行多尺度特征融合。針對行人遮擋問題，提出使用斥力損失來優化損失函數，利用預測框排斥周圍其他行人目標，使預測框靠近正確目標的同時遠離錯誤目標。實驗結果表明，相比于YOLOv4和其他行人檢測模型，本文提出的改進模型可以大幅度提高行人檢測的準確率。