基于深度學習的實時車輛檢測研究

黃生鵬 范平清

摘? 要：針對城市交通復雜場景下車輛檢測存在準確率低的問題，提出改進SSD（單發(fā)多箱探測器）目標檢測算法。首先基于輕量化的PeleeNet（一種基于密集卷積網絡的輕量化網絡變體）網絡結構改進SSD算法中VGG16（視覺幾何群網絡）特征提取網絡，在保證提取豐富特征的前提下，有效地減少模型參數，提高模型的實時性;其次設計了多尺度特征融合模塊和底層特征增強模塊，提高特征的表達性能;最后根據數據集中目標的大小調整默認框的長寬比例，并在后三個特征層的每個單元上增加默認框。實驗結果表明，改進后的目標檢測算法的準確率mAP（平均精度）為79.83%，與原始SSD相比提高了2.25%，并驗證了改進SSD算法的有效性。

關鍵詞：實時性;SSD;默認框;特征提取

中圖分類號：TP391? ? ?文獻標識碼：A

文章編號：2096-1472（2021）-01-13-04

Abstract： This paper proposes an improved SSD （Single Shot Multiple Box Detector） target detection algorithm to improve the vehicle detection accuracy in complex urban traffic scenarios. Firstly， VGG16 （Visual Geometry Group Network） feature extraction network algorithm in SSD is improved based on the lightweight PeleeNet （A lightweight network variant based on dense convolution network.） network structure. Under the premise of ensuring the extraction of rich features， it can effectively reduce model parameters and improve the real-time performance of the model. Secondly， a multi-scale feature fusion module and a low-level feature enhancement module are designed to improve the expression performance of features. Finally， length-width ratio of the default frame is adjusted according to the target size in data set， and the default frame is added to each cell of the last three feature layers. Experimental results show that the accuracy of mAP （mean Average Precision） of target detection algorithm is improved to 79.83%， which is 2.25% higher than the original SSD. So the improved SSD algorithm is verified to be effective.

Keywords： real-time; SSD; default frame; feature extraction

1? ?引言（Introduction）

高級輔助駕駛系統(tǒng)（Advanced Driver Assistance Systems， ADAS）是提高行車安全的重要技術手段之一，能否對行車環(huán)境中前方行駛車輛進行有效的實時檢測是完成ADAS功能的首要前提[1]。

目前，視覺車輛檢測技術主要分為兩類：基于傳統(tǒng)圖像特征的目標檢測算法和基于深度學習的目標檢測算法。傳統(tǒng)的目標檢測算法主要采用人工設計的目標物特征，如HOG（Histogram of Oriented Gradient）[2]、Haar（Haar-like features）[3]等，將這些特征送入SVM（Support Vector Machines）[4]等分類器中進行目標分類檢測。基于深度學習的目標檢測算法主要有兩個分支：以R-CNN（Region-based Convolutional Neural Networks）[5]、Fast R-CNN[6]、Faster-RCNN（Towards Real-Time object Detection with Region Proposal Networks）[7]、R-FCN（Object detection via region-based fully convolution networks）[8]算法為代表的基于候選框的兩階段目標檢測算法;另一條路線是以YOLO（You Only Look Once）[9]、SSD[10]、Retina-Net（Focal Loss for Dense Object Detection）[11]為代表的單階段目標檢測算法。基于深度學習的單階段目標檢測算法是當前應用于車輛實時性檢測的主流方法，尤其是SSD目標檢測框架的應用場景廣泛。

本文主要在多尺度目標檢測算法SSD的基礎上進行改進，采用一種基于DenseNet（Dense Convolutional Network）[12]的輕量化網絡結構變體PeleeNet[13]，改進原始SSD目標檢測算法。在保證提取豐富特征的前提下降低計算成本，滿足實時性要求。針對實際工程項目采集的數據集進行目標尺寸分析，設計合理的區(qū)域候選框大小及長寬比例，提高車輛目標的檢測準確率。

2? ?SSD算法（SSD algorithm）

2.1? ?SSD模型結構

SSD目標檢測算法的主干網絡結構為VGG16，在VGG16的基礎上新增加了不同卷積層來獲得多尺度特征圖，最終利用這些特征圖進行多尺度的目標檢測。SSD網絡結構如圖1所示，輸入端是一張高為300，寬為300，通道數為R、G、B的彩色圖像;接著將兩個全連接層fc6、fc7分別替換為卷積層Conv6、Conv7;然后再添加四個卷積層。整個網絡共獲得六個不同尺度的特征圖：Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2。不同尺度的特征圖所對應的感受不一樣，各特征圖設置先驗框的數量也不一樣，針對這六個特征層分別用兩個并列的卷積核進行卷積，一個用來預測邊框，另一個用來獲得不同類別的置信度。最終的檢測結果由非極大值抑制算法NMS（Non-Maximum Suppression）輸出。

2.2? ?SSD候選框

SSD采用多尺度特征圖預測的方法，就是借鑒Faster R-CNN中的anchor的理念，在特征圖的feature map cell上設置不同尺寸和不同長寬比的候選框。每個特征圖上的候選框按以下公式計算：

式中，代表第個特征圖默認框大小相對于網絡輸入的比例，是一個歸一化的值。代表最小的比例，代表最大的比例。代表個特征圖中的第個，其中為特征圖的個數。

默認框在不同的特征層有不同的尺寸，而且在同一個特征層又有不同的寬高比。共有五種不同的寬高比。寬高的計算公式如下：

式（2）、式（3）中、分別表示候選框的寬、高。若寬高比為1時，候選框另增加一個。用于檢測的特征圖上默認有六個候選框，但實際上Conv4_3、Conv10_2和Conv11_2層僅設置了四個候選框，它們均舍棄了3：1、1：3的候選框。SSD各預測層的候選框大小詳見表1。從統(tǒng)計數據可看出，高層特征圖的尺寸越來越小，候選框的大小逐漸增大。所以底層特征圖主要用來檢測小目標，高層特征圖被用來檢測大目標。

3? 基于PeleeNet的改進SSD模型（Improved SSD model based on PeleeNet）

原始的SSD框架主要分為三部分：主干網絡、檢測網絡、分類網絡。主干網絡主要用來提取特征，幾種常見的特征提取網絡包括ResNet、GoogleNet、VGGNet、Inception-Net，各種改進主干網絡的SSD模型由此產生。以VGGNet為主干結構的SSD模型，在進行目標檢測時的幀率難以滿足ADAS功能的實時應用需求。為實現(xiàn)在移動端的目標檢測，檢測精度和檢測準確率需要同時兼顧，因此特征提取網絡結構不能太復雜，參數量不能太大。本文在原始SSD框架的基礎上，將特征提取網絡VGGNet替換為輕量化的網絡PeleeNet，顯著減少了網絡參數;同時PeleeNet采用了卷積、批歸一化、激活函數的順序組合，而不是卷積、激活函數、批歸一化的組合，這樣可以將批歸一化和卷積進行合并運算，進一步提高檢測速度。依然采用SSD模型的多尺度預測方法，并在此基礎上提出一種多尺度特征融合模塊（Feature Fusion Module， FFM）與特征增強模塊（Feature Enhance Module， FEM），以提高底層特征圖的語義信息，進一步提高對小目標的檢測率。

PeleeNet-SSD算法的模型結構如圖2所示。模型的整體結構分為兩個部分：一部分是在前端的PeleeNet網絡，主要用于提取目標特征;另一部分是位于后端的檢測網絡，主要作用是對前面產生的特征層進行目標的類別分類和位置回歸，最后通過非極大值抑制算法輸出目標框。

3.1? ?特征融合模塊與特征增強模塊

3.1.1? ?特征融合模塊

本文設計了多尺度特征融合模塊（FFM），如圖3所示。將含有不同語義信息的特征圖進行融合產生新的特征圖，并用其進行后面的預測階段。

為了同時擁有底層特征圖的語義信息與高層特征圖抽象的語義信息，本文采用了3×3的卷積尺度以擴大感受野，并在其后面增加1×1尺度的卷積以增強非線性特性。其中第三個分支（branch3）是下一尺度的特征圖進行反卷積操作，使其和上一尺度擁有相同的寬高和通道數。最后通過Concatenate操作將二者合并產生融合后的特征圖，用其進行目標預測可以很好地檢測出小尺度目標。

3.1.2? ?特征增強模塊

SSD算法利用底層特征圖進行小目標的檢測，然而底層特征圖的語義信息相對較少，導致檢測效果一般。本文針對底層特征圖語義信息不強的特點，設計了底層特征增強模塊，如圖4所示。通過兩組類似的卷積組來加深淺層特征圖，同時在每組后面都有1×1尺度的卷積，用來增大感受野和非線性特性。同時本結構采用的是S×1和1×S的卷積層而不是直接采用S×S的卷積層，從而可以減少計算時間成本。

3.2? ?候選框的設計

特征提取的好壞決定了目標檢測算法的性能，而有效地特征提取取決于訓練數據。標準的SSD目標檢測算法中的訓練數據就是候選框區(qū)域。為了保證對不同大小和不同縱橫比的目標進行預測，SSD算法在不同的特征圖上設置了不同的候選框。當候選框與真實框的重疊度大于0.5時，被認定為正樣本;反之，為負樣本。候選框的大小和縱橫比應該根據真實的數據集進行設置，這樣可以獲得較高的匹配度，同時也可以減少背景無效區(qū)域對于特征提取的影響。而且當候選框與真實框越相近，坐標框的回歸也就越容易，如果差異較大，就需要復雜的非線性模型進行求解。本文所采集的數據分布如圖5所示，圖中的彩色直線表示SSD原始的默認框比例，彩色正方形表示各預測層。從圖5可知，原候選框長寬比與數據集分布偏差過大，因此需要根據實際采集的車輛數據集設計合理的候選框尺度和比例。

由車輛尺寸分布圖可知，大部分數據集的長寬比介于1至3。因此，可以去掉比例為1/3的默認框，同時在后三個預測層加入3/2的長寬比默認框。這樣可以提高模型的采樣率，而且能降低計算量。改進后的候選框尺寸分布如圖6所示。

4? ?實驗分析（Experimental analysis）

4.1? ?數據集制作及訓練過程

本文所采用的數據集，來自中國某城市道路交通的行駛車輛數據。通過搭建單目相機采集系統(tǒng)，獲取各個路段的視頻數據，通過對視頻數據的剪切處理最終獲得訓練圖片。使用LabelImg圖像標注工具，對圖片中的車輛進行人工標注，同時生成與之對應的xml文檔，如圖7所示。本數據集包含10 000張圖片用于訓練和驗證，2 000張圖片用于測試，數據樣本標簽為汽車（Car）、卡車（Truck）、公交車（Bus）、工程車（Shop truck）。數據集中包含街道、環(huán)線、高速等路段的交通狀況。為了進一步增強數據，本文對訓練圖片進行隨機縮放、水平旋轉，隨機改變圖片的色調、飽和度及鏡像處理。

本實驗所采用的深度學習框架為caffe，GPU型號為RTX 2080 TI。本文首先在KITTI數據集上對改進的車輛檢測算法進行20輪的迭代，獲取預訓練權重參數。并在此基礎上對改進的目標檢測算法進行微調訓練，訓練時采用的優(yōu)化方法為隨機梯度下降算法（SGD），初始學習率為0.01，學習策略采用multistep，gamma為0.5。當迭代次數為50 000次時更新一次學習率，其中momentum為0.9，權重衰減為0.000 5，訓練的batch size設為32，共迭代200 000次。訓練過程中的loss值如圖8所示。

4.2? ?評價方法

本文采用的主要評價指標是平均準確率均值mAP，其是目標檢測算法中衡量精確度的指標。mAP的計算與準確率（Precision）、召回率（Recall）相關。準確率表示預測為正的樣本中的正樣本所占的比例;召回率表示正樣本中被正確預測所占的比例。P-R曲線全面評價了檢測器的精度性能，該指標為平均準確率（Average Precision，AP）。計算公式如下：

式中，表示被正確檢測的數量，表示被誤檢的數量，表示漏檢的數量，表示樣本點數量，表示需要檢測的類別數量。

4.3? ?實驗結果與分析

本文將標準SSD和改進后的SSD_our網絡分別在所采集的數據集上進行訓練與測試，模型的檢測性能詳見表2。改進后檢測模型的mAP為79.83%，且模型大小僅為原始模型大小的1/5。

實際道路視頻測試效果如圖9所示。改進后的SSD對高速行駛的小型汽車檢測的準確率更高，這是因為特征提取網絡擁有更少的網絡參數，提高了計算速度。同時在分析數據尺度的基礎上，在預測層上設置了合理的長寬比的默認框，進一步降低了噪聲的影響以及提升了特征提取的效果。

5? ?結論（Conclusion）

本文針對車輛目標檢測實時性低、準確率低、魯棒性差等問題，在SSD目標檢測算法的基礎上，采用特征學習能力更強的peleeNet網絡進行主干網絡的替換。由于輕量化的peleeNet網絡結構設計，使得模型參數更少，滿足實時性要求。并且，重新設計了SSD候選框，使其更加符合真實的目標框，提高了訓練過程中正樣本的采樣率。實驗結果表明，本文改進后的目標檢測算法的準確率達到了79.83%，與標準SSD相比提高了2.25%。本文的方法在檢測速度和檢測精度方面有所提高，后續(xù)研究工作將在豐富的數據集上進行實驗，進一步提高模型的泛化能力。

參考文獻（References）

[1] Reynolds C W. Flocks， Herds， and Schools： A Distributed Behavioral Model[J]. ACM SIGGRAPH Computer Graphics， 1987， 21（4）：25-34.

[2] Dalal N， Triggs B. Histograms of Oriented Gradients for Human Detection[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR 2005）， 2005：886-893.

[3] Viola P， Jones M. Robust Real-time Object Detection[J]. International Journal of Computer Vision， 2001（57） ：137-154.

[4] Burges C J C. A Tutorial on Support Vector Machines for Pattern Recognition[J]. Data Mining and Knowledge Discovery， 1998， 2（2）：121-167.

[5] Girshick R， Donahue J， Darrell T， et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]. The IEEE Conference on Computer Vision and Pattern Recognition （CVPR 2014）， 2014：580-587.

[6] Girshick R. Fast R-CNN[C]. The IEEE International Conference on Computer Vision （ICCV 2015）， 2015：1440-1448.

[7] Ren S， He K， Girshick R， et al. Faster R-CNN： Towards Real-Time object Detection with Region Proposal Networks[C]. 29th Neural Information Processing Systems （NIPS 2015）， 2015：91-99.

[8] Dai J， Li Y， He K， et al. R-FCN： Object detection via region-based fully convolution networks[C]. 30th Conference on Neural Information Processing Systems （NIPS 2016）， 2016：379-387.

[9] 王宇寧，龐智恒，袁德明.基于YOLO算法的車輛實時檢測[J].武漢理工大學學報，2016，38（010）：41-46.

[10] 吳水清，王宇，師巖.基于SSD的車輛目標檢測[J].計算機與現(xiàn)代化，2019（05）：39-44.

[11] Lin T Y， Goyal P， Girshick R， et al. Focal Loss for Dense Object Detection[C]. The IEEE International Conference on Computer Vision （ICCV 2017）， 2017：2980-2988.

[12] Huang G， Liu Z， Maaten L V D， et al. Densely Connected Convolutional Networks[C]. The IEEE Conference on Computer Vision and Pattern Recognition （CVPR 2017）， 2017：4700-4708.

[13] Wang R J， Li X， Ling C X. Pelee： A Real-Time Object Detection System on Mobile Devices[C]. The IEEE Conference on Neural Information Processing Systems （NIPS 2018）， 2018：1963-1972.

作者簡介：

黃生鵬（1993-），男，碩士生.研究領域：圖像處理.

范平清（1980-），女，博士，副教授.研究領域：系統(tǒng)動力學，機器視覺，壓電驅動.本文通訊作者.