基于SSD方法的小目標物體檢測算法研究

胡夢龍 施雨

摘? 要：SSD方法是目前為止主要的目標檢測算法之一。針對該方法處理小目標物體檢測時精度不高的問題，文章在對SSD卷積神經網絡的網絡結構進行分析的基礎上，在使用原有多層卷積特征圖結構的前提下通過特征增強的方法來改善網絡結構，構建了一種新的小目標物體檢測算法模型。將該模型在PASCAL VOC 2012目標檢測數據集上進行精度檢測，檢測結果與原始的SSD網絡相比有了較好的提升。

關鍵詞：SSD方法;小目標物體;多層卷積特征圖;特征增強

中圖分類號：TP391.41;TP181? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）03-0005-05

Abstract：SSD method is one of the main target detection algorithms so far. Aiming at the problem of low accuracy when this method is used to detect small target objects，Based on the analysis of the network structure of SSD convolution neural network，this paper improves the network structure by the method of feature enhancement on the premise of using the original multi-layer convolution feature map structure，and constructs a new algorithm model of small target detection. This model is used to detect the accuracy of PASCAL VOC 2012 target detection data set，and the detection result is improved compared with the original SSD network.

Keywords：SSD method;small target object;multi-layer convolution feature map;feature enhancement

0? 引? 言

目標檢測作為計算機視覺的基礎研究內容，在近幾年發展突飛猛進。2013年Ross Girshick等提出了R-CNN[1]算法，該算法的提出將原本只能通過手工提取特征的方式轉變成通過神經網絡自動提取特征的方式。在此之后，出現了很多基于卷積神經網絡的目標檢測算法的研究，一般來說分為基于候選窗口的方式或基于回歸的方式兩大類。

基于候選窗口方式的主要有2014年4月Kaiming He等提出的SPP Net[2]算法，該算法主要對R-CNN進行改進;Girshick對R-CNN進行了進一步優化，提出了Fast R-CNN[3]算法，將串行結構改成了并行結構，在分類的同時進行回歸;Shaoqing Ren等人提出的Faster R-CNN[4]在Fast R-CNN的基礎上使用了區域選擇網絡（RPN）來代替選擇性搜索網絡方法（SS）。基于候選窗口方式的算法存在的缺點是檢測速度相對較慢，實時性效果較差。

2016年，Radmon等人提出了YOLO[5]網絡模型。Liu等人又在YOLO的基礎上提出了SSD（Single Shot MultiBox Detector）[6]網絡，該方法是一種基于回歸的目標檢測方法，主要思想是在一張圖片中直接預測，不需要推薦預選框和特征重組的步驟，真正意義上實現了端到端的方法。基于回歸的目標檢測方法有著檢測速度快的特點，但是相對于基于候選窗口的目標檢測方法有著明顯的缺陷：檢測精度較差，尤其體現在檢測小目標的物體上。因此，如何提高檢測精度是該方法的主要研究目標之一[7]。

本文基于南京市經信委重點項目“交通大數據公共服務平臺”、南京市科委“大數據驅動下的大型客運樞紐監控預警與應急處置”項目中對交通十字路口車輛小目標檢測問題，是項目中的一項關鍵技術。以SSD為研究的基礎框架，通過對多層卷積特征圖的改進來提升算法對小目標的識別能力。

1? SSD方法

1.1? 方法原理

1.1.1? 算法原理

（1）采用多尺度特征圖用于檢測：SSD算法采用基礎網絡VGG16。不同于原本VGG16網絡的是，該算法將該網絡最后的兩個全連接層fc6和fc7變成了3×3卷積層Conv6和1×1卷積層Conv7。移除用來防止過擬合的Dropout層以及全連接層fc8，并從中提取Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2作為檢測用的特征圖。通過這種方式可以在低層預測小目標，在高層預測大目標。

（2）設置了多種不同尺度的候選區域框：SSD采用多尺度特征方法，需要設置不同尺度的候選區域，其候選區域的選擇公式如下：

1.1.2? 算法實現步驟

（1）首先輸入一張300*300的圖片，將圖片經過卷積進行特征提取，生成特征圖。

（2）從每層的特征圖中提取其中一張特征圖，共6張，在特征圖上的每個點上生成候選區域。

（3）將生成的候選區域通過非極大值抑制（NMS）篩選，輸出結果。

1.2? 評估指標

本文使用mAP指標以及FPS指標來評估算法的性能。

1.2.1? mAP指標

mAP是先對類別內求平均精度，之后再對所有的類別的平均精度求平均。其公式如下：

其中，C為樣本種類數，AP為樣本的平均精確度，計算公式如下：

其中，N表示recall的數量，r表示召回率，p（r）表示最大準確率，準確率p和召回率r計算公式如下：

1.2.2? FPS指標

FPS指1秒內識別的圖像數，是用來檢測模型的檢測速度的指標。

2? 小目標物體檢測模型

2.1? 算法模型

原本的SSD模型，沒有將深層特征層的上下文信息與淺層特征層相結合。對于小目標物體在淺層特征層而言其特征相對過少，在淺層特征圖中進行定位可能會出現漏檢的情況。我們通過對深層特征圖先進行上采樣操作，再將其與淺層的特征圖進行融合，可以提高對小目標物體的識別能力[8]。本文設計的網絡結構如圖1所示。

左邊是原有的SSD算法網絡結構，首先在Conv11_2特征層使用上采樣操作得到Conv11_2_2特征層，需注意的是此時通過上采樣得到的特征層必須要與其上一層的特征層維數保持一致。再將Conv11_2_2與上一層Conv10_2特征層進行特征融合得到Conv10_2_2特征層;再將Conv10_2_2特征層進行上采樣操作并與上一層Conv9_2進行特征融合得到Conv9_2_2，以此方法依次得到余下的特征層Conv8_2_2、Conv7_2_2、Conv4_3_2。最后將Conv11_2、Conv10_2_2、Conv9_2_2、Conv8_2_2、Conv7_2_2、Conv4_3_2特征層送入預測層，進行目標的定位和分類。

2.2? 特征增強方法以及采取的策略

特征融合主要有兩種方法，一種是特征連接的方法，另一種是將兩個特征圖進行升維或降維等操作將其變成同樣維度的特征圖，再將每個對應的特征值相加[9，10]。本文使用的是第二種方法，通過對兩個特征層進行加權操作，以此對需要檢測的目標達到特征增強的目的。

如圖2所示，首先將Conv2特征層進行上采樣操作得到與Conv1特征層維數相同的特征圖，再將Conv2特征層與Conv1特征層進行加權操作，將兩個特征層合并為一個Conv1_1特征層。再將Conv1_1進行正則化處理得到最終的特征層Conv1_2。

圖2? 特征融合方法

通過對特征圖的多次迭代可以將深層特征圖中的所有上下文信息反饋給淺層特征圖，這樣就可以增強小目標物體的特征，從而可以更好地實現對小目標物體的識別。

這種方法可以保證網絡結構總體不變，輸出層還是6個特征圖且其維數仍然保持不變。

3? 實驗環境與實驗結果

3.1? 實驗環境

本文的實驗環境為Linux系統，16 GB內存，GPU，使用Python3.7、TensorFlow等軟件對算法進行實驗。

本文的實驗是在PASCAL VOC 2012數據集上進行的，實驗的模型有本文改進的SSD算法，以及Faster R-CNN、YOLO、SSD300、SSD512。改進的SSD算法預測層有Conv11_2，Conv10_2_2，Conv9_2_2，Conv8_2_2，Conv7_2_2，Conv4_3_2。通過對比發現改進之后的SSD算法在識別小目標物體上有一定的精度。

3.2? 預處理

在對模型進行訓練之前，首先要對數據集進行預處理。本文所使用的是PASCAL VOC 2012數據集。因為著重需要檢測小目標物體的情況，對于小目標物體的形變以及失真等特殊情況，本文也通過對數據集的處理進行了檢驗。

通過對數據集中的圖像進行縮放、局部遮擋、旋轉、形變等操作會使需要檢測的目標出現多種不同的情況。同時，通過這種方法也使得訓練集的數量增大，在一定程度上增加了模型的準確率。如圖3所示，對其中一個圖片的處理過程進行了展示。

（a）正常狀態

（b）旋轉

（c）局部遮擋

（d）縮放

（e）形變

圖3? 對圖片的處理過程

3.3? 實驗結果

本文所使用的PASCAL VOC 2012數據集分為20類，包括背景可以分為21類，具體分類如表1所示。

表1? PASCAL VOC 2012數據集類型

PASCAL VOC 2012數據集作為測試數據集和訓練數據集，將本文改進的SSD算法與Faster R-CNN、YOLO、SSD300、SSD512作比較，比較結果如表2、表3所示。

表2? PASCAL VOC 2012測試集mAP指標

表3? PASCAL VOC 2012測試集FPS指標

SSD300指的是輸入圖片的維度為300*300，SSD512輸入圖片的維度為則512*512。如表3算法在PASCAL VOC 2012測試集mAP檢測結果來看，本文所改進的SSD算法相對于Faster R-CNN算法mAP值提升了2.2%，相對于YOLO算法mAP值提升了9.0%，與SSD300原始算法相比提高了1.1%，說明改進之后的算法確實優化了原算法中的一些問題。

通過表4的PASCAL VOC 2012測試集FPS指標可以看到Faster R-CNN的檢測速度非常慢，FPS只有7.0，SSD512因為其輸入圖片維度的原因檢測速度也不是很高，FPS只有19.0，YOLO的檢測速度與SSD512相近，SSD300檢測速度最高FPS達到46.0，本文改進的SSD算法相比較SSD300原始網絡算法略低，這是因為在原有的網絡結構中添加了部分迭代以及卷積操作，所以對檢測速度有一定的影響，但是總體來說，因為其檢測精度有所提高，相比之下檢測速度的影響并不是很大。

通過對Faster R-CNN、YOLO、SSD300、SSD512以及本文改進的SSD算法的mAP和FPS的計算，可以得到檢測速度與檢測精度的分布圖，如圖4所示。

圖4? 檢測速度與檢測精度分布圖

通過圖4發現本文改進的SSD算法在檢測精度上有一定的提升，但是在檢測速度上比FPS最高的SSD300略慢一點。從測試集中選取一張圖片，分別對SSD300和本文算法對小目標物體的檢測進行了對比，結果如圖5所示。

（a）SSD

（b）本文改進的SSD

圖5? SSD與本文算法對比

從圖5可以看到原SSD算法對小目標物體的識別能力很弱，圖片中只識別出了左側較大的物體。而對SSD算法進行改進之后，如圖5（b）識別出了SSD算法沒有識別出來的小目標物體，實驗證明通過對SSD算法的改進有效地增強了對小目標物體的識別能力。

4? 結? 論

本文通過對原有的SSD算法的網絡結構進行了改進，增強了算法對小目標物體的識別能力，并在一定程度上提高了檢測精度，但是對于檢測速度沒有得到提高，并且在實際檢測過程中發現仍然會有漏檢的情況發生。因此對于實驗過程中出現的問題，接下來的工作將是對改進算法速度上的優化以及對檢測時出現漏檢的問題進行進一步的研究。

參考文獻：

[1] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]//CVPR 2014，2014：580-587.

[2] HE K，ZHANG X，REN S，et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [C]//European Conference on Computer Vision. Springer，Cham，2014.

[3] GIRSHICK R. Fast R-CNN [J/OL].arXiv：1504.08083[cs.CV].（2015-09-27）. https：//arxiv.org/abs/1504.08083.

[4] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks [J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，39（6）：1137-1149.

[5] REDMON J，DIVVALA J，GIRSHICK R，et al. You Only Look Once：Unified，Real-Time Object Detection [J/OL].arXiv：1506.02640 [cs.CV].（2016-05-09）. https：//arxiv.org/abs/1506.02640.

[6] LIU W，ANGUELOV D，ERHAN D，et al SSD：Single shot MultiBox detector [J].Computer Vision–ECCV 2016：21-37.

[7] 寇大磊，權冀川，張仲偉.基于深度學習的目標檢測框架進展研究 [J].計算機工程與應用，2019，55（11）：25-34.

[8] 譚紅臣，李淑華，劉彬，等.特征增強的SSD算法及其在目標檢測中的應用 [J].計算機輔助設計與圖形學學報，2019，31（4）：63-69.

[9] BELL S，ZITNICK C L，BALA K，et al. Inside-Outside Net：Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE，2016：2874-2883.

[10] Kong T，Yao A，Chen Y，et al. HyperNet：towards accurate region proposal generation and joint object detection [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos：IEEE Computer Society Press，2016：845-853.

[11] 陳冰曲，鄧濤.基于改進型SSD算法的目標車輛檢測研究 [J].重慶理工大學學報（自然科學），2019，33（1）：58-63+129.

[12] 王文光，李強，林茂松，等.基于改進SSD的高效目標檢測方法 [J].計算機工程與應用，2019（13）：28-35.

[13] 張建明，劉煊赫，吳宏林，等.面向小目標檢測結合特征金字塔網絡的SSD改進模型 [J].鄭州大學學報（理學版），2019，51（3）：61-66+72.

作者簡介：胡夢龍（1993.05-），男，漢族，安徽淮南人，碩士研究生，研究方向：圖形圖像處理;施雨（1995.09-），男，漢族，江蘇射陽人，碩士研究生，研究方向：人工智能。