基于自動駕駛場景的目標檢測算法DFSSD

葉召元，鄭建立

東華大學 信息科學與技術學院，上海 201620

1 引言

眾所周知，自動駕駛已經成為目前最受關注的人工智能研究方向之一。無論從何種角度分析，自動駕駛技術都是一項充滿挑戰性的研究工作。因此，針對自動駕駛場景，研究更加精準高效的目標檢測算法具有重要的戰略意義。

傳統目標檢測算法大致可以分為兩類，基于背景建模方法和基于前景建模方法[1]。基于背景建模方法[2]主要用于動態目標檢測，首先建立背景與時間的關系模型，然后利用當前幀信息與背景模型進行對比，從而獲取目標的位置[3]。基于前景建模方法，可以針對靜態圖像進行目標檢測，傳統的做法就是利用滑窗，提取不同尺寸不同區域的特征，接著針對具體目標訓練相應的分類器，利用訓練好的分類器對提取的特征進行分類，比如利用HOG[4（]Histogram of Oriented Gradient）+SVM[5]（Support Vector Machine）進行行人檢測，利用Haar[6]+AdaBoost[7]進行人臉檢測。由于傳統的特征都是人類手工設計的特征[8]，許多都是針對特定目標檢測而設計的，使用具有局限性。人工設計特征在許多時候并不能刻畫出圖像的本質，因此在檢測時易受各種干擾因素的影響，模型魯棒性不高，無法在自動駕駛場景中應用。

自動駕駛面臨的環境是開放的、復雜的，為了保證駕駛安全，對檢測算法的性能要求極高。因此，目前大多數自動駕駛方案采用的都是基于深度學習的目標檢測算法。自2012 年AlexNet[9]使用卷積神經網絡獲得ImageNet競賽的冠軍之后，圖像領域便掀起了深度學習的研究熱潮。卷積神經網絡具有較強的特征提取能力，能夠提取圖像的高層次特征，這對于圖像分類和目標檢測任務來說十分重要。在當前的研究成果中，基于深度學習的目標檢測算法可以分為兩類：一類是基于候選區域的兩階段（two-stage）算法，將目標檢測問題轉化為分類問題。基于候選區域分類的目標檢測流程一般可以分為兩步，首先提取候選區域（Region Proposal）[10]，再對候選區域進行分類并且對位置坐標進行修正。這類算法檢測精度高，但模型復雜度也高，運行效率低，很難達到實時檢測的目的。此類算法的代表有R-CNN[11]（Region-based Convolutional Neural Network）、SPP-NET[12]（Spatial Pyramid Pooling Network）、Fast-RCNN[13（]Fast Region-based Convolutional Neural Network）、Faster-RCNN[14（]Faster Region-based Convolutional Neural Network）以及各種改進版本。另一類是基于回歸的單階段（one-stage）算法，將目標檢測問題轉化為回歸問題，檢測算法將整張圖片作為網絡的輸入，直接在輸出層回歸邊界框（bounding box）的位置及其所屬的類別。one-stage 檢測算法數據管道簡單，運行效率高，可以達到實時檢測的目的，但算法精度一般略低于two-stage檢測算法。此類算法的代表有SSD[15]、YOLO[16（]You Only Look Once）、YOLOV3[17]以及各種改進版本。

自動駕駛所面臨的交通場景十分復雜，人們所要檢測的關鍵目標行人和車輛經常會重疊在一起，或者被遮擋，這會給檢測算法帶來極大的挑戰。此外，在高速行駛的過程中，需要檢測很遠處的目標，以便及早為駕駛決策做出規劃。然而，遠處的目標在圖像中只占據很少的像素點，這同樣為目標的檢測帶來了很大的困難。基于這些問題，同時考慮到自動駕駛對算法性能和效率的要求，本文針對one-stage目標檢測算法SSD 進行改進，提升其對于重疊、遮擋以及遠景小目標的檢測能力，使其能應用于自動駕駛場景之中。本文所做工作有：（1）基于SSD提出一種新的模型結構，以提高對小目標的檢測能力。（2）提升小目標檢測性能的同時，保證算法的實時檢測性能。（3）引入一種新的訓練方式，提升模型對復雜背景的抗干擾能力。為了比較算法性能的提升，本文所做實驗都是基于公開數據集PASCAL VOC 2007 和KITTI交通數據集。

2 原始SSD模型結構與性能分析

圖1 是SSD300（模型輸入圖像分辨率為300×300）模型結構。SSD 以VGG16[18（]Visual Geometry Group）作為特征提取網絡，替換VGG16的兩個全連接層FC6、FC7為卷積層，同時在后面添加了四個卷積層。為了提高檢測精度，SSD 在不同尺度的特征圖上進行檢測，輸出固定數量的邊界框，然后通過置信度過濾和非極大抑制（Non-Maximum Suppression，NMS）等方法輸出最終檢測的目標框和類別。具體的做法是，在特征圖Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2 上設置不同尺度和不同寬高比的默認框（default box），然后在特征圖上每一個位置使用3×3的小卷積核進行卷積，輸出真值框（ground truth）相對于默認框的偏移量和目標種類。SSD算法中的default box相當于Faster-RCNN算法中的anchor，采取anchor的目的是為了使模型能夠更容易收斂。這對于SSD 和YOLO 這樣的單階段目標檢測算法來說更為重要。如果沒有anchor，SSD需要直接回歸出目標的位置坐標和寬高，數據集中各類目標的寬高差距較大，如果直接回歸，會導致模型很難收斂，甚至陷入一個較差的局部最優狀態。因此目前大多數單階段目標檢測算法都會采取設置anchor的策略。

圖1 SSD300模型結構圖

2.1 默認框設置

假如使用m個特征圖進行預測，則第k個特征圖上的default box的尺寸計算公式為：

其中，Smin=0.2，為最底層的尺寸，Smax=0.9，為最高層的尺寸。default box 的寬高比標記為ar∈{1,2,3,1/2,1/3},則第k層每一個default box 的寬高，對于寬高比ar=1，額外添加一個尺寸為的default box。這樣特征圖每一個位置就有6 個default box，并且設置每個default box 的中心為為第k個特征圖的尺寸。在實際實現時，SSD對Conv4_3、Conv10_2和Conv11_2只設置了4個default box。因此，如圖1 所示，SSD 總共可以預測 38×38×4+19×19×6+10×10×6+5×5×6+3×3×4+1×1×4=8 732 個bounding box。

2.2 SSD模型輸出

SSD 模型并不是直接輸出邊界框的位置坐標和寬高，而是輸出bounding box 相對于default box 的偏移量。假設default box的位置表示為d=(dcx,dcy,dw,dh),對應的bounding box 表示為b=(bcx,bcy,bw,bh) ，其中cx、cy為中心位置坐標，w、h為框的寬和高，則模型預測bounding box的輸出可以表示為t：

假設預測類別數為c，特征圖的尺寸為m×n，則特圖每個像素單元的default box數量為k，即每個單元需要預測k×(c+4) 個值，整個特征圖需要預測m×n×k×(c+4)個值。

2.3 損失函數

SSD損失函數由兩部分組成，一部分是目標框的位置損失，即目標框的中心坐標損失和目標框的寬高損失，另一部分是類別置信度損失，計算公式如下：

={0,1}作為一個標識，代表第i個默認框與k類的第j個默認框匹配。Lconf為置信度損失，Lloc為位置損失。N為所有匹配的默認框的個數。p、g分別為預測框和真值框的位置參數。λcoord是一個加權系數，用來衡量位置損失在總損失中占的比例。位置損失使用平滑L1損失[11]，網絡回歸相對于默認框中心(cx,cy)和默認框寬高(w,h)的偏移量為：

置信度損失采用多類別的softmax交叉熵損失：

2.4 SSD模型性能缺陷及原因分析

SSD 算法無論是在mAP 指標還是FPS 指標上，都取得了不錯的效果。同時，SSD采用多尺度特征圖進行預測，這在一定程度上有利于提升對小目標的檢測性能，但是從實驗結果來看，SSD 對于小目標的召回率（Recall）依然較低，與two-stage 檢測算法相比，仍有差距。此外，對于檢測出來的特別小的目標，容易出現錯檢的現象。

SSD采用VGG16作為特征提取網絡，因此Conv4_3層的特征圖分辨率就已經下降為輸入的1/8，如果原圖中有一個16×16 的目標，則此目標在Conv4_3層特征圖上只占據了幾個像素，這幾個像素所保留的信息自然不足以準確地定位目標的位置，甚至無法確定這是正樣本還是背景。其實，SSD用距離頂層較遠的Conv4_3層特征圖來預測，目的就是想用大尺度的特征圖來預測小目標，只不過這個尺寸還是相對較小。另一方面，SSD 采用6個尺寸的特征圖獨立的預測目標，并沒有融合不同特征圖所蘊含的信息。目前，許多研究表明，底層高分辨率的特征圖蘊含著目標的一些細節信息，這些信息有利于準確地定位目標。但是，由于底層的特征圖經歷的卷積運算較少，未能提取足夠多的高級特征，語義信息不足，這不利于區分目標和背景。高層低分辨率的特征圖經歷了大量的卷積運算，能夠提取豐富的語義信息，但是由于下采樣過多，導致丟失大量的細節信息。此外，SSD在訓練時是通過兩個框重疊部分的面積與兩個框總面積的比值IoU（Intersection over Union）來確定正負樣本的，小目標所占據的像素點太少，與default box 的 IoU 小于閾值 0.5，很難與 default box 進行匹配，因而被判定為負樣本，不能得到充分的訓練。

3 改進SSD檢測算法

3.1 相關改進工作

針對SSD算法所存在的問題，目前已經有許多優秀的改進工作。這些改進工作大部分是圍繞特征融合展開的，而本文也是遵循特征融合這一角度展開分析。

DSOD[19（]Deeply Supervised Object Detector）采取down to top的融合方式，在SSD結構基礎上，對于相鄰的兩個特征圖，將前面的特征圖進行池化（pooling）降采樣，使之與后面的特征圖具有相同的尺寸，然后將池化獲得的特征圖與后面的特征圖級聯在一起，二者各占據一半通道，共同作為目標檢測器的輸入特征。DSOD采取的密集連接的方式，確實可以將大尺寸特征圖所具有的細節信息引入到后面小尺寸的特征圖，但是每一層都采取相同的操作，連接過于密集，并且會向后面的特征圖引入過多的冗余信息，同時增加模型的復雜度。FPN[20（]Feature Pyramid Networks）和FSSD[21（]Feature Fusion Single Shot Multibox Detector）都是采用top to down的融合方式，對于相鄰的兩個特征圖，將高層低分辨率的特征圖進行上采樣，上采樣獲得的特征圖尺寸與底層高分辨的特征圖尺寸一致，然后進行特征融合。二者之間不同的是，FPN 上采樣使用的是插值算法，不會增加模型的參數量，而FSSD 的上采樣使用的是反卷積（deconvolution），deconvolution會額外增加參數量，增加模型的尺寸和復雜度。RSSD[22（]Rainbow-SSD）既采用了down to top 的pooling 融合，又采用了top to down的deconvolution融合，這樣的深度融合方式確實帶來了mAP的提升，提高了小目標的召回率，但付出的代價是增加了模型的體積和復雜度，引入了許多重復的特征信息。

3.2 DFSSD模型結構與分析

為了便于比較DFSSD 模型結構的有效性，本文沒有替換SSD的基礎網絡VGG16。許多改進工作為了提升模型的特征提取能力，將基礎網絡替換為特征提取能力更強的深度殘差網絡，DF-YOLOV3[23]便是將YOLOV3的特征提取網絡替換為深度殘差網絡以提升精度。DFSSD 模型結構如圖2 所示，使用尺寸為38×38、19×19、10×10的特征圖來預測小目標，使用尺寸為5×5、3×3、1×1 的特征圖來預測尺寸較大的目標。當模型的輸入尺寸為300×300 時，38×38 分辨率的特征圖已經丟失了許多底層的細節信息，考慮到模型的效率，這里不增加額外的高分辨率的特征圖預測層。但是為了獲取更多細節信息，將分辨率為75×75 的特征圖通過池化下采樣，分別與 Conv4_3、Conv7、Conv8_2 層特征圖進行融合，同時將Conv8_2、Conv9_2、Conv10_2 通過插值上采樣分別與 Conv4_3、Conv7、Conv8_2 融合。實驗中發現，將75×75 這樣的高分辨率特征圖引入到后面的Conv4_3、Conv7、Conv8_2 層，不僅能夠提升小目標的recall，同時還能夠加速模型的收斂，說明高分辨率特征圖所蘊含的細粒度信息有利于bounding box 的坐標回歸。考慮到Conv9_2、Conv10_2、Conv11_2 層特征圖已經具備較為豐富的語義信息，因此不對它們進行后向融合，只進行前向融合引入細節信息，將Conv7、Conv8_2、Conv9_2 分別與 Conv9_2、Conv10_2、Conv11_2 層特征圖進行融合。所有的融合都采用的是Concatenate的連接方式。與DSOD、FPN、FSSD、RSSD 相比，這樣跨越式的連接，既能實現特征的雙向融合，還不會引入冗余信息。實驗表明，DFSSD 提升了SSD 算法的mAP 以及對小目標的檢測能力，在不增加過多復雜度的情況下，與SSD 其他的改進算法具有相當的性能。具體數據會在實驗部分展示。

圖2 DFSSD300模型結構圖

DFSSD 充分利用前向卷積過程計算得到的特征圖，沒有在SSD 基礎之上另外增加卷積通道，這有效限制了計算量的增加。值得注意的是，在不同層次的特征圖進行級聯以后，使用1×1的卷積核進行卷積可以使不同層次的特征進行融合，同時降低通道數。在1×1卷積之后使用3×3的小卷積核進行卷積，使得不同特征在整個特征空間中得到充分的融合。

3.3 改進的訓練方式

在訓練深度神經網絡時，如果模型過于復雜，或者是數據量太少，都會引起模型的過擬合。過擬合表現為模型在訓練集上的損失低，檢測精度高，但是在測試集上的檢測精度卻遠遠低于訓練集上的精度。如果數據集中小目標較多，或者背景比較復雜，這種現象更為明顯。由于小目標占據的像素點十分少，模型不能提取足夠多的特征來準確檢測小目標，很容易將其判別為背景，或者將某一類目標誤判為另一類。為了提高模型的抗干擾能力和泛化能力，本文提出一種加入噪聲的訓練方式。SSD在訓練階段把與真值框IoU大于0.5的默認框作為正樣本訓練，將置信度損失進行排序，篩選出一部分具有高置信度損失的默認框作為負樣本參與訓練，置信度損失的計算見式（8），保證正負樣本的比例為1∶3。在此基礎上，本算法隨機地加入一些未標記的區域作為負樣本參與訓練（注意這里的未標記區域并非沒有目標，只是目標距離較遠，尺寸很小）。一般情況下，未標記的區域是不參與訓練的。這部分實驗是基于KITTI數據集的，因為KITTI 數據集記錄了許多未標注區域。通過實驗發現，這樣的訓練有利于提升模型的泛化能力，降低誤檢率。

4 實驗

為了驗證本文提出的DFSSD 模型結構的有效性，在PASCAL VOC2007 和KITTI 數據集上分別進行實驗，在同一個數據集上DFSSD 和SSD 采取相同的數據增強策略，不對DFSSD 算法做額外的數據預處理。本文采取的數據增強措施有隨機顏色抖動、隨機裁剪與縮放等。

4.1 評價指標

實驗所采取的評價指標為目標檢測領域標準的評價指標平均精度（Average Precision，AP）和平均精度的均值（mean Average Precision，mAP）。AP 是針對某一種類別而言的，是一種綜合的評價指標，AP值越高表明算法檢測目標的精度和召回率越高，可以根據PR 曲線與坐標軸所包圍的面積近似地計算出來。某一類別的PR 曲線與坐標軸所包圍的面積越大，代表這一類別的AP 值越高。PR 曲線是精度（Prescision）關于召回率（Recall）的曲線。mAP 是所有類別AP 的均值，可以評價一個模型檢測不同類別的整體性能。

其中，tp（true positives）為正樣本被正確地識別為正樣本個數；fp（false positives）為負樣本被錯誤地識別為正樣本個數；fn（false negatives）為正樣本被錯誤地識別為負樣本個數。

本文在計算tp和fp時采用的IoU閾值為0.5，當預測框與真值框的IoU 大于0.5 時即判定為tp，否則判定為fp,Precision和Recall反映的是模型單方面的性能，由Precision和Recall可以畫出圖3所示的PR曲線。

4.2 PASCAL VOC數據集實驗

為了驗證DFSSD 算法的有效性，首先在通用目標檢測數據集PASCAL VOC 上進行實驗，并與其他算法進行比較。遵循大部分研究人員的做法，本部分實驗使用PASCAL VOC2007 trainval+PASCAL VOC2012 trainval 作為訓練集，PASCAL VOC2007 test 作為測試集。PASCAL VOC 數據集中共有20 類目標，其中有些目標樣本數量較少，并且尺寸很小，比如Boat、Bottle、PottedPlant、Chair、TvMonitor。許多算法在這些類別上的平均精度比較低，從而導致算法整體的性能指標mAP也降低。因此，可以通過計算這些類別的AP值來比較DFSSD 算法對小目標的檢測能力，通過mAP 還可以評價算法檢測各類目標的整體性能。

表1 列出了一些比較流行的目標檢測算法和DFSSD算法在VOC2007測試集上的檢測結果。圖3（a）、（b）分別展示的是SSD300 和 DFSSD300 對VOC2007 數據集中五類小目標檢測結果的PR曲線，由PR曲線可以直觀地比較算法的檢測性能。

由表1 中的數據可以看出，DFSSD 在VOC2007 測試集上的mAP 為78.0%，原SSD300 的mAP 為74.3%，DFSSD 在mAP 指標上提升了3.7 個百分點。由表1 中加粗的數據以及圖3（a）、（b）中的PR 曲線對比可知，DFSSD對遠景小目標有較好的檢測能力。

圖3 SSD300與DFSSD300小目標檢測PR曲線圖

表1 PASCAL VOC 2007測試結果 %

圖4（a）和圖4（c）為SSD300的檢測效果，可以看出SSD300對于遮擋或者重疊的小目標漏檢嚴重。圖4（b）和圖4（d）為DFSSD 的檢測效果，對比可以看出DFSSD對小目標的召回率和定位精度更高，且不易出現漏檢和定位不準的問題。

4.3 KITTI數據集實驗

為了證明DFSSD 能夠適應更復雜的自動駕駛場景，本部分實驗在KITTI交通數據集上進行測試。KITTI數據集是在真實的交通場景采集的，數據集覆蓋各種場景和天氣狀況，并且數據集中存在大量重疊遮擋的小目標，這便于驗證DFSSD的有效性。KITTI數據集中共有 8 類目標，分別為 Car、Van、Truck、Pedestrian、Person（sitting）、Cyclist、Tram 和Misc。有些類別在數據集中出現的次數非常少，官方提供的評測腳本也只對其中的3類進行評測。因此，為了方便實驗，并排除樣本類別不均衡的影響，本實驗將數據集中所有車輛合并為1 類，標記為Car，只針對車輛目標進行評估。圖5 為Car 的PR曲線。圖5（a）為SSD300的評測結果，圖5（b）、（c）為DFSSD 算法的評測結果，圖5（b）在訓練時未標記區域不參與訓練，圖5（c）在訓練時隨機加入未標記區域。KITTI 數據集將目標分為簡單、中等、困難3 個級別，困難目標就是嚴重遮擋，在視野中尺寸特別小的目標。由圖5（a）、（b）和（c）的PR曲線可以看出，圖5（b）、（c）中困難目標的PR曲線與坐標軸所圍的面積比圖5（a）中困難目標的PR曲線與坐標軸所圍的面積更大，說明DFSSD算法對困難目標的檢測性能提升更大，也就是對重疊或者小目標檢測能力更強。圖5（c）中困難目標的PR曲線比圖5（b）中困難目標的PR曲線與坐標軸所包圍的面積更大，表明提出的訓練方式能夠提升對困難小目標的檢測能力。

表2 是 Car 類目標的 AP 值，是通過 PR 曲線計算出來的，由AP 值可以對模型性能進行定量分析。由表2可以看出，與SSD相比，DFSSD對簡單目標的檢測性能未有明顯變化，但在困難目標檢測中，DFSSD比SSD的AP 增加了5 個百分點，中等困難目標的AP 也增加了2個百分點。

圖4 困難樣例檢測結果對比圖

圖5 Car類PR曲線對比圖

表2 Car類目標AP %

圖6是從KITTI數據集中挑選出來的具有代表性的困難樣本，圖片中的車輛或者是大量重疊在一起，或者是呈現在視野遠處，尺寸較小。圖6左側一列為SSD300檢測結果，右側一列為DFSSD 算法檢測結果。通過兩列檢測結果可以直觀地看出DFSSD對困難目標的檢測性能較好，很少有漏檢的現象。主要是因為DFSSD 算法能夠在下采樣的過程中較為完整地保留目標的細節信息，能夠充分合理地利用卷積過程所提取出來的各種尺寸的特征圖，使得卷積神經網絡不同層次所蘊含的信息能夠得到充分地融合，從而抽象出較為魯棒的特征作為目標檢測器的輸入。

4.4 模型精度與效率分析

本文實驗平臺為Ubuntu16.04，GPU 1080，深度學習框架KERAS。實驗測試幀頻FPS 時，batch size 統一設為 1。由表3 可知，DFSSD 算法比經典 SSD300 的mAP提高了約4個百分點，尤其是對小目標的檢測能力提升明顯。這得益于選取合理的特征圖作為檢測器的輸入，同時對這些特征進行高效的融合，最大程度地保留目標的細節和語義信息。本文實驗SSD300的FPS為25，DFSSD 算法的 FPS 為 24，在提高精度的同時，DFSSD 還能保證運行效率不被降低，仍然可以達到實時檢測的要求。這主要是因為DFSSD在進行上采樣時直接采用插值算法，沒有使用FSSD、RSSD和DSSD[25]算法中deconvolution上采樣方式，所以沒有引入額外的參數和一些重復的計算。

表3 VOC2007 test上模型精度與效率對比

5 訓練損失與細節

本文DFSSD算法特征提取網絡部分的參數是利用預訓練模型進行初始化的，其他層的權重則是采用隨機初始化。算法采用的是Adam優化器，batch size設置為24，如果顯存足夠大，還可以適當增大batch size來穩定梯度。為了不使模型發散，開始的兩輪設置一個較小的學習率0.000 01，第三輪開始調整學習率為0.001，加快模型收斂。分別在第30輪和第80輪將學習率縮小為前一輪的1/10，由圖7（a）可以看出，在第80輪降低學習率時，模型進一步收斂。因為KITTI 數據樣本較少，所以在第20輪和第40輪時降低學習率，由圖7（b）可以看出，模型在第50輪時基本上已經收斂。由圖7（a）和圖7（b）中的訓練損失曲線和驗證損失曲線持續下降的趨勢可以看出，模型在整個訓練過程中未發散，也未出現過擬合現象，從而說明了DFSSD模型結構的有效性。

圖6 Car類困難樣例檢測結果對比圖

圖7 損失曲線圖

6 結束語

針對原SSD 算法對困難小目標檢測能力不足的問題，本文分析其原因，并提出了一種新的特征融合方式，以提高對困難目標的檢測能力，同時還能保證模型的檢測效率。為了提高模型對困難目標的泛化能力，本文還引入一種新的訓練方式，讓未標記的但含有目標的區域隨機地參與訓練。通過實驗證明，本文提出的方法能夠有效提升SSD 算法對困難目標的檢測能力。未來進一步的研究重點是改進特征提取網絡，提升特征表達能力，降低參數和計算量，以保證模型有更高的精度和實時性，在應用到自動駕駛系統時，能夠為其他系統模塊節約算力。