基于SSD的行人頭部檢測方法

李 歡，陳先橋，施 輝，楊 英，龔 

(1.武漢理工大學 計算機科學與技術學院，湖北 武漢 430063；2.武漢理工大學 交通物聯網技術湖北省重點實驗室，湖北 武漢 430063；3.交通運輸部 水運科學研究院 電控信通中心 通導室，北京 100088)

0 引 言

行人檢測是計算機視覺中的一個重要研究方向，在人群密集遮擋嚴重場景檢測效果差強人意，于是行人頭部檢測方法應運而生，監控視頻中的人群計數被認為是頭部檢測最重要的應用之一。行人檢測方法主要分為兩大類[1]：一是基于背景建模方法，提取前景運動目標；二是基于統計學習的方法，利用大量樣本建立分類器。

當前，學術界關于行人檢測的方法有很多。Tian等[2]構造了身體的部分池，利用深度學習對身體的每個部分進行訓練，使用互補的部分檢測器推斷行人全身得分，通過局部檢測提升行人遮擋時的檢測精度。文獻[3]基于Faster R-CNN網絡構建了滿足實時性要求的人頭檢測網絡。文獻[4]使用兩個邊框來標記完整行人和行人的可見部分，訓練行人檢測和遮擋估計兩個分支網絡完成對嚴重遮擋情況下的行人檢測。文獻[5]利用ZF網絡原型對行人頭部建模，融合空間金字塔池化層來進行人頭檢測，該方法實時性不高。文獻[6]融合了Fast RCNN和Faster R-CNN 模型來獲取目標框，然后通過幀間融合來提高檢測率。文獻[7]通過頭肩部梯度特征構成頭肩部檢測器來獲取行人候選區，在候選區執行行人檢測過程。目前行人檢測算法存在定位偏差和背景干擾問題，最先進的行人檢測算法與人工檢測差10%[8]。

在實際應用中行人檢測面臨著諸多的挑戰，人群密集相互遮擋、光照變化等因素都會使行人個體無法準確分割[9]，從而降低了檢測精度，SSD(single shot multibox detector)算法[10]被Liu等提出，在物體檢測精度和速度上取得了較好的效果，但其對小目標的檢測效果不佳，本文針對行人頭部檢測提出一種改進SSD的人頭檢測方法。

1 方 法

SSD使用的先驗框都是基于現有常見物體檢測數據集上提煉出來的，并不適用于特定的行人頭部數據集，另外行人頭部屬于較小目標，因此本文對SSD先驗框的設計進行了改進，以適應于特定的行人頭部檢測，同時對SSD網絡結構進行了調整以適應小目標的檢測。

1.1 SSD網絡目標特征提取

SSD目標檢測算法是多框預測one-stage方法，在精確率和速度上都比較好，SSD核心設計思想[10]：提取多尺度特征圖進行檢測，利用大尺度特征圖檢測小物體，小尺度特征圖檢測大物體；采用CNN直接進行檢測；采用不同尺度和長寬比的先驗框。

SSD300網絡由兩部分組成，在前一部分中用了VGG16前5層網絡，并將pool5由2×2-S2變成3×3-S1，在后一部分中將VGG16的全連接層fc6和fc7轉換成 3×3 卷積層Conv6和1×1卷積層Conv7，并新增一系列卷積層以獲得更多的特征圖，總共11層。圖1為SSD300網絡的卷積層結構。SSD300網絡使用6層特征圖用于檢測和分類，分別是Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2卷積層。

圖1 SSD300網絡的卷積層

SSD300網絡各卷積層的輸入、輸出、卷積核大小和數量見表1，每個卷積層后都有一個Relu激活函數層處理輸出結果。

SSD300通過不同尺度的特征層檢測圖像中不同大小的目標，實現多尺度目標檢測。一般來說，特征層越低，保留的圖像細節越多，特征層越高，特征圖越抽象，即在低層特征圖檢測小目標，在高層特征圖檢測大目標。本文中要對人頭進行檢測，人頭相對來說屬于小目標，文中只用到了SSD300網絡的前8層，后面3層由于輸出太小，圖像過于抽象，圖像中的其它特征可能將人頭特征掩蓋了，所以舍棄了后3層，Conv4_3、Conv7和Conv8_2用于人頭的檢測分類和定位。不同視角的行人頭部示例如圖2所示。

表1 SSD300卷積層

圖2 不同視角的行人頭部示例

1.2 基于統計的先驗框設計

1.3 改進的SSD人頭檢測網絡設計

隨著卷積層數的加深，特征圖的平移不變性增強，平移敏感性減弱，即高層特征圖更加抽象，語義性強[11]。分類任務要求特征具有良好的平移不變性，定位任務要求特征具有良好的平移敏感性，由此看出分類和定位任務在現有的特征圖上是有局限性的，因此，本文提出了一種類別預測和位置預測特征分離的SSD人頭檢測網絡，類別預測使用上采樣融合較高層級特征的特征圖，位置預測使用下采樣融合較低層級特征的特征圖。通過在不同的特征圖上進行類別和位置預測，網絡可以自適應地學習不同任務對特征的要求，從而提高預測精度。

最近兩年有一些人也對SSD的小尺度目標檢測效果不佳做出了改進，FSSD(feature-fused SSD)使用Conv5_3層特征圖來增強Conv4_3層的語義信息[12]，在很少損失速度的同時加強對小目標的檢測。DSSD(deconvolutional SSD)[13]使用ResNet代替VGGNet，網絡后端增加多個反卷積層擴展低維度層的上下文信息，將原特征層與反卷積層結合做預測，DSSD的檢測速度相比SSD慢了很多，以犧牲檢測速度來提高精度。CSSD(context-aware SSD)[14]使用原SSD特征層與下采樣擴張卷積層和上采樣反卷積層相結合作為預測的特征層，對小物體檢測在MS-COCO上相比于SSD提升了3.2%AP。SSD、FSSD、DSSD和CSSD的類別和位置預測都是在相同的特征圖上，本文考慮到兩個預測任務對特征要求的不同，針對人頭檢測提出了類別預測和位置預測特征分離的SSD人頭檢測網絡，在既保證小尺度目標類別預測精度的同時又能夠提升位置預測的準確性。

由于本文是對人頭進行檢測，屬于較小目標檢測，所以去掉原始SSD300網絡上的后3層，使用Conv4_3、Conv7、Conv8_2層特征圖來進行多尺度檢測，并在原來網絡結構上添加了類別和位置預測兩個旁支網絡，用來生成兩個預測所需的特征圖，在一定程度上實現了特征分離，分別在新的特征圖上進行卷積得到類別預測和位置預測結果，綜合兩個預測結果，得到最終結果。改進后的SSD人頭檢測網絡(SSD-Head)結構如圖3所示。

圖3 SSD人頭檢測網絡結構

如圖3所示，由高層特征圖進行雙線性插值上采樣并標準化后與原始特征圖標準化后拼接融合，對融合特征圖使用一個1×1的卷積層進行降維作為特征重組，對降維后的特征圖使用一個3×3的卷積層學習融合后的特征形成新的類別預測所需特征圖。類別預測所需特征圖為圖3中Conv4_3_c、fc7_c和Conv8_2_c，Conv4_3_c由Conv4_3_conf進行降維后通過3×3的卷積得到，Conv4_3_conf由原始Conv4_3標準化后與Conv5_3雙線性上采樣并標準化后拼接組成。

常見的下采樣(subsampled)操作包括池化(pooling)和空洞卷積(dilated convolution)兩種。池化過程[15]可能會影響網絡的準確度，丟失位置細節信息，空洞卷積在降低圖像尺寸的同時增大感受野，從而獲得更多全局信息，所以本文選用的下采樣是空洞卷積，空洞因子為2，卷積核大小為3×3，步長為2。位置預測的特征圖為圖3中的Conv4_3_l、fc7_l和Conv8_2_l。Conv4_3_l、fc7_l、Conv8_2_l特征圖分別由Conv4_3_loc、fc7_loc、Conv8_2_loc經過3×3的卷積得到。Conv4_3_loc由Conv3_3進行空洞卷積后標準化與Conv4_3標準化拼接組成。

2 訓 練

本文的數據集包括從Caltech、CityPerson、TUD、Pascal VOC 2007/2012數據庫和攝像機拍攝的監控視頻中獲取的圖片，截取圖片中不同視角的行人頭頸部作為訓練的正樣本。共有14 769張樣本圖片，分為3個樣本集，訓練集包含10 769張圖片，驗證集包含2000張圖片，測試集包含2000張圖片。每張圖片都要經過裁剪、縮放、歸一化的預處理變成300×300的大小。訓練環境為Ubuntu16.04，Caffe，CPU版本為Intel Core i7-8700K，GPU版本為NVDIA GEFORCE GTX-1080 Ti，內存為32G。

3 實驗及結果

輸入一張圖片，經過多個卷積層提取特征，進行多尺度特征圖檢測輸出結果，使用卷積特征可視化技術可以展示卷積網絡的中間層特征圖，圖4展示了SSD-Head網絡中Conv1_2層與Conv4_3層的部分可視化特征圖，從圖4可以看出，低層特征圖維度高包含更多的細節和定位信息，高層特征圖維度低包含豐富的語義信息。

圖4 SSD-Head不同層級卷積特征可視化

FSSD、DSSD、CSSD和本文方法都是針對SSD的小目標檢測問題進行改進，因此本文針對SSD及其改進方法FSSD、DSSD、CSSD與我們的SSD-Head人頭檢測進行了對比實驗，SSD、FSSD、DSSD、CSSD與SSD-Head訓練、驗證和測試的樣本集是相同的。SSD算法是針對行人整體進行檢測，FSSD、DSSD、CSSD和SSD-Head只檢測人頭部分，SSD-Head人頭檢測網絡在類別檢測和位置檢測特征分離的基礎上，進行針對性的特征融合，類別檢測特征圖進行上采樣特征融合，位置檢測特征圖進行下采樣特征融合，以此來改善不同檢測任務的特征圖質量。SSD、FSSD、DSSD、CSSD與本文SSD-Head使用SSD原本的先驗框設計，對相同的2000張測試集圖片進行檢測，檢測的精度和速度見表2。

表2 各網絡檢測結果對比

表3 SSD-Head使用不同尺度先驗框結果對比

從表2和表3可以看出，改進后針對人頭進行檢測的SSD網絡在準確率上有所提升，相比于原本的SSD在準確率上提升了7.5%，相比于目前檢測精度最高的DSSD提升了0.1%，但是DSSD的檢測速度比較慢，而本文的方法檢測速度還是比較高的，SSD-Head的運行速度相比于SSD有所降低，但是也滿足實時性的要求。在人頭的檢測過程中仍存在少量虛假和漏檢目標，多是由于形狀與人頭相似或行人遮擋過于嚴重難以辨識。圖5為SSD與本文SSD-Head的檢測效果對比。

圖5 SSD與SSD-Head檢測結果對比

4 結束語

為了解決行人遮擋檢測問題，本文設計了預測特征分離的SSD人頭檢測網絡(SSD-Head)，類別預測使用雙線性上采樣融合后的特征圖，位置預測的特征圖使用空洞卷積進行下采樣融合。同時，針對原始SSD先驗框尺度不適用于人頭目標的問題，采用K-means++方法對人頭檢測目標框聚類，得到適合人頭檢測數據的先驗框比例，設計不同預測層對應的先驗框尺度，來提升行人頭部檢測的準確率。改進后的網絡模型在行人檢測應用中能夠滿足實時性和準確性要求。