面向多目標圖像檢測的輕量級SSD 網絡*

羅斌強 段先華 潘 慧

（江蘇科技大學計算機學院 鎮江 212100）

1 引言

當今社會，數字圖像作為重要的通信載體，如何在有效減少人力資源消耗的情況下，從海量信息中提取關鍵因素已成為人們關注的焦點。在特殊的場景檢測任務中，準確地檢測和識別圖像目標變得越來越重要，不僅是簡單的對象檢測和分類，而是希望可以從信息中提取相應的位置目標和目標區域，進而利用這些重要信息。隨著目前計算機計算能力的不斷提高和網絡共享資源的不斷積累，基于深度學習的目標檢測方法逐步應用于各大領域，為目標檢測技術開辟了一條新途徑。

由于一系列卷積神經網絡深層架構，如AlexNet［1］、VGGNet［2］、GoogLeNet［3］、ResNet［4］等的提出，目標檢測與識別在計算機視覺任務的相關研究上取得了豐富的成果。這些網絡模型雖然性能強大，檢測精度更優，但是網絡體積越來越大，結構越來越復雜，在預測和訓練的時候對硬件資源的要求也逐步增多，往往需要更高計算力的服務器來運行深度學習神經網絡模型。目前，極大多數這些基于深度學習的目標檢測算法都在GPU 上實現的，但是其在實際應用環境中的應用存在這一定程度上的困難。因此，盡可能多地減少計算量、保證準確率是實際應用中迫切需要解決的問題，這正需要是輕量級的模型來實現。

近些年來，深度神經網絡模型在圖像分類、物體檢測等機器視覺任務中被廣泛應用，并取得了巨大成功。關于輕量化網絡設計，Fran?ois Chollet 提出了一種受Inception 啟發的新穎的深度卷積神經網絡體系結構，并證明了這種被稱為Xception［5］的體系結構在ImageNet 數據集上的性能稍好于Inception V3。Andrew G. Howard 提出的一種稱為MobileNets［6］的有效模型適用于移動和嵌入式視覺應用。該體系結構使用了極致深度可分離卷積來構建較輕的深度神經網絡。Xiangyu Zhang 介紹了一種計算效率極高的CNN 體系結構，稱為ShuffleNet［7］。該體系結構利用了兩個新的操作，逐點組卷積和通道混洗，可以在保持準確性的同時大大降低計算成本。

原始的SSD［8］的檢測性能相對較好，使用端到端一階段多尺度檢測算法，相較其他同期模型具有較高的檢測精度。但SSD 算法在網絡搭建時使用了大量的卷積層用于基礎特征提取，因此網絡過于臃腫龐大、計算量大、效率較低，難以滿足實際應用的需要。本文主要是對原始的SSD 網絡進行了輕量化網絡模型的設計，提出了一種輕量級SSD網絡模型SL-SSD，首先使用輕量級特征提取網絡ShuffleNet 替換了SSD 網絡的VGG-16 模塊；接著并行使用小、中、大三種尺度的空洞卷積特征提取方式，對原始SSD網絡的附加特征提取模塊進行改進，減少了網絡復雜度的同時還實現了參數共享，提高了對小目標檢測精度。實驗結果表明，本文使用的輕量級SSD 卷積神經網絡算法在檢測與識別精度下降不大的前提下，降低了模型復雜程度。

2 SSD目標檢測網絡

原始的SSD 網絡主要包括兩部分：一部分是用于初步提取特征的基礎網絡，采用VGG-16 網絡模型，其中FC6 和FC7 轉換為卷積層；另一部分是在基礎網絡后添加的多個附加卷積層，并且卷積層的大小逐層遞減，用于提取不同尺度的卷積特征圖。接著，在不同尺度特征圖中可能存在的目標進行預測，通過候選框機制生成一組不同寬高比的默認框，再對目標對象的位置偏移量和類別置信度進行回歸得到預測結果。圖1 顯示了原始SSD 網絡結構。

圖1 SSD網絡結構圖

原始SSD 網絡的核心之一就是利用了特征金字塔結構，其在conv4-3，conv-7（FC7），conv6-2，conv7-2，conv8_2，conv9_2 這6 層大小不同的特征層上做預測，同時進行softmax 分類和邊框回歸。預測時該網絡需要在每層特征圖生成一系列默認框。假設使用第m層特征圖做目標預測，每層特征圖中的默認框尺寸大小計算如式（1）：

其中默認設置smin=0.2，smax=0.95，即默認框的尺度最小為0.2，最大為0.95，再通過不同的橫縱比aspect_ratio在每層特征圖上生成多比例默認框。因此，每個默認框的寬和高可以通過式（2）計算：

當aspect_ratio=1 時，還添加了的正方形默認框。

假設第m層特征圖大小為m×n，特征圖每個特征點為中心生成a 個默認框，每個框需要預測出c個類別以及四個位置坐標，即會產生（c+4）×a×m×n個輸出結果。由于SSD采用m=6層網絡生成默認框，這6 個特征層產生的特征圖的大小分別為38×38、19×19、10×10、5×5、3×3、1×1，每層特征圖取ar=[[2]，[2，3]，[2，3]，[2，3]，[2]，[2]]。每個m×n大小的特征圖中有m×n個中心點，每個中心點產生k個默認框，六層中每層的每個中心點產生的k分別為4、6、6、6、4、4。所以6 層中的每層取一個特征圖共產生38×38×4+19×19×6+10×10×6+5×5×6+3×3×4+1×1×4=8732個默認框。

3 SL-SSD目標檢測網絡

3.1 SL-SSD網絡架構

該文將原始SSD 網絡剖析為四個模塊：輸入、基礎網絡VGG-16 模塊、附加特征網絡模塊和輸出。文章主要對基礎網絡VGG-16 模塊和附加特征網絡模塊進行優化，輕量級SL-SSD 網絡模型整體架構，如圖2所示。

圖2 SL-SSD網絡結構圖

由圖可知，針對于基礎網絡模塊，該文使用了輕量級ShuffleNet 網絡替換了原始SSD 的VGG-16網絡，沒有大幅度的卷積操作，使用ResNet、深度可分離卷積以及通道重新的方式。另外針對于附加特征網絡模塊，該文采用一種并行多分支多尺度的方式對基礎網絡進一步的進行提取，三個并行的通道網絡結構是完全一樣的，只是每層卷積層的卷積核采取的是空洞卷積，膨脹率分別為［1，2，3］，用于解析大中小三種不同的物體，實現了三分支之間的參數共享，進一步減少了網絡的計算力。

完整的輕量級SL-SSD網絡模型各網絡層參數如表1所示，輸入圖像大小為224×224，經過一個卷積層+MaxPool，然后通過10個分組3通道Shuffle單元模塊，接著通過6 個Parallel 單元模塊，最后將提取出來的特征進行非極大值抑制回歸分類。

表1 輕量級SSD網絡層參數表

3.2 Shufflenet模塊

由于原始SSD 網絡的VGG-16 模塊計算復雜度過于龐大，該文將采取輕量級SuffleNet網絡替換原來VGG-16 網絡。在原始的模型中，VGG-16 網絡采用的是標準卷積方式，對輸入特征的所有通道進行卷積計算，然而計算代價過大，不適合小型網絡。為了解決該問題，相較簡單的方式是對標準卷積之間采取通道稀疏的連接方式，而ShuffleNet 網絡結構恰是沿襲了稀疏連接的設計理念。ShuffleNet 網絡受ResNeXt 的啟發，通過將卷積運算的輸入限制在每個組內，模型的計算力取得了顯著的下降。接著，在使用分組逐點卷積的同時，引入了組間信息交換的機制，每個卷積核需要同時接收各組的特征作為輸入。最后，通過通道重排來實現這一機制。

假設網絡輸入維度是c×h×w，卷積層通道數為m，該結構單元計算量為hw(2cm+9m2)FLOP，而經過ShuffleNet 輕量化后，計算量僅為hw(2cm/g+9m)FLOP，其中g為分組個數，默認為3 組。所以，對于網絡計算力預算低的情況，ShuffleNet可以減輕網絡運算壓力。

ShuffeNet 網絡模塊模型主要由10 個分組3 通道的ShuffleNet 結構單元堆疊而成，分屬網絡的兩個Shuffle階段，每經過一個Shuffle階段特征圖的空間尺寸減半，而通道數翻倍。單個ShuffleNet 結構單元如圖3 所示，ShuffleNet 結構單元采用逐點分組卷積，將多層卷積堆疊操作的輸入限制在每個組內，使得不同分組的輸入在分組卷積中交疊，輸入和輸出之間相關聯。其中逐點分組卷積就是3×3深度可分離卷積，其結構單元如圖4 所示，接著進行通道混合，與批歸一化BN 層和修正線性單元ReLU 激活函數組成基本單元，最后采用深度殘差塊進一步提高網絡模型的效率。

圖3 ShuffleNet結構單元

圖4 深度可分離卷積

3.3 并行多分支多尺度網絡模塊

在原始的SSD 目標檢測算法的附加特征模塊中，多尺度特征圖的檢測方法是對38×38，19×19，10×10，5×5，3×3，1×1這6個不同尺度的特征圖進行預測分類。這種方式預測分類卷積層過于復雜暴力，并且隨著網絡層次的提升對感受野越小的目標檢測結果不夠準確。

為了更好地優化和裁剪網絡，該文使用了一種并行多分支多尺度空洞卷積模塊替換了原始SSD網絡的附加特征提取模塊，其原理如圖5 所示，先將特征網絡的輸出特征圖像作為輸入，然后通過三個并行卷積分支進行附加特征提取。并行卷積模塊單元如圖6 所示，每個分支都具有相同的卷積結構，并行的分支實現了卷積層的參數共享，但膨脹率不同。

圖5 并行多分支多尺度網絡模型

圖6 并行多分支多尺度網絡結構單元

每一分支的卷積核數值是一致的，只是膨脹率不同。具有膨脹率d的空洞卷積核過濾器值之間插入d-1 連續的零，不增加參數數量和計算。具體來說，空洞的3×3 卷積核可以與普通卷積核具有相同的接受場，內核大小為3+2(d-1)。假設總步幅為當前特征圖是s，那么膨脹率d可以增加網絡的接受域2(d-1)s。因此，如果我們用d膨脹率修改n個卷積層，那么模塊接收速率可以增加2(d-1)sn。這種方式能用較少的參數，處理更大感受野的目標。

并行多分支多尺度網絡在原始的神經網絡模型上做了以下變化：一方面是采用空洞卷積核的概念，構造了不同感受野的并行多分枝通道，這樣可以讓大的感受野對大目標檢測效果很好，小目標檢測則對應小的感受野，減輕了SSD對小目標檢測難的問題；另一方面，因為每個通道結構是相識的，所以并行網絡模塊中每一個通道的權重是共享的，這樣減少了大量的計算量，使模型變得輕量化。

4 實驗結果與分析

4.1 數據來源

本文在PASCAL VOC2007 和VOC2012 這兩個公共數據集的合集上進行實驗，數據集分為訓練數據、驗證和測試數據，它們均包括船、椅子、馬和人等20 個目標類別。對于數據集中，不同類別的待檢測目標，網絡模型與參數設置是相同的。本文使用VOC 2007和VOC 2012訓練測試數據集的16551張圖像作為訓練數據，使用VOC 2007 測試集的4952張圖片進行驗證。

4.2 實驗環境與參數初始化

實驗平臺為英特爾Core（TM）i9-7900X CPU@ 3.30GHz 20 核處理，32GB 內存，Nvidia GeForce RTX 1080 顯 卡。SL-SSD 網 絡 在Ubuntu16.04 系 統下，基于深度學習框架TensorFlow 下實驗運行。輸入圖片尺寸為224×224，batchsize 設置為32，初始學習率為0.001，權重更新方式為SGD。

4.3 模型評估指標

本實驗針對VOC 數據集進行檢測，具體的評價標準分別為單類精確率P、平均精度mAP 和召回率R，如式（3）、（4）和（5）所示。

上式中，TP表示被模型預測的真正類，FP表示模型將負例錯誤分類為正例，FN表示模型將正例錯誤分類為負類，N表示檢測的類別數。

為了更好地評判模型運算的復雜度，本文使用FLOPs 進行評判。FLOPs 可理解為計算量，是用來衡量算法或者模型的復雜度，可以看成FLOPs在時間上的積分，區別類似速度和時間。其中MFLOPs表示1×106的FLOPs。對于標準卷積層和深度可分離卷積來說，FLOPs計算公式分別，如式（6）、（7）所示：

其中，HW是輸出特征圖的大小，Cin是輸入通道數，K2是卷積核大小，bias為偏差，Cout是輸出通道數。

4.4 模型損失分析

為了驗證輕量級SL-SSD 的網絡自身收斂情況，本文網絡采用預測模型結構進行實驗，圖7 顯示該卷積模型在訓練和驗證集收斂所呈現的結果，實驗采用數據集使用PSCAL VOC07+12 的訓練集和驗證集數據集，其中train 為訓練集，val 為驗證集，橫坐標為迭代次數。

圖7 損失對比曲線圖

從圖中可以得知，SL-SSD 網絡的loss 值在其過程中逐漸降低的變化，其變化趨勢幅度由較大漸變為較為緩慢。該模型在訓練策略迭代兩萬次之后，所達到趨于平穩狀態下的網絡模型狀態結果，損失也將近達到0.13 左右。模型收斂效果較為理想，模型表現出了較為穩定的性質。

4.5 不同大小目標分析

表2 顯示了不同大小目標召回率情況。在VOC2007 測試集總共有12032 個對象，其中567 個是小物件。當檢測大型目標時，SL-SSD 網絡略遜色于SSD 網絡，但在召回率層面上仍有良好表現；當檢測中型目標時，SL-SSD 網絡比SSD 網絡友好一點；當檢測小型目標時，SL-SSD 網絡比較優秀，召回率比SSD 網絡高了0.05點，對小目標的檢測更精確。

表2 不同大小目標的召回率

4.6 結果分析

為了更加直觀地評價所提算法，圖8 給出了PASCAL VOC07+12 數據集上的實驗結果示例對比。圖中第一行為原始的SSD網絡結果圖示例，第二行為SL-SSD網絡的結果圖示例。針對小目標的檢測，輕量級SSD算法在一定程度上改善了小目標檢測難問題，但是仍然沒有檢測出全部目標。針對精度的問題，SL-SSD 網絡雖然精度略低于原始的SSD 網絡，但也能在精度損失不大的情況下檢測出目標。從以上兩個角度來看，SL-SSD 網絡的檢測與識別性能也有不錯的表現。

圖8 實驗結果對比圖

4.7 與其他網絡對比分析

為了更好地展現所使用的輕量級算法，我們與近幾年的主流目標檢測算法進行對比，實驗數據引自對應的參考文獻，并采用平均精度均值mAP 和計算力浮點運算數MFLOPs 作為算法精度和運算復雜度的客觀評價指標。如表3 所示，表中前5 個傳統目標檢測算法平均檢測精度比較高，但其模型的復雜化度達到上億級別的；而表后5 個流行的輕量級網絡，在計算力和平均識別精度中做了很好的平衡；該文所用的輕量級SL-SSD算法，在精度上相較于原始傳統的SSD 算法下降了6.6%，但是模型復雜度壓縮了230 多倍，和近年較為優秀的輕量級目標檢測算法相比，精度上相差無幾，但在模型復雜度計算力MFLOPs上表現更為優秀。

表3 不同網絡在VOC07+12數據集上的定量比較

4.8 與輕量級網絡對比分析

輕量級SL-SSD 網絡在VOC07+12 數據集上與近些年輕量級網絡對比，如表4 所示。在保證輸入框一致都是224×224 的情況下，SL-SSD 網絡相比其他輕量級網絡在僅犧牲了0.1%的平均檢測精度mAP 下，模型的計算復雜度都有明顯的降低，大約下降了6MFLOPs。

表4 輕量級網絡對比

5 結語

伴隨著移動互聯網的發展和5G 時代的到來，一再關注神經網絡模型的深度和復雜已經不能滿足企業的需求，高效、高性能的輕量級神經網絡逐漸成為人工智能領域關注的熱點。輕量級SL-SSD目標檢測方法滿足企業的需求。SL-SSD 網絡將輕量級卷積神經網絡ShuffleNet 替換了VGG-16 模塊；接著并行使用小、中、大三種尺度的空洞卷積特征提取方式，對原始SSD網絡的附加特征提取模塊進行改進。改進后的網絡平均檢測精度有所下降，但計算復雜度減少了，對小目標檢測精度提高了。因此，在下一步工作中，主要是在保證計算復雜度幾乎不變的情況下，從網絡結構和層次上提升網絡對目標的平均檢測精度。