基于改進SSD安全頭盔反光衣檢測算法

韓澤佳，肖秦琨，張立旗

（西安工業大學 兵器科學與技術學院，西安710016）

眾所周知，監控系統對工地的安全至關重要，在過去的十幾年里，一部分人工智能技術，如計算機視覺和機器學習，已經迅速應用到工地的智能監控當中[1]。實現對工人安全頭盔反光衣實時檢測是關系到工人安全的一項重要任務，同時有利于實現無人值守降低人工成本。因此，能夠實現自動檢測工人是否穿戴安全頭盔反光衣具有重要意義。

自2014年Grishick 等提出的R-CNN 算法后，深度學習算法開始在目標檢測領域占據了主導地位[2]。目前基于深度學習模型的目標檢測算法主要分為兩類：一類是兩階段算法。這類算法的典型代表是Fast-R-CNN[3]，Faster-R-CNN[4]等基于區域提議系列。與傳統的檢測算法相比，這種算法大大提高了檢測精度，但使用分段檢測算法導致檢測速度變慢，不能滿足實時性要求，是這種算法的最大缺陷；另一類是一階段檢測算法，通常以YOLO[5]和SSD[6]算法為代表。這種算法不需要生成候選區域，而是直接生成物體的類別概率和位置坐標，這種算法能滿足實時檢測的要求但是精度不如兩階段算法。

文獻[7]通過在YOLOv3 中引入通道注意力機制和改進損失函數的方法對YOLOv3 進行改進，使檢測更加精準有效；文獻[8]在SSD 算法的基礎上通過使用表征能力更強的殘差網絡作為特征提取網絡，然后再通過特征融合的方式提高目標檢測精度；文獻[9]通過調整原SSD 檢測框架的參數并添加自注意力模塊來提高對安全帽佩戴的檢測。而上述方法沒有針對檢測安全帽和反光衣提出合理的改進方案，因此，本文主要研究了在SSD 算法的基礎上提出改進，實現對安全帽反光衣的實時高效檢測。

本文針對原SSD 算法檢測精度不高問題做出以下改進：①改進SSD 模型的特征提取網絡，原始的VGG16 模型被部分ResNet50[10]取代，克服了VGG 網絡深化導致的網絡退化問題，提高網絡檢測精度。②同時針對網絡模型高層卷積核幾何變換能力低的問題，在最高層卷積層Conv_11 中添加可形變卷積模塊，使高層卷積核的采樣點位置根據圖像內容自適應變化，以適應形狀、大小等不同目標的幾何變形用來提高檢測精度。

1 SSD 基本網絡結構

SSD 于2016年問世，是單階段檢測算法中比較經典的算法，因其不錯的檢測結果和能達到實時檢測的速度廣泛應用于工程實踐中，SSD 整體結構如圖1所示。

圖1 SSD 算法原理圖Fig.1 SSD algorithm schematic diagram

從圖1可知，SSD 網絡結構和算法流程大致可以分為兩個部分：基礎網絡VGG-16 和額外功能層，其中對原始VGG-16 做出修改，保留前5 層卷積層，同時將全連接層FC6 替換為3×3×1024 的卷積，即Conv6，全連接層FC7 替換為1×1×1024 的卷積，即Conv7，并在Conv7 后面添加了4 個卷積層Conv8～Conv11 部分均為兩個尺寸，分別為3×3 和1×1 的卷積層構成的卷積模塊。

2 改進SSD 結構

2.1 改進特征提取網絡

通過實驗發現，深層網絡存在退化問題，隨著VGG16 網絡深度的增加，網絡精度出現飽和度下降的問題，之所以選擇ResNet50 是因為當feature map 的大小減半時，其數量會在同一時間能翻倍，從而保持了網絡的復雜性。這樣就可以解決網絡深度增加時的精度下降問題。為了提高特征學習效果和檢測精度，采用ResNet50 作為特征提取網絡，但并不是完整的使用了ResNet50 層結構，在這里使用的是Conv1～Conv4 所對應的一系列殘差結構，將后面的殘差結構舍棄掉，同時使用殘差結構的Conv4_1作為第一個feature map 進行輸出。殘差塊結構如圖2所示。

圖2 殘差結構Fig.2 Residual structure

下面表達式中，其中σ 代表非線性函數ReLu[11]：

然后通過一個恒等式和第2 個ReLu 函數，得到輸出y 為

對于一個或者幾個堆成的結構，當輸入為x 時，它的學習的特征是H（x），wi為權值系數，為實現殘差結構的恒等映射，可以通過H（x）-x 趨近于0，使H（x）逼近于x。在這里對殘差結構進行修改，修改后的殘差結構如圖3所示，將Conv_4 的Block1 中的3×3 的卷積核和捷徑上的1×1 的卷積核Stride=2 修改為Stride=1。

圖3 修改后的殘差結構Fig.3 Modified residual structure

修改后帶來的變化是，當特征矩陣經過Conv_3所對應的一系列殘差結構之后輸出的特征矩陣是38×38×512，通過修改后的步距特征矩陣輸出是38×38×1024，修改后的殘差層所對應的卷積核大小個數和輸出特征矩陣的大小如表1所示，調整后的步距只對高和寬產生影響，不會對深度產生影響。

表1 修改后的殘差卷積層輸出結果Tab.1 Output results of modified residual convolution layer

2.2 引入可形變卷積

圖像的高層特征語義信息比較豐富，然而對目標位置的預測比較粗略，為了提升SSD 算法對目標位置的預測來提高檢測精度，引入可形變卷積[12]，可形變卷積網絡本質上是對傳統平方卷積的一種改進，傳統的平方卷積使用規則的格點采樣，使得網絡難以適應幾何形變。卷積的采樣方式如圖4所示，其中圖4（a）為正常卷積采樣的方式，圖4（b），圖4（c）和圖4（d）為可形變卷積在正常的采樣坐標上加了一個位置偏移量，其中圖4（c）和圖4（d）展示了可形變卷積可以做尺度變換和旋轉變換。

圖4 卷積采樣方式Fig.4 Convolution sampling method

這個模塊很輕，它為偏移學習增加了少量的參數和計算同時很容易利用神經網絡中的反向傳播進行端到端的訓練提高檢測精度，從公式的角度來看，傳統的卷積定義為

式中：Pn代表卷積網格中的任意一個像素；P0代表輸出特征圖y 上的一個位置；w 代表卷積核的權重；R 代表一個膨脹系數為1 的標準3×3 卷積核。

可形變卷積定義為

式中：ΔPn代表部分網絡結構中的一些像素的偏移，由于偏移量ΔPn通常不是整數而是小數，非整數的坐標是無法在圖像這種離散數據上使用，所以使用了雙線性插值法[13]對ΔPn進行取整操作，公式為

式中：p 代表任意像素的位置；p 代表公式（5）中的（P0+Pn+ΔPn）；q 代表特征圖x 上所有整數空間的位置；G（.，.）代表雙線性插值內核，它可以分成兩個一維的內核：

圖5 可形變卷積層的實現過程Fig.5 Realization process of deformable convolution layer

引入可形變卷積后，原來的卷積神經網絡分為了兩路且共享一個輸出特征圖，其中上面的一路通過一個額外的卷積層來學習偏移offset，得到一個H×W×2N 的輸出，其中N 代表像素的個數，2N 代表x 與y 兩個不同方向的偏移。下面的一路的輸入特征圖和上面的偏移共同作為可形變卷積層的輸入，計算過程和常規卷積一樣。

改進后的SSD 模型在最高層卷積模塊Conv11_2中添加可形變卷積模塊，然后通過ReLu 函數輸出表示為Conv11_2 的特征圖。圖5中可形變卷積模塊層偏移量和可形變卷積層的具體參數如表2所示。

表2 可形變卷積層參數Tab.2 Parameters of deformable convolutional layer

2.3 改進后的整體網絡結構

改進后的整體網絡結構如圖6所示，使用ResNet50 的Conv4_1 作為第一個特征圖輸出，第2～5 輸出特征層輸出依次由原來SSD 算法進行輸出，最后一個輸出特征層經過可形變卷積后進行輸出，從改進后的SSD算法中選取38×38，19×19，10×10，5×5，3×3，1×1 總共6 種尺寸先驗框進行輸出，總共生成8732 個先驗框。

圖6 改進后的整體網絡結構Fig.6 Overall network structure after improvement

對于每個先驗框，SSD 網絡計算兩個關鍵組成部分，其中包括置信度損失和位置損失，其中置信度損失使用分類交叉熵損失函數計算先驗框中存在對象的置信度，位置損失用于計算網絡預測的邊界框距離真實框的距離有多遠。整體的多任務損失函數定義如下：

式中：Lconf代表置信度損失；Lloc代表位置損失；N 代表匹配到的正樣本的個數；c 代表類別；l 代表預測框；g 代表真實框；α 是一個平衡系數。

3 實驗結果與分析

3.1 實驗數據集

通過現場拍攝獲取以及網絡爬蟲的方式獲取關于安全頭盔和反光衣的圖片6232 張，經過SSD原本算法中的水平翻轉等數據增強方法最終生成數據集8166 張，其中訓練集、驗證集和測試集按照7∶2∶1 的比例進行分配，其中訓練集和驗證集參與網絡的訓練，本數據集要制作成符合VOC 格式，每張圖片使用LableImage 軟件進行標注生成對應的XML 文件，樣本標簽總共分為4 類helmet（佩戴安全頭盔）、without helmet （沒有佩戴安全頭盔）、suit（穿反光衣）、without suit（沒有穿反光衣），標注結果如圖7所示。

圖7 標注結果Fig.7 Labeled results

3.2 實驗平臺

本文的硬件服務器配置為一塊Nvidia GeForce RTX 2080Ti 顯卡，處理器為Intel（R）Xeon（R）Silver4110 CPU，實驗操作系統為Ubantu18.04LTS。

3.3 模型訓練

本文改進的模型首先通過加載原SSD 算法在COCO[14]數據集上訓練得到的預訓練權重，然后通過神經網絡的遷移學習，加載預訓練權重對收集的訓練集和驗證集進行訓練，訓練中的超參數設置如表3所示，最后得出訓練的結果，進行分析。

表3 訓練超參數設置Tab.3 Training super parameter Settings

3.4 訓練結果分析

本文算法使用8 進程數，使用SGD 優化器進行優化，初始學習率設為0.0005，每隔5 步降低一次學習率，由圖8可以看出在經過200 輪的迭代訓練后，訓練結果穩定在一個較高的平均精度值，能達到83.7%。

圖8 訓練曲線Fig.8 Training curve

3.5 實驗結果對比

本文算法通過與原SSD 算法進行對比，測試圖片對比結果如圖9所示，通過測試結果圖對比發現，原SSD 檢測算法在燈光昏暗和不同角度下存在漏檢現象的發生，本文算法的表現要優于原SSD 檢測算法。

圖9 SSD 算法改進前后對比圖Fig.9 Comparison of SSD algorithm before and after improvement

為研究改進SSD 網絡結構對檢測準確度產生的影響，將原SSD 算法和改進的SSD 算法針對4 種標簽的檢測準確率進行對比，對比結果如表4所示，本文算法針對每類標簽的檢測精度比原SSD 算法都有所提升。

表4 SSD 和本文算法標簽檢測準確率對比Tab.4 Comparison of label detection accuracy between SSD and proposed algorithm

為了驗證本文算法的有效性，將與已有的目標檢測模型Faster-Rcnn，Faster+ResNet50，SSD+MobileNetv2，YOLOv3 算法進行測試對比，整個實驗過程使用相同的硬件配置，統一使用本文所制作的數據集進行訓練和測試，訓練和測試結果如表5所示，可以看出在檢測mAP 上Faster+ResNet50 的表現是最好的，但是它的檢測速度只有11 幀/s，無法實現現場的實時檢測，同時SSD 和YOLOv3 檢測速度都很快，但是它們在檢測mAP 上都不如本文算法。

表5 測試結果對比Tab.5 Comparison of test results

4 結語

本文提出一種改進的SSD 檢測安全頭盔和反光衣算法，通過替換原SSD 算法的特征提取網絡和使用可形變卷積的方法來提高檢測精度，實驗結果表明，本文算法能達到的檢測mAP 有83.7%，比原SSD 算法提高了4.8%，同時檢測速度為30.7 幀/s，在保證高精度檢測的同時還能滿足實時檢測的要求，對實現安全頭盔和反光衣檢測具有良好的發展前景。