基于SSD算法的智能定員檢測研究*

陳響洲 楊余旺 沈興鑫

（南京理工大學計算機科學與工程學院 南京 210094）

1 引言

生產線上，為了保證生產的效率和安全，對人員進行人數限制自然也是生產安全的一個重要組成部分。隨著生產線規模的不斷加大，安全問題逐漸凸顯，為了彌補人工監控的低下效率和節約人工資源，生產線定員檢測成為一個關鍵問題。

生產線定員檢測本質上屬于目標檢測范疇，目標檢測是計算機視覺領域的一個重要研究方向。隨著近年來深度學習的快速發展，采用基于深度學習的算法進行目標檢測已成為計算機視覺領域的重要方法。

在目標檢測領域，傳統的目標檢測方法通常采用區域選擇、特征提取、分類器分類的步驟流程進行檢測［1］，但是，傳統的目標檢測方法存在著兩個主要的缺陷［2］：1）基于滑動窗口的區域選擇策略沒有針對性，時間復雜度高，窗口冗余；2）手工設計的特征對于多樣性的變化并沒有很好的魯棒性，因此，傳統的目標檢測的速度和準確度均較低。近年來，深度學習的快速發展給目標檢測領域注入了活力，在準確度和速度方面均取得了突破。Girshick等［3］提出的R-CNN算法采取聚類的方法對圖像分組，得到多個候選框的層次組，在PASCAL VOC2007上的mAP比傳統目標檢測方法高出31.7%。Purkait［4］提 出 的SPP-NET算 法 解 決 了R-CNN區域提名時的偏差問題，大大加快了檢測速度。Ren等［5］提出了Faster R-CNN算法引入了多任務損失函數，簡化整個網絡的訓練和測試，提高了檢測的速率。Redmon等［6］在YOLO算法基于回歸思想，將目標檢測任務轉變為回歸問題，實現了一個可以一次性預測多個Box位置及類別的卷積神經網絡，使檢測速度有了明顯的提升。

雖然這些算法在目標檢測的速度或精度上分別取得了很高的成績，但是無法同時滿足高精度和實時性要求，所以難以應用于實際生產。之后，Liu等［7］在YOLO和Faster R-CNN的基礎上提出了SSD算法，在精度和速度方面取得平衡，為實際應用奠定了基礎。SSD算法是目前最優秀的目標檢測算法之一，僅僅使用一個全卷積網絡就能同時完成分類和定位任務。該算法融合了YOLO的回歸思想和FasterR-CNN的anchors機制，在提高mAP的同時兼顧速度，兩者同時取得了優秀的成績。SSD算法憑借高實時性和高準確度的特點被廣泛應用在實際生產中。高英杰等［8］基于SSD算法實現對水下目標的檢測分析；陳亮杰等［9］通過SSD算法對倉儲物體進行檢測；楊建等［10］則是在方坯號識別系統中通過SSD算法進行分析檢測。

本論文提出了一種基于SSD算法的生產線定員檢測算法，該算法使用ResNet101卷積神經網絡和添加卷積層提取圖像特征，解決了傳統SSD算法小尺寸目標檢測率低的問題，準確率相比傳統SSD算法提高了5.3%。

2 基于SSD算法的生產線定員檢測

本章主要從SSD網絡結構、圖像特征提取網絡、損失函數、訓練階段和檢測階段五個方面介紹算法的原理和實現。

2.1 SSD網絡結構

SSD是基于一個前向傳播卷積神經網絡進行提取不同尺寸的特征，產生一連串大小固定的邊框，以及相應包含目標實例的概率，最后進行一個非極大值抑制來得到最佳的預測值，完成對目標的檢測和定位。SSD使用通用分類網絡作為基礎網絡，然后在這個基礎網絡的基礎上增加附加的卷積層，傳統SSD網絡結構圖如圖1所示。SSD結合多尺度特征響應圖共同檢測，保證了不同尺寸特征信息量的保留。

圖1 傳統SSD網絡結構圖

2.2 圖像特征提取網絡

SSD算法的圖像特征提取網絡通過不同分辨率的特征提取層提取多尺度特征，然后產生一連串大小固定的邊框和相應包含物體實例的概率。

目 前 主 流 的 卷 積 神 經 網 絡 有AlexNet［11］、GoogleNet［12］、VGGNet［13］、ResNet［14］等。傳統SSD算法采用VGG16網絡和附加卷積層進行圖像特征提取。但由于傳統的SSD算法使用VGG16網絡中的Conv4_3低級特征層去檢測小尺寸目標，而低級特征層卷積層數較少，特征提取并不充分，因而導致缺乏高層語義特征，所以傳統的SSD算法對小尺寸目標檢測的準確度難以令人滿意。

2015年，ResNet在ImageNet上打敗VGG等其他卷積網絡，成為冠軍。為了改善傳統SSD算法對小尺寸目標的檢測效果比較差的問題，所以便需要提高淺層的特征提取能力。Resnet-101相比VGG16而言，增加了殘差模塊，特征提取能力有了很大的提升，所以在本文中選擇了ResNet101網絡和附加卷積層進行提取圖像特征，網絡結構圖如圖2所示。

圖2 SSD_ResNet網絡結構圖

為了加快網絡的收斂速度，將所有圖像大小統一設置為512×512和300×300兩種，便于后期的數據分析處理。同時為了保證與SSD_VGG16模型對應的各個特征提取層的特征圖大小大致相仿，各個模型選取的特征提取層如表1所示。

表1 各模型特征提取層對比表

2.3 損失函數

SSD損失函數是置信度損失（confidence loss）和位置損失（location loss）的加權和，其表達式如下：

其中式（1）中N是與真實框（ground truth）相匹配的候選框數量；而α參數confidence loss和location loss加權比例，默認α=1。

置信度損失（confidence loss）是多類Softmax損失，其表達式如下：

位置損失（location loss）是真實框和候選框參數之間的smoothL1損失，其表達式如下：

其中式（4）中smoot hL1可表示為

2.4 訓練流程

SSD網絡的訓練系統結構框圖如圖3所示，訓練過程主要由輸入、特征提取、預測器、區域候選框匹配四個模塊組成。訓練流程如下。

圖3 SSD網絡的訓練系統結構框圖

1）輸入訓練圖片，進行前向傳播；

2）設置不同長寬比，不同尺度的區域候選框；

3）真實框（ground truth）和區域候選框匹配，保證每個真實值都至少有一個對應的區域候選框；

4）預測器輸出每個區域候選框的類別置信度預測和位置偏移量預測；

5）計算損失函數并反饋調節對應權重。

重復步驟1）到5），直到訓練目標函數誤差趨于穩定停止。

2.5 檢測流程

輸入圖片后，經過前向網絡傳播，所有區域候選框會產生類別概率預測值和位置偏移量預測值，根據設定好的閾值，刪除概率預測值低于閾值的框，即認為這些框中沒有目標，是背景。然后經過非極大值抑制［15］去除多余框，留下最終的檢測結果。

3 實驗結果與分析

本章主要從實驗環境、實驗數據集和實驗結果與分析三個方面對算法有效性進行試驗驗證。

3.1 實驗環境

本文實驗在Ubuntu16.04操作系統下基于Caffe深度學習框架完成，采取雙GPU進行訓練，運行環境基本配置為

GPU型號：NVIDIA GeForce GTX 1050 Ti；

CPU型 號：Intel E5-2670；

內 存：128G；

顯 存：4GB×2；

驅動版本：425.31；

CUDA版本：CUDA 10.0。

3.2 實驗數據集

本文實驗所需數據均為模擬生產線環境下通過攝像機采集獲得的人員視頻，然后為防止樣本重復，以30s為間隔切割生成圖像，并采用圖像標注工具Label Img進行標注，創建一個人員數據集，其包含4500張圖像。將人員數據集分為訓練集、驗證集和測試集，訓練集約占60%，驗證集約占15%，測試集約占25%。

3.3 實驗結果與分析

由于實驗設備的限制，本實驗設置Batch_size為16。同時由于數據集僅有人一類，所以設置num_class為2，初始學習率為0.001。

為了驗證本文算法的有效性，在人員數據集上分別輸入兩種不同大小的模型，訓練并測試得到生產線人員準確率mAP（mean Average Precision），實驗結果如表2所示。

由表2實驗結果表分析可知，在相同的圖像大小的情況下，SSD_ResNet模型的mAP明顯高于SSD_VGG模型的mAP，這種情況在圖像大小為512×512的情況下尤為明顯，因此說明淺層更具有表征能力時，對小目標效果就會更好。同時，在相同的卷積網絡提取特征的情況下，由圖像大小為512×512得到的模型的mAP高于由圖像大小為300×300得到的模型的mAP。

表2 實驗結果表

由于篇幅所限，僅給出SSD_ResNet_512模型的部分生產線人員檢測測試圖，如圖4、圖5所示。在圖4、圖5中可以明顯看出，該模型對于不同姿態的人員和不同大小的人員都有準確的檢測。

圖4 生產線人員檢測測試圖A

圖5 生產線人員檢測測試圖B

在基于SSD目標檢測算法的基礎上，本文使用ResNet卷積網絡在生產線人員數據集上，圖像大小為512×512的情況下訓練得到的模型mAP達到了87.7652%，基本符合生產線定員檢測的要求。

4 結語

本文提出了一種基于SSD目標檢測算法的生產線定員檢測，通過在ResNet101網絡和添加的卷積層上選取適合的特征層進行提取多尺寸圖像特征，然后產生一連串大小固定的邊框和相應概率，最后使用非極大值抑制法得到最佳的預測值，實現對生產線人員數量實時監控，并且在實驗中SSD_ResNet模型取得了最高87%的mAP，從而滿足生產線定員檢測的要求。然而，本文算法對于人數較多的生產線環境下，容易出現漏檢現象，推測很可能是由于人員遮擋率過高所引起。因此，針對人員遮擋問題，下一步采取基于多目攝像頭的目標檢測方法進行進一步研究。