基于深度學習的安全帽佩戴檢測算法綜述

李政謙 劉 暉

(北京華電天仁電力控制技術有限公司 北京 100039)

0 引 言

佩戴安全帽是一項防止腦部損傷的措施。研究表明，在建筑工地及巡檢現場中，有接近90%的腦損傷是因為沒有正確地佩戴安全帽引起[1]，有必要對相關人員的安全帽佩戴進行檢測，降低相關事故發生率。

早期，施工及巡檢現場通常會有專責的安全監督人員對工人們的安全帽佩戴情況進行檢測，但這種方式難以全方位監督，無法保證監督的有效性。因此，相關單位為了能夠實時監督施工及巡檢現場并降低監督成本，存在安全帽佩戴檢測的實際需求。

一般的目標檢測方法僅需在圖片上判斷是否存在檢測目標，并獲得目標數量，標記目標位置。對于安全帽佩戴檢測算法，在此基礎上還要求針對動態視頻實時識別、深度優化，達到較高的識別跟蹤精度；對光線、陰天等不同環境適應性強，且不受人員眼鏡、胡須、發型、表情等遮擋影響；也不受到人員正面、背面、側面、跑動、低頭等不同姿態影響。近年來，研究人員在基于傳感器與基于圖像處理等兩種檢測方式上對安全帽佩戴檢測做了很多具有創新性的研究工作。

基于傳感器的識別主要通過定位技術來采集人、材、機的位置信息，提供給安全識別系統進行綜合風險評價[2-5]。由于定位精度不高以及大量的設備投入并且存在一定程度的健康隱患，傳感器識別技術在實際現場中很難進行推廣。

研究人員也嘗試通過圖形處理進行安全帽檢測，主要分為對安全帽的形狀特征[6]、顏色特征[7-9]、邊緣特征[10]、特征表示和分類器相結合[11]等四類進行檢測。但基于圖像處理的安全帽檢測需要手動構建大量的特征，檢測速度慢、準確率低等問題使得其不適用于復雜性較高的施工及巡檢現場。

由于傳統目標檢測算法存在以上缺點，無法達到安全帽佩戴檢測實際需求，基于深度學習的檢測算法依靠其網絡簡單、檢測速度快準確性高等特點超過傳統檢測算法，成為當前安全帽佩戴檢測方面的主流算法。

1 目標檢測算法評價指標

(1) 檢測速度fps(Frames per second):每秒能夠檢測的圖片數量。

(2) 交并比IOU(Intersection over Union):預測邊框與實際邊框的交集和并集的比值。

(1)

式中：Bp為預測邊框；Bg為實際邊框。

(3) 準確率P(Precision):

(2)

式中：TP是預測正確的正樣本的數量；FP是將負樣本預測成正樣本的數量。

(4) 召回率R(Recall):

(3)

式中：FN是將正樣本預測為負樣本的數量。

(5) 平均準確率AP(average precision):

(4)

式中：t是在不同IOU下曲線的召回率，比如當t=0.7時，只有IOU≥0.7才被認為是正樣本。

(6) 平均準確率均值mAP(mean average precision):

(5)

式中：N為種類數量。

2 基于分類的目標檢測算法

基于深度學習的目標檢測算法可分為基于分類的目標檢測算法和基于回歸的目標檢測算法。基于分類的目標檢測算法也稱為兩階段目標檢測(two-stage)，首先針對圖像中目標物體位置，預先提出候選區域，然后微調候選區并輸出檢測結果。

2.1 Faster R-CNN

文獻[13]提出的R-CNN(Regions with CNN features)是將卷積神經網絡(CNN)用于目標檢測的開端，如圖1所示，其首先是利用選擇性搜索(Selective Search)[14]生成2 000個候選區域并轉換成指定大小，然后送入CNN模型中得到一個特征向量，最后使用SVM進行分類并得到目標區域。

圖1 R-CNN流程圖

其在PASCAL VOC 2010數據集上準確率達到了53.7%，與之前各算法相比獲得了巨大的提升，但仍然存在著計算時間長、無效計算多、占用空間大等缺點。隨后文獻[15]提出了空間金字塔池化層(Spatial Pyramid Pooling,SPP)解決R-CNN中重復卷積的問題。同年Girshick提出的Fast R-CNN[16]修正了R-CNN和SPP-net的缺點，比如減少了訓練步驟且不再將特征保存在磁盤，提高了速度和準確性。但Fast R-CNN在提取區域候選框時仍使用Selective Search算法，檢測速度仍然較慢。因此，以上算法對安全帽等小目標的識別準確率及檢測速度并不能很好地滿足工程使用，直到文獻[17]提出了Faster R-CNN，研究人員開始大量使用并改進該方法應用于安全帽檢測領域。

Faster R-CNN算法用候選區域生成網絡(RPN)代替了選擇性搜索算法，提高了算法的檢測速度和準確率。Faster R-CNN流程如圖2所示，首先，提取照片的特征。然后使用CNN方法對整幅圖像進行處理，利用幾個卷積層和最大池化層生成卷積特征圖。特征圖被后續RPN層和全連接層共享。然后使用區域生成網絡(RPN)生成候選區域。之后進入ROI池化層，收集輸入的特征圖和候選區域并池化為固定大小，送入全連接層。最后是Fast R-CNN檢測器，它利用候選區域和相應的被提取的特征對候選區域是否是戴安全帽的工人進行分類。

圖2 Faster R-CNN流程圖

Faster R-CNN能夠很好地處理復雜環境，可以自動學習特征，無須手動建立各種人體姿態模型，相比上文模型其擁有更高的準確率和檢測速度，滿足了各種建筑工地的實際安全監控要求。

在安全帽檢測領域研究中，文獻[18]使用Faster R-CNN+ZFNet的組合搭建了安全帽檢測系統，該系統能夠實時識別監控視頻中的人員和頭盔，mAP高達90.3%，每幅圖像的檢測時間高達27幀/秒。Fang等[19]提出了一種基于快速R-CNN的遠場監控檢測方法，從25個不同建筑工地的遠場監控視頻中隨機選擇了超過10萬幅建筑工人圖像幀，實驗結果表明，該方法檢測精度高，能有效地檢測不同施工現場條件下施工人員的安全帽佩戴情況，有利于改進安全檢查和監督。王悅[20]改進Faster R-CNN的算法訓練過程同時對YOLO、SSD相關深度學習檢測算法進行測試對比，獲得了更高的準確率。王忠玉[21]通過分層預測特征金字塔的多層特征改進了Faster R-CNN，設計了一種安全帽佩戴檢測算法(FMP-net)，其效果優于Faster R-CNN和SSD等算法。2019年，文獻[22]使用了EspiNet V2模型，改進了Faster R-CNN的CNN部分，獲得了一個6層(4卷積)的簡單CNN網絡，減少了一定的參數量。該模型能夠從低角度和移動攝像機拍攝且存在一定遮擋的情況下獲得88.8%的mAP。徐守坤等[23]通過在Faster R-CNN增加錨點以及使用多尺度訓練來增強不同尺寸目標在檢測送的魯棒性，同時增加在線困難樣本挖掘策略用以防止正負樣本不均衡問題，最后采用多部件結合方法剔除誤檢目標。Wang等[24]研究了建筑工地在有遮擋、重疊以及工人衣著反光等情況，使用改進后的Faster R-CNN對目標進行檢測，獲得了較高的檢測精度。

2.2 R-FCN

由于Faster R-CNN仍然存在檢測速度較慢的情況，Dai等[25]在此基礎上設計出了R-FCN，基于區域的全卷積網絡(region-based fully convolutional network，R-FCN)是一種利用全卷積網絡進行目標分類識別的網絡，它適用于復雜背景中廣泛存在的小目標的識別。其流程圖如圖3所示。

圖3 R-FCN流程圖

首先輸入圖像經過一個全卷積網絡(ResNet)，然后一方面在最后一個卷積層后面添加特殊的卷積層生成位置敏感得分圖(position-sensitive score map)，另一方面全卷積網絡的某個卷積層輸出作為RPN網絡的輸入，RPN網絡最后生成ROI。最后的ROI池化層將前面的得分圖和ROI作為輸入，并輸出類別信息。R-FCN在整幅圖像上共享計算，減少了參數冗余，并利用位置敏感得分圖，解決了圖像分類平移不變性和目標檢測平移變化之間的矛盾，在ImageNet上取得了較好的識別分類結果。

在安全帽檢測領域研究中，文獻[26]使用基于區域的全卷積網絡(R-FCN)進行深度學習，R-FCN是基于卷積神經網絡(CNN)和轉移學習技術的對象檢測算法之一。對來自ImageNet的1 089幅人體和安全帽圖像進行學習，測量人體和安全帽的mAP分別為0.86和0.83。Wang等[27]提出了一種基于區域全卷積網絡(R-FCN)的多類檢測器來實現對多目標的檢測和定位。然后根據檢測結果對工人或設備進行二次分析，識別出違規類型和缺陷類型。

3 基于回歸的目標檢測算法

盡管經過多次改良，兩階段檢測算法大幅提高了檢測準確率與速度，但由于兩階段檢測存在提取候選區域的過程，檢測速度難以滿足部分現場需求，因此研究人員開發出單階段(one-stage)算法，將整個檢測過程簡化為一次端對端的檢測。

3.1 YOLO

文獻[28]提出YOLO(You Only Look Once)算法，使用回歸的思想來處理物體檢測(object detection)問題，用一個卷積神經網絡對輸入的圖片進行卷積運算，進而降低圖片數據的維度，進行特征提取，能夠直接預測邊界框(bounding box)的位置以及類別。結構上將多步檢測優化為統一檢測，提高了模型的運行速度，既可以直接學習圖像的全局信息，也可以端對端訓練。圖4所示為YOLO的流程圖。

圖4 YOLO流程圖

但YOLO存在兩點不足之處，一是定位不準確，二是和基于分類的檢測方法相比召回率較低。

在安全帽檢測領域研究中，劉君等[29]設計了一種改進的YOLO網絡結構，將RPN檢測算法融入到YOLO算法中，并借鑒R-FCN算法，去掉一個全連接層，在卷積層上進行滑動窗口操作，采用先池化再卷積的方法，以減少圖片特征丟失。該模型在準確率與檢測速度上都取得滿意的結果。Hung等[30]提出了一種基于YOLO算法的實時防護裝備圖像檢測方法，并為此建立一個建筑工地6種常見防護設備的圖像數據庫。實驗表明該模型在準確率上較好的檢測結果，未來將在檢測速度上加以優化。

3.2 YOLOv2

2016年Redmon等[31]引入了一個先進的實時目標檢測系統YOLOv2，其網絡結構參照SSD和YOLO的網絡結構，為了解決YOLO在物體定位方面不夠準確，并且召回率較低等缺點，YOLOv2增加了批量正則化(Batch Normalization)，使用了K-means聚類產生的錨點代替Faster R-CNN和SSD手工設計的錨點、高分辨率分類器(High Resolution Classifier)并使用Darknet-19為基礎模型進行特征提取。YOLOv2網絡結構如圖5所示。

圖5 YOLOv2流程圖

在安全帽檢測領域研究中，2018年方明等[32]通過在以YOLOv2為基礎的模型中加入密集塊，實現了多層特征的融合以及淺層低語義信息與深層高語義信息的兼顧，提高了網絡對于小目標檢測的敏感性，利用Mobilenet中的輕量化網絡結構對網絡進行壓縮，使模型的大小縮減為原來的十分之一，增加了模型的可用性。結果顯示：該模型的檢測準確率為87.42%，稍遜色于YOLOv3，但是其檢測速度提升顯著達到148幀/s。文獻[33]通過改進YOLOv2的網絡結構來提高檢測速度，并使用強化連接來降低計算復雜度，使多層功能重用和融合。利用Tiny-YOLO-Density實現了電力施工現場違法行為監測系統[34]。

3.3 YOLOv3

在YOLOv2基礎上，2018年Redmon等[35]提出了YOLOv3算法，采用殘差網絡模型Darknet-53網絡結構代替了YOLOv2的Darknet-19，通過53個卷積層和5個最大池化層來提取特征，使用批量歸一化和dropout去除操作來防止過擬合，損失函數使用logistic代替了softmax等等。YOLOv3預檢測系統采用了多尺度訓練，使用分類器多次執行檢測任務，將模型應用于圖像的多個位置和比例，例如輸入為416×416像素時會融合13×13、26×26、52×52像素三個特征層。因此YOLOv3適用于小目標檢測，其結構圖如圖6所示。

圖6 YOLOv3流程圖

在安全帽檢測領域研究中，王秋余[36]提出基于YOLO的半監督學習安全帽佩戴識別算法，實現了在保持準確率不變的情況對樣本標注與收集工作的簡化，并提高了小目標的準確率與模型的泛化能力，適用于施工現場工程需求的實時識別。該模型在一般場景條件視頻流的建筑工人與安全帽檢測準確率在85.7%至93.7%之間。文獻[37]使用虛擬世界圖像集對YOLOv3進行訓練，所獲得的性能比僅使用少量真實圖像對現有網絡進行微調以適應當前場景要高得多。文獻[38]研究了YOLO相關算法，建立基于YOLOv3的最優模型，將深度殘差網絡技術與基于YOLOv3檢測算法的多尺度卷積特征相結合，結合多尺度檢測訓練，調整訓練過程中的損失函數。實驗結果表明，在滿足檢測速度的前提下，提高了安全帽佩戴檢測精度。施輝等[39]基于圖像金字塔結構改進原模型，融合連接不同層次的特征圖，得到3組預測特征圖進行預測。在安全帽佩戴檢測任務中，檢測準確率達到了92.13%，檢測速率提高到62幀/s，均高于原模型，準確率相對Faster R-CNN較差，但檢測速度大幅提升。林俊等[40]針對未佩戴安全帽單類檢測問題,修改了分類器,將輸出修改為18維度的張量。基于YOLOv3在ImageNet上的預訓練模型,平均檢測速度達到了35幀/s，但在重疊目標上會出現漏檢現象。楊莉瓊等[41]提出一種將YOLOv3與HOG、SVM相結合的安全帽檢測方法，該方法對建筑工地上的識別有較高的準確率。文獻[42]在目標維度聚類、多尺度檢測、密集連接三個方面優化網絡結構并提出基于OpenPose算法施工人員姿態估計輔助的安全帽佩戴檢測方法，在干擾測試集中仍取得90.2%的準確率和86.8%的召回率。但人體姿態估計模型檢測時間相對較長是作者之后需要解決的問題。文獻[43]以YOLOv3全回歸深度神經網絡架構為基礎，利用Densenet在模型參數和技術成本上的優勢，代替YOLOv3網絡的主干進行特征提取，形成YOLO-Densebackbone卷積神經網絡，改進的算法檢測準確率相對于原算法提高了2.44%。文獻[44]使用Kalman濾波和Hungarian匹配算法跟蹤人員軌跡，配合YOLOv3實現安全帽檢測，獲得了18幀/s的檢測速度和89%的準確率。文獻[45]提出了一種基于YOLOv3模型的新型自動實時檢測方法。實驗結果表明，該方法能夠實時檢測未正確佩戴頭盔行為，且漏檢率低。

3.4 SSD

由于YOLO在定位精度上存在不足，提出SSD(Single Shot MultiBoxDetector)算法[46],采用VGG16作為基礎模型，增加了卷積層來獲取更多的特征圖，在此基礎上提出了特征金字塔結構，算法流程如圖7所示，輸入的圖片經過CNN提取特征，抽取特征圖后生成錨框(default box)，將生成的所有錨框都集合起來，置入到極大值抑制中，最后輸出結果。

圖7 SSD流程圖

在安全帽檢測領域研究中，文獻[47]采用谷歌發布的Inception模塊來替代原SSD中額外的VGG16層，同時改進了SSD的輸出層，提高了SSD對視頻幀中小目標的識別性能。文獻[48]分別訓練了基于SSD的檢測模型，首先通過人臉識別檢測出現的人，再對行人區域進行安全帽檢測。這種檢測方法在檢測準確率與速度上都有很好的效果，使系統更具可靠性和實時性。李小偉[49]將SSD算法和Mobilenet網絡融合來獲得更加高效的目標檢測網絡，取得了mAP為89.4%的成績。文獻[50]為了更好地檢測小尺度的安全帽，將提出的逆向顯著檢測(RPA)集成到SSD框架中，將上下文信息有選擇地傳播回底層。實驗結果表明，該模型在不同的輸入條件下均能獲得良好的性能。文獻[51]提出了改進的Mobilenet-SSD模型作為目標檢測模型，并對訓練后的模型進行了評價，保證了模型的泛化。文獻[52]提出了一種有效的安全帽佩戴檢測系統。該系統基于SSD和一種新型的安全帽精密檢測模塊，并建立了一個適用于電站場景下的安全帽磨損檢測的圖像數據集。結果表明，該系統在檢測安全帽方面明顯優于原始的SSD檢測器。并且檢測速度能達到21幀/s。

3.5 RetinaNet

文獻[53]深入研究了現有的基于RCNN的兩階段檢測器與YOLO、SDD等單階段檢測器，發現類別不平衡是影響檢測效果的深層原因。對于單階段檢測器，這會導致分類器容易把生成的所有bbox歸類為背景，而原有的損失函數交叉熵損失(CE)容易導致分類器訓練失敗，檢測準確率較差。而兩階段檢測器檢測效果更好則是因為RPN的錨點會進行二分類，相對提高了準確率，進而提高了檢測精度。可以將原先訓練回歸任務慣用的交叉熵誤差：

CE(pt)=-αtlog(pt)

(6)

改為FL(focal loss)來解決類別不平衡的問題。其中：

FL(pt)=-αt(1-pt)γlog(pt)

(7)

相比于原交叉熵誤差增加了權重系數，使得類別少的檢測部分權重大幅提升，進而提高了檢測精度。

RetinaNet本質上是Resnet+FPN[54]+兩個FCN[55]子網絡。RetinaNet的流程圖如圖8所示。主干網絡作者使用ResNet-50與ResNet-101。同時使用FPN來強化ResNet中的多尺度特征，獲得具有較強尺度和信息的特征圖。最后在特征圖集合上，分別使用了兩個FCN子網絡來完成目標框類別分類與位置回歸任務。

圖8 Retinanet流程圖

在安全帽檢測領域研究中，文獻[56]使用RetinaNet作為檢測算法，對快速移動物體的安全帽佩戴情況進行檢測，在測試集上實現了72.3%的mAP，處理速度為14幀/s。

4 思考和展望

隨著近年來隨著深度學習的發展，目標檢測算法逐漸應用到實際工程，安全帽識別的準確率與檢測速度也有一定提升。所介紹的各檢測模型在VOC2007及COCO數據集上的檢測性能如表1所示。總體來看，在現有的應用于安全帽檢測的模型中，Retinanet的mAP最高，Tiny YOLO的檢測速度最快，而YOLOv3兼顧了檢測準確率與速度，綜合性能較高。本節總結了一些亟待解決的問題并討論了未來安全帽檢測算法可能的研究方向。

表1 各目標檢測算法的檢測性能

4.1 當前存在的問題

(1) 當前檢測算法多數基于有監督學習，大量使用手動標記的特征，耗時耗力。且過于依賴訓練數據，使用現場安全帽佩戴檢測訓練集訓練出來的算法只針對單一場景，泛化能力較弱。

(2) 準確率與檢測速度不能同時滿足使用條件，檢測精度高的模型檢測速度慢，如Retinanet，而檢測速度快的模型檢測精度低，如Tiny YOLO，無法既快又準地滿足工程需求。

(3) 由于安全帽佩戴檢測需要對光線、陰天等不同環境適應性強，且不受人員遮擋及姿態影響，但當前的檢測模型對小目標、有重疊干擾等復雜場景的識別準確率不夠，這導致在實際工程應用上，安全帽佩戴檢測效果并不盡如人意。

(4) 深度學習憑借其深層網絡結構能夠學習到復雜的特征，但如何準確定位目標位置仍是難點，目前普遍采用的矩形框表示方法會包含一定量的背景區域，對施工現場等復雜場景并不完全適用。

4.2 對未來的展望

(1) 無監督學習和半監督學習。手動繪制大量的邊界框非常耗時，為了減輕這一負擔，可以集成無監督對象發現[57]、多實例學習[58]和深度神經網絡預測[59]，充分利用圖像級監督，將對象類別標簽分配到相應的對象區域，細化對象邊界。此外，弱注釋[60]也有助于通過適當的注釋努力實現高質量的檢測器。

(2) 深度學習和在線學習的融合。安全帽檢測由于數據集不斷增長，其實質上是一個在線學習問題。訓練時如何避免陷入局部極小值、梯度消失等問題仍值得研究。

(3) 3D對象檢測。隨著三維傳感器(激光雷達)的應用，可以利用額外的深度信息更好地理解二維圖像，并將圖像級知識擴展到現實世界。多視圖表示[61]和三維候選網絡[62]能獲得更好的邊界結果。文獻[63]構建了一種新的3D目標檢測算法(DSGN)，檢測精度要高于其他模型10%以上。

(4) 記憶時間信息。跨幀的時間信息對于分析不同對象的行為起著重要的作用，使模型不僅包含當前時間步長輸入信息(幀)，還包含以前時間步長(幀)的激活值。可以使用時空管[64]、光流法[65]和LSTM[66]，從根本上對連續幀之間的對象關聯進行建模。

5 結 語

本文對基于深度學習的目標檢測算法在安全帽佩戴檢測領域的研究情況進行了詳細的綜述，首先介紹了傳統的基于傳感器及基于圖像處理的安全帽檢測方法近年來發展情況，之后介紹了兩階段檢測(R-CNN、faster R-CNN、R-FCN)以及單階段檢測(YOLO、YOLOv2、YOLOv3、SSD、Retinanet)的算法流程和研究發展情況，最后對現階段檢測算法亟待解決的問題加以總結，并提出了幾個未來有希望發展的方向。這篇綜述對深度學習在安全帽檢測領域的應用和發展具有一定意義。