施工場景下基于YOLOv3的安全帽佩戴狀態檢測

韓錕，李斯宇，肖友剛

施工場景下基于YOLOv3的安全帽佩戴狀態檢測

韓錕，李斯宇，肖友剛

(中南大學 交通運輸工程學院，湖南 長沙 410075)

針對現有安全帽檢測研究中采用的兩階段檢測法存在檢測效率偏低，累積誤差對精度影響較大的問題，提出一種對安全帽的單階段檢測法。將安全帽和工人頭部視為一個整體，將檢測目標分為2類，即佩戴安全帽的頭部和未佩戴安全帽的頭部，同時對2類目標進行檢測，避免了冗余的計算步驟及累積誤差的影響。同時，針對施工場景安全帽佩戴狀態檢測特點，對YOLOv3的網絡結構、損失函數及先驗框尺寸進行改進，提出YOLOv3-C模型。研究結果表明：改進后的YOLOv3-C模型的檢測性能大幅提升，在本文建立的樣本集中模型的mAP達到93.84%，對安全帽檢測平均精度達到97.01%，對工人頭部檢測平均精度達到90.67%，同時YOLOv3-C對本文的檢測場景表現出良好的魯棒性。

安全帽檢測；YOLOv3；網絡結構；損失函數

佩戴安全帽作為保障施工人員安全的一項重要措施，可以有效保護工人的頭部，減緩或防止因坍塌或高空墜物對頭部的傷害[1]。在塔機施工現場，工序繁雜，工人流動性較強，然而工人常因為種種原因不按要求佩戴安全帽，存在極大的安全隱患。目前工地對工人佩戴安全帽情況的監管大多依賴于人工監察，由于現場環境復雜，各工序環節在空間上較為分散，工人的高流動性導致監管效率較低，監管力度及效果不大。基于此，諸多學者將機器視覺技術引入安全帽檢測，對安全帽佩戴狀態自動識別技術進行了研究。經過歸納總結，劉曉慧等[2?6]均采用兩階段檢測法對安全帽進行檢測，即先對人體或人臉進行定位并將其作為候選區域，然后在候選區域內對安全帽進行檢測。然而，此類檢測方法有2點比較明顯的劣勢：一是檢測步驟繁瑣導致模型計算量較大，檢測效率偏低；二是該方法造成的誤差累積會使模型的檢測精度大幅降低，安全帽的檢測精度幾乎完全受制于人體或人臉的檢測精度。

1 施工場景下安全帽檢測特點及本文檢測思路

通過對塔機施工現場的視頻資料進行分析，總結在該場景下安全帽檢測的特點如下：一是安全帽在整幅畫面中屬于極小目標，在攝像頭遠距情形下其目標框寬高甚至只有幾個像素；二是室外施工這一檢測場景背景非常復雜，背景中的建筑材料、工程機械各部件等物體與安全帽顏色和形狀特征較為接近，檢測時易出現錯檢的情況。

在本文檢測思路的設計上，通過對兩階段檢測法劣勢的分析，本文考慮設計一種單次檢測的思路，即通過一次檢測，既可以檢測到工人，又可以檢測到其是否佩戴了安全帽。基于此，本文將安全帽和工人頭視為一個目標框，主要有2點考慮，一是人體頭部比例與人體是一比一的比例關系，頭部信息可視作對人體信息的完全替換；二是檢測場景的背景比較復雜，相比于頭部，人體間更易出現遮擋，同時人體柔性較強導致人體姿態變化無常，各種干擾會增加檢測模型對人體的識別難度，從而使模型對人體的檢測精度較低，而頭部區域包含的背景噪音較少，受人體柔性影響較小[7]。因此，本文將安全帽和工人頭部視為一個目標框，其中包含類目標：即佩戴安全帽的頭部和未佩戴安全帽的頭部，可對2類目標分別建立數據集。這樣即可實現單次檢測思路，將工人和安全帽同時進行檢測，既避免了2次檢測間的關聯性，提高了模型的檢測精度，又省去了繁瑣的檢測流程，大大減少了模型的運算量。

在檢測模型的選擇上， YOLOv3[8]模型在保證良好檢測性能的同時，其檢測效率相比于R-CNN[9]系列檢測模型有大幅提高，在硬件條件滿足要求的情況下，其完全可以實現實時檢測。因此，本文選擇YOLOv3模型作為本文的檢測模型。

2 基于改進YOLOv3的安全帽佩戴狀態檢測模型

經過實驗驗證，YOLOv3對本文檢測場景下的目標檢測性能欠佳，基于此，結合本文檢測場景(塔機施工現場)的特點，即安全帽在整幅圖像中屬于極小目標，且塔機施工現場的背景非常復雜，安全帽易與圖像中的其他物體發生混同進而出現較多的錯檢這些特點，本文對YOLOv3模型在網絡結構、損失函數及先驗框尺寸方面進行了針對性改進，提出了施工場景下的安全帽檢測模型—YOLOv3- C(YOLOv3-Construction)模型。

2.1 YOLOv3模型結構

1) YOLOv3模型預測流程

YOLOv3模型的結構如圖1所示，其檢測流程為：首先，將整幅圖像劃分為*個網格，每個網格僅負責檢測網格內的物體；然后，利用分類模型對每一個網格進行分類(輸出預測目標框的位置尺寸信息和待檢測目標的置信度)；最后輸出大于置信度閾值的目標框，利用非極大值抑制算法(NMS)去除重疊的檢測框，得到最終預測結果。

2) 邊界框的預測

YOLOv3邊界框預測的整體流程如下：首先，YOLOv3采用K-means聚類方法對邊界框(bounding boxes)進行初始化，得到9種邊界框尺寸，按照感受野大、中、小的標準分別將其與不同尺度的特征圖進行匹配[10]；其次，采用回歸的算法得到預測邊界框的位置信息，包括邊界框的中心坐標和寬高；最后，YOLOv3采用多個獨立的Logistic分類器對物體的類別進行分類。

3) 多尺度預測

YOLOv3中圖像劃分的每個單元格需要預測3個邊界框(bounding boxes)，相比于YOLOv2產生的邊界框數量大大增加。以輸入一張像素為416*416的圖像為例，YOLOv2中需要預測845個邊界框(13*13*5=845)，YOLOv3則需要預測10 647((13* 13+26*26+52*52)*3=10 647)個邊界框，也正基于此，多尺度預測機制的引入使YOLOv3相較于YOLOv2在小目標檢測場景中獲得更優的檢測性能。

圖1 YOLOv3模型結構

圖2 改進后的YOLOv3網絡結構圖

2.2 適應小目標檢測的網絡結構改進

通過實驗測試，未經改進的YOLOv3網絡在對安全帽和工人頭部識別時表現不佳，對某些人員密集、背景復雜場景進行檢測時出現了較多的錯檢及漏檢情況。

圖像的淺層特征包含了更多的細節信息，目標位置清晰，深層特征的信息具備更強的針對性，卻丟失了部分細節信息。結合實驗結果分析，YOLOv3之所以在小目標檢測方面性能欠佳，主要原因可能在于其對于網絡提取的淺層信息利用不夠充分，經過多次卷積后目標特征的部分信息丟失，導致出現較多的漏檢。從理論上來講，網格劃分度越致密，特征網絡可以提取出更加豐富的語義信息，但其劃分數目并不是越多越好，其原因有二，一是應根據檢測對象的目標大小合理確定網格劃分數目，否則可能會使模型誤檢的幾率有所提升；二是更多的網格意味著更大的計算量，會拖慢模型的檢測效率，影響模型檢測的實時性。因此本文考慮在原輸出層結構的基礎上，再增加一個104*104的尺度，增強對更淺層特征的檢測，將淺層信息提取出來。改進后的網絡結構如圖2所示。

在原網絡結構基礎上的具體操作如下。

Step 1：對DarkNet-53中第103層的52*52，通道數為128的特征圖進行卷積操作，生成52*52，通道數為64的特征圖。

Step 2：在卷積操作生成的52*52，通道數為64的特征圖進行2倍上采樣，生成104*104，通道數為64的特征圖。

Step 3：將采樣得到的104*104，通道數為64的特征圖與網絡中第11層104*104，通道數為128的特征圖進行拼接，生成104*104，通道數為128的特征圖。

Step 4：對特征圖進行一系列卷積操作，進行特征融合，使其特征圖大小保持104*104，通道數減少為21個(3×(5+2)=21，其中5是邊界框的中心坐標信息、長寬尺寸及置信度，2為本文的預測類別，戴安全帽頭部和未戴安全帽頭部)。

Step 5：在特征圖的基礎上進行回歸操作，完成物體定位及分類。

2.3 基于K-means的錨點框重聚類

YOLOv3模型對COCO數據集進行聚類得到先驗框的數目為9個并輸出了9個先驗框的尺寸。考慮到COCO數據集共有80類數據目標，包含人體、車、草地等多類樣本，先驗框中“扁長型”框較 多[11]。而本文的檢測目標為安全帽和工人頭部，考慮到本文目標特征先驗框尺寸應主要以“類正方形”框為主，因此有必要對本文的樣本集數據進行重聚類，得到適合于本文數據集的最優先驗框個數及尺寸。

采用上述聚類方法對本文的樣本數據集(安全帽數據集和工人頭部數據集)進行聚類分析，聚類個數與平均交并比的關系變化曲線如圖3所示。

由圖3可知，隨著聚類個數的增加，平均交并比也隨之改變。當聚類個數逐漸增加的初期，平均交并比隨之快速升高，而聚類個數進一步增加時，平均交并比雖有提升但變化緩慢。在YOLOv3模型3尺度預測機制的設計下，應對其樣本目標框數據集進行聚類運算得到9個不同的先驗框尺寸。

圖3 聚類個數與平均交并比的關系

由于本文的YOLOv3-C模型增加了一個預測尺度，因此應使用12個尺寸不同的先驗框。如圖3所示，由錨點框聚類個數與平均交并比的關系圖可知，在本文12個先驗框的基礎上繼續增加錨點框個數，對模型精度的影響微弱，且會降低模型的檢測效率，對模型的實時檢測產生影響。

按照感受野的分類原則：特征圖越小，感受野越大，對大目標越敏感，因此選用大的先驗框尺寸；特征圖越大，感受野越小，對小目標越敏感，因此選用小的先驗框尺寸。將經K-means聚類算法得到的先驗框尺寸按分類原則分配給不同尺度進行目標檢測，分配結果如表1所示。

表1 本文12個先驗框尺寸按感受野分配結果

1.4 基于GIOU的損失函數改進

IOU 的全稱為交并比(Intersection over Union)，IOU 計算的是“預測邊界框”與“真實邊界框”的交集和并集的比值。計算公式如下：

在YOLOv3算法中IOU用來判斷模型是否檢測到目標，模型設定一個IOU閾值，如果檢測目標的IOU大于該閾值，則模型判斷檢測到目標，小于閾值則未檢測到目標。在YOLOv3模型中，利用均方誤差(MSE)作為損失函數來進行目標框的回歸，不同質量的預測結果，利用MSE評價指標有時候并不能區分開來。如圖4所示，3個預測邊界框回歸損失利用MSE計算的值是相同的，然而回歸質量的評價卻是采用IOU指標，可以看到，最右側邊界框的回歸質量是最好的，而最左端是最差的，而二者的MSE損失值卻是相同的。因此，以MSE作為衡量預測邊界框的回歸效果的損失函數，不能與回歸效果評價指標很好地聯系起來，從而影響了模型的訓練效果，進而影響模型的檢測性能。

針對損失函數與模型檢測效果不匹配問題，本文將使用基于GIOU[12]的損失函數替代YOLOv3原算法中邊界框回歸損失函數，以更好地匹配算法損失函數與目標檢測評價之間的關系。基于GIOU的loss函數計算過程如下：

假設預測邊界框坐標為

真實邊界框的坐標為

圖4 相同MSE下的IOU值

Step 6：計算IOU。

Step 7：計算GIOU。

3 YOLOv3-C模型性能測試實驗

3.1 數據集的建立及數據增強

深度學習是典型的數據驅動方法，其模型的檢測性能極大程度地依賴于訓練集的數量及質量。本文需建立的2個數據集為施工場景下工人佩戴的安全帽數據集和工人頭部數據集，目前尚無該領域的公有數據集，因此本文通過網絡圖片、施工現場監控視頻等渠道采集數據，樣本數據的選取選擇包括：1) 涵蓋大、中、小多尺度目標圖像，尤其增加小目標樣本的比重；2) 采集攝像頭不同視角下的圖像，包括俯視、平視等角度；3) 包含工人蹲姿、屈姿等多姿態圖像；4) 加入陰天、雨天等惡劣天氣下的目標樣本。本文建立的施工場景下的安全帽數據集部分樣本圖像如圖5所示。

針對檢測目標尺度大小不一的問題，在訓練集中應包含多尺度的目標樣本，以提高模型對多尺度目標檢測的魯棒性；針對攝像頭由于光照、天氣原因導致的成像質量不穩定問題，考慮對部分訓練樣本加入噪聲擾動，增加模型在惡劣環境下檢測的魯棒性。圖6為分別為增加鹽噪聲(salt noise)和胡椒噪聲(pepper noise)的圖片。

圖5 安全帽樣本圖像示例

圖6 添加噪聲的樣本圖像

將本文的建立的施工場景下工人佩戴的安全帽數據集命名為HD2019(Helmet Dataset 2019)，將施工場景下工人頭部的數據集命名為WHD2019 (Worker Head Dataset 2019)，數據集屬性如表2 所示。

表2 本文數據集屬性

3.2 實驗平臺及模型參數

實驗平臺軟硬件配置如表3所示，模型的所有訓練均在此平臺完成。

表3 實驗平臺軟硬件配置

模型訓練參數設置如下：Momentum設置為0.9，Decay設置為0.0005，Batch size設置為4，Epoch設置為2 000，learn_rate設置為：0.001，Step：100，15 000，25 000，scales：10,.1,.1。

3.3 檢測性能評價指標

平均精度(AP)：精確率和召回率是互相影響的，如果想要提高精確率就會把模型的置信度閾值調高，置信度較高的預測才會被顯示出來，而有些真正樣本(TP)由于置信度較低卻無法顯示，導致召回率下降。一般情況下準確率高、召回率就會較低，反之亦然。為了合理評價檢測模型的性能，PASCAL Visual Objects Classes(VOC) challenge[13]提出了AP指標，即計算P-R曲線與坐標軸圍成的面積。

其中，TP(True Positive)：真正樣本，即實際是正例，預測為正例；FP(False Positive)：假正樣本，即實際為負例，預測為正例；TN(True Negative)：真負樣本，即實際為負例，預測為負例；FN(False Negative)：假負樣本，即實際為正例，預測為負例。

平均精度均值(mAP)：即取模型識別所有類別的平均精度(AP)值的均值，平均精度均值=所有類別的平均精度值之和/所有類別的數目。

4 實驗結果對比及可視化分析

4.1 實驗結果對比

需要說明的是，本文的檢測場景為多光照條件、多人體姿態、多尺度目標的室外施工場景，實驗結果及可視化結果均為在該場景下的測試結果。

選取模型性能綜合評價指標AP(平均精度)和mAP(平均精度均值)對改進前的YOLOv3模型及改進后的YOLOv3-C模型進行評價，結果如表4所示。

表4 YOLOv3模型與YOLOv3-C模型對比結果

對實驗結果進行分析：YOLOv3-C1的mAP(平均精度均值)相較于YOLOv3提升了2.47%，YOLOv3-C1模型對本文樣本集的先驗框尺寸利用K-means算法進行重聚類，得到更貼合安全帽樣本的先驗框尺寸，進而提高模型對圖像中目標的定位精度；YOLOv3-C2的mAP相較于YOLOv3-C1提升了4.08%，在所有改進方法中對網絡結構的改進對模型性能的提升影響最大，結合本文檢測目標特點，佩戴和未佩戴安全帽的頭部在整幅圖像中均屬于極小目標，且環境背景非常復雜，在原網絡結構的基礎上，在特征圖的輸出層多增加了一個104*104的尺度，得到更充分的圖像淺層信息，進而提升了模型在小目標檢測時的檢測精度及檢出率；YOLOv3-C的mAP相較于YOLOv3-C2提升了2.57%，對模型性能提升的影響較大，說明本文將GIOU這一評價指標引入對原MSE損失函數進行改進，在一定程度上修正了原損失函數的反饋失真問題，進而增強了模型的訓練效果，提升了模型的檢測性能；綜上所述，本文提出的YOLOv3-C模型的幾個改進方向均對模型性能提升產生了積極影響，驗證了本文改進方向是合理且有效的。同時從實驗結果可以看出，YOLOv3-C模型對安全帽和工人頭部識別的平均精度分別達到97.01%和90.67%，具備優異的檢測性能及工程應用價值。

4.2 可視化分析

對檢測后的圖像進行可視化分析，可以更直觀地看到YOLOv3-C模型針對本文檢測場景的改進效果，YOLOv3-C模型于YOLOv3模型的對相同檢測場景的檢測效果對比圖如下，圖7為2模型檢測結果圖，其中左側圖為YOLOv3模型的可視化結果，右側圖為YOLOv3-C模型的可視化結果。

圖7 模型檢測可視化結果

如圖7所示，在復雜場景下，YOLOv3-C模型在性能方面表現出了更強的優越性。YOLOv3模型在復雜檢測情境下的性能較差，出現了大量的錯檢及漏檢情況，目標框定位精度偏低，出現了較多的堆疊、累積情況。而YOLOv3-C模型由于在網絡結構、損失函數等方面對施工復雜場景進行了針對化的改進，從而表現出了更好的性能及更準確的定位精度。

5 結論

1) 針對安全帽兩階段檢測法表現出的檢測效率及誤差累積的兩方面劣勢，本文采用單階段檢測法，將安全帽與頭部視為一個整體，在模型中只需檢測2類目標：戴安全帽的工人頭部和未佩戴安全帽的工人頭部，一方面，提升了模型的檢測效率，另一方面，避免了兩階段檢測法帶來的累積誤差對安全帽檢測模型性能的影響。

2) 針對YOLOv3模型在小目標、復雜背景情形下檢測性能欠佳的問題，首先對本文的檢測場景(塔機施工現場)的特點進行分析，接著針對這些特點對YOLOv3模型在網絡結構、損失函數、先驗框尺寸方面進行改進，提出了YOLOv3-C模型，實驗結果顯示，YOLOv3-C模型的對安全帽檢測的平均精度達到97.01%，相較YOLOv3模型其檢測性能有了大幅提升。同時，通過對實驗結果進行可視化分析，結果顯示YOLOv3-C模型對本文的檢測場景檢測魯棒性較強。

3) 本文提出的安全帽佩戴狀態檢測模型未考慮天氣對圖像成像質量的影響。雨雪、霧霾天氣會使攝像頭的成像質量迅速下降，檢測目標也隨之模糊不清，模型的檢測性能會受到較大影響。因此，下一步應考慮應用圖像增強技術在檢測模型前端進行預處理，以應對惡劣天氣條件下的檢測。

[1] 黃愉文, 潘迪夫. 基于并行雙路卷積神經網絡的安全帽識別[J]. 企業技術開發, 2018, 37(26): 24?28. HUANG Yuwen, PAN Difu. Helmet recognition based on parallel double convolutional neural networks[J]. Technological Development of Enterprise, 2018, 37(26): 24?28.

[2] 劉曉慧, 葉西寧. 膚色檢測和Hu矩在安全帽識別中的應用[J].華東理工大學學報(自然科學版), 2014, 40(3): 365?370. LIU Xiaohui, YE Xining. Skin color detection and Hu moments in helmet recognition research[J]. Journal of East China University of Science and Technology (Natural Science Edition), 2014, 40(3): 365?370.

[3] 李琪瑞. 基于人體識別的安全帽視頻檢測系統研究與實現[D]. 成都: 電子科技大學, 2017. LI Qirui. A research and implementation of safety-helmet video detection system based on human body recognition [D]. Chengdu: University of Electronic Science and Technology of China, 2017.

[4] 杜思遠. 變電站人員安全帽佩戴識別算法研究[D].重慶:重慶大學, 2017. DU Siyuan. Research on recognition algorithm of safety helmet wear of substation personnel[D]. Chongqing: Chongqing University, 2017.

[5] 閆蓉蓉. 面向工業現場的安全帽檢測算法研究[D]. 西安: 西安理工大學, 2019. YAN Rongrong. Research on helmet detection algorithm for industrial site[D]. Xi’an: Xi’an University of Technology, 2019.

[6] 楊莉瓊, 蔡利強, 古松. 基于機器學習方法的安全帽佩戴行為檢測[J]. 中國安全生產科學技術, 2019, 15(10): 152?157. YANG Liqiong, CAI Liqiang, GU Song. Detection on wearing behavior of safety helmet based on machine learning method[J]. Journal of Safety Science and Technology, 2019, 15(10): 152?157.

[7] 王忠玉. 智能視頻監控下的安全帽佩戴檢測系統的設計與實現[D]. 北京: 北京郵電大學, 2018. WANG Zhongyu. Design and implementation of detection system of wearing helmets based on intelligent video surveillance[D]. Beijing: Beijing University of Posts and Telecommunications, 2018.

[8] Redmon J, Farhadi A. YOLOv3: An Incremental Improvement[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2018.

[9] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic, segmentation[C]// CVPR. IEEE, 2014.

[10] 張強. 基于改進YOLOv3的手勢識別方法研究[D]. 合肥: 合肥工業大學, 2019. ZHANG Qiang. Hand gesture recognition approach research based on improved YOLOv3[D]. Hefei: Hefei University of Technology, 2019.

[11] 王思元, 王俊杰. 基于改進YOLOv3算法的高密度人群目標實時檢測方法研究[J]. 安全與環境工程, 2019, 26(5): 194?200. WANG Siyuan, WANG Junjie. Dense population real-time detection method based on improved YOLOv3 algorithm[J]. Safety and Environmental Engineering, 2019, 26(5): 194?200.

[12] Rezatofighi H, Tsoi N, Gwak J Y, et al. Generalized intersection over union: A metric and a loss for bounding box regression[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019: 658? 666.

[13] Everingham M, Eslami S M A, Van Gool L, et al. The pascal visual object classes challenge: A retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98?136.

Detection of wearing state of safety helmet based on YOLOv3 in construction scene

HAN Kun, LI Siyu, XIAO Yougang

(School of Traffic and Transportation Engineering, Central South University, Changsha 410075, China)

The two-stage detection method used in the existing safety helmet detection research has low detection efficiency, and the cumulative error has a greater impact on accuracy. In view of this problem, this paper proposed a single-stage detection method of safety helmets, which combined the safety helmet and the worker’s head. The department was regarded as a whole, and the detection targets were divided into two categories, heads with helmets and heads without helmets. The two types of targets were detected at the same time, avoiding the effects of redundant calculation steps and accumulated errors. At the same time, this paper improved the network structure, loss function and a prior boxes size of YOLOv3 based on the detection characteristics of the safety helmet wearing status in the construction scene, and the YOLOv3-C model was proposed based on the above. The experimental results show that the detection performance of YOLOv3-C model has been greatly improved. The mAP of the sample concentration model established in this paper reaches 93.84%.The average accuracy of the safety helmet detection reaches 97.01%.The average accuracy of the worker head detection reaches 90.67%. At the same time, YOLOv3-C shows good robustness to the detection scenario in this paper.

detection of safety helmet; YOLOv3; network structure; loss function

X947

A

1672 ? 7029(2021)01 ? 0268 ? 09

10.19713/j.cnki.43?1423/u.T20200284

2020?04?08

湖南省科技計劃資助項目(2013GK3004)

韓錕(1977?)，女，湖北隨州人，副教授，博士，從事載運工具智能測控與信息技術研究工作；E?mail：hkun@csi.edu.cn

(編輯 蔣學東)