改進的輕量級安全帽佩戴檢測算法

劉雪純，劉大銘*，劉若晨

（1. 寧夏大學 電子與電氣工程學院，寧夏 銀川 750000；2. 寧夏大學 沙漠信息智能感知重點實驗室，寧夏 銀川 750000）

1 引 言

建筑工程安全工作是工程建設管理中不可或缺的一部分。佩戴安全帽可以有效減輕高空墜物對工人頭部的傷害［1］，然而有些工人安全意識淡薄，不按要求佩戴安全帽，導致事故的發生。因此，對施工現場進行安全帽佩戴檢測具有一定的現實意義。早期的檢測主要依賴人工，但監視人員不會時刻處于施工現場，并且由于疲勞以及其他原因，漏檢的現象經常發生［2］。近年來，隨著計算機視覺技術的發展，不少學者對安全帽佩戴檢測做了大量工作。傳統的檢測算法采取了支持向量機算法以及方向梯度直方圖特征先檢測人體，再基于安全帽的顏色特征檢測出頭盔［3］。但實際作業環境復雜多變且安全帽體積較小，傳統檢測方法的魯棒性和泛化性較差。

2012 年，基于深度學習［4］的檢測算法時期到來。卷積神經網絡的檢測算法分為兩階段和一階段。兩階段的代表算法主要有R-CNN［5］、Fast-RCNN［6］、Faster-RCNN［7］，核心思想是將被檢測圖像分割成一個個區域，形成候選框，然后在此基礎上做分類或者回歸。徐守坤等在算法Faster-RCNN 的基礎上增加錨點數量，優化原始模型，解決了目標尺寸差異大、遮擋等因素的影響，完成了安全帽佩戴檢測且檢測準確率高，但檢測速率慢，無法滿足實時監控的需求［8］。2015 年，Redmon 提出了一階段檢測算法YOLO（You Only Look Once）［9］，核心思想是無需提取候選框，直接對圖像進行端到端的回歸，一次性完成物體的分類與位置回歸，提高了訓練效率和檢測速度。2020 年，YOLOv5 以最高140 FPS 的檢測速度問世，真正實現了實時監測。雖然YOLOv5 可以實現多種物體的實時監測，但是對于小目標仍有漏檢現象，且參數量多、模型較大，難以應用在嵌入式設備端。為了解決以上問題，本文在YOLOv5 的基礎上提出了一種基于注意力機制和多尺度特征融合的輕量級安全帽佩戴檢測算法YOLOv5-Q，主要改進了以下3 個方面：

（1）采用輕量級的GhostNet 網絡代替原主干網絡。GhostNet 網絡先用普通的1×1 卷積核生成部分真實特征層，實現對輸入圖片通道數的壓縮；再使用深度可分離卷積（DW）對真實特征層的每個通道進行低成本計算，得到Ghost 特征層；最后將Ghost 特征層和真實特征層組合形成的特征層作為輸出。GhostNet 網絡大幅減少了網絡計算量，實現了輕量化。

（2）提出了四尺度特征融合的檢測方法。首先，在原網絡80×80 的特征圖上進行2 倍上采樣操作形成160×160 的特征圖；其次，為了獲得更加豐富的語義信息，增強淺層和深層的特征信息，將新特征圖融合原模型的3 層特征信息，形成四尺度檢測，提升了密集目標及小目標的檢測精度。

（3）添加了CA 注意力機制。通過提升特征圖中重要信息的權重并抑制非相關信息的權重，對權重進行重新分配使得網絡更好地學習原圖目標物體的特征信息，使輕量級的模型具有復雜網絡模型的學習能力，增加模型檢測的召回率，從而提升模型的精度。

2 YOLOv5 原理

YOLOv5 經過不斷更新迭代，現官方根據模型的大小推出了YOLOv5s、YOLOv5m、YOLOv5l以及YOLOv5x［10］，各個模型的不同之處僅在于網絡的寬度與深度，采用縮放因子控制模型的大小，其中，YOLOv5s 模型的深度和寬度最小，運算速度最快。

YOLOv5 網絡結構由4 部分組成，分別是輸入端、骨干網絡（Backbone）、頸部（Neck）及輸出端。輸入是640×640 的彩色圖像，采用了Mosaic進行數據增強、初始錨框計算、自適應圖片縮放等［11］。骨干網絡使用Focus、CSP 結構［12］和空間金字塔池化（SPP）結構提取圖像的特征。Focus進行2 倍下采樣，將輸入圖像640×640×3 切分為4 個320×320 結構，然后通過拼接操作得到12 維的特征圖，再經過卷積生成32 維的特征圖。YOLOv5 的第6 個版本將focus 結構修改為一個卷積操作，增加了導出功能，方便網絡結構的可視化。將SPP 結構改為SPPF 結構，旨在增強特征圖的特征表達能力。其次，YOLOv5 中設計了兩種CSP 結構，分別是CSP1_X 和CSP2_X。CSP1_X 應 用 于Backbone 主 干 網 絡，CSP2_X 應用于Neck。第6 版中CSP 結構用C3 替換，加強網絡特征融合的能力。在Neck 中，YOLOv5 加入了FPN（Feature pyramid networks）+PAN（Path Aggregation Network）結構。FPN 自頂向下地將高層特征通過上采樣與低層的特征做融合得到特征圖。PAN 在FPN 的后面添加一個自下向上的金字塔，將低層的定位特征傳遞上去。FPN+PAN 結合了底層和高層的圖像特征融合。輸出端對圖像進行預測，可以對生成的3 個特征圖進行多尺度預測。YOLOv5 的結構圖如圖1所示。

圖1 YOLOv5 結構圖Fig.1 YOLOv5 structure

YOLOv5 作為單階段檢測算法，集成了速度與精度，可以一次性實現目標分類與定位任務，滿足目標檢測的實時性要求，在PASCAL VOC 與COCO（Common Objects in Context）數據集上［13］取得了較好的效果，但針對特定場景的小目標檢測的泛化性還有待提高。本文針對小目標的漏檢以及移植性困難等問題對YOLOv5 模型進行改進，提出了一種基于注意力機制和多尺度特征融合的輕量級安全帽佩戴檢測算法YOLOv5-Q。

3 YOLOv5 的改進

3.1 主干網絡的改進

YOLOv5 中采用了跨區域特征融合算法，融合了多層特征圖的信息，參數較多，但是安全帽佩戴檢測的環境復雜，需要移植在嵌入式端實現目標檢測，只有較少的參數量和計算量才能實現遠程網絡部署。本文選擇輕量級的GhostNet［14］代替YOLOv5 的主干網絡實現特征提取。

在網絡輕量級改進過程中，主流思想是保留特征信息中的顯著部分，將冗余信息從網絡中剔除，雖然達到了輕量級的特點，但是精度卻有所下降。GhostNet 網絡考慮到冗余的信息也可能是成功模型的重要組成部分，在設計改進輕量化時并沒有去除這些冗余，而是用更低成本的計算量來獲取特征。如圖2 所示。

圖2 GhostNet 網絡結構Fig.2 GhostNet network structure

圖2（a）是普通卷積示意圖，h×w×Ci是輸入特征圖，h'×w'×Co是輸出特征圖。卷積核大小為k×k。普通卷積計算量如式（1）所示：

圖2（b）是GhostNet 網絡的卷積過程［15］。對于輸入的特征層，首先用普通的1×1 卷積核生成部分真實特征層，實現對輸入圖片通道數的壓縮；再使用深度可分離卷積（DW）對真實特征層的每個通道進行低成本計算，得到Ghost 特征層；最后將Ghost 特征層和真實特征層組合形成的特征層作為輸出。GhostNet卷積的計算量如式（2）所示：

其中，m表示輸入特征圖分為m份。

普通卷積與GhostNet 卷積的比例為：

因此GhostNet 卷積方法比普通的卷積運算量減少了m倍，縮短了網絡訓練的時間，降低了計算的成本。YOLOv5-Q 主干提取網絡結構如表1 所示。

表1 YOLOv5-Q 主干提取網絡結構Tab.1 YOLOv5-Q backbone extraction network structure

表1 中From 列的-1 表示輸入來自上一層輸出［16］，Number 列的1 表示只進行一次Ghost 運算，GhostBottleneck 后Arguments 列的值分別表示該模塊的輸入通道數、輸出通道數、1×1 卷積升維后的通道數、卷積核大小以及步長。GhostBottleneck 分別采用步長是1、步長是2 的兩種結構的Bottleneck，如圖3 所示。

圖3（a）是步長為1 的結構，采用兩個Ghost module（GM）串聯組成，殘差邊部分借鑒ResNet網絡，第一個GM 用于擴大輸入通道數，第二個GM將輸出通道數降低至與輸入通道數一致。步長為1 不支持下采樣，用于加深網絡的深度。圖3（b）是步長為2 的結構，在圖3（a）的基礎上增加了步長為2 的深度可分類卷積（DW），對特征圖的高和寬進行壓縮，實現下采樣功能。

GhostNet 代替主干網絡實現輕量化的模型，在保證精度降低最少的情況下，大幅減少了參數量、模型大小，滿足嵌入式部署的要求。表2 是YOLOv5m 與改進的輕量級模型的對比結果

經計算，用GhostNet 替換原YOLOv5m 主干網絡的模型大小是24.93 MB，參數量共計12 187 951 個。YOLOv5m 模型大小是24.93 MB，參數量共計20 856 975 個。由此可知，輕量化后的模型參數量減少了41.6%，模型大小降低了40.8%，滿足嵌入式端部署的需求。

3.2 基于四尺度特征融合的改進

YOLOv5 中使用了3 個尺寸的特征圖融合進行預測，分別是20×20、40×40 和80×80。由于這3 個特征圖經過了多次卷積和下采樣操作，導致丟失了較小目標的特征信息，對于占據圖像位置信息較少的安全帽會造成漏檢現象［17］。為了解決以上問題，本文在三尺寸檢測的基礎上新添加了160×160 的特征圖，形成了四尺度檢測，如圖4 所示。

YOLOv5 中輸入圖像經過2 倍下采樣、4 倍下采樣、8 倍下采樣、16 倍下采樣以及32 倍下采樣得到20×20 的特征圖，再分別經過兩個上采樣得到40×40 和80×80 的特征圖［18］。本文在80×80 的特征圖基礎上，進行一次上采樣得到160×160 的特征信息，再將此特征與4 倍下采樣的特征層進行融合形成第四個160×160 的特征圖。4 倍下采樣得到的特征圖屬于淺層卷積，目標位置信息精確，感受野較小，可以提高小目標檢測的檢測精度。32 倍下采樣得到的20×20 的特征圖的感受野最大，用來檢測大目標。所以大尺度的特征圖應該用小尺寸的先驗框檢測，小尺寸的特征圖應該用大尺度的先驗框檢測。本文采用四尺度檢測結構，4 個尺度的特征圖大小與先驗框尺寸的對應關系如表3 所示［19］。

3.3 基于CA 注意力機制的改進

注意力機制借鑒人類視覺對于事物選擇性關注的特點，傾向于關注事物相關的信息，忽略不相關的信息。同樣，在深度學習中。注意力機制通過對權重的重新分配使網絡能夠更好地學習原圖目標物體的特征信息。

CA（Coordinate attention）是將注意力分解沿著不同方向聚合的特征編碼過程，其中一個方向捕獲長程依賴，另一個空間方向保留精確的位置信息。兩個方向獲得的信息分別編碼形成一對方向感知和位置敏感的特征圖，可以互補地應用到輸入特征圖中來增強相關的目標。

CA 為獲取圖像寬度和高度上的注意力，將輸入特征圖沿著寬度和高度兩個方向分別進行全局平均池化，獲得兩個方向的特征圖，公式如式（4）和式（5）所示：

隨后將兩個方向的特征圖進行拼接，送入卷積核為1×1 的卷積模塊，使維度降為原來的C/r，再經過批量歸一化處理。接著使用1×1 卷積核按原來的高度和寬度進行卷積，分別得到與原來一致的特征圖。經過Sigmoid 激活函數后，分別得到特征圖在高度上的注意力權重gh和在寬度方向上的注意力權重gw。公式如式（6）和式（7）所示：

最后通過乘法加權計算，得到兩個方向上帶有注意力權重的特征圖，公式如式（8）所示：

CA 注意力機制的實現方式如圖5 所示。

圖5 CA 實現原理Fig.5 CA implementation principle

4 實驗與結果分析

4.1 實驗環境與參數設置

本實驗采用YOLOv5m 為預訓練模型，設置初始學習率為0.01，優化器為SGD，動量參數為0.937，最終學習率為0.1，BatchSize 為16，總迭代次數為100，并在訓練模型時采用動量參數為0.8、epoch 為3 的warm-up 方法預熱學習［11］，從而防止模型在初始階段出現過擬合現象，保證模型的穩定性。在warm-up 階段時采用一維線性插值更新學習率，預熱結束后采用余弦退火對學習率進行更新。實驗運行環境如表4 所示。

表4 實驗運行環境Tab.4 Experimental operating environment

4.2 數據集的建立

本文使用的數據集是目前開源的SHWD（Safety Helmet Wearing-Dataset）［20］，其中一部分未佩戴安全帽的類別來自于學生上課的監控照片，不符合施工環境，對其進行剔除，并通過現場采集與網絡爬蟲的方式在數據集中加入多組背景復雜、目標密集的數據集進行補充，總計5 121 張圖片，分辨率大小為640×640。按照8∶2的方式分成了訓練集和驗證集，其中訓練集4 038 張，驗證集1 083 張。使用開源標記軟件Labelimg 標注數據，分為兩個標記類別，佩戴安全帽標記為hat，未佩戴安全帽標記為 person。

為增強檢測結果的泛化性能，本文在實驗前使用了mosaic 數據增強的方法增加圖片的數量以及多樣性。核心思想是將4 張圖片隨機剪裁，拼接為1 張圖進行訓練，極大豐富了圖片的背景，變相增加了batch_size，如圖6 所示。

圖6 Mosaic 數據增強Fig.6 Mosaic data enhancement

4.3 性能評價指標

為驗證改進的YOLOv5-Q 的性能，本文采用召回率（Recall，R）、精確率（Precision，P）、平均精度（Average precision，AP）、平均精度均值（mean AP，mAP）和每秒檢測圖片的幀數（Frames per second，FPS）等作為評價檢測指標。公式如式（9）～（12）所示。

其中，TP（True Positive）表示正確判斷成正樣本，指工人佩戴了安全帽且正確檢測的數量［16］；FP（False Positive）表示錯誤判斷成正樣本，指工人未佩戴安全帽但檢測錯誤的數量；TN（True Negative）表示正確判斷成負樣本，指工人未佩戴安全帽且正確檢測的數量；FN（False Negative）表示錯誤判斷成負樣本，指工人佩戴了安全帽但檢測錯誤的數量；平均精度（AP）是召回率的可能取值下所有準確度的平均值，指的是P-R曲線所圍成的面積；mAP 是對AP 求均值得到的數值，mAP 的數值越大表明算法的精度越高，檢測效果越好。

4.4 結果分析

為驗證YOLOv5-Q 算法的有效性，本文在相同環境下使用相同的數據集與目前比較流行的目標檢測算法（SSD、Faster R-CNN、YOLOv5）進行對比實驗。其中，SSD和YOLOv5為一階段檢測算法，Faster R-CNN 為兩階段檢測算法［10］。具體實驗結果見表5。由表5 可知，本文提出的算法YOLOv5-Q 的模型大小是26.47 MB，對比SSD、Faster-RCNN 和YOLOv5 算法，模型大小分別降低了64.63，81.53，15.7 MB。由此可知，本文提出的YOLOv5-Q 算法在保證精確度的情況下滿足嵌入式設備端移植的需求，在輕量化方面優于SSD、Faster-RCNN 和YOLOv5 算法。

表5 實驗結果對比Tab.5 Comparison of experimental results

為了進一步驗證改進算法YOLOv5-Q 的有效性，本文進行了消融實驗對比分析［21］以檢測各個改進點的優化效果，結果如表6所示。其中改進點1 對應主干網絡的改進，改進點2 對應多尺度特征融合的改進，改進點3 對應注意力機制的改進。

表6 消融實驗Tab.6 Ablation experiments

從表6 可知，本文提出的YOLOv5-Q 引入GhostNet 改進基礎卷積網絡，可以大幅度減少運算量，降低模型大小；四尺度特征融合檢測改進點增加了復雜環境下的漏檢數量；引入注意力機制提升了模型的檢測準確度。結合以上3 類改進點，相對于YOLOv5，本文提出的YOLOv5-Q 模型大小由原來的42.17 MB 降至26.47 MB，降低了37.2%，但是模型精度僅下降了1.2%，完全滿足移植在嵌入式設備端的要求。

4.5 交互式界面

為了體現本文提出的YOLOv5-Q 檢測算法的實用性，本文制作了交互式檢測界面，方便移植到嵌入式設備端。嵌入式設備采用NVIDIA Jetson Xavier NX。交互式檢測界面如圖7 所示。

圖7 交互式檢測界面Fig.7 Interactive inspection interface

其中，圖7（a）是圖片檢測，圖7（b）是攝像頭實時監測及視頻文件檢測。由圖7 可知，移植到嵌入式設備端后其功能仍然可以正常運行。因此，本文實現了在嵌入式平臺上實時檢測安全帽的佩戴情況，改進的YOLOv5 模型的檢測效果也得到了驗證，可以應用在施工現場。

4.6 可視化分析

為了更直觀地看出YOLOv5-Q 檢測算法的優越性，本文對有背景遮擋的小目標頭盔檢測以及雨霧環境下的檢測結果進行了可視化分析。背景遮擋的小目標頭盔檢測可視化結果如圖8 所示，降雨環境下的可視化結果如圖9 所示，大霧環境下的可視化結果如圖10所示。其中的圖（a）、（b）分別是相同檢測場景下YOLOv5m 和YOLOv5-Q的可視化結果。

圖8 背景遮擋的可視化分析結果Fig.8 Results of visual analysis of background occlusion

圖9 降雨環境下的可視化分析結果Fig.9 Results of visualisation analysis in a rainfall environment

圖10 大霧環境下的可視化分析結果Fig.10 Results of visualisation analysis in foggy conditions

從圖8 可以看出，YOLOv5 模型在識別過程中對小目標頭盔有漏檢的情況，本文提出的YOLOv5-Q 模型在相互有遮擋的背景下可以識別出頭盔的佩戴情況，識別準確率優于原YOLOv5。由圖9 可知，降雨環境下的精度并未出現大幅降低，且本文的YOLOv5-Q 在降雨環境下的識別準確率優于原YOLOv5，對于小目標檢測的識別率也優于原YOLOv5。圖10 表明大霧對于安全帽的識別精度有一定的影響，但相比于原YOLOv5，本文的YOLOv5-Q 在大霧環境下的識別準確率更高，對于小目標的識別也更齊全，準確地識別出了大霧環境下安全帽的佩戴情況。圖8、圖9、圖10 測試了3 種復雜環境下安全帽的佩戴情況，針對漏檢現象提出了四尺度特征融合，提升了小目標的檢測精度，證實了YOLOv5-Q在對應環境下的魯棒性和泛化性，表現出了更好的性能［22］。

5 結 論

本文提出一種改進YOLOv5 算法以解決安全帽佩戴檢測中密集目標和小目標的漏檢現象以及計算量大不適合部署在嵌入式設備端等問題。采用Ghost 代替原YOLOv5 特征提取網絡使模型得以輕量化。將原來的檢測網絡改進為四尺度特征融合檢測，提升了小目標的檢測精度。引入CA 注意力機制提升了特征圖中重要信息的權重并抑制非相關信息的權重，從而提升了模型的精度。實驗結果表明，本文改進算法YOLOv5-Q 的模型大小為26.47 MB，參數量為12 696 640，精度為0.937。與原YOLOv5 算法相比，本文算法提高了小目標的識別率，極大地降低了模型的參數，可以移植在嵌入式設備端。