面向嵌入式平臺的安全帽實時檢測方法

農元君，王俊杰，徐曉東，趙雪冰

中國海洋大學 工程學院，山東 青島266100

建筑業因勞動密集及施工作業環境復雜導致安全事故多發。據住房和城鄉建設部統計，2019年全國共發生房屋市政工程生產安全事故773起、死亡904人，給社會和家庭帶來了巨大的損失[1]。安全帽作為保障現場作業人員生命安全的基本裝置，很大程度上能減輕安全事故對作業人員的傷害。但由于施工現場安全管理疏忽、佩戴安全帽引起不適以及施工作業人員安全防護意識薄弱等原因，一些因未佩戴安全帽而引發的工程安全事故頻發。因此，實現建筑施工現場工人的安全帽佩戴識別和檢測具有重要的現實意義。

傳統的安全帽檢測方法主要包括施工管理人員現場巡檢以及查看監控視頻等，存在耗時費力、人工成本高、容易出現漏檢等缺陷。隨著計算機視覺技術的快速發展，目標檢測技術掀起新的研究熱潮，為安全帽的智能化檢測提供了新的研究視角。目前，應用廣泛的目標檢測方法主要分為兩類：一類是以Fast R-CNN[2]和Faster R-CNN[3]等為代表的基于區域建議的目標檢測算法；另一類是以SSD[4]和YOLO[5-7]等為代表的基于回歸的目標檢測算法。前者檢測精度高但速度慢，難以實現實時檢測，后者檢測速度快但精度較低。目前已有學者將目標檢測技術應用到安全帽的佩戴檢測中。方明[8]、林俊[9]、施輝[10]、王兵[11]采用基于YOLO的方法對安全帽進行自動識別和檢測；Wu[12]采用基于SSD 的方法對施工現場工人的安全帽佩戴進行檢測；張明媛[13]、徐守坤[14]采用基于Faster R-CNN的方法自動識別和檢測安全帽。

盡管采用目標檢測方法可實現對安全帽的自動檢測，且準確率較高，但已有研究均采用GPU工作站作為實驗平臺，缺乏在嵌入端對安全帽進行檢測的考慮。相比而言，基于嵌入端的安全帽檢測方法將原有在服務器端的檢測任務遷移到數據源附近，具有實時數據處理、低延遲、部署成本低、可擴展性強等優勢，可實現對工人安全帽佩戴的快速檢測。

基于此，本文提出一種適用于嵌入式平臺的輕量化安全帽實時檢測方法MT-YOLO。該方法通過優化網絡結構、引入空間金字塔池化模塊、改進初始化錨框對Tiny-YOLOv3[7]進行改進優化。實驗結果表明，所提方法具有較高的檢測精度，同時在嵌入式平臺NVIDIA Jetson Nano 上可達到實時的檢測速度，滿足了在嵌入端對安全帽佩戴進行實時高精度檢測的需求。

1 Tiny-YOLOv3算法

Tiny-YOLOv3 作為YOLOv3[7]的輕量化版本，是一種端到端的基于回歸的目標檢測方法。如圖1 所示，Tiny-YOLOv3 將目標識別作為回歸問題進行求解，直接在整幅圖上回歸得到目標邊框的位置和類別，提高了識別的速度。Tiny-YOLOv3 網絡結構如圖2 所示。以416×416 尺寸的輸入圖像為例，Tiny-YOLOv3 采用由7層卷積層和6 層池化層組成的特征提取網絡對輸入圖像進行特征提取，特征提取完成后借鑒特征金字塔網絡[15]的思想，在13×13和26×26兩個尺度上進行檢測。

圖1 Tiny-YOLOv3檢測原理Fig.1 Detection principle of Tiny-YOLOv3

圖2 Tiny-YOLOv3的網絡結構Fig.2 Tiny-YOLOv3 network structure

2 改進Tiny-YOLOv3

Tiny-YOLOv3因結構輕巧及計算量小等特點，可在嵌入式設備上實現實時檢測，但對安全帽的檢測精度較低，無法滿足實際需求。基于上述考慮，對Tiny-YOLOv3進行如下優化：（1）通過改進特征提取網絡和多尺度預測優化網絡結構；（2）引入空間金字塔池化模塊；（3）采用K-means聚類算法改進初始化錨框；（4）引入CIoU邊界框回歸損失函數。

2.1 優化網絡結構

Tiny-YOLOv3 的特征提取網絡采用最大池化操作對特征圖進行下采樣以降低特征圖的大小。最大池化操作在一定程度上可提高網絡的泛化能力，但只保留池化窗口中安全帽特征信息的最大值，會造成部分語義特征信息的丟失，進而影響模型檢測性能。施工現場背景環境復雜，會對安全帽檢測產生干擾，因此安全帽的特征信息對網絡模型的訓練學習至關重要。相較于最大池化操作，卷積操作對卷積窗口中的安全帽信息進行相乘求和，考慮了卷積窗口中所有的安全帽信息，可降低安全帽特征信息的丟失。因此，將步長為2的最大池化層替換為步長為2的卷積層對特征圖進行下采樣，提高網絡的特征提取能力。

Tiny-YOLOv3特征提取網絡中卷積核數量為1 024的第13層卷積層在416×416的輸入尺寸下消耗15.95億次浮點運算，對計算資源有限的嵌入式平臺來說過于冗余，不利于網絡對安全帽的實時檢測。因此，移除特征提取網絡中第13 層卷積層以及第12 層最大池化層，降低Tiny-YOLOv3 的冗余度，提高其在嵌入式設備上的檢測速度。同時將第11 層的卷積核數量從512 減少到256以進一步精簡網絡。

Tiny-YOLOv3對輸入圖像進行特征提取后，在13×13、26×26 兩個尺度的特征圖上進行預測，未能充分利用淺層的特征信息。如圖3 所示，與26×26 尺度的深層特征相比，52×52尺度的淺層特征包含豐富的安全帽細節信息和位置信息，對目標定位較準確，同時淺層特征感受野包含的背景噪聲小，對安全帽小目標有更好的表征能力。在建筑施工現場安全帽檢測任務中，因檢測距離的遠近會產生大小不同的安全帽目標，存在小目標。為了提高Tiny-YOLOv3 對安全帽小目標的檢測效果，優化多尺度預測結構，增加一個52×52 的預測尺度，在13×13、26×26、52×52三個尺度的特征圖上進行預測。

圖3 淺層特征與深層特征Fig.3 Shallow features and deep features

2.2 引入空間金字塔池化模塊

在施工現場的安全帽檢測中，因檢測距離的不同存在大中小不同尺度的安全帽目標，導致輸入網絡的安全帽特征信息尺度不一致。為了解決該問題，引入空間金字塔池化[16]（spatial pyramid pooling，SPP）模塊。該模塊借鑒了空間金字塔的思想，通過池化操作將局部特征映射到不同維度空間并將其進行融合，豐富特征圖的多尺度信息。如圖4 所示，13×13×256 的安全帽特征圖輸入SPP模塊后，在5×5、9×9、13×13三個大中小不同尺度的池化層上進行池化操作，生成三個13×13×256的局部特征圖，最后將生成的三個局部特征圖與原始輸入的特征圖利用通道融合在一起，得到13×13×1 024的特征圖，豐富了安全帽特征圖的多尺度信息。引入SPP 模塊可將大中小不同尺度的安全帽特征進行融合，有助于消除因不同大小目標造成特征信息尺度不一致的影響，提高檢測準確率。

圖4 空間金字塔池化模塊Fig.4 Spatial pyramid pooling module

將改進后的模型命名為MT-YOLO，其結構如圖5 所示。與Tiny-YOLOv3 相較，MT-YOLO 優化了網絡結構，并引入了空間金字塔池化模塊。

圖5 MT-YOLO的網絡結構Fig.5 MT-YOLO network structure

2.3 改進初始化錨框

Tiny-YOLOv3 的初始化錨框由K-means 聚類算法在公共數據集上聚類生成，用于預測邊界框的坐標。由于公共數據集基于自然場景采集，目標類別豐富，所生成的錨框具有普遍性，不適合本文的安全帽檢測場景，使用原始錨框將難以得到準確的目標框信息。因此，需要采用K-means聚類算法在安全帽數據集上重新聚類，確定適合安全帽檢測場景的錨框。Tiny-YOLOv3 采用6 個錨框并按面積從小到大均分到2 個尺度的特征圖上，由于提出的MT-YOLO 增加了一個預測尺度，在三個尺度上進行預測，因此將框數量增加至9 個，采用K-means聚類算法在安全帽數據集上進行維度重聚類，目標框聚類及錨框分布如圖6 所示，得到的9 個錨框分別為（5，9）、（11，19）、（17，30）、（24，44）、（34，60）、（46，85）、（70，111）、（90，167）、（149，245），將其面積按從小到大排列均分到52×52、26×26、13×13 三個不同尺度的特征圖上。

圖6 目標框聚類及錨框分布圖Fig.6 Target clustering and anchor distribution

2.4 引入CIoU邊界框回歸損失函數

IoU（intersection over union）是目標檢測中重要的一個指標，其通過計算真實框和預測框之間的交并比來衡量邊界框的優劣。IoU的計算式如式（1）所示：

式中，A為目標的預測框，B為目標的真實框。

Tiny-YOLOv3 采用IoU 作為損失函數，如式（2）所示。該損失函數具有尺度不變性的優點，但存在一個缺陷：當檢測框與真實框沒有重合部分時，梯度不存在，無法進行梯度下降優化。

為了彌補IoU損失函數存在的不足，本文采用CIoU邊界框回歸損失函數[17]，如式（3）所示。該損失函數考慮了檢測框的重疊面積以及檢測框中心點的距離，有效解決了當檢測框與真實框沒有重合部分時所導致的IoU損失函數為零的問題，同時還增加檢測框和真實框的長寬比相似性的衡量參數，使模型更傾向于往重疊區域密集的方向優化。

式中，b、bgt分別表示預測框和真實框的中心點，ρ表示預測框和真實框兩個中心點之間的歐式距離，c表示能夠同時包含預測框和真實框的最小閉包區域的對角線距離，υ為衡量檢測框和真實框的長寬比相似性的參數，α為權重參數。

3 實驗

3.1 實驗數據集

在公開的安全帽數據集GDUT-HWD[12]上對提出的方法進行驗證。該數據集涵蓋了不同背景條件、不同光照條件以及存在遮擋的圖像數據，共有3 174張圖像和5個類別目標，其中1 587張圖像用作訓練集，剩余的1 587張圖像用作測試集。5類目標分別是佩戴紅色、黃色、白色、藍色安全帽的目標，以及未佩戴安全帽的目標，對應的類別標簽為red、yellow、white、blue和none。

3.2 實驗平臺及配置

目標檢測方法的訓練和驗證對硬件環境要求較高，因此選擇在GPU 型號為GeForce RTX 2060 并采用CUDA10.1、CUDNN7.6 加速的工作站上對提出的模型進行訓練和驗證，再將訓練完的模型移植到GPU型號為ARMv8 Processor rev1 并采用CUDA10.2、CUDNN8.0加速的嵌入式平臺NVIDIA Jetson Nano 上進行部署。實驗基于Darknet 深度學習框架進行，訓練時批處理大小設置為64，分組設置16，動量設置0.9，權重衰減設置0.000 5，初始學習率設置10-3，同時引入Mixup[18]數據增強方法以提高模型的泛化性能。

3.3 評價指標

為了定量評價實驗結果，采用平均準確率均值（mean average precision，mAP）、召回率（recall）、F1 值作為衡量模型精度的指標，計算公式如式（5）、式（6）、式（8）所示。同時還采用模型體積（volume）、浮點運算量（billion float operations，BFLOPs）和每秒幀率（frame per second，FPS）作為衡量模型大小、計算量、及運行速度的指標。模型性能檢測及評價在416×416、512×512、608×608三個不同的輸入尺寸下進行。

式中，TP表示真正例，FN表示偽負例，FP表示偽正例，n表示類別總數。

3.4 訓練過程可視化

采用安全帽訓練集對提出的模型進行訓練，訓練過程的損失變化如圖7所示。網絡前5 000次迭代期間的損失值較大，隨著迭代次數的增加損失值不斷減小，當迭代到15 000 次后損失值基本穩定在0.5 左右，表示模型收斂。

圖7 訓練過程損失曲線Fig.7 Loss curve in training process

4 實驗結果

4.1 測試結果

表1對比了所提出的MT-YOLO與其他方法的檢測性能。由表1 可知，MT-YOLO 在精度、計算量、模型體積上具有較大優勢。在檢測精度方面，MT-YOLO 在608×608的輸入尺寸下實現了87.50%的mAP、84%的召回率、83%的F1值，較Tiny-YOLOv3相關指標分別高出11.27、11和7個百分點，與高精度版本YOLOv3相接近。尤為重要的是相較于Tiny-YOLOv3，提出的MT-YOLO方法在較低的輸入尺寸416×416 下仍能保持較高的檢測精度，表明其具有較強的魯棒性。在計算量和模型體積方面，MT-YOLO 方法的計算量和體積均小于Tiny-YOLOv3和YOLOv3方法，有利于緩解嵌入式設備的計算壓力，釋放存儲空間。實驗結果表明，相較于Tiny-YOLOv3，所提方法在減少計算量和模型體積的同時，有效提高了安全帽檢測精度。

表1 不同模型的檢測性能Table 1 Detection results of different models

圖8為不同模型在五個類別目標上的PR（precisonrecall）曲線，曲線下的面積即為相應模型在該類目標下實現的平均準確率（average precision，AP）。從圖8可看出，所提出的MT-YOLO在五個類別目標上的平均準確率均高于Tiny-YOLOv3，與高精度版本YOLOv3相接近。

圖8 不同模型在五個類別目標上的PR曲線Fig.8 PR curves of different models on five categories of targets

4.2 檢測結果可視化

圖9展示了所提出的MT-YOLO在安全帽測試集中不同環境場景下的檢測結果。由圖9可知，在檢測角度不佳、目標存在遮擋、目標密集、小目標等復雜環境場景下，MT-YOLO具有良好的檢測性能，均精準地檢測出工人是否佩戴安全帽。

圖9 MT-YOLO在不同環境場景下的檢測結果可視化Fig.9 Detection results visualization of MT-YOLO under different environments

4.3 泛化性檢驗實驗

為了進一步檢驗所提出模型的泛化性，除了在公開的安全帽測試集上檢驗MT-YOLO的效果之外，還運用從施工現場收集的圖像數據直接檢驗模型的檢測效果。圖10展示了不同模型在光線不佳、小目標、目標密集等實際施工現場環境下的檢測效果。由圖10 可見，Tiny-YOLOv3 存在較多的漏檢（圖中相應實線橢圓處）和誤檢現象（圖中相應虛線橢圓處），YOLOv3在密集目標場景中也存在漏檢現象，但MT-YOLO依然保持了良好的檢測性能，均精準地檢測出了安全帽目標，表明該方法具有良好的泛化性。

圖10 MT-YOLO與其他模型的泛化性檢測結果Fig.10 Generalization test results of MT-YOLO and other models

4.4 嵌入式平臺實驗

如圖11所示，為檢驗提出的模型在嵌入式平臺上的檢測速度，將訓練好的模型加載到TensorRT加速引擎中進行加速推理后，部署到嵌入式平臺NVIDIA Jetson Nano上，并與其他模型的檢測速度相比較，結果如表2所示。

圖11 在嵌入式平臺Jetson Nano上進行實驗Fig.11 Experiment on embedded platform of Jetson Nano

表2 不同方法在Jetson Nano上的檢測速度Table 2 Detection speed of different models on Jetson Nano

由表2 可知，受嵌入式平臺計算能力的限制，檢測精度較高的YOLOv3 在Jetson Nano 上只達到了最高3.85 frame/s的檢測速度，無法實現實時檢測。而提出的MT-YOLO在三種輸入尺寸下分別實現了20.58、28.63、39.12 frame/s 的實時檢測速度，可滿足在嵌入端對安全帽進行實時檢測的需求。為了提高檢測精度，本文對原始的Tiny-YOLOv3網絡結構進行了優化并引入空間金字塔池化模塊，增加了模型的復雜度，使得MT-YOLO的檢測速度稍遜色于Tiny-YOLOv3，但依然滿足安全帽實時檢測的需求。實驗結果表明，本文提出的MT-YOLO在嵌入端滿足實時檢測的情況下，檢測精度較Tiny-YOLOv3有較大幅度的提升，更適合在嵌入端進行安全帽檢測。

5 結論

為了實現在嵌入端對工人佩戴安全帽進行檢測，以Tiny-YOLOv3 檢測方法為基礎，通過優化原始網絡結構、引入空間金字塔池化、維度重聚類確定適合安全帽檢測的錨框、引入CIoU邊界框回歸損失函數，提出一種適用于嵌入式平臺的輕量化安全帽檢測方法。實驗結果表明，所提方法檢測精度高、計算量少、模型體積小、實時性好、泛化性和魯棒性強，在608×608 的輸入尺寸下，平均準確率均值和召回率分別達到了87.50%和84%，較Tiny-YOLOv3 提升了11.27 和11 個百分點，計算量和模型體積較Tiny-YOLOv3 方法減少了22.06和63.40個百分點，且在嵌入式平臺NVIDIA Jetson Nano上可達到20.58 frame/s的實時檢測速度，隨著輸入尺寸的減小，其在嵌入式平臺上的檢測速度可以進一步提升。本文提出的方法在精度上稍遜色于Tiny-YOLOv3方法的高精度版本YOLOv3，下一步將引入注意力等機制，在保持實時檢測速度的情況下進一步提升模型的檢測精度。