基于改進YOLOv3的安全帽佩戴檢測算法

張旭，董紹江，胡小林，牟小燕

(1.重慶交通大學機電與車輛工程學院，重慶 400074；2.重慶工業大數據創新中心有限公司，重慶 404100；3.重慶工業職業技術學院，重慶401120)

0 前言

目前，社會安全問題越來越受到重視，但是工業生產中相關安全事故仍不斷發生。安全帽作為許多行業的關鍵防護工具，許多企業都明令要求員工在施工環境下必須佩戴[1]。但是由于相關企業監管不利，員工工作期間不佩戴安全帽的現象仍屢禁不止，致使相關安全事故頻頻發生。目前常通過安全員巡檢或者視頻監控等方式監管員工是否佩戴安全帽[2]。通過人工進行巡檢的成本高并且效率低下，而視頻監控最終也要依靠人力長時間觀看監控視頻。所以將機器視覺算法應用在檢測工業環境中相關員工是否佩戴安全帽具有極其重要的研究價值。

目標檢測是機器視覺領域的重要分支，它的出現為自動識別物體開辟了一種創新方式。它具有精確、迅速、可靠等優點，在安防、智能監控、人臉識別[3]、人機交互、機器人視覺、自動駕駛等諸多領域有極大的研究價值和應用前景，受到了學者們的廣泛關注。目標檢測算法的網絡體系結構一般分為兩大類：一類是以R-CNN[4](Region-Convolutional Neural Network)、Faster R-CNN[5]為代表的基于候選框提取的兩級目標檢測算法；另一類是以YOLO[6](You Only Look Once)、SSD[7](Single Shot multibox Detector)、RetinaNet[8]等為代表的基于回歸的一級目標檢測算法。兩級目標檢測算法包括兩個檢測階段：第一階段使用候選區域生成網絡得到一個可能含有目標的候選框；第二階段使用卷積神經網絡完成對候選框內目標的類別預測以及位置預測。一級目標檢測算法是端到端的算法，直接在卷積神經網絡中提取特征預測目標的分類和位置信息，而不使用候選區域生成網絡 (Region Proposal Network，RPN)。

在諸多目標檢測算法中，YOLOv3算法受到研究人員的青睞。例如胡碩等人[9]提出了一種基于深度學習的多車輛跟蹤算法；李澤輝等[10]提出基于改進YOLOv3的紋理瓷磚缺陷檢測。這些針對特定場景優化后的YOLOv3算法均取得了較好的檢測效果。同時，檢測安全帽佩戴的識別算法也有相關研究，例如許凱、鄧超[11]提出基于改進YOLOv3的安全帽佩戴識別算法，優化了YOLOv3算法，提高了安全帽識別的精確率，但其檢測速度相對較慢。本文作者針對工業現場員工佩戴安全帽檢測任務中存在目標尺度小、背景環境復雜以及實時性要求高等問題，基于YOLOv3算法提出了一種改進網絡模型。首先優化YOLOv3的主干網絡，優化原有的Darknet-53、降低網絡復雜度以提高檢測速度；再引入空間金字塔池化模塊充分提取復雜環境下目標的特征；之后將CIoU損失函數作為定位損失函數以提高預測目標與真實目標框的擬合效果；最后通過增加第四尺度融合目標特征提取，以提高模型檢測小目標的能力，針對安全帽數據集聚類出特有的先驗框。通過以上改進來提高YOLOv3算法在安全帽佩戴檢測應用中的精確度與檢測速度。

1 YOLOv3算法介紹

YOLO系列網絡直接對圖像中的目標進行回歸檢測，因此對比目標檢測中兩級目標檢測算法其檢測速度相對較快。通過對比YOLOv1-YOLOv3網絡的優缺點得出：第一代網絡YOLOv1的檢測精度低；YOLOv2在YOLOv1的基礎上添加了多尺度的訓練、高分辨率的分類器、批量標準化三處，使它在YOLOv1的基礎上達到識別對象更多、速度更快以及預測更加準確的效果；YOLOv3基于YOLOv2添加了多尺度融合預測的方法、替換了骨干網絡、將單標簽分類改進為多標簽分類。YOLOv3基本體系結構包括 3 個主要部分：特征提取主干網絡層(Darknet-53)、檢測層和分類層。

特征提取網絡層為Darknet-53的特征提取算法，它由Convolutional以及Res unit模塊組成，如圖1所示。Convolutional模塊中引入Batch Normalization(BN)算法進行數據歸一化，加快了模型訓練時的收斂速度，使得模型訓練過程更加穩定，避免梯度爆炸或者梯度消失。并且起到一定的正則化作用，幾乎代替了Dropout。采用Leaky ReLU激活函數在負軸保留了非常小的常數leak，使得輸入信息小于0時，信息沒有完全丟掉，進行了相應的保留。其公式如式(1)所示：

(1)

殘差疊加的每個主體賦予不同的系數，分別為 1、2、8、8、4。殘差疊加完成之后，將特征映射輸出到下一個殘差體，繼續進行特征提取操作。加入殘差網絡，一方面，殘差網絡1×1的卷積減少了參數量以及計算量，總共將尺寸減少了32倍；另一方面，保證網絡在更復雜的情況下仍然保持收斂。使網絡結構可以更加深入從而得到更好的特征表達，有效提高了分類檢測的效果，尤其對于小目標的識別檢測。

檢測層一共提取3個特征圖，分別位于Darknet-53的中間層、中下層以及底層。最小輸入尺度的特征圖僅在檢測層處理，另外2個尺度的特征圖在被輸入到檢測層之前，先與處理過的較低維映射拼接，然后輸入檢測層。

分類層是以檢測層生成的多尺度融合特征為輸入，經過卷積之后輸出特征，最后一層的通道數如式(2)所示：

δFilters=3?(4+1+δclasses)

(2)

式中：3表示不同大小的預測尺度13像素×13像素、26像素×26像素、52像素×52像素，其中13像素×13像素對應著較大尺寸目標，26像素×26像素用于中等目標的檢測，52像素×52像素對小目標進行檢測；4和1分別表示最終輸出檢測目標類別歸一化后的中心坐標(x，y，w，h)以及置信度；δclasses代表檢測目標類別數。此研究中檢測類別為Person以及Hat 2個類別，因此δFilters為21。YOLOv3網絡結構如圖2所示。

圖2 YOLOv3網絡結構Fig.2 YOLOv3 network structure

2 YOLOv3網絡的改進

2.1 改進YOLOv3的主干網絡

原YOLOv3網絡的Darknet-53包含了多個殘差模塊，導致其模型相對復雜，深層次的網絡可以提取更多的特征信息，但是復雜的模型實時檢測時速度會更慢。而安全帽以及人的特征信息并不豐富，因此復雜的網絡模型反而對此類特征信息較少的目標檢測任務效果并不是很好。針對這一問題，文中將YOLOv3主干網絡中部分殘差模塊進行裁剪，從而降低其模型復雜度，裁剪之后的主干網絡最終保留3個殘差模塊以獲取足夠的特征信息。為了保證4個分類層的特征輸出，在主干網絡中引入4個池化層。裁剪后的主干網絡(Backbone)如圖3所示。

圖3 改進后的BackboneFig.3 Improved Backbone

2.2 空間金字塔池化模塊

不同監控場景下人員分布不均、遠近不同導致圖像的尺度變化較大，難以對目標特征進行全面提取。針對上述問題，文中引入空間金字塔池化[12](Spatial Pyramid Pooling，SPP)模塊進一步提升網絡提取特征信息的能力。SPP是HE等為解決不同圖像尺寸輸入神經網絡之后無法較好地提取特征，影響最終檢測結果而提出的一種方法。SPP先對圖片進行分塊池化，并保證從不同模塊中提取的特征圖維度一致，以解決尺度不統一和信息丟失的問題。同時，因為特征圖中的通道數被擴展為三通道，所以引入SPP之后可以使YOLOv3網絡獲取更為有效的全局信息，不僅解決了檢測層中輸入特征圖尺度變化的問題，還使得特征圖的全局特征以及局部特征得以更好融合。SPP模塊的結構如圖4所示。

圖4 SPP網絡結構Fig.4 SPP network structure

2.3 定位損失函數

IoU是目標檢測中最重要的性能指標之一，表示真實標注目標框與預測目標框的交并比，其計算公式如式(3)所示：

(3)

其中：Ppred表示目標預測框；Ptrue表示目標真實標注框。δIoU的大小反映了目標的檢測效果。但是如果目標預測框與真實目標框沒有交集，IoU則無法反映此時真實框與目標框的距離，導致無法計算傳播梯度。為解決這一問題，文中引入CIoU損失函數。CIoU損失函數不僅考慮了重疊率以及目標與Anchor之間的距離，還考慮了尺度以及懲罰項，從而使目標框回歸變得比IoU更穩定。CIoU損失函數不會出現無法計算梯度的情況，并且CIoU對尺度變換敏感，收斂速度比IoU更快。CIoU損失函數計算公式如式(4)所示：

(4)

式中：ρ2(B,Bgt)為真實框和預測框中心點的歐氏距離；a為權重參數；v為衡量長寬比一致性的參數；c為同時包含真實框以及預測框的最小矩陣區域的對角線距離，如圖5所示，圖中d=ρ2(B,Bgt)。a和v的計算公式分別如式(5)(6)所示：

圖5 CIoU計算示意Fig.5 CIoU calculation

(5)

(6)

式中：ωgt和ω、hgt和h分別代表真實框和預測框的寬、高。

2.4 K-means聚類算法

K-mean聚類算法內容如下：隨機選取k個聚類質心，μ1，μ2，…，μk∈Rn，計算每個樣例i所屬的類：

(7)

重新計算每一個類j的質心：

(8)

重復式 (6)和 (7)直到收斂。

YOLOv3利用Anchor Boxes對邊界框進行定位預測。由于數據集中目標圖像之間尺度變化較大，所以需要根據數據集先聚類出其特有的Anchor Box。因為此研究最終有4個尺度的輸出，所以經過K-means聚類后總共生成了12組先驗框，各組先驗框的大小分別為(5，10)、(6，12)、(7，16)、(8，13)、(8，17)、(10，21)、(14，25)、(18，31)、(24，42)、(34，58)、(51，88)、(92，157)。

2.5 多尺度融合目標特征提取

目標特征的提取是目標檢測的基礎，YOLOv3通過Darknet-53主干網絡進行特征提取，再通過上采樣以及同維拼接最終輸出3個特征尺度對目標進行預測，3個尺度的大小分別是13像素×13像素、26像素×26像素、52像素×52像素。多尺度輸出的特征圖特點不同，低層級特征圖語義含義不夠豐富但精度高，高層級特征圖語義含義豐富但精度低。特征圖越大對應輸入圖像中每一網格區域越小。由于小目標的目標區域相對較小，經過多層卷積和下采樣之后可能造成有效特征信息的丟失，從而導致檢測精度下降。針對此問題，文中在原始YOLOv3 三個特征尺度的基礎上擴展一個104像素×104像素的多尺度融合特征，對小目標進行預測。改進后的YOLOv3網絡會提取出4個尺度的圖像特征，然后分別在4個尺度特征層上進行目標檢測。改進后的YOLOv3網絡結構如圖6所示。其中Big Target、Medium Target、Small Target、Super Target分別對應13像素×13像素、26像素×26像素、52像素×52像素、104像素×104像素4個特征尺度。

圖6 改進后的YOLOv3網絡結構Fig.6 Improved YOLOv3 network structure

3 實驗結果及分析

3.1 實驗環境

實驗環境為Windows操作系統，11th Gen Intel(R)Core(TM)i5-11400F(CPU)，16 GB隨機存取內存(RAM)，RTX 3060(GPU)，12 GB顯示內存，深度學習為Pytorch。數據集分為佩戴安全帽的工人(Hat)和未佩戴安全帽的工人(Person)2個類別，共計6 721張圖片，其中驗證集和訓練集的比例為1∶9。網絡訓練采用帶動量的隨機梯度下降算法，初始學習率為0.01，動量因子為0.9，學習率衰減策略為Steps，批量大小為12，輸入圖片大小為416像素×416像素，訓練輪數150。

3.2 評價指標

文中選擇目標檢測中常用的評價指標平均精度mAP(mean Average Precision)以及檢測速度FPS對模型進行評價(FPS是指每秒能檢測圖像的數量，是衡量模型檢測速度的重要指標)。最終檢測結果分為4類：真正例(TP)、假正例(FP)、真負例(TN)和假負例(FN)。

精確率P以及召回率R是計算mAP的重要指標，其中精確率表示模型真實預測目標總數和預測結果的目標總數的比值，召回率表示真實預測目標總數與數據集中實際目標總數的比值。計算公式如下：

(9)

(10)

以精確率為橫軸、召回率為縱軸可以得到精確率召回曲線，稱為P-R曲線。每一類識別對象的P-R曲線與坐標軸圍成的面積為該類的精度值(AP)，mAP則是所有AP的平均值。AP與mAP的計算公式如下：

(11)

(12)

式中：N為2，表示2個目標類。

3.3 實驗結果及分析

文中將YOLOv3剪切之后集成SPP結構以及改進的CIoU損失函數模型(YOLOv3-tiny-SPP-CIoU，YOLOv3-tsc)，在YOLOv3-tiny-SPP-CIoU引入第四檢測尺度的模型(YOLOv3-tiny-SPP-CIoU-obj4，YOLOv3-tsco)以及在YOLOv3-tiny-SPP-CIoU-obj4基礎上改進主干網形成的最終網絡(YOLOv3-tscox)與原YOLOv3進行對比實驗。實驗結果如表1所示。

表1 改進的YOLOv3和原YOLOv3對比結果Tab.1 Improved YOLOv3 and YOLOv3 comparison results

從表1中可以看出：YOLOv3-tsc模型因為模型相對簡單、網絡參數量很少，所以識別速度最快，每秒可識別147幀并且其訓練時間也相對最短，但是其mAP只有82.49%，無法滿足實際需求；文中最終模型YOLOv3-tscox相對YOLOv3精度提高了2.37%，其檢測速度能達到每秒識別65幀，比YOLOv3更快，檢測速度提升了2.7倍。分析結果表明了文中對YOLOv3的改進是有效的，不僅提高了YOLOv3的識別精度，而且還使其FPS得到了較大的提升。

為進一步驗證所提出的模型在安全帽佩戴檢測上要優于其他目標檢測算法，使用相同的安全帽佩戴數據集對Faster R-CNN、SSD、RetinaNet以及YOLOv3-tscox等目標檢測算法進行安全帽佩戴檢測任務的訓練與測試，實驗結果如表2所示。

表2 不同檢測算法結果對比Tab.2 Results comparison of different algorithms

從表2中可以看出：無論是單級檢測器SSD還是兩級檢測器Faster R-CNN，其平均準確率均低于改進模型，并且訓練時間更長。證明了改進的YOLOv3在安全帽佩戴檢測上相比于其他目標檢測網絡檢測效果更好。

3.4 圖片檢測效果

分別選取工廠室內復雜環境、工地室外復雜環境、模糊干擾環境以及目標較為密集4種不同環境下的4張圖片進行測試，結果如圖7所示。

圖7 檢測結果Fig.7 Test results：(a)indoor complex environment； (b)outdoor complex site environment；(c) fuzzy interference environment；(d)target more dense environment

對比圖7(a)可以看出：在工廠室內復雜環境中進行檢測時，圖7(a1)中出現了將其他物體誤檢為頭盔，而圖7(a2)準確識別出3個目標對象；圖7(b1)中在室外復雜的工地環境下漏檢了一個目標，圖7(b2)完全識別出4個目標；圖7(c1)在相對模糊并具有干擾的環境YOLOv3也出現了漏檢的情況，而改進的網絡則檢測無誤；圖7(d)為密集環境下進行目標檢測，此時圖7(d1)不僅出現了漏檢還將戴有頭盔的工人誤檢成了未戴頭盔，而圖7(d2)則識別無誤。分析以上檢測結果可以得出：此研究中的模型降低了安全帽識別的漏檢率以及誤檢率，模型檢測效果明顯優于原YOLOv3。

4 結論

針對目前通用目標檢測算法在工業環境下的安全帽檢測上精確度低、誤檢率、漏檢率高以及檢測速度慢的缺點，作者提出了基于YOLOv3的安全帽佩戴檢測方法。首先將原YOLOv3進行裁剪，改進之后大大提高了檢測速度，但是精確度降低了很多；為了提取更多的特征信息，在裁剪的YOLOv3基礎上引入了空間金字塔池化結構，使淺層與深層的特征信息更好地融合；通過增加第四融合尺度提高小目標的識別精度，解決了小目標漏檢問題；同時使用CIoU替換IoU提升了目標預測框與真實目標框的擬合效果。結果表明：改進的網絡模型對安全帽佩戴的檢測有更高的檢測精度以及更快的檢測速度，并且相對于原網絡的訓練時間也更短。下一步工作將研究基于YOLOv3改進算法的MES系統在復雜工廠環境下的實際應用，以網絡攝像頭實時檢測代替人眼目視檢查。