基于改進YOLOv4的電力高空作業安全帶檢測

頓偉超， 王淑青， 張鵬飛， 王 娟

(湖北工業大學電氣與電子工程學院， 湖北 武漢 430068)

隨著深度學習的快速興起，目標檢測算法也獲得顯著發展，基于深度學習的目標檢測算法大致可以分為One-stage 和 Two-stage 兩大類別。One-stage算法即單階段目標檢測算法，主要包括YOLO系列[1-4]算法和SSD[5]算法，該類算法是基于回歸的檢測算法，直接利用預訓練主干網絡產生目標的類別概率和位置坐標，其檢測目標精確度相略低于雙目標檢測算法，但檢測速度較快。Two-stage算法即雙階段目標檢測算法，主要包括R-CNN[6]、Fast R-CNN[7]、Faster R-CNN[8]、Mask R-CNN[9]，該類算法是基于區域建議的檢測算法，首先通過RPN網絡生成待檢測目標的候選區域，然后對這些候選區域進行分類和位置回歸，由于該類算法將目標檢測分成了兩步，所以其檢測速度低于單階段目標檢測算法。目前基于深度學習的目標檢測算法被廣泛應用于各行各業[10-12]。

在電力檢修高空作業時，檢修人員對佩戴安全帶的規定，僅依賴于自身自覺性以及現場監督人員的提醒，但有時由于人手不夠，現場并未指派監護人員。同時針對公司指派的臨時活，部分工作人員因為怕麻煩就不佩戴安全帶，直接進行高空作業，容易導致高空墜落事故的發生。目前現有目標檢測方法并未應用于高空電力安全帶檢測，為確保電力工作人員采用規范的防護措施和操作流程，本文采用目標識別相關算法對施工現場進行合規檢測，能夠提高工作人員安全防護意識，提升現場安全作業水平，實現對違章人員智能化的安全管理，保障工作人員的生命安全。

針對上述安全管理制度存在的盲點問題，本文將傳統YOLOv4深度學習網絡的CSPDarknet53替換為MobileNet，同時修改PAnet結構和Head結構中的網絡，使用深度可分離卷積網絡，降低網絡訓練的參數，提高網絡的檢測速度，構建一種改進MobileNet_YOLOv4網絡的電力高空作業安全帶佩戴檢測模型，實現了復雜環境中對檢修人員是否佩戴安全帶的標記，以及對施工現場監護人員和其它無關人員的標記。針對YOLOv4網絡使用的NMS算法使重疊程度較高的物體漏檢現象，本文采用Soft-NMS算法對傳統的YOLOv4中的 NMS算法進行改進，降低被檢測對象目標的漏檢率，提升檢測精度。

1 網絡結構分析算法原理

1.1 YOLOv4目標檢測算法

YOLOv4是一種目標檢測算法，是YOLOv3模型的進化，相比YOLOv3算法，AP (Average Precision)和FPS (Frames Per Second)分別提升了10%和12%。同時它的檢測速度是EfficientDet 的兩倍。使用Tesla V100顯卡在MS COCO數據集測試其檢測精度可達43.5% mAP (65.7% AP50)，實時檢測速度可達65 FPS[13]。YOLOv4目標檢測網絡主要包括CSPDarknet53主干特征提取網絡、Spatial Pyramid Pooling (SPP)[14]+Path Aggregation Network (PANet)[15]加強特征提取網絡和YOLO Head特征圖預測網絡。

1.2 MobileNet網絡結構

MobileNet[16]模型是Google針對手機等嵌入式設備提出的一種輕量級的深層神經網絡，其使用的核心思想便是深度可分離卷積塊。深度可分離卷積其實是一種可分解卷積操作，其可以分解為兩個更小的操作：DK×DK的深度卷積和1×1的逐點卷積[17]，如圖1所示。深度可分離卷積和標準卷積不同，對于標準卷積，其卷積核是用在所有的輸入通道上，而深度可分離卷積針對每個輸入通道采用不同的卷積核，就是說一個卷積核對應一個輸入通道，所以說深度可分離卷積是Depth級別的操作。而逐點卷積其實就是普通的卷積，只不過其采用1×1的卷積核。

圖1 標準卷積和深度可分離卷積結構

假定輸入特征圖大小是DF×DF×M，而輸出特征圖大小是DF×DF×N，使用DK×DK卷積核，其中DF是特征圖的寬和高，M是輸入通道數，N是輸出通道數，DK是卷積核的空間維數，那么標準卷積的計算量為：DK×DK×M×N×DF×DF；深度可分離計算量為：DK×DK×M×DF×DF+M×N×DF×DF×DF×DF，深度可分離卷積與標準卷積計量比較如下：

(1)

一般情況下N很大，MobileNet采用3×3的卷積核則深度可分離卷積相對于標準卷積可以降低8-9倍的計算量。

2 改進的YOLOv4網絡模型

2.1 主干特征提取網絡的替換

將YOLOv4深度學習網絡的CSPDarknet53替換為MobileNet作為特征提取網絡，替換后的MobileNet_YOLOv4網絡結構見圖2。同時修改PANet和YOLO Head結構中的網絡，將3×3普通卷積塊，改為深度可分離卷積塊即一個3×3的深度可分離卷積+1×1的普通卷積，替換前后卷積核結構。

圖2 MobileNet_YOLOv4網絡結構

改進的MobileNet_YOLOv4網絡模型仍采用YOLOv4模型中的損失函數CIoU,該損失函數是在YOLOv3模型的基礎上得到的，該損失函數由目標位置損失函數、置信度損失函數與分類損失函數三部分組成[18]，如下：

Loss=lossloc+lossobj+losscls

(2)

2.2 先驗框尺寸與數量的設置

YOLOv4輸出的3個尺度特征圖分別為：52×52、26×26和13×13，每個尺度的特征圖對應3個固定尺寸的先驗框。其中尺度為52×52特征圖感受野較小，選用尺寸較小的先驗框(12,16)、(19,36)和(40,28)檢測較小目標，尺度為26×26的特征圖選用尺寸中等的先驗框(36,75)、(76,55)和(72,146)檢測中等大小的目標，尺度為13×13的特征圖具有較大的感受野，選用尺寸較大的先驗框(142,110)、(192,243)和(459,401)來檢測大目標。

YOLOv4模型的先驗框是在COCO數據集上聚類得到的，而COCO數據集中有80類待檢測目標，這些目標的形狀尺寸大小不一，不同類別之間差異較大，導致聚類出來的先驗框尺寸不一，且本文的檢測目標的形狀大多是高大于寬，因此無法使用 YOLOv4模型預設的先驗框。本文使用K-means聚類算法獲取電力現場作業數據集中的標簽情況，生成更加符合高空作業及安全帶檢測對象的先驗框。傳統的K-means聚類算法采用歐式距離函數進行聚類，本文采用聚類中心與數據集標簽中box的IoU值作為聚類相似度的評判標準，可以極大程度保證獲取的先驗框與檢測目標的尺寸大小更加匹配。聚類距離計算方法如下：

d[box,center]=1-IoU(box,center)

(3)

式(3)中d[box,center]為實際目標框與聚類中心的距離，center為聚類中心。

本文圖像的輸入尺寸為608×608，采用K-means算法輸出9個尺寸的先驗框分別應用到不用尺度的檢測層中，分配結果見表1。

表1 不同尺寸的特征圖對應的先驗框尺寸

2.3 空間金字塔池化結構的改進

原YOLOv4模型在空間金字塔池化結構(SPP)分別采用了1×1、5×5、9×9和13×13四個尺度的卷積核對19×19的特征圖進行最大池化操作，然后對池化結果進行堆疊，再進行三次卷積操作，來加強圖像的特征提取。本文嘗試對SPP結構進行適配性的調整，并通過實驗來驗證不同SPP結構對模型檢測效果的影響。實驗過程中調整SPP結構為1×1、3×3、5×5池化內核命名為SPP_A，1×1、3×3、5×5、7×7池化內核命名為SPP_B，1×1、5×5、7×7、9×9池化內核命名為SPP_C。

2.4 改進后的NMS算法

在實際的電力高空作業過程中，攝像頭可能會捕捉到維修人員相互遮擋的畫面，直接使用傳統非極大抑制算法(NMS)容易將重疊程度較大的檢測框直接刪除，造成漏檢現象。針對此情況，本文采用Soft-NMS[19]替換原YOLOv4模型中的NMS，改進后非極大抑制中的置信度重置函數為：

(4)

式(4)中Si為第i個預測框的置信度,M為當前得分最高框，bi為待處理的預測框IoU為M和bi交并比，N為設置的閾值。

由式(4)可知，M和bi交并比越大，bi的得分Si就下降得越快，且呈線性衰減。但由于這種衰減方式所產生的函數并不是連續函數,因此采用高斯加權的方式使其成為一個連續的分數重置函數，最終改進如下：

(5)

式(5)中D為檢測框集合，σ為超參數。

由公式(5)可知該連續函數對重疊度越高的檢測框置信度得分衰減越厲害，對沒有重疊的檢測框置信度得分保持不變，能夠有效避免因強制刪除檢測框造成的漏檢情況，提升檢測精度。

3 實驗及結果分析

3.1 電力高空作業人員數據集的收集與處理

本次實驗采用的數據集來自廣東某電廠，共獲取1700張高空作業圖片作為訓練樣本，600張高空作業圖作為測試樣本，獲取的圖片均為電廠高空作業人員的模擬訓練圖，保證了此次實驗數據的真實性與客觀性。然后通過labelimg軟件對數據進行標簽制作，標簽標注格式為txt格式，在對目標進行手工標注時，盡可能準確框出目標的全部樣貌，同時避免邊界框包含不必要的背景。實驗數據共計2300張圖像，共制作標簽數據11 060個(表2)。

表2 數據集分布情況

標簽一共分為4類，分別為：作業現場中包含的人(其中包含監護人員和無關人員)、作業現場中帶有的監護袖章(此類人員為監護人員)、作業現場中的離地狀態人員(此類人員為高空電力維修人員)、作業現場佩戴的安全帶，將這四種類別依次標注為“person”、“garders”、“offgroundperson”、“safebeltperson”。數據標注如圖3所示。數據標注后保存的文本文件部分內容見表3。使用代碼對標注后的數據集隨機劃分，將90%的標注圖像作為訓練集，10%作為測試集。

圖3 圖像標注

表3 數據標注

表3中的每一行均代表了一個待檢測目標的位置信息，x、y、w、h是相對于圖片尺度的歸一化值，介于0～1之間。x、y分別代表標注框中心點在x軸和y軸方向的坐標；w、h分別為標注框的寬和高。

3.2 實驗環境的配置

實驗硬件采用Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz，內存為16GB，GPU為NVIDIA GeForce RTX2080Ti，顯存11GB。操作平臺為Windows 10，加速環境為CUDA10.0和CUDNN7.6.0，深度學習框架為Pytorch1.7.1版本。

實驗整個訓練過程為200個epoch，其中前100個epoch采用凍結部分網絡可以加快訓練速度，學習率設置為0.001，batchsize設置為16，后100個epoch的學習率設置為0.0001，batchsize設置為8，優化器均采用Adam。

3.3 評價指標

使用訓練好的網絡模型對測試集進行檢測，按照下式分別計算查準率(Precision)、召回率(Recall)。

(6)

式中：TP為被判為正類的正類；FP為被判為正類的負類；FN為被判為負類的正類。

平均精度(AP)表示Precision-Recall曲線下面的面積，對數據集中每類目標的平均精度求均值即mAP，其計算公式如下：

mAP=∑AP/N

(7)

式中：N為不同類別目標的總和。

3.4 實驗結果分析

本文通過設置不同的網絡模型的對比實驗來確定理想的改進方案，然后用改進的網絡模型與常見目標檢測算法進行比較，對改進后模型的檢測性能進行分析。

3.4.1不同主干特征提取對檢測性能的影響為了研究不同的MobileNet檢測網絡對模型檢測性能的影響，分別采用不同特征提取網絡MobileNetv1、MobileNetv2、MobileNetv3與YOLOv4相結合，同時修改YOLOv4中的PANet和YOLO Head中的3×3普通卷積為深度可分離卷積，依次記對應為MobileNetv1_YOLOv4、MobileNetv2_YOLOv4與MobileNetv3_YOLOv4模型，訓練過程損失函數曲線見圖4。

圖4 損失函數對比曲線

使用訓練好的模型對測試集進行預測，實驗結果見表4，通過實驗可知MobileNetv2_YOLOv4模型mAP達到87.3%表現最佳，其損失函數值下降速度最快，收斂效果更好，并且該模型的計算量最少，相比YOLOv4降低了83.2%。經過實驗分析，針對本文目標檢測對象，在使用MobileNetv2作為主干特征提取網絡，能夠更加有效的學習到目標的特征信息，且網絡訓練的參數量更少。因此選用MobileNetv2_YOLOv4網絡模型完成電力高空作業識別及安全帶檢測。

表4 不同主干網絡檢測結果比較

3.4.2空間金字塔池化對模型的影響為了研究SPP結構對模型性能的影響，在模型MobileNetv2_YOLOv4的基礎上分別修改SPP結構實驗結果見表5。通過實驗發現修改后的三種SPP結構均在不同程度上提升了模型的檢測能力，其中使用較小的1×1、3×3、5×5、7×7的池化核提升效果最顯著，mAP提升了1.3%，表明通過使用不同大小的池化結構能夠在不同程度上除去經過深層和淺層特征融合后的冗余特征信息，更加有效的增強圖像特征學習范圍，幫助模型學習更多的信息，相比于SPP_C結構中9×9的池化核，較小的池化核在識別電力高空作業及安全帶檢測模型上效果更好。因此采用MobileNetv2_YOLOv4(SPP_B)作為該模型的檢測網絡，并將該模型命名為Improved_YOLOv4。

表5 不同SPP結構檢測結果比較

3.4.3與其它目標檢測算法的精度對比在訓練平臺信息配置不變的條件下，分別使用Faster RCNN(VGG16)、SSD(ResNet50)和YOLOv4深度學習模型在同一數據集上進行訓練分析。各網絡模型的檢測精度(AP)、mAP值、FPS值以及模型權重文件大小詳細數據見表6。

表6 不同模型檢測精度比較

由表6可知，改進后YOLOv4模型的平均檢測精度為88.6%，每秒幀數為66，優于其它3種網絡。同時該模型的預訓練權重大小僅為53.8M，相比于傳統的YOLOv4降低了76%，模型更加輕量化，檢測速度更快，更容易將網絡模型部署到嵌入式設備中，能夠滿足電力生產作業過程中對作業人員的實時監控。

3.4.4模型檢測結果使用訓練好的網絡模型對測試集中的圖片進行檢測，挑選出檢測結果中3張具有代表性的圖片(圖5)，其中圖a、c、e為YOLOv4檢測結果，圖b、d、f為本文算法檢測結果。由檢測對比圖可知，圖5a中并未檢測出監護袖章，并且檢測精度不高，圖5b使用改進后的算法明顯的檢測到了監護袖章，并且置信度較高；圖5c中對較遠拍攝到的目標出現漏檢現象，檢測效果較差，而圖5d中則完全識別出了待檢測目標。圖5e中未檢測到被遮擋的離地維修人員，同時對于佩戴的安全帶全部未檢測到，而圖5f中則完全識別離地維修人員以及佩戴的安全帶。從對比圖片結果中可以看出，改進后的模型檢測結果的置信度更高，對密集目標識別效果較好，并且能夠克服YOLOv4模型中的漏檢情況，檢測效果更好。

圖5 YOLOv4與Improved_YOLOv4檢測結果

4 結論

本課題使用深度學習的方法，更加精準的識別高空作業人員安全帶的佩戴情況，減少傳統人工監督的一些客觀因素導致的高空墜落事件的發生，同時也提高了現場安全作業的檢測效率，為工業檢修人員的智能化安全管理提供了新的解決辦法，通過使用MobileNetv2網絡替換YOLOv4中的CSPDarknet53主干提取網絡，可以大幅度降低網絡模型的參數量，使網絡模型輕量化，提高檢測速度；通過K-means聚類算法重新獲取先驗框，并適配性的調整空間金字塔結構，可以提高模型的檢測精度；通過使用Soft-NMS算法能夠有效降低待檢測目標的漏檢率。實驗結果表明Improved_YOLOv4比原YOLOv4網絡mAP提高3.2%，檢測速度提高30fps，模型的訓練權重壓縮4.16倍，檢測效果優于其它常見的目標檢測網絡。接下來的工作要繼續拓展數據集中的檢測種類和數量，進一步提高模型的泛化能力。