基于YOLOv7的礦工吸煙識別方法研究

王彬 趙作鵬

收稿日期：2023-09-14

DOI：10.19850/j.cnki.2096-4706.2024.06.015

摘? 要：井下礦工的吸煙行為嚴重影響煤礦生產安全，對井下礦工吸煙行為的有效識別迫在眉睫。針對煤礦井下的特殊環境和傳統識別方法準確率低的問題，提出一種基于YOLOv7的礦工吸煙行為識別算法YOLO-SFN。將SimAM嵌入到YOLOv7的網絡結構中，用Focus模塊替換MPConv下分支中的3×3卷積核，提高模型在復雜背景下的特征提取能力。在后處理階段采用Soft-NMS作為網絡模型的后處理算法，解決了傳統NMS算法在復雜密集環境中的漏檢問題。實驗結果表明，該方法的準確率為96.45%，召回率為92%，精確率為97.05%。研究成果已經在陳四樓煤礦得以推廣應用，實現了對煤礦井下礦工吸煙行為的有效監管。

關鍵詞：目標檢測；注意力機制；YOLOv7；NMS算法；吸煙識別

中圖分類號：TP391.4? ? 文獻標識碼：A 文章編號：2096-4706（2024）06-0066-05

Research on Miner Smoking Recognition Method Based on YOLOv7

WANG Bin1，2， ZHAO Zuopeng1

（1.School of Computer Science & Technology， China University of Mining and Technology， Xuzhou? 221116， China;

2. Department of Information Technology， Jiangsu Union Technical Institute， Xuzhou? 221008， China）

Abstract： Smoking behavior of underground miners seriously affects the production safety of coal mines， and effective recognition of underground miners' smoking behavior is imminent. Aiming at the special environment of underground coal mines and the problem of low accuracy of traditional recognition methods， it proposes a YOLOv7-based miners' smoking behavior recognition algorithm YOLO-SFN. SimAM is embedded into the network structure of YOLOv7， and the Focus module is used to replace the 3×3 convolution kernel in the lower branch of MPConv， so as to improve the model's feature extraction ability in the complex background. Soft-NMS is used as the post-processing algorithm for the network model in the post-processing stage， which solves the leakage detection problem of the traditional NMS algorithm in the complex and dense environment. The experimental results show that the accuracy rate of the method is 96.45%， the recall rate is 92%， and the precision rate is 97.05%. The research results have been popularized and applied in Chensilou coal mine， realizing the effective supervision of the smoking behavior of miners in underground coal mines.

Keywords： target detection; Attention Mechanism; YOLOv7; NMS algorithm; smoking recognition

0? 引? 言

《煤礦安全規程》規定，入井人員嚴禁攜帶煙草和點火物品。井下吸煙會引燃坑道內的可燃性氣體從而引起火災或爆炸，有很多瓦斯爆炸事故為礦工井下吸煙所致[1]。因而，加強對礦工井下吸煙行為的監測預警對確保煤礦安全生產具有重要意義。

傳統的監測方法是安裝煙霧報警器進行吸煙行為監測，但其監測范圍有限，不適用于井下特殊環境的大范圍布設。基于視覺的礦工吸煙識別方法可以實現實時、防篡改的識別效果，學者們利用不同的卷積方法對圖像進行分類識別以及對人的各種行為進行有效識別[2，3]。隨著人工智能技術的不斷發展，將深度學習應用到控煙領域，在煤礦井下實現AI控煙可十分有效地確保煤礦作業安全。針對井下巷道狹長、光線不足的特殊環境，研究高精度吸煙識別算法有助于煤礦對礦工吸煙行為的有效監管。

目前，針對吸煙行為的識別方法主要集中在對實驗數據進行處理、利用吸煙行為的手勢或吸煙時的煙霧進行識別。Liao等人[4]提出一種基于YOLOv3的吸煙目標檢測方法，使用的YOLOv3模型以DarkNet53作為骨干，檢測結果表明該方法具有良好的煙霧檢測效果，mAP達到0.76；趙鑒福等人[5]提出一種基于人體關鍵點和YOLOv4的吸煙行為檢測方法。本研究在利用深度學習方法實現煙頭檢測的基礎上，還額外增加了對人體關鍵點的檢測。通過分析目標對象關鍵點之間的距離、角度變化以及吸煙動作的時間周期特征，判斷目標對象是否發生了吸煙行為。實驗結果表明，本研究提出的方法能夠準確檢測出自行收集數據中的吸煙行為，實現了對吸煙行為的及時監測。以上模型能夠較好地應用于吸煙行為實時檢測任務。但上述方法對香煙這種較小目標的檢測依然存在檢測準確率不高，漏檢時有發生的問題。

1? 改進基于YOLOv7的礦工吸煙檢測模型

1.1? YOLOv7模型

與其他目標識別算法相比，YOLO的多尺度預測具有更好的可檢測性和實時性，可以滿足裝配線高速率的測量需求。YOLOv7 [6]采用了遠程注意力網絡（E-ELAN），在級聯模型模型縮放[7]和卷積重參數化[8]的加持下，實現了檢測效率和準確性的完美平衡。YOLOv7網絡由四個模塊組成：輸入、骨干、頭部和預測。輸入模塊將輸入圖像縮放為均勻的像素大小以滿足骨干網絡的輸入尺寸要求。為滿足骨干網絡的輸入尺寸要求，本研究對圖像進行了統一的尺寸調整。骨干網絡模塊由BConv、E-ELAN和MPConv卷積層組成，其中BConv模塊包含卷積層、歸一化層和LeakyReLU激活函數，用以提取多尺度的圖像特征。頭部模塊是由路徑聚合進而組成特征金字塔網絡（PAFPN）結構[9]，特征信息自下而上傳遞，實現了不同語義層次特征的有效融合。預測模塊采用REP結構調整了PAFPN輸出的P3、P4、P5多尺度特征映射的通道數，最終利用1×1卷積核來預測目標的置信度、類別及錨框坐標。礦下吸煙檢測模型需要同時滿足實時性和準確性的要求，考慮到檢測精度和速度之間的良好平衡，選擇YOLOv7作為基礎模型。

1.2? 模型改進思路

礦下檢測環境復雜，如復雜的光照環境、目標太小、煙霧遮擋以及煙霧模糊等問題都會導致檢測結果不夠理想。因此本文提出一種基于改進YOLOv7的礦工吸煙識別算法YOLO-SFN，首先引入注意力機制模塊SimAM，在不額外添加參數的情況下提高網絡在復雜礦下環境中的特征提取能力。其次用Focus模塊替換MPConv下分支中的3×3卷積核，減少網絡參數量和計算量，使檢測速度得以提升。在后處理階段采用Soft-NMS作為網絡模型的后處理算法，解決了傳統NMS算法在復雜密集環境中的漏檢問題。

1.3? 數據預處理

實驗中采用的是真實的圖像數據，共采集8 000張圖像數據，其中吸煙圖像有4 000張，正常工作圖像4 000張。為減小計算量并降低圖像背景信息的干擾，對原始圖像剪裁后再進行計算。裁剪圖像是由臉部識別代碼計算所得，通過Opencv實現對圖像中人臉的識別，將識別結果保存下來。程序剪裁后的圖像大小不統一，將輸入圖像大小改為416×416。

1.4? 網絡結構改進

首先，將注意力機制模塊SimAM [10]嵌入到YOLOv7的網絡結構中。注意力機制是指在網絡輸入部分采用了賦權機制，使模型可以忽略不相關的信息而聚焦在關鍵信息上，從而提高了模型在復雜背景下的特征提取能力。SimAM是一個注意力機制模塊，并不會增加網絡參數的數量，具有即插即用的特點，可以嵌入到模型的任意位置，避免了額外參數的計算，其原理如圖1所示。

SimAM的核心在于利用其能量函數計算注意力權重。SimAM通過對香煙的相鄰神經元產生空間抑制來減少復雜背景對香煙檢測的干擾，突出香煙的關鍵特征，增強對香煙關鍵特征的提取能力，計算過程如下：

（1）

（2）

，? ? ? ? ? ?（3）

其中， 表示香煙的增強特征圖；E表示每個通道的能量函數。能量越低，香煙神經元和相鄰神經元之間的區分度越高。為了防止E值過大，采用sigmoid函數來限制E值的大小； 表示點乘運算；X表示輸入特征圖；μ表示輸入特征圖中每個通道的平均值；σ2表示輸入煙霧特征圖中每個通道的方差；λ表示超級參數；t表示目標神經元。

MPConv的主要功能是下采樣，它可以通過一定的特征損失來減小特征大小。YOLOv7中MPConv模塊兩個分支的下分支使用3×3的卷積核進行卷積操作。當步長為2時，一些特征信息可能會丟失，網絡中可能會出現低效的特征學習。受YOLOv5中Focus模塊的啟發，將MPConv下分支中的3×3卷積核替換成Focus模塊。如圖1所示，在特征圖減半的情況下，減少了特征的損失，提高了特征的學習效率，提升了復雜背景下香煙檢測的性能。

1.5? 后處理改進

本文選擇Soft-NMS作為網絡模型的后處理算法。傳統的NMS算法從檢測結果中選擇得分最高的檢測框，判斷相鄰檢測框是否被重疊閾值保留，如果相鄰檢測框得分大于閾值，則直接設置為零。傳統的NMS算法從檢測結果中選擇得分最高的框，并根據與相鄰框的重疊情況判斷是否保留，如果重疊超過閾值則直接抑制，這在人群密集場景下容易造成漏檢。本研究引入Soft-NMS算法，其設定懲罰函數而非直接抑制得分較高的相鄰框。這樣可以降低這些框的置信度而不會完全抑制，從而提高了此方法在復雜場景下的檢測性能。這樣，對于一些高分的檢測框，即使在NMS階段降低了分數，在后續的計算中也可以作為正確的檢測盒，切實提高了檢測精度和召回率。同時，采用高斯懲罰函數解決連續性問題。本文Soft-NMS算法的分數重置函數如下：

（4）

（5）

其中，σ表示高斯函數的方差。

本文提出的YOLO-SFN網絡模型如圖2所示。

2? 實驗仿真與結果

2.1? 實驗平臺

實驗環境為Intel（R） Core（TM） i5-7400 CPU @ 3.00 GHz的CPU處理器，8.00 GB的運行內存，GeForce GTX 3080Ti的GPU。為了獲得更好的訓練效果，將學習率設置為0.001，權重衰減系數設置為0.000 5，優化器為Adam，訓練批次設置為32，迭代周期設置為200次。

2.2? 評價指標與結果比較

本文通過準確率、精確率、召回率等指標對網絡性能進行評估。計算上述性能指標需要混淆矩陣，如表1所示。

表1? 混淆矩陣

樣本分類 預測1 預測0 合計

實際1（P） TP FN TP + FN

實際0（N） FP TN FP + TN

合計 TP + FP FN + TN TP + FN + FP + TN

為了對YOLO-SFN網絡進行評估，采用不同的網絡結構與其進行比較，方法驗證集的準確率變化圖如圖3所示，具體數值如表2所示。

圖3? 不同網絡結構訓練驗證集的準確率變化圖

表2? 不同算法的性能

Method Accuracy Re Sp Pre

YOLOv5m 88.56 88.50 93.50 91.33

YOLOv6 92.02 87.50 96.00 93.41

YOLOv7 94.51 89.50 95.50 94.64

YOLO-SFN 96.45 92.00 95.00 97.05

2.3? 消融實驗

為了驗證改進策略的有效性，進行消融實驗來評估每個改進策略。采用整個測試集作為數據集，使測試環境和數據集保持不變。消融實驗的檢測結果如表3所示。

表3? 消融實驗檢測結果

SimAM F-MP Soft-NMS Accuracy Re Precision

94.51 79.50 94.64

√ 95.92 80.02 94.85

√ √ 95.58 81.53 95.36

√ √ √ 96.45 97.05 97.05

3? 分析討論

從結果數據來看，YOLOv7的準確率為94.51%，而本文提出的YOLO-SFN準確率為96.45%，提高了1.94個百分點，所以實驗驗證了本文算法的優異性能。YOLOv6檢測吸煙圖像的準確率與精確率分別是92.02%和93.41%，檢測性能僅僅優于YOLOv5m。YOLO-SFN網絡的檢測性能最佳，不管是準確率還是精確率都優于其他三種流行網絡。為了驗證改進策略的有效性，本文做了消融實驗對每個改進之處進行評估。從如表3所示的檢測結果上看，將SimAM注意力機制融入YOLOv7網絡中，檢測礦工吸煙的準確率可達95.92%，比原模型YOLOv7提高1.41個百分點，證明此改進策略可以加強對礦工吸煙行為的特征提取。在使用注意力機制的基礎上，引入Focus模塊的網絡檢測礦工吸煙行為的準確率也高于原模型，但低于只加入注意力機制的模型，準確率可達95.58%，做到了在保證檢測精度的同時減少參數量。在后處理階段加入Soft-NMS算法，檢測效果最佳，準確率高達96.45%，比原模型高1.94%，解決了礦工吸煙漏檢的問題，提高了檢測精度。綜上所述，本文方法相較于其他流行方法，在礦工吸煙行為識別中的表現較好，可以有效識別礦工是否存在吸煙行為。

4? 結? 論

本文針對礦工吸煙圖像識別，研究了基于YOLOv7的礦工吸煙行為檢測方法。所使用的數據集均來源于礦工真實圖像，仿真實驗結果表明，該方法對礦工吸煙圖像的檢測識別具有良好的效果。本文的研究成果已經在陳四樓煤礦推廣應用半年以上，實現了對井下人員吸煙行為的視頻監測預警，加強了對煤礦井下人員吸煙行為的有效監管，提高了煤礦的安全生產管理水平。

參考文獻：

[1] 殷文韜.煤礦瓦斯爆炸事故的不安全動作原因研究 [D].北京：中國礦業大學（北京），2015.

[2] VOLODYMYR M，KORAY K，DAVID S，et al. Human-level Control through Deep Reinforcement Learning [J].Nature，2015，518（7540）：529-533.

[3] 梁緒，李文新，張航寧.人體行為識別方法研究綜述 [J].計算機應用研究，2022，39（3）：651-660.

[4] LIAO J，ZOU J. Smoking Target Detection Based on YOLO V3 [C]//2020 5th International Conference on Mechanical， Control and Computer Engineering （ICMCCE）. Harbin：IEEE，2020：2241-2244.

[5] 趙鑒福.基于人體關鍵點識別的吸煙行為檢測方法研究 [D].天津：河北工業大學，2023.

[6] WANG C Y，BOCHKOVSKIY A，LIAO H Y M. YOLOv7： Trainable Bag-of-freebies Sets New State-of-the-art for Real-time Object Detectors [C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Vancouver：IEEE，2023：7464-7475.

[7] WANG C Y，BOCHKOVSKIY A，LIAO H Y M. Scaled-YOLOv4： Scaling Cross Stage Partial Network [C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Nashville：IEEE，2021：13024-13033.

[8] DING X H，ZHANG X，MA N N，et al. Repvgg： Making Vgg-style Convnets Great Again [C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Nashville：IEEE，2021：13728-13737.

[9] GE Z，LIU S T，WANG F，et al. Yolox： Exceeding YOLO Series in 2021 [J/OL].arXiv：2107.08430 [cs.CV].[2023-08-10].https：//arxiv.org/abs/2107.08430.

[10] YANG L X，ZHANG R Y，LI L D，et al. Simam： A Simple， Parameter-free Attention Module for Convolutional Neural Networks [C]//International Conference on Machine Learning. [S.l.]：PMLR，2021：11863-11874.

作者簡介：王彬（1978—），男，漢族，江蘇徐州人，副教授，碩士，研究方向：人工智能、網絡技術、圖像識別等。