基于YOLOv5的吸煙行為識別檢測系統分析與實現

關鍵詞：目標檢測；YOLO；行為識別；計算機視覺

0 引言

隨著社會的發展和公共衛生意識的提升，煙草控制成為全球范圍內的重要議題。公共場合禁煙政策的實施，旨在創造一個更加健康的環境。然而，傳統的吸煙監測方式多依賴于人工檢查，既耗時又效率低下。因此，如何科技化、自動化地檢測吸煙行為，成為研究的熱點。近年來，深度學習技術的迅猛發展為解決這一問題提供了新途徑。特別是在計算機視覺領域，基于深度學習的目標檢測算法已經顯示出其強大的應用潛力[1]。

在此背景下，本文提出一種基于YOLOv5的吸煙行為識別檢測系統。YOLOv5作為目前先進的目標檢測算法之一，以其高效率和準確性在多個領域得到應用。人們進一步通過引入YOLOv8的C2f模塊，增強了系統對吸煙行為的檢測能力。本文旨在通過精確快速地識別公共場所的吸煙行為，輔助執行禁煙政策，并促進公共衛生的提升。

本研究將詳細介紹吸煙行為檢測的意義、研究背景，以及基于YOLOv5的檢測系統的創新點。通過深入分析，旨在展現本研究的價值和實際應用前景，為后續研究提供參考。

1 研究內容概述

本研究基于OpenCV+Jupyter Notebook+Labelimg 方式將自己收集的圖片和視頻進行RGB轉換、抽幀、保存、標注并導出符合YOLO格式DR2AW0N438rBnh9IEf3Ycg==的.txt文件和.jpg文件作為訓練數據集。利用Python語言基于YOLOv5s 模型來識別吸煙行為，本系統會對進入檢測區域范圍的人進行信息捕捉采集，將采集到行為信息進行相應的數據處理，并將其送到YOLOv5骨干網絡的深度卷積網絡（CSPDarknet[2]） ，對輸入圖像進行特征提取。 骨干網絡的輸出會傳遞至特征融合模塊（具有FPNlike結構），不同尺度的特征經過處理后融合在一起。經過融合的特征圖會被送入一系列的卷積層中，這些卷積層會為每個網格點預測若干個邊界框，每一個邊界框包含物體的位置、尺度、類別等信息。在預測結果中，選擇置信度超過一定閾值的邊界框，使用非極大值抑制（Non-Maximum Suppression，NMS） 來去除重復的檢測結果，最終剩下的邊界框和對應的類別就是YOLOv5模型的檢測結果。并將YOLOv8的block文件下的C2f[3]模塊導入到YOLOv5骨干網絡中改變網絡結構，利用創建帶有YOLOv8的C2f（Coarse to Fine） 模塊的.yaml文件訓練數據集。達到特征提取值、圖像分類等更加快速、更加準確，來優化YOLOv5網絡結構的整體性能。

2 YOLOv5模型優化

2.1 YOLOv5原始模型

YOLOv5的原始模型如圖1，構成主要分為四個層次[4]：輸入端（Input）、骨干網層（Backbone）、中間層（Neck） 和頭層（Head）。在 YOLOv5 網絡中，C3[4]模塊是一個包含三個卷積層的模塊，每個卷積層后都跟隨著一個批量歸一化層和一個激活層。C3模塊以殘差連接的方式接入網絡，以增強模型的特征提取能力。在模型的 Head 部分，C3 模塊主要負責提取圖像的紋理特征，這些細節特征用于模型在執行具體任務（如物體檢測、分類）時對對象的細微差別進行區分。在模型的 Backbone 部分，C3模塊則擔任著提取更高層次，更抽象的語義信息的任務，如物體的整體形狀、物體的種類等特征。同時，由于 Backbone 部分的作用主要是提取圖像中的全局和語義信息，所以在這里的C3 模塊、位置信息和細節信息的比例相對較小。

2.2 YOLOv5優化模型

本文基于吸煙行為的檢測，而香煙在提取圖片中屬于小目標，在深度學習的目標檢測模型中，小目標因其少量的像素信息和在卷積層中經多層提取后易于丟失的特性，較難檢測。在YOLOv5中，C3模塊[4]（CSP Bottleneck with 3 convolutions） ，即帶有三個卷積層的CSPNet（Cross Stage Partial Network） 瓶頸模塊，要負責進行特征提取和特征的融合。但在C3的空間分辨率是有限的，在卷積神經網絡中，隨著層次的加深，特征圖通常會經過多次下采樣處理。這種設計使網絡可以學習更加抽象的語義信息，但同時也可能導致小目標的空間信息丟失。用于小目標特征提取的過程中尤其是通過多層網絡傳遞時，細微的特征可能會逐漸消散，對小目標來說這一點尤為重要。

C3模塊雖然通過部分跳連設計改善信息流動，但是依然無法完全避免在深層網絡中信息的逐步丟失，會導致小目標的位置和特征信息退化。為了提高對香煙檢查的識別速度和精度，本文基于大量的實驗求證并優化了YOLOv5結構模型，將YOLOv8的C2f模塊加入YOLOv5的Backbone層中，如圖2所示，這樣有效地加快類似香煙的小目標檢測和細致邊界的劃分。C2f模塊可以在不同分辨率級別上提取不同大小的特征，可以提升YOLOv5目標檢測的整體性能。YOLOv5 采用了卷積神經網絡（CNN） 進行圖像處理和特征提取。由于C2f模塊首先在較低分辨率上快速識別設定的傾向區域，然后在這些區域以更高分辨率進行精細分析，因此可以減少在高分辨率下需要處理的數據量，極大地提升計算效率。通過在粗糙級別上先進行檢測，然后對檢測結果進行精修，增強模型對于噪聲和其他干擾的魯棒性，并有助于減小誤檢和漏檢的情況。在粗糙到精細的過程中不斷修正和優化目標的位置和大小，提高系統在香煙小目標定位的精度，特別是在復雜背景、邊界模糊和手部遮擋的情況下。通過在粗糙階段減少計算負擔，C2f可在有限的計算資源下進行更高效的運算，這對于有資源限制的設備或系統非常重要。C2f模塊與YOLO系列的結合在計算機檢測的相關領域中取得了諸多成果。

2.3 C2f 模塊

針對類似香煙的小目標，在數據處理流經太多的C3模塊的深度學習目標檢測模型中，小目標因其少量的像素信息和在卷積層中經多層提取后易于丟失的特性，較難檢測。而基于YOLOv8的C2f模塊，如圖3 所示，可以在特征傳遞的過程中逐步集成更細粒度的信息，幫助模型更好地理解和重建圖像的細節并提高YOLOv5對小目標的檢測能力[3]。

C2f類是一個建立在nn.Module基礎上的高級模型類，專門設計來實現CSP Bottleneck結構中的兩個關鍵卷積層。在其初始化方法init中，這個類接收多個參數：c1代表輸入特征圖的通道數，c2為輸出特征圖的通道數，n 指定了Bottleneck 模塊重復的次數，shortcut表示是否采用shortcut[3]連接以促進梯度流動和特征重用，g 為卷積操作的分組數，而e 是決定隱藏層通道數的擴展因子。

構造過程首先是依據擴展因子e來確定隱藏通道數self.c，這一步驟是為了調節模型的寬度以適配不同的運算需求。緊接著，類中設立了兩個專門進行1x1 卷積操作的卷積層self.cv1和self.cv2。這兩層的職能是對特征圖進行有效的通道數調整和特征提取。此外，通過nn.ModuleList，我們創建了一個包含n 個Bottleneck模塊的列表self.m，這個列表是CSP Bottle?neck結構的核心，每個模塊都對特征進行深入的分析和處理。

在前向傳播函數forward中，模型首先將輸入的特征圖x通過self.cv1卷積層進行處理，這一步不僅調整了特征圖的通道數，還將信息按通道維度一分為二。

接下來，我們將其中一部分特征圖作為輸入，依次傳遞給self.m中的每一個Bottleneck[3]模塊，并將各模塊處理后的輸出收集到列表y中。在獲取到所有必要的特征輸出后，最后一步是將這些特征圖沿通道維度進行拼接，然后通過self.cv2卷積層進行最終的輸出特征圖整合與調整，生成最終的輸出結果。

2.4 框的回歸損失（Box Regression Loss）

用于最小化預測的邊界框和真實邊界框之間的誤差[5]。YOLOv5 使用 CIoU 損失（Complete Intersec?tion over Union Loss） 來計算邊界框的損失，以提升模型的定位準確性。在 YOLOv5 中，框的回歸損失是指預測的邊界框（Bounding Box） 和真實邊界框之間的誤差，這種誤差用于訓練模型以便更準確地定位對象。YOLOv5 使用的是完整的IoU（Intersection over Union） 損失[1]，又稱為 CIoU Loss。CIoU 損失的計算公式如下：

式中， b 代表預測的邊界框，b_GT 是標注的真實邊界框，ρ 是兩個邊界框中心之間的距離，c 是對角線長度，v 是邊界框的寬高比之間的差異。傳統的 IoU 損失僅考慮了預測邊界框和真實邊界框之間的交集和并集，而 CIoU 損失則更進一步，同樣考慮了邊界框的中心點距離以及寬高比例之間的差異。使用CIoU 損失的優點是，模型可以在訓練過程中同時考慮到目標的位置，形狀以及大小，進一步提高了定位的準確性。

3 仿真實驗

3.1 搭建模型測試平臺

YOLOv5模型的訓練需要針對實際訓練的物理環境，進行相應的調整，使訓練效果達到最大化。所以綜合各種因素--weights權重文件選用官方預訓練完成的yolov5s.pt 文件。--epochs 設置為100 輪，--batch-size調成一次16張。隨后，模型訓練過程采納了余弦退火[5]（Cosine Annealing） 策略來動態地調整學習率。這種方法模仿了退火過程中溫度的周期性變化，將學習率隨著每一次迭代緩慢降低，類似于溫度在一個周期中逐漸減小直至接近零的過程。通過這樣的策略，學習率能夠在訓練過程中實現更加精細的調節，從而在初期快速下降探索優化方向，在后期則更細致地進行搜索，避免過早陷入局部最優。這不僅提升了訓練的效率，同時也增強了模型在未知數據上的泛化能力。搭建模型測試平臺配置如表1所示。

3.2 數據集預處理

數據集收集分為兩部分，其一是將網絡中1 866張吸煙圖片，使用LabelImg標注工具來圖像數據。對于每一個目標，繪制一個緊密圍繞目標的邊界框（Bound?ing Box） 并標注其類別。保存標注信息為YOLO格式，即每個圖像文件生成對應一個同名的.txt文件，其中包含類別索引和歸一化的邊界框坐標（ ） 。其二利用攝像機分別錄制向陽處、背光處、近處和遠處的視頻，利用openCV對視頻進行切割提取，按照從0幀開始，每間隔2幀抽取1幀進行抽幀。并用Jupyter Notebook 將錄像中每幀呈現的圖片進行RGB的顏色轉換。將兩部分的數據集去除自動生成圖像中不清晰的圖像，確認所有圖像都符合YOLOv5要求的格式和色彩空間。將數據集中的images文件夾的圖像和labels文件夾中的標簽按照比例7：3的方式劃分為訓練集（train） 和驗證集（val） 。按照YOLOv5的要求創建datasets數據集，并創建兩個子文件夾一個images文件夾和一個labels文件夾，并在這兩個文件夾中保持相同的目錄結構。最后編輯YOLOv5的.yaml配置文件，指明訓練集、驗證集的路徑，以及類別的名稱和數量[1]。

3.3 實驗結果分析

為驗證本文章被提到的優化后的YOLOv5模型的性能，本實驗通過該模型與優化前的YOLOv5模型進行了對比實驗[6，7]。為了實驗結果盡最大可能的準確，在實驗中應盡可能地將一系列的參數保持統一。其中兩者的--epochs均設置為100輪，--batch-size均調成一次16張。實驗結果參數如表2所示，兩者在pre?cision（準確率），recall（召回率），mAP_0.5（IoU閾值被設置為0.5），mAP_0.5：0.95（IoU 閾值從0.5 到 0.95，以0.05為步長增加）均相差較大。優化后YOLOv5模型相較于優化前YOLOv5模型在precision提升約0.15，在recall提升約0.09，在mAP_0.5提升約0.13，在mAP_0.5：0.95提升約0.16。說明優化后的模型可以使邊界框的回歸更加理想化，預測的準確率也使之提高。

接著讓優化前后兩個模型分別運行645張shape 為（1，3，640，640） 的吸煙行為圖片，根據終端實時顯示的結果分別如圖4所示，明顯可以看出優化后（圖4b） 的推理時間為9.6ms比優化前（圖4a） 的10.3ms降低0.7ms，并且優化后的模型運行NMS算法對結果進行優化去除重疊的預測框，只保留最佳的預測框花費的時間為1.3ms比優化前模型降低了0.8ms?？梢妰灮蟮腨OLOv5模型相比于之前的模型在準確率、召回率、執行效率、檢測精度和實時性能均表現出了明顯的優勢。

3.4 優化前后模型實驗效果對比

截取了如圖5所示的兩種模型針對某段實驗視頻部分實驗識別結果進行對此參考，直接生動地展示優化的提升效果。第一行為優化前模型截圖，第二行為優化后模型截圖。通過對比截圖優化后的模型檢測精確度明顯提高。

4 結束語

本文利用YOLOv5基礎上對吸煙行為識別與檢測進行了相關研究，并在此基礎上提出了一種關于YO?LOv5骨干網絡的改進方法。向YOLOv5網絡結構中添加YOLOv8中的C2f模塊改變網絡結構，優化YO?LOv5網絡結構的整體性能。C2f模塊工作時，更高層的特征會通過上采樣擴大到與下一層相同的空間維度，然后與下一層的特征進行融合，這通常通過特征圖的逐元素加法或者卷積操作來完成。這樣逐層向下，最終形成一個融合了多尺度信息的特征圖，提高了模型對不同尺度目標的檢測能力。相比于原始YOLOv5 模型無論是在precision，recall 還是在mAP_0.5，mAP_0.5：0.95 都得到了一定提升。在mAP_0.5：0.95的實驗結果達到了63.97%，這很大程度上提高模型檢測香煙的準確性，完成了該研究的指定目標，達到了預期效果。該研究通過解決吸煙行為檢測這一具體問題，對YOLOv5模型的適應性、精度及實時性進行了深入分析和優化，為相關領域的學者提供了有價值的研究參考和新的研究方向。

本實驗研究過程中，尚且存在一定的不足，比如對CSPDarknet網絡結果掌握度欠缺，在數據集收集過程中還是缺少對像惡劣天氣等綜合環境的考慮，導致在實驗設計中部分模塊與實際環境結合較難實現。接下來，本項目將深入了解并研究環境對吸煙行為數據采集的影響，逐漸完善該系統模型，并進一步提高該模型的綜合性能。