基于YOLOv5的香煙目標檢測算法

李丹妮，欒 靜，穆金慶

（新疆師范大學 計算機科學技術學院，新疆 烏魯木齊 830054）

0 引言

在計算機視覺領域，目標檢測是計算機視覺中的關鍵課題之一，其目標是尋找目標的邊界框并對圖像進行分類。近年來，隨著深度學習技術的發展，目標檢測主流算法的精度和速度都有了很大提升，針對大目標和中目標的檢測，檢測效果取得了不錯的結果，但是在小目標上（通常定義像素32x32 以下的目標）的檢測性能仍然不盡人意。由于目標的低分辨率和有限的像素，小目標檢測是困難的。其主要原因在于小目標通常缺乏充足的外觀信息，無法將它們與背景或相似的目標區分開來。同時，小目標檢測還存在著數據集缺乏的問題，PASCAL VOC［1］中包含的目標都是通常大小的目標；COCO［2］中的小目標數量太少且分布不均勻；WIDER FACE、FDDB 小人臉數據集和DOTA、UCAS-AOD 航拍數據集，不具有目標檢測通用性［3］。由此可見，小目標檢測任務任重而道遠。

近年來，深度卷積網絡在目標檢測領域占據主導地位，如two-stage 方法中的Faster R-CNN［4］，one-stage 方法中的SSD［5］、YOLOv3［6］、YOLOv4［7］等。Faster R-CNN 由region proposal network（RPN）組成，首先選擇對象的候選邊界框，然后利用Fast R-CNN［8］進一步生成準確的對象區域和類別標簽，在VOC2012 數據集上達到最高的精度34.9%AP，對于小、中、大目標的精度分別為15.6%AP、38.7%AP 和50.9%AP。SSD 基于一組預設的錨框直接預測不同尺度特征圖的目標位置和尺度，以VGG-16 作為主干網絡在COCO 數據集上的達到的最高精度為28.8%AP，對于小、中、大目標的精度分別為10.9%AP、31.8%AP 和43.5%AP。YOLOv3 通過對YOLOv2［9］進行了一系列設計更改，例如設計跨尺度預測和使用Darknet-53 作為主干網絡進行特征提取，在COCO 數據集上達到33%AP，對于小、中、大目標的精度分別為18.3%AP、35.4%AP 和41.9%AP。YOLOv4 使用CSPDarknet-53 作為主干網絡，利用SPP［10］和PANnet［11］結構加強特征提取，使模型的檢測精度達到43.5%AP，對小、中、大目標的檢測精度分別為26.7%AP、46.7%AP 和53.3%AP。上述幾種目標檢測算法在大目標、中目標檢測中表現出明顯的優勢，但對于小目標檢測，效果卻不盡人意。

吸煙現在普遍存在于日常生活中，其不僅影響吸煙者的健康與生命，而且對他人及空氣質量的危害也不容小覷。盡管我國在公共場所、公共交通工具等地明令禁止吸煙，采取張貼禁煙指示牌等措施，但防控效果差強人意。針對這一現象，將本文要檢測的目標的小目標定為香煙目標。

目前國內對香煙目標檢測的文獻微乎其微，普遍是對吸煙行為的檢測，主要是基于煙霧動態特征、行為識別等。張洋等［12］提出一種基于弱監督細粒度結構與EfficientDet 網絡的吸煙行為識別算法。該算法使用弱監督細粒度兩級注意力模型框架形成候選區域塊，再通過融合選擇相關塊形成特定物體的物體級篩選器以及定位判別性部件的局部級篩選器結果，對吸煙行為進行有效的識別，算法準確率達到93.10%；徐婉晴等［13］提出一種利用人體骨骼關鍵點和吸煙行為之間的關系來進行吸煙行為檢測的算法，該算法通過檢測人體骨骼關鍵點和臉部關鍵點計算手腕到嘴角中點和同側眼睛的距離比，從而判斷該比值是否屬于吸煙動作的黃金比例來區分是否為吸煙行為，算法準確率達到92%；陳睿龍等［14］提出一種基于卷積神經網絡的視頻圖像特征提取和特征融合的吸煙行為檢測方法，該方法通過定位煙頭的位置判斷是否為吸煙行為。

上述提到的目標檢測主流算法及吸煙行為檢測相關文獻，反映出現階段小目標檢測發展緩慢、檢測困難和檢測效果不佳等問題。為了改進這些問題，本文提出一種基于YOLOv5 的香煙目標檢測算法，融合SENet［15］注意力機制模塊，提升復雜場景中香煙目標的檢測精度，通過訓練數據增強、改變損失函數提高了模型的魯棒性。

1 YOLOv5目標檢測模型

1.1 模型框架

YOLOv5 是一種單階段目標檢測算法，與YOLOv4 相比較，具有均值權重更小、訓練時間更短、檢測速度更快的特點。YOLOv5 的檢測策略為：將輸入的圖像分為若干網格，包含檢測目標的網格負責預測目標位置，最終輸出與真實框契合度最高的預測框。YOLOv5 模型包括輸入端、Backbone、Neck、Head 四部分。輸入端包括Mosaic 數據增強，將4 張圖像隨機縮放、隨機裁剪、隨機排布。Backbone 為特征提取部分，包括卷積層、C3 和SPPF結構：卷積層中封裝了分組卷積、BN 層以及SiLU 激活函數三個功能；C3 模塊簡化了之前的BottleneckCSP 結構，使得模型捕獲特征的能力增強；SPPF 結構替換了SPP［10］（空間金字塔池化）結構，使模型的前向計算和反向計算速度提升了約1.5 倍。Neck 中采用了特征金字塔FPN 與路徑聚合網絡PAN 結合的結構，將常規的FPN 層與自底向上的特征金字塔進行結合，將所提取的語義特征與位置特征進行融合，同時將主干層與檢測層進行特征融合，使模型獲取更加豐富的特征信息。Head 輸出預測結果。

YOLOv5 結構可以抽象理解為采用FPN+PAN 結構的組合，采用了大量的卷積和C3 結構。卷積層結構包括普通卷積conv、BN 層和SiLU［16］激活函數。C3 結構是BottleneckCSP 結構減少一個卷積層得到。BottleneckCSP 與CSP結構相似，CSP 結構由Chien-yao Wang 等［17］提出的，在denseNet 特征融合結構的基礎上對輸入特征圖像進行分割，目的是為了減少梯度重復計算，提升模型的速度。YOLOv5模型結構如圖1所示。

1.2 YOLOv5在香煙目標檢測中的缺陷

YOLOv5 模型現階段已有了良好的目標檢測性能和預測速度，但應用于香煙目標的識別檢測，仍然存在以下缺陷：

（1）主干網絡有較多的C3 結構和卷積層，其卷積操作中的卷積核包含大量參數，導致模型中含有大量參數，降低了模型的計算速度。因為香煙目標較小，所以在特征提取過程中通過大量的卷積運算之后，香煙目標的特征信息在圖片較為全面的特征信息中無法凸顯，使模型對類似于香煙等小目標檢測速度下降。

（2）當預測框在真實框內部且兩者大小恒定時，GIoU［18］函數的值即為并交比，無法實現高精度的定位。GIoU 是一種距離函數，由式（1）所示，其中C 為預測框和真實框的最小外接框面積，B 為預測框，Bgt 為真實框（groud truth）。

Fig.1 YOLOv5 model structure圖1 YOLOv5模型結構

其中IoU（交并比）為預測框與真實框交集與并集的比值，由式（2）所示。兩個框相離時，并交比為0；當預測框位于真實框內部但兩者不等時，并交比的值恒定為B/Bgt；最理想情況為預測框和真實框完全重疊，并交比的值為1。

定位損失函數LGIoU 公式由式（3）所示：

在GIoU 函數中，真實框與預測框距離越遠，C值越大，GIoU 無限趨近于-1，定位損失函數LGIoU(B，Bgt)無限趨近于2。顯而易見，應用GIoU 函數存在一個問題：當真實框包含預測框且兩者大小固定時，其并交比恒定為預測框與真實框面積的比值，無論預測框在真實框的任何位置，損失值都不變。

2 改進的YOLOv5模型

2.1 主干網絡引入注意力機制

注意力機制（Attention Mechanism）源于對人類視覺的研究，其目標是從眾多信息中挑選出對當前任務目標更為關鍵的信息。本文在對香煙目標識別中引入注意力機制，賦予香煙目標更大的權重，讓模型更關注與香煙目標有關的重要區域。在多數實驗中，在模型中引入注意力機制會顯著提高模型性能，但引入位置并沒有固定的要求，只要對模型性能有改進即可。

本文在通道維度引入Squeeze-and-Excitation Networks（SENet）網絡結構，將其插入到現有的多種網絡結構中，都取得了較好的實驗效果。SENet 采用了一種全新的特征重標定策略，通過自學習方式自動獲取每個特征通道的權重，并按照此權重來提升有用的特征，抑制對當前檢測任務作用不大的特征［15］。其結構如圖2所示。

Fig.2 Squeeze-and-Excitation network structure圖2 Squeeze-and-Excitation 網絡結構

該結構中的兩個關鍵操作為Squeeze 操作和Excitation操作。給定一個輸入X，其特征通道數為C'，寬為W'，高為H'，經過Backbone 中的卷積操作后得到特征通道數為C、寬高為W、H的特征U。此后的操作與傳統的CNN 不同：首先是Squeeze 操作，它通過全局池化的方式，將H×W二維向量變成一個實數，且輸出的維度和輸入的特征通道數相匹配；其次是Excitation 操作，該操作使用兩個全連接層，組成一個Bottleneck 結構來建模通道間的相關性，為每個通道生成一個權重值；最后為Reweight 重標定操作，即通過scale 乘法，將Excitation 操作輸出的權重值，即每個特征通道的重要性，逐通道加權到之前的特征U上，完成在通道維度上對原始特征的重標定［19］。

本文將SEnet 應用于Backbone 中，即在Backbone 的每一個C3 之后插入一個SEnet 結構，具體結構如圖3 所示。原始特征圖X 輸入到Backbone 結構中，每經過一次C3 卷積操作，就進入到SEnet 結構中。使用全局平均池化作為Squeeze 操作。Excitation 操作包含兩個全連接層FC、ReLU激活函數和Sigmoid［16］函數。第一個全連接層FC 對通道數進行降維，衰減因子為r，此目的是為了降低后續的計算量；第二個全連接層將通道數恢復到原來的維度。使用兩個全連接層可以更好的擬合通道間復雜的相關性，具有更多的非線性，并且減少了計算量和參數量。Sigmoid 函數將參數值轉化為一個0～1 間的歸一化權重值。最后通過scale 乘法操作將歸一化的權重值逐通道加權到之前的特征上［20］。

Fig.3 SE-YOLOv5 structure圖3 SE-YOLOv5結構

2.2 改進邊界框定位損失函數GIoU

為解決上述GIoU 存在的問題，即當真實框包含預測框且兩者大小固定時，其并交比恒定為預測框與真實框面積的比值，無論預測框在真實框的任何位置，損失值都不變。本文采用CIoU［21］（Complete-IOU），由式（4）所示。與GIoU 相同的是，CIoU 還是需要找到最小外接框，與 GIoU不同的是，CIoU 進一步強調了距離的重要性和預測框與真實框長寬比例問題。

其中，ρ2為預測框和真實框中心點距離的平方，c2為最小外接框對角線的平方，ν為預測框和真實框長寬比例差值的歸一化；α 為平衡長寬比例造成的損失和IoU 造成的損失的平衡因子。

CIoU 中歸一化中心點距離的最小化導致快速收斂，重疊區域和縱橫比的一致性有助于更好地匹配兩個框。

3 實驗及結果分析

本文采用的圖像處理單元（GPU）為TESLA K80，依賴pytorch1.7.0、python3.7，框架為改進的YOLOv5。共設計4組實驗，分別在自制香煙數據集下測試傳統YOLOv5 和兩個改進部分對香煙目標檢測性能的影響。在COCO test 數據集下與小目標檢測經典模型SSD 和DSSD［22］進行比較，綜合判斷改進模型的性能。

3.1 數據集

現有的香煙目標檢測數據集較少且數據量不大，本文數據集均來源于互聯網，來源不一，通過網絡爬蟲技術，爬取百度和谷歌網站上的香煙、吸煙行為圖片，截取網絡視頻及影視作品中的香煙和吸煙動作，完成了實驗數據集的制作。數據量共6 808 張，訓練集（驗證集）和測試集按照4：1 的比例劃分，其中訓練集（驗證集）包含圖片5 447 張，驗證集包含圖片1 361 張。為保證數據與實際場景相符，以保證檢測模型的適用性，數據集包含各個場景的真實圖像，如工作、生活、街頭等，其中包括香煙數據、手拿香煙或香煙相似物數據、無香煙數據，數據豐富，具有科研價值。數據集示例如圖4所示（彩圖掃OSID 碼可見，下同）。

使用Github 上的開源標注工具YOLO Mark 進行香煙目標數據標注。標注參數為五元組(class，x，y，w，h)，其中class表示檢測目標類別；(x，y)表示真實框的中心點坐標；w，h表示真實框的寬度和長度。x，y，w，h需先經過歸一化處理成0～1之間的數值。香煙目標標注如圖5所示。

3.2 評價指標

Fig.4 Dataset example圖4 數據集示例

Fig.5 Cigarette target annotation圖5 香煙目標標注

本文使用F1值和mAP作為改進模型的評價指標［20］。F1值是精準率和召回率的調和平均，用于綜合反映整體指標，F1較高時表明實驗所用方法有效，由式（5）所示。mAP值越高，表明模型的檢測效果越好，由式（6）所示，

其中，Precision為查準率，Recall為查全率；AveragePrecision(c)為一個類c的平均精度，它表示在驗證集上所有圖像對于類c的Precision之和與所有包含類c目標的圖像數量的比值；N(classes)表示所有目標類別數量。

3.3 香煙目標檢測實驗設計與檢測結果分析

3.3.1 改進部分對模型檢測性能的影響

改進模型的訓練結果如圖6 所示。可以看出，訓練前期損失值下降速度較快，隨著訓練次數的增加，損失曲線降幅變緩，最終趨于平穩。

圖7 采用可視化方式顯示出數據集中目標的寬高比?？梢钥闯?，歸一化后，香煙目標的寬高比普遍在0.1左右，說明數據確實很小，也會面臨模糊問題，導致數據質量降低。

Fig.6 Model training results圖6 模型訓練結果

Fig.7 Visualization of target aspect ratio distribution of cigarettes圖7 香煙目標寬高比分布可視化

為了驗證改進方法對傳統YOLOv5 的性能影響，本文對比了引入注意力機制和改進損失函數的模型與傳統YOLOv5 模型的實驗效果，每組實驗的訓練參數相同，比較結果如表1。由表1 可知，SEnet 注意力機制的引入能夠在通道維度對特征圖的每個通道進行特征壓縮與自學習，實現對原始香煙特征的重標定，加大重要特征的權重值；改進損失函數GIoU 為CIoU 作為定位框損失函數，解決了GIoU 函數在預測框位于真實框內部的情況下退化為IoU的問題，提高了模型定位的精確度。改進后模型的mAP 值為0.81，比傳統YOLOv5 的mAP 值提高0.104；F1 為0.797，比傳統YOLOv5 模型提高0.103，且改進模型在訓練中需要更少的顯存。

Table 1 Detection performance of the improved model表1 改進模型的檢測性能

圖8 為改進前后檢測性能對比。傳統YOLOv5 模型對香煙目標的檢測效果如圖8（a）所示，改進模型對香煙的檢測效果如圖8（b）所示，改進后模型的識別效果有了明顯提高。

Fig.8 Comparison of improved model and YOLOv5 detection results圖8 改進模型與YOLOv5檢測結果比較

3.3.2 改進模型與主流目標檢測模型的性能比較

目前小目標檢測領域主流的檢測模型有R-FCN、SSD、DSSD、RetinaNet［23］等，采用mAP 指標作為每種檢測模型的評估指標，在COCO-test 數據集上做對比實驗，實驗結果如圖9 所示，與其他小目標檢測模型的效果對比如表2 所示。由表2 可知，本文提出的改進模型相比于SSD、DSSD 等主流的小目標檢測模型具有更好的檢測性能。在保證檢測速度的同時，精確度有了一定的提高，與主流模型相比具有一定優勢。

4 結語

本文針對公共場所中吸煙行為防控效果差的問題，提出了一種基于傳統YOLOv5 的改進的香煙目標檢測模型。該模型提高了模型的識別速度，降低了卷積計算量。一方面，為了解決由于香煙目標較小，在特征提取過程中通過大量卷積運算之后特征信息不突出的問題，在主干網絡Backbone 結尾加入SEnet 注意力機制，實現在通道維度上原始特征的重標定，通過自學習的方式增大了香煙目標重要特征通道的權重值。另一方面，為了解決當預測框在真實框內部且兩者大小恒定時，GIoU 函數的值退化為并交比，無法實現高精度定位的問題，本文使用CIoU 作為定位框回歸損失函數，進一步強調了距離的重要性以及預測框與真實框長寬比例問題，其中歸一化中心點距離的最小化處理方法使檢測速度快速收斂，重疊區域和縱橫比的一致性有助于更好地匹配真實框和預測框。

Table 2 Performance comparison with main target detection models表2 與主流小目標檢測模型性能對比

Fig.9 Detection accuracy of SE-YOLOv5 in COCO-test dataset圖9 SE-YOLOv5在COCO-test數據集的檢測精度

通過對比實驗，驗證了本文提出的改進模型能夠準確、快速地檢測出生活、工作等場景圖像中的香煙目標。本文方法的mAP 達到0.81，比YOLOv5 的mAP 值提高0.104，F1 值達到0.797，比YOLOv5 模型提高0.103；在COCO test 數據集上達到62.1%mAP，比RetinaNet 等小目標檢測網絡提升了3 個百分點。實現了檢測效果的高準確性和高速率，檢測性能在自制數據集上高于目標檢測領域主流的目標檢測模型，可為吸煙行為管控提供有益的幫助。未來將進一步提高模型的檢測速度，擴大數據量，進一步降低誤檢率，提升模型在實際生活應用中的檢測效果。