基于改進YOLOv5s網絡模型的火災圖像識別方法*

梁金幸，趙鑒福，周亞同，史寶軍

（1.河北工業大學 省部共建電工裝備可靠性與智能化國家重點實驗室，天津 300401；2.河北工業大學 機械工程學院 河北省機器人感知與人機融合重點實驗室，天津 300401；3.河北工業大學 電子信息工程學院，天津 300401）

0 引 言

隨著社會發展水平的不斷提升，產生較大損失火災的可能性也逐漸增大。早期的火災識別方法主要是通過探測器對特定區域的溫度、光譜和煙霧等進行采樣分析，但由于探測器檢測范圍與靈敏度的限制，在開闊空間以及環境惡劣的情況下，難以實現較為及時的檢測［1］。此外，探測器難以確定火災位置、火焰大小和火災發展趨勢，不利于后續火災的處置。

近年來，使用圖像處理技術進行火災識別，引起了許多研究人員的關注。傳統的火災圖像識別方法主要通過圖像分割［2］、運動目標檢測［3］來確定疑似火焰區域，然后設計并提取火焰的多種特征，使用支持向量機（support vector machine，SVM）［4］等機器學習分類器進行特征融合，從而實現火災識別。此外，火焰的顏色和運動特征受到了廣泛關注。Khalil A等人［5］使用顏色特征分割出火焰區域，然后利用動態特征來確定該區域是否包含火焰，該方法可在一定程度上降低火災檢測系統的誤報率。得益于計算機性能的提升，深度學習網絡模型在圖像識別領域得以發展和應用。常用的深度學習網絡模型主要有YOLO（you only look once）模型［6］、單次多框檢測（single shot multibox detector，SSD）模型［7］以及快速區域卷積神經網絡（faster regionbased convolutional neural network，Faster R-CNN）模型［8］。在對火災圖像識別的研究中，Li P和Zhao W［9］對比分析了基于Faster R-CNN，R-FCN，SSD 和YOLOv3 等深度神經網絡的火災識別方法，實驗結果表明YOLOv3 網絡模型的性能優于其他網絡模型；張海波等人［10］提出了一種三通道擬合的卷積神經網絡（convolutional neural network，CNN）火災探測算法，該算法可有效提高火災識別率。

上述研究工作豐富和發展了火災圖像識別方法，但仍然存在一些問題：顏色和運動特征識別方法難以排除顏色類似于火焰的動態干擾物；傳統的火災圖像識別方法依賴于人工設計特征，導致算法泛化能力不足；深度學習方法通過神經網絡模型自動學習特征，但模型對有效信息的提取能力和對小目標的檢測能力有待進一步提升。

針對當前火災圖像識別方法存在的問題，本文提出一種基于改進的YOLOv5s 網絡模型的火災圖像識別方法。首先，通過在特征提取網絡中添加注意力機制模塊，增強模型對圖像特征的學習能力；然后，在YOLOv5s 多尺度檢測的基礎上添加大尺度檢測層，提升模型對小目標的識別能力，并且使用K-Means算法對火災數據集的標注框進行聚類，獲得先驗框的尺寸；最后，在實驗數據集上驗證了本文火災圖像識別方法的有效性。

1 YOLOv5s網絡模型

YOLO網絡模型由Redmon J 等人［6］于2016 年提出，利用回歸的思想來解決目標檢測問題，能夠同時輸出物體的邊界和類別概率。2020 年，Ultralytics 公司公布了YOLOv5s網絡模型。圖1為YOLOv5s網絡模型的結構。

圖1 YOLOv5s網絡模型結構

如圖1 所示，YOLOv5s 網絡模型包括輸入（input）層、主干（backbone）部分、頸（neck）部和輸出（output）層4個部分。輸入圖片經過特征提取后，得到3 種不同尺寸的特征圖（feature map），這些不同尺寸的特征圖用于檢測不同大小的目標。Backbone 和Neck 由Focus，CBL（convolutional，batch normalization，leaky）ReLU，CSP（cross stage partial）以及SPP（space pyramid pooling）模塊組成。Focus 模塊包含切片層（slice layer）、卷積層（convolutional layer）和激活函數（activation function），用于對特征圖進行切片操作。CBL模塊包含卷積層，批量標準化（batch normalization，BN）層和激活函數。CSP模塊有CSP1_X和CSP2_X兩種類型，使用跨層連接的方式來融合不同層間的特征信息。CSP1_X包含CBL模塊、X個殘差單元（ResUnit）、卷積層、批量標準化層和激活函數。與CSP1_X不同，CSP2_X用CBL模塊代替了殘差單元。SPP模塊包含CBL 模塊和池化層（pooling layer），采用最大池化操作對不同尺度的特征圖進行張量拼接，實現多重感受野的融合。此外，YOLOv5s網絡模型采用GIOU_Loss損失函數［11］來估算邊界框的位置損失。

由于火災識別任務具有實時性的需求，YOLO 系列模型以檢測速度快的優點引起了研究人員的關注。相比于之前的YOLO系列模型，YOLOv5s網絡模型體積輕便且檢測速度快，適合部署到嵌入式設備。因此，本文使用YOLOv5s網絡模型進行火災圖像識別并對模型進行改進，進一步提升模型的性能。

2 模型改進方法

2.1 特征提取網絡改進

Backbone，即為特征提取網絡，采用Focus，CBL，CSP以及SPP等模塊來提取圖像的特征。這些模塊的使用可以在一定程度上改善特征提取過程中的特征信息損失問題，但不同通道（channel）間特征的重要程度并沒有得到關注。為了解決這個問題，研究人員通過使用注意力機制（attention mechanism）對輸入圖像的特征加以選擇，使模型更加關注不同特征的重要性［12］。

為了提升模型對特征的學習能力，本文將擠壓-激勵（squeeze and excitation，SE）模塊加入到YOLOv5s網絡模型的特征提取網絡中，為模型添加注意力機制。SE模塊源自SE網絡（SE network，SENet）［13］。具體來說，SE 模塊通過調整各通道的權重，使模型關注信息量大的特征，抑制無效或效果作用小的特征，從而實現注意力的集中，提高網絡模型的學習能力。圖2為SE模塊的計算流程，W×H×C代表特征圖的尺寸，輸入特征圖經過Squeeze操作得到1 ×1 ×C的向量；然后，通過Excitation操作學習到各通道的權重；最后，將各通道的權重賦予輸入特征圖。

圖2 SE模塊計算流程

YOLOv5s網絡模型借鑒特征金字塔網絡（feature pyramid network，FPN）的多尺度檢測思想，使用80 ×80，40 ×40和20 ×20這3種尺寸的特征圖來實現目標識別。圖3 為引入SE模塊后的特征提取網絡及參數，相比于原始模型的特征提取網絡，改進后的特征提取網絡在第2個CSP1模塊、第3 個CSP1 模塊以及SPP 模塊后分別添加了SE 模塊，用于獲得80 ×80，40 ×40 和20 ×20 這3 種帶有注意力機制的特征圖。

圖3 改進后的特征提取網絡和參數

2.2 多尺度檢測改進

火災發生初期是火災識別的關鍵時期，此時的火焰形態多為小型火焰，所以，火災識別網絡模型應當對小目標具備較好的識別能力。在YOLOv5s 網絡模型特征提取過程中，圖像經過多次卷積、池化等操作后會丟失部分信息，導致模型對小目標的檢測效果不佳。因此，本文在YOLOv5s多尺度檢測的基礎上添加大尺度檢測層，提高模型對小目標的識別能力。

值得注意的是，檢測層層數的增多會增加網絡模型的參數量，導致檢測速度降低。為了滿足火災識別網絡模型的精度和實時性要求，本文在YOLOv5s網絡模型的輸出部分添加1個160 ×160的檢測層，利用4種不同尺寸的特征圖對圖片中的大、中、小和較小目標進行識別。改進后的多尺度檢測層如圖4 所示，新增加的檢測層4 會對檢測層3中80 ×80 的特征圖進行一次上采樣，獲得160 ×160 的特征圖，然后再與主干網絡中160 ×160的特征圖相連接。

圖4 改進后的多尺度檢測層

2.3 先驗框改進

先驗框是從訓練集中真實標注框中統計或聚類得到的一組固定尺寸和寬高比的初始區域，在網絡模型訓練中，初始先驗框參數越接近真實邊界框，模型將會越容易收斂，其預測邊界框也會更加符合真實邊界框。

K-Means是一種常用的聚類算法，主要思想是根據歐氏距離將樣本點聚集到指定的K 個類別中。YOLOv5s 網絡模型設定的初始先驗框如表1 所示，每個尺度的特征圖匹配3個先驗框。由于檢測層層數的增加，先驗框的個數也要相應增加。此外，數據集中火災圖像的火焰區域大小各異。為了使先驗框能夠與檢測層相匹配，并且符合數據集的真實情況，使用K-Means算法對火災數據集中的標注框進行聚類，將聚類得到的一組先驗框代替YOLOv5s設定的初始先驗框。

表1 YOLOv5s網絡模型先驗框

依據每個尺度的特征圖匹配3 個先驗框的原則，改進后的檢測層所匹配的先驗框總數為12，即聚類個數K ＝12。添加大尺度檢測層后，網絡模型能夠輸出4 種不同尺寸的特征圖。尺寸較大的特征圖包含圖像的低層信息，具有較小的感受野，故匹配較小的先驗框；相反，尺寸較小的特征圖匹配較大的先驗框。改進后的先驗框與特征圖的匹配情況如表2所示。

表2 改進后的先驗框

3 實驗與結果分析

3.1 實驗環境

實驗環境為：Intel?CoreTMi9-10900KF ＠ 3.70 GHz，32 GB內存，Nvidia GeForce RTX 2080 Ti，Windows10 64位操作系統。使用Python開發語言，CUDA10.0 GPU 加速庫以及Pytorch1.8.1深度學習框架。

3.2 模型訓練

由于目前火災防治領域沒有公開的標準數據庫，本文主要使用互聯網上搜集的火災圖片，以及文獻［14 ～16］中提出的一系列典型火災數據庫來構建火災數據集。所構建的火災數據集共計2 730 張圖片，主要包括室內、公路和森林等場景中不同大小和形狀的火焰，部分火災數據集圖片如圖5所示。使用Labelimg軟件完成火災數據集的標注，標注好的數據集將用于模型的訓練和測試。訓練集和測試集分別按照70%和30%的典型比例進行劃分，即訓練集包含1 911張圖片，測試集包含819張圖片。

圖5 火災數據集部分圖片

依據YOLOv5s網絡模型設定的訓練參數，在網絡模型訓練階段，初始學習率設置為0.01，迭代批量尺寸（batch size）設置為16，動量（momentum）因子設置為0.937，權值衰減（weight decay）系數設置為0.000 5，輪次（epoch）設置為300，使用隨機梯度下降（stochastic gradient descent，SGD）法進行優化。此外，為了增加火災數據集中樣本的多樣性，本文對輸入網絡模型的圖片進行數據增強處理。增強方法包括圖像平移（translate），尺度（scale）變化、左右翻轉（flip left-right）、馬賽克（mosaic）數據增強以及HSV顏色空間中色調（hue）、飽和度（saturation）及明度（value）的變化。

3.3 結果分析

本文以YOLOv5s網絡模型為基礎，對特征提取網絡，多尺度檢測層以及先驗框尺寸進行了改進。采用精確率（precision，P）、召回率（recall，R）、置信度0.5 下的平均精度均值（mean average precision，mAP）和幀率（frames per second，FPS）來評價模型的性能［17，18］。mAP 為Precision 和Recall曲線下的面積，用來表示模型的整體性能，P ＝TP／（TP ＋FP），R ＝TP／（TP ＋FN）。其中，TP 為正樣本被正確分類的數量，FP為負樣本被錯誤分類的數量，FN為正樣本被錯誤分類的數量。

改進YOLOv5s 網絡模型的訓練情況如圖6 所示。圖6（a）為損失函數隨訓練輪次的變化曲線，模型訓練300輪次，損失函數數值收斂在0.05 ～0.1。圖6（b）為mAP隨訓練輪次的變化曲線，模型訓練150輪次左右，mAP波動較小，然后趨于穩定。

圖6 改進YOLOv5s網絡模型的訓練表現

為探究所使用的改進方法對模型性能的影響，將改進特征提取網絡的模型記為YOLOv5s-A，由于先驗框個數需要與檢測層層數相匹配，故將同時改進特征提取網絡，多尺度檢測層以及先驗框的模型記為YOLOv5s-AB，并將改進的2種網絡模型與YOLOv3 和YOLOv5s 進行對比。各網絡模型的性能評價結果如表3所示。

表3 各網絡模型性能評價結果

由表3 可知，YOLOv5s-A、YOLOv5s-AB 相比YOLOv3和YOLOv5s，P、R和mAP指標均有提升；YOLOv5s-AB相比YOLOv3，P、R 和mAP 指標分別提高了3.55%、3.14%和3.68%，幀率提高了10.40 fps；YOLOv5s-AB相比YOLOv5s，P、R和mAP指標分別提高了2.05%、1.72%和2.09%，幀率可達54.66 fps。由于在YOLOv5s 中添加了SE 模塊和160 ×160的檢測層，導致YOLOv5s-A、YOLOv5s-AB的檢測速度略低于YOLOv5s。

為了進一步測試YOLOv5s-AB 網絡模型的性能，使用文獻［19］中構建的火災數據集進行實驗，圖7 為YOLOv5s與YOLOv5s-AB網絡模型對火災圖像和干擾圖像的識別效果。

圖7 火災識別實驗結果

本文在原始YOLOv5s 網絡模型中，同時添加了SE 模塊和大尺度檢測層，并使用K-Means聚類算法得到先驗框的尺寸。由圖7所示的火災識別實驗結果可以看出，改進的YOLOv5s-AB網絡模型相比于原始模型，在置信度上有了明顯提升，對多目標和小目標的識別效果更好，并且可以在一定程度上排除夕陽、燈光等干擾物。

4 結 論

本文通過研究YOLOv5s網絡模型的特征提取網絡，多尺度檢測層以及先驗框機制，提出一種改進YOLOv5s網絡模型的火災圖像識別方法。在原始YOLOv5s 網絡模型中同時添加SE注意力機制和大尺度檢測層，并使用K-Means聚類算法得到先驗框尺寸。實驗結果表明：改進的YOLOv5s網絡模型（YOLOv5s-AB）在實驗數據集上的P為82.27 %，R 為85.11 %，mAP 為85.72 %，檢測幀率達54.66 fps，以較低的時間代價提升了模型性能；尤其在置信度上有明顯提升，對多目標和小目標的識別效果更好；并可較好地排除夕陽、燈光等干擾物，提高了對火災圖像的識別效果。下一步將考慮對現有火災數據集進行擴充，使網絡模型學習到的圖像信息更加全面。