基于改進YOLOv5的阻燃材料燃燒時間檢測

王林

摘要：阻燃材料的阻燃性能主要通過對其進行火焰延燃性能測試，如延燃時間、火焰擴展長度等指標。傳統的人工秒表計時、基于圖像匹配的計算機視覺檢測等方法都具有明顯的不足之處，如延時過高、識別精度不高等。將深度學習技術運用在阻燃性能測試中，可以實現延燃時間計算的自動化，有效降低人工秒表計時產生的延遲，是一個非常具有實用價值的研究方向，受到了各類研究人員的關注。相對于傳統的基于匹配的目標識別算法，深度學習技術可以大大提高識別的精確度，更能從圖像中提取高級特征。然而，現有的深度學習模型也存在泛化能力較弱、對小目標檢測能力較弱的問題。為了解決這些問題，本文提出了一種改進的YOLOv5s模型，檢測阻燃材料的燃燒時間。該模型對原有YOLOv5模型的頸部進行調整，將用于多尺度特征融合的路徑聚合網絡替換成同樣具有多尺度特征融合能力的特征金字塔，在維持原有功能的前提下提高了模型的精度；同時，通過更換頸部核心的方法，降低了模型推理所需的計算量。實驗表明，使用阻燃實驗專用數據集，可以使模型識別出阻燃材料的小火星；使用改進后的YOLOv5s模型，模型的精確度得到了提高：在0.2置信度上，火焰識別精確率提升了0.43，所有類別精確度提升了0.26。同時在自有數據集下能夠準確檢測阻燃材料的燃燒時間。

關鍵詞：阻燃材料；延燃測試；YOLOv5；特征金字塔

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2023）36-0025-05

開放科學（資源服務）標識碼（OSID）

1背景

阻燃材料的阻燃性能測試是通過對阻燃材料進行火焰延燃性能測試，評估其阻燃性能，如延燃時間、火焰擴展長度等指標。其中，阻燃材料燃燒時間是檢驗材料是否符合標準的主要方法，傳統的燃燒時間檢測采用人工秒表計時的方法，受限于測試員的反應時間等，該方法很難準確且自動給出阻燃材料的燃燒時間。因此本文采用人工智能方法，對阻燃材料的燃燒視頻進行分析，自動檢測點火裝置移開后，阻燃材料的燃燒時間。其中，燃燒時間的檢測關鍵是火焰識別。

火焰識別是指通過計算機視覺和圖像處理技術來自動檢測、定位和識別圖像或視頻中的火焰[5]。這項技術具有廣泛的應用領域，包括火災安全、工業監測、安防系統等；其中，將火焰識別技術運用于待測材料燃燒時間的檢測，具有很高的研究價值。在火焰識別中，常用的算法和技術包括基于顏色模型的閾值分割[1]、紋理分析、形狀匹配、光流估計、機器學習（如支持向量機[2]、隨機森林）和深度學習（如卷積神經網絡）等。根據具體的應用場景和需求，可以選擇合適的技術和方法進行火焰識別的研究和開發。

傳統的火焰識別方法，如基于顏色模型的閾值分割[4]、紋理特征、光流估計等，大都存在適用性窄、檢測精度易受火焰種類的干擾等問題。基于顏色模型的閾值分割[6]：火焰通常具有明亮的紅、橙、黃色調，因此可以通過檢測圖像中的特定顏色范圍來定位火焰區域，但如果火焰的顏色不是紅橙黃色調，如酒精噴燈的火焰等，就容易出現檢測失敗的情況。基于紋理特征的火焰識別[7]：火焰的紋理通常具有高頻變化和不規則性，可以使用紋理分析技術來檢測這種特征并識別火焰，但提取有效的紋理特征并對其進行分析和選擇是一項具有挑戰性的任務。紋理特征可能需要復雜的計算和處理步驟，而且不同的紋理描述符對于不同類型的火焰可能表現不同的效果。光流分析法檢測火焰[3]：利用光流估計算法來分析圖像序列中像素的運動模式，火焰的移動模式與其他背景元素不同，可以通過光流分析來檢測火焰，但光流分析通常基于像素級的運動檢測，而圖像中的其他移動物體或背景噪聲也可能引起光流的變化，從而產生誤報或誤識別。在待測材料燃燒時間的檢測中，由于待測材料燃燒時會產生煙霧，傳統的火焰識別方法難以應對這種噪聲。

近年來，隨著深度學習技術的發展，深度學習在火焰識別領域中取得了較好的成果[9]。因此可以將深度學習模型應用到燃燒時間的檢測中來：運用深度學習模型對待測材料燃燒視頻進行識別，統計點火裝置移開后出現火焰的連續幀數，即可計算出燃燒時間。深度學習通過構建和訓練深度神經網絡模型，能夠從原始圖像數據中自動學習火焰的特征表示和識別模式，具有以下優勢：自動特征學習：傳統的火焰識別方法需要手工設計和選擇特征，而深度學習能夠通過大規模數據的訓練，自動學習并能夠從圖像中提取更豐富、更高級的特征，以更好地區分火焰和其他干擾物。高準確性：深度學習模型在火焰識別任務中通常能夠達到較高的準確性。通過使用深度卷積神經網絡（CNN）等模型，能夠捕捉到火焰的局部和全局特征[8，12-14]，從而實現更精確的火焰識別。盡管深度學習在火焰識別中具有諸多優勢，但也需要注意一些問題，例如：深度學習模型的性能和泛化能力取決于訓練數據的質量和多樣性，需要充分考慮數據的采集和標注過程。

針對上述挑戰，本文提出了基于YOLOv5的阻燃材料燃燒時間檢測方法。用改進的YOLOv5對燃燒視頻中火焰進行識別，計算出點火裝置移開后出現火焰的連續幀數，再結合視頻的幀率，計算出燃燒的持續時間。本方法先對采集到的視頻數據進行清洗、抽幀、標注，獲得符合項目需求的數據集，并通過提高訓練數據質量和多樣性，來減少神經網絡泛化能力帶來的不良影響，從而提高識別的準確率。最后，本文設計了時間計算模塊，使得模型可以輸出火焰燃燒持續的時間，減少人工檢測時間帶來的誤差，從而達到精確識別火焰燃燒持續時間的目的。

2改進的YOLOv5方法

盡管現有的方法能在一定程度上實現火焰識別，但它們的識別精度和推理速度限制了它們在實際生產環境中的部署。相比之下，基于 YOLO 的模型[10-11]由于速度更快、模型尺寸更小，因此適用于實時推理。然而，在實際檢測中，使用公開數據集訓練出來的模型對酒精噴燈和小火焰的檢測性能較低。因此，本文構建了適用于酒精噴燈和阻燃材料的火焰識別數據集，并通過在Neck模塊使用特征金字塔、引入核心縮放的方式，改進了 YOLOv5s 模型，以實現更高的識別精度和模型推理速度。

使用特征金字塔替換YOLOv5中的PANet可以實現更簡單、更快速的多尺度特征融合。YOLOv5中的PANet解決了在不同尺度上檢測對象并實現精確的實例分割的挑戰，它引入了自頂向下和自底向上的路徑，聚合來自卷積神經網絡（CNN）不同層級的特征，這使得PANet能夠捕捉到低層次和高層次的上下文信息。因此，本文在特征金字塔中引入可學習的權重，使其能夠學習不同輸入特征的重要性，并將自上而下和自下而上的多尺度特征融合。和YOLOv5原來的PANet相比，特征金字塔在起到融合多尺度特征作用的同時，還具有更少的參數和更好的性能。特征金字塔使得模型的性能得以提升，火焰識別更具有實時性，提高了對于待檢材料稍縱即逝的小火焰識別速度。

在特征聚合模塊之前，YOLOv5網絡為了增加感受野并提取關鍵的特征，設置了模塊。傳統CNN模型大都由完全連接層組成，并且這些全連接層僅接受特定維度的圖像輸入，而SSP可以生成固定大小的輸出。此外，SSP還通過池化多尺度特征來提取關鍵特征。雖然這可以帶來可觀的檢測精度，但對于待測材料火焰檢測這一特定業務場景，多尺度和大核心的策略不太適用：待測材料的火焰較為細小且稍縱即逝，因此需要模型有更高的推理速度。為了在提高推理速度的同時不大幅降低模型精度，本文在保留SSP模塊的同時，減小了核心的大小，例如從原來的6×6、10×10減少為2×2、4×4。修改后的SSP模塊如圖1所示。

通過修改頸部組件的策略，YOLOv5s模型在結構上更加輕量化，并且由于保留了上下文多尺度特征融合的設計，精度受到的影響微乎其微。特征金字塔的引入和卷積核的替換使得模型具有更快的推理能力和更高的模型精確度，能更好地適用于待檢材料小火焰的檢測。

3實驗與分析

本文實驗基于采集的材料檢測過程視頻數據集。數據集包含35個時長為一分鐘的檢測過程視頻，總共大小為1.69GB，涵蓋待檢材料的左側、右側、正前方和左下方、右下方等多個拍攝角度。經過抽幀、打標簽等預處理后，共獲得大小為6.58GB，包括60 814張圖片數據的數據集。

由表1可知，訓練集為包含42 570張火焰圖片，覆蓋待檢材料的多個拍攝角度，測試集包含18 244張火焰圖片，同樣覆蓋待檢材料的多個拍攝角度。

本文實驗所用軟件環境如下：Window11 操作系統，Pycharm IDE，Python3.9.13開發環境。所用設備主要硬件參數為：AMD 5600G 六核十二線程處理器，英偉達2060super 8G顯卡，32G運行內存。

3.1 數據集的建立

火焰識別的精度除了受到模型的影響外，也會受到數據集質量的影響。由于火焰識別領域目前尚未出現認可度高且覆蓋火焰類型面廣的數據集，現有的火焰數據集大都從網上隨機抓取火焰圖片，火焰類型混雜、各種干擾因素多，缺乏標注，難以實現高質量的模型訓練。而且實際業務場景中，酒精噴燈的火焰以藍色長條形居多，和常見的黃色、紅色火焰顏色相差較遠，因此本文使用待測材料燃燒過程的視頻制作數據集，從數據采集到預處理、標注完全貼合實際業務場景。

數據集的建立過程如下：

1） 采集燃燒視頻數據：將攝像頭固定在燃燒箱內，從待檢材料的左側、右側、正前方和左下方、右下方采集燃燒視頻數據，共采集到大小為1.69GB的35個原始視頻。

2） 數據預處理：使用ffmpeg剪輯視頻，剔除視頻中沒有酒精噴燈和待測材料的片段。

3） 視頻抽幀：將預處理后的視頻使用ffmpeg抽幀，每秒抽出60幀，形成圖片數據。

4） 創建數據集文件樹：安裝labelimage，并安裝運行時所需要的依賴如Python、PyQt5、Lxml等；創建images文件夾，用于存放待標注的圖片，創建labels文件夾，用于存放標注的xml文件；

5） 標注圖片數據：如圖2～圖4所示，在labelimage標注界面框住需要檢測的目標，如酒精噴燈火焰、待檢材料、燃燒中的小火苗等，并輸入對應的目標標簽：Alcohol_blowtorch、material、fire。

6） 處理標簽序號：由于標簽默認加在預設的類別后面，所以“0”號類別實際顯示是“15”，以此類推，因此使用Python遍歷標注文件，將標注文件中每行的“15”替換成“0”“16”替換成“1”，以此類推。

7） 劃分訓練集和驗證集：根據實際業務需求，將數據集劃分為訓練集和驗證集，其中訓練集包含42 570張火焰圖片，覆蓋待檢材料的多個拍攝角度，測試集包含18 244張火焰圖片，同樣覆蓋待檢材料的多個拍攝角度。

最終得到數據集：包括訓練集和驗證集，其中訓練集和驗證集中分別包含存放圖片數據的images文件夾以及存放對應標簽數據的labels文件夾。

3.2 參數設置

訓練參數設置如表2所示：學習率LR設置為0.01，批大小batch-size設置為16，訓練次數epochs設置為300，初始權重使用YOLOv5原始權重，訓練設備使用GPU。

3.3 實驗內容

通過對不同數據集和模型進行組合，來驗證本文方法的有效性。實驗設置遵循控制變量原則。組合方式如下：1）公開數據集+模板匹配模型；2）自建數據集+模板匹配模型；3）自建數據集+ YOLOv5s模型。

根據以上組合方式，本文設計兩個對照實驗如下：1）比較公開數據集+模板匹配模型和自建數據集+模板匹配模型，驗證自建數據集對提升實際應用中識別率的有效性；2）比較自建數據集+模板匹配模型和自建數據集+ YOLOv5s模型，驗證YOLOv5s模型的有效性。

3.4 實驗結果分析

3.4.1數據集訓練模板匹配模型對比

公開數據集+模板匹配模型識別效果如圖5所示。

從圖5中可以看出：使用公開數據集訓練模板匹配模型，模型難以識別出酒精噴燈火焰。

使用自建數據集訓練模板匹配模型，識別效果如圖6所示。

從圖6中可以看出：使用自建數據集訓練模板匹配模型，效果相對于公開數據集+模型匹配的方法有了一定的提升，能識別出部分火焰，可以證明自建數據集的有效性。與此同時，在實驗中可以觀察到：即便是使用自建數據集，模型更多的是匹配部分“紅色”和“黃色”的火焰。由于模板匹配方法受限于紅黃色系顏色特征和特定形狀火焰特征的匹配機制，對于實際業務中酒精噴燈的藍色柱狀火焰識別效果不佳，難以達到實用的效果。

3.4.2自建數據集+YOLOv5s模型

本實驗用GIOU Loss作為評價指標，GIOU是衡量預測框和真實框之間的重疊程度的函數，計算公式為：

[GIOU=IOU-C-UC]

其中，IOU為預測框和真實框的交并比，C為預測框和真實框的最小閉合矩形面積，U為預測框和真實框的并集的面積。

將自建數據集輸入改進的YOLOv5s模型，分別訓練50個epoch和300的epoch，不同的epoch訓練效果差異如圖7和圖8所示：

從圖7和圖8中可以觀察到：使用 GIOU Loss作為bounding box的損失，Box推測為GIoU損失函數均值，訓練300次的效果相對于50次更加準確，但也存在邊界效應，在100次左右即可達到較好的效果。同樣的，在precision中，模型收斂速度較快，但是隨著訓練次數的增加，精度有所下降。經過多次實驗，最終選取epoch的值為100，以平衡訓練時間和預測精度。

3.4.3模型驗證

選取訓練100個epoch的最佳模型用于實際測試，測試結果如下：val_batch1_labels為驗證集第1輪的實際標簽，val_batch1_pred為驗證集第1輪的預測標簽，如圖9和圖10所示，模型在驗證集上的實際和預測邊界差距很小，可以證明模型的預測能力有效。

將原始錄制的待測材料燃燒過程視頻輸入模型進行推理，推理結果如下：如圖11所示，模型準確識別酒精噴燈火焰；如圖12所示，若移走酒精噴燈，模型準確識別出未熄滅的材料，并開始計算時間。

模型持續檢測火焰燃燒持續時間如圖13所示。

如圖14所示，若待測材料燃燒結束，材料熄滅，則模型不再出現“fire”框。此時停止計算時間，并輸出火焰燃燒的持續時間。

從以上實驗可以觀察到：模型可以準確識別出酒精燈撤走后，待測材料中未熄滅的火焰，說明模型對本研究的應用場景有一定的檢測能力。

3.4.4燃燒時間計算

基于上述實驗，進一步在模型推理過程中加入對“fire”識別的結果的計算，計算公式如下：

[Duration=count×1fps]

其中，Duration為燃燒持續時間，count為出現待測材料出現火焰的幀數，fps為待檢測視頻的幀率；為了防止檢測抖動對檢測結果的影響，本文在程序中加入了抖動抑制：只有連續三次檢測到火焰，才會作為有效幀，否則將count置零。經過以上計算，程序可以輸出待測材料燃燒的持續時間。模型計算火焰燃燒時間的精度取決于錄制的視頻的幀率，為了驗證模型的魯棒性，本實驗將幀率為60幀/s的待測視頻連續3次輸入模型進行火焰檢測的結果如表3所示：

連續3次對同一段視頻進行檢測，模型的輸出結果皆為0.267s。

實驗表明：加入了時間計算模塊的火焰檢測程序能輸出火焰的燃燒持續時間，并且具有較好的穩定性。

4總結

使用公開數據集和開源模型對酒精噴燈火焰、燃燒中的材料進行識別，僅能識別出“黃色”的火焰，識別效果欠佳；使用自有數據進行手工標注，經過訓練后，可以準確地識別出燃燒中的酒精噴燈，在移走酒精噴燈后，可以準確識別出未熄滅的火焰，最后，當材料火焰熄滅時，“fire”標注框消失。加入時間檢測模塊后，模型可以輸出材料燃燒的持續時間，并且模型的檢測穩定性較好。

參考文獻：

[1] 吳一全，宋昱，周懷春.基于灰度熵多閾值分割和SVM的火焰圖像狀態識別[J].中國電機工程學報，2013，33（20）：66-73，13.

[2] 李玉妍.基于顯著性的火災早期火焰煙霧檢測方法研究[D].大連：大連海事大學，2019.

[3] 藺瑞，俞孟蕻，宋英磊，等.基于幀間動態和紋理特征的郵輪艙室火焰識別[J].計算機與數字工程，2021，49（1）：185-189，201.

[4] 卞永明，高飛，李夢如，等.結合Kmeans++聚類和顏色幾何特征的火焰檢測方法[J].中國工程機械學報，2020，18（1）：1-6.

[5] 曹江濤，秦躍雁，姬曉飛.基于視頻的火焰檢測算法綜述[J].數據采集與處理，2020，35（1）：35-52.

[6] 嚴云洋，吳茜茵，杜靜，等.基于色彩和閃頻特征的視頻火焰檢測[J].計算機科學與探索，2014，8（10）：1271-1279.

[7] 嚴云洋，唐巖巖，郭志波，等.融合色彩和輪廓特征的火焰檢測[J].微電子學與計算機，2011，28（10）：137-141，145.

[8] KANG T H，KIM H J，NOH H K.Convolution neural network of deep learning for detection of fire blight on pear tree[J].Horticultural Science and Technology，2020，38（6）：763-775.

[9] DEWANGAN A，PANDE Y，BRAUN H W，et al.FIgLib & SmokeyNet：dataset and deep learning model for real-time wildland fire smoke detection[J].Remote Sensing，2022，14（4）：1007.

[10] 任嘉鋒，熊衛華，吳之昊，等.基于改進YOLOv3的火災檢測與識別[J].計算機系統應用，2019，28（12）：171-176.

[11] ZHANG R，WEN C B.SOD-YOLO：a small target defect detection algorithm for wind turbine blades based on improved YOLOv5[J].Advanced Theory and Simulations，2022，5（7）：5.

[12] MAJID S，ALENEZI F，MASOOD S，et al.Attention based CNN model for fire detection and localization in real-world images[J].Expert Systems with Applications，2022，189：116114.

[13] GARGIULO M，DELL’ AGLIO D A G，IODICE A，et al.A CNN-based super-resolution technique for active fire detection on sentinel-2 data[C]//2019 PhotonIcs & Electromagnetics Research Symposium -Spring （PIERS-Spring）.Rome，Italy.IEEE，2019：418-426.

[14] KIM Y J ， KIM E G.Fire detection system using faster R-CNN[J].International Conference On Future Information & Communication Engineering，2017，9（1）：261-264.

【通聯編輯：唐一東】