基于多尺度卷積神經網絡的兩階段火災識別算法研究

張謙　張勇衛　劉琴

摘要：基于機器視覺的火災識別技術對于智慧消防具有極為重要的意義。針對火焰容易受到復雜背景、不同攝像角度等因素影響，本文提出一種基于多尺度卷積神經網絡的火災高精度識別算法。算法將火災識別任務分解成前景提取與精準識別兩個階段。在前景提取階段，算法結合火焰運動性特點，使用幀差法對火災候選區域進行快速提取。在精準識別階段，算法引入空間金字塔池化模塊，設計多尺度卷積神經網絡進行火災識別，實現對不同火焰尺度圖像的高精度檢測。在實際數據集上進行仿真實驗，本文所提出算法在圖像和視頻領域分別取得93.6%和94.9%的火災識別準確率，這有力證明了本文算法的有效性。

關鍵詞：火災識別；多尺度卷積神經網絡；空間金字塔池化；幀差法

引言

隨著社會的不斷發展與變遷，以火災識別[1]為代表的消防安全問題呈現日益復雜的趨勢。在這種大背景下，傳統的火災識別技術體系難以滿足現代化消防的需求，如果不對火災識別系統進行技術更新與優化，不僅會給消防安全帶來隱患，而且還會影響社會的繁榮與穩定。近年來，以深度學習為代表的人工智能技術快速發展，并給機器視覺、電力調度、物流管理等眾多領域帶來巨大進步。因此，信息時代下智慧消防無疑是當今消防安全管理工作的發展趨勢。如何更好將人工智能技術應用于消防領域，進而實現火災報警智能化，是當前消防部門和公共安全領域學者專家的研究重點。而基于機器視覺的火災識別技術作為消防安全領域的重要方向，可以為火災檢測報警提供信息化支撐，提高現代社會消防監督與管理水平，提升智慧城市的綜合防火能力，具有極為重要的社會效益和應用前景。

一、關鍵技術研究：基于兩階段式的火災識別算法

火焰容易受到復雜空間環境、物體遮擋、光線強弱等因素的影響，造成識別難度提高；同時，火焰在不同位置、不同角度、不同相機等圖像傳感器中獲取的圖像視頻信息會呈現不同的大小，造成火焰圖像的多尺度性，為火災精準識別帶來挑戰。為解決上述兩個問題，本文提出兩階段式的火災識別模型，將火災識別任務分成前景提取（或稱為快速定位）和精準識別兩個階段。具體而言，首先使用計算資源占用小的幀差法進行圖像的前景提取，之后設計包含金字塔結構的多尺度卷積神經網絡對前景提取出的候選區進行精準分類[2]。

（一）基于幀差法的前景提取模型

場景相機等視頻監控設備采集的視頻序列具有連續性特點，即運動目標之外的背景變化一般較小，因此可以采用運動目標檢測來消除絕大部分的靜止背景，進而實現前景（火災候選區）提取。主流的運動目標檢測算法有背景消減法、光流法和幀差法。由于以高斯混合模型為代表的背景消減法和以Lucas-Kanade模型為代表的光流法存在計算資源開銷大、實時性差的問題，本文采用高效簡潔的幀差法進行圖像的前景提取，極大提高算法的速度，以滿足火災實時檢測識別需求。

對于連續時間視頻序列中任意第n-1幀和第n幀的圖像，兩幀之間對應相同位置的像素值為fn-1（x，y）和fn（x，y），兩幀相減取絕對值得到連續幀的差分圖像Dn（x，y）。結合差分圖像二值化所選取的閾值T，當差分圖像像素大于閾值時，該像素點為前景，即火災候選區，否則為背景，進而得到差分圖像二值圖Vn（x，y）。將二值圖映射到原圖像中，得到包含完整運動目標的火災候選區域，即前景Fn（x，y）。

式中，Rn（x，y）、Gn（x，y）、Bn（x，y）分別表示圖像像素點的紅、綠、藍分量值，也就是基于運算量較小的RGB顏色空間，最大程度保證原始圖像中的真實信息，高效輕量化提取火災前景信息[3]。

（二）基于多尺度卷積神經網絡的火災精準識別模型

考慮到火焰在不同場景、不同位置、由不同設置參數的攝像機所拍攝得到的圖像呈現不同的大小尺度，本文提出基于多尺度卷積神經網絡的火災精準識別模型，引入空間金字塔池化模塊，來提高模型在任何形狀、尺寸輸入下的火災識別精度。

本文所提出模型使用交替放置的兩層卷積層和池化層來進行特征提取，卷積核尺寸逐步減小但深度逐漸增加，之后引入空間金字塔結構，不同維度的級聯特征通過空間金字塔池化模塊得到固定維度（長度）的特征向量，之后使用固定維度的連續兩層全連接層進行映射，最后得到該圖像區域存在火災的概率。具體而言，多尺度卷積網絡的第一層卷積層包含32個卷積核，而第二層卷積層包含64個卷積核。兩層卷積層之后均跟隨一層最大池化層，以提取圖像中更多的紋理特征。空間金字塔池化模塊包含4種不同的特征提取尺度，但特征尺度總和保持維不變，即空間金字塔模塊輸出的維度固定。后置的兩層全連接層均為512維，并且在全連接層后端引入Softmax激活函數，用以輸出網絡判斷該圖像區域存在火災的概率[4]。

空間金字塔池化模塊的引入有效解決了傳統卷積網絡需要輸入圖像尺度相近的限制，可以更加高效提取輸入圖像中的火災語義信息，實現對多種多樣的火焰進行更高精度識別，同時網絡的魯棒性也更強。

二、實驗分析

提升本文所提出的火災識別算法設計與搭建、模型訓練與測試等實驗均基于Windows系統，使用TensorFlow深度學習框架和Python3.8.0編程語言來實現。同時，本文所使用計算機的硬件配置為Intel（R）Core（TM）i7-9700KF@3.60GHz處理器，8G內存和英偉達GeForceGTX1060顯卡[5]。

（一）數據集與實驗設置

本文結合土耳其比爾肯大學火災數據集和中國某省份消防系統內部數據集，構建含11000張圖片的火焰數據集。其中，隨機選擇10000張圖片進行模型訓練，余下1000張圖片進行模型測試。在視頻識別方面，選取韓國啟明大學公開的5個視頻序列進行實驗。

在本文實驗中，多尺度卷積神經網絡的參數由Adam優化器進行優化，初始學習率設置為0.01，每10個訓練輪次學習率減半。訓練批量大小設置為8，共進行250輪訓練。此外，針對本文所提出的多尺度卷積神經網絡，對輸入圖像進行預處理，采樣得到360×640、300×453、400×600、300×400、330×252五種分辨率尺度，并在訓練過程中將五種預設尺度的圖像間隔性迭代訓練。每個輪次固定訓練一個尺度，按照訓練輪次進行循環切換，這樣保證網絡能同時學習到不同尺度大小的火焰特征信息，實現多尺度卷積神經網絡的多尺度訓練[6]。

（二）火災圖像識別

將本文提出的模型與通用卷積神經網絡和支持向量機算法共同在10000張訓練圖像上進行訓練，可以發現本文算法取得最高的火災識別準確率93.6%，比卷積神經網絡和支持向量機算法分別高3.1%和9.8%。為了更清晰展示整個訓練過程，本文展示三種算法在訓練過程中的火災識別準確率，如圖1所示。可以看到，本文算法經過10個輪次，準確率達到80%以上；經過50個輪次，準確率達到85%以上；經過120個輪次，準確率達到90%以上，并最終達到93.6%。

測試階段，本文所提出的算法取得91.7%的識別準確率。相比而言，通用的卷積神經網絡和支持向量機分別取得88.7%和82.1%的識別準確率。可見，本文算法有著更好的火災識別能力[7]。

（三）火災視頻識別

針對視頻序列數據，模型先使用幀差法進行前景提取，即確定火災可能的獲選區域，再使用多尺度卷積神經網絡進行高精度火災識別。為充分驗證算法的有效性，本文選取包含了庭院火焰、荒野火焰和室內火焰三種場景的火焰視頻以及城市公路場景燈光與真實火焰相似的兩個非火災視頻進行實驗測試。

表1展示了本文所提出算法與通用的卷積神經網絡和支持向量機進行火災視頻識別的精度對比。整體來看，本文所提出算法在5個視頻場景中均取得最高的火災識別準確率。以場景1為例，本文算法的火災識別準確率是95.8%，比通用的卷積神經網絡和支持向量機分別高2.0%和4.2%；以場景5為例，本文算法的識別準確率是92.5%，優于卷積神經網絡89.3%的準確率和支持向量機87.1%的準確率。因此，實驗證明本文算法具有較強的火災識別能力，為智慧消防的發展提供堅實基礎[8]。

結語

基于機器視覺的火災識別技術對于火災精準防控與智慧消防具有重要意義。針對火災圖像容易受到復雜環境背景、光線強度、相機拍攝尺度角度等因素影響，本文提出基于多尺度卷積神經網絡的兩階段式火災識別模型，將火災檢測任務分解成前景提取與精準識別兩個階段。在前景提取階段，使用幀差法快速高效提取火災候選區域；之后在精準識別階段，設計多尺度卷積神經網絡對不同尺度的火焰圖像進行精準識別。仿真結果表明，本文提出算法具有較好的火災識別能力，在火災圖像和視頻數據集上分別取得93.6%和94.9%的準確率，遠高于傳統的卷積神經網絡和支持向量機算法。這有力證明了本文算法的有效性。此外，在未來研究工作中，可以針對本文算法識別錯誤的圖像，對這些難于識別的圖像使用數據增強算法，利用微調的方式對原算法進行遷移訓練，旨在提高算法的識別準確率。

參考文獻

[1]劉曉薇，雷蕾.智慧消防發展現狀研究[J].消防界（電子版），2022，8（01）：1922.

[2]徐梓涵，劉軍，張蘇沛，等.一種基于MobileNet的火災煙霧檢測方法[J].武漢工程大學學報，2019，41（06）：580-585.

[3]李成美，白宏陽，郭宏偉，等.一種改進光流法的運動目標檢測及跟蹤算法[J].儀器儀表學報，2018，39（05）：249-256.

[4]朱磊，馮成濤，張繼，等.動態背景下運動目標檢測算法[J].現代電子技術，2022，45（06）：148-152.

[5]楊婷，趙楊輝.基于團塊標記的火災識別算法[J].黑龍江科技大學學報，2022，32（02）：263-268.

[6]陳培豪，肖鐸，劉泓.基于深度學習的視頻火災識別算法[J].燃燒科學與技術，2021，27（06）：695-700.

[7]李杰，邱選兵，張恩華，等.基于卷積神經網絡的火災識別算法[J].計算機應用，2020，40（S2）：173-177.

[8]陳培豪，肖鐸，李晨輝.多傳感器融合的火災識別算法研究[J].消防科學與技術，2020，39（06）：810-813.

作者簡介：張謙（1988- ），男，漢族，四川資陽人，本科，中級職稱，研究方向：消防。