基于深度學習的煙霧與火災檢測算法綜述

祝玉華，司藝藝，李智慧

1.河南工業大學 信息科學與工程學院，鄭州 450001

2.糧食信息處理與控制教育部重點實驗室（河南工業大學），鄭州 450001

火的應用，是人類早期偉大的成就之一，在人類文明發展史上極具重要意義。然而，意外發生的火災對人們的財產安全和生命安全會造成嚴重危害。在當今工業化時代，工廠及生產車間設備機械化程度高，由于機械設備故障、電路短路等，極易產生火花，若發現不及時，火勢極易沿著設備蔓延擴大，從而造成嚴重火災。由于火災具有破壞力強、蔓延速度快等特性，所以應對早期火災特征快速檢測，以減少損失。但當前的火災探測方式仍以傳統的感煙、感溫和感光等傳感器為主，當它們距離火源較近時，才能通過電離產生的粒子探測到煙和火，然后進一步激活火警和滅火系統。這種方法相當穩健，但存在延遲，這會導致火勢迅速蔓延而無法控制。此外，傳感器不能提供火災初始位置、傳播方向、規模、增長速度等信息。隨著視頻監控的大量普及，解決這些問題的方法是使用監控系統的視頻圖像數據。在視頻圖像中，火通常被描述為從一邊移動到另一邊的橙色或黃色火焰，由各種原因引起，如縱火、電火花、化學反應等。通過視頻圖像檢測火災面臨著一系列挑戰，所提算法應該能夠區分有火焰的圖像和有橙色或紅色類似火狀物體的圖像、有煙霧的圖像和有云等類似煙霧的圖像。此外，使用監控系統需要處理大量的數據，如果手動完成，將對勞動力造成巨大損失。因此，國內外研究學者提出基于視頻圖像的火災自動檢測算法，主要包括基于傳統火災檢測算法和基于深度學習的火災檢測算法。傳統煙霧與火災檢測框架主要包含3個階段，首先采用不同尺度的滑動窗口遍歷輸入圖像，得到可能存在煙霧或火災的區域；其次使用HOG[1]、SIFT[2]、LBP[3]等人工特征抽取方法提取煙霧或火焰的顏色、邊緣、紋理等特征，將候選區域的圖像轉換為特征向量并傳入分類器訓練；最后采用SVM、貝葉斯網絡、隨機森林、BP神經網絡等分類器將這些提取的特征與一組現有的標準特征進行比較，以判斷圖像中是否包含煙霧或火焰。傳統煙霧火災檢測算法工作流程如圖1所示，在預處理階段存在大量冗余計算開銷，影響算法的運行速度；在特征提取階段僅能獲取圖像的低級特征，且提取的特征依賴于先驗知識，缺乏普適性。計算機視覺和監督學習領域的新技術，如深度學習，為火災探測帶來了很大的希望。本文重點從目標分類、目標檢測、目標分割3個領域分析火災檢測的深度學習方法的優缺點，之后列舉了火災檢測數據集，最后分析了火災檢測未來研究方向。

圖1 煙霧火災檢測的傳統圖像處理方法流程圖Fig.1 Flow chart of traditional image processing method for smoke fire detection

1 基于深度學習的煙霧火災檢測算法

深度學習是一種能夠自動學習訓練數據集中數據內部結構的多層級神經網絡算法，可自動檢測和學習特征，圖2描述了煙霧火災檢測深度學習方法的框架。與傳統的煙霧火災檢測算法相比，基于深度學習的煙霧火災檢測算法可抽取更抽象化、更高階的特征，具有速度快、準確性強、在復雜環境下魯棒性更強的優勢。其可分為目標分類模型、目標檢測模型、目標分割模型3大類方法。目標分類任務是對于給定的圖像，只需輸出一個類標簽，用于判斷圖像中是否含有目標，經典的分類網絡結構有AlexNet[4]、GoogLeNet[5]、VGGNet[6]、ResNet[7]、SENet[8]等。目標檢測是對多個目標定位和圖像分類，需要在原圖像中將目標用矩形框框出，經典的檢測網絡有Faster RCNN[9]、SSD[10]、RefineDet[11]、YOLOv3[12]等。目標分割是逐像素判斷哪些像素屬于哪些目標，在檢測的基礎上，不再使用bounding box框出目標的位置，而是將目標和背景分離，找出目標的輪廓線，經典的分割網絡有FCN[13]、U-Net[14]、DeepLab[15]等。目標分類既是計算機視覺的基礎問題，也是圖像分割、目標檢測等高層次視覺任務的基礎。分類的數據集不需要手動標注目標位置框，而檢測是同時輸出類別和位置框，數據集需要手動標注目標，這既復雜又耗時。因此，大多數火災檢測算法傾向于使用分類網絡，但檢測的實時性要比分類高，而且可以檢測出發生火災的位置。分割網絡則是更精確化火災區域，能夠判斷火災的規模，但模型一般較大，工業部署困難。

圖2 煙霧火災檢測的深度學習方法框架Fig.2 Deep learning method framework for smoke fire detection

1.1 基于目標分類模型的煙霧火災檢測算法

卷積神經網絡（convolutional neural networks，CNN）由一個輸入層和一個輸出層組成，有多個隱含層，輸入層能夠處理多維數據，隱藏層通常由卷積層、池化層、全連接層組成，輸出層輸出一個二維特征圖。卷積層提取特征，池化層縮小特征圖簡化計算復雜圖，同時進行特征壓縮提取主要特征；全連接層連接所有特征并輸出到分類器。卷積神經網絡可以自動學習視頻圖像中的火災特征，并根據學習到的特征對圖像進行分類，不再需要人工構建特征。Frizzi等[16]構建9層的卷積神經網絡將視頻圖像分為煙霧、火災、正常3類，在由1 427幅火災圖像、1 758幅煙霧圖像和2 399幅正常圖像組成的測試集上的分類準確率達到97.9%，但是該模型只能檢測紅色的火焰，對其他顏色的火焰以及煙霧的檢測效果不理想。此外，只能對視頻幀逐幀處理，沒有考慮幀間煙霧與火災的運動特征。

1.1.1 基于與傳統特征相結合的方法

由于早期火災特征不明顯，目標較小且無關區域較大，若僅使用CNN提取的靜態特征進行火災與煙霧識別，會增大計算復雜度，影響模型檢測性能，識別精度降低。煙霧的特征之一是可透視性，當煙霧開始擴散時，仍然可以觀察到被煙霧覆蓋的物體，若只使用靜態圖像進行特征提取，背景的原始視覺特征將不可避免地干擾煙霧特征的提取。然而，煙霧的移動、閃爍和擴散等動態特征為煙霧檢測提供了重要信息，因此，可以根據運動差異來過濾非煙霧區域。為此，研究人員專注多融合方法，將深度特征與傳統特征相結合，成為主流思想。馮路佳等[17]構建了基于目標區域的火災煙霧檢測網絡，提出MD_CNN結構。首先在目標區域定位層，采用改進的背景差分法的運動檢測算法提取出待檢測視頻中包含的目標煙霧區域并傳入煙霧識別層；將煙霧識別層中的Conv3與Conv4中卷積核大小更改為3×3，以提取更詳細的煙霧信息；最后將輸出傳到softmax函數，輸出煙霧的概率。MD_CNN模型相較于全CNN模型，能夠過濾掉大量無關信息，提高檢測效果，但由于場景的復雜性、環境干擾和噪聲的存在，使用背景拆分法易受疑似煙霧目標的影響，造成誤檢。此外，煙霧識別層的網絡設計對于不同應用場景泛化性差。

1.1.2 基于多尺度特征融合方法

由于火災目標尺度變化大，基于單尺度特征圖進行火災分類的方法，對于不同尺度的火災不穩健。Yuan等[18]構建深度多尺度神經網絡，特征提取層由多個并行的卷積層組成，通過多尺度卷積核來實現多尺度特征提取，解決了光照、尺度不變所引起的問題，實現高準確率，但是使用多個卷積塊，不可避免地會增大模型復雜度，以致難以部署。Jeon等[19]提出基于卷積神經網絡的多尺度火災預測框架，每個尺度的特征圖通過特征擠壓塊和softmax函數預測火災，再用投票加權算法綜合不同尺度的預測，確定最終結果。采取特征擠壓塊，首先通過1×1的卷積將多維通道縮減為二維通道，再通過最大池化縮小尺寸，最后采用全連接層輸出2×1向量。從空間和通道兩方面對特征映射進行擠壓，有效提取多尺度特征圖信息，且使用1×1卷積核能有效減少模型參數，實現跨通道信息組合，增加了非線性特征，使新特征圖的特征表達更佳?；诙喑叨忍卣魅诤系姆椒m一定程度上能夠提升模型檢測效果，但僅僅融合了煙霧與火災的靜態特征，未融入動態特征。

1.1.3 基于循環神經網絡的方法

卷積神經網絡只能單獨地處理每一個輸入，即前一個輸入與后一個輸入不相關?；馂暮蜔熿F檢測任務需要關注前后幀之間的關系，以提取動態特征。循環神經網絡（recurrent neural networks，RNN）能夠更好地處理序列信息，因此得以發展。文獻[20]基于卷積和循環神經網絡對視頻序列中的煙霧進行檢測，CNN用來提取特征，RNN用于提取同一目標不同幀中對應特征之間的關系。但只能捕捉短時間尺度上的時空特征，不能代表煙霧與火焰的長期變化。長短期記憶網絡（long short-term memory，LSTM）可以在一定程度上解決這個問題，能夠有效地為視頻序列建模。RNN具有對前面信息進行長時記憶的特點，在此基礎上，LSTM通過增加遺忘門避免長期依賴的問題，通過構造三個門來控制信息傳遞，解決了傳統RNN模型中梯度消失的問題。因此，LSTM在序列檢測領域得到了廣泛的應用，并取得了良好的效果。文獻[21]提出基于卷積神經網絡和長短期記憶網絡的多級火災檢測算法，第一步利用HSV顏色模型和火焰的亮度閃爍頻率確定候選區域，用CNN網絡提取候選區域的靜態特征并輸入到Bi-LSTM網絡，最后softmax分類器確定目標是火焰還是疑似火焰的運動物體，算法結構如圖3所示。該模型利用CNN與雙向LSTM網絡同時提取火焰的空間域特征以及時間域特征，有較高的F1值，既能實現高準確率及低召回率，又能滿足實時要求。但由于數據集的限制，對于藍色火焰及白色火焰在初期提取候選框時，易造成誤判。Bi-LSTM只是拼接了向前的特征與向后的特征，兩個特征之間無關聯，且向前的神經元在學習過程中只學習向前的特征，并未學習向后的特征，所以可能并不是一個最優的結果?；贚STM網絡的方法加入了時間序列，能夠融入煙霧與火災的動態特征，但網絡中全連接層數量較多，時間跨度大、網絡深，計算量相當大，難以訓練。

圖3 CNN-BiLSTM火災分類模型架構Fig.3 Fire classification model architecture based on CNN-BiLSTM

1.1.4 基于3DCNN的方法

2D CNN對視頻中每一幀圖像分別利用CNN進行識別，忽略了幀間關系，因此幀間運動信息會丟失。除使用LSTM網絡外，3D CNN[22]也能更好地提取視頻中的時間和空間的特征信息，提高檢測效率，在視頻分類、動作識別等領域能夠發揮巨大優勢。吳凡等[23]提出時空域火災煙霧檢測算法，利用高斯混合模型和四幀拆分法相結合的運動目標檢測算法分割圖像，過濾掉非煙霧區域，再輸入到由二維空間域卷積層與一維時間域卷積層組成的3D卷積網絡模型，最后檢測出結果后分塊標定煙霧區域。相較于原3D模型能夠降低計算成本，但是仍難以滿足工業實時性需求。并且3DCNN主要用于短期時序建模，適用于短期變化較明顯的火災檢測，對于長期的時間特征提取能力并不能與RNN相媲美。

更多更詳細的基于目標分類模型的煙霧火災檢測算法如表1所示，從表中可以看出基于目標分類模型的煙霧與火災檢測算法改進方向主要包括與傳統特征融合的方法、改進卷積神經網絡結構的方法、與循環神經網絡相結合的方法，以及融合多尺度特征的方法。與傳統特征相結合的方法，能夠將煙霧與火災的紋理、顏色、閃爍、擴散等傳統特征與CNN提取的深度特征相結合完成分類，使用傳統特征過濾掉圖像中大量的無關區域，再傳入CNN提取深度特征，提升了模型穩健性，降低CNN運算量，但提取可疑區域的計算成本會增加；改進卷積神經網絡結構的方法能夠通過改進網絡結構使網絡更適用于特定場景，提取更多有效特征，提高檢測效率，但會影響算法的泛化性；與循環神經網絡相結合的方法可以使用煙霧與火災視頻相鄰幀間的相關性，更好地捕捉煙霧與火災的動態特征，減少誤檢，但是針對煙霧與火災變化緩慢的視頻改進效果不明顯，此外，網絡模型較深，難以訓練，檢測速度慢；基于多尺度融合的方法通過融合不同尺度卷積核提取的特征實現，對尺度變化大的煙霧與火災有較好的檢測效果，但是增加多尺度卷積層會增加運算量。

表1 基于目標分類的煙霧火災檢測算法Table 1 Smoke fire detection algorithm based on target classification

1.2 基于目標檢測模型的煙霧火災檢測算法

目標分類只能判斷是否有火災發生，卻無法定位火災的位置，因此研究學者開始探索基于目標檢測的煙霧火災檢測算法?；谀繕藱z測的煙霧火災檢測算法包括基于區域提取的算法、基于目標回歸的算法以及基于Anchor-free的算法。

1.2.1 基于區域提取的檢測方法

基于區域提取的煙霧火災檢測算法主要包括從圖像中生成候選區域、使用候選區域的特征圖判斷物體類別以及回歸檢測框位置兩個階段，因此也稱兩階段檢測算法。經典的算法有Faster R-CNN、FCN等。對二階段檢測算法的改進方式主要包括改進生成候選區域的過程與提取特征的過程。

文獻[36]基于Faster R-CNN改進提取特征的過程實現火災檢測，引入FPN特征融合網絡，以融合淺層特征和高層次特征。通過Inception Module結構，使用不同尺寸的卷積核，提取更豐富、多尺寸的特征，并加入注意力機制，抑制無關信息，能夠提升網絡表達能力，適應火災多尺度的特性，從而生成更準確的火災特征圖，提升火災區域定位性能。但使用FPN進行特征融合過程中易造成信息衰減，同時存在跨尺度融合中的混疊效應。二階段的目標檢測算法精度高，定位準確，但是模型較復雜，檢測速度慢。因此，基于目標檢測模型的煙霧火災檢測算法開始面向高效的端到端的一階段目標檢測算法。

1.2.2 基于回歸的檢測方法

基于回歸的目標檢測算法不需要候選區域提取階段，直接產生物體的類別概率和位置坐標值，經過一個階段即可直接得到最終的檢測結果，因此也稱一階段檢測算法。經典的基于回歸的目標檢測算法有SSD、YOLO。一階段目標檢測算法改進方式有優化主干網絡提取特征的過程，優化Neck網絡融合特征的過程以及輕量化模型。

文獻[37]使用通道剪枝方法輕量化YOLOv3并用于火災檢測，依據BN層weights的系數來判斷通道的重要性，移除掉不重要的通道，達到減少卷積參數的效果，通道剪枝結構圖如圖4所示。但通道剪枝的過程中，輸入和輸出維度的改變會引起一些偏差。且使用YOLOv3檢測火災時隨著IOU閾值的增加性能會顯著下降。

圖4 通道剪枝結構圖Fig.4 Channel-wise pruning structure diagram

文獻[38]指出單個網絡模型難以實現多復雜場景中的特征提取，每個單獨的網絡都能提取出不同的特征，因此設計實現集成3個深度網絡的模型改進特征提取過程用于森林火災檢測，網絡結構圖如圖5所示。YOLOv5與EfficientDet兩個目標檢測器協同工作并行檢測火災，通過生成候選框以及非極大值抑制確定目標火災區域，引入EfficientNet用于關注全局信息，以降低誤報率。集成3個網絡的火災檢查模型，改善特征提取方法，能夠最大化利用全局特征和局部特征，提升小目標檢測精度，提高召回率。但集成模型必定會以速度為代價來完成推理。文獻[39]提出將YOLOv2-Tiny檢測框架部署到K210開發板實現無人機的火災檢測與跟蹤，但是該模型易對類火物體誤檢?；谝浑A段的目標檢測方法，直接生成類別概率與回歸檢測框位置，是一個端到端過程，檢測速度快。但是提取到的淺層特征較少，對小目標與重疊目標檢測效果不好，位置不精確。

圖5 集成網絡模型結構圖Fig.5 Integrated network model structure diagram

1.2.3 基于Anchor-free的方法

兩階段、單階段目標檢測算法都是基于錨框的，檢測性能受錨框的大小、數量、縱橫比影響較大，需要人為地根據經驗對錨框超參數進行調節以適應不同場景的火災，并且調整后的錨框尺寸固定，對于多尺度的火災檢測效果不佳，因此無錨框的方法是成為當下研究熱點。文獻[40]采用Ancho-free網絡結構實現火災檢測模型，選用MobileNetv2作為主干網絡進行特征提取，在特征選擇層加入FSAF特征選擇模塊選擇合適的特征層傳入預測層，訓練時選擇損失和最小的特征層回傳梯度，預測時選擇目標置信度最高的特征層。在分類子網絡中采取可形變卷積模塊以解決特征不對齊問題，能夠更好地適應各種形狀的火焰，但是同時增加了計算量。Anchor-free的方法能夠減少錨框的參數量，但是由于只在距離真實框較近的位置預測，導致煙霧與火災的召回率低。

更多更詳細的基于目標檢測的煙霧火災檢測算法如表2所示，基于目標檢測的煙霧火災檢測算法的改進方向主要分為基于兩階段算法的改進、基于單階段的改進以及基于Anchor-free的改進?；趦呻A段目標檢測算法的煙霧火災檢測模型先生成候選區域，保證足夠的準確率和召回率，再對目標特征圖進行分類與定位，首先完成了前景背景篩選，能夠選擇性地對樣本進行分類回歸，比一階段目標檢測算法直接分類回歸訓練難度小，且正負樣本也更均衡，因此精度會更高，適用于對精度要求高的場景，但經歷兩個階段，模型復雜、速度慢；基于單階段的煙霧火災檢測模型無需生成候選區域，是一個端到端的模型，運算速度快，適用于對實時性要求高的場景，并且使用focal loss能解決樣本不均衡問題，但是容易漏檢小目標；基于Anchor-free結構的煙霧火災檢測模型無錨框參數量，有更大更靈活的解空間，可實現實時高精度，但是檢測效果不穩定，需要改進調整權重的方法。

表2 基于目標檢測的煙霧火災檢測算法對比Table 2 Comparison of smoke fire detection algorithms based on object detection

1.3 基于目標分割模型的煙霧火災檢測算法

目標分類與目標檢測的方法只能判斷圖像中是否有煙霧和火災及位置信息，不能檢測火的更詳細信息，如形狀、大小等。有時，需要關注火災的蔓延趨勢，解決這一問題的較好方法就是煙霧火災分割算法。

文獻[50]基于Mask RCNN對室內可燃物識別與分割，所得分割物體的尺寸、數量與分布用于預測火災負荷。文獻[51]提出基于卷積神經網絡的煙霧檢測和分割框架，更適合于朦朧的環境，采用輕量化的卷積神經網絡EfficientNet分類；再利用DeepLabv3+網絡對煙霧幀分割，能夠有效降低誤檢率。但是像素級標注的數據集需要大量的人力，實際應用時，數據集是問題。在檢測火災時，有時不僅需要判斷是否有火災或煙霧產生，還需要檢測火災位置、形狀、大小等更詳細的信息，用于評定火災或煙霧的等級，以便消防員關注火災煙霧蔓延區域。

文獻[52]開發了森林火災煙霧的協作區域檢測和分級的框架，框架圖如圖6所示，該框架是一種混合模型，單個模型難以完成復雜的煙霧火災檢測任務，因此通過將幾個簡單的模型集成為混合模型，以獲得更好的性能。每個簡單模型完成一部分任務，最后采用某種學習策略匯總輸出結果。采用基于分類的模型（ShuffleNet）、基于分割的模型（WSFS）和基于區域的模型（輕量級Faster R-CNN）來預測圖像中存在火災煙霧的概率，能夠定位、分割并預測輸入圖像中火災煙霧的位置、區域和類別，基于堆積法學習策略確定3個模型的權重并由3個模型的推理結果計算最后的結果。此外還開發了一個模糊評價系統，用于火災煙霧分級。該框架能夠使用圖像級標注的數據集完成分割，實現火災煙霧的早期報警、區域檢測、分類和分級。但是模型非常復雜，訓練占用顯存太大，對硬件設備要求極高。

圖6 森林火災煙霧檢測與分級框架Fig.6 Forest fire smoke detection and classification framework

基于目標分割模型的煙霧火災檢測算法可以更精確地定位視頻幀中煙霧與火災的邊界，能提供更詳細的火災信息，但模型一般較大，若要應用于現實場景需要更短的響應時間，此外，若是需要大量的像素級標注數據集才能提高網絡模型，會耗費大量的人力。

2 常用數據集

由于訓練深度學習模型依賴于數據集，下面給出了一些常用的和公開的煙霧與火災數據集。但由于火的顏色范圍從藍色到紅色，背景各不相同，煙也是材料燃燒的指示器，有灰色、白色或黑色，進行火災探測的場所或位置可能是一個工業、核電站、建筑、住宅或森林，為了滿足如此廣闊的應用領域的圖像特征的分布，將需要非常大和多樣化的數據集。目前不存在一個用于煙霧與火災檢測的標準數據集，因此如何定義一個規范化的、多樣化的煙霧與火焰數據集成為煙霧火災檢測未來需要完善的方向。

（1）KMU Fire & Smoke Database

KMU Fire & Smoke數據庫由4個類別的視頻組成，有室內室外短距離火災、室內室外短距離煙霧、野火煙霧、煙霧狀與火狀的移動物體等[53]。整個數據集有308.1 MB，視頻的幀速率為30 Hz，輸入圖像大小為320×240像素。

（2）Fire Dunning Dataset

這個數據集包含正常圖像和有火的圖像，正負樣本不均衡，包括強度、亮度、大小等不同場景的火災圖像[54]。

（3）VisFire

這個數據集來自Bilkent大學，采集自監控視頻，由4個類別的視頻組構成：火、煙霧、森林煙霧、其他?；馂囊曨l組有13段火災場景視頻；煙霧組有21段視頻，包含各種環境中的煙霧場景；森林煙霧組有4段森林地區的視頻；其他組有2段視頻，一個是汽車，一個是火；整個樣本數據集總共40個視頻片段[55]。

（4）BoWFire

訓練集由240幅分辨率為50×50像素的圖像組成，其中80張有火，160張無火，非火災圖像中包含紅色或黃色類似火的物體。測試集由226幅不同分辨率的圖像組成，其中包含119張有火圖片和107張無火圖片?；馂膱D像由不同場景的緊急火災事件組成，如建筑物著火、工業火災、車禍和騷亂[56]。數據集還對火災區域分割，可以用于火焰分割任務。

（5）Mivia Fire & Smoke Detection Dataset

由薩勒諾大學的MIVIA實驗室創建，火災數據集由31個視頻組成，包含14個火災視頻和17個無火視頻，無火視頻內含煙霧、云、移動的紅色物體等干擾；煙霧數據集包括149個視頻。這些視頻均來自真實環境，每個視頻長達15 min[55]。

（6）State Key Laboratory of Fire Science Dataset

該數據集有30 000個合成圖像，3 578個真實圖像，能夠勝任深度網絡的訓練。合成煙霧和非煙霧圖像的渲染、照明與風的參數在一定范圍內隨機設置，以實現圖像多樣性。由于不同的參數集直接影響合成煙霧圖像的外觀，這些圖像將是真實的或非真實的。

（7）火災科學國家實驗室的煙霧數據集

由中國科學技術大學消防科學國家重點實驗室創建，該數據集包含4組煙霧和非煙霧圖像，其中組1包括552個煙霧和831個非煙霧圖像，組2包括668個煙霧和817個非煙霧圖像，組3包括2 201個煙霧和8 511個非煙霧圖像，組4包括2 254個煙霧和8 363個非煙霧圖像[18]。除了這些圖像數據集外，還有另外648張黑白煙霧圖像和兩組非煙霧數據集，每組分別由27 707和28 760張圖像組成。

3 總結與展望

對煙霧或火災的早期精準檢測是控制火災的最佳方法，深度學習以高精度、高速度、強穩定性等優勢在煙霧火災檢測領域中表現優異，因此本文從目標分類、目標檢測、目標分割3個方面對比分析了煙霧火災檢測算法現狀，列舉了主流的煙霧火災檢測算法的改進措施、優勢以及存在的問題。目前，這些技術還處于發展階段，深度學習在煙霧火災檢測應用中仍存在一些無法回避的問題亟待解決：（1）火災探測的地點可能是一個工業、核電站、建筑、住宅或森林，因此煙霧和火焰的形態比較多樣，尺度多變，特征變化大。（2）早期火災目標小，特征不明顯，早期火災檢測困難。（3）現有的火災評估模型大多是依據對環境各方面的分析以評估發生火災風險的可能性以及火災隱患，以提前制定預案防止火災發生[57-59]，用于評估火災發生后火災等級的模型較少。

針對以上問題，本文經過分析認為煙霧與火災檢測算法還有以下幾個方面需深入研究：

（1）制作一個全面合理的數據集

眾所周知，深度學習算法依賴大量的數據集，一個全面的數據集能夠使模型提取更豐富多樣的特征，以大幅提高檢測效果。然而火災檢測領域始終沒有一個權威且全面的數據集，生成對抗網絡[60]可以使用已有的原始數據集生成逼真的人造數據，以豐富數據集。此外，還可以通過裁剪、旋轉變換、顏色變換、噪聲注入、元學習數據增強等數據增強方法進一步擴充樣本數量，優化泛化性弱的檢測局限性。

（2）改進網絡特征融合模塊

現代網絡體系結構中特征融合模塊通常通過求和或concatenation等簡單的線性操作實現不同層或分支的特征組合，但由于輸入特征的語義和尺度不一致性，導致這可能并不是最佳選擇。構建多尺度通道注意力特征融合模塊，以融合更多有效特征，改善煙霧火焰尺度變化大帶來的檢測困難問題。（3）提升小火焰檢測性能

可通過copy pasting方法增加小火焰數量，解決小火焰數據不易采集，本身判別性特征少的問題。在主干網絡中引入注意力機制與擴張卷積等模塊，加強特征提取能力，使提取到的特征具有更高的辨識度和魯棒性，提高模型對小火焰的檢測性能。

（4）構建更輕量化的模型

選取MobileNetV3[61]等更先進的輕量化網絡進行特征提取，采用通道剪枝[62]等方法對模型壓縮，使用深度可分離卷積[63]與殘差結構等減少參數量，提升模型的檢測速度，能夠及時發現火災，減少損失。

（5）有效利用煙霧與火焰的特征

煙霧與火焰具有顏色、紋理、閃爍等特征，使用這些特征在檢測模型中添加前處理或后處理，能夠降低模型誤警率。

（6）開發綜合火災檢測系統

目前的研究工作大多是對煙霧和火災進行識別檢測，但是缺乏對火災形勢變化的判斷。開發綜合火災檢測系統，該系統可識別不同類型、地點、大小和級別的火災或煙霧，檢測到煙霧或火焰時發出警報，并能預估火勢變化，以助于消防員根據火勢更好地開展救援工作。

4 結束語

通過對基于深度學習的煙霧火災檢測算法當前研究現狀的分析可知，深度學習技術為解決傳統煙霧火災檢測的問題提供了更好的方法。本文首先圍繞基于目標分類、基于目標檢測以及基于目標分割3種不同的深度學習方法對煙霧火災檢測算法分析總結；之后介紹了幾種公開的煙霧火災數據集；最后分析現有方法的不足并展望未來研究方向。