林火視頻煙霧檢測算法綜述

朱彌雪，劉志強，張 旭，李文靜，蘇佳新

1.內蒙古工業大學 信息工程學院，呼和浩特 010080

2.內蒙古建筑職業技術學院，呼和浩特 010020

火災對自然環境的影響體現在改變全球碳循環、植被更新、土壤性質和氣候變化等方面，對社會的影響體現在危及生命和公共財產安全，造成巨大的經濟損失。由于森林、草原火災一旦發生就難以控制和撲滅，因此對火災的及時檢測非常重要。大火未至，煙霧先到?；馂陌l生時，煙霧往往比明火出現得要早且前期特征更為明顯，若能及時準確地檢測到煙霧，則對于火災預警和撲救都有重大意義。煙霧探測器不僅易受環境中粉塵等細小顆粒的干擾，而且只有當煙霧達到一定濃度時才能引發警報。由于戶外環境空曠、空氣流動等因素導致煙霧易飄散，使得煙霧探測器的檢測精確度大幅降低。視頻煙霧檢測技術憑借其成本低、監控范圍廣的優勢有效彌補了煙霧探測器的不足，尤其適用于森林、草原等場所，眾多學者對其開始研究。

基于可見光圖像和視頻的煙霧檢測是煙霧檢測領域的重要研究方向，不僅極具理論研究價值，且在實際應用中也取得了一些成果。例如王曉薇等[1]利用煙霧的運動、紋理和煙霧的顏色特征，結合深度置信網絡（deep belief networks，DBN）來檢測煙霧，魯棒性較好。郝建紅等[2]提出ELU激活函數，替換卷積神經網絡[3]（convolutional neural networks，CNN）中的Sigmoid、Tanh和RELU激活函數，能夠提高煙霧檢測準確率，降低誤檢率和漏報率，同時還提高了模型訓練速度。

為綜合分析和了解現今各種深度網絡模型在煙霧檢測中的應用，首先介紹了煙霧檢測存在的難點問題，分析了傳統視頻煙霧檢測算法的不足；其次探討了煙霧檢測常用的深度網絡模型，對比分析其優勢和不足，又根據研究動機對視頻煙霧檢測改進算法進行分組對比，總結現有模型和方法在實際應用中存在的優勢和不足，最后討論了視頻煙霧檢測算法的進一步研究方向。

1 煙霧檢測的研究背景

1.1 煙霧檢測的難點

森林防火要求“打早、打小、打了”，因此煙霧檢測不僅對算法的實時性要求較高且對檢測精度也有著極高的要求。現有煙霧檢測算法還不能完全滿足煙霧檢測的要求，其主要面臨的主要挑戰如下：

（1）待檢測視頻背景復雜。不僅有樹木等的遮擋，還存在類煙霧干擾、光照變化影響等。（2）煙霧自身特性變化問題。煙霧為非剛性物體，形狀、顏色、紋理易隨時間變化導致無法提取到煙霧最本質的特征。（3）煙霧檢測對實時性的要求高。為保證檢測精度難以避免網絡層數增加、參數變多、計算量增大的問題，導致實時性提升受到一定的限制。（4）獲取真實火災煙霧樣本難度大，現有樣本多是人為模擬火災的煙霧，存在樣本不足且背景單一、樣本不平衡的問題。

1.2 傳統視頻煙霧檢測算法

大多數傳統的視頻煙霧檢測算法采用模式識別過程，模式識別過程主要包括特征提取和分類，由人工提取特征和設計識別器。在提取候選區域后，利用靜態和動態煙霧特征進行煙霧識別。雖然相較于探測器取得了一些進展，但大多數算法僅對火災的快速探測有效，難以提取到煙霧最本質的特征，檢測過程也相對緩慢。劉長春等[4]利用HSV（hue、saturation、value）顏色空間，計算連續幀的局部區域信噪比來提取煙霧的動態變化特征，檢測煙霧發生區域，然后結合LBP（local binary patterns）紋理特征采用支持向量機區分出煙霧區域。該模型在其測試數據集上平均檢測精確率較高，但其誤警率較高。王韋剛等[5]提出TDFF（triple multi feature local binary patterns and derivative gabor feature fusion）煙霧檢測算法，捕捉到更清晰的紋理特征和優化的圖像邊緣灰度信息，該算法在文中數據集上的平均檢測率較高，誤警率較高。

傳統視頻煙霧檢測方法雖取得了一定的效果，但仍存在著以下問題：（1）準確性差。特征提取需要依靠專業知識進行人工特征選擇，存在特征設計不合理及外在因素干擾，例如光照、背景等，導致識別效果差。（2）魯棒性差。傳統視頻煙霧檢測算法通常只在某一場景下檢測效果好，而不適用于其他場景。

與傳統視頻煙霧檢測方法不同，基于深度學習的視頻煙霧檢測算法能實現端到端、自動選取煙霧特征，特征種類和規模更加豐富，這在一定程度上解決了傳統視頻煙霧檢測算法魯棒性差的問題。

2 基于深度學習的視頻煙霧檢測算法

深度學習（deep learning，DL）是機器學習（machine learning，ML）領域的重要研究方向。越來越多的學者開始研究運用深度學習來檢測煙霧，研究人員提出多種網絡結構，例如AlexNet[6]、VggNet[7]和ResNet[8]等，借助多層結構逐級提取圖像特征，相比傳統方法精度更高、魯棒性更好、實時性更好。

基于深度學習的煙霧識別算法可分為基于區域提取的檢測模型、基于回歸的檢測模型和基于卷積神經網絡改進的煙霧檢測算法。其中，基于區域提取和基于回歸的檢測模型同屬深度學習的目標檢測領域，兩者主要區別在于基于區域提取的檢測模型需先劃定目標候選區，而基于回歸的檢測模型則不用，這使得基于區域提取的煙霧檢測算法可以得到較好的檢測精度，但實時性相對較差；基于回歸的煙霧檢測算法精度稍遜色，但更能滿足煙霧檢測對實時性的要求。

2.1 基于區域提取的煙霧檢測算法

R-CNN[8]（region-CNN）系列算法的核心是卷積神經網絡，它具有局部連接和權值共享優勢。兩階段目標檢測器采用了兩段結構采樣來處理類別不均衡的問題，生成候選區（region proposal network，RPN）使正負樣本更加均衡，使用兩階段級聯的方式來擬合邊界框，先粗回歸，再精調。兩階段目標檢測速度較慢，但精度較高，由于火災檢測對實時性要求較高，因此在檢測煙霧時很少有學者使用該系列方法。

R-CNN[9]的主干網絡為VGG-16網絡，特征提取、分類、回歸并不能同時訓練，需要先把每一階段的結果保存在磁盤上再輸入下一階段。由于它的RPN和非極大值抑制（non-maximum suppression，NMS）算法通過選擇性搜索算法工作都是由中央處理器（central processing unit，CPU）計算完成的，因此消耗了大量的計算和時間，完全達不到煙霧檢測對實時性的要求。

Fast R-CNN[10]將特征提取器、分類器、回歸器合并，不再將每段結果保存磁盤單獨訓練，可以一次性完成。受到SPPNet[11]的啟發，Fast R-CNN加入ROI（region of interest）層處理候選區域的特征，不僅提高了檢測速度，也提高了檢測準確率，但其缺點在于候選框的提取使用選擇性搜索，檢測時間大多消耗在這里。

在Faster R-CNN[12]中，添加生成候選區移除選擇性搜索，真正意義上做到端到端，把物體檢測整個流程融入到一個神經網絡中，選擇性搜索按照顏色和紋理不斷合并得到候選區域，其產生沒有規律，而RPN是每個Anchor都有對應的固定數量的候選區域，精確度更高，但RPN網絡需要額外訓練，增加了訓練負擔。

2.2 基于回歸的煙霧檢測算法

與基于區域提取的目標檢測算法相比，基于回歸的目標價檢測算法不需要先獲取候選區域，通常具有更快的檢測速度且更適用在煙霧檢測等對實時性要求較高的場景中。YOLO（you only look once）和SSD（single shot multibox detector）是單階段目標檢測中的經典算法。

2.2.1 YOLO系列

Redmon等提出了YOLO系列，其核心思想是把目標檢測轉變成回歸問題，利用整張圖作為網絡的輸入，僅經過一個神經網絡得到邊界框的位置及其所屬的類別，與Faster R-CNN相比精度有所降低但速度較快，更能滿足煙霧實時性檢測的要求。

YOLO v1[13]是基于GOOGLENET自定義的網絡，比VGG16速度快，但是精度相對略低。其所使用的誤差損失函數、定位誤差是影響檢測效果的主要原因，尤其對于小的邊界框影響更大。它直接對邊界框的位置進行預測，這樣做雖簡單，但由于沒有類似R-CNN系列的推薦區域，所以網絡在前期訓練時困難，很難收斂。YOLO v1的一個網格只預測兩個框，并且只屬于同一類，因此對相互靠近的物體以及煙霧小目標群體檢測效果較差，且對于視頻中不常見角度拍攝的煙霧泛化性能更弱。

YOLO v2[14]使用Darknet-19作為特征提取網絡，在每一層卷積后增加批量標準化（batch normalization，BN）對數據進行預處理（統一格式、均衡化、去噪等），這樣網絡就不需每層都去學數據的分布，收斂會變得更快，因此能夠提高訓練速度，提升訓練效果。相比于YOLO v1利用全連接層直接預測邊界框的坐標，YOLO v2借鑒Faster R-CNN的思想，引入Anchor機制，利用K-means聚類方法在訓練集中聚類計算出更好的Anchor模板，提高了算法的召回率。YOLO v2通過添加Passthrough Layer，把高分辨率的淺層特征連接到低分辨率的深層特征進行融合和檢測，提升模型性能，更加利于煙霧早期的小尺度檢測，但是當數據集過小時容易產生過擬合問題。

YOLO v3[15]將YOLO v2的骨干網絡Darknet-19改進為Darknet-53。Darknet-53在每個卷積層之后加入一個批量歸一化層和一個Leaky ReLU，以防止過擬合。借鑒DSSD（deconvolutional single shot detector）的做法，YOLO v3加入跳躍連接和上采樣，以實現高層和底層的融合，使用多尺度的特征圖來預測結果，使得對小目標煙霧的檢測效果更好；引入殘差網絡思想，讓網絡提取到更深層特征，同時避免出現梯度消失或爆炸；將網絡中間層和后面某一層的上采樣進行張量拼接，達到多尺度特征融合的目的，以有效檢測圖中不同尺寸的煙霧，一定程度上提高了易飄散的煙霧的檢測率，但存在識別物體位置精準性較差且召回率較低的問題。

YOLO v4[16]的主干特征提取網絡CSPDarknet-53是由YOLO v3的Darknet53改進過來的，將Darknet-53與CSPnet[17]結合，將原來殘差模塊的堆疊進行拆分，另外添加了一條捷徑分支從輸入直接連通到輸出，目的是為了保留部分淺層特征，避免丟失太多信息，實現對圖片信息進行淺層的初步提取；使用Mish激活函數代替Leaky ReLU，使信息在深度神經網絡中更好地傳播，從而提高準確性和泛化性；引入空間金字塔池化（spatial pyramid pooling，SPP）結構和PANet[18]（path aggregation network）結構，SPP結構是使用不同尺寸的池化核對卷積后的輸出進行最大池化，從而極大地增加感受野，分離出最顯著的上下文特征，但是當煙霧和天空相似時，最大池化由于只保留每個池的最大值信息，很容易誤把天空信息保留下來而丟失了煙霧信息；通過PANet的卷積，上采樣以及堆疊和下采樣操作對三個不同尺度的特征層進行反復的特征提取，最終將三個初步提取出的特征層進行特征融合，將淺層的語義信息和深層信息堆疊在一起，獲得更豐富且更有效的特征層。由于在YOLO v4中采用了大量的殘差塊，在特征金字塔部分又反復進行特征提取和頻繁進行特征融合，導致運算參數量大，內存占用大，且運行速度一般。

YOLO v5在工程應用中相較于YOLO v1～v4效果更好，它采用了跨領域網格，并在不同輸出層匹配，極大地擴增了正樣本anchor，加速模型收斂速度并提高模型召回率。其整體結構與YOLO v4相差不大，YOLO v4的Neck結構中采用的都是普通卷積，而YOLO v5的Neck結構采用借鑒CSPnet設計的CSP2結構，加強網絡特征融合能力。YOLO v5改變了對正樣本的定義，在YOLO v3中，其正樣本區域也就是anchor匹配規則為IOU最大，而YOLO v5采用shape匹配規則并且將GT（target grid）的中心最鄰近網格也作為正樣本anchor的參考點，增加了高質量的正樣本anchor能夠加速模型收斂并提高召回，但是在置信度方面，模型將與GT的IOU過小的低質量anchor引入計算BCE，因此模型容易產生誤檢，即將非目標推測為目標物體，并且YOLO v5更適合用于檢測大目標煙霧。

2.2.2 SSD系列

SSD[19]與YOLO同屬于單階段的目標檢測算法，但它吸收了Faster R-CNN的一些長處，在不損失精度的情況下保持了快速的特性。SSD采用VGG16作為基礎模型，在其基礎上利用多尺度的特征圖做檢測；它利用類似Faster R-CNN模型中的Anchor機制和YOLO模型中的端到端思想，模型的推理速度有一定的提升，能在一定程度上平衡煙霧檢測所要求的精度和實時。但是SSD網絡中預選框的基礎大小和形狀不能直接通過學習獲得，需要手工設置，導致調試過程非常依賴經驗。

DSSD[20]使用ResNet替換SSD中的VGG網絡，模仿特征圖金字塔網絡（feature pyramid networks，FPN）進行特征融合的思路，使用反卷積對高層特征上采樣后與淺層特征結合，增加淺層語義信息來提高小目標煙霧檢測的準確性，然而由于其模型復雜度增加，檢測速度較慢。

RSSD[21]利用分類網絡增加不同層之間的特征圖聯系，減少重復框的出現，增加特征金字塔中特征圖的個數，使其可以檢測更多小尺寸煙霧，以略微降低速度的方式提高檢測準確率。

FSSD[22]提出特征融合模塊（feature fusion module），把某些特征調整為同一尺寸后連接，得到一個像素層再生成金字塔特征圖。該方式與FPN相比，只需要融合一次，較為簡單，提高了對小目標煙霧的檢測精度。該算法與DSSD相比檢測速度有所提升，但與SSD算法相比其檢測速度有所下降。常見的煙霧檢測算法優缺點對比如表1所示。

2.3 基于深度學習的煙霧檢測改進算法對比分析

為有效分析現有視頻煙霧檢測算法的優點和不足，將煙霧檢測改進算法按照其研究動機進行分組對比。主要歸納為煙霧背景復雜、特征提取不完全、實時性差以及數據集問題四種。

2.3.1 背景復雜問題

在森林、草原等戶外場景中，背景天空有時會與煙霧顏色相近，難以區分。煙霧視頻中不僅包含煙霧，還有其他無關背景信息，例如與煙霧顏色相近的白云、湖面、霧氣等。類煙霧在顏色和紋理特性上與煙霧非常相像，因此在煙霧提取特征時非常易受背景環境的干擾，導致誤檢率高。自然環境中的光照變化也會帶來干擾，引起圖像的某些特征發生變化，影響圖像后續處理，如特征提取、識別等。強光時某些物體反射形成類煙霧，弱光的情況下噪聲會比較多，影響識別率。針對背景復雜問題煙霧檢測改進方法對比如表2所示。

在原有深度模型的基礎上融合背景差分算法、ViBe算法、混合高斯模型算法、光流法等煙霧運動檢測算法可以有效減少背景中類煙霧的干擾，降低誤檢率。但是，基于煙霧運動特性篩選候選區在煙霧本身變化緩慢或遠距離攝像導致的變化緩慢時檢測精度會有所降低。葉寒雨等[33]提出將圖像輸入LiteFlowNet3網絡中得到煙霧的光流估計，再使用YOLO v4檢測圖像中潛在移動物體，去除其他移動物體的光流，最后對最終的光流估計進行降噪處理。該方法減少了運動物體的干擾，提高了檢測準確率。但是模型較大且對視頻質量要求較高。Sheng等[34]圖像結合CIELAB顏色空間，利用簡單線性迭代聚類SLIC對其進行分割，生成具有煙霧區域光譜特征的超像素圖像。然后利用基于密度的空間聚類應用與噪聲（DBSCAN）將相似的超像素聚類成簇，進而利用CNN提供更好的煙霧探測精度。利用SLIC分割后的圖像減少了背景當中類煙霧的干擾，該方法魯棒性較好對煙霧圖像的分類性能有所提高。但是SLIC對于混合超像素圖像會造成識別精度的失真，且DBSCAN在原始圖像中的參數選擇比較困難，導致該方法誤報率高。Pundir等[35]提出一種基于雙深度學習框架的煙霧檢測方法。首先采用深度學習框架從煙霧斑塊中提取基于圖像的特征，采用超像素算法提取圖像特征，包括煙色、煙紋理、銳邊檢測和周界無序分析。第二個深度學習框架用于提取煙霧運動區域、增長區域和上升區域檢測等基于運動的特征；采用光流法對煙霧的隨機運動進行捕捉。將這兩個框架的特征結合起來訓練支持向量機和端到端分類器。該算法減少了對云、霧、沙塵暴、云和水上云圖等非煙霧對識別結果的影響，精度和魯棒性較好，但是網絡參數較多、模型過大。

表1 常見的煙霧檢測算法優缺點對比Table 1 Comparison of advantages and disadvantages of common smoke detection algorithms

表2 針對背景復雜問題改進的煙霧檢測方法對比Table 2 Improved method of smoke detection for complex background problems

2.3.2 特征提取問題

煙霧具有豐富的特征，如顏色、紋理、形狀、運動等，利用這些特征可以將煙霧與其他物體區分開來。很多煙霧檢測算法主要基于單一特征或煙霧的多個靜態特征融合，這會導致檢測精度低，深度學習自動提取煙霧特征，有效避免了主觀影響，在一定程度上提高了煙霧探測性能，對于識別較為稀薄的煙霧準確率也能有一定提升。

高聯欣等[24]提出多尺度3D卷積神經網絡（6M3DC）（如圖1所示）來進行視頻煙霧檢測，使用3D卷積從不同尺度去提取煙霧的特征，之后將其融合在一起，保持多尺度特征的共存。使用Global Average Pooling 3D來增強特征圖內的響應，每塊前面都接上BN層，提高訓練速度的同時防止網絡加深產生的梯度擴散問題。3D卷積除了從空間特征的角度，還在時間角度上進行檢測判斷，提高了精確率和穩定性，但是對遠距離煙霧的平均召回率較低，有待于進一步提升。

圖1 6M3DC結構Fig.1 6M3DC structure

Bai等[36]選擇YOLO與VGG網絡相結合，提高對小煙霧和小火焰的識別率。對于VGG網絡只保留其特征提取層，改進其全連接分類層，將原來的3層全連接層改為第2層，從而減少網絡參數量，利用Leaky ReLU激活函數，增加Dropout層防止過擬合，得到收斂速度更快的分類網絡，并顯著提高了單幅圖像的識別速度。在YOLO網絡中增加F-CSP網絡（如圖2所示）模塊后仍不能滿足精度要求，因此又增加了分辨率較小的特征尺度分支，充分學習淺層特征，從而提高網絡對多尺度特征的集成能力。該算法檢測精度和實時性有所提升，能在一定程度上滿足煙霧檢測的需求，但隨著新的特征尺度的增加，網絡復雜性也會增加。

圖2 F-CSP結構Fig.2 F-CSP structure

謝書翰等[37]在YOLO v4網絡預測頭加入通道注意力模塊SENet[38]（如圖3所示），雖然帶來了少量的參數但是提升了網絡預測頭對特征信息的提取能力，從而提升了網絡性能。使用K均值聚類（K-means）為煙霧數據集生成新的候選框尺寸，選擇符合煙霧大小特征的候選框尺寸有助于煙霧預測框位置的回歸，通過精簡損失函數、剔除分類誤差，使算法收斂更快。該算法的檢測精度和召回率都有所提升，但修改后的網絡參數增多、模型變大，每秒檢測幀率降低。

圖3 SENet結構Fig.3 SENet structure

汪梓藝等[39]提出改進DeeplabV3網絡算法，在最后一個級聯的空洞卷積后，增加擴張率較小的兩個單元，使采樣點更加密集，增強像素間的交互關系，消除網格效應。為進一步恢復煙霧的空間細節，在特征圖融合前，引入自己設計的通道注意力機制CAM模塊（如圖4所示）。該模型的檢測率較高，有一定的實用價值，但是處理效率與實際需求仍有差距，運算效率較低。

Cai等[40]提出YOLO-SMOKE模型，在YOLO v3的基礎上利用高效通道注意模塊（efficient channel attention module，ECA）[41]（如圖5所示）對殘差模塊進行細化，提高模型的精度和魯棒性。在每個卷積層后添加dropblock，避免了公共數據集背景過于簡單而導致模型過擬合。該方法具有較好的精度和魯棒性，網絡結構加深帶來更好表征能力的同時也增大了網絡參數量，每秒檢測幀率降低。

圖4 CAM結構Fig.4 CAM structure

圖5 ECA-Net結構Fig.5 ECA-Net structure

Zhang等[42]設計了基于CBAM[43]（如圖6所示）注意力機制的卷積神經網絡模型，通過對圖像中具有明顯分辨能力的區域進行聚焦，在骨干網的輔助下提取更精確的局部特征進行火災煙氣識別骨干網絡用于粗略提取圖像特征；分支網絡用于針對特定區域提取細粒度的圖像特征。網絡通過注意提議網絡預測候選區域，并對候選區域進行放大，再通過分支網絡提取精細特征；結合兩種不同尺度的圖像特征，通過全連通層和softmax層對最終結果進行預測。該模型的泛化能力較好，誤報率較低，在準確率上有很大的提高，但是注意力機制的加入還是增加了少量網絡參數。

圖6 CBAM+ResBlock結構Fig.6 CBAM+ResBlock structure

網絡模型的特征提取能力極大地影響煙霧檢測效果。當深度學習模型網絡層數較小時，雖然計算量小，但是提取煙霧細節特征較為困難，可以通過增強主干網絡的特征提取能力來解決該問題：一是增加網絡深度，然而網絡深度過大時，可能會出現梯度消失問題，導致更高的檢測誤差，因此在增加網絡深度時應權衡網絡特征提取能力與其深度，不宜過深；二是改善特征提取層，增大感受野、融合殘差模塊、注意力機制模塊等以更好地提取煙霧特征。更多針對特征提取改進的煙霧檢測算法如表3所示。

表3 針對特征提取問題改進的煙霧檢測改進方法對比Table 3 Comparison of improved smoke detection methods for feature extraction problems

2.3.3 實時性問題

煙霧檢測對實時性的要求極高，但大多視頻煙霧檢測算法為追求高精度，增加了網絡層數，從而網絡參數變多、計算量變大，導致算法實時性降低。針對實時性問題改進的煙霧檢測算法對比如表4所示。

實時性改進的本質就是改小網絡結構、減少參數量、減少計算量。其技術路線主要有以下方法：

（1）輕量網絡設計。對現有網絡進行優化加速，例如采用深度可分離卷積代替標準卷積塊；重新設計新型網絡結構。

（2）模型裁剪。在保持現有模型的準確率基本不變的前提下，在某個尺度上篩選掉卷積層中重要性較低的權重，從而達到降低計算資源消耗和提高實時性的效果。

（3）模型蒸餾。利用大模型的監督特征幫助計算量較小的模型達到與大模型相似的精度，實現模型加速。

2.3.4 數據集問題

真實場景的火災煙霧數據樣本難以獲取?，F有的煙霧數據集大多為人工模擬火災的煙霧，存在數量少且背景單一的問題，與實際應用場景差距較大。

（1）樣本不足問題

現有的幾乎所有的深度學習方法都依賴于大量的標注數據，因此樣本的不足會限制煙霧檢測深度模型精度的提升。但是對于小樣本的煙霧對象，采集大量的數據是一個挑戰。Xie等[62]介紹了兩種可控煙霧圖像生成神經網絡（CSGNet和CSGNet-v2）來生成煙霧圖像。首先提出基于CSGNet的多尺度煙霧圖像生成算法，該算法將煙霧組件控制模塊和煙霧圖像合成模塊集成在一起，實現了煙霧圖像的多尺度生成；通過改變指定的煙霧分量潛碼，可以生成具有指定煙霧分量的煙霧圖像；通過微調單片機中的煙霧成分潛碼，對生成的煙霧圖像中的煙霧成分進行微調；又在CSGNet的基礎上提出CSGNet-v2，通過增加煙霧圖像微調模塊，使生成的煙霧圖像更加逼真。Li等[63]針對煙霧樣本少的問題提出了一種基于注意力的混合少鏡頭學習方法，在每個卷積塊中添加了批量歸一層，然后再添加卷積層，融入CBAM模塊來進一步降低疑似煙區的誤報率，設計了一個元學習模塊來緩解煙霧圖像有限導致的過擬合問題。與其他小樣本方法相比精度、實時性較優越，但是不如Alexnet等骨干網絡的檢測精度高。Yin等[29]利用深度卷積生成對抗網絡（DCGAN）以生成盡可能逼真的圖像。Cai等[40]采用鑲嵌數據增強方法對數據集進行擴充。Gu等[46]將圖片隨機旋轉以增強數據。文獻[37，40，50，64-65]采用隨機裁剪，水平翻轉和旋轉以數據增強緩解樣本少的問題。張倩等[66]將真實煙霧圖像、模擬煙霧插入森林背景圖像中，通過合成圖像來緩解樣本少的問題。Lin等[54]也采用了合成煙霧的方法來緩解數據集有限的問題。

針對真實采集的煙霧數據集有限的問題，既可以對這些數據集采用隨機反轉、改變亮度、添加噪聲等手段進行數據增強，也可以采用部分合成煙霧來擴充數據集，減少樣本較少對模型精度的影響，但是上述方法得到的樣本相較于真實采集樣本訓練效果略微遜色。

（2）樣本不平衡問題

煙霧數據集樣本不均衡會導致樣本量少的分類包含的特征過少，很難從中提取規律，即使得到分類模型，也容易因過度依賴有限的數量樣本出現過擬合問題，當模型應用到新的煙霧數據集上時，模型的準確性和健壯性將會很差。Yin等[29]對訓練樣本的數據進行了增強，以解決正負樣本不平衡和訓練樣本不足的問題。Zhang等[42]通過優化帶權的交叉熵損失函數，提高了網絡在非平衡森林火災數據集上的性能。袁梅等[67]提出使用數據增強技術從原始數據集生成更多訓練樣本解決由于訓練數據少或不平衡引起的過度擬合。

表4 針對實時性問題改進的煙霧檢測算法對比Table 4 Comparison of improved smoke detection algorithms for real-time problems

數據集的擴充既可以有效緩解樣本不平衡問題，又有助于提升煙霧檢測算法檢測效果，盡快建立公開統一的數據集是非常有必要的。

3 結語

為了綜合分析深度網絡模型在煙霧檢測中的應用，首先介紹了煙霧檢測存在的難點問題，分析了傳統視頻煙霧檢測算法的不足；其次探討了煙霧檢測常用的深度網絡模型，針對視頻煙霧檢測算法存在的一些難點問題，分析總結了現有煙霧檢測算法在這些問題所提出的解決方法，雖在一定程度上有所改善，但未從根本上克服這些難點，距離實際工程應用還有很大距離。煙霧檢測算法未來要在以下方面進行深入研究：

（1）分別建立完備公開統一的森林、草原場景下的煙霧及火災數據集，針對現有數據集樣本不足且背景單一問題擴充樣本數量。

（2）改進特征提取網絡及特征融合方式。針對稀薄煙霧、遠景小目標煙霧檢測困難，構建合適特征檢測層；通過構建更深更寬的網絡結構、融合殘差模塊與注意力模塊等增強對煙霧的特征提取能力，減少復雜背景環境帶來的影響。

（3）通過模型裁剪、模型蒸餾等技術減小網絡模型的同時引入性價比較高的注意力機制等類似模塊來提高檢測精度。

（4）構建輕量級模型，用于嵌入無人機等計算力與存儲有限的移動設備中，以便于更好地實時檢測火災。