基于稠密卷積神經網絡的煙霧識別方法

程廣濤，鞏家昌，李 建

（1.國家消防工程技術研究中心研發部，天津300381； 2.中國刑事警察學院聲像資料檢測技術系，沈陽110854）（?通信作者電子郵箱gt_cheng@163.com）

0 引言

煙霧檢測已經成為早期火災檢測的重要技術。傳統的煙霧檢測設備中常見的是點型感煙探測器，它因為成本低和安裝簡便而被廣泛應用。點型感煙探測器通過采樣和分析火災產生的煙霧顆粒濃度、氣體溫度和濕度等特征來觸發報警，這樣的工作原理使它應用在高大空間場所時很難發揮作用。近年來，隨著城市內各種大型建筑的興起，各種大型建筑和超大型建筑越來越多，急需一種新型的煙霧探測方法來彌補現有點型感煙探測器存在的不足。在安全城市、安全社區、智慧消防等全新理念的提出下，各種視頻監控系統已經在國內的大中城市里得到了大規模的普及，促使基于視頻圖像分析技術的煙霧檢測算法被廣泛研究［1-2］。

現有的煙霧識別方法首先從煙霧圖像中提取煙霧特征，然后將提取的特征經過支持向量機（Support Vector Machine，SVM）等模式識別分類器進行最終識別，其中特征提取是煙霧識別方法取得高準確率的關鍵所在。Ferrai等［3］利用小波變換構建一個隱馬爾可夫樹模型用于煙霧識別；Ye等［4］利用自適應背景減除法提取運動和顏色特征去檢測圖像序列中的煙霧和火焰；Yuan等［5］利用金字塔局部二值化模式（Local Bianry Pattern，LBP）特征和容積局部二值化模式（Volumn Local Bianry Pattern，VLBP）特征的直方圖序列進行視頻煙霧檢測；Yuan等［6］利用高階局部三元模式進行煙霧識別。然而現有的煙霧識別方法雖然都取得了很高的檢測率，但同時也伴有較高的誤報率，其原因在于傳統的煙霧圖像顏色、紋理、形狀等特征魯棒性較差，容易受光照條件、復雜的環境影響而變得異常不穩定，進而忽略圖像中煙霧的本質特征。

深度卷積神經網絡（Convolutional Neural Network，CNN）的出現很好地解決了特征提取的問題，它能夠根據原始的圖像數據自動學習魯棒特征，既能學習邊緣和紋理等低層特征，也可以學習高階的抽象特征，如此豐富的特征表示對圖像識別非常重要。目前，卷積神經網絡已經被廣泛研究和被應用到各個圖像分析領域，包括圖像分類［7］、目標檢測［8-9］、人臉識別［10］等。Yin等［11］首次將卷積神經網絡應用到煙霧識別問題中，提出了14層的深度規范和卷積神經網絡（Deep Normalization and Convolutional Neural Network，DNCNN）用來實現煙霧圖像特征提取和分類；王文朋等［12］針對煙霧數據量較少的問題，提出一種基于深度遷移學習的煙霧識別方法，將ImageNet數據集作為源數據，利用16層的VGG（Visual Geometry Group）模型［13］進行同構數據下的特征遷移；Yuan等［14］提出了深度多尺度卷積神經網絡（Deep Multi-scale CNN，DMCNN）進行煙霧識別，DMCNN由一些基本卷積塊堆積而成，每個卷積塊包含一些并行的卷積核大小不同的卷積層，用于對煙霧圖像的多尺度特征提取。

稠密卷積神經網絡（Dense Convolutional Neural Network，DenseNet）［15］由一些稠密塊堆積而成，在每個稠密塊的卷積神經網絡中，當前層的輸入數據來自前面所有層的數據，因此DenseNet可以緩解梯度消失，增強特征流通和特征重利用，并減少深度模型參數。借鑒DenseNet的優勢，本文構造了用于煙霧識別的稠密卷積神經網絡（DenseSmoke）。首先根據煙霧圖像特征利用卷積運算和特征圖融合構建稠密網絡塊，然后疊加稠密網絡塊，設計用于煙霧識別的深度稠密卷積神經網絡。該網絡提取的豐富圖像特征可以更好地對煙霧圖像進行描述，達到了更高的準確率和更低的誤報率，并且模型參數量大約只有0.44 MB，可以更好地節省運算資源。

1 稠密網絡塊

深度卷積網絡中層與層之間的稠密連接可以改善數據的信息流通，本文構造了稠密網絡塊，其基本構件依次由下面結構組成：批規范化（Batch Normalization，BN），修正線性單元（Rectified Linear Unit，ReLU），卷積核為1× 1、通道數為D的卷積運算，BN，ReLU，卷積核為3×3、通道數為C的卷積運算，如圖1所示。每個經過基本構件處理后得到的特征圖都與前面所有層的特征圖作拼接融合，融合后的特征圖作為下一個基本構件的輸入，以此類推，共經過M次基本構件操作和M次特征圖融合操作。這樣稠密網絡塊的最終特征圖信息來自于其前面所有層，促進了信息流通和特征重利用。稠密網絡塊的結構如圖2所示，文中設置M=3，D=48，C=12，I表示稠密網絡塊輸入的特征圖通道數目。

圖1 稠密網絡塊基本構件Fig.1 Basic componentsof densenetwork block

圖2 稠密網絡塊結構Fig.2 Structure of dense network block

2 稠密卷積神經網絡

整個稠密卷積神經網絡DenseSmoke由卷積層、稠密網絡塊、壓縮層、池化層、全局池化層和分類輸出層構成，網絡的輸入是大小為48×48的RGB煙霧圖像，如圖3所示。

圖3 DenseSmoke的網絡結構Fig.3 Network structureof DenseSmoke

卷積層 輸入的圖像數據首先經過一個卷積層，其中卷積核大小為3×3，滑動步長為1，擴充參數為1，以保證卷積后特征圖分辨率大小不變，特征圖通道數設置為24。

稠密網絡塊 整個DenseSmoke網絡由N個稠密網絡塊疊加而成，每個稠密網絡塊都包含3次基本構件操作和3次特征圖拼接融合操作。文中設置N=4，這樣每個稠密網絡塊的特征圖分辨率依次為48×48、24×24、12×12和6×6，特征融合后的特征圖通道數目依次為60、66、69、70。

壓縮層 為了緩解特征圖通道信息冗余，在每個稠密塊后連接壓縮層進行特征通道數目壓縮，利用1×1卷積操作減少特征圖的數目。假定特征塊包含m個特征圖，壓縮層處理后將特征圖減少為，其中壓縮因子0＜θ≤1，文中設置θ=0.5。經過壓縮層處理后，稠密網絡塊的特征圖通道數依次為30、33、34，最后一個稠密網絡塊不進行壓縮。

池化層 池化層一般被連接在卷積層后面以減少特征圖的分辨率，進而減少模型參數數量以節省運算資源和緩解過擬合問題。常見的池化方法有最大池化和平均池化，它們分別在池化區域內取最大值和平均值。本文選擇平均池化方法，池化區域大小為2×2，滑動步長為2，這樣池化層將特征圖的分辨率降低為原來的1 4。

全局池化層 在最后的特征圖和分類層之間設置全局池化層，首先全局池化層可以加強特征圖和分類層直接的信息通信，其次全局池化層屬于無參操作而避免過擬合問題，最后對于圖像數據的空間平移全局池化層具有很強的魯棒性。對大小為6×6×70的稠密塊進行池化區域為6×6的平均池化操作，輸出為1×1×70的特征圖。

分類輸出層 1×1×70的特征圖中神經元經過線性變換后再經過Sigmoid函數變換進行圖像二分類任務：

其中：x表示分類輸出層輸入，y表示煙霧和非煙霧標簽，W表示神經元之間連接的權重，b表示神經元之間連接的偏置。

3 實驗結果與分析

本文使用Pytorch深度學習框架去構建和訓練DenseSmoke網絡。所有的實驗運行在Windows10操作系統，實驗主機配置主頻為3.40 GHz的i7-3700 CPU處理器，16 GB的RAM和Nvidia GTX 1080Ti GPU顯卡。

3.1 網絡訓練

表1顯示了江西財經大學袁非牛教授研究組公開的4個數據集（http：//staff.ustc.edu.cn/～yfn/vsd.html），分別為Set1、Set2、Set3和Set4。實驗中使用Set3作為訓練數據集，Set4作為驗證數據集，其他的兩個數據集作為測試數據集。

表1 煙霧圖像數據集Tab.1 Smokeimagedatasets

對于煙霧識別二分類問題，選擇交叉熵損失函數來作為DenseSmoke網絡的訓練目標函數：

其中：yi表示數據集提供的樣本標簽，非煙霧圖像的標簽為0，煙霧圖像的標簽為1；p(yi)表示樣本被預測為yi的概率；N表示訓練樣本的個數。

本文使用批量隨機梯度下降算法（Batch Stochastic Gradient Descent，Batch-SGD）訓練深度卷積神經網絡的參數變量，批量大小設置為96，動量參數為0.9，訓練過程利用權重下降來進行正則化，其中L2懲罰乘子設置為10-5，學習率設置為10-2，整個訓練過程循環遍歷訓練數據集300次，每經過100次時將學習率除以10進行更新，學習率共被除以2次。網絡權重初始化采用Kaiming初始化方法。如圖4所示，訓練過程很快就能夠收斂，大約遍歷90次訓練數據庫時，訓練準確率已經達到100%，對應的損失函數值也開始趨于穩定。

3.2 實驗評估

本文使用檢測率（Detection Rate，DR）、誤報率（False Alarm Rate，FAR）和準確率（Accuracy Rate，AR）作為煙霧識別方法的量化評價指標，公式如下：

其中：Qp和Qn分別表示煙霧樣本和非煙霧樣本的數目，Pp表示煙霧樣本中被正確檢測為煙霧的數目，Np表示非煙霧樣本中被錯分為煙霧類別的數目，Nn表示非煙霧樣本中被正確檢測為非煙霧的數目。煙霧識別算法的目標是使得AR指標和DR指標更高，同時使得FAR指標更低。

圖4 DenseSmoke訓練過程Fig.4 Trainingprocessof DenseSmoke

根據上述實驗設置，表2匯總了不同煙霧識別算法訓練的模型在測試集Set1和Set2上的實驗結果，表中加粗數字表示各個指標下的最優值。從實驗結果可以看到，與DNCNN和DMCNN相比較，DenseSmoke在Set1測試集上達到更高的DR和AR，在Set2測試集上達到更高的DR，AR值稍微低于DMCNN，但DenseSmoke的模型大小只有0.44 MB，還不到DMCNN模型大小的一半。除此之外，DenseSmoke的FAR值在Set1和Set2測試集上都略高于DNCNN和DMCNN，后面應用數據增強技術（DenseSmoke_A）進一步降低DenseSmoke的FAR值。

表2 煙霧識別算法實驗結果Tab.2 Experimental results of smoke recognition algorithms

3.3 消融實驗

為了更好地解釋DenseSmoke網絡構建的合理性，本文進行如下的消融實驗。

1）為了驗證卷積神經網絡中層與層之間稠密連接的必要性，本文移除稠密網絡塊中的特征圖融合操作，這時稠密網絡塊如圖5所示，其基本構件依次由下列組件構成：BN，ReLU，卷積核為3×3、通道數為D的卷積運算。其他設置和DenseSmoke相同，在每個稠密網絡塊后面仍然附有壓縮層和池化層，將如上描述的網絡標記為DenseSmke_0。

如表3所示，去掉稠密連接的DenseSmoke_0的模型參數由0.45 MB增加到1.08 MB，而DR和AR指標都發生較大的下降，同時FAR指標更高，在Set1測試集上DR指標甚至下降了3.45個百分點，在Set2測試集上FAR指標甚至升高了1.46個百分點。實驗結果說明了稠密連接在煙霧識別任務中的必要性。

圖5 DenseSmoke_0的稠密網絡塊Fig.5 Dense network blocks of DenseSmoke_0

表3 DenseSmoke消融實驗結果Tab.3 Ablation experimental resultsof DenseSmoke

2）DenseSmoke網絡中稠密網絡塊有M次基本構件操作和M次特征圖拼接融合操作，然后整個網絡由N個稠密塊疊加而成，文中設置M=3，N=4。為了驗證這樣設置可以得到最好的性能，本文分別對M和N的取值減少和增加，詳細設置如表4所示。

如表4所示，與DenseSmoke相比，減小M或N的值，模型大小有所減少，DenseSmoke_1和DensSmoke_3的模型大小分別只有0.28 MB和0.33 MB，但在測試集Set1和Set2上的檢測率DR都發生了較大幅度的下降，說明降低模型復雜程度導致訓練模型對圖像特征的表達能力不足，進而使得訓練模型的識別性能下降。增大M或N的值，DenseSmoke_2和DenseSmoke_4的模型分別增加到0.63 MB和0.55 MB，但是模型大小的增加并沒有導致訓練模型的識別性能提升。這個結果的一個可能解釋是：深度卷積神經網絡達到令人滿意的性能需要大量的訓練數據做支撐，而煙霧圖像數據量較小，利用深度卷積神經網絡訓練容易導致過擬合問題，訓練的模型泛化能力較差，因此隨著模型參數的增加其識別能力反而下降。通過以上實驗和分析，文中提出的DenseSmoke網絡當設置M=3、N=4時可以達到最好的性能。

表4 消融實驗中參數M和N的設置Tab.4 Settingsof parameter M and N in ablation experiment

3.4 數據增強

深度卷積神經網絡達到優異的性能需要大量的圖像數據集作為保證。煙霧圖像識別任務中存在的一個問題是煙霧圖像訓練數據的不充分，作為訓練集的Set3只包含10 712張圖片，這樣訓練的深度卷積神經網絡模型泛化能力差，即訓練的模型只對少量的訓練數據產生過好的效果，而對驗證集和測試集效果較差。數據增強技術可以有效地緩解上述問題，它基于現有的少量訓練數據集通過幾何變換等操作達到擴充訓練圖像數據集的目的。本文采用水平翻轉、垂直翻轉和中心旋轉3種數據增強技術，其中中心旋轉對原有圖像分別按照90°、180°和270°進行旋轉。SetA表示在Set3基礎上增強原有訓練集中煙霧樣本和非煙霧樣本。增強的訓練數據集詳情如表5所示。

表5 數據增強處理后的訓練數據集Tab.5 Trainingdatasetsafter dataaugmentation

圖6展示了通過數據增強技術產生的圖像示例。

圖6 數據增強處理產生的圖像示例Fig.6 Image examples generated by data augmentation

表2中的DenseSmoke_A表示提出的DenseSmoke網絡在增強后的數據集SetA上進行訓練的實驗結果。從實驗數據中可以看到，通過數據增強技術對訓練數據集進行擴充，DR和AR指標略有升高，同時FAR指標具有較大幅度的下降，在Set1數據集上FAR從0.96%降低到0.36%，在Set2數據集上FAR從0.49%降低到0.24%。DenseSmoke_A方法在兩個測試集上分類錯誤的圖像示例如圖7所示。稀薄的煙霧圖像和紋理不清楚的煙霧圖像容易被錯認為非煙霧，而樹葉圖像和模糊圖像容易被識別為煙霧，成為誤報的主要來源。

圖7 DenseSmoke_A錯誤分類示例Fig.7 Misclassification examples of DenseSmoke_A

4 結語

特征提取是煙霧圖像識別的核心問題所在，而傳統的特征提取技術容易受光照條件、復雜環境等因素干擾而具有較弱的魯棒性。本文利用稠密卷積神經網絡根據原始煙霧圖像自動提取特征，由于卷積層之間的稠密連接，促進了深度網絡結構中從低層特征到高層特征之間的信息流通，加強了特征重利用。針對煙霧圖像數據量較少問題，采取數據增強技術提高訓練模型的識別能力。實驗結果說明了提出的方法利用更少的模型參數達到更高的準確率和更低的誤報率。