改進的多尺度火焰檢測方法

侯易呈，王慧琴，王 可

(西安建筑科技大學 信息與控制工程學院，陜西 西安 710055)

1 引 言

傳統火災檢測方法使用感溫、感煙傳感器采集火焰數據的靜態或動態特征進行火焰檢測，對手動提取目標特征的依賴性較高。現階段，通過圖像處理進行目標識別的技術[1]和基于機器視覺的目標檢測技術不斷發展[2]，并且已開始應用到火災檢測領域。

傳統方法在火焰識別任務中，多注重人工對火焰目標進行特征提取以及分類器的設計[3-5]。蔡敏[6]將運動分割分為運用目標檢測和圖像分割兩個方面，并提出對VIBE算法的兩點改進，用于森林火災視頻檢測。劉宇欣[7]將人工蜂群算法圖像處理分割方法、邊緣檢測技術以及特征融合等技術應用于礦用帶式輸送機的火災檢測中。苗續芝[8]和王中林[9]分別改進了果蠅優化SVM模型和增量支持向量機算法，提高了火災檢測識別的準確率。相比較于傳統檢測方法，深度學習方法能夠自動提取目標特征，在圖像識別領域得到了廣泛的應用[10-12]。同時，也有學者將深度學習方法應用到了火焰識別檢測任務中。任嘉峰[13]提出一種引入K-means聚類算法的YOLOV3算法進行火焰識別檢測，通過遷移學習實現了對小樣本的識別分類。徐登[14]使用改進的雙流卷積神經網絡，提高了火焰目標識別率。段鎖林[15]對火焰區域的RGB通道做灰度處理和二值化處理，形成9通道的三維數據輸入，并且對Relu激活函數進行了修改，以平衡特征數量。回天[16]提出基于Faster R-CNN的火焰識別檢測方法，使用AlexNet作為基礎特征提取網絡，通過遷移學習完成對不同類別火焰樣本的識別與分類。

利用卷積神經網絡進行火焰識別的過程中，隨著網絡卷積層數的加深，火焰特征的語義信息變抽象，分辨率降低，火焰深層特征中的火焰目標細節信息減少，同時提取到了與火焰目標低相關性的冗余特征，導致火焰識別率不高。本文提出了一種基于Faster R-CNN[17]網絡的火焰識別檢測方法，使用深度殘差網絡(Residual Network,ResNet)[18]進行特征提取，添加壓縮和激勵網絡(Squeeze-and-Excitation Networks,SENet)模塊[19]減少低相關度冗余特征，然后使用多尺度特征融合結構，通過通道疊加補充深層特征中特征信息的不足，為具有抽象語義信息的深層特征添加具有豐富細節信息的淺層特征。該方法可以提升火焰目標檢測的精度。

2 Faster R-CNN算法

2.1 Faster R-CNN簡介

Faster R-CNN目標檢測模型是通過優化R-CNN和Fast R-CNN模型而來的高性能模型，圖1為Faster R-CNN網絡結構，主要由4部分組成：特征提取網絡、區域建議網絡(Region Proposal Network,RPN)、興趣池化網絡(Region of interest pooling Network,RoI)和分類回歸網絡，其圖像處理步驟為：

圖1 Faster R-CNN網絡結構圖Fig.1 Faster R-CNN network structure diagram

Step 1.將原始圖片處理為224×224大小輸入網絡，經過卷積神經網絡(Convolutional Neural Networks,CNN)[20]提取圖像特征，將圖片信息編碼到深層維度，提取到的特征圖作為區域建議網絡和平均池化網絡的共享特征層。

Step 2.區域建議網絡[21]通過在共享特征圖上添加滑動窗口將空間窗口映射到低維向量，在每個滑動的位置都會預測出k個區域建議框。然后連接兩個并行的全連接層，分別得到2k個對應的分類層輸出和4k個對應的回歸層輸出。接著采用非極大抑制法以交并比作為分類指標選取得分排名前300的目標建議框。

Step 3.平均池化網絡將共享特征層和目標建議框作為輸入，將不同大小的感興趣區域通過池化操作降維成7×7尺寸的特征向量，使得輸入圖片不要求固定尺寸。

Step 4.利用Softmax損失函數完成分類任務，利用smoothL1損失函數完成回歸定位任務。

2.2 RPN網絡損失函數

區域建議網絡總體損失函數的定義如下所示：

(1)

分類損失函數Lcls的定義如下所示：

(2)

回歸損失函數Lreg的定義如下所示：

(3)

其中，R為smoothL1函數，其公式如下所示：

(4)

3 基于Faster R-CNN的多尺度改進實現

本文在Faster R-CNN中使用ResNet50作為特征提取網絡，并添加注意力機制模塊增加火焰相關特征通道重要性，然后通過多尺度結構在深層特征中添加淺層特征，增強火焰特征表達能力，以提高火焰識別精度。

3.1 改進殘差網絡

深度學習中，加深網絡深度會遇到梯度爆炸和梯度消失問題。傳統對于該問題的解決方法主要是對數據進行初始化和正則化，但是此方法伴隨著網絡深度的加深，誤報率和錯報率提升，造成網絡性能的退化。何凱明在使用多達152層的ResNet網絡在ImageNet上進行實驗，結果表明深度殘差網絡在深度增加的情況下，有效提高了準確率，解決了因深度增加造成的梯度消失和網絡性能退化的問題。本文特征提取網絡部分采用ResNet50網絡進行特征提取，增加SENet注意力機制模塊，簡稱為SE-RCSNet50,ResNet和SE-ResNet模塊分別如圖2、圖3所示。

圖2 ResNet模塊Fig.2 Block diagram of ResNet module

圖3 SE-ResNet模塊Fig.3 Block diagram of SE-ResNet module

在深度殘差網絡模塊中，存在兩種映射關系，一種為恒等映射，指的是把當前網絡輸入當作輸出直接傳輸到下一層網絡中，跳過當前網絡。另一種為殘差映射，最終的輸出為H(x)=F(x)+x，此時當F(x)=0時，則H(x)=x。在此基礎上，改變了殘差網絡的學習目標，直接學習H(x)和x的差值，就是殘差映射F(x)=H(x)-x。

本文在深度殘差模塊中添加了SENet注意力機制模塊，通過學習的方式自動獲取每個特征通道的重要程度，并且根據該通道的重要程度提升有用特征，抑制無用特征，以此來使提取到的特征具有更強的表征能力。壓縮和激勵網絡結構如圖4所示。

圖4 注意力機制模塊Fig.4 Block diagram of attention mechanism module

壓縮和激勵網絡執行步驟如下：

(1)首先對特征U進行擠壓(Squeeze)操作，該操作通過全局平均池化(Global average pooling)將二維特征壓縮成一個1×1×C的實數數列。該實數數列在一定意義上具有全局感受野，使得低層網絡也可以具有全局信息。全局平均池化計算方式為：

(5)

(2)接入激勵(Excitation)操作，自主學習每個特征通道之間的非線性交互關系，根據重要性的不同賦予不同的權重。先通過全連接層，減少計算量，然后連接ReLu函數，使得輸出的維度不變。激勵操作計算方式為：

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))).

(6)

(3)經過重新賦值(Reweight)操作，如式(7)所示，經過激勵操作后的結果輸出可以看作是經過特征選擇后的每個特征通道的重要性，然后通過乘法將每個通道加權到之前的特征上，完成對原始特征的重新賦值，實現注意力機制。

(7)

uc表示u中第c個二維矩陣，sc表示激勵操作的輸出權重。

3.2 多尺度網絡結構

由于卷積神經網絡通過逐層抽象的方式來提取目標的特征，提取到的高層特征的感受野比較大，語義信息表征能力強，但是特征分辨率小，幾何信息的表征能力弱，適合處理大目標；而提取到的低層特征的感受野比較小，語義信息表征能力弱，但是特征分辨率大，幾何信息的表征能力強，適合處理小目標。為了節省計算量，使用Block4特征圖進行火焰目標檢測，Block5用做最后的分類和回歸。Block4層特征圖的語義信息較為豐富，能更好地反映火焰圖像全局特征，但是分辨率低，細節信息表征能力弱，所以不能精確地對火焰進行檢測。通過分析，本文提出一種基于Faster R-CNN的多尺度特征融合算法，通過在深層特征上添加淺層特征信息進行特征增強，提高對火焰目標的識別檢測準確率。

網絡結構如圖5所示，分別對Block1,2,3的輸出用1×1的卷積做通道變換，將其通道數從64，256，512變換為256，512，1 024，并引入批規范化(Batch Normalization，BN)處理，將數據規范到N(0，1)的正態分布，然后將Block2，3，4的輸出分別和上一層進行通道變化后的輸出進行concatenate通道相加，然后使用Rule函數進行激活，以此作為Block2，3，4的輸出。利用該結構，能夠增強火焰目標的特征表達能力，并且任意下一層的輸入都來自前面兩層的輸出，加強了對特征的重用[22]，使得網絡更利于訓練，具有一定的正則化效果，緩解了梯度消失和模型退化問題。同時引入批規范化處理，能夠加快訓練速度，并提高網絡泛化能力。

圖5 多尺度結構Fig.5 Block diagram of muti-scale feature fusisn mechanism

4 實驗與結果分析

本文所使用的主要硬件參數為：操作系統為Windows10 64 bit，內存為8 GByte，GPU設備為GTX2070，使用python3.6語言，搭建平臺為Keras，訓練和測試軟件為Pycharm。

4.1 數據集處理

在實際情況中，火焰圖片都是采集于視覺模塊。通過查找有關火焰檢測實驗的公開數據集，并且添加從不同角度拍攝的火焰圖像數據，擴充原本公開數據集以作為本文的實驗數據集，使得該樣本數據集更接近實際數據。由于原始圖像的尺寸過大，在進行模型訓練時導致計算量增加，在不影響整體細節的情況下，將圖像裁剪為224×224像素大小，并將格式轉變PNG格式，按照PSACAL VOC格式構建火焰數據集。本次實驗共采用數量為10 078的火焰圖像數據集，從擴充以后的圖像數據中隨機選擇8 163圖像作為訓練集，907張作為驗證集，剩余1 008張作為測試集。

4.2 評價指標

深度學習中對分類器模型進行評估主要使用精確率(Precision)和召回率(Recall)。通過混淆矩陣進行計算，混淆矩陣如表1所示。

表1 混淆矩陣Tab.1 Confusion matrix

表中，TP(True Positive)表示將正類預測為正類數；TN(True Negative)表示將負類預測為負類數；FP(False Positive)表示將負類預測為正類數，也稱為誤報率；FN(False Negative)表示將正類預測為負類數，也成為漏報率。

精確率表示預測為正的樣本中有多少為正確的預測，如下所示：

(8)

召回率表示在正例樣本中被正確地預測，如下所示：

(9)

同時在目標檢測任務中，使用平均精度均值(Mean average precision，mAP)作為衡量模型性能的指標。在本任務中，對火焰的識別檢測為單類識別，平均精度均值指標與平均精度(Average precision，AP)等價，所以使用平均精度來作為本任務中模型評價指標，平均精度指標計算如式(10)所示：

(10)

式中，R表示測試集中所有正樣本的個數；M表示測試集總樣本個數；Ii=1表示第i個樣本是正樣本，若是負樣本，則Ii=0；Ri表示前i個樣本中正樣本的個數。

4.3 實驗結果分析

使用本文算法和改進前算法在本文測試集上進行測試，實驗結果如表2所示。

表2 改進前后對比Tab.2 Comparison before and after improvement

通過表中數據對比可以發現，改進前算法以ResNet50作為特征提取網絡，與本文方法進行比較，本文算法的平均精度、召回率、精確率分別提高了7.78%、9.05%、12.54%，證明本文方法提取到的火焰目標特征對于火焰識別精度有較高影響。原因是加入了SENet注意力機制模塊的ResNet50特征提取網絡抑制了與火焰目標相關度低的無關特征通道，并且將火焰的通道重要性提高，同時，因為多尺度結構在提取到的深層特征上加入了淺層的細節特征，增強了火焰目標特征的表征能力，有效提高了模型對于火焰目標的識別性能。

為進一步對比本文算法在特征提取部分的優勢，進行特征圖可視化對比實驗，結果如圖6所示。由圖中可以看出，隨著網絡深度加深，火焰目標的位置、形狀等細節信息隨著感受野的增大而稀疏化，使得無法分辨火焰的輪廓、紋理等信息。通過對比本文方法與ResNet50，在火焰目標深層特征中，因為使用了多尺度特征融合結構，使得本文提取到的火焰目標有著更為明顯的紋理、顏色以及輪廓等淺層特征中的細節信息，同時，由于SENet的作用，對提取到的特征通道進行了重新標定，抑制了與目標特征相關性低的通道，增強了相關性高的顏色等通道信息，使得提取到的火焰特征信息表達能力更強。

圖6 特征圖可視化Fig.6 Visualization of feature map

在測試集中，選取不同場景下的火焰圖像對本文算法模型以及改進前算法進行性能測試對比，結果如圖7所示。可以看出，以ResNet50作為特征提取網絡進行火焰目標識別時，存在識別率低的問題，同時在復雜背景下，有復檢問題存在，并且對于小目標的檢測效果不好。而本文方法能夠適應不同背景下對火焰目標的識別檢測，對于不同環境下的火焰都有較好的識別結果。

圖7 檢測結果對比Fig.7 Comparison of test results

對圖片識別時間進行對比，其結果如表3所示。本文算法對比改進前對每張圖片的消耗時間增加了0.03 s。原因是本文添加了SENet模塊，并且采用了多尺度特征融合機制，增加了模型參數量，導致識別時間增加。

表3 改進前后參數量和時間的比較Tab.3 Comparison of parameter quantity and time before and after improvement

為進一步驗證本文算法的效果，將本文算法與已有學者完成的火焰識別檢測方法進行比較。實驗結果如表4所示。本文方法對比文獻[14]和文獻[23]的結果有所提高，其中文獻[14]使用改進的雙流卷機神經網絡進行火焰目標提取，文獻[23]通過采用多個不同尺度融合的方式進行目標檢測。在特征提取方面，本文方法能夠提取到信息更豐富的火焰特征，使得本文算法效果較好。

表4 與現有學習算法準確率對比Tab.4 Comparison with accuracy of existing learn algorithms

5 結 論

針對火焰目標檢測，本文提出一種基于Faster R-CNN模型的改進算法，提高深度學習網絡對火焰識別的準確率。首先使用ResNet50作為基礎特征提取網絡進行特征提取，接著添加SENet模塊通過通道注意力機制，增強目標相關性高的特征通道，然后使用多尺度結構將淺層特征進行通道變換并和深層特征進行通道相加，最后完成對火焰區域的識別檢測。實驗證明該方法能夠克服深度網絡中深層特征幾何信息的缺失問題，并抑制無用特征，提取更有效的火焰特征，完成對火焰目標的識別檢測。對比改進前的算法，其火焰識別檢測平均精度提高了7.78%，召回率提高了9.05%，精確率提高了12.54%。有效地提高了火焰識別效果。