基于ER-ShuffleNet 的薄霧森林火災識別

譚 熙，方 睿，王 宇，魏袁慧

（成都信息工程大學 計算機學院，成都 610225）

0 引言

森林火災作為世界性林業災害，造成了大量的碳排放、自然環境損失和經濟損失［1］。但由于自然因素和人為因素的影響，森林火災具有突發性和不可控性，這使得預防森林火災具有一定的難度和挑戰性［2］。森林火災發生伊始常伴隨煙霧產生，隨后才會出現明火，因此早期煙霧的識別對防止火災擴大損失至關重要。

目前的森林火災預防措施大多依賴于人力晝夜不停飽和式地監測，而在人工監測上，存在著任務重、客觀性差、效率低等問題，并且耗費了大量人力物力，最終的預防效果卻不盡如人意［3］。傳統機器視覺方法通常涉及到復雜的分類規則制定、特征選取、目標求解優化過程等步驟，還需要較強的專業技術知識；而在算力資源支持下，利用深度學習圖像分類算法對煙霧和火災圖像進行分類，速度快、精度高、訓練方便，因此該方法現已成為了目前領域的研究熱點。

近年來，許多學者投身深度學習來研究森林火災識別檢測的方法。富雅捷等人［4］提出了一種基于遷移學習的卷積神經網絡森林火災檢測算法，準確率達到了97%。傅天駒等人［5］針對小樣本林火識別，提出了一種用于復雜背景下森林火災識別的深度卷積神經網絡結構，正確率達到了98%。楊劍等人［6］為解決對煙霧視頻圖像自適應較差的問題，提出了改進殘差結構的ResNet，取得了不錯的效果。盡管這些研究都取得了可觀進展，但模型效果極易受到和煙霧具有相似特征的物體干擾，尤其是薄霧天氣，煙霧的特征被嚴重削弱，最終導致實際表現不佳。

針對薄霧天氣，因為缺少公開數據集，一些學者在自建數據集上做了相關研究。Muhammad 等人［7］、Khan 等人［8］分別使用了在ImageNet 上預訓練的VGG-16 和MobileNet-V2 遷移學習，在自建的霧天數據集上訓練，并取得了96%和98%的準確率。?zbek 等人［9］先將圖像顏色空間從RGB 轉換至HSV，使用MobileNet-V2 在合成霧圖的數據集上訓練，取得了2.23%的精度提升，達到98.95%，并節約了一定的內存空間。但這些研究仍存在一些不足，首先，上述研究使用的數據單一，方法簡單，模型還有亟待改進的地方；其次，森林火災場景存在許多易混淆的目標、即會造成誤報，而誤報帶來的風險與代價較大。因此更高的精度、更低的誤報率是十分必要的。

1 數據集

經調查研究發現，目前還沒有森林火災領域具有影響力的公開數據集，大多數學者采用的數據集主要來自中國科學技術大學消防科學實驗室、韓國啟明大學CVPR 實驗室以及比爾肯大學火災研究實驗室，加上一些零散的網絡圖片以及攝影作品。這些數據大多為不包含森林背景的視頻，就可能導致訓練出來的模型泛化能力不足。學者們獲取分類圖像的方法主要有按幀截取和切幀濾除相似圖片兩種，但前者數據重復度高，后者數據量又極小。

因此，本文在網絡上大量收集了森林火災煙霧圖片作為補充，以增加數據多樣性；同時，采用隨機截取視頻幀的方法，這樣既能保證數據量，也能避免數據高度重復。此外，考慮到森林火災場景中存在許多易混淆的目標，如云彩、云霞等，所以在數據集中加入了這2 類數據作為訓練數據的補充，能夠幫助模型區分易混淆目標，降低模型誤報率。最后，目前針對極端天氣森林火災煙霧識別檢測的研究并不多，薄霧天氣的數據十分稀少。基于此，其他學者紛紛選擇人工合成帶霧的數據，本文未能找出更好的解決方法，因此也選擇了人工合成霧圖。

目前主流的圖像合成霧方法主要有RGB 通道合成和標準光學模型合成兩種。RGB 通道合成是通過調整RGB 三通道的值實現一種“不透光”感。Muhammad 等人［7］、Khan 等人［8］都是將霧通過圖像疊加的方式添加到圖像上。?zbek 等人［9］在原圖上疊加100 亮度值達到合成效果。而標準光學模型合成則是采用標準光學模型進行圖像合成霧。

本文采用了中心點合成霧的方法，簡稱Certer方法。簡單來說，是根據圖像中的位置調整標準光學模型中的透射率t（x）生成霧化粒子。透射率t（x）由深度信息和霧化濃度決定：

其中，β為霧化濃度因子，d（x）為深度信息。

進一步地，研究中推得：

其中，xi，xj為圖像上按行、列排布的像素點；centerrow，centercol為圖像行、列的中心點；θ為生成霧化粒子的尺寸因子，本文設置為：θ ＝

最終的標準光學模型為：

其中，I（x）為合成后的霧圖像；J（x）為待合成的圖像；原圖像中，t（x）為透射率；L為大氣光成分，本文設置為L ＝0.5。不同方法合成霧效果如圖1 所示。

圖1 合成霧效果圖Fig. 1 Synthetic fog renderings

依據Center 方法合成帶霧數據，建立提出了含有5 類樣本的薄霧森林火災數據集，并通過數據增強避免了數據不均衡。數據集見表1。

表1 數據集類別及數量Tab.1 Categories and quantities of data sets

2 模型構建

針對森林火災薄霧天氣識別困難的問題，提出了一種多重注意力分類網絡ER-ShuffleNet，搭載了通道注意力模塊（CASB）和反向注意力模塊（RAB），能夠兼顧深層次與淺層次特征，同時考慮多個顯著特征以區分易混淆目標，實驗表明本文方法顯著優于其他學者方法。

2.1 多重注意力分類網絡ER-ShuffleNet

ShuffleNet-V2［10］作為最優秀的輕量級分類網絡，考慮到其精度高、速度快、模型小等優點，故本文擬對此進行重點研究。

根據ShuffleNet-V2 的策略構建了一種多重注意力分類網絡ER-ShuffleNet，由CASB 模塊和下采樣模塊構建各個Stage，并命名為CA-Stage 以作區分；用GELU激活函數［11］替換Relu，能夠保留更多信息促進通道信息交互；將全連接分類頭替換為1×1 卷積分類頭［12-13］；并在分類頭之前增加了RAB 模塊。這樣經CASB 提取的特征高度濃縮，在特征上呈現出“一超多強”的現象，而特征經由RAB 處理后則會呈現“多極化”趨勢，更利于捕捉細節，區分易混淆目標。ER-ShuffleNet 模型結構如圖2 所示。

圖2 ER-ShuffleNet 結構Fig. 2 ER-ShuffleNet structure

2.2 通道注意力模塊（CASB）

Wang 等人［14］提出一種相比SE 模塊更高效的通道注意力機制（Efficient Channel Attention，ECA）。ECA 承襲了SE 模塊中Squeeze 與Excitation 的思想，通過自適應平均池化壓縮通道特征至通道維度，隨后使用一維卷積聚合鄰近通道特征，使局部通道信息交互，僅涉及少量參數，卻大幅提升了模型精度。

結合Shuffle Block 與ECA，提出了一種增強通道注意力的CASB 模塊，其下采樣分支保持不變。CASB 模塊如圖3 所示。

圖3 CASB 模塊Fig. 3 CASB block

本文將ECA 模塊置于3×3 卷積與1×1 卷積之間。這樣設計的目的是為了利用深度卷積的特征提取能力，使ECA 壓縮的通道特征更具代表性，而經ECA 獲得通道注意力的特征圖再由1×1 卷積進一步聚合整理，讓網絡學習到的局部通道信息更加穩定有效。通道信息在推理過程中反復被壓縮、交互、擴張，使網絡能夠同時關注圖像的淺層次與深層次特征，獲得更好的學習能力。

2.3 反向注意力模塊（RAB）

在Sun 等人［15］的研究中提到一種分散網絡對顯著特征的注意力，從而迫使網絡關注其他同樣具有區分度的特征的方法、即峰值抑制（Peak Suppression）結合塊抑制（Patch Suppression）構建的多樣化模塊（Diversification Block），該模塊能夠提高易混淆目標識別精度。

RAB 模塊如圖4 所示。研究可知，RAB 模塊舍棄了多樣化模塊中的塊抑制，并且優化了其峰值抑制方法：不再建立額外的映射特征圖，而是直接對網絡最后一層輸出特征圖進行最大采樣，節省了大量的內存空間和參數量。RAB 模塊依據下列公式進行最大采樣和反向注意力：

圖4 RAB 模塊Fig. 4 RAB block

其中，Rc（i，j）為得到的反向注意力特征圖；α為反向注意系數，在本文實驗中設置α＝0.9；Mc（i，j）為輸入模塊的特征圖，（i，j）∈（H，W）。

3 實驗結果及分析

本文的數據集按照7 ∶2 ∶1 比例劃分訓練集、驗證集、測試集。采用的評估標準有F1-Score準確率、參數量、誤報率。實驗分為2 個階段，其步驟可做闡釋分述如下。

（1）就本文提出的改進點進行消融實驗，結果表明PASB 模塊能夠以少量參數代價顯著降低誤報率，而RAB 模塊能夠迫使網絡學習多個特征，提高網絡精度，實驗結果見表2。

表2 改進點消融實驗Tab.2 Modified point ablation experiment

（2）將本文提出的方法與一些學者的方法對比后可知，本文方法的準確率相比其他方法高出了1.36%～4.09%，實驗結果見表3。

表3 與其他方法對比試驗Tab.3 Comparison test with other methods

首先將本文提出的改進點：PASB 模塊、RAB 模塊（分別標記為P、R）進行消融實驗。

P 通過局部通道信息交互，同時學習淺層及深層信息，以少量參數代價就能顯著降低誤報率；R會迫使網絡同時考慮多個顯著特征，從而更好區分易混淆目標，這時網絡需要更強的學習能力來處理多個顯著特征。兩者結合在一起，效果就有了質的提升，準確率比基準高出了1.74%，誤報率也降低到了2.041%，而參數量代價卻很小。

此后，與其他學者的先進方法進行了對比試驗，包括基準模型ShuffleNet-V2、轉換HSV 顏色空間［9］和在ImageNet 上預訓練［7-8］的方法，分別標記為Shuffle、Shuffle_HSV、Shuffle_TRANS，本文方法標記為ER-Shuffle。

不同方法損失對比和準確率對比的結果曲線分別如圖5、圖6 所示。遷移學習能夠將預訓練的知識轉移進而提升基線性能，不需要額外的參數開銷，相比基準模型提升了0.38%準確率，但無法修改模型，修改過的模型自主預訓練所需的算力資源較大，不便于實現。轉換HSV 顏色空間的方法在基準模型上效果較差，并未顯示出有效性。本文提出的方法準確率較基準模型ShuffleNet-V2 提升了1.74%，誤報率降低至2.041%，而僅付出了較少參數量的代價，這表明本文提出的通道注意力結合反向注意力機制是十分有效的。

圖5 不同方法損失對比Fig. 5 Loss comparison of different methods

圖6 不同方法準確率對比Fig. 6 Accuracy comparison of different methods

4 結束語

本文針對薄霧天氣準確率較低、誤報率較高的問題，提出中心點合成霧的方法來提供數據支持，建立了薄霧森林火災數據集；并且提出了一種多重注意力分類網絡，在本文數據集上較基準模型ShuffleNet-V2準確率提高1.74%，相比其他方法提高1.36%～4.09%，參數量僅為2.7 MB，完全能夠滿足輕量化的需求，其分類結果也可作為多種火災場景綜合預防預警的數據支持，為森林火災防控提供有益參考。

盡管本文提出的網絡實現了高精度、快速度薄霧森林火災分類，但在實際應用中還應在視頻監控中標注出疑似火災的位置以幫助工作人員及時發出預警，因此將本文方法應用于目標檢測將是此后研究主要內容。