基于概率兩階段CenterNet2的林火圖像預警檢測方法*

李寶民,王小鵬,孫茜容,張軍平

(蘭州交通大學電子與信息工程學院,甘肅 蘭州 730070)

1 引言

森林火災突發性強、破壞力大、撲救困難。在施救時,須遵循“打早、打小、打了”的基本原則,以最大限度地保護生態資源和生命財產。能否盡快撲滅林火,取決于火情是否可以及時發現。然而,點型復合式感煙感溫火災探測器無法迅速反映森林火災的煙溫變化,難以實現林火及時預警。因此,對林火圖像預警的研究,對于森林火災的預防和降低火災造成的損失均具有重要意義。

當前,在林火圖像識別研究中主要有2種方法。一種是人工制訂規則提取特征(如顏色、紋理、形狀),然后對特征進行多樣化融合,最后使用訓練好的BP(Back Propagation)神經網絡或支持向量機檢測有無火情。Wang等[1]基于火色分量建立火災探測模型,引入火焰運動特征,減少了誤報率;Vijayalakshmi等[2]基于HSV(Hue,Saturation,Value)模型消除非煙和非火的區域,利用幀差法和時間分析法查看火焰像素值在連續序列中的變化情況,減少了對近似火焰運動物體的誤檢,但是實驗中樣本集規模較小;李巨虎等[3]在YCbCr顏色空間中確定疑似火焰區域,然后將LBP(Local Binary Patterns)和LPQ(Local Phase Quantization)算法相結合用于提取空域和頻域特征,最后借助SVM(Support Vector Machine)進行識別,成功降低了紅葉林的干擾。

另一種是采用卷積神經網絡方法,利用卷積核及參數共享機制,自動對圖像進行特征提取,無需手動選取特征。Zeng等[4]改進了基于卷積神經網絡CNN(Convolutional Neural Netowrk)的物體檢測方法來檢測火焰煙霧,在開放空間中獲得了不錯的性能,超過了傳統方法的檢測精度;回天等[5]提出了基于Faster RCNN(Faster Region CNN)的火焰檢測方法,在面對不同環境、形狀的火焰時可以取得較高的準確率,但檢測速度較慢,無法實時檢測;徐莉等[6]運用基于風格遷移技術的生成對抗網絡GAN(Generative Adversarial Networks)擴充樣本庫,并對多層特征進行融合,保證了森林火災識別的魯棒性,提供了一種擴充數據集的方式;周浪等[7]對DenseNet(Dense convolutional Network)模型進行稀疏化改造,減輕了過擬合、緩解了梯度消失、加快了收斂速度,得到了輕量級的網絡結構,但文中未提到小目標的檢測效果;晉耀等[8]采用Anchor-Free網絡結構設計了一種快速高效的火災檢測算法,引入特征選擇模塊進行尺度匹配,網絡結構簡單、超參數少,成功實現了實時檢測。

綜上所述,中外研究人員對于森林火災圖像的識別研究均取得了一定的成果,但在檢測精度和檢測速度上還未取得很好的平衡,尤其是早期火災的小目標檢測精度。為此,本文提出一種基于CenterNet2的林火圖像預警檢測方法;針對檢測速度較慢的問題,選用輕量化網絡VoVNetV2(Variety of View Network Version 2)作為主干網,并在第一階段的Head部分采取共享參數的方式減少計算量;針對林火早期尺寸較小導致容易漏檢的問題,采取了多種方法進行改進。首先,引入非對稱卷積塊提高特征提取能力;然后,采用融合注意力機制的加權特征金字塔網絡進行多尺度融合,并聯合特征分配原則以減輕物體大小不同造成的模糊性;最后,引入考慮角度成本的SIoU損失函數來進一步提升檢測精度。

2 基于概率兩階段CenterNet2的火災檢測方法

CenterNet2[9]對兩階段目標檢測模型提出了一種新的概率解釋,將2個階段聯系在一起進行訓練。在第一階段使用一個強大的檢測器來產生更小但質量更高的提案區域,從而提高檢測速度和精度。

2.1 整體網絡結構

本文所提方法的整體網絡結構如圖1所示,其中VoVNetV2作為主干網;然后將提取的特征輸入到融合注意力的BiFPN(Bi-directional Feature Pyramid Network)中,進一步聚合和細化上下文信息,利用相應的錨頭網絡進行預測,生成候選區域rois(region of interests);最后將rois輸入到RoIHead(Region of Interest Head),對候選區域進行分類并微調形狀和位置。

2.2 結合非對稱卷積核的VoVNetV2

VoVNet[10]與VoVNetV2[11]均使用一次性聚合OSA(One-Shot Aggregation)模塊生成更大感受野的特征,并采用稀疏連接的方式提高GPU計算效率、減少內存訪問成本。然而,面對縱橫比多變的煙火目標,僅處理方框感受野的OSA模塊不利于特征提取。受ACNet(Asymmetric Convolution Net)[12]的啟發,將OSA中的所有3×3卷積替換為非對稱卷積塊ACB(Asymmetric Convolution Block)。通過在3×3卷積層上并行添加2個具有核1×3和3×1的額外卷積的方式,提取具有矩形感受野的特征,其核心模塊如圖2所示。改進版VoVNetV2-19具有5級輸出,其配置如表1所示。

Table 1 Configurartion of improved VoVNetV2-19

Figure 2 Improved OSA

2.3 融合注意力機制的加權雙向特征金字塔網絡

BiFPN[13]模塊(見圖3)是由Google提出的一種加權雙向(自頂向下+自低向上)特征金字塔網絡,在PANet(Path Aggregation Network)[14]的基礎上進行了修剪并引入跳級連接,可以進行高效的特征融合。自頂向下的通路傳遞高層特征的語義信息;自底向上的通路傳遞低層特征的位置信息。BiFPN模塊可以重復多次使用,以學習到更有效的特征。SE(Squeeze and Extraction)模塊表明使用通道注意力模塊可以剔除沒價值的特征,提高特征表示能力。但是,原始的SE模塊使用2個FC(Full Connection)層會導致通道信息丟失,因此本文采用eSE(effective Squeeze and Extraction)模塊(見圖4),將2個FC替換為1個FC,進一步提高網絡性能。BiFPN基礎模塊有5個輸出節點,每個節點經過一次eSE通道注意力模塊后再輸入到下一個模塊,這樣改進后的BiFPN結構(見圖5)就包含了通道間關聯的信息,網絡便具備了更準確的表達能力。

Figure 3 BiFPN module

Figure 4 eSE module

Figure 5 Improved BiFPN structure

此外,為減輕模型參數量,網絡中的Head采用共享參數方式。與傳統的Anchor-based檢測器將不同比例的錨點框分配給不同的特征級別不同,針對生成的P3～P7特征,通過限制每個特征級別的邊界框回歸范圍來消除錨點大小與目標對象大小之間的耦合。具體來說,首先計算中心點到邊界框的距離,然后根據最大距離來確定每個特征級別的目標對象范圍,比如P5層的接受域為[64,128]。這種方法可以確保對象始終處于每個特征級別中的接受域中,能夠降低物體大小不同造成的模糊性,有效地提高目標檢測的準確性和效率。此外,當一個位置被分配給多個真值框時,選擇面積最小的真值框作為其目標。

將Head生成的rois輸入到Cascade RCNN構成的RoIHead中進一步調整矯正。本文使用級聯的分類器和回歸器來增強檢測器的性能。在每個階段中,模型使用上一階段輸出的正例作為訓練數據,并使用當前階段的數據進行負例挖掘。這種級聯訓練方法可以使檢測器具有更高的檢測準確率和更強的魯棒性,且對小目標的檢測效果更好。第一階段提供了高質量的候選框,因此在后續實驗中提高了RoIHead中IoU(Intersection over Union)的閾值,3個階段的閾值依次設置為0.6,0.7和0.8。

2.4 SIoU損失函數

原始CenterNet2中使用GIoU(Generalized Intersection over Union)[15]損失進行邊界框回歸,其計算公式如式(1)和式(2)所示:

(1)

(2)

其中,B和Bgt分別為預測框和真實框,D是2個框的最小閉包區域。

GIoU不僅關注預測框和真實框的重合面積占比,還關注非重合區域。但是,當預測框完全包裹真實框時無法區分其相對位置關系,這對于小目標的檢測非常不利。因此,本文采用SIoU(Scylla Intersection over Union)[16]損失函數來進行邊框回歸,其計算公式如式(3)所示:

(3)

其中,Δ和Ω分別表示距離成本和形狀成本。

與其他IoU損失函數(如GIoU、DIoU(Distance Intersection over Union)、CIoU(Complete Intersection over Union)和EIoU(Efficient Intersection over Union))不同,SIoU引入了真實框和預測框之間的方向角度。角度成本Λ計算公式如式(4)～式(7)所示:

Λ=1-2sin2(arcsin(x)-π/4)

(4)

(5)

(6)

(7)

Figure 6 Schematic diagram of Angle costing

根據式(4)中定義的角度成本,距離成本Δ的定義如式(8)～式(11)所示:

Δ=∑t=x,y(1-e-γρt)

(8)

(9)

(10)

γ=2-Λ

(11)

其中,cw和ch分別為真實框和預測框最小外接矩形的寬和高。當α為π/4時,距離成本貢獻度最大。形狀成本Ω的定義如式(12)～式(14)所示:

(12)

(13)

(14)

其中,w和h分別為預測框的寬和高,wgt和hgt分別為真實框的寬和高,θ值表示對形狀損失的關注程度。使用遺傳算法計算出θ值接近4,為了避免過于關注形狀損失而影響預測框的檢測精度,將該值設置為4。

3 實驗與結果分析

3.1 實驗環境

實驗環境主要配置如下:Windows 10操作系統,顯卡為NVIDIA Tesla V100,內存為32 GB。數據集來源如下:百度圖庫、FLAME公開數據集、百度飛槳公開數據集等。篩選后最終得到的林火相關數據集共有4 352幅圖像。使用Labelimg工具進行圖像標注,并將其轉化成COCO格式的數據。

數據集訓練階段采用WarmupCosineLR(Warmup Cosine Learning Rate)訓練策略。實驗初始參數如下:batchsize為16,初始學習率為0.01,總迭代輪數為170。

3.2 消融實驗

首先,在GPU平臺將原CenterNet2方法和本文優化方法在相同實驗環境下進行林火檢測,整體檢測精度、小目標檢測精度、檢測速度的實驗結果如表2所示。所用評價指標為:AP50(IoU為0.5時的平均精度)、APs(小尺寸目標檢測精度)和FPS(畫面每秒傳輸幀數),指標值越大則性能越好。

Table 2 Performance comparison of CenterNet2 and the improved CenterNet2

采用單階段方法YOLOv5(You Only Look Once version5)和雙階段方法Faster-RCNN以及本文改進的CenterNet2對相同圖像進行林火檢測,檢測精度和速度數據如表3所示。

Table 3 Performance comparison between classical detection methods and the proposed method

由表2和表3可以看出,本文方法在確保實時性的前提下,檢測精度較高,小目標林火的檢測精度提升尤為明顯,有利于森林火災初期檢測預警。

最后,為了驗證本文林火檢測方法的有效性,在數據集上進行了多組消融實驗,包括選擇不同輕量級主干網絡的檢測性能實驗對比(結果見表4)、采用不同注意力機制優化BiFPN網絡的檢測性能實驗對比(結果見表5)、使用不同損失函數優化回歸的網絡檢測性能實驗對比(結果見表6)以及使用不同優化策略時的實驗對比(結果見表7)。

Table 4 Comparison experiments using different lightweight backbone networks

Table 5 Comparative experiments of BiFPN network optimized by different attention mechanisms

Table 6 Comparative experiments of optimized networks with different loss functions

Table 7 Performance comparison using different optimization strategies

由表4可以看出,采用更輕量的主干網絡后,模型的檢測速度均有不同程度的提升,相比于DLA34(Deep Layer Aggregation)、MobileNetV2和原始VoVNetV2,結合非對稱卷積核的VoVNetV2在檢測精度和檢測速度上均取得了最佳效果。

由表5可知,采用不同注意力機制優化加權雙向特征金字塔網絡(BiFPN)后,模型檢測速度均有下降。與SE和ECA(Efficient Channel Attention)相比,使用eSE可以在犧牲速度最少的情況下獲得最大的精度收益。

由表6可知,使用不同損失函數優化后,網絡的檢測精度均有不同程度的提升。采用SIOU損失函數后,可以取得更佳的檢測速度及精度。

經過消融實驗可以看出,相較于沒有使用優化策略的CenterNet2方法,優化后方法的AP50和APs分別提高了2.8%和2.3%;FPS提高了7,即每秒鐘可以多檢測7幅圖像,如表7所示。

3.3 效果展示

為了更直觀地對比優化后的CenterNet2方法與原始方法對森林煙火的檢測效果,在幾組不同的場景下采用相同實驗環境進行了測試對比,結果如圖7～圖10所示。

Figure 7 Tree shading scene

Figure 8 Forest lighting scene

Figure 9 Snow scene

Figure 10 Forest fire scene with small scale

由4組對比圖像可以看出,優化后的方法在面臨樹木遮擋時可以更好地識別到火焰;在雪地環境中,煙檢測率更高且未出現誤檢漏檢現象。此外,對于林火早期的小尺寸煙火和遠距離拍攝的小型煙火均有更好的檢測效果。

4 結束語

針對森林火災圖像中的煙火檢測問題,提出了一種基于CenterNet2的檢測方法。在特征提取時選用了輕量級的VoVNetV2網絡,提升了檢測速度;同時引入ACB模塊,降低了實例的漏檢率,提升了檢測精度;對BiFPN特征金字塔模塊進行了改進,在基礎模塊復用間引入通道注意力機制,使網絡可以自主地關注重要特征,提升了網絡的魯棒性;對回歸損失函數進行了改進,使網絡可以更快地收斂的同時提升對小目標的檢測精度,有利于森林火災的早期預警。未來會繼續擴充數據集并聯合通道剪枝等進一步提高網絡性能。