一種無錨框結構的多尺度火災檢測算法

秦 瑞，張 為

(天津大學 微電子學院，天津 300072)

火災是現代社會中影響力和破壞力較大的主要災害之一。火災的發生會對人民的生命財產安全和社會的和諧穩定造成巨大威脅。因此在火災發生的早期及時發現并控制火情具有重要的意義。早期的火災檢測技術大多基于傳感器的方式，該方法容易受環境和空間因素的影響，且響應時間長，具有較大的局限性。隨著計算機視覺技術的快速發展，基于視頻圖像的火災檢測技術應運而生。圖像型火災探測器檢測精度高，反應速度快，能夠感知火災發生的具體位置和燃燒程度，成為了當前火災檢測的主要發展趨勢。

傳統的圖像型火災檢測技術通常利用圖像處理的方法，主要關注火焰的靜態和動態特征，利用火焰的單一特征或者多種特征融合，結合機器學習的方式進行火災預測。FOGGIA等[1]基于火焰的顏色、形狀和運動狀態等特征，構建了一個實時火災檢測系統。HASHEMZADEH等[2]采用帝國競爭算法顏色模型和支持向量機分類器實現了真正火焰的鑒別分類，并結合像素點的運動強度信息減輕了背景環境的干擾。何愛龍等[3]首先提取圖像中的疑似火焰區域，然后選用抗干擾能力強的火焰特征對候選區域進行檢測。但上述方式都是基于人工提取特征，過于依賴人為經驗，算法的適應性不強。

近年來，深度學習技術得到了廣泛的研究和發展。基于深度學習的目標檢測技術可以實現特征的自動提取，能夠獲得更加豐富的特征信息，從而提高檢測精度，被逐漸應用于火災檢測領域。MUHAMMAD等[4]使用SqueezeNet 經典網絡來提取火焰特征，避免了繁瑣耗時的預處理過程，根據實際問題提出了一種輕便高效的火災檢測模型。張為等[5]優化了YOLOv3算法的網絡結構，在原有主干網絡中嵌入空洞卷積模塊，以提升多尺度火焰的特征提取效果。寧陽等[6]在DeeplabV3+網絡的解碼器中將高低層特征進行融合，保留了更多的細節信息，實現了更加準確的火情分析。JEON等[7]利用深度堆積的卷積層搭建了一個多尺度預測框架，對不同尺度的特征映射進行直接預測。CHAO等[8]設計了顏色導向的錨框選定策略，并使用圖像的全局信息改進了Faster RCNN網絡，進一步提升了火災的檢測效果。

經過筆者的研究發現，當前基于深度學習的火災檢測算法還存在一定問題：① 網絡中存在大量錨框。錨框的使用一方面引入過多人為設定的超參數，如尺度，比例等；另一方面固定形狀的錨框不適用于形態多變的火焰，回歸定位不夠準確。② 對于多尺度尤其是小尺度的火焰目標的檢測精度低，在火災發生的過程中容易出現漏檢情況。③ 背景環境適應性較差。針對特定的環境檢測效果較好，不能適用于多種復雜背景，且算法容易受光線等環境因素的干擾，容易發生誤報。

針對當前研究中存在的問題，受FCOS[9]網絡啟發，筆者提出了一種無錨框結構的新型火災檢測算法。該算法取消了錨框的先驗形式，根據火焰的形狀進行適應性預測，在特征融合的過程中設置了融合因子，并對金字塔輸出的多層特征進行整合增強，利用動態生成的正樣本權重調整模型的訓練過程。該算法可以滿足多種尺度和多種復雜背景下的火災檢測需要，能夠實現高效精準的火災檢測。

1 基于無錨框結構的火災檢測算法

1.1 算法整體概況

構建的火災檢測算法整體流程如圖1所示。首先從視頻序列中獲取單幀圖像，采用中值濾波技術對圖像進行預處理，以減輕視頻中噪聲的干擾，便于后續的圖像識別。 然后將處理后的圖像送入已經訓練好的火災檢測模型中進行檢測，并選擇合適的閾值對檢測結果進行判定，進而輸出最終的檢測結果。

圖1 火災檢測算法流程圖

文中算法的重點在于無錨框火災檢測模型的網絡設計，其網絡結構組成如圖2所示。該網絡為全卷積神經網絡，采用了無錨框結構網絡的基本形式，摒棄了原有的錨框策略，直接對輸出特征圖上的每一個點進行分類和回歸的預測。該網絡模型主要由3個部分組成：

(1) 負責提取特征的主干網絡。ResNet網絡[10]通過引入殘差結構有效地解決了深度網絡的退化問題，提升了目標檢測的性能。由于其在檢測任務上的出色表現，同時考慮網絡計算量和性能之間的權衡，選用ResNet 50網絡作為文中算法的主干網絡。

(2) 負責特征融合的頸部網絡。在主干網絡的基礎上引入了特征金字塔結構FPN[11]，通過自頂向下和橫向連接的方式實現了特征層之間的信息融合。頸部網絡接收來自主干網絡生成的C3、C4、C5特征圖，利用1×1卷積核和層間相加操作生成P3、P4、P5特征圖，并在P5特征圖的基礎上采用步長為2的3×3卷積核直接生成P6和P7特征圖。為進一步增強各層特征的表達能力，在基礎的特征融合后引入了BFP模塊對特征信息進行處理，形成了頸部網絡的最終輸出。

(3) 負責分類和邊界預測的檢測網絡。各個特征層的檢測網絡共享參數，網絡的多個分支同時進行預測。如圖2中右側的虛框所示，檢測網絡分為分類網絡和回歸網絡。分類網絡利用5個3×3的卷積核對特征圖進行處理，得到H×W×1的特征圖，該特征圖上每一個點的值代表火焰的分類概率。在分類網絡的訓練過程中，由于背景點數量較多會導致正負樣本不均衡，因此選用Focal Loss[12]作為分類損失函數。回歸網絡的結構與分類網絡一致，但最終得到的特征圖尺寸為H×W×4。每一個點為一個包含位置信息的4維向量{l，t，r，b}，表示邊界框的預測結果。向量中的4個參數代表著任何一點到預測邊界框4條邊的距離。針對回歸網絡的訓練過程，選用GIOU Loss[13]來更好地反映相交情況。

圖2 基于無錨框結構的火災檢測模型網絡結構圖

1.2 多尺度特征增強

在實際火災場景中，火焰在攝像畫面內的位置不同會導致其形態尺度有明顯的變化，這對算法模型的多尺度檢測能力提出了更高的要求。當前的多尺度火災檢測算法大多采用多個分支進行特征提取，再將得到的特征信息進行融合，其核心思想與FPN結構相似。然而在融合過程中不同層間信息的不平衡問題導致火焰特征不能夠充分表達，在一定程度上影響了多尺度目標的檢測效果。為更好地解決火焰的多尺度問題，筆者在原有的FPN特征融合的基礎上添加了BFP模塊[14]，通過對全局信息的整合利用，進一步提升對多尺度火焰目標的檢測效果。

BFP模塊的網絡結構如圖3所示，其中P3、P4、P5、P6、P7表示FPN輸出的特征層，Pa3、Pa4、Pa5、Pa6、Pa7表示經過整合增強后的輸出特征層。該模塊首先選擇中間層特征圖的尺寸作為標準尺寸進行尺寸調整，然后采用相加取均值的方式獲得平衡后的語義信息，并使用Non-local模塊對信息進一步處理，最后通過反向操作來增強原始的每層特征，從而獲得更具辨別力的多尺度特征。

該模塊結構輕便高效，引入的計算成本極少，且不改變特征層的數量及通道數，僅改變各個特征層包含的特征信息。經過BFP模塊后，金字塔中的每一層特征都可以獲得來自其他所有層的同等信息，有效地減輕了融合過程中的層間信息不平衡，強化了原有的多層次特征，使融合網絡的輸出特征更加豐富，更有利于后續的多尺度目標檢測。

圖3 BFP模塊網絡結構示意圖

1.3 特征融合因子

雖然特征融合的方式提升了多尺度目標的檢測效果，但對于小目標的檢測則并不理想。與其他目標相比，小目標物體提供的正樣本數量少，預測小目標的底層特征層容易受其他特征層的影響而不能專注小目標的學習，損傷了檢測器對于小目標的檢測效果。針對火災發生早期火焰形態較小的實際情況，為進一步提升小目標的檢測效果，文中算法在特征融合過程中設置了融合因子α，以控制相鄰特征層之間的信息傳遞，提升淺層特征層對于小目標的學習能力。

實驗表明，當融合因子α為0.6時模型的小目標檢測效果最好，具體實驗結果見節2.2。此時，淺層特征層既獲得了來自深層的語義信息，又減輕了來自其他特征層的梯度影響，能夠集中學習小目標的相關特征，增強了小目標的學習能力。與原始結構相比，改進后的融合網絡在沒有增加額外計算量的同時顯著地提升了小目標的檢測效果。

圖4 改進后的特征融合網絡

1.4 動態樣本采樣

正負樣本采樣是算法模型在訓練過程中的重要部分，其直接影響網絡的學習效果，進而影響檢測器最終的檢測性能。傳統的正負樣本采樣方式如RetinaNet、FCOS等大多依賴于人工先驗知識，選取固定區域作為正樣本參與訓練，不能根據物體的形態進行適應性調整。為適應火焰形態多變的特點，筆者設計了動態的樣本采樣方式。通過結合中心先驗和前景概率原則，在標準的正負樣本采樣基礎上動態地生成正樣本的權重分數，調節網絡的訓練過程，提升網絡的學習效果，從而進一步提升模型的檢測性能。

(1) 中心先驗

中心先驗思想是指物體在標記框內的分布大致圍繞框的中心，越靠近標記框的邊緣，其為背景點的概率就越大。通過中心先驗原則，可以有效地減少邊界低質量樣本的引入，提升網絡的訓練質量。 受文獻[15]的啟發，筆者選用高斯函數來計算框內各個點的樣本權重。權重計算過程如下所示：

(1)

其中，P(x，y)表示標記框內坐標為(x，y)的位置點對應的樣本權重，d表示該點到標記框中心點的距離；σ為標準差參數，用于控制標記框內的權重分布。經研究發現，實際場景中的火焰一般呈三角形或者圓柱形，在訓練的過程中選用合適的σ值可以獲得更多的有效正樣本。

(2) 前景概率

在中心先驗原則的基礎上，筆者增加了前景概率來進一步提升模型的采樣效果。前景概率是指某個位置點存在前景物體的概率。針對標記框內的所有樣本，前景概率高的樣本由于包含物體信息，對于模型的訓練過程更有利。在火災檢測任務中目標類別只有火焰一類，此時物體的分類得分即可以認為是前景概率。因此將物體的分類得分引入最終的樣本權重計算。

筆者采用的動態樣本采樣計算過程如圖5所示。通過高斯函數生成基于中心分布的樣本權重，與分類網絡輸出的前景概率相乘，得到標記框內正樣本的權重分數。該權重分數包含了樣本的位置信息和物體信息，能夠直觀地反映樣本的重要程度，從而指導網絡的訓練過程。經典算法模型的采樣效果如圖6(a)、(b)所示。其中，標準采樣表示基礎的采樣方式，即標記框內的所有位置點都是正樣本，其余為負樣本；中心采樣表示標記框中心區域內的位置點為正樣本，其余點為負樣本；圖6(c)展示了文中設計的動態采樣效果。可以看出，經典的采樣方式結果較為固定，且引入了大量的背景點作為正樣本加入訓練，會對模型的學習造成困擾。筆者設計的動態采樣方式能夠聚焦于火焰的中心區域，顏色越深代表樣本的權重越大，通過權重分數有效降低了來自非重點區域的低質量樣本的影響。改進后的網絡更加專注于高質量的正樣本訓練，對于火焰特征的學習更為充分，提升了復雜背景下的火焰檢測能力，增強了算法的環境適應性。

圖5 樣本權重計算過程

(a) 標準采樣

2 實驗結果及分析

2.1 實驗數據集及實驗環境

由于目前缺乏公開的高質量火災數據集，因此筆者根據MS COCO數據集格式自建了一個包含豐富圖像信息的火災檢測數據集。數據集圖片來源于實驗火災視頻、實際火災視頻以及網絡上公開的火災視頻等共189段視頻，覆蓋了不同環境下的多種情況，且包含了多種尺度形態的火災圖像，能夠充分驗證火災檢測算法的有效性。數據集共包含圖片13 655 張，其中訓練集10 070張，測試集3 585張。為驗證算法模型的泛化能力，測試集與訓練集的來源視頻并不相同。

表1 實驗環境

筆者訓練和測試的實驗環境如表1所示。采用隨機梯度下降優化器進行迭代訓練，批訓練規模為4，訓練輪數為12輪，動量和權重衰減因子分別為0.9和0.000 1，初始學習率為0.002 5。學習率在第8輪和第11輪分別衰減為當前學習率的10%。筆者采用ImageNet數據集上的預訓練權重來初始化ResNet 50網絡。訓練過程中采用隨機翻轉、隨機縮放及亮度變換等數據增強方式，以提升模型的訓練效果。

2.2 消融實驗

為驗證文中算法各個模塊的有效性以及對于整體網絡的貢獻，進行了對比實驗和消融實驗。采用COCO評價標準中的AP和AP50作為模型綜合性能的評價指標。其中，AP50表示IOU閾值設置為0.5時對應的平均精度值，AP表示各個閾值下平均精度的平均值。采用COCO評價標準中的APs、APm和APl表征模型對應各個尺度目標的檢測能力。

為對比不同采樣檢測效果，將FCOS去掉中心分支后的算法模型記為文中實驗無錨框檢測算法的標準模型。為保證實驗的公平性，對比實驗在標準模型的基礎上僅改變模型的采樣方式，其他細節保持一致，實驗結果如表2所示。結果表明，相比于其他采樣方式，采用的動態采樣方式能夠獲得更高的精度值，在火災檢測任務上明顯優于其他采樣方式。

表2 采樣實驗對比結果

為探索得到最有效的融合因子α，在[0，1]區間有效范圍內間隔采樣進行對比試驗。實驗結果如圖7所示。隨著融合因子的值逐漸增大，APs迅速增加后趨于平穩再逐漸下降，于α=0.6時到達最高值。實驗結果表明，調整融合因子能夠影響模型的小目標檢測效果，且α為0.6時模型對于小目標的檢測效果最好。因此筆者在最終算法中固定α的值為0.6。

圖7 融合因子對比實驗結果

針對BFP模塊，融合因子以及動態采樣進行了消融實驗，實驗結果如表3所示。結果顯示，在網絡中引入BFP模塊后，APm和APl有明顯的提升，APs也有所增加，表明BFP模塊有效地提升了模型的多尺度檢測效果。設置融合因子對網絡進一步優化后，在原有精度的基礎上APs顯著提升，算法的整體精度也進一步提高，表明融合因子有助于小目標火焰的檢測，同時進一步提升了算法的多尺度檢測效果。在原有改進的網絡基礎上，采用動態采樣方式對模型進行改進，AP提高到0.583，AP50提高到0.969，各個尺度目標的檢測精度均有提升，證明了動態采樣方式對于火災檢測任務的有效性，特征學習更加充分，全面提升了算法模型的檢測性能。

表3 消融實驗結果

2.3 算法對比與分析

為驗證文中算法的有效性，在自建數據集上實驗參數和環境相同條件下，與經典的目標檢測算法進行對比實驗。對比實驗的對象主要分為兩類：使用錨框的經典檢測模型Faster RCNN[16]、YOlOv3[17]、RetinaNet和無需錨框的經典算法模型FSAF[18]，FCOS及FoveaBox[19]。相關對比實驗結果如表4所示。選用FCOS作為代表性的無錨框檢測算法與文中算法在檢測效果上進行了對比。圖8為復雜背景下的多尺度火焰檢測效果對比圖。圖9為干擾場景下的檢測效果對比圖。

表4 與經典目標檢測算法的對比實驗結果

(a) 文中算法檢測效果 (b) FCOS檢測效果

(a) 文中算法效果 (b)FCOS效果

為驗證文中算法對火災檢測任務的魯棒性，在公開數據集Mivia上對文中算法進行了測試，并將測試結果與其他經典的火災檢測算法進行了對比。Mivia數據集包含31段視頻，其中火災視頻14段，非火視頻17段，包含移動的物體、燈光、紅色類火物體等多種干擾因素，針對火災檢測任務更具代表性和挑戰性。文獻[1]的實驗設置，將數據集圖片中的20%用于實驗訓練，其他80%用于算法測試并統計測試數據。采用誤報率、漏報率、準確率來衡量算法的檢測性能。其他檢測算法的實驗數據均來源于原文獻，其測試結果如表5所示。

表5 與經典的火災檢測算法對比實驗結果 %

與經典的目標檢測算法和火災檢測算法對比，筆者提出的算法檢測精度更高，抗干擾能力更強，算法的綜合性能更好。算法在增加微小的計算成本和保持較為理想的推理速度的同時，具有較高的檢測精度，AP和AP50明顯高于其他目標檢測算法，能夠實現火焰的精準定位和分類，檢測結果的置信度更高，對于多尺度尤其是小尺度的火焰具有較好的檢測效果。針對復雜背景，文中算法的誤報率較低，不易受環境干擾因素的影響，對于明亮光線、夜間燈光及其他類火物體具有較好的抑制效果。與其他算法相比，筆者所提算法更具優勢，更能滿足火災檢測任務的需要。

為進一步驗證文中算法在實際應用中的檢測效果，對樓道內的監控點位進行了測試實驗，其測試效果如圖10所示。可以看出，文中算法對于火焰的連續燃燒過程均具有較好的檢測效果，且能夠在起火初期檢測到火焰目標并報警。在監測過程中，算法能夠持續穩定地運行，具有較高的可靠性及實際系統的應用性。

(a) 開始燃燒

3 總 結

筆者提出了一種無錨框結構的新型火災檢測算法，有效解決了當前火災檢測算法面臨的主要問題。采用了無錨框網絡結構直接對特征圖上每個位置進行回歸和分類；通過引入BFP模塊提高了算法的多尺度檢測能力；通過設置融合因子顯著提升了小目標的檢測效果；通過采用動態采樣方式促使網絡特征學習更加充分，提升了模型的檢測性能。實驗表明，與其他火災檢測算法相比，筆者提出的火災檢測算法檢測精度高，抗干擾能力強，適用于復雜背景不同形態的火災檢測場景，具有較高的應用價值。未來將重點研究如何將火焰的時序信息引入算法模型中，利用火焰的運動特征進一步提升算法的檢測效果。