基于火焰視覺虛化性的多特征融合火焰檢測

徐兵榮 葉炯耀

(華東理工大學信息科學與工程學院 上海 200237)

0 引 言

早期，人們使用傳統(tǒng)的感煙、感光、感溫傳感器[1]進行火災檢測，但在煙霧顆粒或熱量擴散到達一定程度之前，傳感器不會發(fā)出警報，因此導致火災探測的大幅延遲，無法應用于大型空間和開放式場所。近年來隨著計算機圖像處理技術(shù)的成熟，基于視頻圖像的火焰檢測技術(shù)受到極大關(guān)注，圖像型火焰檢測技術(shù)克服了傳感器火災探測系統(tǒng)結(jié)構(gòu)單一、實時性差、準確率較低的缺點，通過對火焰動、靜態(tài)等特征提取并進行多特征融合實現(xiàn)火焰檢測，是火焰檢測技術(shù)的重要突破。

目前，視頻圖像火焰檢測技術(shù)主要從火焰靜態(tài)特征和動態(tài)特征兩個方面進行分析。靜態(tài)特征中最具代表性的是火焰顏色空間特征，顏色空間主要包括RGB[2]、HIS[3]、YCbCr[4]等。Wang等[5]提出了基于火焰顏色色散模型的火焰檢測方法，該方法根據(jù)火焰溫度和顏色，將火分為焰心、內(nèi)焰和外焰。通過計算藍色分量B標準差的閾值排除常見干擾和噪聲的影響，能夠在室內(nèi)環(huán)境下準確檢測出圖像中的火災區(qū)域。Chen等[6]結(jié)合RGB與HIS顏色模型對火焰進行靜態(tài)分析，通過R分量和飽和度來提取火焰特征像素，當火焰噪聲干擾較大時，該方法誤報率較大。Turgay等[7]提出了一種基于YCbCr顏色空間的火焰檢測算法，并利用大量的樣本圖像測試算法的性能，該方法的總體檢測率較高。

僅利用單一特征的火災檢測方法存在準確率低、誤報率高等缺點，因此許多研究進一步分析了火焰的動態(tài)特征并融合火焰靜、動態(tài)特征以降低火焰檢測誤報率。Lascio等[8]利用監(jiān)控攝像機提取火焰顏色和運動特征來檢測火災區(qū)域，該算法可靠性較高。Foggia等[9]提出了一種基于顏色、形狀變化和運動結(jié)合的火災檢測方法，該方法在準確性和誤報率方面表現(xiàn)較好。張進華等[10]提出了一種基于置信度理論的靜態(tài)和動態(tài)火焰特征相結(jié)合的火災探測算法，該算法的處理速度很快，但是不能有效地排除噪聲和類似火的物體的干擾。Wang等[11]提出了一種火焰檢測特征融合方法，該算法融合了火焰顏色、移動和區(qū)域變化來檢測視頻圖像中的火災。Ali等[12]利用顏色和運動模型分別檢測出煙霧和火災區(qū)域，并通過二維小波分析消除運動物體的干擾。該算法可以有效減少火災誤報。Habiboglu等[13]提出了一種基于顏色、空間等特征的視頻火災檢測方法，利用支持向量機(SVM)對提取的特征進行訓練和測試，該系統(tǒng)在沒有固定攝像機的情況下表現(xiàn)出良好的檢測性能。Wang等[14]提出了一個新穎的視頻火焰檢測系統(tǒng)來識別火焰，該系統(tǒng)融合了火焰顏色、相似度和質(zhì)心運動特征，在室內(nèi)環(huán)境下整體精度較高，能夠排除大部分疑似火焰干擾物。但是在室外或者強烈光照干擾下會把一些光源誤判為火焰，同時不能檢測出特殊燃料如鎂、磷、銅等產(chǎn)生的火焰。火焰的立體特征也被用于火災探測，Ko等[15]提出了基于雙目攝像機的火災探測方法，該方法利用顏色和背景差異模型提取候選火災區(qū)域，將火焰的大小、形狀和運動變化通過模糊邏輯方法進行實時火災驗證，并且通過計算攝像機與火焰的距離重建了火焰的三維表面。

針對最新的視頻圖像火焰檢測方法[14]中存在的火焰誤判和漏檢等問題。本文提出一種基于火焰視覺虛化性的多特征融合火焰檢測系統(tǒng)，通過雙目攝像頭與激光測距配合提取火焰視覺虛化性特征。火焰視覺虛化性一方面可以準確地排除燈泡、反光、紅色滅火器等干擾，降低誤判率。另一方面可以檢測出各種燃料產(chǎn)生的火焰，降低漏檢率。最后通過MES融合火焰視覺虛化性與視頻圖像火焰特征。實驗結(jié)果表明，該系統(tǒng)能夠準確地檢測出火焰。

1 火焰檢測模型

1.1 多特征融合系統(tǒng)模型

本文采用多特征融合技術(shù)進行火焰檢測，在本文提出的新的火焰視覺虛化性基礎(chǔ)上，建立多特征融合系統(tǒng)，系統(tǒng)結(jié)構(gòu)如圖1所示，本文算法包括以下流程：

1) 利用RGB-HIS顏色模型分割疑似火焰區(qū)域。

2) 通過雙目與激光深度信息測量提取火焰視覺虛化性特征。

3) 結(jié)合圖像型火焰顏色色散、質(zhì)心運動、相似性特征。

4) MES多專家決策機制進行多特征融合，識別火焰。

圖1 多特征融合火焰檢測系統(tǒng)

為了分割疑似火焰區(qū)域，使用火焰顏色特征作為先決條件，火焰燃燒由紅變黃，對應RGB顏色空間，滿足R>G>B，由于火焰燃燒時紅色分量特征明顯，設(shè)置紅色分量閾值R>RT可以排除其他顏色物體。火焰飽和度高，設(shè)置火焰飽和度閾值ST可以避免如紅色行人、紅墻等飽和度低的背景物的影響。根據(jù)以上火焰特征，Chen等[6]提出RGB-HIS顏色模型分割疑似火焰區(qū)域，公式如下：

R>G>B

(1)

R>RT

(2)

S>(255-R)×ST/RT

(3)

式中：R、G、B分別為火焰紅、綠、藍色分量；RT是紅色分量閾值；ST是飽和度的值，飽和度將隨著R分量的增加而降低，R分量朝著最大值255增大，飽和度S將減小至零。RT和ST范圍為55～65和115～135[6]，在本文中設(shè)定RT=55，ST=125。

1.2 火焰視覺虛化性特征

火焰視覺虛化性是指火焰灼熱發(fā)光的氣化部分人眼可以觀測、攝像頭可見光能夠捕捉，但是激光等特殊光源穿透火焰，不能得到反射，火焰整體呈現(xiàn)出虛化的狀態(tài)。而常見的干擾物基本都是實體狀態(tài)，不具備視覺虛化性。

受復雜環(huán)境和不同燃燒材料的干擾，僅將火焰的顏色、運動等視頻圖像特征作為火焰檢測特征依據(jù)，仍舊存在較高的誤檢率。為了提高火焰檢測的準確率，本文加入了火焰視覺虛化性這一新型的火焰特征，并結(jié)合雙目與激光測距檢測火焰視覺虛化性，

首先使用預先校準的可變基線雙目攝像機(HNY-CV-002)測量火焰深度信息，根據(jù)雙目(CCD)[15]測量原理：兩個攝像頭同時從兩個不同的位置觀察火焰，利用三角形幾何原理計算圖像像素之間的位置偏差，即視差d，得到被測目標三維信息，即點P三維坐標，如圖2所示。P(X0,Y0,Z0)為被測目標火焰像素點，Ol和Or分別是左右兩個相機的光心。pl(xl,yl)和pr(xr,yr)分別是點P在左右相機成像平面上的投影點。

圖2 雙目測量火焰原理

根據(jù)三角形相似原理，可得：

式中:X0、Y0、Z0為點P在xl-Ol-z坐標系中的坐標；xl為pl在xl-Ol-z坐標系中的x坐標；xr為pr在xr-Or-z坐標系中的x坐標。重新排列公式可得：

令d=xr-xl，可得：

式中：d為視差。由式(8)可知，當b、f固定時，坐標Z0與視差d成反比，則從雙目到火焰的距離可以表示為:

激光測距(TOF)[16]的原理如圖3所示，通過發(fā)射脈沖掃描被測物體的時間或相位差獲得距離觀測值S,根據(jù)水平方向和豎直方向的掃描角度觀測值α和β獲取任意一個被測點P′并生成三維點云圖，X軸位于橫向掃描面內(nèi)，Y軸在橫向掃描面內(nèi)垂直于X軸，Z軸垂直于橫向掃描面，激光測量火焰時穿透火焰像素點P，射向墻體、地面等背景物某點P′。

圖3 激光測距原理

被測點P′的三維坐標為P′(Xc,Yc,Zc)，公式如下：

Xc=Scosβcosα

(10)

Yc=Scosβsinα

(11)

Zc=Scosβ

(12)

激光測量系統(tǒng)測得深度信息depth′為：

depth′=S

(13)

為了分析火焰視覺虛化性，本文建立圖4所示雙目CCD與激光TOF火焰深度信息對比模型并作以下幾種情況分析。

(a) α=0°測量火焰

(b) α不同角度測量火焰

(c) 測量干擾物圖4 雙目-激光火焰深度信息對比模型

1) 如圖4(a)所示，系統(tǒng)與火焰同處水平位置α=0°，且無背景障礙物時，激光穿過火焰射向無窮遠，τ→∞。

2) 如圖4(b)所示，系統(tǒng)測量角度α∈(0,90°)，系統(tǒng)懸掛高度在實際場景中固定為h，火焰距離系統(tǒng)水平距離為s。

由三角形原理可得：

由梯形原理可得：

式中：h′=h-stanα。式(15)可以轉(zhuǎn)化為：

令兩個系統(tǒng)測量距離差為τ：

τ的值隨著α角度變化而改變，α越大τ越大，α越小τ越小。

3) 如圖4(c)所示，系統(tǒng)無論從什么角度和位置測量燈泡、行人等干擾物時，激光不會穿透干擾物，系統(tǒng)測得的距離值不考慮器材物理差異，理論上是一致的，因此，τ=0。

本文選取了8個視頻作為深度信息檢測數(shù)據(jù)集，包含4個火焰視頻4個非火焰視頻，視頻的樣本示例如圖5所示。

圖5 雙目與激光測距數(shù)據(jù)樣本(視頻1-視頻8)

表1是所選取的8個視頻場景描述。場景分布包括室內(nèi)室外、行人、閃爍車燈、燈泡、飄動紅旗。

表1 火焰與非火焰視頻場景描述

雙目與激光探測系統(tǒng)檢測到的火焰和非火焰深度信息以及距離差值τ如表2、表3所示。

表2 α=0°系統(tǒng)深度信息對比 單位：m

表3 α不同角度系統(tǒng)深度信息對比 單位：m

續(xù)表3

表2中，系統(tǒng)測量角度α=0°時，系統(tǒng)與火焰同處水平位置，在室內(nèi)環(huán)境下，火焰存在墻壁等背景物，因此系統(tǒng)測得的距離差值τ為有限值，此外，τ的值取決于火焰到系統(tǒng)的距離以及火焰與背景物的距離。在室外空曠環(huán)境下，系統(tǒng)測量火焰的距離差值τ→∞。對于干擾物，τ≈0。

表3中，當α為30°、45°等不同角度時，激光穿透火焰射向地面，隨著α角度增大，τ增大。對于干擾物，τ≈0。

在實際環(huán)境中，攝像頭懸掛角度一般為30°到45°之間，根據(jù)雙目與激光TOF可以重建物體三維表面[16]的原理，對特征像素點組成的疑似火焰區(qū)域，通過雙目與激光測量區(qū)域內(nèi)特征像素點深度信息。其中τ≈0的像素點區(qū)域為干擾物，而火焰區(qū)域內(nèi)τ為有限值或為無窮，通過對N個火焰像素點i距離差τi取均值，并設(shè)定閾值τ>τT可以提高系統(tǒng)的準確性。基于以上，提出火焰的視覺虛化性模型。

根據(jù)實際場景中的實驗樣本和數(shù)據(jù)分析設(shè)定本文的τT=0.61。

1.3 火焰色散、相似性、質(zhì)心運動特征

1) 顏色色散。火焰燃燒時的不同部位燃燒程度和溫度都不同，表現(xiàn)為一定程度的色散,色散由顏色分量的標準差定義[5],火焰的藍色成分是由燃燒氧氣產(chǎn)生的，在不同的火焰部位，藍色分量的差異很大，因此B分量標準差較大。而非火焰物體的B分量通常是由光決定的，在小范圍內(nèi)沒有色散，標準差非常小。設(shè)定B分量的標準差的閾值可以區(qū)分火焰和非火焰：

Bstd>BT

(19)

式中：Bstd為藍色分量標準差；BT為閾值，參考文獻[5]，BT=11。

為了驗證RGB-HIS顏色模型和B分量色散的可靠性，本文在實驗室環(huán)境下的火焰圖像分割結(jié)果如圖6所示，RGB-HIS顏色模型提取的輪廓非常清晰準確，沒有忽略任何可疑的火焰區(qū)域，比YCbCr顏色空間效果要好得多。同時B分量可以有效地排除地板反光。

(a) 原始圖像(b) YCbCr顏色空間分割

(c) RGB-HIS顏色空間分割(d) B分量分割圖6 火焰圖像分割

假設(shè)質(zhì)心距離最小的兩個區(qū)域為相鄰幀同一可疑區(qū)域的對應區(qū)域。

式中：Ωi和Ωi-1分別為第i和第i-1幀需要進行度量的連通區(qū)域。火焰的相似度主要分布在0.6到0.9之間，而焊接光等干擾物大部分等于0。

3) 質(zhì)心運動。火焰在一定時間內(nèi)不斷閃爍，質(zhì)心以重復的方式運動，因此火焰區(qū)域質(zhì)心總位移與質(zhì)心運動總距離之比RD小于一定的閾值。常見的干擾源，如移動的手電筒在短時間內(nèi)質(zhì)心呈現(xiàn)出統(tǒng)一的運動，所以比值較大。

同時，由于火焰的閃爍是周期性的，所以火焰質(zhì)心運動距離與其面積的平方根之比BMS會在一定的范圍內(nèi)。相反，對于靜止干擾源，運動的絕對值幾乎可以忽略，因此其比值也很小。RD和BMS計算如下：

式中：DS為N幀質(zhì)心運動總位移；ZD為N幀質(zhì)心運動總距離；MS為疑似火災區(qū)域的平均面積。設(shè)定閾值RD>RDT和BMS>BMST，可以區(qū)分火焰與干擾物。

1.4 MES多特征融合系統(tǒng)

MES多專家決策機制廣泛應用于圖像識別領(lǐng)域，盡管多特征融合有許多方法，但加權(quán)分類是解決多特征融合最有效的方法之一，MES通過分割特征向量并采用一組分類器，每個分類器針對一個特征集進行裁剪，然后將其訓練為某個特征空間的專家。通過結(jié)合不同的單一分類器的結(jié)果來進行決策，MES多專家決策系統(tǒng)性能在絕大多數(shù)情況下優(yōu)于單個最優(yōu)分類器。因此本文采用MES多專家決策機制進行多特征融合。根據(jù)Foggia等[9]提出MES系統(tǒng)的原理和公式，本文建立如圖7所示基于火焰視覺虛化性特征的MES系統(tǒng)。

圖7 MES系統(tǒng)模型

圖7中，DE表示顏色專家，SE表示相似度專家，VE表示質(zhì)心運動專家，IE表示視覺虛化性專家，

式中：M為類的數(shù)量；cij為分類矩陣的值。最終的決策通過最大化整個MES的可靠性來識別特定的類，屬于第i類的blobs的可靠性是由投票加權(quán)計算得出：

c的決策最終通過最大化不同類的可靠性得出：

評估MES每個專家，如果滿足給定閾值或者區(qū)間條件，則將輸入的blobs分類為火焰，否則為非火焰：

2 實驗驗證

2.1 實驗數(shù)據(jù)集

目前大多數(shù)的火焰檢測方法，仍然是通過視頻圖像數(shù)據(jù)集來訓練檢測火焰。Toreyin等[17]制作了大量的火災和煙霧探測視頻，本文從中獲取并創(chuàng)建了一個由36 700幀組成的新數(shù)據(jù)集，部分數(shù)據(jù)集如圖8所示。前4個視頻包含不同環(huán)境下的火災場景，后4個視頻不包含火災場景，但視頻中的干擾物有可能被誤判為火焰。尤其是基于顏色特征和運動的火焰檢測算法都有可能把干擾物如閃爍燈源、強烈的光照誤判為火焰。本文選用的數(shù)據(jù)集盡可能地包含了火焰場景與誤判較高的干擾物場景，以體現(xiàn)火焰檢測的環(huán)境復雜性，以便更好測試系統(tǒng)性能。

圖8 火焰與干擾物視頻樣本

2.2 實驗數(shù)據(jù)標準

根據(jù)準確率的概念，定義真陽性率TPR、真陰性率TNR、假陽性率FPR、假陰性率FNR，公式如下:

FNR=1-TPR

(33)

FPR=1-TNR

(34)

式中：TP表示真陽性，即當檢測到真實火災為火災時，TP的數(shù)量加1;FP表示假陽性，當誤判干擾物為火焰時，F(xiàn)P的數(shù)量加1;TN表示真陰性，當檢測到干擾物為非火焰時，TN數(shù)加1;FN表示假陰性，當誤判火焰為干擾物時，F(xiàn)N的個數(shù)加1。

為了樣本計算。定義平均準確率為：

2.3 實驗結(jié)果與分析

利用數(shù)據(jù)集20%的隨機視頻對多專家系統(tǒng)進行訓練。訓練結(jié)果如表4所示。

表4 多專家系統(tǒng)訓練結(jié)果(%)

因此，三個專家的權(quán)重可以定義為：

由于假陰性在火焰檢測中造成的代價比假陽性大得多，本文將假陰性權(quán)重設(shè)為假陽性權(quán)重的10倍，每種方法的另一個目標函數(shù)可設(shè)為:

F=Recognition-10×error=

(TP+TN)-10×FN

(37)

式中：Recognition表示陽性；error表示陰性。

由表5可知，本文提出的火焰視覺虛化性特征IE的假陰性率在單個特征中最低，平均準確率達到了88.51%。同時，本文MES多特征融合算法的假陰性率在較低(0.46%)基礎(chǔ)上，平均準確率(95.86%)和F(1.90)均達到最佳。

表5 本文與其他方法的準確率、假陽性率、假陰性率、F對比

表5還將本文算法和文獻[6，9，12-14]中基于顏色、運動和形狀等特征組合的方法作比較。文獻[14]建立的結(jié)合顏色、相似度和質(zhì)心運動特征的多特征融合系統(tǒng)，在準確率和假陰性率上都優(yōu)于前四種方法。然而，文獻[14]中仍然存在缺陷，本文相比于文獻[14]有以下改進：

首先是假陽性率，假陽性率即誤判率，在室外環(huán)境以及強光照干擾下，文獻[14]基于視頻圖像火焰特征的多特征融合算法假陽性率較高，會將強烈的光源以及閃爍車燈誤判為火焰，因為道路上的雙向車燈會有閃爍，形成了類似火焰的明亮區(qū)域。但本文的基于火焰視覺虛化性的多特征融合算法可以準確地檢測出實體干擾物，并將其排除。其次是假陰性率，假陰性率即漏檢率，雖然文獻[14]假陰性率較低，但對于鎂磷燃燒時的白色火焰，銅燃燒時的綠色火焰，文獻中的顏色模型和B分量會漏判火焰，但本文火焰視覺虛化性不受顏色和運動條件的干擾，能夠檢測各種燃料產(chǎn)生的虛化火焰，進一步降低假陰性率。本文算法不能將假陰性率降低到0，因為當火焰貼墻或者火焰距離系統(tǒng)太近時，系統(tǒng)的精度受到干擾。

此外，與文獻[14]中提出的多特征融合方法相比，本文的火焰視覺虛化性、顏色、相似度、質(zhì)心運動多特征融合算法平均準確度更高。基于數(shù)據(jù)集的實驗結(jié)果表明，本文基于火焰視覺虛化性的多特融合MES火焰決策方法在平均準確率、假陰性率、F等方面均優(yōu)于其他五種方法。

3 結(jié) 語

本文提出一種基于火焰視覺虛化性多特征融合的火焰檢測方法，利用雙目視覺和激光檢測火焰的深度信息，并通過對比實際場景中的兩個系統(tǒng)深度信息來建立火焰視覺虛化性模型。在顏色、相似度、質(zhì)心運動等圖像型火焰特征基礎(chǔ)上，融合本文提出的火焰視覺虛化性特征并輸入MES進行火焰決策，大量數(shù)據(jù)集的測試結(jié)果表明，本文的MES多特征融合系統(tǒng)實現(xiàn)了火焰檢測假陽性率與假陰性率的平衡，在整體精度方面達到了最佳，并有效降低了火災誤判率和漏檢率。實驗中，火焰深度信息探測系統(tǒng)檢測火焰時的角度和距離需要進一步考慮，此外人工神經(jīng)網(wǎng)絡(luò)也可以考慮用來進行多特征融合。