基于目標跟蹤和多特征融合的火焰檢測算法

張學(xué)敏，蔡曉東，梁玉敏，謝月飛，王春利

(桂林電子科技大學(xué)信息與通信學(xué)院，廣西 桂林 541004)

責(zé)任編輯:任健男

隨著CCTV(Close Circuit Television，閉路電視)監(jiān)控技術(shù)的發(fā)展，一種基于視頻的火焰檢測技術(shù)引起了業(yè)內(nèi)的廣泛關(guān)注。Healey等人［1］利用顏色和火焰運動的特性來區(qū)分火焰和非火焰區(qū)域，然而這種方法是依賴于理想環(huán)境(不具有類似火焰顏色的干擾物體的場景)中實現(xiàn)的。Foo［2］基于高速攝像機的灰度視頻提出基于統(tǒng)計的方法，這種方法雖然計算量較小，但是不具備很好的抗干擾特性，而且對普通的攝像機視頻30幀/秒(f/s)的情況就顯得有效性不足。Phollips等人［3］利用火焰的灰度直方圖強度以及相鄰幀的時間變化進行火焰識別，同樣需要比較好的檢測環(huán)境(較少的移動的非火焰亮光干擾)，而且其實驗數(shù)據(jù)特征為自己主觀確定的，若輸入數(shù)據(jù)發(fā)生變化，則效果會大打折扣。Yamagishi和Yamaguchi［4］提出了一種基于神經(jīng)網(wǎng)絡(luò)的火焰檢測方法，在HSV色彩空間的火焰顏色模型來減弱環(huán)境對火焰檢測的影響，依據(jù)火焰區(qū)域顏色的飽和度和色調(diào)的持續(xù)變化來進行火焰區(qū)域的分割，最后訓(xùn)練神經(jīng)網(wǎng)絡(luò)用于識別火焰，這個算法取得的實驗結(jié)果非常準確，但是對于實時性的應(yīng)用而言計算量過大。

然而，以上方法都集中關(guān)注火焰的存在性，不能提供燃燒的狀態(tài)和過程信息，需要人工估計誤檢率，并且很難滿足高檢測率、低誤檢率、實時的工業(yè)需求。本文提出了一種基于目標跟蹤和多特征融合的火焰檢測算法，能夠較好地適用于存在干擾的監(jiān)控環(huán)境，能夠有效排除干擾，及時發(fā)現(xiàn)火焰，并且可以對火焰進行持續(xù)跟蹤和判斷其變化狀態(tài)。

1 算法描述

整體算法的流程如圖1所示。

1.1 混合高斯背景建模提取運動前景

火焰的特性之一就是燃燒過程中的閃動特性，通常監(jiān)控視頻中的背景都是靜止不動的，本文采用混合高斯建模［5］來背景建模。通過對背景建模，對一幅給定圖像分離出前景和背景，從而達到運動物體檢測的目的。

對差值圖進行二值化處理然后經(jīng)過降噪濾波，得到較好的二值前景圖，將檢測為前景的區(qū)域結(jié)合火焰的顏色特征再次進行判斷，進一步提取出疑似火焰區(qū)域。

圖1 整體算法流程圖

1.2 火焰顏色模型

在彩色圖像中，高溫的火焰內(nèi)核會呈現(xiàn)亮白色，由內(nèi)向外隨著溫度的降低顏色會由黃變橙、變紅［6］。根據(jù)火焰顏色的以上特征，本文對火焰的內(nèi)焰和外焰分別進行建模，然后將內(nèi)焰和外焰組合，從而得到疑似火焰區(qū)域。內(nèi)、外焰模型分別為

圖2、圖3、圖4 分別為Capture1，Capture2，Capture6 經(jīng)過高斯背景建模和繼續(xù)經(jīng)過顏色模型過濾得到的前景二值圖。從圖中可以看到相比只進行背景重建得到的前景運動目標的二值圖，再經(jīng)過顏色模型過濾可以得到位置相對準確的疑似火焰區(qū)域，用此區(qū)域進行Blob提取處理。

1.3 Blob 特征提取

在二值圖中，運動目標呈現(xiàn)一個個白色的連通域(即Blob)，本文采用二值圖像連通域標記算法將運動目標從二值圖中提取出來，然后對原圖像只進行一次掃描后，通過特殊的邊界像素標記，便能獲得目標集合特征參數(shù)。

經(jīng)過Blob特征提取［7］掃描，可以獲得目標的輪廓，根據(jù)輪廓可以通過運算得到目標外接矩形、重心、周長和面積等特征信息。

1.4 基于Kalman濾波器的運動目標跟蹤

在利用Blob提取運動目標特征的基礎(chǔ)上，系統(tǒng)采用了基于卡爾曼(Kalman)濾波器的算法［8］實現(xiàn)運動目標的跟蹤。卡爾曼濾波器可以用狀態(tài)方程和觀測方程來描述其數(shù)學(xué)模型:

狀態(tài)方程為

觀測方程為

根據(jù)Blob提取得到的重心、外接矩形、運動速度等信息來描述運動目標在每一幀中的運動，因此狀態(tài)向量取Xk=［x，y，vx，vy］T，觀測向量取Zk=［x，y］T，其中x和y是運動目標的橫縱坐標，vx和vy是運動目標在水平方向和垂直方向上的運動速度，Wk為系統(tǒng)噪聲向量，Vk為觀測噪聲向量。

狀態(tài)傳遞矩陣A，測量矩陣H，系統(tǒng)噪聲Wk的協(xié)方差矩陣Q，測量噪聲Vk的協(xié)方差矩陣R的值設(shè)定如下:

參數(shù)確定之后，基于卡爾曼濾波器的算法便可以經(jīng)過以下4個步驟完成對運動目標的跟蹤:

1)根據(jù)重心坐標初始化卡爾曼濾波器，設(shè)運動速度初始化為0;

2)使用卡爾曼濾波器預(yù)測下一幀中對應(yīng)的目標區(qū)域，并在下一幀中的預(yù)測區(qū)域進行目標匹配;

3)如果目標匹配成功，則更新卡爾曼濾波器，并記錄當(dāng)前幀中運動目標的特征信息;

4)如果匹配不成功，則擴大搜索區(qū)域，重新搜索當(dāng)前幀，或者丟棄前一幀，直接處理下一幀。

火焰疑似目標跟蹤的效果如圖5所示，圖5a、圖5b、圖5c為時間間隔相同的3個時刻的跟蹤結(jié)果。用跟蹤到的疑似火焰目標進行特征提取。

圖5 Capture4疑似火焰目標跟蹤

1.5 特征提取

火焰具有許多獨有的特征。單純依靠火焰顏色特征來進行火焰檢測得到的結(jié)果是不可靠的，特別是在有火焰顏色的運動物體存在的情況下。為了提高檢測的可靠性，以加權(quán)的方式結(jié)合火焰的多個特征，當(dāng)火焰特征的加權(quán)值超過預(yù)先設(shè)定的報警閾值時，就確認檢測到的運動目標為火焰。

1.5.1 火焰區(qū)域增長性

在燃燒初期火焰的面積不斷的增大［9］，這個特征可以有助于區(qū)分與火焰顏色相似的大小固定不變的運動物體，比如汽車車燈等。本文用視頻幀數(shù)來表示時間，根據(jù)Blob特征提取得到的疑似火焰面積，求得第i幀到第i+k幀的火焰面積變化率，可用下面的公式表示

式中:Si和Si+k分別為第i幀和第i+k幀的疑似火焰面積，ΔSi即為間隔k幀的火焰區(qū)域像素的增長率，設(shè)定上下限閾值dhigh和dlow，當(dāng)dlow＜ΔSi＜dhigh時，則判定為火焰，賦予一個報警權(quán)值。

1.5.2 火焰形狀的形狀相似度識別

相對成熟的圖像相似性度量可以歸結(jié)為兩大類:距離度量和相關(guān)度量［10］?？梢杂米飨嗨贫攘康牡湫徒Y(jié)構(gòu)描述包括顏色、亮度特性、區(qū)域的面積、形狀和區(qū)域結(jié)構(gòu)等。

相鄰幀的圖像之間的相似度在一定的區(qū)間內(nèi)變化。在火焰識別的過程中主要存在的干擾包括大面積光照變化和快速移動的亮點，因此可考慮利用早期火焰形體相似度的變化規(guī)律來區(qū)分真實火焰與干擾。

計算前后兩幀圖像相似度的方法如下:

設(shè)得到的前后兩幀疑似火焰區(qū)域二值圖分別為binary1(x，y)，binary2(x，y)，疑似火焰區(qū)域分別為 Ω1，Ω2，前后兩幀圖像的相似度ξ定義為

一般的，當(dāng)ξ小于某個閾值T1時，即認為待識別物體是快速運動的亮點。而ξ大于某個閾值T2時，認為存在固定發(fā)光區(qū)域。當(dāng)ξ在2個閾值之間時，可以認為該區(qū)域為火焰區(qū)域。表1所示為火焰視頻(Capture1，Capture4)和干擾視頻(Capture10，Capture12)的連續(xù)8幀的相似度列表?？梢钥闯觯鹧嬉曨l連續(xù)幀相似度和干擾視頻連續(xù)幀相似度存在明顯的差距，通過設(shè)定合理的閾值即可區(qū)分。

表1 視頻相鄰幀相似度列表

1.5.3 火焰跳動頻率

火焰另一個區(qū)分于一般運動物體和光照的顯著特征就是燃燒過程中火焰閃爍的特性。眾多學(xué)者經(jīng)過大量的實驗分析得出，火焰閃動在具有一定的動態(tài)頻率范圍(7～10 Hz左右)即目標輪廓、色度或亮度都具有0.5～20 Hz之間的變化頻率時可能存在火焰的重要信號［11］。本文通過統(tǒng)計1 s內(nèi)對跟蹤到的疑似火焰目標跳動方向的變化次數(shù)來判斷火焰的跳動頻率。計算方法如下

由式(7)可以計算出疑似火焰的跳動頻率。如果Freq在0.5～20 Hz之間，則表明疑似火焰具有火焰閃爍的頻率，增加一個報警權(quán)值。

1.6 特征融合與火焰判定

對得到的以上3個火焰動態(tài)特征進行分析，給出合適的報警信號。分析方法如下:設(shè)火焰區(qū)域增長性、形狀相似度、跳動頻率的報警權(quán)值分別為α，β，γ，報警閾值為μ，報警結(jié)果為S，則有

當(dāng)S=1時，認為是火焰，否則認為目標區(qū)域具有火焰顏色，但不是火焰。確定疑似火焰目標為火焰后，將此運動目標標記為火焰，運用其外接矩形和面積可以判斷火焰燃燒的變化趨勢。

2 實驗結(jié)果

測試用PC配置為CPU Intel Core i3 M330 2.13 GHz，內(nèi)存為2 Gbyte，所有視頻的分辨率為704×576。本文實驗視頻主要是用手持攝像機和室內(nèi)監(jiān)控攝像頭拍攝的，此外，還有從網(wǎng)站上下載的視頻，其中包括美國國家標準研究院建筑與火災(zāi)研究實驗室的視頻http://www.fire.nist.gov/tree_fire.htm，共12個，測試庫視頻描述如表2所示。

表2 測試庫視頻

實驗1，對各視頻從火焰出現(xiàn)的前150幀分別使用單特征和特征融合進行檢測(見表3和表4)。實驗2，運用本文算法對測試視頻進行火焰檢測，并記錄全過程(見圖6、圖7)。

表3 單特征實驗結(jié)果

表4 多特征實驗結(jié)果

圖6 Capture4檢測結(jié)果

圖7 不同場景的測試結(jié)果圖

從表3和表4可以看出，單特征的檢測無法達到高檢測率、低誤檢率的工業(yè)需求，而三特征融合可以有效提高檢測率，降低誤檢率。

圖6是Capture4的檢測結(jié)果圖，識別出的火焰用綠色框高亮顯示，火焰第一次出現(xiàn)在第226幀，檢測到火焰是在第278幀，結(jié)果表明本算法檢測到火焰只需2 s左右的時間。圖6中圖片順序為從火焰開始到結(jié)束，表明本算法可以對火焰的發(fā)展過程進行全程跟蹤，有助于判斷火勢。

圖7是不同場景的測試結(jié)果圖，結(jié)果表明本算法成功排除光照、顏色、移動燈光等干擾，穩(wěn)健地檢測出不同場景、不同光照下的火焰。而且在應(yīng)用中火焰檢測的處理效率達到了25 f/s(幀/s)，能很好地滿足工業(yè)需求。

3 總結(jié)

本文針對目前視頻火焰檢測算法無法達到高檢測率、低誤檢率、實時的工業(yè)需求，提出了一種基于目標跟蹤和多特征融合的火焰檢測算法。經(jīng)過實驗證明，在普通的監(jiān)控視頻25 f/s的情況下，本文的算法能夠較好地適用于存在干擾的監(jiān)控環(huán)境，能夠有效排除干擾，及時發(fā)現(xiàn)火焰，并且可以對火焰進行持續(xù)跟蹤，判斷其變化狀態(tài)。與傳統(tǒng)的算法相比，具有更好的普適性、可靠性、實時性以及過程性。

［1］HEALEY G，SLATER D，LIN T，et al.A system for real－time fire detection［C］//Proc.Conference on Computer Vision and Pattern Recognition(CVPR’93).［S.l.］:IEEE Press，1993:605－610.

［2］FOO S Y.A rule－based machine vision system for fire detection in aircraft dry bays and engine compartments［J］.Knowledge－Based Systems，1996，9(8):531－540.

［3］PHILLIPS W，SHAN M，LOBO N V.Flame recognition in video［C］//Proc.the Fifth IEEE Workshop on Applications of Computer Vision.［S.l.］:IEEE Press，2000:224－229.

［4］YAMAGISHI H，YAMAGUCHI J.Fire flame detection algorithm using a color camera［C］//Proc.1999 International Symposium on Micromechatronics and Human Science.［S.l.］:IEEE Press，1999:255－260.

［5］TURDU D，ERDOGAN H.Improving gaussian mixture model based adaptive background modeling using hysteresis thresholding［C］//Proc.15th Signal Processing and Communications Applications.［S.l.］:IEEE Press，2007:1－4.

［6］LIU C B，AHUJA N.Vision based fire detection［C］//Proc.the 17th International Conference on Pattern Recognition(ICPR’04).［S.l.］:IEEE Press，2004:134－137.

［7］張修軍.帶標記矯正的二值圖連通域像素標記算法［J］.中國圖象圖形學(xué)報，2003，8(2):198－202.

［8］KALMAN R E.A new approach to linear filtering and prediction problems［J］.Journal of Basic Engineering，1960，82(1):35－45.

［9］CHEN T H，YIN Y H，HUANG S F，et al.The smoke detection for early fire－alarming system based on video processing［C］//Proc.the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing.［S.l.］:IEEE Press，2006:427－430.

［10］劉興洪.基于內(nèi)容相似性的圖像特征提?。跠］.重慶:重慶郵電大學(xué)，2007.［11］劉強.基于多信息融合的火焰檢測［J］.電視技術(shù)，2012，36(1):126－128.