多特征量對數回歸的火焰快速識別算法

席廷宇，邱選兵，孫冬遠，李 寧，李傳亮，王 高，鄢 玉

(1.太原科技大學 應用科學學院，太原 030024； 2.中北大學 電子測試技術國防科技重點實驗室，太原 030051；3.河北工業(yè)職業(yè)技術學院 汽車工程系，石家莊 050091) (*通信作者電子郵箱qiuxuanbing@163.com)

多特征量對數回歸的火焰快速識別算法

席廷宇1，邱選兵1*，孫冬遠1，李 寧1，李傳亮1，王 高2，鄢 玉3

(1.太原科技大學 應用科學學院，太原 030024； 2.中北大學 電子測試技術國防科技重點實驗室，太原 030051；3.河北工業(yè)職業(yè)技術學院 汽車工程系，石家莊 050091) (*通信作者電子郵箱qiuxuanbing@163.com)

為了提高實時視頻監(jiān)控中火焰識別率和降低誤識率，提出了一種基于多特征量對數回歸模型的火焰快速識別算法。首先，根據火焰的色度特征進行圖像分割，通過運動目標與參考圖像差分運算獲取火焰候選區(qū)域(CFR)；然后提取候選區(qū)域的面積變化率、圓形度、尖角個數以及質心位移等特征量，建立火焰的對數回歸快速識別模型；其次采用美國國家標準與技術研究院(NIST)、仁荷大學計算機視覺實驗室(ICV)和基于計算機視覺的火災探測(VisiFire)實驗庫以及自制蠟燭、紙燃燒火焰中的火焰和非火焰圖像中的300幅進行參數學習；最后選取實驗數據庫中8段視頻共11 071幅圖像進行識別算法檢驗。測試結果表明，所提算法的真正率(TPR)達到93%、真負率(TNR)達到98%，識別平均用時0.058 s/幀。所提算法識別速度快且識別率高，可以應用于嵌入式實時圖像火焰識別。

火焰識別；多特征量；對數回歸；嵌入式視頻；實時火災預警

0 引言

各種各樣的自然災害及人為災害對人類的生命健康和財產安全造成了嚴重威脅，而其中火災是最嚴重的災害之一，火災的快速識別和早期預警可以很大程度上減少對人民生命健康及財產安全的損害[1]。目前市面銷售火災傳感器類型各異，如煙霧傳感器、溫度傳感器、光敏傳感器、紅外線探測器等，然而這些被動式傳感器對于戶內外開闊的場合則無能為力。由于燃燒火焰產生光的傳播比煙霧或熱要快得多，因此基于計算機視覺的火災探測和預警對于火災早期的檢測[2]非常有效。

基于計算機視覺的火災識別算法已經成為了模式識別的一個重要研究方向。其主要方法包括貝葉斯分類器[3]、人工神經網絡[4]和馬爾可夫模型[5]。Truong等[6]提出了一種應用于開闊空間的支持向量機多特征火災識別方法，該方法具有更低的誤識率和更高的可靠性，然而其學習速率較慢。Wang等[7]采用Wald-Wolfwitz隨機測試算法識別火焰及非火焰，這種自適應算法主要利用火焰的隨機波動來識別火災，識別精度較低。?elik等[8]提出了一種基于顏色模型(YCbCr模型)的分類方法，利用火災和非火災的圖像來構造火焰像素的色度分類模型，但無法成功將移動物體與背景分離。Habiboglu等[9]提出了一種基于協方差結構的表示方法，該方法結合火焰區(qū)域的顏色域、空間域和時間域信息作為特征向量，然而該方法只能檢測近距離清晰火焰，對于能見度低的火焰無能為力。Bosch等[10]提出一種基于紅外視頻的空間域和時間域特征的火災識別方法，通過探測信號強度和熱物體(熱源)的方向將火焰和非火焰進行區(qū)分，該方法存在成本高、響應時間長等不足。Dimitropoulos等[11]結合了顏色概率、空間、能量、閃爍和時空的能量等多種特性量，測試了各種背景減法算法的優(yōu)越性。Horng等[12]提出了一種基于色調、飽和度、亮度(Hue，Saturation，Intensity， HSI)顏色模型分析的火災識別方法，該方法響應時間短，然而由于顏色特性只是火焰的靜態(tài)特征之一，其識別率較低。吳冬梅等[13]提出了一種基于Ohta顏色空間的火焰檢測的方法，其準確率和環(huán)境適應性有所提高。張霞等[14]提出了一種基于局部二值模式(Local Binary Pattern, LBP)直方圖和支持向量機(Support Vector Machine, SVM)的視頻火焰檢測方法，其誤報率低、魯棒性強。

對于嵌入式實時視頻火災識別與預警來說，不僅需要提高系統的火焰識別率和降低誤識率，其響應時間也是非常重要的參數。人工神經網絡、支持向量機等算法具有識別率高的優(yōu)點，然而其計算的復雜度針對于嵌入式的視頻流來說是很高的，不能滿足實時性的要求，因此本文提出一種基于多特征量和對數回歸的火災識別方法。多特征量的對數回歸在有效減少誤識率的同時只是略微減少靈敏度。采用實驗基準庫和實驗室火焰視頻訓練和測試表明，本文所提識別算法識別率高、誤識率低。

1 多特征量對數回歸的火災識別算法

本文首先利用視頻流中的圖像顏色特征和運動信息進行圖像的預處理，獲取到候選火焰區(qū)域，再提取出候選火災區(qū)域的顏色特性、面積變化率、圓形度、尖角個數以及質心位移等8種火焰特征量，最后建立了火焰識別的對數回歸模型。

1.1 顏色特性

火焰顏色是火焰最顯著的特征，自然火災的顏色范圍大都由黃到紅。由于火焰的顏色往往是高飽和度的紅色，在RGB模型下每個火焰像素的R分量都大于G和B分量。然而RGB的顏色分量對光照變化敏感，因此本文將RGB模型轉化為YCbCr模型，在YCbCr顏色空間中，其中：Y為顏色的亮度，Cb和Cr為色度。

火焰疑似物主要是移動的紅色物體，如紅色衣服的行人、汽車的紅色尾燈、紅色氣球等。火焰和疑似火焰物體可能有相似的顏色與形狀，但它們的色度比例會有所差別。反復實驗表明，色度滿足式(1),可有效地將真火焰及疑似火焰物體從視頻流中的待處理圖片中提取出來,并對圖像進行灰度化和二值化處理[15]：

(1)

如圖1(a)為原始圖像；圖1(b)為閾值分割后的圖像。

通常情況下，疑似火焰的物體都以一種固定方式移動。背景差分法是一種被廣泛應用的檢測運動物體的方法，本文用它來進行火災中疑似火焰的預處理。將閾值分割后的圖片減去背景圖片可有效將固定的紅色物體剔除。此外，一些較小的獨立區(qū)域的面積若沒有超過某一閾值，將認為是噪聲而去除。反復實驗表明，選擇9個像素作為閾值較為適宜。如圖1(c)為背景差分后的圖像，從圖1中可以看出經過差分和閾值噪聲去除后的圖像中，很清晰地表征了火焰候選區(qū)域，為下一步的特征提取提供了合理的圖像。

圖1 閾值分割及幀差分

1.2 面積變化率

火災初期的火焰面積通常表現為無規(guī)律的變大趨勢，而疑似火焰物體則正好相反，因此面積變化特征也是火焰識別的重要判據之一。面積特征可以表示為經過預處理得到的候選火災區(qū)域中像素值為1的點的個數總和。

第i幀的面積變化率Ci可以表示為：

Ci=(Si-Si-1)/Si-1

(2)

其中：Si為第i幀面積；Si-1為第i-1幀面積。

1.3 圓形度

圓形度是衡量圖形與圓的相似程度，疑似火焰物體的形狀與圓相似，其圓形度較高，而真火焰則雜亂無章，其圓形度較低，因此圓形度可以作為區(qū)分火災火焰與其他疑似火災物體的特性。將預處理得到的火災候選區(qū)域進行閉合操作，獲取閉合圖形的面積，同時利用邊緣檢測算法獲取其周長。得到圖形的圓形度e可以表示為：

e=4πS/L2

(3)

其中：L為邊界的周長，S為圖形的面積。

1.4 尖角個數

火災火焰在燃燒時會存在邊緣抖動的現象，即會產生很多小尖角，而疑似火焰的尖角數明顯沒有火焰的尖角數多，而且這些物體在移動時，其尖角數保持不變，所以尖角特性也可以作為火焰識別的一個特征量。

在經過預處理后的候選火災區(qū)域，以候選點(i，j)為中點建立一個3×3的窗口，若候選點的8個鄰域的相似度小于閾值，則此候選點為尖角，并對此候選點進行標記。通過對圖像上的每一個點進行判斷，最終得到整幅圖像的尖角個數。

1.5 質心位移

質心是物體質量集中的點，火焰在燃燒時，其質心左右上下來回隨機擺動。而疑似火焰物體的質心運動具有一定的規(guī)律性或保持靜止，因此質心位移特性也可以作為火焰識別的一個重要特性。計算差分預處理后的候選火災區(qū)域中所有像素值為1的點的橫坐標及縱坐標和，然后求均值從而得到當前圖像的質心坐標。火焰的質心位移可表示為：

(4)

其中：xi、yi分別是第i幀質心的橫縱坐標；xi-1、yi-1分別為第i-1幀圖像的質心橫縱坐標。

1.6 對數回歸火焰識別算法

為了檢驗疑似火災區(qū)域是否存在真火焰或只是疑似火焰物體，本文將從疑似火焰區(qū)域提取YCbCr顏色空間的Cb與Cr分量的平均值(mb,mr)以及標準差(Sb,Sr)、面積變化率、圓形度、尖角個數、質心位移等8個特征量。這些特征量與所檢測視頻是否為火災火焰有一定的關系。第i幀圖像的特征量可以由上述8個特征量的線性關系表示：

x=(x1,x2,x3,x4,x5,x6,x7,x8)T

(5)

如果識別算法輸出為二值化，令真火焰為1，假火焰為0，且服從一定的概率分布，其概率密度函數服從伯努利分布，即：

f(yi)=piyi(1-pi)1-yi

(6)

那么，對于視頻的第i幀，輸出為yi=1即真火焰，其概率為pi；輸出為yi=0即非火災，其概率為1-pi。

為了求解輸入與輸出的關系，假定第i幀的lnp(xi)為各特征量x1i，x2i，…，x8i為線性組合，即：

(7)

其中系數向量為：

α=(a1,a2,…,a8)T

(8)

因此，第i幀的火焰概率可以表示為：

(9)

可以采用最大似然估計法來確定未知參數α。

(10)

為了避免對數回歸可能出現過擬合的問題，訓練所用的特征量是隨機選取的。在訓練過程中，真火焰和非火焰樣本數量相等以保證結果平衡。利用最大似然估計法得到系數向量，并代入待識別圖像提取的特征量中，根據式(9)計算得到識別的結果的概率，最后根據疑似火災區(qū)域CFR判斷準則式(11)輸出識別結果：

(11)

2 實驗結果與分析

2.1 多特征量實驗結果

選取4種物體各60幀圖片進行實驗，獲取它們的特征量，圖2(a)、(b)、(c)、(d)分別為面積變化率、圓形度、尖角個數和質心坐標位移實驗結果。從圖2中可以看出，森林火災與其他疑似火災物體有很好的區(qū)分度，只有質心坐標位移區(qū)分度不明顯，但可以利用質心坐標位移有效剔除位移微小的疑似火災物體，因此這4個特征量都可以作為本火焰快速識別算法的特征量。

圖2 多特征量實驗結果

2.2 數據庫

為了訓練和檢驗論文提出的火焰識別算法，本文選擇了美國國家標準與技術研究院(National Institute of Standards and Technology, NIST)、仁荷大學計算機視覺實驗室(Computer Vision laboratory of Inha University, ICV)和基于計算機視覺的火災探測(Fire detection based on computer Vision, VisiFire)三個實驗室錄制的火焰和火焰疑似物的視頻，如圖3(a)～(f)所示，并且也在實驗室錄制了蠟燭和紙燃燒視頻片段如圖3(g)～(h)所示。在訓練階段，本文隨機選擇了300幅火焰和非火焰圖像進行參數學習，然后選取實驗數據庫中8段視頻共11 071幅圖像進行識別算法檢驗。

2.3 分類精度

分類精度可以通過真正率(True Positive Rate， TPR)和真負率(True Negative Rate， TNR)來評價：

TPR(sensitivity)=TP/(TP+FN)

(12)

TNR(specificity)=TN/(FP+TN)

(13)

其中：TP(True Positive)為被算法預測為正的正樣本數；TN(True Negative)為被算法預測為負的負樣本數；FP(False Positive)為被算法預測為正的負樣本數；FN(False Negative)為被算法預測為負的正樣本數。

截取8個視頻片段共11 071幅圖像進行實驗，表1詳細列出了8個視頻片段實驗結果的詳細信息，包括文件名、火災幀數、非火災幀數，累計用時以及平均用時。從表1中可以看出，本文算法的真正率在93.1%以上，真負率在98.7%以上。對于識別時間，由于SVM需把輸入樣本經過非線性變換映射到高維核空間，在高維核空間中尋找最優(yōu)分類超平面。而人工神經網絡則需由大量處理單元互聯來組成非線性、自適應信息處理系統。這兩種方法都需要進行大量矩陣計算，識別時間較長。由于本文采用對數回歸分析對特征量進行學習和識別，在Windows 8系統(計算機處理器為i5，內存為8 GB)下，利用Matlab 2015軟件進行實驗，樣本訓練平均用時20.90 s，識別平均用時0.058 s/幀，可達到實時處理的要求。

圖3 實驗數據庫的視頻片段

表1 火焰識別結果及用時統計

為了評估本文的火焰識別算法的可靠性，將現有的其他比較典型的6種方法與本文算法進行比較。這些算法包括?elik等[8]提出的通用顏色模型、Ko等[3]的支持向量機的算法、Borges等[16]的概率算法、Truong等[6]的多級模式識別、吳冬梅等[13]的基于Ohta顏色空間的火焰檢測的方法以及張霞等[14]的基于LBP直方圖和SVM的視頻火焰檢測方法(吳冬梅等[13]只有VC3和VC4的數據，張霞等[14]只有VC1、VC3和VC4的數據)如表2所示，對于VC1(室內火災)和VC2(森林火災)，由于火焰的顏色特征明顯，所以各個算法都有較高的真正率，都在94%以上；對于VC3(室外爐火)和VC4(室外爐火)，由于在戶外場景，且顏色特征不明顯，所以真正率有所降低，但也都在93%以上；對于VC5(汽車尾燈)和VC6(紅衣服行人)，由于是非火災物體，各個算法的真負率都很高，都達到96%以上，由于本文的算法利用多特征量剔除了火焰疑似物體，真負率達到98%，優(yōu)于其他方法。

3 結語

利用監(jiān)控視頻，在火災早期對其進行識別和警報，進而采取相應的滅火措施可以在一定程度上減少火災帶來的損失。針對識別率低和誤識率高的問題，本文提出一種基于多特征量的對數回歸火焰快速識別算法。利用多特征量可以快速地剔除非火焰的疑似圖像，在對數回歸識別模型的幫助下，實現了實時圖像的快速識別。大量實驗結果表明，無論是在室內還是室外，本文算法的真正率(TPR)達到93%，真負率(TNR)達到98%，識別平均用時0.058 s/幀，效果較好，可以應用于下一步的嵌入式實時圖像火焰識別中。

表2 各種火災識別方法的識別率比較 %

References)

[1] 黃正宇,繆小平,芮挺.基于圖像的火焰檢測中無量綱動態(tài)特征研究[J].計算機應用,2012,32(7):1894-1898.(HUANG Z Y, MIAO X P， REI T. Study on dimensionless dynamic characteristics of flame based on image recognition [J]. Journal of Computer Applications, 2012, 32(7): 1894-1898.)

[2] 毛文濤,王文朋,蔣夢雪,等.基于局部特征過濾的快速火焰圖像識別方法[J].計算機應用,2016,36(10):2907-2911.(MAO W T, WANG W P, JIANG M X, et al. Fast flame recognition approach based on local feature filtering [J]. Journal of Computer Applications, 2016, 36(10): 2907-2911.)

[3] KO B C, CHEONG K H, NAM J Y. Early fire detection algorithm based on irregular patterns of flames and hierarchical Bayesian networks [J]. Fire Safety Journal, 2010, 45(4): 262-270.

[4] WANG Y, YU C, TU R, et al. Fire detection model in Tibet based on grey-fuzzy neural network algorithm [J]. Expert Systems with Applications, 2011, 38(8): 9580-9586.

[5] WANG L, YE M, DING J, et al. Hybrid fire detection using hidden Markov model and luminance map [J]. Computers & Electrical Engineering, 2011, 37(6): 905-915.

[6] TRUONG T X, KIM J M. Fire flame detection in video sequences using multi-stage pattern recognition techniques [J]. Engineering Applications of Artificial Intelligence, 2012, 25(7): 1365-1372.

[7] WANG D C, CUI X, PARK E, et al. Adaptive flame detection using randomness testing and robust features [J]. Fire Safety Journal, 2013, 55: 116-125.

[8] ?ELIK T, DEMIREL H. Fire detection in video sequences using a generic color model [J]. Fire Safety Journal, 2009, 44(2): 147-158.

[9] HABIBOGLU Y H, GUNAY O, ?ETIN A E. Covariance matrix-based fire and flame detection method in video [J]. Machine Vision and Applications, 2012, 23(6): 1103-1113.

[10] BOSCH I, GOMEZ S, MOLINA R, et al. Object discrimination by infrared image processing [C]// Proceedings of the 2009 International Work-Conference on the Interplay between Natural and Artificial Computation. Berlin: Springer, 2009: 30-40.

[11] DIMITROPOULOS K, TSALAKANIDOU F, GRAMMALIDIS N. Flame detection for video-based early fire warning systems and 3D visualization of fire propagation [C]// CGIM 2012: Proceedings of the 13th IASTED International Conference on Computer Graphics and Imaging. Calgary, CA: ACTA Press. 2012: 3-13.

[12] HORNG W B, PENG J W. A fast image-based fire flame detection method using color analysis [J]. Tamkang Journal of Science and Engineering, 2008, 11(3): 273-285.

[13] 吳冬梅,楊娟利,王靜.基于Ohta顏色空間的火焰檢測[J].電視技術,2016,40(6):140-143.(WU D M, YANG J L, WANG J. Flame recognition based on Ohta color space [J]. Video Engineering, 2016, 40(6): 140-143.)

[14] 張霞,黃繼風.結合LBP直方圖和SVM的視頻火焰檢測[J].計算機應用與軟件,2016,33(8):216-220.(ZHANG X, HUANG J F. Detecting flame in video in combination with LBP HISTOGRAM and SVM [J]. Computer Applications and Software, 2016, 33(8): 216-220.)

[15] 劉尚旺,段德全,崔艷萌,等.二次定位車牌分割及識別方法[J].河南師范大學學報(自然科學版),2016,44(4):151-156.(LIU S W, DUAN D Q, CUI Y M, et al. Vehicle license plate segmentation and recognition method based on two times locations [J]. Journal of Henan Normal University (Natural Science Edition), 2016, 44(4): 151-156.)

[16] BORGES P V K, IZQUIERDO E. A probabilistic approach for vision-based fire detection in videos [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2010, 20(5): 721-731.

This work is partially supported by the National Natural Science Foundation of China (U1610117, 11504256, 61573323), the National College Students Innovation and Entrepreneurship Training Program of China (2016264), Scientific and Technological Innovation Program of Higher Education Institutions in Shanxi (2015166).

XITingyu, born in 1995, M. S. candidate. His research interests include embedded system, image processing.

QIUXuanbing, born in 1980, Ph. D., associate professor. His research interests include laser spectroscopy, embedded system.

SUNDongyuan, born in 1992, M. S. candidate. His research interests include laser spectroscopy, embedded system.

LINing, born in 1994, undergraduate. His research interests include embedded system.

LIChuanliang, born in 1983, Ph. D., associate professor. His research interests include laser spectroscopy.

WANGGao, born in 1973, Ph. D., professor. His research interests include high temperature measurement.

YANYu, born in 1979, M. S., lecturer. Her research interests include automotive electronics.

Fastfireflamerecognitionalgorithmbasedonmulti-featurelogarithmicregression

XI Tingyu1, QIU Xuanbing1*, SUN Dongyuan1, LI Ning1, LI Chuanliang1, WANG Gao2, YAN Yu3

(1.SchoolofAppliedScience,TaiyuanUniversityofScienceandTechnology,TaiyuanShanxi030024,China;2.NationalDefenseKeyLaboratoryforElectronicTestTechnology,NorthUniversityofChina,TaiyuanShanxi030051,China;3.AutomobileEngineeringDepartment,HebeiCollegeofIndustryandTechnology,ShijiazhuangHebei050091,China)

To improve the recognition rate and reduce the false-recognition rate in real-time detection of flame in video surveillance, a fast flame recognition algorithm based on multi-feature logarithm regression model was proposed. Firstly, the image was segmented according to the chromaticity of the flame, and the Candidate Fire Region (CFR) was obtained by subtracting the moving target image with reference image. Secondly the features of the CRF such as area change rate, circularity, number of sharp corners and centroid displacement were extracted to establish the logarithmic regression model. Then, a total of 300 images including flame and non-flame images, which were got from National Institute of Standards and Technology (NIST), Computer Vision laboratory of Inha University (ICV), Fire detection based on computer Vision (VisiFire) and the experimental library consisting of the candle and paper combustion were used to parametric learning. Finally, 8 video clips including 11 071 images were used to validate the proposed algorithm. The experimental results show that the True Positive Rate (TPR) and True Negative Rate (TNR) of the proposed algorithm are 93% and 98% respectively. The average time of identification is 0.058 s/frame. Because of its fast identification and high recognition rate, the proposed algorithm can be applied in embedded real-time flame image recognition.

flame recognition; multi-feature; logarithmic regression; embedded video; real-time fire alarm

TP391.413; TP18

:A

2016- 12- 26;

:2017- 02- 26。

國家自然科學基金資助項目(U1610117,11504256,61573323);國家級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目(2016264)；山西省高校科技創(chuàng)新項目(2015166)。

席廷宇(1995—)，男，山西運城人，碩士研究生，主要研究方向：嵌入式系統、圖像處理； 邱選兵(1980—)，男，四川內江人，副教授，博士，主要研究方向：激光光譜、嵌入式系統； 孫冬遠(1992—)，男(滿族)，河北承德人，碩士研究生，主要研究方向：激光光譜、嵌入式系統； 李寧(1994—)，男，河北邯鄲人，主要研究方向：嵌入式系統； 李傳亮(1983—)，男，山東淄博人，副教授，博士，主要研究方向：激光光譜； 王高(1973—)，男，山西侯馬人，教授，博士，主要研究方向：高溫測量； 鄢玉(1979—)，女，四川資陽人，講師，碩士，主要研究方向：汽車電子。

1001- 9081(2017)07- 1989- 05

10.11772/j.issn.1001- 9081.2017.07.1989