基于多特征融合的戶外視頻煙霧檢測算法

王習越，陶青川（四川大學電子信息學院，成都610064）

基于多特征融合的戶外視頻煙霧檢測算法

王習越，陶青川
（四川大學電子信息學院，成都610064）

針對目前戶外視頻煙霧檢測的檢測率低、誤檢率高的情況，提出一種新的基于多特征融合的戶外視頻煙霧檢測的算法。在YUV空間下采用碼書模型進行背景建模，提取出疑似煙霧區域；對疑似區域進行煙霧的顏色、模糊性、形狀以及區域中心穩定性檢測；將各個特征的檢測結果進行貝葉斯分類器融合，并用于判斷煙霧是否存在。實驗表明，該檢測算法魯棒性高、能夠準確地檢測出視頻圖像中出現的煙霧，具有一定的實用性。

本模型；多特征融合；貝葉斯分類；煙霧檢測

0　引言

隨著圖像處理技術的日趨成熟，基于視頻圖像的煙霧檢測技術已受到各界的廣泛關注并開展了相關研究[1~4]。Chen[5]通過對大量煙霧樣本進行分析，歸納出煙霧的顏色模型，利用該模型實現了對煙霧的顏色檢測并取得較好的檢測效果。鄭璐[6]提出了一種基于顏色和運動的煙霧檢測算法，在一定程度上提高了煙霧識別的成功率，但不能準確地排除與煙霧顏色類似的運動物體的干擾。袁非牛[7]提出了一種通過計算基于累積量和主運動方向的視頻煙霧檢測方法，該算法具有較強的魯棒性，但在強風、非常規拍攝角度等條件下會出現明顯的誤報。Maruta[8]提出采用共生矩陣檢測候選區域中的紋理信息的方法，但此方法需要大量的先驗參數且算法過于冗余，實用性小。

本文提出了一種采用貝葉斯分類器融合多特征的檢測算法。實驗結果表明，本文提出的檢測算法精度高、適應性廣，能夠準確地檢測出視頻圖像中出現的煙霧，具有較好的實用性。

1　算法框架

本文算法主要由3部分組成：（1）碼書背景建模提取運動前景；（2）顏色、模糊性、形狀、區域中心穩定性特征提取判定；（3）貝葉斯分類器融合判定。算法流程如圖1所示。

圖1　算法流程圖

為了達到對煙霧檢測的目的，首先需要對視頻序列圖像中的疑似煙霧區域進行分割處理。本文采用基于碼書模型進行提取運動前景。碼書模型[9]是一種基于聚類思想的背景模型，通過對視頻序列進行連續采樣，將每個像素點顏色的扭曲度和亮度信息來生成碼字并將代表像素的碼字聚類成碼書，從而分割出運動前景。為了適應環境的變化，在檢測過程中需要對碼書進行更新和冗余碼字的消除。傳統的碼書通常在RGB顏色空間建立，然而RGB顏色空間中R、G和B三個分量具有較高的相關性，沒有實現亮度與色度的完全分離，可能會出現亮度的變化，導致色度的變化從而造成誤判現象的發生。因此，為了增強算法的抗擾動性和自適應性，本文將碼書模型引入到更能有亮度和色度的YUV顏色空間中。在YUV空間中Y表示亮度，U和V則表示色度，這種亮度與色度分離的顏色模型成功的解決了RGB空間下造成的低亮度像素在逐漸變亮的過程中可能產生誤判的問題。同時在YUV顏色空間下建立的碼書模型不需要計算像素與碼書之間的垂直距離和重新計算亮度分量，大大提高運算速度。

假設X={x1，x2，…，xN}是一個像素的序列采樣值，C={c1，c1，…，cL}是此像素點的L個碼字。根據每個像素點可能出現的狀態，其碼字的個數也不相同。每個碼字由〈Yi，Ui，Vi，fi，λi，qi＞這6個元素構成，其中Yi表示碼字對應像素的亮度值；Ui和Vi表示碼字對應像素的色度值；fi表示碼字在圖像序列訓練過程中出現的次數；λi表示碼字最長沒有出現的跨度；qi表示碼字最后出現的時間。其中，色彩扭曲度colordist（xt，ci）定義：

碼書模型建模的基本流程是：

（1）初始化，將每個像素的碼本置空。

（2）依次讀入每幀圖像，并對當前幀的每個像素逐一處理，維護該像素的碼書。

（3）計算像素點的顏色扭曲度和亮度扭曲度是否滿足colordist（xt，ci）≤εd和brightness（xt，ci）=true，這兩個判決條件（其中εd為顏色扭曲度閾值）。以便確定是否更新或新建新的碼字。

（4）若沒有匹配的碼字或者碼書為空，創建一個新的碼字并進行如下初始化：

ci=〈Y，U，V，1，t-1，t＞。如果匹配成功，則對碼書中的匹配碼字進行更新，公式如下：

2　多特征提取及判定

2.1顏色特征

通常情況下，火災發生時產生的煙霧的顏色大部分為白色、灰色、黑色。根據姚太偉[10]等人的實驗統計，煙霧的R、G、B通道的值相差不大，且煙霧的灰度值大致在80~220范圍之內。因此歸納出煙霧RGB空間顏色模型：

2.2煙霧模糊特征

煙霧本身具有半透明性，伴隨著生長會擴散并逐漸遮擋背景區域，而其他非霧狀物質通常不具有這樣的特性，這一現象在頻率域表現為高頻能量減少，低頻能量增加。因此，基于這一特性可作為判別煙霧圖像和非煙霧的一個重要依據。本文利用二維離散小波變換提取這一特征。

原始圖像經過二維離散小波變換后分解成4個部分：三幅高頻分量子圖像和一幅低頻分量子圖像；其中，三幅高頻分量子圖像分別為水平方向（HL）、豎直方向（LH）和對角方向（HH）紋理信息，如圖4所示。其中，低頻子圖LL幾乎包含了原始圖像的所有信息，而HL、LH、HH子圖則只是顯示了原始圖像的一些部分細節信息。隨著煙霧的產生與擴散，會將圖像中的紋理和邊緣變得模糊起來，三幅高頻分量子圖像的能量值減小，通過檢測計算疑似煙霧區域的前景和背景的高頻能量的比值來確定是否有煙霧產生。

圖4　煙霧圖像的二維小波變換

假設Wn（x，y）為視頻序列的第n幀采集圖像中所有高頻分量子圖能量值疊加構成的一幅復合圖像，公式表示如下:

則用En表示第n幀煙霧疑似區域圖像的高頻能量，Enb表示煙霧疑似區域對應背景圖像經二次小波變換后的高頻能量。

其中，M，N分別表示經碼書模型提取的疑似矩形區域的長、寬值。然后計算疑似煙霧的前景和背景的高頻能量的比值：

2.3形狀特征

與其他規則的物體運動不同，煙霧在溫度和壓力的作用下，煙霧不斷向外膨脹，其邊緣輪廓始終呈現出一種不規則狀態，如圖5所示。

圖5　煙霧邊緣的不規則性

基于這一特征，可以去除煙霧顏色類似的規則物體的干擾。通過引入公式（11）作為判決依據。其中，SEP表示疑似區域的周長，通過對疑似區域進行Sobel邊緣檢測統計邊緣像素點的個數來獲取;STP表示疑似區域的面積，通過統計疑似區域的像素點的個數獲取;閾值記為STD。

圖6　煙霧區域中心穩定性

2.4煙霧區域中新位置穩定特征

煙霧雖然具有擴散性，但煙霧的區域中心通常也具有相對的穩定性，如圖6所示。通過計算相鄰幀數煙霧區域中心點位置的變化率來描述這種相對穩定性。在視頻序列中，計算相鄰幀的疑似區域中心點的位置變化快慢，并判斷該疑似區域中心點位置是否具有這種相對的穩定性。

以一塊疑似煙霧區域為例，提取該疑似區域的所有像素點的坐標（xnum，ynum），用num表示提取的疑似區域的像素點的個數。計算每幀的中心點的統計平均值（x，y）。

判斷相鄰幀的歐氏距離d，

2.5貝葉斯分類器融合

貝葉斯分類器[11]是一種結構簡單、效果明顯的分類器，其分類原理是通過對某對象的先驗概率，利用貝葉斯公式計算出其后驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類作為該對象所屬的類。

工作流程概況如下：

（1）假設每個數據樣本都可以用n維的特征向量X（x1，x2，…，xn）表示，且特征向量的每個特征值是對樣本n個屬性Ai（i∈[1…n]）的度量；

（2）若分類器Ci（i∈[1…m]）含有m個類，對于給定的未知樣本X，分類器將預測該樣本屬于分類集中不同類的后驗概率，后驗概率最大的類即為該樣本所屬的類型。公式如下：

通常認為分類器所分的類的先驗概率為等概率，即P（C1）=P（C2）=…=P（Cm）。另外P（X）對所有的類為常數，則計算P（Ci|X）的值即為計算P（X|Ci）P（Ci）的值。由于樣本的屬性值之間是互相獨立的，所以：

在戶型內設計方面，設計師以戶型功能要求為依據，對裝配式建筑戶型進行布置，從結構庫中選取相應的結構戶型，結合戶型功能、結構設計方案等對設備模塊進行選擇，使建筑、戶型能夠相互匹配，以免出現構件不合，相互碰撞等情況。在對戶型內設計過程中，最為關鍵的便是剪力墻體系的模塊化設計，該部分設計量較大，采用系統化、標準化的戶型庫能夠在很大程度上使協同效率提高，從而達到模塊精準化的設計目標。

其中，P（Xk|Ci）的值由訓練樣本生成的混淆矩得到。

本文選取正樣本為煙霧視頻（視頻1~視頻5）各段的前100幀圖像，負樣本為干擾視頻（視頻6~視頻7）兩段視頻的前100幀圖像。首先通過對不同環境條件下的煙霧和非煙霧樣本進行特征提取，統計煙霧與非煙霧的顏色、模型、形狀以及區域中心穩定性4個特征的混淆矩陣；然后對這4個混淆矩陣分別進行歸一化處理，以查找的方式計算得到各個特征的條件概率即P（Xk|Ci）的值；將求得的條件概率P（Xk|Ci）代入公式（15），計算后驗概率P（Ci|X）最大的值，即可判定是否為煙霧。

3　實驗數據與分析

為了驗證算法的實用性與有效性，采用VS 2008開發平臺，MATLAB，Pentium Dual-Core CPU，E5300@ 2.6 GHz（2CPUs）處理器，3G內存，Window XP操作系統的臺式機。文中所選的視頻部分為來自網站，部分來自自行拍攝視頻。此次共列舉7組視頻，前5組為煙霧視頻，后2組為干擾視頻。總計2200幀，其中煙霧圖像1660幀。非煙霧圖像540幀。由于煙霧檢測目前沒有統一的判定標準。由此，本文定義正檢率和誤檢率這兩個參數。

實驗1單特征檢測測試結果

對各個視頻的前100幀分別使用單特征進行檢測（如表3）。特征1~特征4分別代表顏色特征、小波能量特征、形狀特征以及區域中心穩定性特征。

實驗2同類算法對比實驗

將實驗1中單特征檢測結果作為訓練的輸出，則生成4個檢測特征的概率混淆矩陣。

本文提出的貝葉斯融合算法與文獻[3]方法、文獻[6]方法這3類檢測方法的檢測結果如表3和表4所示。

從表1、表2和表3、表4可以看出，單獨的特征檢測算法無法達到高檢測率、低誤檢率的性能要求，通過特征的融合是可以有效地提高檢測率、降低誤檢率。實驗表明，本文所提算法不僅能夠準確地識別出白煙、青煙，黑煙。即使在強風和其他類似煙霧的干擾物存在的情況下也能夠較為準確地識別出煙霧目標。且平均處理速度為20 fps能夠達到實時的要求。

4　結語

本文提出的基于多特征融合的戶外煙霧檢測的算法對煙霧檢測具有很高的識別率，較低的誤檢率，克服單一特征檢測煙霧圖像的不足。該檢測算法能夠適應戶外環境，能夠有效地排除與煙霧顏色類似的運動物體造成的干擾，準確地檢測出煙霧圖像。今后，將重點研究煙霧與水蒸氣、霧氣的細小差異，以消除類似氣體現象的干擾以提高檢測精度。

表1　煙霧視頻單特征正檢結果

表2　干擾視頻單特征誤檢結果

表3　各種算法的正檢率對比

表4　各種算法的誤檢率對比

[1]Fang LM，XuAJ，TangLH.A Study of the Key Technology of Forest Fire Prevention Based on a Cooperation of Video Monitor and[c]. Proceedings of International Conference on Natural Computation.Jinan，China:IEEE Computer Society Press，2008:391~396

[2]Tripathi A K.Single Image Fog Removal Using Bilateral Filter[C].Proc.of IEEE International Conference on Singnal Processing，Computing and Control.[S.1.]:IEEE Press，2012

[3]Jiao，Run-hai.Smoke Detection Based on Frequency of Smoke's Contour.（School of Control and Computer Engineering，North China Electric Power University，No.2，Beinong Road，Changping District，Beijing 102206，China）;Li Wei，Qi Xiang，Li，Yanhua Source: ICIC Express Letters，v 7，n 11，p 2933~2940，2013

[4]Dongil Han Byoungmoo Lee.Flame and Smoke Detection Method for Early Real-Time Detection of a Tunnel Fire[J].Fire Safety Journal，2009，44（7）:951~961

[5]Thou-Ho Chen，Yen-Hui Yin，Shi-Feng Huang，Yan-Ting Ye“The Smoke Detection for Early Fire-Alarming System Base on Video Processing”2006 IEEE International Conference on Intelligent Information Hiding and Multimedia Signal Processing，2006：427~430

[6]]鄭璐，陳俊周.基于運動和顏色的視頻煙霧檢測算法[J].計算機工程與設計，2010（21）31:4650~4652

[7]Fei-niu Yuan.A Fast Accumulative Motion Orientation Model Based on Integral Image for Video Smoke Detection[J].Pattern Recognition Letters，2008，29（7）:925~932

[8]Maruta H，Kato Y，Nakamura A，et al.Smoke Detection in Open Areas Using its Texture Features and Time Series Properties[C].KualaLumpur:IEEE International Symposiumon Industrial Electronicsand Applications，2009:1904~1908

[9]Kim K，Chalidabhongse T H，Harwood D，et al.Real Time Foreground Background Segmentation Using Codebook Model[J].Real-Time Imaging，2005，11（3）:172~185

[10]姚太偉，王慧琴，胡燕.基于小波變換和稀疏光流法的火災煙霧檢測[J].計算機工程，2012（3）

[11]Piccinini P，Calderara S，Cucchiara R.Reliable Smoke Detection in the Domains of Image Energy and Color［C］.Proceedings of IEEE International Conference on Image Processing.San Diego，USA:IEEE Computer Society Press，2008:1376-1379.[DOI:10.1109/ICIP. 2008.4712020]

Outdoor Video Smoke Detection Algorithm Based on Multi-Feature Fusion

WANG Xi-yue，TAO Qing-chuan
（College of Electronic and Information Engineering，Sichuan University，Chengdu 610064）

Proposes new multiple feature fusion based smoke detection algorithm,which deals with situations like low detection rate and wrong detection in outdoor videos.Uses code book in YUV for background modeling to extract smoke area.Detects the color,shape,and center position of the suspicious smoke area.Carries out the fusion on the detect outcome using Bayesian classifiers.Takes the fusion result as a symbol to judge whether the smoke actually exist.Experiments show that the proposed algorithm is robust and accurate in smoke detection in video images.

Code Book;Feature Fusion;Bayesian Classification;Somke Detection

1007-1423（2015）11-0078-06

10.3969/j.issn.1007-1423.2015.11.016

王習越（1986-），男，四川人，在讀碩士研究生，研究方向為計算機應用與圖像識別

陶青川（1972-），男，四川人，副教授，研究方向為圖像處理、機器視覺、模式識別等

2015-03-05

2015-03-30