基于多特征融合的視頻煙霧檢測

黎粵華，單 磊，田仲富，朱自民

(東北林業大學 機電工程學院，黑龍江 哈爾濱 150040)

基于多特征融合的視頻煙霧檢測

黎粵華，單 磊，田仲富，朱自民

(東北林業大學 機電工程學院，黑龍江 哈爾濱 150040)

煙霧檢測對火災早期防范非常重要,傳統的火災探測技術主要利用傳感器對火焰和溫度進行識別，其每一個傳感點只能檢測到布控點周圍的局部空間，對于開放空間等特殊場合難以發揮作用。為了克服傳統火災檢測存在的誤報率高等缺點，文中提出一種基于煙霧多特征融合技術的圖像型火災檢測方法。該方法首先利用背景減除法獲取普通CCD攝像機拍攝的疑似火災煙霧區域，然后再從時域和頻域著手，提取火災煙霧的輪廓不規則特征、背景模糊度特征和紋理特征作為神經網絡的輸入信號，同時采用sigmoid函數將輸出歸一化，最后通過對BP神經網絡訓練完成火災煙霧的多特征融合，并對來自網絡的火災視頻進行測試。實驗結果表明：圖像型火災檢測方法能夠準確快速地識別火災煙霧，達到早期預警的目的。

煙霧檢測；輪廓不規則特征；模糊度特征；紋理特征；特征融合

0 引 言

火災的發生在時間和空間上表現為無規律性，是一種反人類意識的行為，傳統的火災探測方法具有一定的局限性，往往出現誤報或漏報的情況。隨著數字圖像處理技術在計算機領域的不斷發展，圖像型火災探測技術越來越廣泛地應用于火災檢測領域[1]。在煙霧圖像處理方面，Shu Xueming等提出了基于粒子成像系統、光散射系統和煙霧通道系統的火災檢測方法[2]。袁非牛等[3-4]提出了基于主運動方向和累積量的視頻煙霧檢測算法。Khananian等提出了將遙感技術和神經網絡技術相結合的檢測林火煙霧的方法[5]。Chen等[6]提出了基于煙霧靜態特性和動態特性的檢測算法。這些方法都具有一定的局限性。其中，Shu Xueming和Khananian等提出的方法造價較高，不易推廣，袁非牛和Chen等提出的方法易受環境等因素的影響，檢測效果不佳。

因此，文中根據煙霧圖像檢測在復雜多變環境下的高隨機性，從經濟實用的角度出發，提出了基于煙霧多特征融合技術的圖像型火災檢測方法。該方法通過對指定場景進行實時監測,并對疑似火災煙霧區域進行特征融合判定，達到早期發現火險并準確定位火情的目的。

1 運動檢測

運動檢測是實現煙霧檢測的前提,文中選取背景減除法對運動區域進行檢測。背景減除法首先在Kalman濾波的基礎上根據時域遞歸低通濾波對背景進行更新和提取，再使用帶閾值的背景差分法獲取運動目標[7]。

圖1顯示了火災煙霧圖像的區域運動分割過程。

圖1 運動區域分割示

2 特征提取

2.1 煙霧輪廓不規則特征提取

火災發生時，在熱氣流的影響下，煙霧從著火點開始不斷向周圍擴散；煙霧的邊界呈現出一種不規則的狀態，而行人、汽車和動物的邊界看起來更規則，可將這一特性作為檢測煙霧和非煙物體的一個依據。

一般來說，面積相同的圖形，邊界區域越不規則其邊界長度越大。文中將圓形度[8]作為檢測煙霧和非煙物體的依據。圓形度定義為：

(1)

式中，A為圖形面積；L為圖形周長。

文中采用8向鏈碼提取周長L和面積A。通過8向鏈碼求取區域周長L的方法為：將區域像素看成點，將周長L定義為區域邊界像素的8鏈碼長度和[9]，其表達式為：

(2)

通過邊界鏈碼求取區域面積A的方法為：

(1)令點(x,y)為鏈碼起點，取橫坐標x為長度起點，縱坐標y為第一高度，并對鏈碼初始化，使長度終點等于起點。

(2)取一個新點(x1,y1)，判斷縱坐標y1是否等于y，若等于轉到步驟3，若不等于轉到步驟4。

(3)存儲y1作為新高度，并取x1作為此高度的長度起點，對鏈碼初始化，使長度終點等于長度起點。

(4)用x1與點(x1,y1)的高度的起點和終點進行比較，若x1小于起點，則將x1作為新起點；若x1大于終點，則將x1作為新終點；否則轉到步驟5。

(5)判斷是否到達鏈碼終點，若是轉到步驟6，否則進入步驟2。

(6)對每一個高度求其長度，面積等于每個高度的長度之和。

表1為部分煙霧圖像和干擾物圖像的圓形度數據。

表1 樣本圖像圓形度統計表

由上述數據可以發現；由于煙霧運動區域的無規則性，其圓形度通常大于3；行人、車輛和動物等規則物體的圓形度一般小于3；因此，可將圓形度作為BP神經網絡的第一個輸入特征用于融合判斷。

2.2 煙霧模糊特征提取

空氣中的細小顆粒不斷聚集形成了煙霧，隨著煙霧濃度的不斷增大，圖像背景開始變得模糊；在頻域上，煙霧的這種性質將會引起高頻信號的衰減[10]。因此，可將這一特性作為檢測煙霧和非煙物體的一個依據。通常，利用二維離散小波變換提取這一特征，一幅圖像經過二維離散小波變換后分解為四個四分之一大小的圖像，包括一幅低頻分量子圖像和三幅高頻分量子圖像。其中，三幅高頻分量子圖像分別體現了豎直方向(LH)、水平方向(HL)和對角方向(HH)的紋理信息。其中，低頻分量子圖像可以較完整地體現出原圖像的特征，而高頻分量子圖像只體現了原圖像的部分特征。

設一幅圖像經過二維離散小波變換得到三幅高頻分量子圖像的小波系數分別為LHn(x,y)、HLn(x,y)和HHn(x,y)，用Wn(x,y)表示三幅高頻分量子圖像的復合能量值，其公式為：

(3)

文中通過定義高頻能量衰減率來表示物體背景變模糊的程度，公式如下：

(4)

其中，en表示圖像中疑煙區域第n幀的高頻能量值；ebn表示疑煙區域對應背景圖像經二維離散小波變換后的高頻能量值；當視頻中出現煙霧時，隨著邊緣變平滑，細節信息減少，通常會使三幅高頻分量子圖像的能量值減少[11]。

表2給出了部分煙霧圖像和干擾物圖像的高頻能量衰減率數據。

表2 樣本圖像高頻能量衰減率統計

由上述數據可以發現：由于煙霧運動區域的模糊性，其高頻衰減率遠大于汽車、行人和動物等剛性物體。一般，煙霧的高頻衰減率在0.1～0.5之間；行人、汽車和動物等剛性物體的高頻衰減率小于0.1，二者具有很好的區分度。因此，可將高頻衰減率作為BP神經網絡的第二個輸入特征用于融合判斷。

2.3 煙霧紋理特征提取

紋理體現了物體表面共有的內在特征，被定義為一個區域內的屬性，反映了圖像中同質現象的視覺特性。火災煙霧在熱氣流的影響下，做著小尺度，快速的隨機運動，并會產生漂移、閃爍、擴散和相位起伏等現象，從而引起圖像序列灰度值的空間變化[12]。因此，文中選擇基于統計法中的灰度共生矩陣法提取樣本的紋理特征值，該方法是建立在圖像的二階組合條件概率密度基礎上的，具有較好的鑒別能力。

(5)

其中，#代表像元個數；k、l和m、n在各自所選的窗口內變化；一般來說位移方向有4種，即0°、45°、90°和135°，當距離為d時，其計算公式如下：

(6)

(7)

(8)

(9)

實驗表明，當灰度級L=16時，計算速度不至于太慢同時也能夠表達足夠的紋理信息，此時利用灰度共生矩陣可以得到一系列的紋理統計量[13],根據火災煙霧紋理的無方向性和像素灰度的高隨機性，選擇更能有效反映火災煙霧特征的能量和對比度作為紋理特征，其計算公式為：

(10)

(11)

文中分別計算出火災煙霧圖像和樣本圖像在0°、45°、90°和135°方向上的灰度共生矩陣，再計算出每一個方向上的能量和對比度，最后取每一個特征量在4個方向上的平均值作為識別火災煙霧的判據。部分實驗數據見表3和表4。

表3 樣本圖像能量值統計表

表4 樣本圖像對比度統計表

由表中數據可以發現：

(1)反映紋理粗糙程度的能量較小，且紋理越粗糙，能量越大；其中，火災煙霧的能量最大，動物的最小。

(2)反映紋理溝紋深淺的對比度較大，且溝紋越深，視覺效果越清晰，對比度越大；其中，火災煙霧的對比度最小，動物的最大。

(3)數據特點都符合圖像的紋理特征，并且能量和對比度都有一定的可分性，可以作為區分火災煙霧和其他干擾物的特征量。因此，將紋理中的能量和對比度作為煙霧特征進行融合判定可以更好地實現煙霧檢測。

3 實驗過程

BP神經網絡在特征融合方面具有很強的魯棒性、容錯性和準確性，并且可以處理不完整的模糊信號[14]。為了應對火災發生環境的復雜多樣性，文中將BP神經網絡用于視頻煙霧檢測，可以實現系統的準確性和實時性的統一。

3.1 煙霧檢測的BP神經網絡設計

文中采用含有一個輸入層、一個隱含層和一個輸出層的BP神經網絡。其中，輸入層節點數與樣本特征數保持一致，因此得到四個信號作為BP神經網絡的輸入信號；輸出層節點數由研究對象本身決定，文中選擇節點數為一，并采用sigmoid激發函數將輸出結果歸一化。用Y表示輸出結果，根據經驗數據，人為劃定期望輸出Y：Y∈[0,0.8]系統判定為正常，Y∈[0.8，1]系統判定為火災；隱含層節點數由公式計算得到，結果為7。公式如下：

隱含層節點數=輸入層節點數×輸出層節點數×2-1

選取各種場合下拍攝的早期火災煙霧及干擾現象的視頻序列作為學習樣本，其中含煙霧的視頻20個，行人視頻3個，動物視頻3個，車流視頻4個，每個視頻提取兩組數據，共得到60組輸入樣本。其中，序號1～40為煙霧圖像樣本，序號40～60為干擾物圖像樣本。學習訓練時，設置系統目標誤差為10-5，步長為0.001。輸入學習樣本后，使用反向傳播算法對網絡的權值和偏差進行反復的調整訓練，使輸出的向量與期望輸出向量盡可能地接近，當網絡輸出的誤差平方和小于10-5時訓練完成，保存網絡權值的偏差。表5給出了訓練樣本的部分數據；其訓練結果如圖2所示。對訓練結果觀察可得，擬合值和真實值基本吻合，其精度可以達到系統要求。

圖2 神經網絡訓練擬合圖 表5 部分神經網絡訓練樣本

樣本序號特征分量圓形度高頻能量衰減率能量對比度模式類型17.72240.26180.08261.2329(1)27.82410.28240.09491.7869(1)37.03260.32160.07272.1234(1)47.43340.38120.09201.9206(1)58.63570.27240.07481.8166(1)68.83820.32620.06241.8166(1)77.62120.42180.05371.6329(1)87.52370.44260.06862.6143(1)96.92690.21720.07290.9928(1)107.02740.24060.08361.3247(1)………………367.61790.29260.07272.0349(1)376.82070.37260.06921.4929(1)386.92320.40120.08141.6260(1)397.93120.19140.07921.7217(1)408.03410.22000.08182.1318(1)412.80860.05480.03275.4728(0)422.70780.07210.03866.2460(0)432.54720.06270.03126.2342(0)………………572.12210.04180.02189.0317(0)582.41820.05180.02149.3418(0)592.22100.04720.02269.9272(0)602.39210.04020.02129.2217(0)

經過樣本訓練得到輸入層和隱含層的權值系數矩陣為：

隱含層閾值矩陣為：

[-2.270 5 1.408 2 -0.809 2 -0.460 0 1.084 3 1.676 3 2.397 6]T

隱含層和輸出層的鏈接權值矩陣為：

[-0.652 0 -0.107 1 -0.928 4 -0.056 9

-0.413 4 0.022 8 0.010 3]

輸出層閾值矩陣為：

該樣本的實際輸出為：

3.2 測試樣本及數據分析

為了驗證文中BP神經網絡融合煙霧特征方法的有效準確性，利用訓練好的BP神經網絡對訓練樣本之外的3個火災煙霧視頻和2個干擾視頻進行測試，每個視頻提取2組數據，共得到輸入數據10組，測試數據如表6所示。

表6 測試樣本數據

由實際輸出結果可以看出，火災煙霧視頻的輸出都大于0.8小于1，其余干擾視頻的輸出都遠遠小于0.8，說明已訓練好的BP神經網絡用來檢測火災煙霧具有一定的準確性和可靠性。

4 結束語

文中基于傳統火災探測技術在某些場合的應用弱點，提出了基于視頻的火災煙霧檢測方法。首先通過運動檢測提取疑似火災煙霧區域；然后在頻域和時域的基礎上，提取出煙霧的輪廓不規則特征、模糊特征和紋理特征；最后用三層BP神經網絡對提取的特征進行融合，并對網絡視頻和拍攝視頻進行測試。

實驗結果表明：該方法具有較高的火災識別能力，利用其綜合處理的圖像輸入信號可以改進火災探測過程中信號不匹配的問題，使火災探測系統具有了自我學習自我適應的能力，即在得到樣本數據后，可以自動建立輸入與輸出的關系。同時，由于火災煙霧先與火焰出現在人們的視線里,因此，相比于傳統的火焰檢測，煙霧檢測能更早地發現火情，將損失降到最低，具有更高的可靠性和實用性。

[1] 練秋生，李 黨.融合多種特征的煙霧圖像檢測算法[J].光學技術,2009,35(4):523-528.

[2] Zhao J, Tow J, Katupitiya J.On-tree fruit recognition using texture properties and color data[C]//Proc of 2005 IEEE/RSJ international conference on intelligent robots and systems.[s.l.]:[s.n.],2005:263-268.

[3] Yuan Feiniu. A fast accumulative motion orientation model based on integral image for video smoke detection[J].Pattern Recognition Letters,2008,29(7):925-932.

[4] 袁非牛，張永明，劉士興,等.基于累積量和主運動方向的視頻煙霧檢測方法[J].中國圖象圖形學報，2008,13(4):808-813.

[5] Mena J B,Malpica J A.Color image segmentation based on three levels of texture statistical evaluation[J].Applied Mathematics and Computation,2005,161(1):1-17.

[6] Chen Thou-Ho,Yin Yen-Hui,Huang Shifeng,et al.The smoke detection for early fire-alarming system base on video processing[C]//Proceeding of the 2006 international conference on intelligent information hiding and multimedia signal processing.[s.l.]:[s.n.],2006:427-430.

[7] 嚴 勇，黃席樾，劉愛君.Kalman濾波在運動圖像背景提取及更新中的應用[J].自動化與儀器儀表，2006(2):28-30.

[8] 龔聲蓉，劉聲平，王 強.數字圖像處理與分析[M].北京:清華大學出版社,2006:213-215.

[9] Freeman H.On the encoding of arbitrary geometric configurations[J].IEEE Trans on Electronic Computers,1961，EC-10(2):260-268.

[10] Toreyin B U,Dedeoglu Y,Cetin A E.Wavelet based real-time smoke detection in video[C]//Proc of 13th European signal processing conference.[s.l.]:[s.n.],2005:653-695.

[11] 閆建強.基于DM642和圖像分析的林火煙霧檢測系統研究[D].杭州：杭州電子科技大學，2010.

[12] 冉海潮，孫麗華.基于煙氣湍流效應的火災判據[J].傳感技術學報,2001,14(1):72-74.

[13] 白雪冰，王克奇，王 輝.基于灰度共生矩陣的木材紋理分類方法的研究[J].哈爾濱工業大學學報,2005,37(12):1667-1670.

[14] 劉永鋒，李潤祥，李純斌,等.BP神經網絡和支持向量機在積溫插值中的應用[J].干旱區資源與環境，2014，28(5)：158-165.

Video Smoke Detection Based on Multi Feature Fusion Technology

LI Yue-hua,SHAN Lei,TIAN Zhong-fu,ZHU Zi-min

(College of Mechanical and Electrical Engineering,Northeast Forestry University,Harbin 150040,China)

The smoke detection is very important for the prevention of early fire,the traditional fire detection is a technology that uses a sensor to identify the flame and temperature,each sensor can only detect dispatched around the local space,for the open space and other special occasions,difficult to play a role.In order to overcome the defects of traditional fire detection has disadvantage of high false alarm rate,a fusion technology of image fire detection method based on multi feature of smoke was proposed.The method uses background subtraction method to obtain the ordinary CCD camera shooting suspected fire smoke regions at first.Then from time domain and frequency domain,the fire smoke irregular contour feature,background extraction fuzzy features and texture features are extracted as the input signals of neural network,also with the sigmoid function will output a normalized.Finally through the training of BP neural network,complete fire smoke multi feature fusion,and carry on the test of fire video network.The results show that image based fire detection method can accurately and quickly identify the fire smoke,and achieve the purpose of early warning.

smoke detection;irregular contour feature;ambiguity characteristics;texture feature;feature fusion

2015-04-01

2015-07-08

時間：2016-01-04

黑龍江省自然科學基金項目(C201244)

黎粵華(1972-)，女，副教授，研究方向為信息與網絡安全、數字圖像處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160104.1608.074.html

TP39

A

1673-629X(2016)01-0129-05

10.3969/j.issn.1673-629X.2016.01.027