基于多特征融合的煙霧檢測

吳冬梅， 李白萍， 沈 燕， 王 靜， 何 蓉

(1. 西安科技大學通信學院，陜西 西安 710054；2. 江蘇省環境監測中心，江蘇 南京 210004)

基于多特征融合的煙霧檢測

吳冬梅1， 李白萍1， 沈 燕2， 王 靜1， 何 蓉1

(1. 西安科技大學通信學院，陜西 西安 710054；2. 江蘇省環境監測中心，江蘇 南京 210004)

針對傳統火災探測技術的應用弱點，研究基于視頻的火災煙霧探測方法。首先，根據煙霧的顏色特征，提取視頻序列中的疑煙區域。然后，在疑煙區域中提取煙霧的3個動態特征——擴散特征、輪廓不規則特征和使背景模糊特征。最后，利用BP神經網絡對這些動態特征進行融合判定。實驗結果表明，基于多特征融合的煙霧檢測方法能夠準確、實時、有效地識別視頻中的煙霧。

煙霧；顏色特征；動態特征；BP神經網絡

由于傳統的基于傳感器的火災探測系統在一些大型室內空間或通風場所會容易失效，研究一種基于計算機視覺和視頻圖像處理的新型火災探測方法[1]具有重要意義。通常情況下，“煙為火始”，若能在視頻中及時地檢測到煙霧則可提供更早的火災預警。利用視頻圖像處理技術監測場景中的煙霧具有以下優點：①不受距離空間環境限制；②響應速度快；③探測直觀主動，保護面積大。而且在各式建筑物中，視頻監控系統已大量使用，利用視頻來探測火災的技術將得以推廣。

目前，國內外已經提出了 3種視頻煙霧的探測算法：①基于顏色特征的煙霧檢測[2]，利用統計像素點的信息對比確定煙霧出現的可能性。②基于變換域視頻煙霧分析技術[3]，進行小波變換后，再利用連續幀之間的動態變化差別識別煙霧區域。③基于累計運動方向模型的煙霧檢測[4]，運用

煙霧出現的趨向性對煙霧區域進行判斷。以上方法對煙霧的檢測能夠起到一定的效果，但檢測的準確性有待提高。本文針對現有方法準確性不高且適應性不強等問題，提出了將煙霧的靜態特征和動態特征相結合，利用BP神經網絡對這些特征進行融合判定，提高了煙霧檢測的準確率，多特征的融合也使適應性有了較大提高。

1 視頻煙霧檢測算法架構

視頻中的煙霧為運動目標，且煙霧具有獨特的靜態及動態特征。首先，利用混合高斯背景建模的方法提取視頻序列中的運動目標，并對其進行顏色分析和判斷，找到疑煙區域。然后，進一步在疑煙區域內分析和提取煙霧區別于其他運動物體的獨特的動態特征，即擴散特征、輪廓不規則特征和使背景模糊特征。最后，利用BP神經網絡將提取的煙霧動態特征融合，最終綜合判斷。其軟件算法流程如圖1所示。

圖1 視頻煙霧檢測算法流程

2 基于RGB空間的疑煙區域檢測

在RGB彩色模型中，強度最高的紅、綠、藍組合產生白色，而等值的紅、綠、藍相加可產生自然的灰色，較低值時產生深灰色，而高值時則產生淺灰色。為了利用顏色特征區分煙霧和其他運動物體，首先要分析煙霧顏色信息數據。經研究發現，對大部分燃燒材料，當溫度較低時，煙霧的顏色從青白色過渡到白色；隨著溫度的升高，直至燃燒，煙霧顏色逐漸加深，從灰白色過渡到灰黑色。

圖2給出了典型的煙霧圖像顏色在RGB三維空間中的分布情況，其中三維坐標分別代表R、G、B三個分量。經過一些典型煙霧顏色的數據分析，可發現煙霧的顏色基本上是分布在一條較為緊湊的窄帶中。即顏色分布在立方體的對角線上，其R、G、B三個分量值基本上相等。Chen等[5]基于此原理提出了一種煙霧顏色檢測的方法。

圖2 煙霧顏色在RGB三維空間中的分布

本文算法中煙霧顏色檢測模型是在文獻[5]的研究基礎上提出的，以下幾個準則可判斷是否有類似煙霧顏色的區域存在，從而去除一些明顯的非煙區域。具體算法分析如下：

圖3 某場景的煙霧顏色檢測效果圖

3 動態特征的提取

煙霧的視覺特征除了包含顏色、運動這些基本特征外，還有其特有的動態特征，而提取并分析煙霧的這些動態特征可進一步排除具有相似顏色的非煙物體。需重點分析煙霧擴散時面積的增加、輪廓的不規則和背景變模糊這3個動態特性。

3.1 煙霧擴散的面積增長特征

視頻中若出現了疑似煙霧區域，則將第 ti時刻煙霧疑似區域的面積記為 Ai，第 ti+k時刻的煙霧疑似區域的面積記為 Ai+k，則 Ai+k- Ai表示 ti+k時刻相對于第 ti時刻煙霧疑似區域面積發生的變化。從第 ti時刻到第 ti+k時刻煙霧疑似區域面積增長率[6]定義為：

為便于計算機程序實現，將式(4)中煙霧區域的面積用提取的像素數量來表示，而時間差用一段時間內間隔的幀的數目表示。則上式可轉化為：

式(5)中 Pi表示第 ti時刻圖像的煙霧疑似區域的總的像素數， Pi+k為第 ti+k時刻煙霧疑似區域的像素數，則dP是像素數量的變化。(i + k) -i即k表示兩幀圖像之間相隔的幀數， ΔAdi是從第i到 i+k幀之間的煙霧疑似區域的像素數目的變化率，描述了從第i幀到 i+k幀這段時間的煙霧區域的面積變化情況。歸一化面積增長率的數值，通過計算煙霧的絕對面積增長率，作為BP神經網絡的輸入，其表達式用像素數表示則為：

圖 4(a)～(d)分別為一段含煙霧的視頻的第i幀和第 i+k幀的煙霧原始視頻圖像和提取的面積，經計算，各自的連通區域的像素個數分別為 66 753個和69 101個。

圖4 煙霧面積增長特征提取

3.2 煙霧輪廓不規則特征

火災發生初期，煙霧會不停地從發煙點開始無規則地向周圍擴散，其擴散不同于其他運動物體，煙霧在運動過程中的邊緣輪廓始終呈現不規則狀態[7-8]。通過提取并計算煙霧疑似區域的邊緣長度與面積之比，實現對煙霧輪廓的形狀在擴散過程中的不規則性這一特征的判斷，判別公式如下：

式中，SEP表示被提取出來的煙霧區域的周長，通過計算邊緣像素總數來表示，STP表示被提取出來的煙霧疑似區域的面積，用包含的連通區域的像素總數描述。以圖 4的煙霧區域的兩幀圖像為例，進行邊緣提取后如圖5所示。

圖5 煙霧邊緣不規則性

圖 5(a)為第i幀圖像的輪廓，邊緣像素數為1 863個，圖 5(b)為 i+k幀圖像的邊緣，像素總數為2 714個。用該特征判據作為BP神經網絡的第

二個輸入特征。

3.3 背景模糊特征

隨著燃燒繼續，煙霧的濃度不斷提高，透明度則會降低；煙霧圖像具有半透明的特征，其他非煙霧圖像多將背景區域完全覆蓋，透過運動區域不能直接看到背景的紋理，而煙霧在未完全覆蓋整個場景之前，會使圖像的邊緣變平滑，導致圖像的邊緣和細節信息減少，與之對應的高頻分量減少[9]。用小波變換的方法來分析煙霧區域的模糊性。

一幅視頻序列圖像經二維離散小波變換后，被分解成4幅子圖像：1幅是低頻分量子圖像，3幅高頻分量子圖像分別包含了原始圖像在水平方向(HL)、豎直方向(LH)和對角方向(HH)的紋理信息，如圖6所示。

圖6 煙霧圖像的二維離散小波變換

隨著煙霧的出現以及逐漸蔓延，覆蓋并占據大幅圖像空間后，HL、LH、HH圖像的細節信息是會逐漸減少的。假設 En表示包含了視頻序列的第n幀采集圖像中所有高頻圖像的高頻能量，高頻能量的公式表示如下：

則用 en表示第n幀煙霧疑似區域圖像的高頻能量、 ebn表示煙霧疑似區域對應背景圖像經二次小波變換后的高頻能量， en和 ebn由式(8)的方法得到。▽ en表示第n幀疑似區域的圖像所對應的背景圖像的高頻能量減少的特性，即煙霧出現使圖像變模糊的特征：

當視頻中出現煙霧時，通常會使 3幅高頻分量子圖像HL、LH、HH的總能量值減少。大量試驗得出其他物體的高頻衰減一般遠小于0.1，而有煙霧出現時 ▽en的值大約為 0.2～0.8，將這一判據作為BP神經網絡的第3個輸入特征。

4 融合煙霧動態特征的神經網絡檢測

根據煙霧檢測的實際需要設計一個BP神經網絡，選取煙霧的 3個動態特征作為神經網絡的輸入，輸出為一個狀態信息。BP神經網絡的輸入：①IN1：擴散性特征；②IN2：形狀不規則特征；③IN3：背景模糊特征。輸出只有一個，輸出層用Sigmoid激發函數，使輸出值限定在0～1之間，用Out表示，判斷結果劃分為：為火災煙霧狀態；為無煙正常狀態。

BP算法的基本思想是采用最速下降法(梯度法)，使網絡輸出值與實際的期望輸出值間的誤差平方和最小[10-11]。本文中網絡用于訓練的圖像需要人為地給出輸出結果，如果圖像含有煙霧，輸出為1，對于沒有煙霧圖像，則輸出為0。

選取在各種動態環境下拍攝的早期火災煙霧及含干擾現象的視頻序列來作為網絡的學習樣本，視頻部分為自己拍攝，也有在互聯網站上下載得到的，其中含煙霧的視頻18個、同時含煙霧和火焰的視頻有3個、公路車流視頻2個、行人視頻 2個、每個視頻提取兩組數據，總共得到輸入數據50組，然后對該BP神經網絡進行了訓練，步長為0.01，訓練的次數10 000次。

5 實驗結果分析

由于目前的煙霧視頻沒有統一的視頻測試標準庫，本實驗的測試視頻來源于網絡和個人實驗拍攝，選取的視頻為各種場景下的煙霧視頻和非煙霧視頻。利用已經訓練好的BP神經網絡對訓練樣本之外的20個火災煙霧視頻和干擾視頻進行測試，提取數據40組，部分測試數據如表1所示。其中，序號7和序號9視頻為非含煙視頻，其余組中都含有煙霧，由實際輸出結果可以看出，含煙視頻均為大于0.7小于1的輸出數值，而非含煙視頻的輸出也是遠小于0.7，說明已訓練好的BP神經網絡來檢測煙霧具有較好的準確性和可靠性。

為了更直觀地說明本文基于視頻的煙霧檢測算法的整體準確有效性，將某個典型的測試視頻序列的檢測效果進行幀提取并分析如下：該段視頻總共有2 345幀，幀大小是320×240，幀率25 fps。

視頻在開始時沒有煙霧，第75幀時有人出現并在290幀的時候放出煙霧，在本段視頻中有兩個人在煙霧周圍行走，遠處有公交車駛過，并且該視頻中的行人所穿衣服的顏色和汽車的顏色都與煙霧顏色極為相近，這個過程中程序未對運動車輛和具有類似顏色的運動行人出現誤判情況。算法能夠準確并及時標注出煙霧，如圖7。

表1 部分測試樣本數據

圖7 典型視頻的檢測效果

圖8 測試視頻

由于視頻煙霧檢測尚無標準測試庫，已發表的文獻大多采用自拍的視頻煙霧進行測試，無法進行全面的定量比較。本文根據背景場景的不同、鏡頭遠近的不同，同時煙霧的濃度和其他干擾都不同，對 5個視頻進行檢測，以檢驗算法的準確性和環境適應性。圖8是測試視頻的截圖。

表2給出了煙霧幀檢測結果。幀平均準確率S依據式(10)計算。

其中，S代表視頻總幀數，F代表誤檢幀數，M代表漏檢幀數，n代表測試視頻數。計算得出此算法每幀的平均準確率在87%左右。

在以上實驗數據中，視頻播放速率為 25幀/秒，用25幀/秒作為觀測長度，若是出現單一的報警信號，則認為此視頻中的運動目標為非煙霧，對誤檢目標進行有效剔除，可避免將不存在非煙視頻檢測為煙霧視頻的情況。即對帶有煙霧視頻能夠測出目標，而對于非煙視頻做到不發生誤報。若以 4 s為檢測時間要求(從出現煙霧到發出報警信號)，對測試視頻的煙霧檢測準確率可達到99%。表明本算法具有較好的準確性、較強的實時性，環境適應性也較好。

表2 煙霧幀檢測結果

6 結 束 語

本文根據煙霧的顏色特征，提取了視頻中的疑煙區域，進而在疑煙區域中提取煙霧區別于其他物體所特有的3個動態特征，利用BP神經網絡對這些動態特征進行融合判定。經大量的實驗測試表明，融合多特征的煙霧檢測方法，只對極個別的視頻(發生源太遠且持續時間較短)出現漏判，而對大部分的視頻，程序都能在 4 s內(幀率為25 fps)做出正確的判斷，具備較好的實時性、準確性和抗干擾能力，并且對硬件資源占用少。

[1] 薄立矗. 圖像型火災探測技術及發展前景展望[J]. 武警學院學報, 2010, 26(8)： 14-16.

[2] Maruta H, Nakamura A, Yamamichi T, et al. Image based smoke detection with local hurst exponent [C]// Proceedings of 2010 IEEE 17th International Conference on Image Processing. Hong Kong, China, 2010：4653-4656.

[3] Rafiee A, Tavakoli R, Dianat R, et al. Fire and smoke detection using wavelet analysis and disorder characteristics [C]//2011 3rd International Conference on Computer Research and Development. Shanghai, China, 2011： 262-265.

[4] 袁非牛. 基于運動累積和半透明的視頻煙霧探測模型[J]. 數據采集與處理, 2007, 22(4)： 396-400.

[5] Chen T H, Kao Chengliang, Chang S M. An intelligent real-time fire-detection method based on video processing [C]//Proceedings of the IEEE 37th Annual (2003) International Carnahan Conference on Security Technology. Taipei, China, 2003： 104-111.

[6] Hong Wenbing, Peng Jianwen, Chen C Y. A new image-based real-time flame detection method using color analysis [C]//Proceedings of the 2005 IEEE International Conference on Networking, Sensing and Control. Tucson, Arizona, USA： IEEE Press, 2005： 100-105.

[7] Chen T H, Yin Y H, Huang Shifeng, et al. The smoke detection for early fire-alarming system base on video [C]//Proceedings of the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP'06). California, USA, 2006： 806-813.

[8] 文永革, 何紅洲, 李海洋. 一種改進的 Roberts 和灰色關聯分析的邊緣檢測算法[J]. 圖學學報, 2014, 35(4)：637-642.

[9] 閆建強. 基于DM642和圖像分析的林火煙霧檢測系統研究[D]. 杭州： 杭州電子科技大學, 2010.

[10] Li Zhangqing, Khananian A, Fraser R H, et al. Automatic detection of fire smoke using artificial neural networks and threshold approaches applied to AVHRR imagery [J]. IEEE Transactions on Geoscience and Remote Sensing, 2001, 39(9)： 1859-1870.

[11] 李曉歌, 邵麗紅, 李 娜. 人工神經網絡BP算法的實現[J]. 人工智能及識別技術, 2007, 23(12)： 921-923.

Smoke Detection Based on Multi-Feature Fusion

Wu Dongmei1, Li Baiping1, Shen Yan2, Wang Jing1, He Rong1

(1. Department of Communication, Xi′an University of Science and Technology, Xi′an Shaanxi 710054, China; 2. Jiangsu Envoronmental Monitoring Center, Nanjing Jiangsu 210004, China)

A new smoke detection method based on video is researched due to the weakness of the traditional fire detection technology. Firstly, according to the characteristic of the smoke color, the suspect smoke regions are extracted in video sequences. Then, looking for three dynamic characteristics of smoke in the suspected smoke area, there are three features extracted, which respectively are the growth of the area in the smoke spread, irregular contour feature of the smoke region and the background to blurred when smoke appeared. And those three dynamic characteristics are fused by a BP neural network to determine smoke or not. Test results show that the multi-feature fusion smoke detection algorithm can identify smoke in video accurately, real-time and effectively.

smoke; color feature; dynamic characteristics; BP neural network

TP 391

A

2095-302X(2015)04-0587-06

2014-12-18；定稿日期：2014-12-30

陜西省工業攻關計劃資助項目(2012K06-16)；國家自然科學基金-青年科學基金資助項目(61302133)；西安科技大學博士啟動金資助項目(2014QDJ066)

吳冬梅(1964–)，女，浙江義烏人，教授，碩士。主要研究方向為圖像壓縮、圖像識別及視頻分析等。E-mail：wdm562@163.com