一種基于塊的視頻煙霧檢測算法

李文輝, 肖林廠, 王 瑩, 傅 博, 劉培勛

(吉林大學 計算機科學與技術學院, 長春 130012)

火災嚴重威脅人類的生命和財產安全, 因此及時檢測和預防火災具有重要意義[1]. 目前, 較成熟的火災探測方法有感煙、 感溫、 感光等探測技術. 這些基于傳感器的探測技術要求探測器必須安裝在起火點附近, 且檢測依據單一, 易受監控環境的面積、 濕度和氣流等因素影響. 因此, 傳統火災探測器的應用范圍受到較大限制.

為了克服傳統火災探測器的缺點, 人們開始致力于基于視頻圖像的火災探測研究[2-5]. 通過分析火焰的顏色、 運動信息及狀態等, 進行綜合判斷以確定是否有火災發生. 在火災監控中, 煙霧檢測對于實現早期火災預警具有重要意義. 相比于火焰, 煙霧的顏色、 梯度等信息表現更不明顯, 因此, 良好的特征是實現煙霧檢測的關鍵. 文獻[6]通過減背景法及顏色信息確定潛在煙霧區域, 并采用Lucas Kanade光流法對潛在區域提取運動信息; 文獻[7]利用2層小波變換的LH,HL,HH高頻子帶研究對背景高頻信息產生的衰減, 并使用一維小波分解分析煙霧邊界像素的閃爍變化, 同時檢驗YUV顏色空間中U和V通道值的變化; 文獻[8]將煙霧運動匯集成一條分形曲線, 并提出一種森林火災初期的自動探測方法; 文獻[9]通過建立煙霧顏色模型并結合動態擴散特征給出了早期火災預警； 文獻[10]提出一種隧道煙火檢測算法, 該算法先對連續若干幀建立運動歷史圖像, 再依據各運動區域的不變矩變化情況判斷是否有煙霧發生; 文獻[11]提出一種采用小波變換算法進行分析且支持向量機的煙霧檢測方法.

上述方法通常是以像素點為單位, 對整個運動區域進行煙霧特征檢測, 而當煙霧與其他運動物體并存時, 檢測效果并不理想. 為克服上述缺點, 本文在分析煙霧特征的基礎上, 提出一種基于運動塊及連通域的煙霧檢測算法. 該算法通過分析各個由運動塊組成的連通域的運動方向及能量變化情況等, 可有效排除煙霧視頻中的非煙霧運動物體, 且能夠快速、 準確地檢測到煙霧的出現.

1 疑似煙霧區域的提取

1.1 運動塊提取

良好的運動檢測能有效縮小檢測范圍, 提高檢測效率. 運動區域提取算法目前主要有背景減除法[12]、 光流法[13]和幀差法[14]. 背景減除法常用于固定攝像機監控視頻運動目標的檢測系統中, 但當場景不穩定時, 背景更新速度通常滯后于場景的變化; 光流法對噪聲較敏感, 且對硬件要求很高, 實時性和實用性較差; 幀差法適用于提取運動明顯的物體運動區域, 提取前景輪廓清晰. 火災發生初期, 由于受熱氣的影響, 煙霧不停地向外飄散, 運動方向和速度變化較大, 運動性明顯, 使用幀差法較合適. 幀差法的基本思想是計算相鄰幀間對應像素點灰度值之差的絕對值, 即

(1)

其中：Td表示設定閾值；Fn(x,y)表示輸入的第n幀圖像；Dn(x,y)表示運動提取結果, 運動的像素點標記為1.

設Video1～Vidoe12為本文測試視頻. 圖1(A)為Video6的第375幀采用以像素點為單位的幀差法提取的運動區域. 由圖1(A)可見, 運動區域中存在較多噪聲點, 且分割出的運動目標不完整. 為了改善運動提取效果, 本文以塊為單位進行幀差. 基于塊的幀差法: 先將圖像分割成每個大小為N×N的塊bij(N的取值通常由視頻分辨率決定,i和j分別為行和列的編號), 再根據塊之間差值的絕對值確定運動區域, 即

(2)

其中：Tb表示設定閾值, 與塊的大小有關；Bn(i,j)表示塊運動提取結果, 運動的塊標記為1.

圖1 運動塊提取結果Fig.1 Results of moving blocks extraction

取N=8,Tb=200. 圖1(B)為采用塊幀差法提取的運動塊. 由圖1(B)可見, 其中仍存在一定的噪聲塊, 部分由噪聲塊構成的連通域面積較小. 通過分析煙霧的顏色信息知, 煙霧區域內像素點R,G,B三者平均值E(x,y)滿足100≤E(x,y)≤230. 為進一步減少噪聲, 先計算每個運動塊內的E(x,y), 并統計每個運動塊內E(x,y)滿足閾值的像素點個數Nl, 對運動塊提取結果做如下更新：

(3)

然后采用八連通方式對保留的運動塊提取連通域, 設R1,R2,…,Rn表示提取到的連通域, 若Ri(1≤i≤n)內運動塊個數小于10, 則將Ri作為噪聲處理. 圖1(C)為經過上述處理后保留的由運動塊組成的連通域. 由圖1(C)可見, 噪聲被有效地抑制.

1.2 基于連通域的運動估計

由于圖1(C)中仍存在部分由非煙霧運動構成的連通域, 因此為進一步減少非煙霧區域的干擾, 本文通過計算各連通域Ri的主運動方向和運動偏差確定是否保留Ri, 最后保留的所有連通域構成疑似煙霧區域.

煙霧在熱量驅動下, 通常是從下向上運動. 因此, 文獻[15]通過建立主運動方向累計模型進行煙霧檢測. 但在風的影響下, 煙霧有時會左右飄動, 所以不應只考慮向上運動的煙霧. 本文在考慮多級主運動方向的基礎上, 結合運動偏差對每個連通域進行運動估計.

1.2.1 主運動方向估計 圖2為離散運動方向, 每塊周圍的8個方向分別編碼為1～8. 先對連通域中各運動塊進行運動方向估計.

圖2 離散運動方向Fig.2 Discrete direction of motion

估計方法： 對Ri中各運動塊分別計算其與周圍8個離散方向塊的絕對灰度差:

Sn(i,j,θ)=In(x,y)-In-l(x+i×N,y+j×N),

(4)

其中：i和j分別表示水平和垂直單位偏移量, 根據方向位置的不同而變化, 如在45°方向,i,j分別為1,1；θ為與(i,j)相對應的方向編碼；I(x,y)表示塊累計灰度值, 絕對灰度差越小, 表明兩塊運動關聯越大. 如果θ(x,y)為絕對灰度差最小塊所對應的方向編碼, 則將θ(x,y)作為塊的運動方向估計值. 通過分析易知, 塊的運動方向與θ(x,y)相反, 因此對θ(x,y)進行如下修正, 其中mod為取余數運算：

(5)

連通域內出現次數最多的運動方向為其主運動方向. 由于煙霧的運動特性, 其主運動方向編碼通常為1～5. 對Ri內各方向的出現次數進行統計后, 記θR為其主運動方向.

1.2.2 運動偏差 定義運動偏差為當前塊與周圍8個方向塊絕對灰度差的最小值, 運動偏差d(x,y)的大小決定了塊的運動方向估計值及兩個塊的接近程度.

圖3為煙霧與行人連通域內各運動塊的運動偏差對比曲線. 由圖3可見, 煙霧的運動偏差整體較低, 通常小于100； 而行人運動塊中, 運動偏差值整體偏大. 某塊d(x,y)過大, 說明該塊運動方向不明顯或為非煙霧運動塊, 則將該塊標記為運動異常塊. 由于煙霧的平滑特性, 各塊累計灰度值較接近, 煙霧連通域內運動異常塊個數所占比例小. 若Ri內運動異常塊個數較多, 則將該連通域作為噪聲處理. 因此, 可以通過檢測連通域Ri的運動偏差平均值及運動異常塊所占比例的大小, 確定其是否為疑似煙霧區域. 通過下式計算Ri的運動異常塊所占比例值λR和平均運動偏差值DR：

(6)

其中Ml和M分別表示Ri中運動異常塊和運動塊個數. 若1≤θR≤5且λR和DR滿足閾值, 則保留Ri.

圖3 運動偏差對比曲線Fig.3 Curves of motion deviation comparison

2 基于疑似區域的煙霧特征檢測

2.1 基于小波變換的高、 低頻能量分析

由于監控圖像中煙霧使其覆蓋區域變得模糊, 即區域的邊緣和細節信息減少, 而邊緣和細節對應圖像中的高頻信息, 從而導致該區域的高頻能量被削減, 低頻能量增加. 因此, 文獻[7]利用2層小波變換研究煙霧對背景高頻信息產生的衰減. 但在實際應用中, 受環境等因素的影響通常無法建立準確的背景模型. 通過研究不同條件下的背景表明, 對于單一背景, 非疑似煙霧區域通常為背景的一部分, 其高低頻能量均值與背景接近； 對于復雜背景, 其高、 頻能量值較大, 當煙霧未完全遮擋背景時, 非煙霧區域的高頻能量均值與煙霧區域對比明顯. 因此, 本文通過比較疑似煙霧區域相對非疑似區域的高、 低頻能量均值變化情況實現煙霧檢測. 對于較平滑的背景, 高頻能量變化一般不明顯, 因此在計算時應排除非疑似區域中的平滑部分, 以提高變化率.

空域小波變換系數的空間分布與原始圖像的空間分布具有很好的對應關系, 因此本文使用二維離散小波, 并選用db4小波函數作為基波函數對圖像進行分解, 以方便在不同尺度上觀察圖像信息, 分解結果如圖4所示.

圖4 小波分解結果Fig.4 Results of wavelet transform

由圖4可見, 在分解后得到的4個子圖像中, LL區表現圖像的低頻部分, 稱為信息子圖; HL,LH和HH區域分別包含水平方向(HL)、 垂直方向(LH)和對角方向(HH)的邊緣信息, 表現圖像的高頻部分. 小波分解后各子圖像中塊的寬和高為原塊大小的1/2. 計算高、 低頻能量值和判斷煙霧特征步驟如下.

1) 計算每個像素的低頻能量值Lwn(x,y)和高頻能量值Hwn(x,y)：

(7)

2) 計算每個子塊的低、 高頻能量值ELB,EHB, 其中bij為分割后的子塊：

(8)

4) 計算疑似煙霧區域與非疑似區域低頻和高頻能量平均值的比值：

(9)

5) 煙霧特征判斷. 圖5為疑似煙霧區域相對非疑似區域的高頻能量變化對比曲線. 由圖5可見, 煙霧高頻能量的衰減程度明顯大于風扇, 其衰減系數小于0.3. 由于煙霧的出現導致高頻能量削減、 低頻能量增加, 因此將γL和γH作為煙霧判斷特征值, 定義當γL>1.0,γH<0.3時, 疑似區域滿足該特征.

圖5 高頻能量變化曲線Fig.5 Curves of high-frequency energy fluctuation

2.2 運動保持性

圖6 主運動方向Fig.6 Main motion orientation

煙霧區域多是向上或左右運動, 因此在煙霧區域滿足該運動趨勢的運動塊所占比例較大, 且主運動方向編碼θ滿足1≤θ≤5. 該運動特性具有保持性, 即連續若干幀的煙霧運動區域維持滿足該特性. 圖6為Video1和Video7中部分幀的主運動方向示意圖, 箭頭所指方向為主運動方向. 由圖6(A)～圖6(D)可見, 煙霧運動區域在連續幀間保持上述特性; 而圖6(E)～圖6(H)中的車輛燈光運動區域并不滿足該特征.

針對當前圖像的每個運動塊, 統計各個運動方向出現的次數Hθ(1≤θ≤8), 并進行如下計算：

(10)

其中：θ表示當前圖像的主運動方向；δ表示向上運動的運動塊所占比例；M表示當前圖像中運動塊個數. 如果M=0, 則θ,δ賦予0. 當1≤θ≤5且δ>0.8時, 當前圖像滿足運動特性, 統計與該幀相鄰的前24幀圖像不滿足運動特性的次數α, 當α

3 實驗結果

實驗環境為CPU Intel Core(TM)2 Duo E7200 2.53 GHz, 內存1 G, 視頻分辨率為320×240. 本文實驗中的部分煙霧及干擾視頻來源于土耳其Bilkent大學機器視覺研究室(http://signal.ee.bilkent.edu.tr/VisiFire/)和視頻監控在線資源庫(http://imagelab.ing. unimore.it/visor/video_categories.asp), 其余來源于互聯網及自行錄制. 圖7為本文測試視頻庫的場景顯示, 從左至右、 從上至下依次為Video1～Video12, 其中: Video1～Video6為煙霧視頻; Video7～Video9為室外車燈和行人等; Video10～Video12分別為室內變化的燈光、 擺動的風扇和飄動的窗簾.

圖7 測試庫場景顯示Fig.7 Scenes of test video library

實驗1基于連通域的煙霧特征分析.

取N=8,λR=0.8,DR=100. 圖8為疑似煙霧區域提取結果, 其中(A)和(C)為根據運動檢測提取的運動區域, (B)和(D)為對各連通域進行運動估計后得到的疑似煙霧區域. 由圖8可見, 通過對各連通域進行特征分析, 可以有效排除非煙霧運動物體的干擾, 進一步縮小檢測范圍, 提高后續檢測特征的區分度.

圖8 疑似煙霧區域提取結果Fig.8 Results of candidate smoke region extraction

實驗2疑似區域煙霧特征檢測.

若在1 s的圖像序列內至少一幀檢測出煙霧, 則認為該序列存在煙霧. 定義r+和r-分別表示檢測率和誤檢率：

(11)

(12)

根據煙霧特性, 定義煙霧的判斷依據為γL>1.0,γH<0.3,A=2, 對各視頻的疑似區域進行煙霧特征檢測. 表1列出了視頻檢測結果, 其中煙霧視頻的檢出時間指從煙霧出現至被檢出的時間, 干擾視頻的誤報次數為整個干擾視頻中出現的報警次數, 處理速度為整段視頻的平均處理速度. 由表1可見, 本文算法實時性好, 能在煙霧出現的2 s內檢測到煙霧, 且很少產生誤報. 表2列出了本文算法與文獻[7,15]關于檢測率和誤檢率的對比結果. 由表2可見, 文獻[7]中基于點的算法對復雜背景或類似煙霧運動物體會產生較多誤報, 如Video7和Video10, 且煙霧檢測率低, 特別是受光照影響時, 如Video3； 文獻[15]由于考慮運動方向單一, 對如Video4中左右飄散的煙霧檢測率低； 相對于文獻[7,15], 本文基于塊且融合多特征的算法能有效排除燈光、 行人等因素的干擾, 誤報率低, 并提高了對大中型煙霧的檢測率, 但對小型或較淡煙霧, 由于提取的運動塊個數較少, 還需考慮更多有效途徑提高檢測率, 如Video1和Video4.

表1 視頻檢測結果

表2 不同算法的檢測率和誤檢率對比結果

綜上所述, 本文在分析火災發生初期煙霧特征的基礎上, 提出一種基于運動塊的視頻煙霧檢測算法, 通過分析由各運動塊構成連通域的運動估計結果篩選疑似煙霧區域, 并計算了疑似煙霧區域高、 低頻能量均值變化情況及運動保持性以確定是否有煙霧發生. 實驗結果表明, 當煙霧發生時, 該算法可有效排除其他運動物體的干擾, 并能在煙霧出現2 s內檢測到煙霧, 檢測率高, 實時性強. 但由于該算法主要針對煙霧動態特征進行檢測, 所以對運動不明顯的煙霧, 檢測效果有待改進.

[1] Haase P, Motik B. A Mapping System for the Integration of OWL-DL Ontologies [C]//Proceedings of the Firstinternational ACM Workshop on Interoperability of Heterogeneous Information Systems (IHIS’05). New York: ACM Press, 2005: 9-16.

[2] Yamagishi Hideaki, Yamaguchi Junichi. Fire Flame Detection Algorithm Using a Color Camera [C]//Proceedings of 1999 International Symposium on Human Science and Micromechatronics. Nagoya, Japan: IEEE Industrial Electronics Society, 1999: 255-260.

[3] T?reyin B U, Dedeoglu Y, Güedüekbay U, et al. Computer Vision Based Method for Real-Time Fire and Flame Detection [J]. Pattern Recognition Letters, 2006, 27(1): 49-58.

[4] Turgay Celik, Hasan Demirel. Fire Detection in Video Sequences Using a Generic Color Model [J]. Fire Safety Journal, 2009, 44(2): 147-158.

[5] WANG Ying, LI Wen-hui. High-Precision Video Flame Detection Algorithm Based on Multi-feature Fusion [J]. Journal of Jilin University: Engineering and Technology Edition, 2010, 40(3): 769-775. (王瑩, 李文輝. 基于多特征融合的高精度視頻火焰檢測算法 [J]. 吉林大學學報: 工學版, 2010, 40(3)： 769-775.)

[6] YU Chun-yu, FANG Jun, WANG Jin-jun, et al. Video Fire Smoke Detection Using Motion and Color Features [J]. Fire Technology, 2010, 46(3): 651-663.

[7] T?reyin B U, Dedeoglu Y, Cetin A E. Wavelet Based Real-Time Smoke Detection in Video [C]//13th European Signal Processing Conference(EUSIPCO2005). Antalya, Turkey: Curran Associates, 2005.

[8] Jerome Vicente, Philippe Guillemant. An Image Processing Technique for Automatically Detecting Forest Fire [J]. International Journal of Thermal Sciences, 2002, 41(12): 1113-1120.

[9] CHEN Thou-ho, YIN Yen-hui, HUANG Shi-feng, et al. The Smoke Detection for Early Fire-Alarming System Base on Video Processing [C]//Proceedings of the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing. California: IEEE Computer Society, 2006: 427-430.

[10] Dongil Han, Byoungmoo Lee. Flame and Smoke Detection Method for Early Real-Time Detection of a Tunnel Fire [J]. Fire Safety Journal, 2009, 44(7): 951-961.

[11] Jayavardhana Gubbi, Slaven Marusic, Marimuthu Palaniswami. Smoke Detection in Video Using Wavelets and Support Vector Machines [J]. Fire Safety Journal, 2009, 44(8): 1110-1115.

[12] Collins R, Lipton A, Kanade T. A System for Video Surveillance and Monitoring [C]//Proceedings of 8th International Topical Meeting on Robotics and Remote Systems. Pittsburgh, USA: American Nuclear Society, 1999: 1-15.

[13] Barron J L. On Optical Flow [C]//Artificial Intelligence and Information-Control Systems of Robots (AIICSR’94). Bratislava, Slovakia: [s.n.], 1994: 3-14.

[14] LIU Yang-yang, SHEN Xuan-jing, WANG Yi-qi, et al. Design and Implementation of Embedded Intelligent Monitor System Based on ARM [J]. Journal of Jilin University: Information Science Edition, 2011, 29(2): 158-163. (劉陽陽, 申鉉京, 王一棋, 等. 基于ARM的智能監控系統的設計與實現 [J]. 吉林大學學報: 信息科學版, 2011, 29(2): 158-163.)

[15] YUAN Fei-niu. A Fast Accumulative Motion Orientation Model Based on Integral Image for Video Smoke Detection [J]. Pattern Recognition Letters, 2008, 29(7): 925-932.