基于Harris特征點檢測與跟蹤的火災煙霧識別

胡燕，王慧琴，姚太偉，賈陽

1.西安建筑科技大學管理學院，西安 710055

2.西安建筑科技大學信息與控制工程學院，西安 710055

基于Harris特征點檢測與跟蹤的火災煙霧識別

胡燕1，2，王慧琴1，2，姚太偉2，賈陽2

1.西安建筑科技大學管理學院，西安 710055

2.西安建筑科技大學信息與控制工程學院，西安 710055

針對現有的視頻火災煙霧探測方法實時性差，誤報率和漏報率都比較高的問題，在深入分析煙霧圖像特征的基礎上，發現早期煙霧運動緩慢且主要運動方向呈向上趨勢，在連續幀中像素的強度變化具有一致性的特點，通過Harris檢測算法找到強度變化劇烈和圖像邊緣的特征點，根據光流場與運動場的對應關系由成像平面中光流的變化估計煙霧的相對運動，計算運動矢量信息，實現多特征煙霧檢測。該算法是基于煙霧灰度變化的特征點作為檢測對象，大大減少了待處理的數據量，縮短了算法處理時間，綜合了煙霧的局部特性和全局特性，具有較強的魯棒性和較高的檢測準確率。

Harris；特征點；Lucas-Kanade目標跟蹤；煙霧特征；煙霧識別

1 引言

近年來，隨著經濟的發展和城市化進程加快，大空間等高層建筑不斷出現，帶來了實用美觀、通透性和采光性好的同時，也帶來了新的消防隱患。快速準確地實現大空間火災探測成為研究的熱點問題。基于視頻的火災探測技術是通過現有監控系統采集圖像，分析火焰和煙霧圖像變化特征探測火災是否發生，是火災探測領域新的研究方向，克服了傳統火災探測技術在大空間應用的局限。

火災形成初期，大多數情況下并沒有明顯的火焰信號，只存在陰燃，并伴隨大量煙霧產生，因此通過煙霧檢測能更早地實現火災的早期預警。目前，國內外對視頻煙霧檢測技術的研究尚處于初級階段。大部分檢測方法使用了煙霧的可視化特征，如顏色特征、紋理特征、邊緣不規則特征、半透明性特征、面積增長特征等，并結合信息融合技術，如SVM、模糊推理、BP神經網絡等，實現火災煙霧識別。文獻[1-5]提出了采用固定閾值的背景差分法提取前景目標。事實上，煙霧往往需要經過一定的時間才能使前景和背景之間累計足夠的差異形成潛在目標，差分閾值選取過大或過小均會造成過分割或漏分割。文獻[6-8]通過對煙霧像素建立一套色彩模型提取疑似區域，對疑似區域進行靜態和動態特性分析實現煙霧檢測。當煙霧顏色與背景對比度較低，易出現火災誤判，且難以區分顏色相近的目標。文獻[2]提取煙霧邊緣不規則性、面積增長特性和濃度變化特性，用訓練樣本構造煙霧識別SVM分類器。文獻[9]設計了用小波變換提取煙霧紋理特征作為神經網絡輸入量實現煙霧分類識別的方法。因煙霧目標具有離散性和時變性，很難選擇合理的訓練樣本，算法的準確性難以保證。文獻[10]提出的基于混合高斯模型定位目標圖像再用灰度共現矩陣法提取煙霧紋理特征的算法只能對靜止背景中的目標圖像進行分割，要區分其他運動物體，需結合諸如顏色、輪廓等特征，并且該方法不滿足視頻火災探測對實時性的要求。

為了提高煙霧識別精度和抗干擾性，本文提出了基于Harris特征點檢測與跟蹤的火災煙霧識別方法。首先用Harris[11]算法搜索只保存圖像部分數據，卻攜帶了圖像大部分信息的特征點[12]，然后用Lucas-Kanade[13]光流算法跟蹤這些特征點，獲取其運動平均偏移量，相位角分布比例和質心相對運動作為煙霧識別依據，判斷監控區域是否有火災發生。該算法不需要圖像的先驗知識，能消除光照、噪聲以及背景紋理的影響，對強度變化劇烈和圖像邊緣的特征點進行跟蹤研究，極大提高了檢測算法的魯棒性和實時性。

2 基于Harris特征點檢測與跟蹤的火災煙霧識別

煙霧是一種非剛性物體，由懸浮在空中的微小顆粒構成，在熱氣流的作用下運動相對緩慢和穩定，整體呈現向上升騰狀態。通過深入分析煙霧與干擾在圖像上表現的特征差異，采用特征點檢測與Lucas-Kanade光流跟蹤技術在限定區域連續跟蹤目標，得到相鄰幀特征點的運動矢量作為煙霧和干擾的分類依據。

2.1 Harris特征點檢測

特征點是圖像的一種重要局部特征，是二維圖像強度變化劇烈或圖像邊緣曲線上曲率極大值的點[14]。Harris特征點檢測通過計算灰度自相關函數曲率確定角點位置，即在鄰域Ω內使得式（3）取得最小值的點為跟蹤目標。此方法利用圖像像素點本身的特性直接提取特征點，不依賴于圖像的其他局部特征，速度快、實時性強。閾值T的選擇是Harris檢測法得到較理想特征點的前提，取值過大或過小均會嚴重影響下一步特征點匹配[15]。本文設定搜索窗口為5，T分別取800，200，100，處理結果如圖1所示。

圖1 T=800，200，100時特征點檢測結果

當T=800時，特征點分布密集，產生聚簇現象，數據冗余度增加。T=100時，特征點分布分散，數量太少，不能表征整個圖像特征。T=200時，特征點分布集中，數量適中，能夠完整表征整個圖像特征，容易在下一幀圖像中找到，便于目標跟蹤。

2.2 Lucas-Kanade目標跟蹤

Lucas-Kanade稀疏光流法是建立在灰度保持恒定、運動保持連續和空間保持一致的三個假設的基礎上。假設在t時刻圖像中點(x，y)的灰度為I(x，y，t)，在t+Δt時刻移動的位移為(Δx，Δy)，對應灰度為I(x+Δx，y+Δy，t+Δt)。當Δt很小時，根據灰度恒定假設條件，得到光流基本約束方程：

約束方程假設在圖像幀中點(x，y)處的光流為(u，v)，并假設在該點的一個小鄰域Ω內各點的光流基本相同。即鄰域內每一點的光流都可以用(u，v)近似，可通過Ω領域內不同點的權重計算該點的光流。

求解點(x，y)處Lucas-Kanade光流的過程就是使式（3）在(x，y)鄰域Ω內取得最小值(u，v)的過程。設鄰域Ω內共有n個像素點，使用加權最小二乘法得到點(x，y)處Lucas-Kanade光流方程組為：

其中Ixi、Iyi、Iti分別為鄰域Ω內第i個像素在x、y、t方向上的梯度值；wi為鄰域Ω內第i個像素權重。

當(ATA)滿秩時，(ATA)可逆，反映在圖像上是邊緣的角點。當跟蹤窗口的中心在圖像的角點區域時，(ATA)特性最好。正因為(ATA)在角點處有兩個大的特征向量，所以這些角點是可用于跟蹤的良好特征點。Lucas-Kanade目標跟蹤算法流程圖如圖2所示。

圖2 基于Lucas-Kanade的特征點跟蹤算法流程圖

2.3 運動目標參數提取

相鄰幀的煙霧圖像滿足Lucas-Kanade光流算法的三個假設，而且煙霧邊緣很不規則，有很多適合跟蹤的特征點。通過對這些跟蹤特征點運動參數的計算判斷是否有火災產生。

（1）平均偏移量：利用運動分割算法獲取可疑煙霧目標，并對前后兩幀運動目標的特征點進行跟蹤，得其運動偏移量。假定某一區域內有n個特征點，第i個特征點前后兩幀的坐標分別為(xi，yi)，(x′i，y′i)。偏移量記為Li，則則這一目標區域的平均偏移量Lˉ為：

（2）相位角分布比例：目標區域的運動趨勢可以通過統計這一區域目標特征點的速度矢量在[0，2π)相位區間分布情況來確定，以π/4為間隔，逆時針方向依次將[0，2π)分為8個區間。假定某一特征點i的運動矢量被分解成水平速度u和垂直速度v，其反正切值θi= arctan表示該特征點的相位角。再統計所有特征點的分布情況，由于煙霧運動基本上呈現向上運動的趨勢，反應在相位空間中是運動矢量主要集中在，即劃分的2，3區間。通過統計占這兩個區間的特征點的比例確定該目標的主運動趨勢：

其中λi為分布在第i(i=2，3)個區間特征點的個數，S為可疑目標相位角分布比例。

（3）質心相對運動：隨著舊燃燒物燃盡和新的燃燒物被點燃，煙霧區域不斷擴散并移動著位置，但是這種移動是非跳躍的，而是連續的、平滑的，相對穩定的，用此特征可以排除運動較快的干擾以及微風帶來的影響。該區域在前后幀質心相對運動坐標(ΔX，ΔY)為：

2.4 煙霧檢測準則

為了保證算法的抗干擾性和穩定性，統計連續10幀圖像的運動目標參數均值，煙霧識別規則為：

3 仿真實驗及數據分析

為了驗證算法的性能，分別在有煙和行人干擾的情況下進行了仿真實驗，視頻格式為AVI，采樣率為25 frame/s，分辨率大小為320×240，如圖3所示，運動目標參數統計如表1所示。

從表1分析可知，在一段時間內，圖3（a）運動目標參數分別為：60%滿足煙霧檢測規則；而圖3（b）運動參數分別為：不滿足式（7）。雖然行人所穿的衣服與煙霧的顏色相近，在分割時都會當做可疑運動目標被提取出來，但是行人運動的速度相對煙霧運動速度較快，在計算特征點的平均偏移量和質心相對運動坐標的橫、縱坐標值大于閾值，同時，行人在鏡頭前是由近到遠運動，表現在圖像上其的主要運動方向朝下，與煙霧在熱量的驅使下主運動方向朝上相違背，即＜80%。

圖3 火災煙霧與行人運動矢量圖

表1 火災煙霧和行人圖像運動矢量參數對比表

為了測試算法的性能，進行了模擬火災場景的現場實驗。實驗條件如下：（1）室外白天，強光直射；（2）終端處理系統鏡頭的垂直高度為9 m；（3）探測器與火源的水平距離為25 m；（4）攝像機鏡頭為4 mm；（5）燃燒盤規格為30 cm×30 cm；（6）燃燒材料：棉絮、塑料泡沫、紙質物品和樹葉；（7）干擾源：穿著與煙霧顏色相近的行人、水蒸氣。測試結果如表2所示。

表2 煙霧探測算法測試結果

實驗結果表明，該煙霧探測算法能較準確地檢測到四種點火材料產生的煙霧，響應時間均小于20 s，其中棉絮產生的煙霧出現了2次漏報，這主要是因為棉絮產生的煙霧偏白，在白天強光下易與背景融為一體，較難被檢測到。穿著與煙霧顏色相近的行人因其運動速度比煙霧的運動速度快，用式（7）易于排除；水蒸氣無論在形態還是顏色方面都與煙霧非常相似，在實際的檢測中易出現誤報。因此在以后的研究中可以考慮提高水蒸氣的檢測率。

4 結束語

傳統的火災煙霧探測是對分割后的可疑目標區域所有像素進行分析研究，往往比較耗時。本文通過對能夠表征圖像強度變化劇烈和邊緣的特征點進行跟蹤，減少了待處理的數據，提高了算法的實時性。同時對連續10幀圖像疑似目標特征點計算運動參數，可有效排除諸如光線、陰影等干擾帶來的突發影響，確保了火災煙霧識別精度。

[1]Xu Zhengguang，Xu Jialin.Automatic fire smoke detection based on image visual features[C]//International Conference on Computational Intelligence and Security Workshops，2007：316-319.

[2]Yang Jing，Chen Feng，Zhang Weidong.Visual-based smoke detecion using support vector machine[C]//Fourth International Conference on Natural Computation，2008：301-305.

[3]Toreyin B U，Dedeoglu Y，Cetin A E.Wavelet based realtime smoke detection in video[C]//13th European Signal Process Conference，2005.

[4]吳愛國，杜春燕，李明.基于混合高斯模型與小波變換的火災煙霧探測[J].儀器儀表學報，2008（8）：1622-1626.

[5]Han Dongil，Lee B.Flame and smoke detection method for early real-time detection of a tunnel fire[J].Fire Safety Journal，2009，44：951-961.

[6]Thou Ho-chen，Yen Hui-yin，Shi Feng-huang，et al.The smoke detection for early fire-alarming system based on video processing[C]//Proceedings of the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing，2006：427-430.

[7]Yuan Feiniu.A fast accumulative motion orientation model based on integral image for video smoke detection[J]. Pattern Recognition Letters，2008，29（7）.

[8]Chen T H，Yin Y H，Huang S F，et al.The smoke detection for early fire-alarming system based on video processing[C]//Proc of Intelligent Information Hiding and Multimedia Signal，2006.

[9]Cui Yu，Dong Hua，Zhou Enze.An early fire detection method based on smoke texture analysis and discrimination[C]//Congress on Image and Signal Processing，2008：95-99.

[10]任厚平，張永明，張維農，等.基于混合高斯模型定位的火災煙霧紋理特征提取[J].微計算機信息，2005，21（11）：83-85.

[11]王葳，唐一平，任娟莉，等.一種改進的Harris角點提取算法[J].光學精密工程，2008，16（10）：1995-2001.

[12]李文，郭立，袁紅星，等.多視環境下特征點提取的并行實現[J].計算機工程，2012，38（1）：182-184.

[13]于仕琪.學習OpenCV（中文版）[M].北京：清華大學出版社，2009：356-362.

[14]李淑尚，李雷達，何霽野，等.結合特征點與極諧變換的圖像拼接[J].計算機工程與應用，2013，49（3）：234-237.

[15]李歡歡，黃山，張洪斌.基于Harris與SIFT算法的自動圖像拼接[J].計算機工程與科學，2012，34（11）：104-108.

HU Yan1，2,WANG Huiqin1，2,YAO Taiwei2,JIAYang2

1.School of Management,Xi’an University of Architecture and Technology,Xi’an 710055,China
2.School of Information and Control Engineering,Xi’an University of Architecture and Technology,Xi’an 710055,China

Aiming at the problem of lower real time,higher false alarm rate and miss rate in the existing video fire smoke detection methods,the feature that early smoke movement is slow,main movement trend is upward and pixel intensity change is consistent in successive frames is found after depth analysis of smoke image characteristics.Multiple feature smoke detection is realized through the Harris detection algorithm to find intensity changes and image edge feature point, based on the optical flow and the motion field correspondence by imaging plane optical flow estimation smoke changes in relative motion,calculation of motion vector information.This algorithm based on the smoke intensity change feature point as detection object greatly reduces the amount of data and shortens processing time.Because the smoke local and global characteristics are studied and applied,the proposed algorithm has the strong robustness and high detection accuracy rate.

Harris;feature point;Lucas-Kanade target tracking;smoke features;smoke recognition

A

TP391.41

10.3778/j.issn.1002-8331.1211-0362

HU Yan,WANG Huiqin,YAO Taiwei,et al.Fire smoke recognition based on Harris feature point detection and tracking.Computer Engineering and Applications,2014,50（21）：180-183.

高等學校博士學科點專項科研基金項目（No.20126120110008）；陜西省教育廳專項科研計劃項目（No.14JK1438）；西安建筑科技大學青年科技基金項目（No.QN1125）。

胡燕（1981—），女，博士研究生，工程師，主要研究方向：信息安全和數字圖像處理；王慧琴（1970—），女，博士后，教授，博士生導師，主要研究方向：數字圖像處理、計算機與通信網絡安全、智能信息處理；姚太偉（1985—），男，碩士研究生，主要研究方向：數字圖像處理；賈陽（1988—），女，碩士研究生，主要研究方向：數字圖像處理。E-mail：huyan.nancy@163.com

2012-11-29

2013-04-11

1002-8331（2014）21-0180-04