利用旅行者圖的火焰視頻動態紋理分析與識別

趙亞琴

（南京林業大學 機械電子工程學院，江蘇 南京210037）

0 引 言

目前已有很多學者對火焰視頻識別進行深入研究，主要是利用靜態特征和動態特征進行火焰識別。靜態特征主要有 顏 色［1］、紋 理［2］、幾 何 形 狀［3］和 能 量［4］等 特 征；動 態特征分析主要是根據火焰的蔓延性和閃爍性，如陳磊等［5］利用小波變換提取火焰的時空能量信息；Anton等［6］研究火焰視頻的5個閃爍性特征。上述火焰識別算法通常都需要先檢測疑似火焰區域，如果疑似火焰區域檢測不準確，就直接影響到特征值的計算和火焰識別的性能。由于受光照、動態變化背景對象等干擾的影響，疑似火焰區域的檢測準確率并不總是令人滿意。火焰是屬于非剛性物體，很適合應用動態紋理來分析。Li等［7］提出一種基于光流法的火焰動態紋理檢測方法，研究建筑物內的火災視頻識別；邵婧等［8］運用線性動力系統 （LDS）模型分析火焰的動態紋理特征，但由于LDS模型采用的是簡單的線性維數約減策略，使它在分析復雜的、或場景變化較大的火災監控視頻時顯得捉襟見肘，因為這些復雜的圖像流體通常表現出非線性。本文提出一種基于旅行者行為圖論的火災視頻動態紋理分析方法，運用旅行者行為圖在3個正交平面定義了火焰視頻動態紋理函數，并由此推導了動態紋理特征提取的公式，進而建立火焰動態紋理特征向量，并詳細討論了公式中參數的選擇方案和原則。

1 火焰視頻旅行者行為圖的建立

Andre等［9］提出一種基于確定地部分自回避行為圖的圖像靜態紋理分析方法，定義了像素點的統計位置 （表示圖像中接點的連通性）和分散測度 （表示相互連接的2接點的連通關系），生成紋理特征向量。本文以火焰圖像的像素點為參觀景點，給出旅行者行為圖建立的規則如下［9，10］：

（1）對于一個像素點Vi（旅游景點），它有8領域像素點 （相鄰的8個旅游景點），從點Vi出發，按照距離最近（或最遠）的規則 （原則一旦確定，對所有像素都適用）決定下一個要參觀的相鄰像素點；

（2）設p 為旅行者記憶的最近參觀的像素點數目，則旅行者不再返回到這前p 個像素點；

（3）如果有幾個像素點同時滿足要求，順時針方向的像素優先，如圖1所示。

圖1 8鄰域點參觀順序

根據以上規則，以像素點為旅行者行為圖的景點，兩個像素點Vi和Vj之間的路徑作為行為圖的邊，用eij來表示，就可以得到旅行者行為圖。如果以規定以最近距離為原則，且p＝2，用圖2來解釋旅行者行為圖的建立過程［11］：

（1）出發點的像素值為 “52”，根據規則 （1），第二個參觀像素點為 “60”；

（2）接下來有兩個像素點的灰度值相同，同時滿足距離最小，根據規則 （3），選擇第3個參觀點為右側 “68”；

（3）與參觀點 “68”距離最近的8－近鄰點為 “60”，但是由于p ＝2，根據規則 （2），不能再返回到已經參觀過的前1個點 “60”，因此，第4個參觀的像素點為 “100”；

（4）以后依次為 “121”，“80”，“40”，“31”，最后又回到 “68”。

2 火焰動態紋理特征向量的生成

2.1 紋理分布函數

圖2 （b）中，旅行者行為圖的邊連接兩個接點，對每個像素點，都進行旅行者行為搜索，路徑開始是單向的，稱為transient路徑，用實線箭頭的表示，transient路徑邊的數目Si＝2。從第3個點開始，經過幾個點后，又回到第3個點，然后一直循環下去，稱為cycle路徑，用虛線箭頭表示，cycle路徑邊的數目Ci＝6。則旅行者行為圖的邊反映了圖像紋理，因此，定義紋理分布函數為［11］

圖2 旅行者行為

2.2 火焰動態紋理特征提取

火焰在燃燒過程中，不僅表現為顏色、紋理、形狀等靜態特征，而且還表現出復雜的動態特征，如蔓延性和閃爍性，因此，應該從視頻大粒度角度進行分析。本文將火焰視頻劃分為16×16×t的時空視頻塊，考慮到火焰的閃爍性特征，設定t＝Frate，Frate表示一個幀率。利用式 （1），定義時空視頻塊在3個正交平面XY、XT 和YT 上的紋理分布函數 分 別 為（Si，Ci），（Si，Ci）和（Si，Ci），正交平面XY的紋理函數（Si，Ci）描述了火焰的空間特征，XT和YT上的紋理分布函數（Si，Ci）和（Si，Ci）描述了火焰的動態特征，圖3給出一個時空火焰視頻塊的3個正交平面，及其在3個正交平面的紋理分布圖。

下面介紹利用動態紋理函數定義動態紋理特征向量的方法，以正交平面XY 為例，如果S＋C 是定值，則式 （1）就變為統計滿足Si＋Ci＝S＋C 的像素點的數目，則對于不同的S＋C 值，根據式 （1），定義動態紋理概率函數

式中：N——圖像中的像素點數目，p 和rule 定義與式（1）相同，δSi，S、δCi，C——克羅內克δ函數。因此，我們可以得到紋理特征向 量TPXY＝｛（0），（1），…，（n）｝，又由第1 節的旅行規則 （2）知，旅行者不能返回到最近參觀過的前p 個點，因此，cycle路徑邊的數目滿足Ci≥p＋1，對于某一個p 值，紋理特征向量可寫為

圖3 時空視頻塊的3個正交平面及紋理分布

同理，可得到XT 和YT 平面上的紋理特征向量，一個火焰時空視頻塊的動態紋理特征向量為TP＝ ｛TPXY，TPXT，TPYT｝。圖4所示為在正交平面XT 上，當p＝1，rule為最大距離時，常見的疑似火焰視頻樣本的TPXTp，rule與m 的關系曲線圖，由圖4知，火焰視頻的TPXTp，rule與類火焰顏色對象的視頻有明顯區別，說明本文提取的動態紋理特征的可行性。

2.3 火焰動態紋理特征向量參數的取值

式 （3）涉及3個參數，分別是p、rule和m。rule為決定下一個旅游景點的規則，距離最小原則側重于強調像素間的相似性，而距離最大原則更側重像素間的相異性，本文取距離最大原則；p 為旅行者記憶的最近參觀的像素點數目，對于特殊情況p＝0，旅行者好像失憶一樣，連當前觀察的景點都不記得，如果根據距離最近原則，只能參觀當前景點，對于分析紋理沒有太大的意義，因此，在本文中，令p≥1，本文取p＝1，2，…，5。m 的取值不易太大，由于紋理分析主要是分析火焰圖像的局部特性，過大的m 不僅對識別性能無益，而且會增加計算量，因此，本文取m＝4。在第4節的實驗中，對p 和rule 的不同取值進行實驗對比。由于p＝1，2，…，5且m＝4，根據式 （3）知，TPXY的維數是20維，因此，火焰視頻塊的動態紋理特征向量TP 的維數d＝60維。

2.4 計算復雜度

圖4 疑似火焰視頻的TPXTp，rule（S＋C）與m 的關系曲線

基于旅行者行為圖的XY 平面的紋理特征計算復雜度為O（N（S＋C）），其中N 為圖像幀的像素數目，S 和C 分別為transient路徑和cycle路徑的數目，在本文中，S＋C的最大值為（p＋m）＝9，本文的動態紋理分析運用了3個正交平面，因此，計算復雜度為O（3 N（S＋C）），本文提出的火焰動態特征提取算法計算復雜度低。

3 火焰視頻識別

提出檢測火焰像素的RGB模型，火焰的顏色特征滿足3個規則，本文利用前2個規則：規則1：R＞G≥B 規則2：R＞TR。其中，TR為R 通道的閾值，S 指像素的飽和度，當R＝TR時，飽和度閾值TS＝（255－R）×SR／TR。規則1和規則2說明火焰的顏色以紅色分量為主，而且與其它對象相比，火焰的R 值更大。因為火災監控視頻中的圖像幀數目是海量的，而火焰又有明顯的顏色特征，因此，為降低計算量，本文運用規則1和規則2，粗略地檢測疑似火焰視頻，去除大量的無關視頻。然后對標記為疑似火焰的視頻片段進行基于旅行者行為圖的火焰識別。

由于火焰視頻搜集困難，樣本較少，且特征向量的維數較大，因此，本文選擇SVM 作為分類器，本文提出的火焰視頻識別算法如圖5所示。

圖5 基于動態紋理分析的火焰視頻識別算法

4 實驗結果與分析

火焰檢測實驗數據一部分是自己在室外拍著的火焰視頻和干擾視頻，另一部分來自于開放的火焰視頻數據庫網站http：／／imagelab.ing.unimore.it／visor，圖 像 的 大 小 為320×240，共有26個不同的場景視頻，包含14 個正例視頻和12個反例視頻，隨機選擇其中的14 個視頻 （7 個正例，7個反例）作為訓練樣本，剩余的12個視頻 （7 個正例，5個反例）作為測試視頻。

4.1 參數p 和rule 的選擇

為選擇合適的參數p 和rule，因為時空視頻塊的大小為16×16×t，在一個視頻塊的某個正交平面中，p 的最大值只能為16，所以分別取p＝1，2，…，16，rule分別為最小距離、最大距離、最大和最小距離結合。例如當選擇p＝1，rule為最小距離時，則動態紋理特征向量為12維；當選擇p＝1，rule為最大和最小距離結合時，則動態紋理特征向量為24維，圖6顯示了當選擇不同的參數p 和rule時，本文提出算法的準確率曲線。從圖6 可以看出，隨著參數p 的增加，算法的識別準確率逐漸下降，當p＝6時，算法的最高識別準確率僅為47.1%。參數rule最小距離的識別準確率最低，與單一采用最大距離相比，最大和最小距離結合的識別率稍高些。因此，本文選擇p＝1，2，3，4，5，考慮到減少計算量，參數rule選擇最大距離。

圖6 參數p和rule取不同值時的火焰視頻識別準確率

從圖6也可以看出，參數p 取單一固定值，算法的火焰識別準確率并不是很高，因此，本文將不同的p 值生成的特征向量結合，結合方式分別為p＝（1，2），p＝（1，2，3），p＝（1，2，3，4），p＝（1，2，3，4，5），實驗結果如圖7所示。從圖7知，p＝（1，2，3，4，5）時火焰識別的正確識別率最高和誤報率最低，因此，本文選擇p＝（1，2，3，4，5）生成60維的動態紋理特征向量。

4.2 與其它算法的比較

圖7 不同的p 值組合的識別結果

現有文獻能較好描述火災火焰視頻的動態特征的方法主要有和閃爍特征［6］和光流法［7］等方法，文獻 ［8］采用LDS模型分析火焰紋理特征，因此，為驗證本文提出的基于旅行者圖的火焰動態紋理特征提取方法的有效性，與文獻［6－8］的動態特征提取方法進行比較，對于文獻 ［6］，選擇性能最好的3個閃爍特征。4種算法的火焰識別準確率和誤報率實驗結果分別見表1和表2。本文算法的火焰平均正確識別率為96.9%，平均誤報率為3.1%，優于其它3種算法，而且對于火焰區域較小的視頻Video6，如圖8（a）所示，也達到了88.1%的識別率，提高了9.8%，對于與火焰靜態、動態特征都很相似的干擾視頻Video10，誤報率僅為5.7%，降低了5.3%，圖8所示為視頻Video6和Video10的一幀。

表1 4種方法的火焰正例視頻正確識別率比較

表2 4種算法的反例視頻誤報率

圖8 Video6和Video10的視頻幀

由2.4節的分析知，本文提出的動態紋理分析算法的計算復雜度很低，為進一步驗證算法的運算效率，與上述4種動態特征提取方法的計算時間做了比較，結果如圖9所示，圖9的橫坐標表示12個測試視頻片段，縱坐標為火焰識別的運行時間，從圖9可以看出，本文的算法對于幀數目多的視頻如Video1和Video8，運算時間明顯低于其余3種算法，因此，本文的算法適合于應用在視頻數據巨大的火災視頻監控系統。

圖9 4種算法的計算時間比較

5 結束語

本文運用旅行者行為圖的原理，提出一種基于圖論的火焰紋理分布分析方法，并從視頻片段大粒度角度出發，在3個正交平面推導出火焰視頻動態紋理特征向量提取公式，并詳述了參數的選擇方案，動態特征提取不依賴于疑似火焰區域的檢測。實驗結果表明，對于具有挑戰性的火焰視頻，本文提出的動態紋理特征提取方法在提高火焰識別準確率的同時降低火災誤報率，而且本文的方法計算復雜度較低，因此，適合應用于火災視頻監控現場。

［1］Truong Tung Xuan，Kim Jong Myon.Fire flame detection in video sequences using multi－stage pattern recognition techniques［J］.Engineering Applications of Artificial Intelligence，2012，25 （7）：1365－1372.

［2］Zhao Jianhui，Zhang Zhong，Han Shizhong，et al.SVM based forest fire detection using static and dynamic features［J］.Computer Science and Information Systems，2011，8（3）：821－841.

［3］Kalpana Y，Padmaa M.An efficient edge detection algorithm for flame and fire image processing［C］／／International Conference on Communication and Signal Processing，2014：696－700.

［4］CHEN Lei，HUANG Jifeng.Flame detection method based on video［J］.Computer Engineering and Design，2014，35 （9）：669－672 （in Chinese）.［陳磊，黃繼風.基于視頻的火焰檢測方法 ［J］.計算機工程與設計，2014，35 （9）：669－672.］

［5］Panagiotis Barmpoutis，Kosmas Dimitropoulos，Nikos Grammalidis.Real time video fire detection using spatio－temporal consistency energy［C］／／10th IEEE International Conference on Advanced Video and Signal Based Surveillance，2013：365－370.

［6］Anton Stadler，Tjark Windisch，Klaus Diepold.Comparison of intensity flickering features for video based flame detection algorithms［J］.Fire Safety Journal，2014，66：1－7.

［7］Li Xiaobai，Hua Ying，Xia Ning.Fire detecting technology based on dynamic textures ［J］.Procedia Engineering，2013，52：186－195.

［8］SHAO Jing，WANG Guanxiang，GUO Wei.Fire detection based on video dynamic texture ［J］.Journal of Image and Graphics，2013，18 （6）：647－653 （in Chinese）. ［邵婧，王冠香，郭蔚.基于視頻動態紋理的火災檢測 ［J］.中國圖象圖形學報，2013，18 （6）：647－653.］

［9］Andre R Backes，Alexandre S Martinez，Odemir M Bruno.Texture analysis using graphs generated by deterministic partially self－avoiding walks［J］.Pattern Recognition，2011，44：1684－1689.

［10］Wesley Nunes Gonalves，Odemir Martinez Bruno.Dynamic texture analysis and segmentation using deterministic partially self－avoiding walks ［J］.Expert Systems with Applications，2013，40 （11）：4283－4300.

［11］Wesley Nunes Gonalves，Odemir Martinez Bruno.Dynamic texture segmentation based on deterministic partially self－avoiding walks［J］.Computer Vision and Image Understanding，2013，117 （9）：1163－1174.