基于運(yùn)動(dòng)和亮度顯著性的森林煙霧分割方法

趙楠 王曉薇

摘? 要：本文提出了一種基于運(yùn)動(dòng)和亮度顯著性檢測(cè)的煙霧區(qū)域分割方法，目的是解決傳統(tǒng)的運(yùn)動(dòng)檢測(cè)方法對(duì)于樹葉抖動(dòng)、攝像機(jī)抖動(dòng)等不顯著的運(yùn)動(dòng)區(qū)域比較敏感的問題。采用低秩結(jié)構(gòu)化稀疏分解方法提取前景區(qū)域，然后計(jì)算煙霧的顯著性，以便進(jìn)一步分離。我們提出一種基于自適應(yīng)參數(shù)的群稀疏魯棒標(biāo)準(zhǔn)正交子空間學(xué)習(xí)（ROSL）的顯著性測(cè)量方法。實(shí)驗(yàn)表明，該方法能夠很好地處理大范圍的煙霧視頻，并能獲得較好的煙霧檢測(cè)結(jié)果。

關(guān)鍵詞：煙霧分割;運(yùn)動(dòng)顯著性;亮度顯著性;群稀疏ROSL

中圖分類號(hào)：TP399? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

A Forest Smoke Segmentation Method based on

Saliency of Motion and Brightness

ZHAO Nan， WANG Xiaowei

（Software College， Shenyang Normal University， Shenyang 110034， China）

17624050721@163.com; wangxwvv@gmail.com

Abstract： This paper proposes a smoke region segmentation method based on motion and brightness saliency detection， aiming at problems that traditional motion detection methods are sensitive to insignificant motion regions such as leaf shake and camera shake. The low-rank structured sparse decomposition method is used to extract foreground area， and then smoke saliency is calculated for further separation. We propose a saliency measurement method for group-sparse Robust Orthogonal Subspace Learning （ROSL） by virtue of adaptive parameters. Experiments show that the proposed method can work well on a wide range of smoke videos， and obtain better smoke detection results.

Keywords： smoke segmentation; motion saliency; brightness saliency; group-parse ROSL

Abstract： This paper proposes a smoke region segmentation method based on motion and brightness saliency detection， aiming at problems that traditional motion detection methods are sensitive to insignificant motion regions such as leaf shake and camera shake. The low-rank structured sparse decomposition method is used to extract foreground area， and then smoke saliency is calculated for further separation. We propose a saliency measurement method for group-sparse Robust Orthogonal Subspace Learning （ROSL） by virtue of adaptive parameters. Experiments show that the proposed method can work well on a wide range of smoke videos， and obtain better smoke detection results.

Keywords： smoke segmentation; motion saliency; brightness saliency; group-parse ROSL

1? ?引言（Introduction）

森林火災(zāi)探測(cè)與預(yù)防是一門重要的學(xué)科，因?yàn)樗鼘?duì)人類的生命和財(cái)產(chǎn)有著重大的影響。然而由于人類活動(dòng)的廣泛性和自然環(huán)境的多變性等因素的影響，森林火災(zāi)具有突發(fā)性并且時(shí)有發(fā)生[1]。森林火災(zāi)一旦發(fā)生，便會(huì)很快擴(kuò)散蔓延，造成林木資源成片燒毀，森林中動(dòng)植物受害，引發(fā)一系列不可預(yù)估的問題[2]。煙霧作為火災(zāi)或火焰爆發(fā)前的早期階段，應(yīng)及時(shí)探測(cè)到，為救援爭(zhēng)取更多時(shí)間。近年來，基于視覺的煙霧探測(cè)方法因其優(yōu)于常規(guī)的電離或光電探測(cè)方法而受到越來越多的關(guān)注。基于視覺的煙霧檢測(cè)技術(shù)大多采用模式識(shí)別范式，通過運(yùn)動(dòng)檢測(cè)將候選煙霧區(qū)域從背景中分割出來[3]，或者對(duì)輸入圖像/視頻進(jìn)行預(yù)處理并分塊[4]。這些技術(shù)高度依賴于識(shí)別出可靠煙霧信息的視覺特征。因此，識(shí)別候選煙霧區(qū)域是基于視覺的煙霧檢測(cè)的關(guān)鍵組成部分。在本文中，我們提出了一種基于運(yùn)動(dòng)和亮度顯著性的煙霧分割檢測(cè)方法，采用群稀疏ROSL方法[5]進(jìn)行低秩背景和稀疏前景的分解，分別采用結(jié)構(gòu)化稀疏法和群稀疏法進(jìn)行煙霧成分提取。

2? 基于運(yùn)動(dòng)和亮度顯著性的煙霧分割（Smoke segmentation based on motion and brightness saliency）

本文提出的方法采用低秩、結(jié)構(gòu)稀疏分解模型和全局顯著性計(jì)算方法對(duì)候選煙霧區(qū)域進(jìn)行遮擋，然后計(jì)算煙霧顯著性，以評(píng)估煙霧區(qū)域的可能性。使用ROSL方法，通過運(yùn)動(dòng)顯著性檢驗(yàn)從背景中得到前景異常值，在實(shí)驗(yàn)室顏色空間中對(duì)煙霧的亮度值進(jìn)行了分析，亮度顯著性計(jì)算進(jìn)一步確定了顯著煙霧區(qū)域，采用群稀疏ROSL方法對(duì)煙霧區(qū)域進(jìn)行最終判定。

2.1? ?候選煙霧區(qū)域分離

通過將觀察到的視頻分解為前景和背景，可以與其他運(yùn)動(dòng)物體一起提取出粗糙的候選煙霧區(qū)域。分解模型可以表示為：

X是視頻的觀察矩陣（n幀，每幀m像素），B和E分別表示背景和前景矩陣。對(duì)B和E的分解性質(zhì)進(jìn)行了研究，通常假設(shè)背景圖像之間是線性相關(guān)的，形成一個(gè)低秩矩陣，而前景被認(rèn)為是稀疏的異常值。因此，低秩背景和稀疏前景的分解可以通過最小化矩陣B的秩和矩陣E的非零項(xiàng)的分?jǐn)?shù)來解決。SHU等人提出了一種ROSL方法，將普通標(biāo)準(zhǔn)正交子空間下的低秩矩陣B表示為：

背景矩陣的低秩表示通常能有效地吸收某些自然變化。考慮到煙霧區(qū)域的微弱痕跡應(yīng)保留在背景中，對(duì)下采樣圖像序列進(jìn)行稀疏誘導(dǎo)范數(shù)法，提取出一致且顯著的煙霧區(qū)域。在這里，我們對(duì)顯著煙霧區(qū)域檢測(cè)的算法為：

2.2? ?顯著性計(jì)算

2.2.1? ?全局顯著性計(jì)算

人類視覺對(duì)像素值較大的前景非常敏感，而能夠保持在顯著區(qū)域的像素值較小的區(qū)域必須滿足高斯分布。為了實(shí)現(xiàn)煙霧顯著性圖，我們首先計(jì)算煙霧候選區(qū)域的全局顯著性圖，這里使用全局閾值來過濾前景中的噪聲：

2.2.2? ?運(yùn)動(dòng)顯著性計(jì)算

初始運(yùn)動(dòng)顯著性圖的公式如下：

煙霧通常會(huì)緩慢移動(dòng)，從而使某些像素屬于同一移動(dòng)煙霧區(qū)域。它們?cè)诰植可暇哂邢嗨频奶卣鳎@使得A像素在B幀中其相鄰像素都是顯著的情況下，喪失顯著性的可能性很大。為了減少像素丟失對(duì)運(yùn)動(dòng)對(duì)象的影響，我們通過進(jìn)一步考慮空間信息來優(yōu)化初始運(yùn)動(dòng)顯著性的結(jié)果，使用高斯函數(shù)對(duì)像素點(diǎn)進(jìn)行召回，如下所示：

在不丟失顯著圖像素的情況下，本文將設(shè)置為，這樣就可以調(diào)出距離為的顯著圖附近的丟失像素。

為了去除一些絕對(duì)值較小的顯著性像素，采用自適應(yīng)閾值選擇措施，假設(shè)顯著性映射中的像素滿足高斯分布，還需要剔除一組超出人類視覺感知范圍的值更小的像素。因此，去除噪聲的自適應(yīng)閾值如下：

2.2.3? ?亮度顯著性計(jì)算

為了進(jìn)一步確認(rèn)早期煙霧顯著性圖，有許多顏色模型來描述煙霧以增強(qiáng)煙霧區(qū)域，而不是分割從而抑制非增強(qiáng)區(qū)域。在著火的初期，悶燒總是在火焰之前發(fā)生。煙霧成分主要是焦油球，其吸光度比煙灰顆粒弱，因此其顏色大部分為灰白色，在實(shí)驗(yàn)室空間中，“L”的亮度維度可以很好地匹配人類對(duì)亮度的感知。因此，在進(jìn)行總體顯著性運(yùn)動(dòng)檢查之后，我們進(jìn)一步增強(qiáng)了實(shí)驗(yàn)室顏色空間中的煙霧顯著性運(yùn)動(dòng)區(qū)域，提出了一種基于L維亮度分析的煙霧增強(qiáng)算法。

灰色的亮度值從L=80到H=220可以增強(qiáng)煙霧區(qū)域與其他暗區(qū)的聯(lián)系。我們將這個(gè)范圍從L*=0到H*=255非線性地重新映射成一個(gè)新的范圍。

隨著的增加，黑暗區(qū)域和明亮煙霧之間的對(duì)比度變得更強(qiáng)。我們?cè)O(shè)置。通過這種增強(qiáng)，可以消除外部的亮度，同時(shí)看起來輸出圖像的對(duì)比度得到改善。我們還通過將替換為相應(yīng)的亮度值，以獲得亮度顯著性圖。

經(jīng)過此過程，我們可以通過將亮度顯著性與上述前景的運(yùn)動(dòng)顯著性相關(guān)聯(lián)來獲得煙霧顯著性：

由于我們已經(jīng)得到了全局顯著性圖，在全局顯著性區(qū)域內(nèi)，通過分別計(jì)算運(yùn)動(dòng)顯著性圖和亮度顯著性圖的像素值來計(jì)算運(yùn)動(dòng)顯著性圖和亮度顯著性圖的平均顯著性值和。最終煙霧的平均顯著性值為這兩個(gè)平均顯著性值的和：

2.3? ?群稀疏ROSL用于顯著煙霧區(qū)域分割

通過煙霧顯著性計(jì)算，篩選出符合人眼視覺系統(tǒng)的顯著煙霧區(qū)域。為了更廣泛地提取煙霧區(qū)域，采用了一種帶有自適應(yīng)正則化參數(shù)的群稀疏ROSL方法，確保所有遵守運(yùn)動(dòng)和亮度顯著性的煙霧區(qū)域都可以捕獲到異常值矩陣。我們?cè)O(shè)對(duì)應(yīng)的B為：

表示第i域相對(duì)于所有區(qū)域中最小值的平均顯著性值。我們?cè)O(shè)，對(duì)最終的煙霧檢測(cè)進(jìn)行群稀疏ROSL：

本文利用IALM求解凸優(yōu)化問題。為了解決群稀疏問題，我們利用一組軟閾值運(yùn)算符對(duì)拉格朗日函數(shù)進(jìn)行最小化。軟閾值（GS[·]）運(yùn)算符表示為：

我們測(cè)試了視頻的不同幀，以上所有這些步驟保證了一個(gè)完整的顯著且濃密的煙霧區(qū)域，而且可能性很高，并且不受背景運(yùn)動(dòng)的干擾。

3? 實(shí)驗(yàn)及結(jié)果分析（Experiments and results analysis）

在本節(jié)中，通過實(shí)驗(yàn)證明了我們的方法能夠有效地進(jìn)行顯著煙霧分割，從較高的準(zhǔn)確率和較低的誤報(bào)率的意義上看，能夠更好地進(jìn)行煙霧檢測(cè)。

3.1? ?煙霧分割

我們專注于森林早期煙霧檢測(cè)，煙霧視頻是從公共視頻剪輯中收集或自己拍攝的。利用七個(gè)具有不同挑戰(zhàn)的視頻進(jìn)行實(shí)驗(yàn)，評(píng)估了所提出的煙霧分割方法的性能。

我們將所提出的方法與其他常用的方法進(jìn)行比較，包括LIU的方法[6]、JIA的方法[7]、ROSL[5]、GMM[8]、ViBe[9]。通過實(shí)驗(yàn)得知，Liu的方法和本文提出的方法能夠容忍更多的背景運(yùn)動(dòng)，而其他方法由于攝像機(jī)抖動(dòng)而在前景中留下過多的背景信息。Jia的方法通過增強(qiáng)煙霧亮度圖像來識(shí)別煙霧區(qū)域，利用增強(qiáng)后的圖像和運(yùn)動(dòng)能量對(duì)疑似煙霧區(qū)域進(jìn)行估計(jì)，更多的非煙霧明亮區(qū)域被過濾掉。但是，由于攝像機(jī)抖動(dòng)等原因，對(duì)于動(dòng)態(tài)背景的場(chǎng)景來說，魯棒性不強(qiáng)。在使用結(jié)構(gòu)化稀疏和運(yùn)動(dòng)顯著性檢查方面，LIU的方法要優(yōu)于JIA的方法。此外，亮度顯著性計(jì)算使分割更加關(guān)注類煙區(qū)域，從而在檢測(cè)出煙霧之前可以過濾掉其他一些物體。研究表明，其他方法在剛體檢測(cè)方面有一定的優(yōu)勢(shì)，但在復(fù)雜的森林環(huán)境和煙霧透明變化區(qū)域的檢測(cè)中都不能很好地實(shí)現(xiàn)。