基于圖像背景建模的電火花檢測

王鵬飛，楊余旺，夏吉安

(南京理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210094)

0 引 言

隨著經(jīng)濟(jì)社會的發(fā)展，人們對于電器設(shè)備的依賴程度日益提高。雖然這些電器設(shè)備給人們的生活帶來了極大便利，但如果它們發(fā)生漏電產(chǎn)生電火花，輕則干擾設(shè)備的正常運(yùn)作，重則引發(fā)火災(zāi)，對人們的財(cái)產(chǎn)和生命安全造成極大的威脅。由于電火花的產(chǎn)生在設(shè)備運(yùn)轉(zhuǎn)過程中無法完全避免，因此如何及時(shí)地發(fā)現(xiàn)電火花顯得尤為重要。

目前主流的電火花檢測方法包括基于單片機(jī)算法的電火花檢測方法、基于電磁感應(yīng)的電火花檢測方法和基于計(jì)算機(jī)視覺的檢測方法。前兩種方法屬于接觸式檢測，檢測范圍較窄，且提供的可用信息，如電火花產(chǎn)生的位置、大小、周圍環(huán)境等較少。基于計(jì)算機(jī)視覺的電火花檢測方法可以利用視場角較大的鏡頭進(jìn)行大范圍檢測，并且因?yàn)閳D像中包含了很多場景信息，可以通過圖像分析、機(jī)器學(xué)習(xí)、人工智能等方法將它們提取出來，有利于后續(xù)對電火花的處理，因此目前基于計(jì)算機(jī)視覺的電火花檢測方法使用較為廣泛[1]。

基于計(jì)算機(jī)視覺的檢測方法又可以分為很多種，其中使用較為廣泛的有幀差法、光流法、背景減除法[2]。這幾種方法各有利弊。幀差法算法簡單，運(yùn)行速度快，實(shí)時(shí)性好，但極易產(chǎn)生空洞、雙影等現(xiàn)象，不利于后續(xù)對提取出來的對象進(jìn)行分析；光流法無需知曉圖像的先驗(yàn)背景知識，但其算法復(fù)雜，運(yùn)行速度慢，實(shí)時(shí)性較差；背景減除法是通過構(gòu)建一個(gè)不斷更新的背景模型，將實(shí)時(shí)幀與背景模型做差得到檢測目標(biāo)，如何得到一個(gè)精確合理的背景模型是該方法的難點(diǎn)[2]。

背景減除法又可分為以下幾種方法：Heikkila等提出的背景差分法，該方法需要先選定一幅圖像作為背景模型；中值、均值法背景建模，該方法使用連續(xù)幾幀的圖像求取中值、均值建立背景模型；Kim等提出的Codebook背景建模方法，該方法為背景圖像的每個(gè)像素建立了一個(gè)碼元集；Wren等利用單高斯模型建模，該方法為背景圖像的每個(gè)像素配對了一個(gè)高斯函數(shù)；Stauffer等在單高斯模型的基礎(chǔ)上提出混合高斯模型建模(Gaussian mixture model，GMM)，使用多個(gè)單高斯模型建立背景圖像[3]。經(jīng)比較后，文中采用均值、中值背景建模，Codebook算法背景建模以及高斯混合模型建模這四種背景減除法得到初步的電火花候選區(qū)域，之后通過電火花面積特征和顏色特征分析得到最終的電火花檢測結(jié)果。

1 電火花檢測流程

提出的電火花檢測算法流程為：

(1)使用背景建模法去除視頻幀中的背景，從而進(jìn)行前景檢測；

(2)對前景區(qū)域進(jìn)行大小判別，去除不符合電火花大小特征的前景區(qū)域，得到電火花候選區(qū)域；

(3)對得到的電火花候選區(qū)域進(jìn)行顏色分析，實(shí)現(xiàn)對視頻中電火花的檢測。

1.1 前景檢測

對于視頻幀中的電火花進(jìn)行檢測時(shí)，首先需要對視頻幀中的前景進(jìn)行檢測，將得到的前景作為電火花的候選區(qū)域，這樣可以避免對整幅圖像進(jìn)行分析，減少了后續(xù)步驟的處理范圍，從而提高檢測的速率。文中分別使用了均值、中值背景建模，Codebook算法背景建模以及高斯混合模型建模這四種不同的背景建模算法進(jìn)行前景檢測。

1.1.1 均值背景建模

均值背景建模是利用相機(jī)采集到的視頻中連續(xù)的N幀，求取對應(yīng)位置像素的均值作為背景圖像對應(yīng)點(diǎn)的像素值，從而建立圖像作為下一幀的背景模型[4]。

(1)

其中，B(x,y)表示建立的背景模型中點(diǎn)(x,y)對應(yīng)的像素值；Gi(x,y)表示第i幀中點(diǎn)(x,y)對應(yīng)的像素值。

進(jìn)行電火花檢測時(shí)，將檢測幀與背景圖像進(jìn)行差分，與設(shè)定的閾值相比較，若小于閾值則該點(diǎn)為背景，反之為電火花。均值背景建模算法較為簡單，運(yùn)算速度較快，但當(dāng)選取的N幀中某些幀有電火花產(chǎn)生時(shí)，出現(xiàn)電火花的位置在背景圖像中對應(yīng)位置的像素值會產(chǎn)生一定的偏差，影響后續(xù)幀電火花檢測的準(zhǔn)確率。

1.1.2 中值背景建模

中值背景建模同樣是利用采集到的視頻中連續(xù)的N幀，對N幀中每個(gè)位置的像素值按照大小排序，選取排序后的中值作為背景圖像對應(yīng)點(diǎn)的像素值，從而建立初始的背景模型[4]。

B(x,y)=median{Gi(x,y),i=m,m+1,…,m+

n+1}

(2)

其中，B(x,y)和Gi(x,y)同式(1)。

進(jìn)行電火花檢測時(shí)，方法與均值背景建模方法相同，也是將檢測幀與背景圖像進(jìn)行差分，然后與設(shè)定的閾值相比較，若小于閾值則該點(diǎn)為背景，反之為電火花。中值背景建模可以較好地排除存在電火花幀的干擾，但仍存在一定的可能性將電火花的像素值作為背景對應(yīng)位置的像素值，且該方法需進(jìn)行多次排序，運(yùn)算速度稍慢于均值建模方法。

1.1.3 Codebook算法背景建模

Codebook算法的思想是假設(shè)所有的背景像素值都分布在碼元圓柱體內(nèi)，碼元圓柱體表面就構(gòu)成了一個(gè)判別界面，落在碼元圓柱體表面的即為前景像素，如圖1所示。為介紹后續(xù)碼元的匹配，引入兩個(gè)概念：顏色失真度以及亮度函數(shù)[8]。

顏色失真度為：

(3)

其中

‖xi‖2=R2+G2+B2

亮度函數(shù)為：

brightness(I,)=‖xi‖∈

Ihi>

(4)

δ=colordist(xi,vi)≤ε

(5)

其中

Ilow=αImin

ε，α，β為先驗(yàn)參數(shù)。

Codebook算法背景建模的詳細(xì)過程如下[6]：

(1)碼本清空。

(2)計(jì)算訓(xùn)練視頻幀中每個(gè)像素的亮度值，并根據(jù)式(7)和式(8)尋找與該值匹配的碼元。

(3)若碼本為空或未能成功匹配碼元，則在碼本中創(chuàng)建對應(yīng)的新的碼元，若匹配成功則更新對應(yīng)碼元的內(nèi)容。

(4)訓(xùn)練完成后，利用每個(gè)碼元未成功匹配的最大時(shí)間間隔進(jìn)行冗余碼元的消除，從而得到初始的背景圖像碼本。

進(jìn)行電火花檢測時(shí)，將檢測幀每個(gè)點(diǎn)的信息與該點(diǎn)在背景圖像中所對應(yīng)的碼本中的碼元進(jìn)行匹配，若匹配成功即表明該點(diǎn)為背景，否則該點(diǎn)為電火花[9-10]。

圖1 Codebook算法示意圖

1.1.4 混合高斯背景建模

混合高斯模型是在單高斯模型的基礎(chǔ)上建立的，可以將混合高斯模型理解為多個(gè)單高斯模型的集合[11]。基于混合高斯模型的方法的基本過程如圖2所示。

圖2 混合高斯背景建模算法流程

混合高斯模型為每個(gè)像素建立K個(gè)高斯分布模型，通常為3～5個(gè)。假設(shè)X={x1,x2,…,xt}是背景圖像中一個(gè)像素點(diǎn)對應(yīng)的采樣值，xi(1≤i≤t)，則觀察到當(dāng)前像素值xi的概率為：

(6)

后續(xù)將當(dāng)前像素值與第i個(gè)高斯模型進(jìn)行匹配時(shí)需要比較該像素值與第i個(gè)高斯分布的2.5倍標(biāo)準(zhǔn)差，如果滿足|xt-μi,t|≤2.5×σi,t-1，則表明此像素與該高斯模型相匹配，反之則說明該像素不屬于該高斯型[14]。對于成功匹配當(dāng)前像素的高斯模型需要更新對應(yīng)的參數(shù)，更新規(guī)則如下：

ωi,t=(1-α)×ωi,t-1+α

(7)

μi,t=(1-ρ)×μi,t-1+ρ×xt

(8)

(9)

其中，α為參數(shù)更新速率；ρ的計(jì)算方式如下：

(10)

對于未能成功匹配的高斯模型，其均值和方差保持不變，權(quán)值按式(11)進(jìn)行調(diào)整[15]。

ωi,t=(1-α)×ωi,t-1

(11)

這樣操作之后使得有較多像素相匹配的模型的權(quán)值增加，與較少像素相匹配的模型的權(quán)值減少，更新完權(quán)值后，通常還需進(jìn)行歸一化操作。若當(dāng)前像素與現(xiàn)有模型均不相匹配，則根據(jù)當(dāng)前像素創(chuàng)建一個(gè)新模型，若此時(shí)模型數(shù)已達(dá)上限K個(gè)，則用新的模型取代ω/σ最小的模型。然后將得到的K個(gè)模型按ω/σ從大到小的順序排列，取滿足式(12)的前B個(gè)高斯模型作為背景模型。

(12)

進(jìn)行電火花檢測時(shí)，將檢測幀每個(gè)點(diǎn)的信息與各高斯模型逐一匹配，與任一模型匹配成功即表明該點(diǎn)為背景，否則該點(diǎn)為電火花。

1.2 面積分割

對于圖像中的電火花檢測僅通過背景減除法得到的前景目標(biāo)還不足以準(zhǔn)確地檢測到電火花，拍攝過程中可能會有其他運(yùn)動目標(biāo)，如行人、動物等，經(jīng)過這些運(yùn)動目標(biāo)均會對電火花的檢測造成一定的干擾。考慮到電火花相對于大部分干擾目標(biāo)而言面積較小，因此先對提取出的前景圖像按照目標(biāo)的連貫性劃分候選子區(qū)域，之后對各子區(qū)域中目標(biāo)面積大小進(jìn)行分析，根據(jù)設(shè)定的閾值得到更新后的電火花候選區(qū)域。

1.3 顏色特征分析

僅根據(jù)前景目標(biāo)面積大小就判定目標(biāo)為電火花是不夠嚴(yán)謹(jǐn)?shù)模€需在此基礎(chǔ)上進(jìn)一步判斷其顏色特征以確定目標(biāo)是否為電火花。通過在RGB空間和YCbCr空間的顏色特征綜合判斷目標(biāo)是否為電火花。

1.3.1 RGB顏色空間電火花像素規(guī)則

RGB顏色模式是通過R(紅)、G(綠)、B(藍(lán))三個(gè)顏色通道的變化及相互混合疊加來表示自然界中的各種顏色。電火花像素在RGB顏色空間中對應(yīng)的B通道的顏色值大于R通道和G通道的顏色值，R通道和G通道的顏色值近似相等。根據(jù)這些性質(zhì)和大量實(shí)驗(yàn)分析，在RGB空間中為電火花像素建立了如下判別式：

B>G≈R

(13)

Rmean>Rt;Gmean>Gt;Bmean>Bt

(14)

其中，Rmean、Gmean、Bmean分別表示電火花候選子區(qū)域R、G、B三個(gè)通道的均值；Rt、Gt、Bt分別表示R、G、B三個(gè)通道的閾值。

滿足上述公式的區(qū)域即為電火花候選區(qū)域，設(shè)置對應(yīng)的Frgb為1，否則為0。

1.3.2 YCbCr顏色空間電火花像素規(guī)則

YCbCr是一種主要用于數(shù)字電視系統(tǒng)的顏色空間，與需要三個(gè)獨(dú)立視頻信號同時(shí)傳輸?shù)腞GB視頻信號相比，YCbCr進(jìn)行了一定的壓縮，節(jié)約了大量的頻寬。其中Y為亮度組件，Cb和Cr為色度組件，它與人類的視覺很相近，人眼對亮度變化的捕捉能力極其敏銳，而電火花的亮度遠(yuǎn)高于周圍環(huán)境，因此可以利用該特性更好地分析圖像，提取電火花目標(biāo)。YCbCr可以通過線性變換與RGB空間進(jìn)行相互轉(zhuǎn)換，轉(zhuǎn)換規(guī)則如下[15]：

Y=0.299·R+0.587·G+0.114·B

(15)

Cr=(R-Y)·0.713+δ

(16)

Cb=(B-Y)·0.564+δ

(17)

R=Y+1.403·(Cr-δ)

(18)

G=Y-0.714·(Cr-δ)-0.344·(Cb-δ)

(19)

B=Y+1.773·(Cb-δ)

(20)

其中，δ的取值取決于圖像的深度，8位圖像δ取128，16位圖像δ取32 768，浮點(diǎn)圖像δ取0.5。

因RGB空間中亮度對于R、G、B三個(gè)通道都有一定的依賴性，因此不能將亮度與色度分割開，但用色度表示電火花的顏色的魯棒性要優(yōu)于用亮度表示電火花的顏色，而YCbCr顏色空間也正好滿足此特性。RGB空間中建立的電火花判斷規(guī)則移植到Y(jié)CbCr空間表示為[15]：

Y(i,j)>Ymean

(21)

Cb(i,j)

(22)

Cr(i,j)>Crmean

(23)

其中，Ymean、Cbmean和Crmean為圖像在YCbCr空間三個(gè)通道的均值；Y(i,j)、Cb(i,j)和Cr(i,j)為位置(i,j)的像素所對應(yīng)的三個(gè)通道的值。

滿足上述公式的區(qū)域即為電火花候選區(qū)域，設(shè)置對應(yīng)的FYCbCr為1，否則為0。

1.3.3 綜合判斷

在單一顏色空間下進(jìn)行電火花判斷存在一定的誤差性，因此將RGB空間和YCbCr空間的判定結(jié)果相結(jié)合，僅當(dāng)Frgb和FYCbCr均為1時(shí)，認(rèn)為候選區(qū)域確實(shí)為電火花，這樣可以在一定程度上提高檢測的準(zhǔn)確性。

2 實(shí)驗(yàn)結(jié)果及分析

對于文中設(shè)計(jì)的電火花檢測算法，首先分別使用均值、中值背景建模，Codebook算法背景建模以及高斯混合模型建模這四種不同的背景建模算法提取出初步的電火花候選區(qū)域，然后對得到的候選區(qū)域進(jìn)行面積分割和RGB顏色空間和YCbCr顏色空間顏色特征分析，并對四種方法得到的實(shí)驗(yàn)結(jié)果進(jìn)行比較分析。

在Inter Core i5-2320 CPU平臺上，在MATLAB R2015a開發(fā)環(huán)境中實(shí)現(xiàn)了該電火花檢測算法，并選擇了兩段拍攝環(huán)境差異較大的視頻進(jìn)行實(shí)驗(yàn)測試。其中Darkroom1.avi和Darkroom2.avi是在暗室環(huán)境中錄制的，視頻中電火花背景較為簡單，Open env1.avi和Open env2.avi是在開放環(huán)境中錄制的，視頻中電火花背景較為復(fù)雜。

圖3和圖4為部分實(shí)驗(yàn)結(jié)果圖(為方便呈現(xiàn)結(jié)果，圖片均經(jīng)過裁剪，只保留關(guān)鍵部分)，方框內(nèi)為經(jīng)識別后標(biāo)記的火花區(qū)域。圖3為Darkroom2.avi中的一火花幀經(jīng)四種不同方法處理后得到的火花區(qū)域，結(jié)果表明在暗室環(huán)境下，這四種方法得到的火花區(qū)域大致相同。圖4為Open env1.avi中的一火花幀經(jīng)四種不同的方法處理后得到的火花區(qū)域，從識別結(jié)果可以看出，在開放環(huán)境下均值背景建模與中值背景建模檢測出的火花區(qū)域有一定的誤差，兩者均將圖片右上角的非火花區(qū)域識別為火花區(qū)域，且識別出的火花范圍較后兩種方法小；Codebook背景建模方法與混合高斯背景建模方法識別出的火花范圍較為準(zhǔn)確。

完整的實(shí)驗(yàn)結(jié)果如表1所示。從表中可以獲悉，當(dāng)電火花檢測背景較為簡單時(shí)，四種方法的準(zhǔn)確率相差無幾，但使用均值背景建模或者中值背景建模方法時(shí)其每幀的處理速度要遠(yuǎn)快于使用Codebook背景建模和混合高斯背景建模方法。當(dāng)電火花檢測的背景較為復(fù)雜時(shí)，Codebook背景建模和混合高斯背景建模這兩種方法的準(zhǔn)確度遠(yuǎn)高于均值背景建模和中值背景建模，且混合高斯背景建模檢測的準(zhǔn)確率略高于Codebook背景建模，均值背景建模和中值背景建模的方法準(zhǔn)確率較低，不適用于復(fù)雜環(huán)境下的電火花檢測。

根據(jù)上述實(shí)驗(yàn)結(jié)果可得，對于背景單一的電火花檢測環(huán)境可使用均值或中值背景建模的方法來進(jìn)行處理，運(yùn)行速度快，且精度較高；對于復(fù)雜背景下的電火花檢測，為了達(dá)到較高的檢測精度，則需要犧牲檢測速度，使用Codebook背景建模或者混合高斯背景建模的方法，若對檢測精度有非常高的要求，混合高斯背景建模的方法更為適用。

圖3 Darkroom2.avi視頻中電火花幀截圖及各方法實(shí)驗(yàn)結(jié)果

圖4 Open env1.avi視頻中電火花幀截圖及各方法實(shí)驗(yàn)結(jié)果

背景建模方法視頻總幀數(shù)準(zhǔn)確檢測幀數(shù)漏檢幀數(shù)誤檢幀數(shù)準(zhǔn)確率/%平均處理時(shí)間/(ms/幀)均值背景建模Darkroom1.avi5310528761799.5717.32Darkroom2.avi6052601762999.4217.26Openenv1.avi36133289531991.0318.29Openenv2.avi42183808840290.2818.31中值背景建模Darkroom1.avi5310529351299.6818.14Darkroom2.avi6052602971699.6218.27Openenv1.avi36133387222493.7418.97Openenv2.avi42183886633892.1318.86Codebook背景建模Darkroom1.avi531052938999.6858.32Darkroom2.avi605260349999.7058.26Openenv1.avi3613355565298.3959.21Openenv2.avi4218415356098.4659.16混合高斯背景建模Darkroom1.avi531052957899.7260.57Darkroom2.avi605260378799.7560.49Openenv1.avi3613357952999.0661.23Openenv2.avi4218418163199.1260.45

3 結(jié)束語

針對檢測電器漏電產(chǎn)生的電火花，提出了基于計(jì)算機(jī)視覺的四種檢測方法，這四種方法使用不同的算法進(jìn)行背景建模，然后對圖像進(jìn)行差分得到初步的電火花候選區(qū)域，接著對候選區(qū)域根據(jù)電火花的面積特征進(jìn)行分割，最后進(jìn)行顏色特征分析，從而得到檢測幀中的電火花區(qū)域。實(shí)驗(yàn)結(jié)果表明，四種方法對于電火花檢測有著各自的適用場景。均值、中值背景建模算法運(yùn)行速度很快，但僅對電火花檢測背景簡單、單一的情況適用，對于復(fù)雜背景下的電火花檢測則需要使用速度相對較慢的Codebook背景建模法和混合高斯背景建模法，其中混合高斯背景建模法的檢測精度要略高于Codebook背景建模法的精度。目前如何針對不同的場景使用合適的檢測方法還需要人為判斷，如何利用算法識別場景，根據(jù)檢測環(huán)境的復(fù)雜程度自適應(yīng)地選擇最為適宜的方法將是日后重點(diǎn)研究的方向。

[1] MARUTA H,NAKAMURA A,YAMAMICHI T,et al.Image based smoke detection with local hurst exponent[C]//Proceedings of 17th IEEE international conference on image processing.[s.l.]:IEEE,2010:4653-4656.

[2] SHON D,KANG M,SEO J,et al.Early fire detection using multi-stage pattern recognition techniques in video sequences[C]//Proceedings of frontier and innovation in future computing and communications.[s.l.]:[s.n.],2014:161-168.

[3] 劉 鑫,劉 輝,強(qiáng)振平,等.混合高斯模型和幀間差分相融合的自適應(yīng)背景模型[J].中國圖象圖形學(xué)報(bào),2008,13(4):729-734.

[4] CHENY T,CHEN C S,HUANG C R,et al.Efficient hierarchical method for background subtraction[J].Pattern Recognition,2007,40(10):2706-2715.

[5] WU M,PENG X.Spatio-temporal context for codebook-based dynamic background subtraction[J].International Journal of Electronics and Communications,2010,64(8):739-747.

[6] PAL A,SCHAEFER G,CELEBI M E.Robust codebood-based video background subtraction[C]//Proceedings of international conference on acoustics speech and signal processing.Dallas,USA:IEEE,2010.

[7] 郭春生,王 盼.一種基于碼本模型的運(yùn)動目標(biāo)檢測算法[J].中國圖象圖形學(xué)報(bào),2010,15(7):1079-1083.

[8] SIGARI M H,FATHY M.Real-time background modeling/subtraction using tow-layer codebook model[C]//Proceedings of international multi-conference on engineers and computer scientists.Hong Kong,China:[s.n.],2008.

[9] 葉 勇,管業(yè)鵬,李晶晶.基于混合高斯模型與碼本算法的前景目標(biāo)檢測[J].計(jì)算機(jī)工程,2012,38(5):1-4.

[10] 張 軍,代科學(xué),李國輝.基于HSV顏色空間和碼本模型的運(yùn)動目標(biāo)檢測[J].系統(tǒng)工程與電子技術(shù),2008,30(3):423-427.

[11] ZIVKOVIC Z.Improved adaptive Gaussian mixture model for background subtraction[C]//Proceedings of 17th international conference on pattern recognition.[s.l.]:IEEE,2004:28-31.

[12] DRD R.Gaussian mixture models[J].Encyclopedia of Biometrics,2009,3(4):93-105.

[13] WANG Yanjiang.An improved adaptive background modeling algorithm based on Gaussian mixture model[C]//Proceedings of international conference on signal processing.[s.l.]:IEEE,2009.

[14] LUO Jinmian,ZHU Juan.Adaptive Gaussian mixture model based on feedback mechanism[C]//Proceedings of international conference on computer design and applications.Chengdu,China:[s.n.],2010.

[15] 余家奎.基于視頻的火花和煙霧檢測算法研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2015.