王進(jìn)成,張捷,趙高鵬,呂明
(1.南京理工大學(xué) 自動(dòng)化學(xué)院,南京210094;2.南京北方信息產(chǎn)業(yè)集團(tuán)有限公司 產(chǎn)品研發(fā)中心)
本雙波段視頻火災(zāi)探測(cè)系統(tǒng)綜合可見(jiàn)光與紅外線的視場(chǎng)信息,根據(jù)火焰的靜態(tài)和動(dòng)態(tài)特征,對(duì)火災(zāi)進(jìn)行探測(cè),并判斷火災(zāi)等級(jí)。該系統(tǒng)采用DSP與ARM雙系統(tǒng)組合的硬件系統(tǒng),在算法中實(shí)現(xiàn)了多個(gè)火焰目標(biāo)的穩(wěn)定跟蹤和識(shí)別,且采用基于圖像輪廓的算法,增強(qiáng)系統(tǒng)實(shí)時(shí)性,能夠準(zhǔn)確、快速地對(duì)火災(zāi)進(jìn)行探測(cè)。
硬件系統(tǒng)采用DSP與ARM雙系統(tǒng)組合,DSP用于圖像處理,ARM用于通信與報(bào)警。該系統(tǒng)以TM320DM642為核心,由一路CCD攝像頭和另一路配有濾波片和衰減片的CCD攝像頭組成,分別采集兩路視頻信號(hào),一路為可見(jiàn)光視頻信號(hào),另一路為紅外視頻信號(hào),經(jīng)視頻解碼器TVP5150芯片轉(zhuǎn)換為BT.656格式的數(shù)字信號(hào),送入TM320DM642進(jìn)行處理。
一方面,將處理后的視頻圖像寫入輸出幀緩沖FIFO中,控制視頻編碼芯片SAA7121,將其轉(zhuǎn)換為PAL或NTSC標(biāo)準(zhǔn)制式的模擬電視信號(hào)輸出,并采用內(nèi)置小型網(wǎng)絡(luò)視頻轉(zhuǎn)換器的方式實(shí)現(xiàn)以太網(wǎng)傳輸和視頻監(jiān)控功能。另一方面,通過(guò)一定的算法處理,提取出目標(biāo)信息,對(duì)采集的信息進(jìn)行處理判別,將判別信號(hào)通過(guò)RS232上傳給LPC2368,LPC2368通過(guò)CAN總線再進(jìn)行報(bào)警等操作。圖1為系統(tǒng)硬件結(jié)構(gòu)示意圖。
系統(tǒng)軟件流程圖如圖2所示。軟件系統(tǒng)以40 ms作為

圖1 系統(tǒng)硬件結(jié)構(gòu)示意圖
一幀處理時(shí)間單位。首先,從紅外攝像頭得到現(xiàn)場(chǎng)紅外分布影像,確定高溫區(qū)域,并進(jìn)行火焰形態(tài)特征的判斷,之后再根據(jù)普通攝像頭的可見(jiàn)光信息在對(duì)應(yīng)疑似火焰的高溫區(qū)域內(nèi)尋找顏色信息,判斷當(dāng)前高溫區(qū)域是否包含有火焰。通過(guò)紅外攝像圖確定高溫區(qū)域,接著確定疑似火焰的區(qū)域,再通過(guò)普通攝像頭再次驗(yàn)證其顏色信息,即對(duì)兩者的信息根據(jù)位置進(jìn)行融合處理,使程序得到進(jìn)一步更加穩(wěn)定可靠的判斷,并減少程序運(yùn)算量。最后,將火焰區(qū)域標(biāo)記出來(lái)并顯示,判別是否為穩(wěn)定火焰,從而進(jìn)行分級(jí)報(bào)警。

圖2 系統(tǒng)軟件流程圖
2.2.1 回滯二值化模塊
根據(jù)紅外攝像頭的成像特點(diǎn)(亮度高的代表現(xiàn)場(chǎng)的物體發(fā)射或反射出更多的紅外線),通過(guò)一定的閾值從紅外攝像頭產(chǎn)生的圖像中選取亮度高的像素點(diǎn),即圖像中溫度高的物體,再對(duì)溫度高的物體進(jìn)行形體特征方面的選擇。其中,每個(gè)像素點(diǎn)的顏色可以用Rn(紅色)、Gn(綠色)、Bn(藍(lán)色)三個(gè)分量來(lái)表示,那么該像素點(diǎn)的平均亮度[1]為:

由于圖像是由光的模擬量轉(zhuǎn)化為感光器上的數(shù)字量,所以會(huì)由最小分辨率產(chǎn)生像素值的跳動(dòng)誤差。對(duì)此,進(jìn)行回滯二值化處理,設(shè)定高于上限的為目標(biāo)點(diǎn),低于下限的為非目標(biāo)點(diǎn),介于中間的為上一幀的結(jié)果。
2.2.2 輪廓掃描算法模塊
圖像二值化后,得到眾多疑似高溫像素點(diǎn)構(gòu)成的連通域(以下稱為疑似高溫區(qū)域)。輪廓掃描算法就是按照從左上到右下的順序掃描整幅圖像,得到每個(gè)疑似火焰區(qū)域的所有邊界點(diǎn)的位置,并將其保存在邊界位置緩存中,為下面各特征的計(jì)算做好準(zhǔn)備。在這個(gè)過(guò)程中同時(shí)記錄疑似火焰區(qū)域的邊界長(zhǎng)度(即區(qū)域周長(zhǎng))以及疑似火焰區(qū)域的所有像素點(diǎn)的橫坐標(biāo)的最大、最小值和縱坐標(biāo)的最大、最小值(即為疑似區(qū)域的左上角和右下角的點(diǎn)坐標(biāo)),分別保存在邊界位置緩存和掃描區(qū)域緩存中。
輪廓掃描算法采用四鄰域掃描法。首先,依照行方向依次進(jìn)行掃描,如果遇到疑似火焰的像素點(diǎn)(以下簡(jiǎn)稱“像點(diǎn)”),則開始進(jìn)行輪廓掃描。按照四鄰域的方式進(jìn)行掃描,按上、下、左、右4個(gè)方向進(jìn)行順時(shí)針掃描,如果過(guò)程中遇到新的像素點(diǎn),則將新的像素點(diǎn)標(biāo)記為當(dāng)前像素點(diǎn),把其在內(nèi)存的位置信息放入緩存,并記錄此時(shí)該像素點(diǎn)的移動(dòng)方向,將其反方向作為下一個(gè)點(diǎn)的起點(diǎn)方向。如果過(guò)程中沒(méi)有遇到新的像素點(diǎn),則將方向取反,重新開始當(dāng)前像素點(diǎn)的四鄰域掃描,此種情況說(shuō)明掃描過(guò)程遇到單線程的阻塞,不能繼續(xù)掃描,此時(shí)需要將當(dāng)前像素點(diǎn)的起點(diǎn)方向取其相反方向,這時(shí)程序會(huì)按照相反的方向掃描下去,直到遇到邊界起點(diǎn),該區(qū)域掃描結(jié)束。
該區(qū)域掃描結(jié)束后,需要確定下一個(gè)掃描區(qū)域,那么下一個(gè)掃描區(qū)域的起點(diǎn)應(yīng)該是跨過(guò)當(dāng)前已掃描區(qū)域之后的第一個(gè)點(diǎn)。因此,需要首先判斷掃描開始點(diǎn)是否為當(dāng)前已掃描區(qū)域內(nèi)的新像素點(diǎn)。如果是,就需要從當(dāng)前行開始找第一個(gè)不是該區(qū)域內(nèi)的點(diǎn)。重新開始掃描;如果不是,就從當(dāng)前點(diǎn)開始掃描。
2.2.3 疑似火焰區(qū)域識(shí)別算法模塊
疑似火焰區(qū)域匹配算法的主要作用是對(duì)各幀視頻信號(hào)中的物體進(jìn)行匹配,以確定前后幀的物體是否為同一物體。算法的內(nèi)容就是將當(dāng)前幀的各疑似區(qū)域分別與前一幀的所有可疑區(qū)域進(jìn)行匹配,若滿足匹配條件,則將前一幀被匹配的區(qū)域的識(shí)別編號(hào)轉(zhuǎn)移到當(dāng)前幀的該區(qū)域;若不滿足匹配條件,則將該區(qū)域的掃描編號(hào)凍結(jié)一段時(shí)間,并從編號(hào)池中選擇最小的且沒(méi)有被凍結(jié)和用過(guò)的編號(hào),作為該區(qū)域的識(shí)別編號(hào)。每次掃描后,各個(gè)區(qū)域會(huì)被從1開始進(jìn)行編號(hào),該編號(hào)為掃描編號(hào),匹配后各個(gè)區(qū)域會(huì)被貼上識(shí)別編號(hào)。
2.2.4 判別火焰算法模塊
判別疑似火焰區(qū)域算法的主要作用是根據(jù)提取到的邊界信息和區(qū)域信息等進(jìn)行統(tǒng)計(jì),計(jì)算出各特征值,以確定疑似火焰區(qū)域。
攝像頭由疑似火焰像素點(diǎn)提取算法和輪廓掃描算法得到攝像頭中疑似火焰區(qū)域。疑似火焰區(qū)域中包含的識(shí)別像素點(diǎn),可能是真實(shí)的火焰,也可能是滿足二值化選擇條件的物體。同時(shí),判別算法可以識(shí)別穩(wěn)定的小火和不穩(wěn)定的大火,這兩種火焰與被識(shí)別的非火焰具有一些較明顯的區(qū)別。此外,還要設(shè)置一個(gè)預(yù)存的編號(hào)區(qū)域緩存區(qū)。程序中緩存設(shè)置的是50個(gè)編號(hào)的統(tǒng)計(jì)數(shù)據(jù)緩存,根據(jù)這些特點(diǎn)可以選擇出3種不同的火焰區(qū)域和非火焰區(qū)域。
火焰算法需要經(jīng)過(guò)三步:實(shí)時(shí)保存數(shù)據(jù)、實(shí)時(shí)處理緩存數(shù)據(jù)、判別。
第一步,采集實(shí)時(shí)數(shù)據(jù)放入緩存中保存。該緩存就是判別數(shù)據(jù)緩存,緩存區(qū)中保存對(duì)應(yīng)識(shí)別火焰編號(hào)的一系列信息,包括平均亮度、底部位置、高度及其變化、周長(zhǎng)及其變化、面積及其變化、尖角[2]個(gè)數(shù)及其變化和圓形度等。其中:

其中,Hi為連續(xù)若干幀中各幀圖像中同一疑似火焰區(qū)域的高度值,μ為該疑似火焰區(qū)域高度的平均值。

其中,σ為高度的標(biāo)準(zhǔn)差值。

其中δ為高度的標(biāo)準(zhǔn)差率。疑似火焰區(qū)域周長(zhǎng)、面積的標(biāo)準(zhǔn)差率的計(jì)算方法同高度標(biāo)準(zhǔn)差率,分別以各幀圖像中同一疑似火焰區(qū)域的周長(zhǎng)值Li、高度值Si代替。

其中,Cn為疑似火焰區(qū)域n的圓形度值,Sn、Ln為該疑似火焰區(qū)域的面積和周長(zhǎng)。這些緩存區(qū)分成一定數(shù)量的供對(duì)應(yīng)識(shí)別編號(hào)保存數(shù)據(jù)的小緩存區(qū)。
第二步,將實(shí)時(shí)的緩存數(shù)據(jù)中的內(nèi)容進(jìn)行計(jì)算得到用于判別的數(shù)據(jù)內(nèi)容。運(yùn)行時(shí),對(duì)于編號(hào)N的緩存內(nèi)容,同時(shí)取出對(duì)應(yīng)于每一個(gè)判據(jù)中的緩存數(shù)據(jù)進(jìn)行運(yùn)算。運(yùn)算過(guò)程中,按照判據(jù)的需求計(jì)算編號(hào)N的每一個(gè)判據(jù)對(duì)應(yīng)緩存區(qū)的數(shù)據(jù)均值、標(biāo)準(zhǔn)差或者標(biāo)準(zhǔn)差率,供第三步進(jìn)行判別。
第三步,用一定的方法進(jìn)行判別。對(duì)于編號(hào)N第二步采集的數(shù)據(jù),按照一定的判別閾值進(jìn)行處理。根據(jù)兩種不同的判據(jù)判斷火焰類型,即判斷出非火焰、穩(wěn)定小火和不穩(wěn)定大火3種情況。當(dāng)出現(xiàn)不穩(wěn)定大火和爆炸性火焰時(shí),發(fā)出火焰預(yù)警,同時(shí)標(biāo)記不同類型的火焰區(qū)域。
關(guān)于閾值選取,通過(guò)對(duì)蠟燭、打火機(jī)等穩(wěn)定火源,報(bào)紙、木材、正庚烷等非穩(wěn)定火源以及手電光、日光燈、太陽(yáng)光、晃動(dòng)紅布條等干擾源的各項(xiàng)特征參數(shù)進(jìn)行實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì),總結(jié)得出數(shù)據(jù)特點(diǎn)。
在紅外圖像下得到疑似火焰區(qū)域,并將該區(qū)域映射到可見(jiàn)光圖像下,然后通過(guò)YCrCb顏色判據(jù)[3],采用回滯二值化方法對(duì)該區(qū)域內(nèi)的可見(jiàn)光圖像進(jìn)行二值化處理。

其中 Y(x,y)、Cb(x,y)和 Cr(x,y)分別是在位置(x,y)上的點(diǎn)的亮度、藍(lán)色色差和紅色色差值;τ為一常數(shù)。
然后,通過(guò)輪廓掃描算法,得到可見(jiàn)光圖像下可疑區(qū)域的位置大小信息,將其面積信息與相應(yīng)紅外圖像下的可疑區(qū)域進(jìn)行比較,判斷是否為真正的火焰。
最后,將火焰區(qū)域標(biāo)記出來(lái)并顯示,并且運(yùn)用圓形度和火焰尖角數(shù)目變化判據(jù)對(duì)穩(wěn)定火焰和非穩(wěn)定火焰進(jìn)行區(qū)別,對(duì)穩(wěn)定火源進(jìn)行低級(jí)報(bào)警,對(duì)非穩(wěn)定火源進(jìn)行高級(jí)報(bào)警,實(shí)現(xiàn)對(duì)火災(zāi)的分級(jí)報(bào)警。
實(shí)驗(yàn)在南京理工大學(xué)化工學(xué)院火災(zāi)實(shí)驗(yàn)室進(jìn)行,標(biāo)準(zhǔn)燃燒室尺寸為3 m×3 m×4 m,油盤位于標(biāo)準(zhǔn)燃燒室的一角,攝像頭垂直距離地面1 m,攝像指向火源,直線距離為2.5 m。標(biāo)準(zhǔn)燃燒室場(chǎng)景如圖3所示。

圖3 標(biāo)準(zhǔn)燃燒室場(chǎng)景
如圖4所示,將視頻火災(zāi)探測(cè)器原理樣機(jī)固定好,并正確連接報(bào)警裝置和視頻顯示裝置。記錄下整個(gè)實(shí)驗(yàn)過(guò)程,并可通過(guò)讀秒表和讀取圖像幀的時(shí)間差來(lái)測(cè)試反應(yīng)時(shí)間。

圖4 雙波段視頻火災(zāi)探測(cè)器實(shí)物圖
以報(bào)紙為例,實(shí)驗(yàn)步驟如下:
①在距離地面80 cm以上位置固定探測(cè)器;
②把實(shí)驗(yàn)容器放置在距離攝像頭2 m位置的地面上,并把報(bào)紙放置在試驗(yàn)容器內(nèi);
③把擋板放置在實(shí)驗(yàn)容器和攝像頭之間,保證視頻顯示裝置的視頻圖像中不應(yīng)看到試驗(yàn)容器;
④放置好擋板,用打火機(jī)點(diǎn)燃報(bào)紙,此時(shí)視頻顯示裝置的視頻圖像中不應(yīng)看到火焰(擋板阻擋);
⑤等報(bào)紙完全點(diǎn)燃后,快速移開擋板,記錄視頻顯示裝置的視頻圖像中可完全看到報(bào)紙火焰的時(shí)刻t1;
⑥視頻顯示裝置的視頻圖像中的火焰被紅色框標(biāo)記,同時(shí)火焰指示燈高頻閃爍(頻率2 Hz),報(bào)警裝置的報(bào)警指示燈高頻閃爍(頻率2 Hz),并發(fā)出高頻報(bào)警聲(頻率2 Hz);
⑦記錄視頻圖像中火焰的紅色框標(biāo)記時(shí)刻t2;
⑧記錄t3=t2-t1;
⑨重復(fù)實(shí)驗(yàn)3次;
⑩計(jì)算并記錄最長(zhǎng)報(bào)警時(shí)間和平均報(bào)警時(shí)間。
其實(shí)驗(yàn)效果圖如圖5所示。
實(shí)驗(yàn)結(jié)果表明,該探測(cè)器保證了火災(zāi)探測(cè)的可靠性和準(zhǔn)確性,對(duì)穩(wěn)定火焰與非穩(wěn)定火焰進(jìn)行分級(jí)報(bào)警,反應(yīng)速度迅速,同時(shí),具有較強(qiáng)的抗干擾能力。
對(duì)于普通的干擾源,能夠有效的不發(fā)生誤報(bào)。在白熾燈的強(qiáng)光下,周圍反射出類似火焰顏色時(shí),會(huì)發(fā)出誤報(bào)。針對(duì)這種情況,首先考慮減少固定物體因噪聲產(chǎn)生的閃爍,然后加強(qiáng)火焰的靜態(tài)形狀特征和動(dòng)態(tài)變化特征,并適當(dāng)降低對(duì)穩(wěn)定火焰的特征要求。

圖5 雙波段視頻火災(zāi)探測(cè)器實(shí)驗(yàn)效果圖
本雙波段視頻火災(zāi)探測(cè)器運(yùn)用雙波段視頻采集及圖像處理技術(shù),綜合利用紅外和可見(jiàn)光視場(chǎng)的信息,提高了火災(zāi)識(shí)別率及抗干擾能力。
硬件上采用DSP與ARM雙系統(tǒng)組合,DSP用于圖像處理,ARM用于通信與報(bào)警,使得系統(tǒng)性能更加高效;軟件上實(shí)現(xiàn)了多個(gè)火焰目標(biāo)的穩(wěn)定跟蹤識(shí)別以及對(duì)火災(zāi)的分級(jí)報(bào)警,并且具有較強(qiáng)的系統(tǒng)實(shí)時(shí)性。
實(shí)驗(yàn)結(jié)果表明,該探測(cè)器能夠準(zhǔn)確、快速地對(duì)火災(zāi)進(jìn)行探測(cè)并進(jìn)行分級(jí)報(bào)警。
編者注:本文為期刊縮略版,全文見(jiàn)本刊網(wǎng)站www.mesnet.com.cn。
[1]張進(jìn)華,莊健,杜海峰,等.一種基于視頻多特征融合的火焰識(shí)別算法[J].西安交通大學(xué)學(xué)報(bào),2006,40(7):811-814.
[2]吳龍標(biāo),宋衛(wèi)國(guó),盧結(jié)成.圖像火災(zāi)監(jiān)控中一個(gè)新穎的火災(zāi)判據(jù)[J].火災(zāi)科學(xué),1997(2).
[3]Celik T,Demirel H.Fire detection in video sequences using a generic color model[J].Fire Safety Journal,2009,44(2):147-158.
[4]Philips W,Shah M,Lobo N V.Flame recognition in video[J].Pattern Recognition Letters,2002,23(13):319-327.
[5]馮世成,孔冬冬,鹿書恩.基于圖像識(shí)別的火災(zāi)火焰判據(jù)研究[J].自動(dòng)化技術(shù)與應(yīng)用,2011,30(5):67-69.
[6]Yang Jun,Wang Runsheng.A survey on computer vision based video fire detection[J].Journal of Image and Graphics,2008,13(7):1222-1234.
[7]李明,吳愛(ài)國(guó).大空間早起火災(zāi)的雙波段圖像型探測(cè)方法[J].現(xiàn)代建筑電氣,2007(2):37-40.