可見(jiàn)光與紅外的視頻火災(zāi)探測(cè)器設(shè)計(jì)※＊

王進(jìn)成，張捷，趙高鵬，呂明

（1.南京理工大學(xué) 自動(dòng)化學(xué)院，南京210094；2.南京北方信息產(chǎn)業(yè)集團(tuán)有限公司 產(chǎn)品研發(fā)中心）

引 言

本雙波段視頻火災(zāi)探測(cè)系統(tǒng)綜合可見(jiàn)光與紅外線的視場(chǎng)信息，根據(jù)火焰的靜態(tài)和動(dòng)態(tài)特征，對(duì)火災(zāi)進(jìn)行探測(cè)，并判斷火災(zāi)等級(jí)。該系統(tǒng)采用DSP與ARM雙系統(tǒng)組合的硬件系統(tǒng)，在算法中實(shí)現(xiàn)了多個(gè)火焰目標(biāo)的穩(wěn)定跟蹤和識(shí)別，且采用基于圖像輪廓的算法，增強(qiáng)系統(tǒng)實(shí)時(shí)性，能夠準(zhǔn)確、快速地對(duì)火災(zāi)進(jìn)行探測(cè)。

1 硬件系統(tǒng)設(shè)計(jì)

硬件系統(tǒng)采用DSP與ARM雙系統(tǒng)組合，DSP用于圖像處理，ARM用于通信與報(bào)警。該系統(tǒng)以TM320DM642為核心，由一路CCD攝像頭和另一路配有濾波片和衰減片的CCD攝像頭組成，分別采集兩路視頻信號(hào)，一路為可見(jiàn)光視頻信號(hào)，另一路為紅外視頻信號(hào)，經(jīng)視頻解碼器TVP5150芯片轉(zhuǎn)換為BT.656格式的數(shù)字信號(hào)，送入TM320DM642進(jìn)行處理。

一方面，將處理后的視頻圖像寫入輸出幀緩沖FIFO中，控制視頻編碼芯片SAA7121，將其轉(zhuǎn)換為PAL或NTSC標(biāo)準(zhǔn)制式的模擬電視信號(hào)輸出，并采用內(nèi)置小型網(wǎng)絡(luò)視頻轉(zhuǎn)換器的方式實(shí)現(xiàn)以太網(wǎng)傳輸和視頻監(jiān)控功能。另一方面，通過(guò)一定的算法處理，提取出目標(biāo)信息，對(duì)采集的信息進(jìn)行處理判別，將判別信號(hào)通過(guò)RS232上傳給LPC2368，LPC2368通過(guò)CAN總線再進(jìn)行報(bào)警等操作。圖1為系統(tǒng)硬件結(jié)構(gòu)示意圖。

2 軟件系統(tǒng)設(shè)計(jì)

2.1 軟件總體設(shè)計(jì)

系統(tǒng)軟件流程圖如圖2所示。軟件系統(tǒng)以40 ms作為

圖1 系統(tǒng)硬件結(jié)構(gòu)示意圖

一幀處理時(shí)間單位。首先，從紅外攝像頭得到現(xiàn)場(chǎng)紅外分布影像，確定高溫區(qū)域，并進(jìn)行火焰形態(tài)特征的判斷，之后再根據(jù)普通攝像頭的可見(jiàn)光信息在對(duì)應(yīng)疑似火焰的高溫區(qū)域內(nèi)尋找顏色信息，判斷當(dāng)前高溫區(qū)域是否包含有火焰。通過(guò)紅外攝像圖確定高溫區(qū)域，接著確定疑似火焰的區(qū)域，再通過(guò)普通攝像頭再次驗(yàn)證其顏色信息，即對(duì)兩者的信息根據(jù)位置進(jìn)行融合處理，使程序得到進(jìn)一步更加穩(wěn)定可靠的判斷，并減少程序運(yùn)算量。最后，將火焰區(qū)域標(biāo)記出來(lái)并顯示，判別是否為穩(wěn)定火焰，從而進(jìn)行分級(jí)報(bào)警。

圖2 系統(tǒng)軟件流程圖

2.2 紅外攝像頭功能模塊

2.2.1 回滯二值化模塊

根據(jù)紅外攝像頭的成像特點(diǎn)（亮度高的代表現(xiàn)場(chǎng)的物體發(fā)射或反射出更多的紅外線），通過(guò)一定的閾值從紅外攝像頭產(chǎn)生的圖像中選取亮度高的像素點(diǎn)，即圖像中溫度高的物體，再對(duì)溫度高的物體進(jìn)行形體特征方面的選擇。其中，每個(gè)像素點(diǎn)的顏色可以用Rn（紅色）、Gn（綠色）、Bn（藍(lán)色）三個(gè)分量來(lái)表示，那么該像素點(diǎn)的平均亮度[1]為：

由于圖像是由光的模擬量轉(zhuǎn)化為感光器上的數(shù)字量，所以會(huì)由最小分辨率產(chǎn)生像素值的跳動(dòng)誤差。對(duì)此，進(jìn)行回滯二值化處理，設(shè)定高于上限的為目標(biāo)點(diǎn)，低于下限的為非目標(biāo)點(diǎn)，介于中間的為上一幀的結(jié)果。

2.2.2 輪廓掃描算法模塊

圖像二值化后，得到眾多疑似高溫像素點(diǎn)構(gòu)成的連通域（以下稱為疑似高溫區(qū)域）。輪廓掃描算法就是按照從左上到右下的順序掃描整幅圖像，得到每個(gè)疑似火焰區(qū)域的所有邊界點(diǎn)的位置，并將其保存在邊界位置緩存中，為下面各特征的計(jì)算做好準(zhǔn)備。在這個(gè)過(guò)程中同時(shí)記錄疑似火焰區(qū)域的邊界長(zhǎng)度（即區(qū)域周長(zhǎng)）以及疑似火焰區(qū)域的所有像素點(diǎn)的橫坐標(biāo)的最大、最小值和縱坐標(biāo)的最大、最小值（即為疑似區(qū)域的左上角和右下角的點(diǎn)坐標(biāo)），分別保存在邊界位置緩存和掃描區(qū)域緩存中。

輪廓掃描算法采用四鄰域掃描法。首先，依照行方向依次進(jìn)行掃描，如果遇到疑似火焰的像素點(diǎn)（以下簡(jiǎn)稱“像點(diǎn)”），則開始進(jìn)行輪廓掃描。按照四鄰域的方式進(jìn)行掃描，按上、下、左、右4個(gè)方向進(jìn)行順時(shí)針掃描，如果過(guò)程中遇到新的像素點(diǎn)，則將新的像素點(diǎn)標(biāo)記為當(dāng)前像素點(diǎn)，把其在內(nèi)存的位置信息放入緩存，并記錄此時(shí)該像素點(diǎn)的移動(dòng)方向，將其反方向作為下一個(gè)點(diǎn)的起點(diǎn)方向。如果過(guò)程中沒(méi)有遇到新的像素點(diǎn)，則將方向取反，重新開始當(dāng)前像素點(diǎn)的四鄰域掃描，此種情況說(shuō)明掃描過(guò)程遇到單線程的阻塞，不能繼續(xù)掃描，此時(shí)需要將當(dāng)前像素點(diǎn)的起點(diǎn)方向取其相反方向，這時(shí)程序會(huì)按照相反的方向掃描下去，直到遇到邊界起點(diǎn)，該區(qū)域掃描結(jié)束。

該區(qū)域掃描結(jié)束后，需要確定下一個(gè)掃描區(qū)域，那么下一個(gè)掃描區(qū)域的起點(diǎn)應(yīng)該是跨過(guò)當(dāng)前已掃描區(qū)域之后的第一個(gè)點(diǎn)。因此，需要首先判斷掃描開始點(diǎn)是否為當(dāng)前已掃描區(qū)域內(nèi)的新像素點(diǎn)。如果是，就需要從當(dāng)前行開始找第一個(gè)不是該區(qū)域內(nèi)的點(diǎn)。重新開始掃描；如果不是，就從當(dāng)前點(diǎn)開始掃描。

2.2.3 疑似火焰區(qū)域識(shí)別算法模塊

疑似火焰區(qū)域匹配算法的主要作用是對(duì)各幀視頻信號(hào)中的物體進(jìn)行匹配，以確定前后幀的物體是否為同一物體。算法的內(nèi)容就是將當(dāng)前幀的各疑似區(qū)域分別與前一幀的所有可疑區(qū)域進(jìn)行匹配，若滿足匹配條件，則將前一幀被匹配的區(qū)域的識(shí)別編號(hào)轉(zhuǎn)移到當(dāng)前幀的該區(qū)域；若不滿足匹配條件，則將該區(qū)域的掃描編號(hào)凍結(jié)一段時(shí)間，并從編號(hào)池中選擇最小的且沒(méi)有被凍結(jié)和用過(guò)的編號(hào)，作為該區(qū)域的識(shí)別編號(hào)。每次掃描后，各個(gè)區(qū)域會(huì)被從1開始進(jìn)行編號(hào)，該編號(hào)為掃描編號(hào)，匹配后各個(gè)區(qū)域會(huì)被貼上識(shí)別編號(hào)。

2.2.4 判別火焰算法模塊

判別疑似火焰區(qū)域算法的主要作用是根據(jù)提取到的邊界信息和區(qū)域信息等進(jìn)行統(tǒng)計(jì)，計(jì)算出各特征值，以確定疑似火焰區(qū)域。

攝像頭由疑似火焰像素點(diǎn)提取算法和輪廓掃描算法得到攝像頭中疑似火焰區(qū)域。疑似火焰區(qū)域中包含的識(shí)別像素點(diǎn)，可能是真實(shí)的火焰，也可能是滿足二值化選擇條件的物體。同時(shí)，判別算法可以識(shí)別穩(wěn)定的小火和不穩(wěn)定的大火，這兩種火焰與被識(shí)別的非火焰具有一些較明顯的區(qū)別。此外，還要設(shè)置一個(gè)預(yù)存的編號(hào)區(qū)域緩存區(qū)。程序中緩存設(shè)置的是50個(gè)編號(hào)的統(tǒng)計(jì)數(shù)據(jù)緩存，根據(jù)這些特點(diǎn)可以選擇出3種不同的火焰區(qū)域和非火焰區(qū)域。

火焰算法需要經(jīng)過(guò)三步：實(shí)時(shí)保存數(shù)據(jù)、實(shí)時(shí)處理緩存數(shù)據(jù)、判別。

第一步，采集實(shí)時(shí)數(shù)據(jù)放入緩存中保存。該緩存就是判別數(shù)據(jù)緩存，緩存區(qū)中保存對(duì)應(yīng)識(shí)別火焰編號(hào)的一系列信息，包括平均亮度、底部位置、高度及其變化、周長(zhǎng)及其變化、面積及其變化、尖角[2]個(gè)數(shù)及其變化和圓形度等。其中：

其中，Hi為連續(xù)若干幀中各幀圖像中同一疑似火焰區(qū)域的高度值，μ為該疑似火焰區(qū)域高度的平均值。

其中，σ為高度的標(biāo)準(zhǔn)差值。

其中δ為高度的標(biāo)準(zhǔn)差率。疑似火焰區(qū)域周長(zhǎng)、面積的標(biāo)準(zhǔn)差率的計(jì)算方法同高度標(biāo)準(zhǔn)差率，分別以各幀圖像中同一疑似火焰區(qū)域的周長(zhǎng)值Li、高度值Si代替。

其中，Cn為疑似火焰區(qū)域n的圓形度值，Sn、Ln為該疑似火焰區(qū)域的面積和周長(zhǎng)。這些緩存區(qū)分成一定數(shù)量的供對(duì)應(yīng)識(shí)別編號(hào)保存數(shù)據(jù)的小緩存區(qū)。

第二步，將實(shí)時(shí)的緩存數(shù)據(jù)中的內(nèi)容進(jìn)行計(jì)算得到用于判別的數(shù)據(jù)內(nèi)容。運(yùn)行時(shí)，對(duì)于編號(hào)N的緩存內(nèi)容，同時(shí)取出對(duì)應(yīng)于每一個(gè)判據(jù)中的緩存數(shù)據(jù)進(jìn)行運(yùn)算。運(yùn)算過(guò)程中，按照判據(jù)的需求計(jì)算編號(hào)N的每一個(gè)判據(jù)對(duì)應(yīng)緩存區(qū)的數(shù)據(jù)均值、標(biāo)準(zhǔn)差或者標(biāo)準(zhǔn)差率，供第三步進(jìn)行判別。

第三步，用一定的方法進(jìn)行判別。對(duì)于編號(hào)N第二步采集的數(shù)據(jù)，按照一定的判別閾值進(jìn)行處理。根據(jù)兩種不同的判據(jù)判斷火焰類型，即判斷出非火焰、穩(wěn)定小火和不穩(wěn)定大火3種情況。當(dāng)出現(xiàn)不穩(wěn)定大火和爆炸性火焰時(shí)，發(fā)出火焰預(yù)警，同時(shí)標(biāo)記不同類型的火焰區(qū)域。

關(guān)于閾值選取，通過(guò)對(duì)蠟燭、打火機(jī)等穩(wěn)定火源，報(bào)紙、木材、正庚烷等非穩(wěn)定火源以及手電光、日光燈、太陽(yáng)光、晃動(dòng)紅布條等干擾源的各項(xiàng)特征參數(shù)進(jìn)行實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)，總結(jié)得出數(shù)據(jù)特點(diǎn)。

2.3 可見(jiàn)光攝像頭功能模塊

在紅外圖像下得到疑似火焰區(qū)域，并將該區(qū)域映射到可見(jiàn)光圖像下，然后通過(guò)YCrCb顏色判據(jù)[3]，采用回滯二值化方法對(duì)該區(qū)域內(nèi)的可見(jiàn)光圖像進(jìn)行二值化處理。

其中 Y（x，y）、Cb（x，y）和 Cr（x，y）分別是在位置（x，y）上的點(diǎn)的亮度、藍(lán)色色差和紅色色差值；τ為一常數(shù)。

然后，通過(guò)輪廓掃描算法，得到可見(jiàn)光圖像下可疑區(qū)域的位置大小信息，將其面積信息與相應(yīng)紅外圖像下的可疑區(qū)域進(jìn)行比較，判斷是否為真正的火焰。

最后，將火焰區(qū)域標(biāo)記出來(lái)并顯示，并且運(yùn)用圓形度和火焰尖角數(shù)目變化判據(jù)對(duì)穩(wěn)定火焰和非穩(wěn)定火焰進(jìn)行區(qū)別，對(duì)穩(wěn)定火源進(jìn)行低級(jí)報(bào)警，對(duì)非穩(wěn)定火源進(jìn)行高級(jí)報(bào)警，實(shí)現(xiàn)對(duì)火災(zāi)的分級(jí)報(bào)警。

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)在南京理工大學(xué)化工學(xué)院火災(zāi)實(shí)驗(yàn)室進(jìn)行，標(biāo)準(zhǔn)燃燒室尺寸為3 m×3 m×4 m，油盤位于標(biāo)準(zhǔn)燃燒室的一角，攝像頭垂直距離地面1 m，攝像指向火源，直線距離為2.5 m。標(biāo)準(zhǔn)燃燒室場(chǎng)景如圖3所示。

圖3 標(biāo)準(zhǔn)燃燒室場(chǎng)景

如圖4所示，將視頻火災(zāi)探測(cè)器原理樣機(jī)固定好，并正確連接報(bào)警裝置和視頻顯示裝置。記錄下整個(gè)實(shí)驗(yàn)過(guò)程，并可通過(guò)讀秒表和讀取圖像幀的時(shí)間差來(lái)測(cè)試反應(yīng)時(shí)間。

圖4 雙波段視頻火災(zāi)探測(cè)器實(shí)物圖

以報(bào)紙為例，實(shí)驗(yàn)步驟如下：

①在距離地面80 cm以上位置固定探測(cè)器；

②把實(shí)驗(yàn)容器放置在距離攝像頭2 m位置的地面上，并把報(bào)紙放置在試驗(yàn)容器內(nèi)；

③把擋板放置在實(shí)驗(yàn)容器和攝像頭之間，保證視頻顯示裝置的視頻圖像中不應(yīng)看到試驗(yàn)容器；

④放置好擋板，用打火機(jī)點(diǎn)燃報(bào)紙，此時(shí)視頻顯示裝置的視頻圖像中不應(yīng)看到火焰（擋板阻擋）；

⑤等報(bào)紙完全點(diǎn)燃后，快速移開擋板，記錄視頻顯示裝置的視頻圖像中可完全看到報(bào)紙火焰的時(shí)刻t1；

⑥視頻顯示裝置的視頻圖像中的火焰被紅色框標(biāo)記，同時(shí)火焰指示燈高頻閃爍（頻率2 Hz），報(bào)警裝置的報(bào)警指示燈高頻閃爍（頻率2 Hz），并發(fā)出高頻報(bào)警聲（頻率2 Hz）；

⑦記錄視頻圖像中火焰的紅色框標(biāo)記時(shí)刻t2；

⑧記錄t3＝t2-t1；

⑨重復(fù)實(shí)驗(yàn)3次；

⑩計(jì)算并記錄最長(zhǎng)報(bào)警時(shí)間和平均報(bào)警時(shí)間。

其實(shí)驗(yàn)效果圖如圖5所示。

實(shí)驗(yàn)結(jié)果表明，該探測(cè)器保證了火災(zāi)探測(cè)的可靠性和準(zhǔn)確性，對(duì)穩(wěn)定火焰與非穩(wěn)定火焰進(jìn)行分級(jí)報(bào)警，反應(yīng)速度迅速，同時(shí)，具有較強(qiáng)的抗干擾能力。

對(duì)于普通的干擾源，能夠有效的不發(fā)生誤報(bào)。在白熾燈的強(qiáng)光下，周圍反射出類似火焰顏色時(shí)，會(huì)發(fā)出誤報(bào)。針對(duì)這種情況，首先考慮減少固定物體因噪聲產(chǎn)生的閃爍，然后加強(qiáng)火焰的靜態(tài)形狀特征和動(dòng)態(tài)變化特征，并適當(dāng)降低對(duì)穩(wěn)定火焰的特征要求。

結(jié) 語(yǔ)

圖5 雙波段視頻火災(zāi)探測(cè)器實(shí)驗(yàn)效果圖

本雙波段視頻火災(zāi)探測(cè)器運(yùn)用雙波段視頻采集及圖像處理技術(shù)，綜合利用紅外和可見(jiàn)光視場(chǎng)的信息，提高了火災(zāi)識(shí)別率及抗干擾能力。

硬件上采用DSP與ARM雙系統(tǒng)組合，DSP用于圖像處理，ARM用于通信與報(bào)警，使得系統(tǒng)性能更加高效；軟件上實(shí)現(xiàn)了多個(gè)火焰目標(biāo)的穩(wěn)定跟蹤識(shí)別以及對(duì)火災(zāi)的分級(jí)報(bào)警，并且具有較強(qiáng)的系統(tǒng)實(shí)時(shí)性。

實(shí)驗(yàn)結(jié)果表明，該探測(cè)器能夠準(zhǔn)確、快速地對(duì)火災(zāi)進(jìn)行探測(cè)并進(jìn)行分級(jí)報(bào)警。

編者注：本文為期刊縮略版，全文見(jiàn)本刊網(wǎng)站www.mesnet.com.cn。

[1]張進(jìn)華，莊健，杜海峰，等.一種基于視頻多特征融合的火焰識(shí)別算法[J].西安交通大學(xué)學(xué)報(bào)，2006，40（7）：811-814.

[2]吳龍標(biāo)，宋衛(wèi)國(guó)，盧結(jié)成.圖像火災(zāi)監(jiān)控中一個(gè)新穎的火災(zāi)判據(jù)[J].火災(zāi)科學(xué)，1997（2）.

[3]Celik T，Demirel H.Fire detection in video sequences using a generic color model[J].Fire Safety Journal，2009，44（2）：147-158.

[4]Philips W，Shah M，Lobo N V.Flame recognition in video[J].Pattern Recognition Letters，2002，23（13）：319-327.

[5]馮世成，孔冬冬，鹿書恩.基于圖像識(shí)別的火災(zāi)火焰判據(jù)研究[J].自動(dòng)化技術(shù)與應(yīng)用，2011，30（5）：67-69.

[6]Yang Jun，Wang Runsheng.A survey on computer vision based video fire detection[J].Journal of Image and Graphics，2008，13（7）：1222-1234.

[7]李明，吳愛(ài)國(guó).大空間早起火災(zāi)的雙波段圖像型探測(cè)方法[J].現(xiàn)代建筑電氣，2007（2）：37-40.