可見光與紅外的視頻火災探測器設計※＊

王進成，張捷，趙高鵬，呂明

（1.南京理工大學 自動化學院，南京210094；2.南京北方信息產業集團有限公司 產品研發中心）

引 言

本雙波段視頻火災探測系統綜合可見光與紅外線的視場信息，根據火焰的靜態和動態特征，對火災進行探測，并判斷火災等級。該系統采用DSP與ARM雙系統組合的硬件系統，在算法中實現了多個火焰目標的穩定跟蹤和識別，且采用基于圖像輪廓的算法，增強系統實時性，能夠準確、快速地對火災進行探測。

1 硬件系統設計

硬件系統采用DSP與ARM雙系統組合，DSP用于圖像處理，ARM用于通信與報警。該系統以TM320DM642為核心，由一路CCD攝像頭和另一路配有濾波片和衰減片的CCD攝像頭組成，分別采集兩路視頻信號，一路為可見光視頻信號，另一路為紅外視頻信號，經視頻解碼器TVP5150芯片轉換為BT.656格式的數字信號，送入TM320DM642進行處理。

一方面，將處理后的視頻圖像寫入輸出幀緩沖FIFO中，控制視頻編碼芯片SAA7121，將其轉換為PAL或NTSC標準制式的模擬電視信號輸出，并采用內置小型網絡視頻轉換器的方式實現以太網傳輸和視頻監控功能。另一方面，通過一定的算法處理，提取出目標信息，對采集的信息進行處理判別，將判別信號通過RS232上傳給LPC2368，LPC2368通過CAN總線再進行報警等操作。圖1為系統硬件結構示意圖。

2 軟件系統設計

2.1 軟件總體設計

系統軟件流程圖如圖2所示。軟件系統以40 ms作為

圖1 系統硬件結構示意圖

一幀處理時間單位。首先，從紅外攝像頭得到現場紅外分布影像，確定高溫區域，并進行火焰形態特征的判斷，之后再根據普通攝像頭的可見光信息在對應疑似火焰的高溫區域內尋找顏色信息，判斷當前高溫區域是否包含有火焰。通過紅外攝像圖確定高溫區域，接著確定疑似火焰的區域，再通過普通攝像頭再次驗證其顏色信息，即對兩者的信息根據位置進行融合處理，使程序得到進一步更加穩定可靠的判斷，并減少程序運算量。最后，將火焰區域標記出來并顯示，判別是否為穩定火焰，從而進行分級報警。

圖2 系統軟件流程圖

2.2 紅外攝像頭功能模塊

2.2.1 回滯二值化模塊

根據紅外攝像頭的成像特點（亮度高的代表現場的物體發射或反射出更多的紅外線），通過一定的閾值從紅外攝像頭產生的圖像中選取亮度高的像素點，即圖像中溫度高的物體，再對溫度高的物體進行形體特征方面的選擇。其中，每個像素點的顏色可以用Rn（紅色）、Gn（綠色）、Bn（藍色）三個分量來表示，那么該像素點的平均亮度[1]為：

由于圖像是由光的模擬量轉化為感光器上的數字量，所以會由最小分辨率產生像素值的跳動誤差。對此，進行回滯二值化處理，設定高于上限的為目標點，低于下限的為非目標點，介于中間的為上一幀的結果。

2.2.2 輪廓掃描算法模塊

圖像二值化后，得到眾多疑似高溫像素點構成的連通域（以下稱為疑似高溫區域）。輪廓掃描算法就是按照從左上到右下的順序掃描整幅圖像，得到每個疑似火焰區域的所有邊界點的位置，并將其保存在邊界位置緩存中，為下面各特征的計算做好準備。在這個過程中同時記錄疑似火焰區域的邊界長度（即區域周長）以及疑似火焰區域的所有像素點的橫坐標的最大、最小值和縱坐標的最大、最小值（即為疑似區域的左上角和右下角的點坐標），分別保存在邊界位置緩存和掃描區域緩存中。

輪廓掃描算法采用四鄰域掃描法。首先，依照行方向依次進行掃描，如果遇到疑似火焰的像素點（以下簡稱“像點”），則開始進行輪廓掃描。按照四鄰域的方式進行掃描，按上、下、左、右4個方向進行順時針掃描，如果過程中遇到新的像素點，則將新的像素點標記為當前像素點，把其在內存的位置信息放入緩存，并記錄此時該像素點的移動方向，將其反方向作為下一個點的起點方向。如果過程中沒有遇到新的像素點，則將方向取反，重新開始當前像素點的四鄰域掃描，此種情況說明掃描過程遇到單線程的阻塞，不能繼續掃描，此時需要將當前像素點的起點方向取其相反方向，這時程序會按照相反的方向掃描下去，直到遇到邊界起點，該區域掃描結束。

該區域掃描結束后，需要確定下一個掃描區域，那么下一個掃描區域的起點應該是跨過當前已掃描區域之后的第一個點。因此，需要首先判斷掃描開始點是否為當前已掃描區域內的新像素點。如果是，就需要從當前行開始找第一個不是該區域內的點。重新開始掃描；如果不是，就從當前點開始掃描。

2.2.3 疑似火焰區域識別算法模塊

疑似火焰區域匹配算法的主要作用是對各幀視頻信號中的物體進行匹配，以確定前后幀的物體是否為同一物體。算法的內容就是將當前幀的各疑似區域分別與前一幀的所有可疑區域進行匹配，若滿足匹配條件，則將前一幀被匹配的區域的識別編號轉移到當前幀的該區域；若不滿足匹配條件，則將該區域的掃描編號凍結一段時間，并從編號池中選擇最小的且沒有被凍結和用過的編號，作為該區域的識別編號。每次掃描后，各個區域會被從1開始進行編號，該編號為掃描編號，匹配后各個區域會被貼上識別編號。

2.2.4 判別火焰算法模塊

判別疑似火焰區域算法的主要作用是根據提取到的邊界信息和區域信息等進行統計，計算出各特征值，以確定疑似火焰區域。

攝像頭由疑似火焰像素點提取算法和輪廓掃描算法得到攝像頭中疑似火焰區域。疑似火焰區域中包含的識別像素點，可能是真實的火焰，也可能是滿足二值化選擇條件的物體。同時，判別算法可以識別穩定的小火和不穩定的大火，這兩種火焰與被識別的非火焰具有一些較明顯的區別。此外，還要設置一個預存的編號區域緩存區。程序中緩存設置的是50個編號的統計數據緩存，根據這些特點可以選擇出3種不同的火焰區域和非火焰區域。

火焰算法需要經過三步：實時保存數據、實時處理緩存數據、判別。

第一步，采集實時數據放入緩存中保存。該緩存就是判別數據緩存，緩存區中保存對應識別火焰編號的一系列信息，包括平均亮度、底部位置、高度及其變化、周長及其變化、面積及其變化、尖角[2]個數及其變化和圓形度等。其中：

其中，Hi為連續若干幀中各幀圖像中同一疑似火焰區域的高度值，μ為該疑似火焰區域高度的平均值。

其中，σ為高度的標準差值。

其中δ為高度的標準差率。疑似火焰區域周長、面積的標準差率的計算方法同高度標準差率，分別以各幀圖像中同一疑似火焰區域的周長值Li、高度值Si代替。

其中，Cn為疑似火焰區域n的圓形度值，Sn、Ln為該疑似火焰區域的面積和周長。這些緩存區分成一定數量的供對應識別編號保存數據的小緩存區。

第二步，將實時的緩存數據中的內容進行計算得到用于判別的數據內容。運行時，對于編號N的緩存內容，同時取出對應于每一個判據中的緩存數據進行運算。運算過程中，按照判據的需求計算編號N的每一個判據對應緩存區的數據均值、標準差或者標準差率，供第三步進行判別。

第三步，用一定的方法進行判別。對于編號N第二步采集的數據，按照一定的判別閾值進行處理。根據兩種不同的判據判斷火焰類型，即判斷出非火焰、穩定小火和不穩定大火3種情況。當出現不穩定大火和爆炸性火焰時，發出火焰預警，同時標記不同類型的火焰區域。

關于閾值選取，通過對蠟燭、打火機等穩定火源，報紙、木材、正庚烷等非穩定火源以及手電光、日光燈、太陽光、晃動紅布條等干擾源的各項特征參數進行實驗數據統計，總結得出數據特點。

2.3 可見光攝像頭功能模塊

在紅外圖像下得到疑似火焰區域，并將該區域映射到可見光圖像下，然后通過YCrCb顏色判據[3]，采用回滯二值化方法對該區域內的可見光圖像進行二值化處理。

其中 Y（x，y）、Cb（x，y）和 Cr（x，y）分別是在位置（x，y）上的點的亮度、藍色色差和紅色色差值；τ為一常數。

然后，通過輪廓掃描算法，得到可見光圖像下可疑區域的位置大小信息，將其面積信息與相應紅外圖像下的可疑區域進行比較，判斷是否為真正的火焰。

最后，將火焰區域標記出來并顯示，并且運用圓形度和火焰尖角數目變化判據對穩定火焰和非穩定火焰進行區別，對穩定火源進行低級報警，對非穩定火源進行高級報警，實現對火災的分級報警。

3 實驗與結果分析

實驗在南京理工大學化工學院火災實驗室進行，標準燃燒室尺寸為3 m×3 m×4 m，油盤位于標準燃燒室的一角，攝像頭垂直距離地面1 m，攝像指向火源，直線距離為2.5 m。標準燃燒室場景如圖3所示。

圖3 標準燃燒室場景

如圖4所示，將視頻火災探測器原理樣機固定好，并正確連接報警裝置和視頻顯示裝置。記錄下整個實驗過程，并可通過讀秒表和讀取圖像幀的時間差來測試反應時間。

圖4 雙波段視頻火災探測器實物圖

以報紙為例，實驗步驟如下：

①在距離地面80 cm以上位置固定探測器；

②把實驗容器放置在距離攝像頭2 m位置的地面上，并把報紙放置在試驗容器內；

③把擋板放置在實驗容器和攝像頭之間，保證視頻顯示裝置的視頻圖像中不應看到試驗容器；

④放置好擋板，用打火機點燃報紙，此時視頻顯示裝置的視頻圖像中不應看到火焰（擋板阻擋）；

⑤等報紙完全點燃后，快速移開擋板，記錄視頻顯示裝置的視頻圖像中可完全看到報紙火焰的時刻t1；

⑥視頻顯示裝置的視頻圖像中的火焰被紅色框標記，同時火焰指示燈高頻閃爍（頻率2 Hz），報警裝置的報警指示燈高頻閃爍（頻率2 Hz），并發出高頻報警聲（頻率2 Hz）；

⑦記錄視頻圖像中火焰的紅色框標記時刻t2；

⑧記錄t3＝t2-t1；

⑨重復實驗3次；

⑩計算并記錄最長報警時間和平均報警時間。

其實驗效果圖如圖5所示。

實驗結果表明，該探測器保證了火災探測的可靠性和準確性，對穩定火焰與非穩定火焰進行分級報警，反應速度迅速，同時，具有較強的抗干擾能力。

對于普通的干擾源，能夠有效的不發生誤報。在白熾燈的強光下，周圍反射出類似火焰顏色時，會發出誤報。針對這種情況，首先考慮減少固定物體因噪聲產生的閃爍，然后加強火焰的靜態形狀特征和動態變化特征，并適當降低對穩定火焰的特征要求。

結 語

圖5 雙波段視頻火災探測器實驗效果圖

本雙波段視頻火災探測器運用雙波段視頻采集及圖像處理技術，綜合利用紅外和可見光視場的信息，提高了火災識別率及抗干擾能力。

硬件上采用DSP與ARM雙系統組合，DSP用于圖像處理，ARM用于通信與報警，使得系統性能更加高效；軟件上實現了多個火焰目標的穩定跟蹤識別以及對火災的分級報警，并且具有較強的系統實時性。

實驗結果表明，該探測器能夠準確、快速地對火災進行探測并進行分級報警。

編者注：本文為期刊縮略版，全文見本刊網站www.mesnet.com.cn。

[1]張進華，莊健，杜海峰，等.一種基于視頻多特征融合的火焰識別算法[J].西安交通大學學報，2006，40（7）：811-814.

[2]吳龍標，宋衛國，盧結成.圖像火災監控中一個新穎的火災判據[J].火災科學，1997（2）.

[3]Celik T，Demirel H.Fire detection in video sequences using a generic color model[J].Fire Safety Journal，2009，44（2）：147-158.

[4]Philips W，Shah M，Lobo N V.Flame recognition in video[J].Pattern Recognition Letters，2002，23（13）：319-327.

[5]馮世成，孔冬冬，鹿書恩.基于圖像識別的火災火焰判據研究[J].自動化技術與應用，2011，30（5）：67-69.

[6]Yang Jun，Wang Runsheng.A survey on computer vision based video fire detection[J].Journal of Image and Graphics，2008，13（7）：1222-1234.

[7]李明，吳愛國.大空間早起火災的雙波段圖像型探測方法[J].現代建筑電氣，2007（2）：37-40.