基于雙目視覺的礦井外因火災感知與定位方法

孫繼平，李月

(中國礦業大學(北京)， 北京 100083)

0 引言

煤炭在我國能源供給中占據主要地位，在今后相當長的時期內，我國能源仍將以煤炭為主[1-2]。煤炭行業是高危行業，瓦斯、水、火、頂板等事故困擾著煤礦安全生產[3-4]。其中，礦井火災事故每起死亡人數最多，是煤礦重特大事故之一。因此，礦井火災監測和火源定位研究，對避免或減少礦井火災，減少人員傷亡和財產損失具有重要意義。

礦井火災包括煤炭自燃引起的內因火災和其他熱源引起的外因火災。礦井外因火災一般發生在有電纜、膠帶和機電設備的巷道、硐室和采掘工作面。礦井外因火災一般早期火源較小，但如不及時發現和滅火，極易擴大，產生大量的有毒有害氣體和高溫，造成大量人員傷亡和財產損失，甚至引起瓦斯和煤塵爆炸[5]。因此，實時監測礦井外因火災，及時發現礦井火災并定位火源，自動啟動火源附近的滅火裝置及時滅火，可最大程度地減少人員傷亡和財產損失。

目前礦井外因火災監測方法主要有溫度、煙霧、一氧化碳、二氧化碳、氧氣等傳感器監測、分布式光纖測溫、紅外測溫、可見光圖像和紅外圖像監測等。礦用分布式光纖測溫可以定位，一般用于電纜和膠帶溫度及火災監測。其他礦井外因火災監測方法均沒有火源定位功能。為此，筆者提出了基于雙目視覺的礦井外因火災感知與定位方法，該方法既可感知火災，又可定位火源，具有監控范圍廣、成本低、響應快、可視化等優點。

1 基于雙目視覺的礦井外因火災感知與火源定位方法

為解決礦井外因火災感知和火源定位問題，筆者提出了基于雙目視覺的礦井外因火災感知與定位方法：① 在有電纜、膠帶和機電設備的巷道、硐室和采掘工作面多點設置礦用可見光雙目攝像機或近紅外雙目攝像機，采集監控區域圖像。② 對圖像進行預處理，為減少紅色、橙色和黃色等物體對火災識別的影響，采用圖像亮度信息；對采集到的圖像進行閾值分割得到二值化圖像。③ 火焰是礦井外因火災的主要特征，對圖像進行火焰識別；若圖像檢測區域有火焰，發出火災報警信號，并融合溫度、煙霧、二氧化碳、一氧化碳、氧氣和紅外傳感器信息，提高報警準確性。④ 通過礦用可見光雙目攝像機或近紅外雙目攝像機，對火源進行測距，結合攝像機位置對火源進行定位。⑤ 輸出火源位置信息，控制火源附近滅火裝置滅火，也可采用遠紅外雙目攝像機進行火災感知和火源定位，但成本高?；陔p目視覺的礦井外因火災感知與火源定位方法流程如圖1所示。

圖1 基于雙目視覺的礦井外因火災感知與火源定位方法流程Fig.1 Flow of mine external fire sensing and fire source positioning methods based on binocular vision

礦井外因火災感知與火源定位，首先要感知火災?；鹧媸堑V井外因火災的主要特征。可見光和近紅外圖像火焰識別方法主要有尖角特征、圓形度特征、矩形度特征、顏色特征、質心變化率特征、面積變化率特征、亮度變化率特征、閃爍特征等[6]。其中，火焰顏色特征受紅色、橙色和黃色等物體干擾。質心變化率特征、面積變化率特征、亮度變化率特征、閃爍特征等需對多幀連續圖像進行處理[7-8]，響應速度慢。為及時發現火災，本文選擇不需多幀連續圖像的尖角特征、圓形度特征和矩形度特征進行火焰識別。

1.1 尖角特征

火焰形狀與礦燈、車燈、巷道燈等其他發光物體相比具有明顯的尖角特性，可以用來區分火焰與礦燈、車燈、巷道燈等干擾?；鹧娴募饨切螤畋憩F為上窄下寬。筆者提出了一種火焰尖角辨識方法，如圖2所示。

圖2 火焰尖角判別方法Fig.2 Judgement method of flame sharp angle

(1) 對圖像進行預處理，得到二值化圖像。

(2) 搜尋目標圖像最高點作為疑似火焰頂點A,A可以是1個像素點，也可以是多個像素點M。

(3) 分別計算從頂點A向下第H1行、H2行和H3行的目標圖像寬度N1、N2和N3。1

(4) 若滿足M

1.2 圓形度特征

圓形度反映火焰的形狀與圓形的接近程度，是識別火焰的一個重要特征?；鹧嫘螤钍遣灰巹t的，而礦燈、車燈、圓形巷道燈等發光物體的形狀是圓形，因此，可以通過圓形度特征區分火焰與礦燈、車燈和圓形巷道燈等。圓形度C的值越接近于1，說明檢測區域越接近圓?；鹧娴男螤畋容^復雜，圓形度比較小。因此，可以通過設定圓形度閾值K，判別是否為火焰。當圓形度C≤K時，判定檢測區域為火焰。

(1)

式中：C為圓形度；S為檢測區域面積；L為檢測區域周長。

1.3 矩形度特征

矩形度表示檢測區域對其外接矩形的充滿程度，反映檢測區域與矩形的相似程度[9]，用檢測區域面積與其最小外接矩形的面積之比表示。當檢測區域為矩形時，其矩形度τ取得最大值1.0。當檢測區域為圓形時，其矩形度τ取值為π/4。當檢測區域為火焰時，其矩形度τ較小。

τ=S/St

(2)

式中St為檢測區域最小外接矩形面積。

2 火焰識別試驗研究

試驗選取紙張、白熾燈、矩形臺燈作為試驗對象。紙張燃燒模擬煤礦井下火災，白熾燈模擬煤礦井下礦燈、車燈等圓形發光物體，矩形臺燈模擬煤礦井下巷道燈等矩形發光物體。

使用雙目攝像機進行圖像采集，以左視圖為例，首先對圖像進行預處理，對采集到的原圖進行閾值分割，得到二值化圖像[10];然后進行腐蝕和膨脹處理，去除二值化圖像中的一些噪聲點；最后采用火焰尖角辨識方法，并用式(1)和式(2)計算圖像中火焰、白熾燈、矩形臺燈的圓形度、矩形度和尖角數量，根據圓形度、矩形度和尖角數量對圖像進行火焰識別。火焰、白熾燈、矩形臺燈圖像及其面積和邊緣提取如圖3所示。

(a) 左視圖

(b) 面積提取

(c) 邊緣提取

3 基于雙目視覺的火源定位試驗研究

3.1 雙目測距及誤差試驗

使用HNY-CV-002可變基線雙目攝像機進行測距，基線可調整范圍為2.5～21 cm。攝像機采用USB3.0通信接口，輸出彩色、未壓縮的雙目高清圖像，幀率達30幀/s，鏡頭焦距采用3.1 mm。將左右攝像機拍攝到的畫面拼接成一幀圖像后輸出，并且在硬件上調制2個圖像傳感器時序絕對同步，最大程度地確保拍攝到的是同一時間的圖像。

在進行火災監測定位試驗前，需要測試雙目攝像機的測距范圍及誤差。首先確定基線進行雙目標定，得到攝像機的內外參數和畸變參數[11-13]。移動目標物體，進行測距試驗，確定可以生成視差圖的最近距離；改變目標物體與攝像頭之間的距離，得到不同距離的測距誤差。選取基線為2.5、4.5、6.5、10、15、21 cm進行測距及誤差試驗，試驗結果如圖4所示。從圖4可看出，在雙目攝像機基線固定情況下，測量絕對誤差隨實際距離增大而增大，實際距離越大，絕對誤差越大。在被測物體與雙目攝像機距離一定的條件下，雙目攝像機基線越長，絕對誤差越小。雙目攝像機基線越長，可測最近距離越遠，可測最遠距離也越遠。反之，雙目攝像機基線越短，可測最近距離越近，可測最遠距離也越近。雙目攝像機可測得的最近距離是最近能進行立體匹配并生成物體完整深度圖的距離。

圖4 不同基線的測距誤差曲線Fig.4 Curves of distance measurement errors for different baselines

3.2 基于雙目視覺的火焰定位

為提高雙目攝像機測距范圍，將雙目攝像機基線設定為21 cm，圖像尺寸是1 280×480。采用基于圓形度、矩形度、尖角數量特征融合的火災監測方法，在雙目攝像機采集到的左右視圖中同時進行監測，監測到火焰后用矩形框標注，如圖5所示，采用式(3)判斷左右視圖中監測到的火焰是否為同一火焰。

圖5 雙目攝像機監測火源圖像Fig.5 Binocular camera to monitor fire source image

|Xcl-Xcr-dXcl|≤a

(3)

式中：Xcl為左視圖中矩形框中心的橫坐標；Xcr為右視圖中矩形框中心的橫坐標；dXcl為點(Xcl,Ycl)處的視差，視差是左右視圖中匹配點橫坐標的差值；a為設定閾值。

|Xcl-Xcr-dXcl|的最大值是在測距的最近距離處取得，最大值是12個像素，所以a設定為12。當矩形框中心點在左右視圖中橫坐標的差值與視差相差不大時，將其判斷為左右視圖中的匹配點，即同一火焰。

根據監測到的火源在左視圖中像素坐標系中的坐標，輸出該坐標的深度值作為火源的距離值。改變火焰距雙目攝像機距離，試驗數據見表1。

表1 火源測距與誤差Table 1 Fire source ranging and error

試驗結果表明，在2～15 m，絕對誤差與實際距離成正比，實際距離越大，絕對誤差越大。最小相對誤差在實際距離7 m處，為0.46%，隨著火焰增大，雙目視覺可監測火焰最遠距離也隨之增加。

4 結論

(1) 礦井火災會造成人員傷亡和財產損失，是煤礦重特大事故之一。及時發現礦井火災，并對火源定位，是及時撲滅火災、減少人員傷亡和財產損失的關鍵。目前礦井外因火災監測方法主要有溫度、煙霧、一氧化碳、二氧化碳、氧氣等傳感器監測、分布式光纖測溫、遠紅外測溫、圖像監測等。

(2) 提出了基于雙目視覺的礦井外因火災感知與定位方法：① 在有電纜、膠帶和機電設備的巷道、硐室和采掘工作面多點設置礦用可見光雙目攝像機或近紅外雙目攝像機，采集監控區域圖像。② 對圖像進行預處理，為減少紅色、橙色和黃色等物體對火災識別的影響，采用圖像亮度信息；對采集到的圖像進行閾值分割得到二值化圖像。③ 火焰是礦井外因火災的主要特征，對圖像進行火焰識別；若圖像檢測區域有火焰，發出火災報警信號，并融合溫度、煙霧、二氧化碳、一氧化碳、氧氣和紅外傳感器信息，提高報警準確性。④ 通過礦用可見光雙目攝像機或近紅外雙目攝像機，對火源進行測距，結合攝像機位置對火源進行定位。⑤ 輸出火源位置信息，控制火源附近滅火裝置滅火，也可采用遠紅外雙目攝像機進行火災感知和火源定位，但成本高。該方法既可感知火災，又可定位火源，具有監控范圍廣、成本低、響應快、可視化等優點。

(3) 雙目視覺攝像機在基線固定情況下，測距絕對誤差隨實際距離增大而增大，實際距離越遠，絕對誤差越大。在雙目視覺攝像機與被測物體距離不變的條件下，雙目視覺攝像機基線越大，測距絕對誤差越小。雙目視覺攝像機基線越大，可測最近距離越遠，可測最遠距離也越遠。反之，雙目視覺攝像機基線越小，可測最近距離越近，可測最遠距離也越近。

(4) 可見光和近紅外圖像火焰識別方法主要有尖角特征、圓形度特征、矩形度特征、顏色特征、質心變化率特征、面積變化率特征、亮度變化率特征、閃爍特征等。其中，火焰顏色特征受紅色、橙色和黃色等物體干擾。質心變化率特征、面積變化率特征、亮度變化率特征、閃爍特征等需對多幀連續圖像進行處理，響應速度慢。為及時發現火災，選擇不需多幀連續圖像的尖角特征、圓形度特征、矩形度特征進行火焰識別。

(5) 火焰形狀與礦燈、車燈、巷道燈等其他發光物體相比具有明顯的尖角特性，可以用來區分火焰與礦燈、車燈、巷道燈等的干擾，火焰的尖角形狀表現為上窄下寬。提出了一種火焰尖角辨識方法：① 對圖像進行預處理，得到二值化圖像。② 搜尋目標圖像最高點作為疑似火焰頂點A，A可以是1個像素點，也可以是多個像素點M。③ 分別計算從頂點A向下第H1行、H2行和H3行的目標圖像寬度N1、N2和N3。1