基于邊緣智能的煤礦外因火災(zāi)感知方法

趙端，李濤，董彥強(qiáng)，王志強(qiáng)，劉春

（1.中國礦業(yè)大學(xué) 礦山互聯(lián)網(wǎng)應(yīng)用技術(shù)國家地方聯(lián)合工程實(shí)驗(yàn)室，江蘇 徐州 221116；2.中國礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116；3.國家電投集團(tuán) 內(nèi)蒙古白音華煤電有限公司，內(nèi)蒙古 錫林郭勒 026200）

0 引言

火災(zāi)一直是煤礦的重點(diǎn)防治災(zāi)害，一般分為內(nèi)因火災(zāi)和外因火災(zāi)[1-2]。內(nèi)因火災(zāi)由礦井煤層自燃引起，主要影響煤礦正常開采。外因火災(zāi)主要由人員違規(guī)違章行為引起，如違章作業(yè)、設(shè)備檢修不規(guī)范、違規(guī)堆放易燃物資等，一般火災(zāi)初期的火源較小，但常發(fā)生在生產(chǎn)區(qū)域，如果未及時(shí)發(fā)現(xiàn)，火情將會(huì)迅速擴(kuò)大，造成煤礦人員傷亡和財(cái)產(chǎn)損失[3-5]。對(duì)煤礦外因火災(zāi)隱患進(jìn)行檢測(cè)，實(shí)現(xiàn)對(duì)初期火災(zāi)的可靠判識(shí)，對(duì)于提升煤礦火災(zāi)檢測(cè)水平有重要意義，也是未來智能礦山建設(shè)的重要方向。

現(xiàn)有的礦井外因火災(zāi)檢測(cè)方法主要包括基于傳感器的檢測(cè)方法、基于可見光圖像和紅外圖像的檢測(cè)方法、基于深度學(xué)習(xí)的檢測(cè)方法等。基于傳感器的檢測(cè)方法[6-8]通過傳感器采集環(huán)境中的溫度、煙霧濃度、氣體濃度等信息，利用閾值來判斷火災(zāi)的發(fā)生情況，該方法準(zhǔn)確率較高，但對(duì)微小火源感知不明顯，且判識(shí)相對(duì)滯后。基于可見光圖像和紅外圖像的檢測(cè)方法[9]主要依賴于圖像識(shí)別技術(shù)，利用顏色空間進(jìn)行火焰圖像分割，進(jìn)而提取出尖角數(shù)、圓形度、質(zhì)心位移等特征，再通過支持向量機(jī)進(jìn)行分類，該方法易受井下移動(dòng)發(fā)光物體（如探照燈）的影響[10]。基于紅外圖像、可見光圖像及傳感器多信息融合的礦井外因火災(zāi)感知方法[10-11]與單一方法相比提升了火災(zāi)感知準(zhǔn)確率，但該類方法采用“分布采集?集中處理?遠(yuǎn)程控制”的方式，傳感器信息、控制信息的傳輸依賴網(wǎng)絡(luò)可靠性，網(wǎng)絡(luò)波動(dòng)可能會(huì)導(dǎo)致響應(yīng)延遲、報(bào)警滯后等問題。隨著深度學(xué)習(xí)在圖像分類[12]、目標(biāo)檢測(cè)[13]等方面取得進(jìn)展，卷積神經(jīng)網(wǎng)絡(luò)[14]、改進(jìn)Mask R?CNN[15]、改進(jìn)Faster?CNN [16]等被應(yīng)用于火焰特征檢測(cè)，該類方法對(duì)特征的識(shí)別精度更高，但網(wǎng)絡(luò)模型參數(shù)量、計(jì)算量較大，檢測(cè)速度慢，應(yīng)用于煤礦時(shí)，通常需要配置高性能處理器，在地面集中處理視頻信息，對(duì)視頻圖像傳輸網(wǎng)絡(luò)的可靠性有較高要求。

YOLO[17]是一種單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)模型，其檢測(cè)速度快，適合部署在邊緣側(cè)硬件上，但對(duì)火災(zāi)初期小目標(biāo)火源的識(shí)別能力不足。針對(duì)該問題，本文提出一種基于邊緣智能的煤礦外因火災(zāi)感知方法。對(duì)YOLOv5s模型進(jìn)行改進(jìn)，在保證處理速度和輕量化的前提下，提高對(duì)火災(zāi)初期小目標(biāo)火源的識(shí)別精度；對(duì)改進(jìn)YOLOv5s模型提取的圖像特征和傳感器提取的物理特征進(jìn)行融合分析，并將改進(jìn)網(wǎng)絡(luò)模型部署在智能邊緣處理器上，用于煤礦外因火災(zāi)識(shí)別。這種煤礦災(zāi)害感知的新模式提高了火源檢測(cè)的實(shí)時(shí)性和準(zhǔn)確性，且不依賴長距離傳輸網(wǎng)絡(luò)，提升了檢測(cè)的可靠性，可用于礦山重點(diǎn)區(qū)域風(fēng)險(xiǎn)監(jiān)控，為未來礦山的火源智能化巡檢提供了算法支撐。

1 基于邊緣智能的煤礦外因火災(zāi)檢測(cè)模型

基于邊緣智能的煤礦外因火災(zāi)檢測(cè)模型主要由視頻檢測(cè)模塊、多源信息融合模塊及智能邊緣處理模塊組成，如圖1所示。在智能邊緣處理器上部署輕量化的改進(jìn)YOLOv5s模型和多源信息融合模塊，分別提取火源的圖像特征和環(huán)境信息的多維度時(shí)空特征，通過特征融合判斷是否發(fā)生火災(zāi)。

圖1 基于邊緣智能的煤礦外因火災(zāi)檢測(cè)模型Fig.1 Detection model of coal mine external fire based on edge intelligence

智能邊緣處理器是基于嵌入式微控制單元（Microcontroller Unit，MCU）和國產(chǎn)神經(jīng)網(wǎng)絡(luò)處理單元（Neural Processor Unit，NPU）開發(fā)的一款礦用邊緣處理器。其核心是思元220邊緣計(jì)算模組，具備專門用于深度學(xué)習(xí)的系統(tǒng)級(jí)芯片（System on Chip，SOC），采用ARM+NPU架構(gòu)，芯片內(nèi)部集成了CPU、NPU、視頻處理單元及圖像編解碼單元；CPU為四核ARM Cortex?A55，主頻為1.5 GHz，單片功耗為12 W，核心算力為每秒12×1012次操作。智能邊緣處理器支持深度學(xué)習(xí)網(wǎng)絡(luò)AlexNet，GoogleNet，VGG，ResNet，YOLO，SSD等。

采用礦用本安型網(wǎng)絡(luò)攝像機(jī)KBA18（C）進(jìn)行視頻數(shù)據(jù)采集。攝像機(jī)在監(jiān)測(cè)區(qū)域按一定距離部署，并通過網(wǎng)絡(luò)接口與智能邊緣處理器相連，為火災(zāi)檢測(cè)提供視頻圖像數(shù)據(jù)。

采用礦用一氧化碳傳感器GTH1000、礦用煙霧傳感器GQLQ5及礦用溫度傳感器GWD150進(jìn)行環(huán)境數(shù)據(jù)采集。傳感器部署在礦用本安型網(wǎng)絡(luò)攝像機(jī)周圍，通過Modbus總線與智能邊緣處理器相連，為火災(zāi)檢測(cè)提供傳感器數(shù)據(jù)。

2 改進(jìn)YOLOv5s模型

2.1 YOLOv5s模型基本架構(gòu)

YOLOv5s模型的基本框架可以分為輸入端（Input）、主干網(wǎng)絡(luò)（Backbone）、頸部（Neck）和輸出端（Prediction）4個(gè)部分，如圖2所示。輸入端采用Mosaic數(shù)據(jù)增強(qiáng)方式，通過隨機(jī)縮放、裁剪、排布對(duì)圖像進(jìn)行拼接。主干部分主要由跨階段局部網(wǎng)絡(luò)（Cross Stage Partial Network，CSPNet）模塊組成，特征提取采用CSPDarknet53[18]網(wǎng)絡(luò)結(jié)構(gòu)，可降低計(jì)算損耗和內(nèi)存成本。頸部使用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）和 路 徑 聚 合 網(wǎng) 絡(luò)（Path Aggregation Network，PANet）[19]來加強(qiáng)特征融合能力。輸出部分主要由損失函數(shù)構(gòu)成，采用CIOU_Loss作為損失函數(shù)，最后輸出預(yù)測(cè)結(jié)果。

圖2 YOLOv5s模型結(jié)構(gòu)Fig.2 Structureof YOLOv5smodel

2.2 小目標(biāo)檢測(cè)層

為更適應(yīng)火災(zāi)初期小目標(biāo)火源的特征檢測(cè)，提高小目標(biāo)火源實(shí)時(shí)檢測(cè)精度，綜合考慮火焰檢測(cè)精度和速度要求，在經(jīng)典YOLOv5s模型基礎(chǔ)上添加一個(gè)152×152的特征尺度，并改進(jìn)為4尺度檢測(cè)網(wǎng)絡(luò)（圖3），將目標(biāo)的感受野變?yōu)?×4，使模型能夠充分學(xué)習(xí)淺層特征，改善小目標(biāo)檢測(cè)性能。

圖3 改進(jìn)后的4尺度檢測(cè)網(wǎng)絡(luò)Fig.3 Improved 4-scaledetection network

2.3 自適應(yīng)注意模塊

YOLOv5s模型中，頸部使用FPN和PANet來加強(qiáng)其特征融合能力，然而在采樣過程中，高層特征圖會(huì)因?yàn)樘卣魍ǖ罃?shù)的減少而造成上下文信息損失，影響檢測(cè)精度。針對(duì)該問題，在原有FPN基礎(chǔ)上添加自適應(yīng)注意模塊，通過空間注意力機(jī)制為每個(gè)特征圖生成空間權(quán)重圖，通過權(quán)重圖融合上下文特征，生成包含多尺度上下文信息的新特征圖，以減少上下文信息損失。

首先，將卷積得到的特征圖M5（大小為 S）通過自適應(yīng)平均池化層，獲得不同尺度（a1×S，a2×S，a3×S ）的多個(gè)語境特征，池化系數(shù)a1?a3可根據(jù)數(shù)據(jù)集中目標(biāo)大小自適應(yīng)變化。其次，將每個(gè)特征分別上采樣后通過Concat層合并，得到特征圖C5。 C5依次經(jīng)過1×1卷積層、ReLU激活層、3×3卷積層及Sigmoid激活層，得到空間權(quán)重圖W5。最后，將特征圖C5和權(quán)重圖 W5進(jìn)行Hadamard乘積運(yùn)算，分離后與特征圖M5相加，得到包含多尺度上下文信息的新特征圖A5， A5具有豐富的多尺度背景信息，在一定程度上緩解了由于通道數(shù)量減少而造成的信息損失，提高了模型的檢測(cè)精度。自適應(yīng)注意模塊結(jié)構(gòu)如圖4所示。

圖4 自適應(yīng)注意模塊結(jié)構(gòu)Fig.4 Structure of adaptive attention module

3 多源信息融合

為解決井下光線條件差、粉塵多及攝像機(jī)拍攝角度引起的圖像檢測(cè)誤差和漏檢問題，進(jìn)一步提高火災(zāi)檢測(cè)精度，本文采用多傳感器輔助檢測(cè)，并提出一種動(dòng)態(tài)加權(quán)算法，對(duì)圖像和傳感信息進(jìn)行加權(quán)融合判識(shí)，具體流程如圖5所示。

圖5 圖像和傳感信息加權(quán)融合判識(shí)流程Fig.5 Weighted fusion identification process of image and sensor information

計(jì)算圖像和傳感信息動(dòng)態(tài)加權(quán)值：

式中：α1—α4分別為攝像機(jī)、溫度傳感器、煙霧傳感器、CO傳感器的檢測(cè)結(jié)果，取值為1或0；β1—β4為對(duì)應(yīng) α1—α4的權(quán)重參數(shù)，4個(gè)權(quán)重參數(shù)的和為1。

α1=0表示攝像機(jī)未檢測(cè)到火焰，α1=1表示攝像機(jī)檢測(cè)到火焰；α2=0表示井下溫度在正常范圍內(nèi)，α2=1表 示井下溫度已經(jīng)超過正常情況； α3=0表示井下沒有煙霧或者煙霧濃度忽略不計(jì)，α3=1表示井下煙霧濃度異常；α4=0表示井下CO濃度在正常范圍內(nèi)，α4=1表示井下CO濃度異常。

根據(jù)文獻(xiàn)[20]設(shè)定權(quán)重參數(shù)，并以此為基礎(chǔ)進(jìn)行多組實(shí)驗(yàn)，得出最優(yōu)權(quán)重參數(shù)和閾值，實(shí)驗(yàn)結(jié)果見表1。

表1 各權(quán)重對(duì)比分析結(jié)果Table 1 Comparative analysis results of each weight

當(dāng)所有檢測(cè)信息的動(dòng)態(tài)加權(quán)值超過設(shè)定閾值時(shí)，表示檢測(cè)到火災(zāi)發(fā)生。根據(jù)表1數(shù)據(jù)可得出，當(dāng)視頻檢測(cè)到真實(shí)火焰時(shí)，設(shè)定β1—β4及閾值分別為0.90，0.05，0.03，0.02，0.92，檢測(cè)準(zhǔn)確率最高。當(dāng)視頻未檢測(cè)到真實(shí)火焰時(shí)或者誤檢時(shí)，設(shè)定 β2—β4及閾值分別為0.79，0.11，0.10，0.89，檢測(cè)準(zhǔn)確率最高。

4 實(shí)驗(yàn)分析

4.1 數(shù)據(jù)集制作

為了提升本文方法在煤礦井下的檢測(cè)性能，制作了火源特征數(shù)據(jù)集。該數(shù)據(jù)集由公共數(shù)據(jù)集（VOC2007）、項(xiàng)目組拍攝的12 000張圖像、100張井下各種燈光圖像構(gòu)成，包含了火焰燃燒整個(gè)過程（從初期到后期，直至熄滅）的圖像，涵蓋不同光線條件和粉塵濃度情況。基于混合數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型，可提升模型的泛化能力。

圖像拍攝地點(diǎn)為中國礦業(yè)大學(xué)火災(zāi)實(shí)驗(yàn)室和某煤礦提供的實(shí)驗(yàn)巷道（圖6）。針對(duì)煤礦井下作業(yè)環(huán)境及相機(jī)拍攝角度的影響，采用多角度拍攝方式，拍攝參數(shù)見表2。

圖6 實(shí)驗(yàn)巷道Fig.6 Experimental roadway

表2 圖像拍攝參數(shù)Table 2 Image capture parameters

1號(hào)和2號(hào)相機(jī)的安裝高度為0，表示相機(jī)正對(duì)火焰拍攝。3號(hào)和4號(hào)相機(jī)拍攝角度為正45°，表示相機(jī)在火焰正前方45°拍攝。部分現(xiàn)場拍攝樣本如圖7所示。

圖7 部分現(xiàn)場拍攝樣本Fig.7 Somesamples taken on site

4.2 參數(shù)設(shè)置與評(píng)價(jià)指標(biāo)

設(shè)置所有模型訓(xùn)練批次為16，學(xué)習(xí)率為0.001，交并比閾值為0.5，訓(xùn)練輪數(shù)為100，在NVIDIA TITAN Xp GPU上訓(xùn)練模型。以召回率、交并比為0.5時(shí)的平均精度均值（mAP@0.5）及每幀推理時(shí)間作為模型評(píng)估指標(biāo)。召回率計(jì)算公式為

式中：R為召回率；nTP為模型檢測(cè)結(jié)果為正值的正樣本數(shù)；nFN為檢測(cè)結(jié)果為負(fù)值的正樣本數(shù)。

mAP@0.5計(jì)算公式為

式中：Q為mAP@0.5的值；P為精確率；r為積分變量；nFP為虛假的正樣本數(shù)。

4.3 實(shí)驗(yàn)結(jié)果分析

由于本文提出的方法由圖像特征檢測(cè)與傳感器檢測(cè)共同構(gòu)成，為了與經(jīng)典視頻檢測(cè)方法進(jìn)行比較，先在YOLOv5s模型中加入小目標(biāo)檢測(cè)和自適應(yīng)注意模塊，得到Y(jié)OLOv5s?a，再加入傳感器信息融合判識(shí)，得到Y(jié)OLOv5s?as。在各訓(xùn)練參數(shù)一致的前提下，與YOLOv5s，SSD?300[21]，SSD?521[22]等經(jīng)典圖像識(shí)別模型比較召回率、mAP@0.5、每幀推理時(shí)間等，結(jié)果見表3。由表3可知，YOLOv5s?as模型由于通過圖像特征和傳感器感知特征共同判識(shí)，識(shí)別精度最高，但由于增加了傳感器信息推理，每幀推理時(shí)間比YOLOv5s?a模型略有增加，但仍優(yōu)于其他模型，原因在于改進(jìn)模型對(duì)圖像進(jìn)行特征提取時(shí)視野更集中，處理速度更快。

表3 各模型移植前檢測(cè)結(jié)果對(duì)比Table 3 Comparison of detection resultsof each algorithm before transplantation

將上述模型移植到智能邊緣處理器上，并進(jìn)行輕量化處理，在煤礦安全實(shí)驗(yàn)室模擬井下巷道場景，進(jìn)行50次著火實(shí)驗(yàn)，以測(cè)試各模型在真實(shí)場景下的每幀推理時(shí)間及精度，實(shí)驗(yàn)結(jié)果見表4。

表4 各模型移植后檢測(cè)結(jié)果對(duì)比Table 4 Comparison of detection resultsof each algorithm after transplantation

由表4可知，經(jīng)過輕量化處理后，YOLOv5s?as模型的處理速度仍大于SSD 300（VGG16），SSD 521（VGG16）及YOLOv5s模型。但由于需對(duì)傳感器信息和視頻檢測(cè)信息進(jìn)行融合推理，每幀推理時(shí)間略長于YOLOv5s?a模型，但mAP@0.5提高了7.24%，與移植前的YOLOv5s模型相比，mAP@0.5提高了15.04%。

為了驗(yàn)證YOLOv5s?as模型的泛化能力，分別進(jìn)行大目標(biāo)火源、小目標(biāo)火源和混淆實(shí)驗(yàn)，結(jié)果如圖8所示。對(duì)于大目標(biāo)火源，所有模型均能正常識(shí)別；對(duì)于小目標(biāo)火源，SSD 300，SSD 512及YOLOv5s模型無法識(shí)別，這3種模型對(duì)小目標(biāo)火源的適應(yīng)性較差。YOLOv5s?a，YOLOv5s?as模型能夠檢測(cè)出小目標(biāo)火源，適應(yīng)性較好。

圖8 火災(zāi)檢測(cè)實(shí)驗(yàn)結(jié)果Fig.8 Firedetection test results

在混淆實(shí)驗(yàn)中，控制火焰亮度和形狀趨近燈光，進(jìn)行對(duì)比實(shí)驗(yàn)，發(fā)現(xiàn)除YOLOv5s?as模型外所有模型都將其識(shí)別為燈光。這是由于YOLOv5s?as模型加入了傳感器信息融合判別，得到了正確結(jié)果，并發(fā)出警報(bào)。

4.4 邊緣計(jì)算性能測(cè)試

為了比較邊緣處理與傳統(tǒng)的集中式處理2種方案的性能，將YOLOv5s?as模型從完成判識(shí)到報(bào)警輸出的時(shí)間定義為響應(yīng)周期，并進(jìn)行對(duì)比測(cè)試。

集中式處理：將傳感器數(shù)據(jù)通過RS485總線轉(zhuǎn)以太網(wǎng)模塊，并接入KJJ148井下環(huán)網(wǎng)交換機(jī)；攝像機(jī)通過網(wǎng)口接入KJJ148井下環(huán)網(wǎng)交換機(jī)，交換機(jī)通過光纖接入服務(wù)器；在服務(wù)器上部署YOLOv5s?as模型，對(duì)采集的視頻和傳感器信息進(jìn)行分析和識(shí)別。主機(jī)硬件：CPU為英特爾E5?2609，64 GB RAM和1 TB固態(tài)磁盤，GPU為Nvidia TITAN Xp，網(wǎng)絡(luò)測(cè)試帶寬為300 Mbit/s，處理結(jié)果下行至現(xiàn)場的網(wǎng)絡(luò)報(bào)警器。

邊緣處理：傳感數(shù)據(jù)、視頻數(shù)據(jù)、報(bào)警器均通過網(wǎng)絡(luò)接口接入邊緣智能處理器，處理器每秒鐘可進(jìn)行12×1012次操作，網(wǎng)絡(luò)傳輸帶寬為300 Mbit/s。

對(duì)比結(jié)果見表5。可看出使用集中式處理方法時(shí)，需要經(jīng)過5個(gè)步驟，響應(yīng)周期為388 ms；使用邊緣處理方式時(shí)，僅包括3個(gè)步驟，響應(yīng)周期為238 ms，比集中式處理方法縮短了38.66%。

表5 邊緣計(jì)算性能測(cè)試結(jié)果Table5 Edgecomputing performance test results

5 結(jié)論

（1）針對(duì)火災(zāi)初期的小目標(biāo)火源，對(duì)YOLOv5s模型主干網(wǎng)絡(luò)特征尺度進(jìn)行改進(jìn)，充分學(xué)習(xí)淺層特征，提高對(duì)小目標(biāo)檢測(cè)的能力；對(duì)YOLOv5s模型的頸部進(jìn)行改進(jìn)，在原有的FPN基礎(chǔ)上添加自適應(yīng)注意模塊，提高模型檢測(cè)精度。

（2）提出基于多源信息融合對(duì)井下火災(zāi)進(jìn)行判識(shí)，使用動(dòng)態(tài)加權(quán)算法將視頻檢測(cè)信息與多傳感器檢測(cè)信息相融合，構(gòu)建了YOLOv5s?as模型。利用YOLOv5s?as模型的輕量化特點(diǎn)，實(shí)現(xiàn)邊緣智能設(shè)備部署。

（3）實(shí)驗(yàn)結(jié)果表明：與未加入傳感器信息融合推理的YOLOv5s?a模型相比，YOLOv5s?as模型推理時(shí)間略長，但mAP@0.5提高了7.24%；與移植前的YOLOv5s模型相比，移植到智能邊緣處理器上并進(jìn)行輕量化處理的YOLOv5s?as模型mAP@0.5提高了15.04%；對(duì)于小目標(biāo)火源，SSD 300、SSD 512及YOLOv5s模型無法識(shí)別，YOLOv5s?a，YOLOv5s?as模型能夠檢測(cè)出小目標(biāo)火源，適應(yīng)性較好；使用邊緣處理方式時(shí)，YOLOv5s?as模型的響應(yīng)周期為238 ms，比集中式處理方法縮短了38.66%。

（4）基于邊緣智能的煤礦外因火災(zāi)感知方法準(zhǔn)確率較高，響應(yīng)周期短，滿足煤礦井下對(duì)火災(zāi)檢測(cè)的實(shí)時(shí)性要求，適用于井下重點(diǎn)區(qū)域的外因火災(zāi)檢測(cè)，也可用于未來智能礦山的智能巡檢。