基于視頻技術(shù)的煤礦在線應(yīng)急預(yù)警系統(tǒng)研究

格日勒，王 剛，柳智鑫

(1.內(nèi)蒙古興安盟公安局，內(nèi)蒙古 烏蘭浩特 137400； 2.內(nèi)蒙古能源發(fā)電投資集團(tuán)有限公司，內(nèi)蒙古 豐鎮(zhèn) 012100； 3.內(nèi)蒙古電子信息職業(yè)技術(shù)學(xué)院，內(nèi)蒙古 呼和浩特 010011)

近年來，我國煤礦產(chǎn)業(yè)受科技推動(dòng)影響，礦難事故發(fā)生頻率有所降低，但縱觀近幾年的礦難事故，無一不是大型事故，在造成經(jīng)濟(jì)損失的同時(shí)，也嚴(yán)重威脅作業(yè)人員生命安全。同時(shí)大型礦難事故的發(fā)生伴隨著瓦斯泄漏，造成水土等環(huán)境污染，影響范圍較廣[1-2]。為此，對(duì)煤礦區(qū)域進(jìn)行在線應(yīng)急預(yù)警尤為必要。現(xiàn)在礦區(qū)應(yīng)用的應(yīng)急預(yù)警系統(tǒng)主要為陳臻等[3]設(shè)計(jì)的煤礦巷道智能預(yù)警系統(tǒng)和李偉山等[4]設(shè)計(jì)的LSTM煤礦瓦斯預(yù)警系統(tǒng)。其中，陳臻等設(shè)計(jì)的系統(tǒng)受礦井光照環(huán)境和傳輸過程中失真影響，導(dǎo)致應(yīng)急預(yù)警不及時(shí)；而李偉山等設(shè)計(jì)的系統(tǒng)依據(jù)時(shí)間序列實(shí)現(xiàn)礦井信息依賴，由于信息融合時(shí)信息格式不統(tǒng)一，導(dǎo)致應(yīng)急預(yù)警效果不佳。視頻技術(shù)又稱動(dòng)態(tài)圖像傳輸技術(shù)，目前被應(yīng)用在多個(gè)領(lǐng)域內(nèi)，如視頻會(huì)議、可視化管理等，在提升人們視覺效果的同時(shí)，也提升其應(yīng)用領(lǐng)域技術(shù)水平。本文將視頻技術(shù)應(yīng)用在煤礦應(yīng)急預(yù)警方面，研究基于視頻技術(shù)的煤礦在線應(yīng)急預(yù)警系統(tǒng)，以提升煤礦區(qū)域安全等級(jí)。

1 煤礦在線智能應(yīng)急預(yù)警系統(tǒng)設(shè)計(jì)

1.1 危險(xiǎn)預(yù)測(cè)指標(biāo)

在煤礦礦井生產(chǎn)環(huán)境中，對(duì)煤礦安全生產(chǎn)影響最大的指標(biāo)是瓦斯?jié)舛龋渲饕约淄闉橹鳎倭繜N類和二氧化碳，遇火即發(fā)生燃燒或爆炸。在爆炸時(shí)產(chǎn)生高溫、高壓，形成巨大的沖擊力，造成人員傷亡、設(shè)備損壞，嚴(yán)重的甚至導(dǎo)致礦井坍塌。

井下溫濕度變化影響員工的工作效率和身心健康，嚴(yán)重的可能導(dǎo)致員工注意力分散，引發(fā)工傷事故，且作業(yè)的機(jī)電設(shè)備也會(huì)因散熱效率低影響工作效率，降低了設(shè)備的安全性。因此，應(yīng)當(dāng)采用傳感器實(shí)時(shí)準(zhǔn)確地監(jiān)測(cè)煤礦瓦斯?jié)舛燃皽貪穸茸兓?/p>

1.2 預(yù)警系統(tǒng)結(jié)構(gòu)

利用V4L2視頻圖像采集技術(shù)，將傳感器應(yīng)用于煤礦在線應(yīng)急預(yù)警系統(tǒng)，其作用是負(fù)責(zé)采集煤礦瓦斯、溫濕度等實(shí)時(shí)數(shù)據(jù)，使用USB攝像頭通過視頻口連接煤礦地面網(wǎng)并向該網(wǎng)絡(luò)傳輸?shù)V井實(shí)時(shí)視頻圖像[5]，系統(tǒng)結(jié)構(gòu)如圖1所示。

該系統(tǒng)由礦井內(nèi)控制層、地面網(wǎng)絡(luò)層和在線應(yīng)急預(yù)警層組成，通過在礦井內(nèi)安裝傳感器、USB攝像頭利用視頻口與數(shù)據(jù)口與地面網(wǎng)絡(luò)層的視頻監(jiān)控接入設(shè)備、地面控制設(shè)備等相連實(shí)現(xiàn)礦井實(shí)時(shí)信息與視頻圖像傳輸，使用V4L2視頻圖像采集技術(shù)完成礦井視頻圖像采集，地面網(wǎng)絡(luò)層負(fù)責(zé)將采集礦井視頻圖像接入設(shè)備，利用視頻監(jiān)控設(shè)備和視頻處理服務(wù)器等將礦井內(nèi)視頻圖像傳輸至在線應(yīng)急預(yù)警層。該層預(yù)處理礦井視頻圖像后，使用模糊積分算法構(gòu)建應(yīng)急預(yù)警模型，完成應(yīng)急預(yù)警并向客戶端發(fā)出預(yù)警通知信息，通過視頻監(jiān)控、數(shù)據(jù)監(jiān)控等手段展開報(bào)警提示和應(yīng)急反響。

圖1 在線應(yīng)急預(yù)警系統(tǒng)結(jié)構(gòu)示意Fig.1 Schematic diagram of online emergency warning system structure

1.3 預(yù)警系統(tǒng)硬件組成

1.3.1 攝像頭驅(qū)動(dòng)設(shè)計(jì)

使用USB攝像頭獲取礦井內(nèi)視頻圖像信息，攝像頭內(nèi)核的驅(qū)動(dòng)為V4L2，通過該驅(qū)動(dòng)程序可將USB攝像頭映射為設(shè)備文件，將設(shè)備文件路徑設(shè)置為默認(rèn)形式，與硬件接口相連接后，依據(jù)用戶所需的單幀采集參數(shù)，壓縮傳送視頻圖像幀至視頻圖像采集結(jié)束[6]。V4L2驅(qū)動(dòng)結(jié)構(gòu)如圖2所示。V4L2視頻圖像采集需始終保持設(shè)備文件為打開狀態(tài)，依據(jù)實(shí)際需求設(shè)置相關(guān)參數(shù)和圖像各個(gè)幀收集形式，內(nèi)存空間內(nèi)形成映射，經(jīng)反復(fù)迭代直至圖像收集完成[7]。

圖2 V4L2驅(qū)動(dòng)結(jié)構(gòu)示意Fig.2 Diagram of V4L2 drive structure

1.3.2 視頻處理服務(wù)器設(shè)計(jì)

在煤礦在線應(yīng)急預(yù)警系統(tǒng)中，對(duì)煤礦監(jiān)測(cè)視頻進(jìn)行采集、傳輸、處理，分析煤礦監(jiān)測(cè)視頻圖像各個(gè)幀的信息數(shù)據(jù)。對(duì)視頻圖像進(jìn)行格式轉(zhuǎn)換，調(diào)整視頻圖像灰度，目的是減少信息計(jì)算步驟，降低CPU占用率，提升應(yīng)急預(yù)警效率。在彩色的視頻圖像中每個(gè)像素均由R、G、B三個(gè)分量組成，各個(gè)分量像素點(diǎn)區(qū)間最高可達(dá)2 553，進(jìn)行灰度處理后的視頻圖像，其像素點(diǎn)區(qū)間最高為255，且原始視頻圖像具備的特點(diǎn)可得到精準(zhǔn)保存，大大降低了后期計(jì)算量。為提升灰度處理后的礦井內(nèi)視頻圖像對(duì)比度，使用非線性方法將視頻圖像直方圖灰度聚集位置的灰度值恢復(fù)為均勻狀態(tài)。由于視頻圖像采集環(huán)境不佳和濾波的存在，使采集到的視頻圖像存在干擾信息，因此采用中值濾波對(duì)采集到的視頻圖像進(jìn)行去除濾波操作。完成對(duì)視頻圖像的處理，為煤礦應(yīng)急預(yù)警分析提供技術(shù)支持。

系統(tǒng)利用Visual Studio和C++語音設(shè)計(jì)視頻處理服務(wù)器程序，系統(tǒng)運(yùn)行過程中會(huì)存儲(chǔ)圖片格式、視頻格式以及矢量圖形等數(shù)據(jù)，將Access 2003作為服務(wù)器的存儲(chǔ)數(shù)據(jù)庫，該數(shù)據(jù)庫能實(shí)現(xiàn)同其他格式數(shù)據(jù)的相互轉(zhuǎn)換。服務(wù)器功能描述如圖3所示。

圖3 視頻處理服務(wù)器功能Fig.3 Video processing server performance

視頻處理服務(wù)器采集礦井現(xiàn)場(chǎng)視頻數(shù)據(jù)和進(jìn)行報(bào)警分別利用攝像頭和智能分析儀完成，最終形成礦井現(xiàn)場(chǎng)的視頻流以及報(bào)警信號(hào)[8-10]。如果存在報(bào)警信號(hào)，則向相應(yīng)的文件目錄中存儲(chǔ)報(bào)警視頻，同時(shí)存儲(chǔ)對(duì)應(yīng)的路徑。此時(shí)服務(wù)器驅(qū)動(dòng)聲光報(bào)警器進(jìn)行報(bào)警，并形成報(bào)警語音，將報(bào)警信息通過短信接口反饋到用戶終端上。視頻處理服務(wù)器和手機(jī)客戶端分別通過H.264對(duì)壓縮的視頻數(shù)據(jù)進(jìn)行編碼和解碼。

1.4 預(yù)警系統(tǒng)軟件組成

1.4.1 系統(tǒng)功能模塊設(shè)計(jì)

系統(tǒng)功能模塊包括數(shù)據(jù)輸入模塊、視頻控制模塊、信息檢索模塊、空間數(shù)據(jù)可視化模塊以及水害預(yù)測(cè)和防治模塊。

(1)數(shù)據(jù)輸入和編輯模塊。輸入不同種類的數(shù)據(jù)信息，主要是圖形、視頻數(shù)據(jù)，并將這些數(shù)據(jù)存儲(chǔ)到Access2003數(shù)據(jù)中，為后續(xù)的數(shù)據(jù)調(diào)用提供服務(wù)。同時(shí)該數(shù)據(jù)庫不斷調(diào)整對(duì)煤礦水害形成干擾的不同因素?cái)?shù)據(jù)，為后續(xù)的煤礦預(yù)警、煤礦治理等提供可靠的數(shù)據(jù)分析依據(jù)。

(2)視頻控制模塊。接收視頻服務(wù)器反饋的煤礦現(xiàn)場(chǎng)視頻數(shù)據(jù)，并通過H.264編碼實(shí)現(xiàn)數(shù)據(jù)的編碼處理后，利用顯示模塊將視頻呈現(xiàn)給用戶。

(3)信息檢索模塊。可對(duì)系統(tǒng)中的視頻信息、空間數(shù)據(jù)等進(jìn)行實(shí)時(shí)檢索和定位，確保用戶可實(shí)時(shí)檢索系統(tǒng)中的數(shù)據(jù)。

(4)空間數(shù)據(jù)可視化模塊。對(duì)數(shù)據(jù)庫中的文字和圖像等數(shù)據(jù)進(jìn)行顯示，同時(shí)可將煤礦災(zāi)害發(fā)生的范圍直觀呈現(xiàn)出來。

(5)煤礦災(zāi)害預(yù)測(cè)和防治模塊。可依據(jù)輸入的視頻數(shù)據(jù)和空間數(shù)據(jù)，通過GIS平臺(tái)實(shí)現(xiàn)煤礦災(zāi)害的全方面預(yù)測(cè)，并且將預(yù)測(cè)結(jié)果通過空間數(shù)據(jù)可視化模塊反饋給用戶，同時(shí)為用戶提供合理的防治策略。

1.4.2 報(bào)警短信攔截程序設(shè)計(jì)

報(bào)警視頻控制模塊能夠檢索、顯示以及過濾報(bào)警視頻。報(bào)警短信攔截程序?qū)?bào)警視頻關(guān)聯(lián)模塊的管理功能的高效運(yùn)行具有重要關(guān)聯(lián)性。系統(tǒng)報(bào)警短信攔截程序如圖4所示。

圖4 報(bào)警短信攔截流程Fig.4 Alarm SMS interception process

如果入侵目標(biāo)被視頻服務(wù)器發(fā)現(xiàn)，則用戶客戶端會(huì)接收到服務(wù)器通過短信平臺(tái)接口反饋的報(bào)警信息，此時(shí)客戶端報(bào)警短信攔截程序匹配短信信息。當(dāng)該信息同預(yù)先設(shè)置的信息一致，則用戶會(huì)收到系統(tǒng)提供的報(bào)警音樂提示音，用戶可在客戶端點(diǎn)擊該條記錄，并查看相應(yīng)的現(xiàn)場(chǎng)報(bào)警視頻；若信息不一致，則不執(zhí)行任何操作。

2 仿真分析

2.1 實(shí)驗(yàn)準(zhǔn)備

為驗(yàn)證系統(tǒng)的使用效果，以某大型礦區(qū)數(shù)據(jù)為依據(jù)，在Matlab仿真平臺(tái)進(jìn)行實(shí)驗(yàn)。系統(tǒng)運(yùn)行環(huán)境為Windows 10系統(tǒng)，處理器AMD X250，RAM 4.00 GB，CPU Pentium3，內(nèi)存512 MB，硬盤500 GB。USB攝像頭3個(gè)，溫濕度傳感器1個(gè)，瓦斯傳感器1個(gè)。

2.2 系統(tǒng)界面

根據(jù)上述設(shè)置搭建煤礦在線應(yīng)急預(yù)警系統(tǒng)。在進(jìn)行測(cè)試前，需要對(duì)系統(tǒng)進(jìn)行配置，配置傳感器參數(shù)，調(diào)整煤礦在線監(jiān)測(cè)視頻圖像等。在對(duì)傳感器配置完成后，利用攝像頭采集礦井內(nèi)圖像及視頻，經(jīng)過處理后回傳至系統(tǒng)。

2.3 預(yù)警系統(tǒng)驗(yàn)證

為驗(yàn)證圖像處理性能，將格式轉(zhuǎn)換性能、在線應(yīng)急反應(yīng)能力和在線應(yīng)急預(yù)警性能作為指標(biāo)進(jìn)行測(cè)試。

2.3.1 格式轉(zhuǎn)換性能測(cè)試

視頻圖像格式轉(zhuǎn)換是實(shí)現(xiàn)精準(zhǔn)應(yīng)急預(yù)警的基礎(chǔ)，選取該礦區(qū)8 000個(gè)格式為YUY2的視頻圖像數(shù)據(jù)，將其轉(zhuǎn)換為RGB形式，以轉(zhuǎn)換遺留率作為衡量系統(tǒng)格式轉(zhuǎn)換能力指標(biāo)，測(cè)試設(shè)計(jì)系統(tǒng)格式轉(zhuǎn)換性能。測(cè)試結(jié)果如圖5所示。

圖5 格式轉(zhuǎn)換性能Fig.5 Format conversion performance

分析圖5可知，隨著視頻圖像數(shù)據(jù)量的增加，視頻圖像格式轉(zhuǎn)換的遺留率逐漸增加，在視頻數(shù)據(jù)量為1 000～3 000個(gè)時(shí)，其格式轉(zhuǎn)換遺留率均在2%以下，遺留率上升微乎其微，且隨著視頻數(shù)據(jù)量的增加，視頻圖像格式轉(zhuǎn)換遺留率曲線呈現(xiàn)較平緩上升趨勢(shì)；當(dāng)數(shù)字視頻圖像據(jù)量為8 000個(gè)時(shí)，其視頻圖像轉(zhuǎn)換遺留率僅為5%。由此可知，視頻圖像格式轉(zhuǎn)換能力較強(qiáng)。

2.3.2 在線應(yīng)急反應(yīng)能力測(cè)試

系統(tǒng)在線應(yīng)急反應(yīng)能力是體現(xiàn)預(yù)警效果指標(biāo)之一，以數(shù)據(jù)傳輸時(shí)間為指標(biāo)，統(tǒng)計(jì)系統(tǒng)傳輸8 000個(gè)視頻圖像數(shù)據(jù)耗時(shí)，測(cè)試其在線應(yīng)急反應(yīng)能力，結(jié)果如圖6所示。

圖6 在線應(yīng)急反應(yīng)能力Fig.6 On-line emergency response capability

分析圖6可知，系統(tǒng)傳輸視頻圖像耗時(shí)與數(shù)據(jù)量呈正比。當(dāng)視頻圖像數(shù)據(jù)量為2 000～8 000個(gè)時(shí)，平均傳輸耗時(shí)為0.57 s；當(dāng)視頻圖像數(shù)據(jù)量最大時(shí)，傳輸耗時(shí)最大，為0.8 s。由此可知，視頻圖像數(shù)據(jù)傳輸速度快，在線應(yīng)急反應(yīng)能力強(qiáng)。

2.3.3 在線應(yīng)急預(yù)警性能

以8 000個(gè)礦井內(nèi)視頻圖像為實(shí)驗(yàn)樣本，平均分為5組，統(tǒng)計(jì)系統(tǒng)預(yù)警的應(yīng)急情況并使用1～5標(biāo)注法對(duì)結(jié)果進(jìn)行標(biāo)注。其中，數(shù)字1～5分別表示應(yīng)急程度較好、一般、稍微嚴(yán)重、嚴(yán)重、極度嚴(yán)重，結(jié)果見表1。

表1 在線應(yīng)急預(yù)警性能Tab.1 Online emergency warning performance

分析表1可知，本文系統(tǒng)預(yù)警的礦井應(yīng)急程度與實(shí)際礦井應(yīng)急程度完全相同，不易造成應(yīng)急資源浪費(fèi)。由此可知，本文系統(tǒng)可以精準(zhǔn)預(yù)警礦井應(yīng)急程度。

3 實(shí)例分析

將本文系統(tǒng)應(yīng)用于當(dāng)?shù)啬趁旱V中，利用1個(gè)USB攝像頭采集礦井內(nèi)的圖像，并采用圖像視頻處理技術(shù)對(duì)圖像進(jìn)行采集后處理，測(cè)試設(shè)計(jì)系統(tǒng)的煤礦圖像采集處理能力。結(jié)果如圖7所示。分析圖7可知，本文系統(tǒng)可有效實(shí)現(xiàn)煤礦井下圖像的采集，且圖像內(nèi)邊緣特征可完好地展示。由此可知，本文系統(tǒng)可以實(shí)現(xiàn)煤礦在線圖像采集處理能力。

圖7 采集處理煤礦圖像Fig.10 Collect and process coal mine images

4 結(jié)語

本文結(jié)合視頻技術(shù)研究基于視頻技術(shù)的煤礦在線應(yīng)急預(yù)警系統(tǒng)，該系統(tǒng)有效利用視頻技術(shù)對(duì)傳感器和USB攝像頭采集到的礦井內(nèi)數(shù)據(jù)進(jìn)行處理，并通過構(gòu)建預(yù)警模型完成礦井應(yīng)急預(yù)警。經(jīng)過實(shí)驗(yàn)驗(yàn)證，本文系統(tǒng)在視頻圖像數(shù)據(jù)量為8 000個(gè)時(shí)，視頻圖像轉(zhuǎn)換遺留率僅為5%，視頻圖像格式轉(zhuǎn)換性能較好；預(yù)警的礦井應(yīng)急程度與實(shí)際礦井應(yīng)急程度一致，在線應(yīng)急預(yù)警性能強(qiáng)。

參考文獻(xiàn)(References)：

[1] 武強(qiáng)，徐華，趙穎旺，等.基于云平臺(tái)的礦井水害智慧應(yīng)急救援系統(tǒng)與應(yīng)用[J].煤炭學(xué)報(bào)，2018，43(10)：2661-2667.

Wu Qiang，Xu Hua，Zhao Yingwang，et al.Intelligent emergency rescue system of mine water disaster based on cloud platform and its application[J].Journal of China Coal Society，2018，43(10)：2661-2667.

[2] 王悅，于水，王蘇健，等.微震監(jiān)測(cè)技術(shù)在煤礦底板突水預(yù)警中的應(yīng)用[J].煤炭科學(xué)技術(shù)，2018，46(8)：68-73.

Wang Yue，Yu Shui，Wang Sujian，et al.Application of microseismic

monitoring technology in water inrush warning of coal mine floor[J].Coal Science and Technology，2018，46(8)：68-73.

[3] 陳臻，付文俊.煤礦巷道掘進(jìn)作業(yè)智能監(jiān)測(cè)與安全預(yù)警系統(tǒng)設(shè)計(jì)[J].煤炭技術(shù)，2018，37(2)：214-216.

Chen Zhen，F(xiàn)u Wenjun.Design of intelligent monitoring and safety early warning system for coal mine roadway excavation[J].Coal Technology，2018，37(2)：214-216.

[4] 李偉山，王琳，衛(wèi)晨.LSTM在煤礦瓦斯預(yù)測(cè)預(yù)警系統(tǒng)中的應(yīng)用與設(shè)計(jì)[J].西安科技大學(xué)學(xué)報(bào)，2018，38(6)：1027-1035.

Li Weishan，Wang Lin，Wei Chen.Application and design of LSTM in coal mine gas prediction and early warning system[J].Journal of Xi′an University of Science and Technology，2018，38(6)：1027-1035.

[5] 唐濤，楊明哲，鄭智輝，等.基于視頻分析的南水北調(diào)跨渠橋危化車預(yù)警系統(tǒng)[J].人民長江，2018，49(23)：122-127.

Tang Tao，Yang Mingzhe，Zheng Zhihui，et al.An early warning system for dangerous vehicles of the South-to-North water diversion bridge based on video analysis[J].Yangtze River，2018，49(23)：122-127.

[6] 原磊明，王海斌，劉旭飛，等.礦井人身安全視頻防護(hù)系統(tǒng)設(shè)計(jì)[J].煤炭技術(shù)，2018，37(11)：373-375.

Yuan Leiming，Wang Haibin，Liu Xufei，et al.Design of mine human safety video protection system[J].Coal Technology，2018，37(11)：373-375.

[7] 葉懋，黃品高，呂洋，等.基于FPGA的霧霾視頻圖像實(shí)時(shí)復(fù)原系統(tǒng)研究[J].應(yīng)用光學(xué)，2019，40(5)：812-817.

Ye Mao，Huang Pingao，Lü Yang，et al.Research on haze video image real-time restoration system based on FPGA[J].Journal of Applied Optics，2019，40(5)：812-817.

[8] 劉彤，陳思源，倪維健.基于SIF-Fast text算法的應(yīng)急預(yù)案快速生成[J].中國科技論文，2020，15(11)：1270-1276.

Liu Tong，Chen Siyuan，Ni Weijian.Rapid generation of emergency plan based on SIF-Fast test algorithm[J].China Science and Technology Paper，2020，15(11)：1270-1276.

[9] 趙旭生，馬國龍，喬偉，等.基于事故樹分析的煤與瓦斯突出預(yù)警指標(biāo)體系[J].礦業(yè)安全與環(huán)保，2019，46(3)：37-43.

Zhao Xusheng，Ma Guolong，Qiao Wei，et al.Coal and gas outburst warning index system based on accident tree analysis[J].Mining Safety & Environmental Protection，2019，46(3)：37-43.

[10] 彭玉敬，劉建，郜彤，等.基于GIS的煤礦企業(yè)風(fēng)險(xiǎn)預(yù)測(cè)預(yù)警系統(tǒng)設(shè)計(jì)[J].工礦自動(dòng)化，2018，44(6)：96-100.

Peng Yujing，Liu Jian，Gao Tong，et al.Design of risk prediction and early warning system for coal mine enterprises based on GIS[J].Industry and Mine Automation，2018，44(6)：96-100.