露天礦山違章行為智能視頻系統(tǒng)研究

王曉光，梁皓越，趙忠山，張海濤，邵梓洋，劉光偉

(1.神華北電勝利能源有限公司， 內(nèi)蒙古 錫林浩特市 026000； 2.遼寧工程技術(shù)大學(xué)， 遼寧 阜新市 123000)

視頻識(shí)別系統(tǒng)是通過(guò)識(shí)別生物特征、理解視頻內(nèi)容，集成其他檢測(cè)技術(shù)并創(chuàng)新，實(shí)現(xiàn)視頻監(jiān)控、圖像搜索等功能的系統(tǒng)，可擴(kuò)大其在智能礦山中的應(yīng)用范圍，有效地提升露天礦山智能化水平。露天礦山可基于大數(shù)據(jù)學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)，利用人工智能算法開(kāi)發(fā)基于視頻數(shù)據(jù)的AI識(shí)別預(yù)警系統(tǒng)，分析和識(shí)別露天礦山生產(chǎn)現(xiàn)場(chǎng)常見(jiàn)的安全隱患，如調(diào)度室脫崗離崗、操作工人違章操作、駕駛司機(jī)接打電話(huà)、儲(chǔ)煤場(chǎng)自然發(fā)火、變電站煙火故障、區(qū)域入侵等，準(zhǔn)時(shí)、精確、自動(dòng)傳輸報(bào)警信息，提高露天礦山生產(chǎn)過(guò)程的安全風(fēng)險(xiǎn)管控和應(yīng)急處理能力。目前，露天礦山已基本實(shí)現(xiàn)在關(guān)鍵位置安裝高清攝像頭，在調(diào)度指揮中心實(shí)時(shí)調(diào)閱視頻信息。但大量高分辨率攝像頭的布置，只實(shí)現(xiàn)了露天礦山不同部分的視頻信息采集，當(dāng)突發(fā)事件發(fā)生時(shí)，從現(xiàn)場(chǎng)提取視頻數(shù)據(jù)并上傳，因露天礦現(xiàn)有存儲(chǔ)空間有限，無(wú)法完成對(duì)各類(lèi)違章行為視頻圖像的智能識(shí)別和結(jié)構(gòu)化處理等。因而，提出通過(guò)智能視頻識(shí)別的方式來(lái)進(jìn)行露天礦山生產(chǎn)行為的智能管控。

1 露天礦異常場(chǎng)景分析研究

經(jīng)整理分析，露天礦現(xiàn)有的異常場(chǎng)景主要包括以下9個(gè)方面。

（1）人員勞保用品違章行為。安全防護(hù)工作對(duì)于露天礦山從業(yè)人員尤為重要。勞保用品佩戴涵蓋：安全帽識(shí)別、防塵口罩識(shí)別、絕緣手套識(shí)別、焊接防護(hù)面具識(shí)別等場(chǎng)景，如圖1所示。

圖1 勞保用品穿戴不規(guī)范

（2）駕駛?cè)藛T違章行為。露天礦山駕駛司機(jī)違章行為包括：閉眼檢測(cè)、接打電話(huà)、未系安全帶、身份一致性檢驗(yàn)、內(nèi)視攝像頭異常、打哈欠檢測(cè)、分神檢測(cè)、雙手脫離方向盤(pán)、長(zhǎng)時(shí)間作業(yè)、駕駛員離崗等，如圖2所示。

圖2 駕駛?cè)藛T違章

（3）破碎站卡塊分析。破碎站在對(duì)礦巖進(jìn)行破碎的過(guò)程中，常常發(fā)生礦巖物料物理尺寸超過(guò)破碎機(jī)額定破碎尺寸的物料，將破碎站卡住，影響露天礦生產(chǎn)效率，同時(shí)會(huì)對(duì)破碎站造成損害。

（4）重點(diǎn)區(qū)域入侵識(shí)別處置。露天礦山由于其獨(dú)特的生產(chǎn)工藝及其安全生產(chǎn)風(fēng)險(xiǎn)隱患類(lèi)型，露天礦爆破區(qū)域、滑坡區(qū)域、炸藥存儲(chǔ)車(chē)間、機(jī)修車(chē)間以及電纜存放區(qū)域等區(qū)域皆是露天礦山的重要管控區(qū)域，需要重點(diǎn)盯防，避免在生產(chǎn)過(guò)程中發(fā)生安全事故。部分區(qū)域入侵實(shí)例如圖3所示。

圖3 區(qū)域入侵

（5）重要崗位脫崗離崗。露天礦重要崗位主要是指露天礦山調(diào)度室、遠(yuǎn)程操控設(shè)備車(chē)間等地點(diǎn)，露天礦山調(diào)度室需要24 h有人值守，當(dāng)有異常事件發(fā)生后，調(diào)度室人員需要第一時(shí)間將信息上報(bào)，同時(shí)針對(duì)異常事件的重要程度進(jìn)行現(xiàn)場(chǎng)協(xié)調(diào)處置等工作。因此，應(yīng)對(duì)重要崗位脫崗離崗情況進(jìn)行監(jiān)控，如圖4所示。

（6）外包大巴人數(shù)統(tǒng)計(jì)。為防止露天礦山運(yùn)輸大巴車(chē)人員超員，在露天礦山外包大巴車(chē)上安裝車(chē)輛人數(shù)計(jì)數(shù)攝像頭，防止發(fā)生車(chē)輛超員事件。

（7）儲(chǔ)煤倉(cāng)煙火識(shí)別。煤炭自燃時(shí)會(huì)釋放CO、H2S、SO2等有害氣體，危害煤場(chǎng)工人的健康。同時(shí)煤炭自燃釋放出的大量熱量將威脅輸煤設(shè)備的安全運(yùn)行，而且大量煤炭熱量損失給露天礦造成巨大經(jīng)濟(jì)損失，應(yīng)對(duì)其進(jìn)行重點(diǎn)管控。

圖4 脫崗離崗

（8）露天采場(chǎng)設(shè)備違章。露天礦山運(yùn)行著大量的設(shè)備，設(shè)備在露天礦場(chǎng)內(nèi)運(yùn)行，彼此協(xié)同作業(yè)，如果設(shè)備違章作業(yè)，極易造成安全生產(chǎn)事故的發(fā)生。露天礦設(shè)備違章作業(yè)涵蓋：車(chē)輛停在高壓線(xiàn)下方、等卸車(chē)排隊(duì)無(wú)秩序、行駛車(chē)輛車(chē)距過(guò)近、等卸自卸車(chē)安全距離不足等。露天采場(chǎng)設(shè)備違章行為如圖5所示。

圖5 露天采場(chǎng)設(shè)備違章作業(yè)

（9）露天采場(chǎng)作業(yè)不規(guī)范。露天礦山生產(chǎn)過(guò)程中應(yīng)按照露天礦設(shè)計(jì)規(guī)范以及煤礦安全規(guī)程來(lái)嚴(yán)格執(zhí)行，若未嚴(yán)格按照上述操作規(guī)程及規(guī)范容易發(fā)生安全生產(chǎn)事故，如：排土場(chǎng)反坡不符合標(biāo)準(zhǔn)、排土場(chǎng)擋墻高度不足、排土場(chǎng)路燈未做安全擋墻、臨時(shí)加油未做安全措施等，如圖6所示。

2 應(yīng)用研究的挑戰(zhàn)與問(wèn)題

為實(shí)現(xiàn)露天礦山智能視頻識(shí)別系統(tǒng)平臺(tái)的建設(shè)，需要解決如下幾個(gè)關(guān)鍵問(wèn)題：第一，露天礦山需要在露天礦辦公區(qū)、露天采場(chǎng)內(nèi)建設(shè)足夠帶寬的網(wǎng)絡(luò)環(huán)境，保證發(fā)生違章視頻時(shí)，可第一時(shí)間將違章視頻片段傳輸至系統(tǒng)平臺(tái)；第二，需要對(duì)上述違章場(chǎng)景進(jìn)行樣本庫(kù)積累和數(shù)據(jù)標(biāo)注，開(kāi)發(fā)相應(yīng)深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法，保證違章識(shí)別算法的準(zhǔn)確度；第三，需要露天礦山攝像頭的像素及清晰度滿(mǎn)足要求。

圖6 露天采場(chǎng)作業(yè)不規(guī)范

2.1 礦山網(wǎng)絡(luò)帶寬問(wèn)題

目前，露天礦山已實(shí)現(xiàn)辦公區(qū)的網(wǎng)絡(luò)建設(shè)，但大部分露天礦并未實(shí)現(xiàn)露天采場(chǎng)網(wǎng)絡(luò)全覆蓋。通過(guò)調(diào)研得知，國(guó)內(nèi)露天礦山采場(chǎng)網(wǎng)絡(luò)大部分上行帶寬在5 M以?xún)?nèi)，這部分網(wǎng)絡(luò)主要用于傳輸露天礦山生產(chǎn)類(lèi)數(shù)據(jù)，例如車(chē)輛定位以及車(chē)輛的工況類(lèi)數(shù)據(jù)。單個(gè)300萬(wàn)像素?cái)z像頭4 M碼流每秒，根據(jù)碼流計(jì)算表，每秒數(shù)據(jù)量為512 kB。一個(gè)大型露天礦山至少有1000路攝像頭，因此，露天礦山智能視頻識(shí)別系統(tǒng)平臺(tái)的建設(shè)需要有足夠的帶寬來(lái)支撐礦山運(yùn)行過(guò)程中的違章圖片及視頻數(shù)據(jù)的傳輸。露天礦山大部分分布在偏遠(yuǎn)山區(qū)，亟需建設(shè)露天礦山覆蓋采場(chǎng)及辦公區(qū)的基站網(wǎng)絡(luò)，結(jié)合5G通信技術(shù)，實(shí)現(xiàn)構(gòu)建露天礦山的網(wǎng)絡(luò)傳輸問(wèn)題。

2.2 攝像頭清晰度問(wèn)題

前期調(diào)研可知，國(guó)內(nèi)大型露天礦山，已經(jīng)在礦山關(guān)鍵位置布設(shè)了攝像頭，整體上都屬于標(biāo)清攝像頭，近幾年部分礦山進(jìn)行了攝像頭更新?lián)Q代，達(dá)到高清甚至達(dá)到超高清攝像頭。由于攝像頭像素制約，對(duì)視頻識(shí)別帶來(lái)巨大挑戰(zhàn)。同時(shí)，露天礦山一些位置并未對(duì)攝像頭進(jìn)行防塵等方面的保護(hù)，導(dǎo)致攝像頭附著灰塵，影響視頻效果。因此，構(gòu)建露天礦山智能視頻識(shí)別系統(tǒng)平臺(tái)需要解決攝像頭清晰度以及需要充分考慮攝像頭的保護(hù)問(wèn)題，防止外界因素對(duì)攝像頭的影響。

2.3 圖像樣本庫(kù)問(wèn)題

視頻圖像智能識(shí)別技術(shù)的核心算法有賴(lài)于對(duì)大量數(shù)據(jù)樣本進(jìn)行有效訓(xùn)練，例如深度卷積神經(jīng)網(wǎng)絡(luò)的算法模型準(zhǔn)確度主要依賴(lài)于有代表性的、海量的、圖像清晰的訓(xùn)練樣本，該訓(xùn)練模型的準(zhǔn)確度被定義為屬于數(shù)據(jù)驅(qū)動(dòng)型的模型依賴(lài)。露天礦山的各類(lèi)異常狀態(tài)行為由于前期電子化程度不夠，各類(lèi)違章異常事件的圖像視頻樣本庫(kù)有限。但是，有一些露天礦礦山違章場(chǎng)景獲取圖庫(kù)樣本相對(duì)容易，例如：作業(yè)人員防塵口罩的佩戴、從業(yè)人員安全帽的佩戴、絕緣手套佩戴、焊接防護(hù)面具佩戴以及接打電話(huà)等，這些場(chǎng)景較容易獲得，從實(shí)現(xiàn)上來(lái)說(shuō)，樣本的搜集相對(duì)容易。而一些異常場(chǎng)景，涉及到露天礦山生產(chǎn)環(huán)節(jié)，獲取難度較大，例如：破碎站卡塊、皮帶堆煤、儲(chǔ)煤倉(cāng)著火等場(chǎng)景。與此同時(shí)，露天礦山各類(lèi)異常圖像視頻數(shù)據(jù)有一些被定義為保密數(shù)據(jù)，無(wú)法采用公開(kāi)共享的方式進(jìn)行大量圖像樣本數(shù)據(jù)的訓(xùn)練。因此，對(duì)于露天礦山智能視頻識(shí)別系統(tǒng)平臺(tái)的實(shí)現(xiàn)，亟需解決各類(lèi)異常場(chǎng)景小樣本的圖像庫(kù)的訓(xùn)練問(wèn)題。

2.4 數(shù)據(jù)標(biāo)注問(wèn)題

在標(biāo)注數(shù)據(jù)前，首先需清洗數(shù)據(jù)，以獲得符合要求的數(shù)據(jù)。數(shù)據(jù)的清洗包括刪除無(wú)效數(shù)據(jù)、整理成規(guī)整格式等。因此，在獲得大量的露天礦山圖像樣本庫(kù)的基礎(chǔ)上進(jìn)行圖像、視頻數(shù)據(jù)的標(biāo)注是提高視頻識(shí)別準(zhǔn)確率高的關(guān)鍵問(wèn)題。

3 系統(tǒng)架構(gòu)及流程

露天礦山智能識(shí)別系統(tǒng)平臺(tái)基于“云邊融合”理念為基礎(chǔ)的AI云，即通過(guò)對(duì)圖片的學(xué)習(xí)，加上深度算法，可以實(shí)現(xiàn)對(duì)圖片、視頻進(jìn)行前端與后端相結(jié)合的智能視頻識(shí)別+云端服務(wù)器。系統(tǒng)架構(gòu)以“感、知、用”為主要切入點(diǎn)，提出了“感知邊緣計(jì)算、數(shù)據(jù)支撐平臺(tái)、系統(tǒng)行業(yè)應(yīng)用”新主線(xiàn)，通過(guò)邊緣節(jié)點(diǎn)、數(shù)據(jù)平臺(tái)和云中心來(lái)實(shí)現(xiàn)露天礦山智能識(shí)別系統(tǒng)的建設(shè)。系統(tǒng)總體架構(gòu)如圖7所示。

感知層-邊緣節(jié)點(diǎn)：通過(guò)對(duì)視頻、圖片的數(shù) 據(jù)結(jié)構(gòu)化及對(duì)其它物聯(lián)數(shù)據(jù)的精準(zhǔn)感知，完成數(shù)據(jù)采集。

支撐層-支撐平臺(tái)：通過(guò)對(duì)業(yè)務(wù)的局部感知，實(shí)現(xiàn)對(duì)業(yè)務(wù)的局部認(rèn)知，完成對(duì)域內(nèi)數(shù)據(jù)的自主處理和及時(shí)響應(yīng)。

應(yīng)用層-行業(yè)應(yīng)用：完成跨域數(shù)據(jù)的統(tǒng)一、集成和處理，通過(guò)大數(shù)據(jù)分析實(shí)現(xiàn)全局感知，通過(guò)對(duì)跨域數(shù)據(jù)的碰撞和多維數(shù)據(jù)的分析，進(jìn)行全局把控和態(tài)勢(shì)分析。

圖7 露天礦山智能識(shí)別系統(tǒng)總體架構(gòu)

基于“AI云”理念，將整合視頻監(jiān)控系統(tǒng)、儲(chǔ)煤倉(cāng)監(jiān)管系統(tǒng)、人臉識(shí)別系統(tǒng)、皮帶集控管理系統(tǒng)、機(jī)修車(chē)間安防等系統(tǒng)，結(jié)合GIS 地圖發(fā)揮邊緣計(jì)算的優(yōu)勢(shì)，實(shí)現(xiàn)數(shù)據(jù)的綜合管理、分析和分級(jí)應(yīng)用。通過(guò)智能化建設(shè)，實(shí)現(xiàn)所有節(jié)點(diǎn)和地域的數(shù)字化，集成多種系統(tǒng)應(yīng)用，實(shí)現(xiàn)基于數(shù)字化的統(tǒng)一管理。

系統(tǒng)通過(guò)本地文件流、RTSP網(wǎng)絡(luò)視頻流等方式將視頻數(shù)據(jù)接入至系統(tǒng)識(shí)別分析模塊進(jìn)行智能分析，并通過(guò)網(wǎng)絡(luò)數(shù)據(jù)流方式將車(chē)載識(shí)別分析等結(jié)果接入到系統(tǒng)內(nèi)，進(jìn)行數(shù)據(jù)報(bào)警顯示、統(tǒng)計(jì)分析，見(jiàn)圖8。

圖8 視頻數(shù)據(jù)接入示意

RTSP是實(shí)時(shí)流協(xié)議（Real Time Streaming Protocol）的全稱(chēng)，是一個(gè)網(wǎng)絡(luò)控制協(xié)議，用于娛樂(lè)、會(huì)議系統(tǒng)中控制流媒體服務(wù)器。RTSP處理流時(shí)會(huì)根據(jù)端點(diǎn)間可用帶寬大小，將音視頻等數(shù)據(jù)切割成小分組（packet）進(jìn)行傳輸，使得客戶(hù)端在播放一個(gè)分組的同時(shí)，可以解壓緩存中第二個(gè)甚至下載第三個(gè)分組。通過(guò)緩存和多碼率流技術(shù)，用戶(hù)不會(huì)感到數(shù)據(jù)間有停頓。視頻數(shù)據(jù)傳輸流程如圖9所示。

圖9 視頻數(shù)據(jù)傳輸流程

4 系統(tǒng)功能

（1）綜合展示。實(shí)現(xiàn)露天礦智能識(shí)別攝像頭系統(tǒng)聯(lián)網(wǎng)情況和攝像頭在線(xiàn)、離線(xiàn)情況的統(tǒng)計(jì)，實(shí)現(xiàn)對(duì)露天礦視頻分析情況和視頻分析類(lèi)型分布的統(tǒng)計(jì)，包括出入口出貨運(yùn)車(chē)輛情況、儲(chǔ)煤場(chǎng)運(yùn)煤車(chē)輛情況、排土場(chǎng)車(chē)輛情況、運(yùn)輸設(shè)備的運(yùn)行狀態(tài)、攝像頭遮擋或挪動(dòng)角度報(bào)警、人流量情況、調(diào)度室人員空崗情況。

（2）綜合分析。實(shí)現(xiàn)對(duì)煤礦出入口貨運(yùn)車(chē)輛情況、儲(chǔ)煤場(chǎng)運(yùn)煤車(chē)輛情況、排土場(chǎng)車(chē)輛情況、運(yùn)輸設(shè)備的運(yùn)行狀態(tài)、攝像頭遮擋或挪動(dòng)角度報(bào)警、人流量情況、調(diào)度室人員空崗情況等日常分析結(jié)果的管理，可查看詳細(xì)的分析結(jié)果和證據(jù)資料。視頻分析結(jié)果統(tǒng)計(jì)信息可以根據(jù)不同攝像頭安裝位置調(diào)取，支持對(duì)攝像頭日常分析關(guān)聯(lián)查詢(xún)。

（3）報(bào)警管理。對(duì)煤礦不同地點(diǎn)的出入口貨運(yùn)車(chē)輛、儲(chǔ)煤場(chǎng)運(yùn)煤車(chē)輛、排土場(chǎng)車(chē)輛、運(yùn)輸設(shè)備運(yùn)行狀態(tài)、攝像頭遮擋或挪動(dòng)角度、人流量情況、調(diào)度室人員空崗情況等報(bào)警信息及報(bào)警處置信息查詢(xún)統(tǒng)計(jì)，并關(guān)聯(lián)報(bào)警證據(jù)資料。

（4）實(shí)時(shí)監(jiān)測(cè)。實(shí)現(xiàn)露天礦實(shí)時(shí)視頻接入和在線(xiàn)狀態(tài)查詢(xún)。展示多路視頻的實(shí)時(shí)分析結(jié)果，并可關(guān)聯(lián)查看當(dāng)前攝像頭歷史報(bào)警信息。

5 結(jié)論

（1）本文對(duì)露天礦山各類(lèi)違章行為進(jìn)行分析，主要包括：人員勞保用品違章行為、駕駛?cè)藛T違章行為、破碎站卡塊分析、重點(diǎn)區(qū)域入侵識(shí)別處置、重要崗位脫崗離崗、外包大巴人數(shù)統(tǒng)計(jì)、儲(chǔ)煤倉(cāng)煙火識(shí)別、露天采場(chǎng)設(shè)備違章、露天采場(chǎng)作業(yè)不規(guī)范等行為，為露天礦智能視頻識(shí)別分析提供了分析 場(chǎng)景。

（2）提出構(gòu)建露天礦智能視頻識(shí)別系統(tǒng)的總體架構(gòu)，分為感知層、支撐層和應(yīng)用層。

（3）介紹了智能視頻識(shí)別系統(tǒng)的主要系統(tǒng)功能，包括綜合展示、綜合分析、報(bào)警管理、實(shí)時(shí)監(jiān)測(cè)等功能。

（4）露天礦山違章行為智能視頻系統(tǒng)的建設(shè)可實(shí)現(xiàn)對(duì)露天礦山各類(lèi)違章行為的實(shí)時(shí)監(jiān)控，智能分析違章行為，提升露天礦山安全管理水平，為露 天礦山智能、安全生產(chǎn)提供技術(shù)手段。