基于AI視頻識別技術(shù)的井下規(guī)范操作監(jiān)控系統(tǒng)設(shè)計

楊景峰

(陜西陜煤彬長礦業(yè)有限公司，陜西 咸陽 712000)

0 引言

彬長公司現(xiàn)有五對礦井，設(shè)計能力2 900萬t/a，主采侏羅紀(jì)3號、4號煤層，煤層埋深500～1 000 m，煤層厚度4～26 m，煤層開采條件復(fù)雜，水、火、瓦斯、沖擊地壓等災(zāi)害耦合疊加，被定位為全國煤礦災(zāi)害最重、治理難度最大、安全風(fēng)險最高、有效防范和遏制重特大事故任務(wù)最繁重的礦區(qū)之一[1-4]。近年來，面對嚴(yán)重的礦井自然災(zāi)害和安全風(fēng)險，彬長公司牢固樹立“少人則安、無人則安”的理念，大力實施“三優(yōu)三減三提升”工程，以科技創(chuàng)新提升災(zāi)害治理水平、以“四化”建設(shè)提升災(zāi)害治理能力、以災(zāi)害治理達(dá)標(biāo)保障安全生產(chǎn)，嚴(yán)格執(zhí)行行業(yè)管理標(biāo)準(zhǔn)和安全管理規(guī)定，努力建設(shè)多元災(zāi)害條件下的本質(zhì)安全型礦區(qū)。

結(jié)合彬長礦區(qū)煤層賦存條件和生產(chǎn)裝備實際現(xiàn)狀，彬長公司制定了在3年內(nèi)建成多元災(zāi)害條件下，智能化開采示范礦區(qū)的目標(biāo)，按照“企業(yè)管理智慧化、煤炭開采智能化、輔助系統(tǒng)自動化、災(zāi)害治理精準(zhǔn)化、現(xiàn)場管理透明化”的總體工作思路，大力推進(jìn)智慧礦區(qū)、智能礦井建設(shè)工作。小莊煤礦作為彬長礦區(qū)首個陜煤集團(tuán)數(shù)字化礦山示范礦井，基于5G、物聯(lián)網(wǎng)、大數(shù)據(jù)、虛擬現(xiàn)實、人工智能技術(shù)在煤礦安全生產(chǎn)過程中進(jìn)行了大量實踐工作，特別是在井下作業(yè)人員安全管理方面，首次引入了智能化視頻監(jiān)控系統(tǒng)，利用AI視頻識別分析技術(shù)，對井下多個作業(yè)場景進(jìn)行智能識別，對現(xiàn)場安全管理提供有力的技術(shù)支撐和手段。

1 預(yù)期目標(biāo)及關(guān)鍵技術(shù)

1.1 預(yù)期目標(biāo)

針對煤礦井下實際作業(yè)環(huán)境，解決現(xiàn)場安全管理遇到的問題，需要預(yù)先設(shè)定功能目標(biāo)[5-8]。具體如，實時監(jiān)測工作人員行為是否安全規(guī)范，是否規(guī)范佩戴安全帽，是否有空崗、脫崗、睡崗現(xiàn)象，重點區(qū)域人員入侵，轉(zhuǎn)載機(jī)、軌道違規(guī)行為監(jiān)測，巡檢人員巡檢次數(shù)、時間等數(shù)據(jù)的智能感知、預(yù)警。監(jiān)測到“三違”行為時，可按照“三違”等級報警，嚴(yán)重違規(guī)時，報警的同時彈出視頻以支持管理人員處理。發(fā)現(xiàn)異常時，系統(tǒng)應(yīng)與聲光報警器聯(lián)動，實現(xiàn)文本消息、語音、聲光多形式的自動報警，值守人員可對異常事件進(jìn)行處置，填報處置結(jié)果。依托感知網(wǎng)絡(luò)所匯聚的視頻數(shù)據(jù)，以所見即所得的仿真圖形式，在三維運輸系統(tǒng)底圖上，疊加企業(yè)基本信息、視頻監(jiān)控點位置信息，發(fā)現(xiàn)異常實時報警。視頻方面，需實現(xiàn)智能應(yīng)用及實時回放，并具有關(guān)鍵證據(jù)視頻錄制、圖片截取和云端同步功能，掌握煤礦井下規(guī)范操作智能化視頻監(jiān)控技術(shù)的應(yīng)用。此外，需實現(xiàn)井下固定崗位無人值守，沿線無人作業(yè)，地面無人監(jiān)控，系統(tǒng)智能化經(jīng)濟(jì)運行。

1.2 關(guān)鍵技術(shù)應(yīng)用

煤礦智能視頻監(jiān)測：實現(xiàn)場景定制的智能監(jiān)測，需將計算機(jī)視覺(CV)技術(shù)與面向業(yè)務(wù)場景的監(jiān)控規(guī)則深度融合[9-12]，實現(xiàn)多場景視頻智能監(jiān)測，并在三維礦井圖上以可視化方式展示。

機(jī)器智能分析+人工輔助校對：為實現(xiàn)精準(zhǔn)報警，需提供計算機(jī)視覺識別與人工輔助校對功能，依托模型識別率優(yōu)化機(jī)制，避免由于機(jī)器或人為因素所造成的“誤報”“漏警”情況，不斷降低模型召回率，提升模型識別準(zhǔn)確率。

構(gòu)建異常處置閉環(huán)管理機(jī)制:實現(xiàn)異常事件實時推送，形成煤礦安全事件“報警—推送—處置—反饋—統(tǒng)計”的管理閉環(huán),實現(xiàn)異常事件精準(zhǔn)推送、有效快速處置，構(gòu)建異常可檢、問題可追、責(zé)任可溯的企業(yè)安全管理機(jī)制。

輔助生產(chǎn)管理智慧決策:運用大數(shù)據(jù)分析技術(shù)抽取有價值的關(guān)鍵信息，從多角度分析狀態(tài)數(shù)據(jù)，對安全狀態(tài)進(jìn)行分析，為優(yōu)化企業(yè)安全生產(chǎn)過程提供決策支持。

構(gòu)建人工智能視頻監(jiān)測技術(shù)體系:建立一套適合小莊煤礦井下規(guī)范操作智能化視頻監(jiān)控技術(shù)體系，將安全人員從繁雜而枯燥的“盯屏幕”中解放出來。減少人員工作量，提高礦井安全監(jiān)督能力。

煤礦瓦斯鉆場智能監(jiān)測:讓煤礦管理者實時全面掌握煤礦井下瓦斯抽放鉆孔施工作業(yè)情況，保障鉆孔質(zhì)量，減少瓦斯災(zāi)害發(fā)生，減少監(jiān)鉆工人，實現(xiàn)減人提效。杜絕施工人員謊報進(jìn)尺、違章操作、打假孔等危及安全的事件發(fā)生；杜絕工作量瞞報的費用開支。為安全監(jiān)管、事后追溯、科學(xué)決策，提供直觀、可靠的手段和證據(jù)。

AI推理分析管理平臺：構(gòu)建“云-邊-端”體系，充分發(fā)揮云、邊、端技術(shù)優(yōu)勢，云端數(shù)據(jù)匯聚，借助于云端資源彈性伸縮、服務(wù)高實時、高可用的特性，進(jìn)行數(shù)據(jù)深度挖掘，將數(shù)據(jù)價值發(fā)揮到極致。同時，云端具有管理控制集中化，部署升級自動化，訪問操作自由化的優(yōu)勢。利用邊緣計算模式實現(xiàn)智能識別機(jī)制下沉，既滿足邊測低時延、大帶寬、高并發(fā)、本地化的需求，又可以進(jìn)行多方融合，結(jié)合煤炭行業(yè)特點和企業(yè)自身需求，構(gòu)建企業(yè)自己的生態(tài)系統(tǒng)。端測智能感知設(shè)備下沉，提供AIoT實時采集、實時運算、實時推理和場景閉環(huán)能力，為煤礦企業(yè)安全高效生產(chǎn)保駕護(hù)航。

標(biāo)準(zhǔn)化接口服務(wù)能力：為企業(yè)及第三方應(yīng)用系統(tǒng)提供標(biāo)準(zhǔn)化API、WebServices、OPC、XML等標(biāo)準(zhǔn)化數(shù)據(jù)接口，賦能行業(yè)邊緣計算與云端應(yīng)用能力。

“云-邊-端”一體的可視化管理平臺：通過可視化平臺，便于用戶部署配置與更新升級，實時查看當(dāng)前服務(wù)狀態(tài)與統(tǒng)計信息，第一時間獲知最新的場景和服務(wù)，AI模型識別清單見表1。

表1 AI模型識別清單

2 系統(tǒng)架構(gòu)及功能設(shè)計

2.1 系統(tǒng)架構(gòu)設(shè)計

煤礦智能視頻監(jiān)控系統(tǒng)應(yīng)用架構(gòu)如圖1所示，部署架構(gòu)如圖2所示，業(yè)務(wù)流程如圖3所示。

圖1 煤礦智能視頻監(jiān)控系統(tǒng)應(yīng)用架構(gòu)

圖2 煤礦智能視頻監(jiān)控系統(tǒng)部署架構(gòu)

圖3 煤礦智能視頻監(jiān)控系統(tǒng)業(yè)務(wù)流程示意

2.2 系統(tǒng)功能設(shè)計

信息概覽：在首頁上方對當(dāng)前數(shù)據(jù)進(jìn)行實時展示，便于管理人員對當(dāng)前煤礦的安全情況有整體把握。包含煤礦名稱、監(jiān)測點數(shù)、報警總數(shù)、井下人數(shù)等信息，并以直觀的數(shù)字和狀態(tài)予以展示。

礦井圖展示：系統(tǒng)依托感知網(wǎng)絡(luò)所匯聚視頻數(shù)據(jù)，在礦井三維系統(tǒng)底圖上，疊加基本信息、視頻監(jiān)控點、傳感器監(jiān)測點位信息。實現(xiàn)實時狀態(tài)報警，發(fā)現(xiàn)異常實時報警(攝像頭閃爍及列表展示)，支持按人、機(jī)、環(huán)分類或區(qū)域分布進(jìn)行組合查詢。

智能感知報警：當(dāng)識別異常情況時，系統(tǒng)依照異常定義級別，進(jìn)行分類、分級報警，各類報警；用戶可對報警信息進(jìn)行處置，實現(xiàn)智能感知—實時報警—異常處置的閉環(huán)管理。報警信息包含監(jiān)測類型、監(jiān)測點位置、報警級別、報警時間。

智能儀表盤：對當(dāng)日異常問題進(jìn)行統(tǒng)計分析，采用“管理駕駛艙”方式展示，具體統(tǒng)計內(nèi)容包含報警次數(shù)統(tǒng)計、人員違規(guī)統(tǒng)計、設(shè)備故障類型統(tǒng)計、環(huán)境安全報警統(tǒng)計等。

實時監(jiān)測：實時視頻查看主要展現(xiàn)礦井近一周異常報警信息展示及礦井實時視頻列表；支持監(jiān)測點設(shè)備信息、實時報警信息、處置狀態(tài)查看。

顯示屏警示：顯示屏終端安裝在重點位置(如領(lǐng)導(dǎo)辦公室、安全調(diào)度室等重要監(jiān)督區(qū)域)，顯示屏展示功能主要實現(xiàn)報警視頻及報警信息的滾動展示。

統(tǒng)計分析：實時分析以小時為周期，對當(dāng)天的實時數(shù)據(jù)進(jìn)行分析，包含監(jiān)測點在線情況、異常事件態(tài)勢、異常事件處置時間等，并以折線圖、柱狀圖、餅狀圖、進(jìn)度圖等方式予以展示。以日、周、月、年為統(tǒng)計周期，對歷史數(shù)據(jù)進(jìn)行分析，包含監(jiān)測點在線情況、異常事件態(tài)勢、異常事件處置時間等信息，并以折線圖、柱狀圖、餅狀圖、進(jìn)度圖等方式予以展示。

歷史查詢：默認(rèn)按時間倒序排列，支持按報警級別、報警地點、報警起始時間升序/降序排列；包含查看報警詳情、3個月內(nèi)歷史報警視頻回放；實現(xiàn)歷史報警信息的處置、填報。

系統(tǒng)管理：實現(xiàn)視頻監(jiān)測點信息、組織機(jī)構(gòu)信息、人員排班及數(shù)據(jù)字典的維護(hù)和管理，為系統(tǒng)運行提供基礎(chǔ)信息數(shù)據(jù)。實現(xiàn)模型下載管理、場景定義、關(guān)聯(lián)配置管理，滿足用戶在不同應(yīng)用場景下的定制化配置。

3 基礎(chǔ)平臺設(shè)計

3.1 總體架構(gòu)

基于“云-邊-端”一體化架構(gòu)，充分發(fā)揮云、邊、端技術(shù)優(yōu)勢。實現(xiàn)終端設(shè)備的接入、按需感知、實時監(jiān)測，為監(jiān)測預(yù)警、決策分析等核心業(yè)務(wù)提供有效數(shù)據(jù)支撐。

云端：借助于云端資源彈性伸縮、服務(wù)高實時、高可用的特性，實現(xiàn)數(shù)據(jù)采集、匯聚、挖掘、利用，為業(yè)務(wù)決策、安全管理提供決策支持，為模型優(yōu)化提供數(shù)據(jù)支撐；實現(xiàn)云端服務(wù)控制集中化，部署升級自動化，訪問操作自由化，共同構(gòu)建云平臺持續(xù)運營模式。

邊側(cè)：利用邊緣計算模式實現(xiàn)智能識別機(jī)制下沉，有利于解決邊側(cè)低時延、大帶寬、高并發(fā)的性能需求，煤炭行業(yè)特點和企業(yè)自身需求，定制滿足本企業(yè)需求應(yīng)用系統(tǒng)。

端側(cè)：將智能感知設(shè)備下沉，利用終端管控設(shè)備，提高AIot實時采集、實時運算、實時推理和場景閉環(huán)的能力，為煤礦企業(yè)現(xiàn)場安全的高效生產(chǎn)保駕護(hù)航。

3.2 平臺構(gòu)成

智能感知云平臺：該平臺為邊側(cè)和端側(cè)AI模型，提供完整的生命周期管理、運維監(jiān)控和在線升級服務(wù)。基于云強大的底層資源框架，提供“云-邊-端”協(xié)同增量學(xué)習(xí)、AI模型發(fā)布、更新、推送，形成完整閉環(huán)。提供對邊側(cè)視頻數(shù)據(jù)采集、實時視頻分發(fā)、回放、視頻數(shù)據(jù)轉(zhuǎn)儲、證據(jù)視頻及證據(jù)圖片調(diào)取查看功能。提供對智能感知邊平臺和智能感知端設(shè)備的生命周期管理、運維監(jiān)控、接入服務(wù)、在線升級。提供OpenAPI Cloud Server第三方接口服務(wù)，為云端第三方應(yīng)用提供AI智能分析能力。

智能感知邊平臺：該平臺對邊側(cè)視頻終端采集設(shè)備資源進(jìn)行統(tǒng)一管理。通過可視化平臺，用戶可將云端下發(fā)的AI模型很方便的與邊側(cè)視頻資源進(jìn)行配置綁定，并將模型下發(fā)到端側(cè)基于實時視頻進(jìn)行識別。對每一路AI模型提供完整的生命周期管理、運維監(jiān)控和在線升級功能。滿足“端-邊-云”的設(shè)計要求，通過安全可靠的邊云數(shù)據(jù)通道，將增量視頻數(shù)據(jù)同步到云端，為云端AI模型提供增量學(xué)習(xí)數(shù)據(jù)基礎(chǔ)。OpenAPI Edge Server，開放的邊側(cè)API接口服務(wù)，為邊側(cè)應(yīng)用系統(tǒng)提供AI能力。

智能感知端平臺：“端-邊-云”體系生態(tài)的邊、端側(cè)智能計算支撐軟件底座平臺；為全場景提供端側(cè)或邊側(cè)智能硬件終端的統(tǒng)一調(diào)度、統(tǒng)一管理、統(tǒng)一運維；提供可視化運維、配置、運行狀態(tài)監(jiān)測、日志跟蹤服務(wù)；為人工智能模型、大數(shù)據(jù)分析算法提供可控、安全、可靠的執(zhí)行環(huán)境；支持多種工業(yè)協(xié)議，可直接連接工業(yè)自動化系統(tǒng)或直接連接傳感器采集數(shù)據(jù)，對接外部感知和動作執(zhí)行單元，聯(lián)動智能化煤礦生產(chǎn)場景。

4 系統(tǒng)創(chuàng)新點及預(yù)期成果

4.1 系統(tǒng)創(chuàng)新點

該系統(tǒng)建立了井底車場AI識別模型、輔助運輸AI識別模型、人員巡檢AI識別模型、人員違規(guī)作業(yè)AI識別模型、皮帶運輸AI識別模型、鉆場AI識別模型。將AI能力賦能給邊側(cè)視頻，讓邊側(cè)視頻“聰明”起來。為每一路視頻智能應(yīng)用服務(wù)提供完整的生命周期管理、運維監(jiān)控和在線升級。

4.2 系統(tǒng)應(yīng)用預(yù)期成果

系統(tǒng)建成后可實現(xiàn)人員發(fā)生違規(guī)作業(yè)時系統(tǒng)自動進(jìn)行聲光告警，實時“三違”監(jiān)測，為安全監(jiān)管提供可靠的技術(shù)手段，將煤礦安全管理由事后分析變成事前預(yù)警和監(jiān)督，擁有預(yù)防和積極干預(yù)功能，從而做到防患于未然。系統(tǒng)建成后將解決作業(yè)過程中作業(yè)不規(guī)范、監(jiān)管不透明、依靠大量人員人為主觀判斷等管理難題，確保工程質(zhì)量；同時提供邊側(cè)視頻數(shù)據(jù)采集、實時分發(fā)、回放、視頻數(shù)據(jù)轉(zhuǎn)儲、證據(jù)視頻及證據(jù)圖片調(diào)取查看功能。減少人員工作量，提高礦井安全監(jiān)督能力，同時為彬長礦區(qū)其他礦井提供理論指導(dǎo)和實踐借鑒。

5 結(jié)語

利用AI視頻識別、大數(shù)據(jù)分析、云計算、邊緣計算等技術(shù)，建立煤礦井下規(guī)范操作智能化視頻監(jiān)控系統(tǒng)。該系統(tǒng)可以實時發(fā)現(xiàn)作業(yè)現(xiàn)場違章行為，發(fā)出語音報警提醒地面值班人員及現(xiàn)場作業(yè)人員，實現(xiàn)智能視頻分析、作業(yè)人員違規(guī)及設(shè)備異常狀態(tài)實時監(jiān)測等功能。在此基礎(chǔ)上，形成“人、機(jī)、環(huán)、管”安全閉環(huán)管理模式，有助于提升煤礦現(xiàn)場安全管理水平，具有很高的推廣應(yīng)用價值。