智能大采高綜采工作面視頻分析系統的研究與應用

牛云鵬 張立亞 賀云龍

(1.神東煤炭集團信息管理中心，陜西省榆林市，719315；2.煤炭科學技術研究院有限公司，北京市朝陽區，100013)

目前，煤礦井下綜采工作面的各種自動化和信息化類的系統對煤礦的安全生產起到了關鍵性保障作用[1-6]，但是國內煤礦的應用現狀基本上以監測為主，沒有對監測的對象進行分析挖掘。

隨著信息技術的發展，特別是圖像處理技術的發展，智能數字圖像處理技術在礦井中的應用已有較高水平。如美國通過對井下監控圖像進行處理，已開發出井下礦車監督系統，可辨別礦車的里程、路線和時間以及礦車的貨物種類、重量等；德國煤礦開采采用了“煤礦圖像處理”技術，即使在不利條件下，也能正常對物體的“好”和“壞”進行區分[7]。

煤礦綜采工作面可視化監控及其分析對綜采工作面自動化的發展具有重要作用。為了有效解決這一問題，筆者設計了一種適應于智能大采高綜采工作面的視頻分析系統。

1 智能大采高綜采工作面視頻分析系統組成

結合神東煤炭集團上灣煤礦(以下簡稱“上灣煤礦”)12401綜采工作面的實際需求，基于無線傳輸網絡平臺，視頻智能分析平臺通過搭建GPU集群，對多路并發視頻進行在線解析，實現在巷道集控中心及地面調度實時展現生產環境畫面和自動控制等功能，設計出一套適應于智能大采高綜采工作面的視頻分析系統。系統組成結構圖如圖1所示。

圖1 系統組成結構圖

2 系統主要功能模塊設計

2.1 片幫報警智能視頻識別

片幫事故本質上屬于動態事件[8]，片幫發生時，監控相機視野內的局部相鄰像素會發生一致性運動，算法自動捕獲和識別這樣的運動，并以此為依據進行事故發生與否的判斷。同時，由于井下環境的特殊性，前景和背景的紋理相似度較高，因此通過降噪、銳化算法將煤壁畫面中相鄰且具有明顯特征的群像素點作為特征點，在連續的圖像幀中比對這些特征點間出現的相對運動，一定數量特征點出現的相對位移達到閾值可認為該區域的煤壁將產生片幫。當片幫面積大于 1.5 m2時，系統發出報警信息并顯示實時畫面。視頻分析平臺也可區分不同區域的片幫報警和同一區域的連續片幫報警。煤壁片幫分析界面如圖2所示，護幫板下片幫分析界面如圖3所示。

圖2 煤壁片幫分析界面

圖3 護幫板下片幫分析界面

2.2 堆煤檢測智能視頻識別

通過無監督分割算法得到煤堆的邊界，從而計算煤堆在畫面中的占比。根據實際場景教學標定，得到具體的量化閾值，當占比超出閾值時，生成堆煤報警信息。此解決方案和絆線檢測結合使用，加強方法的穩定性和精確度。

在轉載機與帶式輸送機搭接轉載點、破碎機上方安裝礦用攝像機采集帶式輸送機沿線視頻，后端智能視頻服務器分析并實現報警。用戶通過軟件在視頻圖像上繪制方格，在視頻上設置電子圍欄，通過虛擬警戒線來判斷是否堆煤。當煤塊穿越警戒線(閾值設置為70%)時，即產生堆煤報警信息。堆煤檢測分析界面如圖4所示。

圖4 堆煤檢測分析界面

2.3 刮板輸送機內大塊煤視頻識別

通過監控視頻的智能識別技術，對刮板輸送機內的煤量進行估算，并對大塊煤進行智能識別。識別出的煤量分為5個等級，當煤量達到最高級和出現大塊煤時，系統進行事件預警并將結果推送到智能決策平臺；當發現直徑大于刮板輸送機寬度的大塊煤時，發出預警信息，并彈窗上報智能決策平臺。大塊煤分析界面如圖5所示。

圖5 大塊煤分析界面

2.4 人員“三違”預警、報警智能視頻識別

對煤礦井下工作人員在綜采工作面處的重點“三違”行為采用智能視頻識別算法[9-10]進行識別。在工作面上隅角、下隅角實現人員通過時準確實時識別，對進入該區域的行為預警并提醒工作人員禁止進入指定區域；在危險區域對人員進行檢測識別，并把預警信息推送到特定界面或指定系統，例如在刮板輸送機內、液壓支架架前區域、刮板輸送機機頭和機尾附近，當人員進入該區域時，除了預警提醒外，還要進行現場聲光報警，智能決策平臺彈窗并語音報警。工作人員進入生產區域警示提醒界面和工作人員危險區域越界報警界面如圖6和圖7所示。

圖6 工作人員進入生產區域警示提醒界面

圖7 工作人員危險區域越界報警界面

2.5 綜采工作面工作人員人臉識別

通過煤礦井下綜采工作面惡劣環境下的工作人員人臉識別算法，可應用在綜采工作面控制臺或交接班處實現自動人臉捕捉考勤功能。

提前采集需要進行跟班管理人員的人臉信息，建成人臉數據庫。采集的人臉信息包含面部干凈時的人臉、下井后的人臉、未戴安全帽的人臉、戴著安全帽的人臉4種狀態。當瓦斯檢測員、安檢員、跟班礦長交接班時，在攝像頭處進行人臉信息采集，系統對人臉進行識別，判斷人員是否為當值人員。工作人員在人臉識別攝像機前考勤時，考勤成功時有相應的語音提示，考勤不成功亦有相應的語音提示。綜采工作面工作人員人臉識別界面和綜采工作面工作人員人臉識別管理界面如圖8和圖9所示。

圖8 綜采工作面工作人員人臉識別界面

圖9 綜采工作面工作人員人臉識別管理界面

3 現場工業試驗

2018年，智能大采高綜采工作面的視頻分析系統在上灣煤礦12401綜采工作面進行現場安裝和調試。井下設備安裝示意圖如圖10所示。

圖10 井下設備安裝示意圖

工業試驗中，在8.8 m液壓支架上共安裝32臺隔爆攝像機，安裝10臺聲光報警裝置。隔爆攝像機和聲光報警裝置通過有線與無線結合的方式，接入到井下環網網絡中。

3.1 實現的功能

(1)片幫報警智能視頻識別。工作面發生片幫面積大于 1.5 m2時，系統能及時發出報警及相關圖像信息。

(2)堆煤檢測智能視頻識別。在帶式輸送機轉載點、破碎機處上方安裝礦用攝像機采集膠帶沿線視頻，該處出現堆煤現象時出發報警。

(3)刮板輸送機內大塊煤智能視頻識別。當發現直徑大于刮板輸送機寬度的大塊煤時，發出預警信息，并彈窗上報智能決策平臺。

(4)人員“三違”預警、報警智能視頻識別。在工作面上隅角、下隅角實現人員通過時的識別，對進入該區域的行為警告禁止進入。

(5)綜采工作面工作人員人臉識別。輸入具有進入權限的人臉信息庫50人，自動人臉捕捉考勤功能。

3.2 技術指標

軟件平臺程序基于B/S架構，并發用戶數量不小于50，軟件實現用戶分級管理。其中，綜采工作面的片幫報警智能視頻識別、堆煤檢測智能視頻識別、刮板輸送機內大塊煤視頻識別和人員“三違”預警、報警智能視頻識別等功能分析響應時間小于10 s，識別準確率不低于90%。人臉識別時間小于5 s，準確率達100%。

4 結語

結合上灣煤礦12401綜采工作面的實際需求，進行了片幫報警智能視頻識別、堆煤檢測智能視頻識別、刮板機內大塊煤及煤量估算智能視頻識別、人員“三違”預警、報警智能視頻識別、綜采工作面工作人員人臉識別等功能模塊的設計，對多路并發視頻進行在線解析，實現基于煤礦監控視頻的智能化人員和設備的分析與處理的功能。本系統把人和機器的力量加以統一，極大地提高了工作效率，為井下移動目標管理提供決策依據，能夠提高綜采工作面的安全監管水平。