露天礦山智能視頻識別系統平臺應用研究

曲業明，付恩三，孫寶志，趙 浩，王 剛，夏慶宇

（1.內蒙古吉林郭勒二號露天煤礦有限公司，內蒙古 錫林浩特 026200；2.遼寧工程技術大學，遼寧 阜新 123000；3.應急管理部信息研究院，北京 100029；4.應急管理部研究中心，北京 100013；5.神華銷售集團東北能源貿易有限公司，黑龍江 哈爾濱 150000）

隨著露天煤礦生產能力的逐步提高，爆破、剝離、采煤、排土等工藝環節逐步發展，礦山大型設備數量逐年增加，一系列配套設施設備的投入使用，使得露天礦山開采系統變得復雜化[1]。隨著礦山經營模式的改變，參與礦山工程作業中本單位、外委單位的設備、人員交叉作業頻率增大，作業范圍重疊區域變多，人機交互作業環節增加，機械化程度增強，這些都給露天礦山生產帶來新的安全風險[2-3]。如何通過智能視頻識別的手段，來對露天礦山的各個生產環節進行智能管控，具有重要的意義[4-5]。目前，國內大型露天礦山已在生產辦公區、機修車間、選煤廠、炸藥庫等關鍵位置部署了高清視頻攝像頭，實現各類關鍵地點視頻信息接入及實時調閱。但當發生違章等異常行為時，需要完依靠露天礦山安全管理人員進行事后人工識別，導致取證過程中，需要調閱的大量視頻信息，過程繁瑣，識別周期長，工作量大，耗費大量的人力物力，并且由于人的視覺疲勞等主要因素影響，違章片段很容易被忽略，導致違章行為識別準確率低，不能實現實時違章信息的智能識別，發生各類安全隱患后，各類報警處置信息聯動不及時。

付文俊[6]等針對煤礦工業監控系統不能通過視頻圖像進行分析處理和判斷預警等問題，提出全礦井煤礦安全智能視頻系統，進而在實現“看”和“存”的需求上滿足“管”的需求；趙俊杰[7]等為解決燃煤火力發電廠生產中精準監控的問題，基于大數據分析和深度神經網絡，開發視頻數據AI 識別預警系統，成功應用于國電東勝熱電公司，提高了安全風險管控和應急處置能力。露天礦山通過探索創新，充分利用人工智能在圖像識別、深度學習等領域的優勢，構建露天礦山智能違章視頻識別系統平臺。針對露天礦現場常見的膠帶堆煤、破碎站大塊卡死、調度室脫崗離崗、操作工人違章操作、駕駛司機接打電話、儲煤場自然發火、變電站煙火故障、區域入侵等現象，及時、精準、自動推送報警，提高露天礦山生產過程的安全風險管控和應急處置能力[6-10]。

1 露天礦異常狀態場景研究

針對露天礦山異常狀態場景主要面向露天礦山安全生產過程中人的不安全行為和物的不安全狀態2 個方面。露天礦山人的不安全行為主要集中在從業人員的違章行為，物的不安全狀態主要集中在礦山設備的運行狀態。為實現露天礦山智能管控，需在露天礦關鍵的位置點部署高清攝像頭。露天礦高清攝像頭部署空間位置如圖1。

圖1 露天礦攝像頭部署位置

1.1 露天礦帶式輸送機異常狀態識別

隨著露天礦開采深度的逐步加大、運距的增加，露天礦山帶式輸送機運輸優勢逐漸凸顯。由于長距離的帶式輸送機運輸，日常的帶式輸送機巡檢工作就顯得尤為重要。帶式輸送機運煤的過程中常常出現在轉載點堆煤、膠帶跑偏等異常狀態，如若不能及時發現異常狀態，將對露天礦山生產帶來影響。露天礦帶式輸送機異常狀態識別主要包括：膠帶堆煤、膠帶著火、膠帶跑偏、膠帶異物、膠帶空轉以及人員跨越帶式輸送機等主要異常狀態。為實現對露天礦帶式輸送機異常狀態的識別，需要在帶式輸送機轉載點、帶式輸送機運行中心處、帶式輸送機安全界限周圍安裝部署視頻攝像頭，將上述視頻流通過礦山內網傳輸至智能視頻分析服務器，來實現對帶式輸送機異常狀態的實時智能識別。

1.2 人員勞保用品佩戴識別

露天礦山從業人員應嚴格按照相關規程、規范進行操作作業，防止發生人身事故。根據露天礦山多起事故類型，結合露天礦山智能視頻識別系統，歸納總結如下幾種違章行為涵蓋：安全帽識別、防塵口罩識別、絕緣手套識別、高空作業安全帶識別、焊接防護面具識別等場景。根據上述識別場景，需要將高清攝像頭部署在上述人員作業區域，例如：配電柜上方需要部署攝像頭，角度能清晰獲取電工是否佩戴絕緣手套進行配電箱操作；焊接車間焊接區域上方部署高清攝像頭。當發生異常行為后，系統自動報警，融合車間語音廣播系統，智能干擾從業人員的違規行為，防范發生違章事故。

1.3 駕駛人員違章行為識別

露天礦山主要以間斷工藝和半連續工藝為主，礦山大量的運輸卡車參與礦巖運輸工作，駕駛司機的違規行為時有發生，是導致露天礦山運輸事故的主要原因。目前，國內大型露天礦山在駕駛室安裝了行車記錄儀以及視頻監控系統，但僅作為事后調查取證，需要調查人員將車載視頻拷貝后，進行查找證據。因此，將駕駛司機違章識別算法嵌入攝像頭前端，實現對司機接打電話、瞌睡、未系安全帶、閉眼、抽煙等行為進行智能識別。利用露天礦山網絡，將違章視頻片段上傳至視頻系統平臺，智能干預司機違章行為，防止發生礦山運輸安全事故。

1.4 其他異常狀態識別

在露天礦山的其他關鍵位置，例如：調度室、儲煤倉、破碎站、帶式輸送機車間、滑坡區等位置部署高清攝像頭，實現區域入侵、破碎站區域車輛聚集、脫崗離崗、儲煤倉煙火、采掘設備近距離作業、焊接作業無滅火器、帶式輸送機車間運行清浮煤、破碎站卡塊等異常狀態，通過智能視頻識別的方式，實現快速感知，智能處置。

2 智能視頻識別流程及關鍵技術

露天礦山智能視頻識別涉及到的關鍵技術包括：數據的標注、模型的選擇和訓練，模型推理、視頻圖像處理技術、目標檢測以及相應的視頻接入協議等關鍵內容。推理邏輯如圖2。

圖2 推理邏輯圖

2.1 視頻圖像預處理技術

露天礦特定場景下視頻圖像預處理的目的是為了圖像能夠更好地為露天礦山違章場景識別服務，以提高視頻圖像識別的準確率[11]。目前，在其他行業領域中，視頻圖像預處理的過程，通常采用方法：對彩色三通道圖像進行灰度化處理、二值化處理等；與此同時，采用低通濾波、均值濾波、中值濾波和直方圖歸一化等平滑處理方法來降低圖像成像過程中的噪聲影響，通過采用高通濾波器處理和拉普拉斯算子算法對圖像特征進行處理，對圖像進行邊界檢測、邊緣檢測、區域連接等技術處理[12]。

1）圖像編碼壓縮技術。由于露天礦山網絡帶寬有限，需要均衡對視頻圖像的傳輸通道資源的占用比率。需要采用新的技術手段來降低視頻數據對帶寬的高強度占用，因此提出采用圖像編碼壓縮技術，降低圖像、視頻傳輸、處理時間等方面對存儲器容量的占用。采用圖像編碼壓縮技術后，必須保證圖像的不失真，否則，數據無法正常使用[13]。

2）圖像特征描述技術。圖像特征描述使用相應的特征算法，對圖像中的所有物體進行特征描述。將圖像分成小的連通區域，然后采集連通區域中各像素點的梯度或邊緣的方向直方圖，實現對圖像關鍵信息的直觀描述。

3）圖像增強和復原技術。圖像增強和復原的目的是為了提高圖像的質量，去除圖像噪聲，提高圖像的清晰度。圖像復原，需要根據降質過程建立“降質模型”，再采用相應的濾波方法，以此來恢復或重建原來的圖像。

4）人工智能AI 模型。人工智能AI 模型的構建過程是對訓練集打上相應的標簽，通過深度學習模型進行訓練，生成相應的模型文件。最后將通過訓練學習的模型數據，與模型文件里的數據相比對，并將比對所產生的差異，使用歐幾里德距離公式、歸一化評分函數進行量化。反復重復上述過程，逐步調整模型參數，最后得出相應的AI 模型算法。

3.2 視頻識別關鍵點

1）目標檢測。目標檢測判斷一張圖片里的物體種類，同時確定各物體分別在圖片中的位置。一般包括目標分類和目標定位2 個子任務。

2）目標跟蹤。目標跟蹤在給定某視頻序列初始幀的目標大小與位置的情況下，預測后續幀中該目標的大小與位置，可分為單目標跟蹤與多目標跟蹤。

3）目標分割。圖像語義分割是圖像處理和是機器視覺技術中關于圖像理解的重要一環，也是AI 領域中一個重要的分支。語義分割即是對圖像中每一個像素點進行分類，確定每個點的類別（如屬于背景、人或車等），從而進行區域劃分[14]。目前，主流的圖像語義分割方法都是基于深度學習的框架來設計，結合著露天礦山領域，圖像語義分割技術主要實現對露天礦山皮帶設備、人員安全作業、人員安全用品佩戴等方面的視頻圖像進行分類。提高計算機對露天礦山的特定違章場景進行識別和認知水平，提高視頻識別技術在露天礦山的高級應用。

4）數據標注。采用專用的數據標注軟件對相應的數據進行標注，主要標注目標的檢測類別和對應的檢測框坐標。

5）模型選擇和訓練。根據露天礦山的違章行為的建設內容及違章的行為，構建合適的模型。初步選定模型之后，根據需要對標注后的文件進行預處理，然后用預處理后的文件訓練模型。在模型訓練的過程中，多次對初步得到的模型進行各項指標的測試。根據測試結果，調整模型的相關參數。從而最終得到滿足項目需求的模型。

6）模型推理。對得到訓練好的模型由系統調度實現數據流的輸入、模型的部署推理過程，并將模型識別推理結果進行返回輸出，同時配合系統其他功能模塊進行識別結果的統計、展示、存儲等操作。

4 實例研究

國內某露天礦山為實現對露天礦山運輸設備駕駛人員的違章行為進行智能管理，建設車輛智能識別系統。該礦目前共有100 余輛運輸卡車在露天礦坑內運行，并且所有車輛內部均部署了視頻攝像頭，固定地點共有787 路視頻。礦坑內已經部署4G 基站，實現數據的實時上傳。每個基站目前可實現上傳帶寬20 M，主要用于傳輸露天煤礦基礎生產數據。目前露天礦坑采場內部已實現4G 網絡全覆蓋。為實現對露天礦山駕駛司機的違章行為進行實時管控，提出構建露天礦山智能視頻識別系統。

4.1 智能識別系統平臺架構

露天礦山智能識別系統平臺基于“云邊融合”理念為基礎的AI 云，即通過對圖片的學習，加上深度算法，可以實現對圖片、視頻進行前端與后端相結合的智能視頻識別+云端服務器。系統架構以“感、知、用”為主要切入點，提出了“感知邊緣計算、數據支撐平臺、系統行業應用”新主線，通過邊緣節點、數據平臺和云中心來實現露天礦山智能識別系統的建設。

4.2 智能識別系統功能應用

1）數據分析。系統軟件平臺可以通過折線圖的方式，統計分析某一時間段內車輛報警趨勢；系統軟件平臺可以通過餅圖的方式，展示報警類型統計結果；系統軟件平臺可以通過列表排序的方式，對所有車輛進行行車里程分析；系統軟件平臺可以通過折線圖的方式，對車輛上線/離線率進行分析；系統可以通過建立高危排行榜的方式，對駕駛員進行評分。

2）報警查詢。系統軟件平臺支持多維度的報警信息查詢：包括支持對車牌號、司機姓名、機構名稱等關鍵字的信息查詢；包括支持對不同周期內各類報警信息的統計查詢；包括支持根據報警的風險等級進行報警信息查詢；同時支持模糊查詢。查詢出的報警信息包括：車牌號信息、司機姓名、所屬機構、違章類型、風險等級、報警時間、車速、駕駛證照、司機黑名單以及處置結果等內容。系統軟件平臺可對查詢出的包括報警車輛基本信息、駕駛員基本信息、違章行為圖片及視頻信息進行查閱及下載。

3）視頻調閱。系統軟件平臺可實現對駕駛車輛的實時進行實時調閱，同時，可實現對違章報警數據的實時看看，支持視頻數據的下載導出功能。

4）參數綁定。通過車載主機上的網絡與終端設備連接，從而對終端設備上的功能參數進行配置，主要用于輔助安裝終端設備及終端設備的后期調校。

綜上所述，該系統上線運行使用后，實現了對駕駛員違章行為的實時監管，實現對違章行為的超前干預，降低了事故發生的概率。

5 結語

1）通過搜集露天礦山各類違章視頻片段和圖片，構建深度學習模型，對露天礦山違章行為進行自學習分析，實現對駕駛員接打電話識別、重要崗位脫崗離崗、破碎站故障、皮帶故障等異常狀態的識別。

2）利用露天礦山的端部高清攝像頭，利用礦山自建的4G、5G 網絡系統，實現視頻數據的上傳，在云平臺進行違章行為分析，構建露天礦山違章行為系統平臺，實現對各類違章行為的智能管控和及時干預，降低事故發生的風險。

3）系統部署應用后，駕駛司機違章報警次數大幅降低，同時根據違章駕駛司機的具體情況，進行針對性培訓，提高了礦山的安全培訓效率，該系統的建設對降低礦山安全風險具有重要的意義。