基于遞歸卷積神經(jīng)網(wǎng)絡的煤礦智能監(jiān)控安全生產(chǎn)管理平臺關鍵技術研究

劉開南

(三亞學院信息與智能工程學院，海南省三亞市，572022)

隨著計算機科學的飛速發(fā)展，信息技術成為煤礦企業(yè)安全生產(chǎn)和提高勞動生產(chǎn)率的重要途徑。在進行煤礦生產(chǎn)管理過程中，視頻監(jiān)控系統(tǒng)已經(jīng)得到廣泛應用。目前，在煤礦安全生產(chǎn)中的視頻監(jiān)測監(jiān)控系統(tǒng)中，目標檢測與監(jiān)控功能的實現(xiàn)主要還是人眼識別為主，還無法實現(xiàn)無人自動或半自動智能視頻語義特征識別管理，更不能根據(jù)安全生產(chǎn)管理規(guī)定進行全天候、自動、實時地監(jiān)控，應該由“事后查詢”變“事先預警”，由“被動”變“主動”，最大限度地提高安全生產(chǎn)能力。視頻語義特征識別難以實現(xiàn)的主要原因是煤礦井下亮度低、粉塵大、溫度高、濕度大和場景復雜等一系列惡劣環(huán)境的影響，使得監(jiān)控視頻存在目標對象影像不清晰、特征不明顯、干擾元素多等問題，導致傳統(tǒng)的模式識別技術無法對煤礦監(jiān)控視頻進行自動、快速、準確、高精度的圖像信息識別。應用遞歸卷積神經(jīng)網(wǎng)絡算法構建煤礦智能監(jiān)控安全生產(chǎn)管理平臺是解決這些問題的一種思路，從而實現(xiàn)對視頻中安全與生產(chǎn)對象的實時檢測與分析，為煤礦智能監(jiān)控的安全生產(chǎn)管理提供技術保證。

1 煤礦智能監(jiān)控安全生產(chǎn)管理平臺

煤礦智能監(jiān)控安全生產(chǎn)管理平臺是通過對攝像機拍錄的圖像序列進行自動分析，對煤礦各種安全生產(chǎn)崗位動態(tài)場景中的特定目標進行定位、識別和跟蹤，并在此基礎上分析、判斷和目標行為報警。該平臺從功能流程上由工作場景采集與傳輸、視頻目標語義計算、特定目標判斷、安全生產(chǎn)人機交互接口四大部分構成，分別實現(xiàn)煤礦視頻源輸入、視頻語義計算與識別、智能交互預警和煤礦安全生產(chǎn)管理等目標。煤礦智能監(jiān)控安全生產(chǎn)管理平臺功能架構如圖1所示。

圖1 煤礦智能監(jiān)控安全生產(chǎn)管理平臺功能架構

(1)工作場景采集與傳輸是通過煤礦高清視頻監(jiān)控器、視頻分配器、網(wǎng)絡傳輸?shù)仍O備，對煤礦井下瓦斯員、放炮員、安全員、電鉗工、主提升司機和采煤機司機6類特種作業(yè)人員和重點區(qū)域、限制區(qū)域進行不間斷視頻采集，實現(xiàn)數(shù)據(jù)采集和傳輸功能。

(2)智能視覺算法系統(tǒng)部分包括視頻目標語義識別和特定目標判斷兩部分，是整個系統(tǒng)的技術核心。

(3)智能交互預警部分是對安全生產(chǎn)管理關鍵目標數(shù)據(jù)可視化展示與人機交互預警部分，是智能視頻安全生產(chǎn)管理的可視化環(huán)節(jié)。

(4)煤礦安全生產(chǎn)管理是將可視化的預警部分信息以語音、警報和燈光等交互反饋的方式主動通知給生產(chǎn)工作現(xiàn)場人員，及時調整并變更工作行為，按照安全生產(chǎn)工作流程工作，從而提高安全生產(chǎn)管理效率。

2 煤礦智能監(jiān)控關鍵技術

目前，煤礦企業(yè)選用視頻監(jiān)控系統(tǒng)以固定式攝像機進行定點監(jiān)測，拍攝的背景屬于相對靜止不變的類型，因此利用opencv技術對原始監(jiān)控視頻進行清晰度和背景去除預處理減輕計算量，作為整個系統(tǒng)技術核心的遞歸卷積神經(jīng)網(wǎng)絡算法，通過線下特征抽取和線上特征識別與分類來完成目標特征抽取與識別，移動目標跟蹤與定位如圖2所示。

2.1 特征抽取算法

特征抽取算法主要是對礦山生產(chǎn)場景特定目標對象、人、車輛、安全帽和明火等進行目標對象特征獲取。在經(jīng)典RCNN理論的基礎上進行改進，借鑒Faster RCNN區(qū)域提名網(wǎng)絡RPN設計一種有效的自動背景分割算法，使分割的效果更加理性。采用16層卷積神經(jīng)網(wǎng)絡，通過softmax分類anchors獲得目標和背景，同時計算anchors的目標識別區(qū)域類別偏移量，并根據(jù)訓練迭代數(shù)據(jù)修改Loss參數(shù)，以獲得精確的特征區(qū)域。利用已經(jīng)獲得的區(qū)域特征映射，通過全鏈接層與softmax計算每個proposal具體屬于哪個類別(人、車、安全帽、特定區(qū)域、特定設備等)；同時重復利用獲得每個建議的位置偏移量，回歸得到更加精確的目標位置。該算法模型將會對訓練的圖像特征向量進行高質量抽取與識別，對圖像自動標示效果產(chǎn)生較大的提升，F(xiàn)aster RCNN改進算法如圖3所示。

圖2 遞歸卷積神經(jīng)網(wǎng)絡算法

圖3 Faster RCNN改進算法

為了使類別特征準確性更高，采用公開的MNIST、ImageNet數(shù)據(jù)集、火焰數(shù)據(jù)集、PASCAL VOC訓練集、COCO等圖像訓練數(shù)據(jù)集。同時自主制作安全帽、火焰訓練數(shù)據(jù)集，并應用視覺計算方法進行圖像大小、旋轉、角度、RGB效果以及GAN對抗神經(jīng)網(wǎng)絡算法實現(xiàn)樣本倍增擴充，使訓練模型滿足大數(shù)據(jù)量訓練的需求，從而獲取各大類別特征。其核心是把特征提取和分類器進行有機的整合，通過隨機梯度下降的方式進行反向傳播，不斷地對卷積模板參數(shù)和全連接層的參數(shù)進行優(yōu)化，使得最終學習到的特征和分類器接近最優(yōu)，獲得對象特征。

2.2 特征識別與分類

特征識別與分類主要是解決25幀/s的時間序列監(jiān)控視頻圖像，輸入信息獨立無關性問題，實現(xiàn)視頻特征目標對象連續(xù)跟蹤需要有“記憶能力”的深度遞歸卷積神經(jīng)學習模型。深度遞歸卷積神經(jīng)算法實現(xiàn)目標對象在前后幀圖像中特征連續(xù)識別，為了避免空間利用率低，要優(yōu)化減少中間迭代回歸卷積過程，在多個特征映射上檢測時，同時進行softmax分類和位置回歸。預測多個目標對象的位置區(qū)域和類別概率，允許分類層重用在若干圖像分辨率生成的特征圖特征，形成高速連續(xù)遞歸的圖像目標識別，提高識別準確性。

使用低 layer 來提升圖像分割效果，采用適當增加低層的特征映射來進行區(qū)域預測。提高圖像目標特征向量檢測的粒度，提升圖像分割和物體檢測性能，獲得更好的識別質量和精度。由于損失函數(shù)的定位誤差是影響檢測效果的主要原因，所以將位置定位準確度值和類別得分置信度損失函數(shù)融合起來。應用模型對圖像訓練庫預處理，結合線下對圖像獲得的先驗特定目標(人、車、安全帽、特定區(qū)域、特定設備等)特征向量，對視頻中對象進行匹配檢測，通過循環(huán)更新實現(xiàn)視頻圖像特定目標檢測與跟蹤功能。最終實現(xiàn)基于特定目標的監(jiān)控視頻實時檢測系統(tǒng)原型。

3 系統(tǒng)應用

3.1 特定目標檢測

以工作人員、安全帽為例進行測試，采用人臉識別和安全帽識別方式進行人員重復計數(shù)并計算人數(shù)，人臉識別人員管理如圖4所示，安全帽識別與預警如圖5所示。

圖4 人臉識別人員管理

圖5 安全帽識別與預警

3.2 指定區(qū)域監(jiān)控

對重要區(qū)域和限制區(qū)域進行權限管理，非授權人員進入系統(tǒng)將自動報警。以采煤掘進工作面視頻監(jiān)控區(qū)域進行區(qū)域預警，當掘進工人在工作時間內以及特定或指定區(qū)域內時，系統(tǒng)不會報警；若目標對象擅自離開指定區(qū)域，系統(tǒng)會自動報警。目標對象工作面區(qū)域越界預警如圖6所示。

圖6 目標對象工作面區(qū)域越界預警

3.3 移動目標跟蹤

由于管理需求對移動物體識別和對目標特征精度要求不高，所以為了保證實時性檢索移動目標對象，應用PYTHON+openCV技術對視頻進行在線預處理，完成減幀與降低分辨率處理，以此降低計算量，提高計算速度。 在應用遞歸神經(jīng)網(wǎng)絡實現(xiàn)目標特征持續(xù)檢索，對連續(xù)的圖像幀間創(chuàng)建位置、速度、形狀等有關特征的運動目標識別與跟蹤。特定目標移動跟蹤如圖7所示。

圖7 特定目標移動跟蹤

4 結語

在煤礦已有的視頻監(jiān)控系統(tǒng)基礎上，通過人工智能技術手段進行智能視頻技術升級，以監(jiān)控視頻為輸入，利用核心的遞歸卷積神經(jīng)網(wǎng)絡算法進行目標對象語義分析，很好地解決了煤礦特殊場景下特定目標快速、實時識別與判斷、可視化與反饋預警等功能，并以此為核心構建智能視頻技術的煤礦安全生產(chǎn)管理平臺，有效地提高煤礦安全生產(chǎn)管理的水平。