基于多語義情景協同感知的煤礦執法系統研究

張瑞庭，付 元

（1.國家礦山安全監察局黑龍江局，黑龍江 哈爾濱 150007；2.煤炭科學技術研究院有限公司，北京 100013；3.煤礦應急避險技術裝備工程研究中心，北京 100013；4.北京市煤礦安全工程技術研究中心，北京 100013）

煤礦日常安監執法是保障煤礦安全生產的重要手段。為了提高煤礦執法過程的高效性與客觀性，郜彤等[1]研究了一套執法終端軟件，在一定程度上實現了執法的規范化，但執法文書應然需人工制作，并打印后確認簽字；劉梅華等[2]研究了基于捷聯慣性導航的執法系統，實現了執法軌跡可查詢，提高了執法信息的可信度；羅冬祥[3]針對現場執法過程了提出明確處置措施的適用情形以及優化了執法文書樣式，解決了現場執法人員執法效用的疑惑；王浩[4]針對人工編輯的執法文書邏輯較差以及不規范等問題，設計了一種執法文書智能生成系統，提高了執法文書的智能化程度；劉建等[5]研究了基于“國家安監云”的執法平臺，提高了執法效率。但在日常執法工作中，現場執法設備和技術相對匱乏，執法信息不能實時傳輸與更新，不能有效監管執法過程[6]，且主要以人工問答等為主，存在監管手段、裝備落后，取證過程時空不連續，以主觀經驗評判為主等問題。

針對上述煤礦執法中存在的問題，有必要研究基于時空位置信息、視頻圖像信息、文本、圖像、語音等多語義情景協同感知的煤礦執法系統，該系統可以實現執法場景自動識別、業務自動導航、閉環執法，達到井下精準執法的目的。

1 煤礦執法系統

1.1 煤礦執法系統架構

執法系統架構如圖1。

圖1 執法系統架構Fig.1 Law enforcement system architecture

煤礦執法系統由礦山安全生產執法平臺、移動執法設備和煤礦安全管控云平臺組成。移動執法設備主要實現環境信息、人員位置信息與檢查信息的采集、執法輔助信息的展示、受檢設備的感知等功能；礦山安全生產執法平臺主要實現執法檢查任務的處理、執法檢查信息的解析與處理、檢查狀態的實時監測、檢查證據的可信固化等功能；煤礦安全管控云平臺主要實現執法任務的發布以及管理執法結果、電子物證數據等。執法系統運行時，執法設備連接到井下無線網絡，實時傳輸慣導信息和視頻圖像到井上執法平臺，執法平臺在線進行情景識別，并下發場景信息到執法設備。

1.2 執法流程

執法系統運行時，執法設備連接到井下無線網絡，實時傳輸慣導信息和視頻圖像到井上執法平臺，執法平臺在線進行情景識別，并下發場景信息到執法終端。執法人員通過執法終端完成執法檢查后，執法文書和執法視頻可在線傳輸到井上執法平臺。因此，構建了“執法任務獲取-井下執法取證-執法報告生成-執法結果判定-執法文書上傳”閉環執法鏈路，閉環執法流程圖如圖2。

圖2 閉環執法流程圖Fig.2 Closed loop law enforcement flow chart

2 情景協同感知的多模態融合技術

針對煤礦安全監察執法工作需求，結合深度學習領域多模態融合技術，構建了一個協同感知模型，對智能場景識別算法、情景數據處理技術、慣性導航、多參數檢測、語音視頻同步可信取證等多語義情景進行多模態融合，構建多模態融合架構和融合方法，形成基于情景感知驅動的移動執法方法。

2.1 深度學習多模態融合架構

多模態融合策略是集成不同類型的特征來提高機器學習模型性能，消除不同模態的異質性差異；多模態協同架構是將各種單模態在一些約束的作用下實現相互協同；由于不同模態包含的信息不同，因此協同架構有利于保持各單模態獨有的特征和排它性。協同融合框架示意圖如圖3。

圖3 協同融合框架示意圖Fig.3 Schematic diagram of collaborative fusion framework

2.2 深度學習多模態融合方法

基于模型的融合方法是從實現技術和模型的角度解決多模態融合問題，常用方法包括多核學習方法[7-8]（MKL，Multi-Kernel Learning）、圖模型[9]（GM，Graph Model）、神經網絡方法（NN，Neural Network）等。神經網絡多模態融合方法在圖像字幕處理任務中表現良好[10]，主要模型包括神經圖像字幕模型、多視圖模型等。

通過面向多語義情景協同感知的多模態融合技術，融合文本、圖像、語音、視頻、空間位置等多元信息，構建多模態多情景決策模型，經過信息轉換和融合，實現移動執法的情景識別、業務自動導航。執法人員通過執法攝像頭、慣性導航等設備采集數據，后臺服務器使用集成以上技術的多模態融合模型計算出結果，返回移動執法設備這一流程的核心計算功能。

3 便攜式手持執法設備

3.1 執法設備架構

執法設備通過云端的GIS 服務獲取井下的地圖，并從后臺服務獲取的檢查地點、檢查內容、信標位置等信息；執法設備通過USB 接口連接佩戴在檢查人員安全帽上的攝像頭，對拍攝到的視頻畫面進行分析，實現情景感知；執法設備通過連接的甲烷、氧氣、一氧化碳傳感器對環境中的氣體參數進行測定。執法設備硬件結構圖如圖4。

圖4 執法設備硬件結構圖Fig.4 Hardware structure of law enforcement equipment

基于情景感知驅動的執法設備，能夠通過傳感器及其相關的技術使設備能夠“感知”到當前的情境。執法設備通過導航位置信息，自動感知執法人員所在區域，結合視頻圖像信息采集分析，自動定位要檢查的目標設備。針對煤礦安全管控云平臺推送的執法任務，通過相應的情境感知，自適應地觸發執法路徑、執法流程、執法內容、執法標準、執法設備及其他執法輔助業務，為執法人員提供推送式服務，規范執法人員在重要區域及關鍵設備執法過程中的自由裁量權。

3.2 慣性導航定位技術

慣性導航是一種自主導航方法[11-12]，它是通過測量運動載體自身的加速度并進行計算來完成導航任務[13]。捷聯式慣性導航系統并沒有穩定的實體平臺，以導航計算機產生的數學平臺來取代實體平臺，陀螺儀與加速度計則直接與運動載體固聯[14]。

基于MEMS-IMU 的定位系統通過慣性器件采集行人的三軸加速度數據和三軸角速度數據，通過算法計算出載體的姿態信息，可以計算出姿態坐標轉換矩陣，然后將三軸的加速度數據信息由載體坐標系轉換到導航坐標系下，通過算法的計算得到行人的位移信息。慣性導航原理圖如圖5。

圖5 慣性導航原理圖Fig.5 Schematic diagram of inertial navigation

執法設備通過藍牙與慣性導航模塊連接，實時獲取當前的位置信息。為解決慣導模塊可能出現的偏航問題，可沿巷道每隔一段距離部署1 個藍牙信標，信標的坐標已事先在執法平臺設置好，并發送給執法設備，當檢查人員經過信標附近時，慣導模塊會自動捕獲到信標的編號，執法設備根據信標的坐標對當前位置進行修正，并以此為基準繼續進行慣性導航。

3.3 數據并行采集技術

數據采集架構圖如圖6。

圖6 數據采集架構圖Fig.6 Data acquisition architecture

執法設備需采集環境參數信息、慣導定位信息、圖片視頻信息，設計時建立并行數據采樣接口，建立2 路高速通道并行采集一氧化碳、氧氣體積分數，采集器選用ADS 系列高速ADC（模擬數字轉換器），采樣速度高達65MSPS；建立2 路低速通道，并行采集供電電壓、驅動電壓數值；同時建立1 路串口通道采集甲烷體積分數，1 路藍牙通道采集管道位置坐標，1 路USB 通道采集圖片視頻信息。硬件上建立的7 路獨立采集通道保證了數據的實時響應。通過分布式數據采集通道，實時采集環境參數信息、定位信息及圖片視頻信息，利用高速ADC 和UFS 閃存技術，快速對數據進行采樣和存儲，通過IEEE 802.11n傳輸制式在線傳輸視頻流、人員位置、執法數據。

4 執法平臺

執法系平臺分為5 個功能模塊：基礎信息、檢查任務、地理信息、記錄管理與終端管理，礦山安全生產執法平臺功能模塊結構圖如圖7。

圖7 礦山安全生產執法平臺功能模塊結構圖Fig.7 Functional module structure of mine safety production law enforcement platform

5 實驗測試

執法系統測試效果見表1。

表1 執法系統測試效果Table 1 Test results of law enforcement system

執法場景：A1 礦井中央變電所030201 甲烷傳感器上午8:00 時出現1%報警1 min，目前該傳感器上傳值為0.41%；煤礦安全管控云平臺推送執法任務到執法平臺，執法平臺收到執法任務后進行提示，并可查看執法內容。

執法任務內容：①核查A1 礦井中央變電所實際甲烷體積分數并與030201 甲烷傳感器數值進行比較，核查030201 甲烷傳感器是否測量超差；②對A1 礦井中央變電所030201 甲烷傳感器進行安標有效性檢查；執法設備彈出任務“請編號ZY001 于10:00 到13:00 之間前往A1 礦井中央變電所檢查執法”；③走路過程中，執法人員通過執法設備GIS 界面實時查看自身位置，執法人員行走路線形成軌跡線路（走過的點連成一條線），當走到變電所附近時，井上執法平臺GIS 界面彈出視頻彈窗，并顯示“中央變電所”字樣，井下執法終端GIS 界面彈出“已到達中央變電所，請檢查執法”，同時進行語音播報。隨后彈出對話框“開始檢查”，“稍后檢查”，執法人員選擇“開始檢查”，此時執法終端開啟自動錄像，記錄執法過程。

6 結 語

1）通過研究基于時空位置信息、視頻圖像信息、執法人員行為狀態等多語義情景協同感知技術和方法，開發出情景感知驅動的執法平臺。情景感知驅動的執法平臺，具備執法任務獲取、執法任務分配、執法任務管理、執法場景識別、執法報告生成等功能，極大提高了監察執法的高效性和客觀性。

2）通過面向多語義情景協同感知的多模態融合技術，從文本、圖像、語音、視頻等多個領域獲取信息，實現信息轉換和融合，構建了多模態融合架構和融合方法，形成基于情景感知驅動的移動執法方法。

3）根據執法任務規劃執法路徑，結合情景感知結果與空間位置信息，實現執法內容的自動觸發，并提示執法人員相應的執法標準，規范執法人員的自由裁量權。