智能煤礦數據中臺架構及關鍵技術研究

疏禮春

(應急管理部信息研究院， 北京 100029)

0 引言

目前，我國煤礦智能化發展處于初級階段[1-3]。為促進煤礦智能化建設，國家發展改革委、國家能源局等八部委聯合發布了《關于加快煤礦智能化發展的指導意見》，其中提出需實現煤礦智能化和大數據的深度融合與應用等。如何實現煤礦異構系統數據匯聚、分級分類存儲、治理、建模和服務，是煤礦應用大數據的關鍵[4]。為此，需要建設煤礦大數據平臺。文獻[5-11]針對煤礦存在的信息化標準缺失、信息孤島等問題，提出了基于云計算和大數據技術建設智能煤礦統一大數據平臺的思路。但總的來說，我國煤礦大數據平臺建設還處于起步階段，對在互聯網、智慧城市等領域應用較廣泛的數據中臺建設還未提及。

數據中臺是智能煤礦建設的數據底座，是煤礦大數據應用的基礎。本文提出智能煤礦數據中臺架構，實現了數據匯聚、數據開發，以及各類感知數據、基礎數據、管理數據的分級分類存儲、數據資產管理、數據建模、模型訓練和數據服務等，解決了信息孤島、海量數據實時計算能力差、數據失真、查詢速度慢、共享難等問題，將數據資源轉變為數據資產，支撐業務應用的快速構建。

1 智能煤礦數據中臺建設思路

智能煤礦數據中臺建設涉及各類數據接入、管理規范的制定，匯聚數據資源量、硬件計算資源量、存儲資源需求量估算，根據數據資源量和數據采集頻率及實時性要求等進行大數據基礎支撐組件的選型等，包括數據匯聚、數據開發、數據存儲、數據資產管理和數據服務等步驟。

經數據匯聚采集的數據沒有經過處理，基本是按照數據的原始狀態堆砌在一起的，業務難以使用，需要通過數據開發存入數據資源池。數據開發主要面向開發和分析人員，提供離線或實時的算法開發工具，以及任務管理、監控等一系列集成工具。數據存儲是數據中臺的核心，要充分考慮數據的一致性和復用性，按照原始庫、資源庫、主題庫等存儲方式進行數據資源池建設，并形成數據資產和相關模型。數據服務使數據資產和相關模型服務于煤礦風險監測預警、設備健康診斷等，通過運維體系保障數據中臺長期健康、持續運轉。

2 智能煤礦數據中臺架構

智能煤礦數據中臺的主要功能是沉淀數據資產和構建分析模型，通過數據匯聚、數據治理、One ID、One Model、One Service來實現整體的數據加工、沉淀及服務，提供指標數據、標簽數據、算法服務。智能煤礦數據中臺主要包括數據標準規范、大數據基礎支撐、數據匯聚、數據開發、數據資源池、數據資產管理、數據服務和運維保障等功能模塊，通過統一的平臺打通數據源層各系統之間的數據流，匯聚數據至統一的數據資源池進行存儲、治理、分析，并通過數據服務為應用層提供數據，如圖1所示。

圖1 智能煤礦數據中臺技術架構Fig.1 Technical architecture of intelligent coal mine data middle platform

(1) 數據標準規范。包括數據接入規范和相關數據治理規范。數據接入規范是智能煤礦數據中臺數據匯聚及質量管理的依據，包括煤礦安全監控、人員定位、工業視頻監控、沖擊地壓監測、水害防治和礦用重大設備運維等感知數據接入規范，以及雙重預防、地質測量等管理數據接入規范。數據治理規范包括主數據規范、元數據規范、數據目錄規范、數據服務規范等，依據相關國家標準和行業標準制定。

(2) 大數據基礎支撐。主要包括數據匯聚時所需的Kafka消息隊列(用于緩存實時數據)，Hadoop的Yarn，ZooKeeper資源調度管理組件，Flink實時流式計算處理組件，以及數據資源池建設中所需的MySQL，Redis，ES等數據存儲組件。

(3) 數據匯聚。主要實現結構化、半結構化、非結構化數據采集，包括數據源適配、數據預處理、數據轉換、數據傳輸、數據緩存、運行監控、安全認證等功能。

數據源適配支持Kafka消息隊列、FTP文件、API(Application Programming Interface,應用程序接口)和前置交換庫等。Kafka消息隊列適用于時效性要求高的流式數據采集，如安全監控、人員定位、礦壓和沖擊地壓、水文地質等數據。FTP文件適用于數據量大、時效性要求不高的數據采集。API和前置交換庫適用于交換頻率較低的管理數據采集。

數據預處理依據數據接入規范，通過開關方式開啟數據項內容的格式檢查。

數據轉換是針對不同系統的數據源，按照數據接入規范轉換為標準統一格式。標準轉換程序內置在數據匯聚模塊中。

數據傳輸方式因數據不同而不同。針對流式數據，將其寫入Kafka消息隊列中；針對離線數據，以文件形式或交換庫方式進行數據傳輸。

數據采集過程具備數據緩存功能，滿足數據斷點續傳需要。采集數據被保存到文件和數據庫，作為緩存數據。若數據傳輸過程中出現故障，自動記錄故障發生時間，緩存故障期間的數據，待故障恢復后自動從緩存中查詢故障期間數據并重新傳輸。數據緩存功能可自定義緩存數據的保存時間。

運行監控是指對數據采集處理過程進行實時監控，發現異常信息及時告警提示。監控內容包括前置采集設備的CPU、內存、磁盤使用率，數據源適配接口、數據轉換、數據傳輸狀態。

安全認證在數據源適配時進行，數據可加密傳輸。

(4) 數據開發。根據匯聚數據的資源類型和數據采集頻率不同，實時數據采用Flink進行在線流式計算，數據倉庫各分層之間的離線數據采用Spark進行計算；針對熱、溫、冷數據，分別采用內存數據庫、分析型數據庫和時序數據庫進行存儲。

(5) 數據資源池。采集的原始數據經計算后先存入原始庫，與源端保持一致，用于數據來源追溯和質量分析。原始庫中數據經抽取、清洗和轉換后存入資源庫，供應用層調用。根據數據統計分析需要，從資源庫抽取數據后存入主題庫。從資源庫、主題庫等抽取數據，構建面向瓦斯、沖擊地壓、水害等煤礦高危災害分析的專題庫。模型庫主要存儲瓦斯、沖擊地壓、水害等煤礦高危災害風險研判模型。知識庫主要存儲相關規范、規程和法律法規、預案等，為風險監測預警提供依據。

(6) 數據資產管理。通過梳理元數據、主數據，形成數據目錄，通過數據血緣管理，追溯數據之間的血緣關系。數據質量主要包括質量規則、質量明細、質量統計、質量分析報告等,對從源端采集的數據進行完整性、一致性、冗余性、正確性校驗。數據資產主要是對治理完成的數據資源進行可視化展示。

(7) 數據服務。服務創建即構建數據資源池中的服務程序。應用層通過數據服務的API網關訪問數據資源池中數據，實現應用與數據分離。用戶通過目錄服務查看數據服務提供的服務條目。通過服務授權，確保只有經過授權的外部用戶才可訪問數據資源池數據。調用管理實現對外部程序訪問的授權管理。監控告警模塊對所有用戶訪問的服務進行監控，實時監控服務內容的訪問成功或失敗次數，同時具有服務超時自動熔斷功能，避免服務死鎖。

(8) 運維保障。實現整個數據接入、數據開發和數據服務過程的運行監控和管理等，主要包括資源監控、服務監控、數據庫監控、日志審計、安全管理等。

3 智能煤礦數據中臺關鍵技術

(1) 高并發低時延數據處理技術。針對煤礦端監測監控、生產自動化等系統產生的大量低時延實時監測、控制等感知數據，采用流式大數據處理技術，通過Kafka消息隊列方式接收實時數據，存儲在不同的消息隊列分區。在數據消費時，開發基于Flink的流式數據處理系統，部署多任務處理節點。利用Hadoop的Yarn統一資源調度管理能力動態調度計算資源，采用多并發處理進程進行實時數據質量檢查、邏輯計算等。經實時計算處理的數據存入二級業務Kafka，實現數據處理與數據庫的解耦，提高實時數據處理效率。業務系統可根據需要直接從二級業務Kafka消費數據，進行實時數據的動態監測和預警提示。對于時效性不高的歷史數據，通過時序數據庫、分析型數據庫自帶的采集功能從二級業務Kafka消費數據。

(2) 數據分級分類存儲技術。針對煤礦監測監控、生產自動化等系統產生數據類型多、實時性強等特點，按照數據倉庫建設理論，設計貼源層、明細層、聚合層、應用層等分級存儲層，按照數據熱、溫、冷特性和數據類別(基礎數據、實時數據、異常告警數據、歷史明細數據、統計數據，以及文檔、視頻等非結構化數據)分別存入不同類型的數據庫，支撐數據應用層實時監測、統計分析等需求。設計包括原始庫、資源庫、主題庫和專題庫的數據倉庫架構和表結構，實現熱數據存入Redis內存數據庫、溫數據存入Clickhouse分析型數據庫和MySQL關系數據庫、冷數據存入Opentsdb時序數據庫等。各種類型的數據庫根據采集的數據資源量，采用多臺機器分布式部署方式，確保數據高可用性存儲。數據分類存儲及支撐應用架構如圖2所示。

圖2 數據分類存儲及支撐應用架構Fig.2 Data classification storage and supporting application architecture

(3) 數據治理技術。針對異構系統融合的數據資源，根據業務類別、系統類型和數據接入規范，梳理元數據、主數據，設計不同類型業務系統的數據質量校驗規則，包括正則表達式、SQL邏輯等，實現數據的一致性、完整性、及時性和準確性等校驗，并按照元數據、主數據進行數據編目。對治理后存儲在數據倉庫中的明細層、聚合層、應用層數據，開發數據服務API網關和數據資產管理系統，對外提供數據服務，使數據資源變成數據資產，實現數據資產的共享和服務。通過數據治理，提高數據質量，確保數據真實可信，持續釋放和挖掘數據價值。

(4) 基于大數據的煤礦災害風險模型構建技術。基于煤礦井下人員信息、設備及環境感知數據、安全管理數據等，結合專家經驗，基于人、機、環、管等因素構建瓦斯、沖擊地壓、水害等風險指標體系，應用機器學習算法和統計方法構建災害風險模型。通過數據特征工程進行數據預處理，包括數據降噪、數據標準化、數據異常值處理、變量選擇和變量生成。利用數據資源池的樣本數據進行災害模型訓練，包括模型選擇、模型超參數優化、模型參數訓練和模型效果評價，進而形成災害風險模型庫，進行實際應用，并根據應用效果修正指標體系和災害風險模型，形成閉環管理，如圖3所示。

圖3 煤礦災害風險模型構建Fig.3 Construction of coal mine disaster-risk model

4 應用實例

提出的智能煤礦數據中臺建設思路及相關關鍵技術在大同煤礦集團軒崗煤電有限責任公司進行實際應用。制定了數據接入規范，通過OPC接口方式采集自動化類系統數據，通過Kafka消息隊列接口方式采集監測監控類系統實時數據，通過前置交換庫方式采集安全管理數據。建立了Redis內存數據庫、Clickhouse分析型數據庫、Opentsdb時序數據庫，針對熱、溫、冷數據分別存儲，形成了統一的數據資源池。對采集數據進行治理，形成數據資產目錄、元數據、主數據等。通過數據服務程序，供智能煤礦一體化管控平臺的Web應用程序和APP程序調用，實現了通過統一數據底座支撐災害風險模型開發訓練和“一張圖”、“一張表”等可視化應用。

5 結論

(1) 根據智能煤礦建設需求，提出了智能煤礦數據中臺建設思路及架構，探討了與數據中臺建設相關的數據處理、分級分類存儲、治理、模型構建等關鍵技術，形成了一套適合煤礦實際應用的數據中臺解決方案。

(2) 應用結果表明，通過建設智能煤礦數據中臺，可有效解決煤礦信息化過程中信息孤島嚴重、信息化基礎不牢、數據難集成、智能化分析水平低、應用效果不佳等問題，對充分發揮大數據在煤礦安全生產和管理中的作用有重要的現實意義。通過建設數據中臺，可形成煤礦“數據大腦”，使煤礦多源異構數據從數據資源變成數據資產，提供基于大數據的調度決策、災害風險分析、設備健康診斷和預防性維護等應用，賦能智能化煤礦建設。