數據中臺在煤礦重大災害預警中的應用

王洪權 趙青山 孫學峰

（兗州煤業股份有限公司，山東 鄒城 273500）

為了對煤礦中的瓦斯突出、一氧化碳超限、礦井透水以及應力釋放導致的頂板斷裂、底板底鼓、沖擊地壓等災害進行預警，兗州煤業建設了重大災害預警系統。在系統建設過程中首要工作是收集、整理以及存儲安全監測系統、應力監測系統、涌水量監測系統等監測數據。這些數據格式不同、實時性高，一般的數據庫和數據倉庫無法滿足存儲和分析的要求。數據中臺提供了數據的采集、清洗、存儲、實時分析功能，因此采用數據中臺技術作為煤礦重大災害預警平臺的數據管理平臺。

1 煤礦重大災害預警平臺

煤礦重大災害預警平臺按照統一的標準對煤礦安全風險數據進行采集、傳輸、清洗、加工、交換，應用大數據技術對大量事故案例進行深入挖掘，多維度、多角度分析事故發生的內在關聯和規律性，并通過BP 神經網絡模型實現事故的預測預判，使煤礦安全生產管理模式由“事后管理”向“事前預防”轉變，有效提升煤礦安全管理能力。

煤礦重大災害預警平臺主要包含風險的識別、風險的評估、風險的監測和風險的管控。平臺集成了安全監測、人員定位、水文地質、微震、礦壓、視頻等監測監控系統，按照統一格式和標準存儲實時和歷史數據，完成數據融合，為煤礦提供風險管控治理建議，為制定執法計劃提供參考。

2 數據中臺技術

數據中臺的定位是一站式數據中臺PaaS，目標是通過產品化的方式，構建數據共享能力中心。數據中臺包含了數據采集、數據分析、數據挖掘、數據查詢這一完整的數據應用過程，覆蓋了建設數據中臺過程中所需要的各種工具，同時支持離線計算和實時計算兩種數據處理方式。

數據中臺采用先進的大數據生態底層技術，通過Spark、Flink 等開放的體系架構提供實時/離線計算框架，具備高性能且功能豐富的大數據處理能力，可以最大化的分析數據價值，實現數據應用的閉環。在提供開發環境和平臺接口的同時，對大數據離線計算、實時計算、數據倉庫建設、煤礦圖譜等多種應用提供有效支撐。

2.1 數據中臺設計理念

數據中臺是一個承接技術、引領業務、構建規范定義的、全域可連接萃取的、智慧的數據處理平臺，建設目標是為了高效滿足前臺數據分析和應用的需求[1]。數據中臺建設內容包含：

（1）集成和存儲煤礦安全生產相關數據。根據煤礦重大災害預警平臺要求，集成和存儲測風數據、束管防滅火監測系統數據、水文監測系統數據、沖擊地壓微震監測系統數據、設備管理系統數據等安全相關監測系統中數據，并存儲到歷史庫中。

（2）制定數據的企業標準和集成規范。集成的數據格式多種多樣，數據中臺通過數據分層架構模式，把異構數據格式化為規范的結構化數據，實現了指標口徑統一。

（3）建立數據資產管理中心，把煤礦中所有數據作為數據資產進行管理。對數據資產可以進行分析、應用以及優化，實現數據價值。通過數據資產管理中心統一管理煤礦中的數據資產，降低管理成本、管理難度和技術門檻。

（4）提供統一的數據服務。數據中臺內部對用戶是透明的，用戶不需要了解數據的存儲方式和存儲位置，只需要使用數據查詢邏輯即可使用數據中臺中的數據，為用戶提供了統一的接口。

2.2 數據中臺技術架構

數據采集、數據計算、數據服務、數據應用是煤礦重大災害預警平臺中的數據中臺技術架構中劃分的四個層次，如圖1。

（1）數據采集層。數據采集分為實時采集和離線采集，實時采集分為多種方式，采用主流的采集技術工具來接入，離線采集使用主流的批量數據同步工具。

（2）數據技術層。從采集系統中收集了大量的原始數據后，數據只有被整合、計算才能洞察商業規律、挖掘潛在信息、實現大數據價值，達到賦能生產、安全預警、創造價值的目的。OneData 是數據整合及管理的方法體系和工具。現有煤礦系統存在重復建設的問題，煤礦中各類數據存在大量冗余，形成了大量的離散的“孤島數據”，在數據整合過程中需要規范數據格式、去除數據冗余、建立數據關聯。使用OneData 構建重大災害預警平臺中統一、規范、可共享的數據資源池，充分發揮大數據海量、多樣性方面的獨特優勢。

（3）數據服務層。數據服務層是未來所有基礎信息數據交換、處理及共享等大數據服務的核心，包含數據集成整合、數據治理及服務幾部分。數據服務可以使應用對底層數據存儲透明，將海量數據方便高效地開放給煤礦內部各應用使用。數據服務以數據倉庫整合計算好的數據作為數據源，對外提供數據服務，主要提供數據推送服務等特色數據服務。

（4）數據應用層。平臺數據準備完成后，需要通過合適的應用提供給煤礦，讓數據最大化地發揮價值。應用將以微服務的形式呈現在PaaS平臺上，煤礦的相關數據或主題分析將直接取結果數據進行相關展示和重大災害預警。

圖1 數據中臺技術架構層次圖

3 數據中臺在煤礦重大災害預警平臺中的應用

3.1 數據中臺作用

重大災害預警平臺使用數據中臺作為統一的數據管理平臺。數據中臺采集各監測系統中的數據，對數據進行清洗、規范化和分析整理，然后提供數據查詢邏輯和數據接口。通過數據中臺打通了各監測系統，實現了數據的融合，提高了數據的利用率，最終實現數據資產的增值。數據中臺不是分布式數據存儲庫，其包含了數據的規范標準和完整的數據處置過程。數據中臺采集數據、規范化數據、完整性校驗數據、分析數據、提供數據，煤礦中的海量數據，經過數據中臺的處理成為具有價值的數據資產，同時能被靈活使用，并快速擴展。數據中臺的本質：

（1）從關心某個數據指標、單獨的數據應用轉向關注數據整體的梳理、數據質量。從打基礎開始，逐步構建完整的數據體系；

（2）將所有數據統一的匯聚；

（3）整體的建模；

（4）統一的數據治理；

（5）期望以后的數據指標和應用綜合成本降低50%以上。

在充分利用虛擬化資源池的基礎上，全面加強對各類基礎信息的實時采集、動態錄入，做到數據全、信息準、底數清、情況明，并通過構建統一的數據中臺實現全域數據資源的整合共享以及業務應用的協同聯動，進而有效盤活煤礦各類數據資產，最終推動數據應用的融合化建設。

3.2 數據中臺功能

數據中臺涵蓋數據從采集、加工、處理、分析以及服務的全流程能力，其具備多元化的采集手段，依托統一的元數據、主數據以及數據資產管理形成了一套數據治理體系，并以此為基礎構建了包括各類基礎信息、數據倉庫以及大數據資源三大類數據資源，最終通過API 服務的形式形成統一的數據服務平臺。數據中臺具有以下功能：

（1）數據同步。數據同步是在各個存儲單元之間執行數據交換的管道。為了在數據中臺內進行大規模數據集的挖掘與計算，通常的做法是在任務執行前將數據傳輸至數據中臺，并在任務執行結束后將計算結果傳輸至外部存儲單元（例如MySQL等應用數據庫）。

（2）數據開發。用于構建數據清洗、統計或數據挖掘的計算邏輯。煤礦內進行數據分析的場景多種多樣，周期執行的任務、臨時取數、數據挖掘任務都會同時存在，數據中臺提供多種任務模式，分別滿足不同分析場景。

（3）數據模型。數據模型不僅是數據中臺提供的抽象工具，用來對現實世界進行數據抽象化，還提供了抽象后的數據的表示方式，以及數據的操作方式。數據模型是現實世界中實體的數據化，是概念的集合。這些概念通過數據完整性約束被嚴格定義，包含現實世界實體的靜態數據、動態數據以及完整性約束。數據的組織結構、數據操作和完整性約束是數據模型的組成部分。

（4）數據地圖。數據地圖是可視化的數據資產中心，用戶可以在數據地圖模塊中查看平臺內的所有數據表情況，同時可以進行全方位的管理中臺內的數據資產。

（5）數據質量管控。數據質量包括及時性、完整性、一致性、準確性，數據中臺中數據質量劃分為規則的配置、校驗結果的查詢等。

（6）數據服務。數據服務主要解決統一管理對內對外數據服務。API 管理者可利用產品化的配置工具生成各類API 服務，監控所有API 的調用及訂購情況，讓自己的數據資產價值對外輸出，同時可見、可管。與此同時，對于API 使用者，可以看見API 市場中所有的API，根據需求自助選取合適的API，極大地提高了使用效率與易用性。

4 結語

通過構建統一的數據中臺實現全域數據資源的整合、共享以及業務應用的協同聯動，進而有效盤活煤礦各類數據資產，最終推動數據應用的融合化建設。