智能化煤礦數據倉庫建模方法

王霖，方乾，張曉霞，蘇上海，施展，王雅琨

（1.煤炭科學研究總院有限公司，北京 100013；2.煤炭資源高效開采與潔凈利用國家重點實驗室，北京 100013）

0 引言

隨著大數據、人工智能、物聯網等技術的高速發展，煤礦智能化建設進程得到極大推動，煤礦生產模式發生極大轉變[1]。在該過程中，煤炭行業數據量呈現爆炸式增長，而傳統的煤礦數據處理方式中，煤礦主數據、實時監測監控類數據、管理業務類數據及決策分析數據各自離散存儲，數據集成、業務應用及數據分析難度大，無法有效滿足煤礦企業在自動化、信息化業務層面的應用需求，更無法滿足智慧化決策分析需求[2]，具體體現在以下3 個方面。

（1）“數據孤島”現象。當前數據共享和交換大多仍采用人工方式，缺乏數據處理系統之間的業務協同，時效性差，且數據仍以分散和弱關聯方式存在，系統效率低，無法滿足智慧礦山建設需求[3]。

（2）數據關聯性弱。井下局部系統雖然實現了運行數據的采集、分析、展示功能，但沒有進行相互關聯，難以挖掘開采過程的動態演進規律，無法實現大數據應用[4]。

（3）缺乏數據管理體系，數據質量差。煤礦內部系統眾多，各類數據間沒有統一標準[5]，缺乏數據管控體系等，導致煤礦大數據質量較差[6]。

上述問題本質上是由煤礦缺乏統一數據管理造成的。如何將煤礦大數據有效組織起來，打破底層子系統數據與上層智能化應用之間的屏障，成為亟待解決的問題[7]。對此，許多學者提出了建設智能化煤礦數據倉庫的思路。王國法等[4]提出智能化煤礦大數據構建涵蓋全礦安全監管、生產、運銷、綜合服務等業務的大數據倉庫，挖掘數據價值，使各類信息通過各種手段及時推送到礦端各級決策層中去輔助決策，以解決數據滯后、多種類型數據難以統一等問題。杜毅博等[8]提出建設智能化煤礦大數據倉庫和數據服務化，根據業務對煤礦大數據集進行結構劃分，形成煤礦數據主題域。吳群英等[9]提出利用數據倉庫可實現煤礦大數據的數據挖掘。

上述研究均指出了智能化煤礦建設數據倉庫的重要性，但沒有詳細闡述具體建設方法。鑒此，本文針對智能化煤礦數據倉庫建模方法展開研究，以綜采工作面為例展示了建模過程及應用效果。

1 數據倉庫及其建模

1.1 數據倉庫

數據倉庫可定義為支持管理決策過程的、面向主題的、集成的、隨時間變化的持久的數據集合[10]，其核心是對數據進行組織、劃分，構建面向分析的集成化數據環境，提供統一的數據標準。數據倉庫的核心過程是將累積的大量數據資料進行匯聚與融合，建立規范化統一的數據環境，支撐各種類型數據分析與展示。其運轉流程如圖1 所示。

圖1 數據倉庫運轉流程Fig.1 Data warehouse operation process

業務系統在滿足業務功能需求的同時產生大量業務過程數據，將各類業務過程數據進行統一匯集，形成數據倉庫中的原始數據。多數據源的集合解決了“數據孤島”難題。

ETL（Extraction-Transformation-Load，抽取、轉換、加載）是數據倉庫的數據加工技術。數據倉庫的原始數據標準不統一、數據質量差，可通過ETL 進行數據內容清洗、數據結構統一、數據關聯融合，形成數據倉庫模型[11]。

1.2 數據倉庫建模

數據倉庫建設首先要選擇合適的分層架構對數據進行組織劃分。按照層級劃分數據的方式具有以下優點：①明確數據定位。每個數據分層都有明確的作用域和職責，使用模型時更容易理解數據的作用。② 避免重復建設。規范的數據分層為金字塔結構，數據自底向上逐步匯聚，避免“煙囪式”建設方式的低效性。③統一數據口徑。通過分層可實現計算邏輯的高內聚、低耦合，相同類型數據口徑在特定層級內實現，統一數據出口，避免多次計算造成口徑差異。

目前常用的數據倉庫建模方法包括范式建模、維度建模、DataVault 建模及Anchor 建模[12-13]。范式建模用實體和關系對整體業務架構進行抽象，適用于較成熟的業務場景，對建模能力要求較高。維度建模從分析主題的角度出發，通過指標刻畫分析主題并進行維度擴展，對原始數據做大量預處理并轉換為星型結構，迭代快速，適用于靈活多變的業務場景。DataVault 建模和Anchor 建模在范式建模基礎上擴展了對數據變更場景的支持，適用于對數據強約束的場景。

當前煤礦智能化建設仍處于初級階段。為滿足未來高速發展、快速迭代的建設需求，本文基于維度建模思想，針對煤礦數據特點，研究智能化煤礦數據倉庫建模方法。維度建模流程主要包括主題選擇、粒度選擇、維度選擇、事實選擇、模型選擇[14]。結合對分析需求調研與數據業務過程的理解，明確模型所屬主題是維度建模的第1 步。確定主題后需要進一步確定模型的粒度，原子粒度能夠表達最細節的業務明細，但不適合直接用于分析，需根據應用場景進行粒度選擇。維度用于分析所需的角度，模型添加更多的維度能擴展更加豐富的分析方式。事實即統計指標，事實選擇需要確定將哪些事實放到事實表中，事實必須與粒度吻合，因此在選擇事實時可能會對粒度和維度進行調整。維度模型包括星型模型、雪花模型、星座模型。其中最常用的是星型模型，其數據結構是1 張事實表為中心，維度表分布在事實表周圍，從不同的維度描述數據情況[15]，形成一個有別于實體關系圖的數據結構，如圖2 所示。星型模型適用于以分析查詢為主的應用場景。雪花模型、星座模型適用于維度之間關聯復雜的場景。

圖2 星型維度模型數據結構Fig.2 Data structure of star dimension model

2 智能化煤礦數據倉庫建模

煤礦數據主要包括由綜合自動化、井下監測、生產管理、安全管理、地測、經營管理等業務系統采集及人工錄入臺賬的數據。智能化煤礦數據倉庫建模時需要綜合考慮煤礦數據的領域特點與煤礦智能化應用分析需要，先設計整體架構，再研究建模方法。

2.1 數據倉庫整體架構

為了保證煤礦數據的有序流轉，滿足智能化應用對數據的需求，智能化煤礦數據倉庫整體采用分層架構，如圖3 所示。

圖3 智能化煤礦數據倉庫分層架構Fig.3 Layered architecture of intelligent coal mine data warehouse

原始數據層存放從煤礦各業務系統匯集的原始數據。該層數據模型保持與源業務系統結構和內容上的一致性，記錄數據變化，為上層數據計算提供充分的擴展性。

明細數據層存放經過標準化處理的結構、類型、命名統一的規范化數據。在進行標準化處理時需使用業務字典、配置說明及點表映射等信息對原始數據進行轉換，數據質量方面需要解決數據內容中的異常值、缺失值、無效值等問題。

基礎指標層是整個分層架構中最重要的一層，在明細數據層提供高質量標準數據的基礎上，通過實現具體機理邏輯、統計邏輯及算法邏輯，構建基礎指標體系。該層數據模型主要沉淀基礎指標結果，保證指標口徑的一致性。

服務數據層面向煤礦智能化分析應用提供定制化的數據模型，在基礎指標層基礎上計算衍生指標，實現跨主題指標關聯拼接，提供多維度、多指標的綜合型分析模型。

公共維度層主要由維度數據模型構成，為各個層級數據模型計算提供統一的維度信息，同時為煤礦智能化分析應用提供用于維度擴展的屬性信息。

2.2 數據倉庫建模過程

煤礦子系統眾多，各子系統包含的數據具有很高的相似性，如各類設備的控制信號、運行狀態及監控數據，不同區域環境感知數據，不同業務系統人工操作、手工填報數據等。

綜采工作面作為煤礦生產的關鍵環節，生產過程復雜，設備數量龐大，動作繁多[16]，其數據具有煤礦生產數據的典型特點。限于篇幅，本文以綜采工作面為例對智能化煤礦數據倉庫建模方法進行論述，展示實際數據倉庫建模過程。

2.2.1 業務數據分析

綜采工作面是指綜合機械化采煤工作面，其核心設備主要包括采煤機、液壓支架、運輸“三機”（刮板輸送機、轉載機、帶式輸送機）、泵站等，按照數據來源進行數據分類整理，結果見表1。

表1 綜采工作面核心數據分類Table 1 Classification of kernel data of fully mechanized working face

按照數據來源進行組織會忽略同類數據間的關聯性，造成數據和業務概念間的割裂，因此本文采用業務過程、業務事實、數據域的3 級結構重新對數據進行組織劃分。業務過程是指煤礦業務的基本活動事件；業務事實是指具體某一業務事件下的度量，是業務定義中不可拆分的指標，具有明確的業務含義；數據域是對同類型業務過程的抽象。以綜采工作面開采過程為例，其數據組織如圖4 所示。

圖4 綜采工作面數據3 級組織Fig.4 Three-level data structure of fully mechanized working face

綜采工作面生產流程包括破煤、裝煤、運煤、支護、采空區處理、回采巷道運輸等，將其中與生產相關的過程歸屬到生產域，在業務過程內對各自的業務事實（如破煤過程中的采煤機位置、方向、傾角、滾筒高度等）進行管理。按照業務過程劃分數據能夠指導數據模型的構建。

2.2.2 應用需求分析

通過實地調研國能寧夏煤業有限責任公司、國能神東煤炭集團有限責任公司等大型煤炭生產企業，對綜采工作面典型的智能化應用分析需求進行了梳理，將需求劃分為設備、生產、安全、自動化4 個分析主題，如圖5 所示。

圖5 綜采工作面智能化應用分析主題Fig.5 Intelligent application analysis subjects of fully mechanized working face

設備主題主要包括功效分析、停機分析、狀態分析、能耗分析；生產主題主要包括工作面推進分析、液壓支架支護分析、割煤過程分析；安全主題主要包括液壓支架壓力分析、端頭端尾推進分析、液壓支架移架階段分析；自動化主題主要包括循環割煤自動化分析、泵站自動化分析、跟機自動化分析。

2.2.3 分層架構設計

基于對業務數據與應用需求的分析，按照分層架構對綜采工作面數據倉庫進行設計，如圖6 所示。

圖6 綜采工作面數據倉庫分層架構Fig.6 Layered architecture of data warehouse of fully mechanized working face

原始數據層按照數據采集單元劃分為液壓支架傳感數據、采煤機機身傳感數據、運輸“三機”傳感數據等。該層數據模型記錄所有類型的歷史采集數據，最大程度地保留數據原始特征。

明細數據層和基礎指標層數據模型按照數據域進行組織，劃分為生產域和設備域。生產域包括割煤、裝煤、運維、支護等生產過程的明細事實及基礎指標；設備域包括與設備運行狀態和參數相關的基礎指標。明細數據層數據模型按照基礎事實信息構建，主要包括滾筒電流模型、牽引溫度模型、膠帶轉速模型等。在此基礎上，基礎指標層按照指標計算邏輯構建設備電流指標模型、設備溫度指標模型、采煤機循環割煤指標模型等。

服務數據層按分析主題進行組織，對主題下相關指標進行整合，構建主題分析模型，如設備分析主題下的功效分析模型、停機分析模型等，安全分析主題下的礦壓分析模型、移架分析模型等。

公共維度層包括基礎屬性模型，如設備信息維度模型、液壓支架屬性維度模型，還包括基于機理模型階段劃分模型，如割煤階段維度模型、液壓支架動作階段維度模型等。

2.3 數據模型構建方法

煤礦原始數據多為時序類型數據，包含名稱、時間、數據值等信息（不同數據類型通過名稱區分）。該類型數據缺少關聯性，難以直接用于分析決策。將原始數據轉換為數據倉庫維度模型需要經過維度對齊、維度關聯、維度化指標聚合等過程。通過多維度的聯系將不同類型數據進行關聯，解決數據間關聯性的問題。

2.3.1 維度對齊

由于不同設備、監控系統采集數據時的頻率、延時存在差異，所以原始數據無法在時間維度直接關聯。經過對底層采集方式調研，目前測點采樣多采用“惰性上報”方式，即當采樣值變化超過特定范圍才上報一次數據，因此采用右鄰插值方法進行冗余數據填充，如圖7 所示。

圖7 測點數據時間維度對齊Fig.7 Time dimension alignment of measured point data

測點1 在時間軸上有2 個采樣值ut1和ut2，測點2 在時間軸上有2 個采樣值vt3和vt4。為測點1 補充t3時刻采樣值u't3=ut2，為測點2 補充t1時刻采樣值v't1=vt3，按時間軸進行迭代，即可實現測點1 與測點2 的采樣值對齊。

2.3.2 維度關聯

在實際井下環境中，環境傳感器或監控系統采樣點存在豐富的維度信息，如所屬區域、系統、設備、過程、環境等。但受限于采集設備及采樣方式，采集上報的數據僅包含采樣值，因此在建立數據模型時必須對維度信息進行關聯擴展，如圖8 所示。

圖8 維度信息關聯擴展Fig.8 Association expansion of dimension information

主要采用2 種方法進行維度關聯：①配置型維度關聯。礦井各系統存在大量相對靜態的配置型維度信息，如礦井區域劃分、設備屬性、所屬業務系統等。配置型維度模型數據量小、定制化強，可通過手工方式建立并維護測點與維度信息屬性之間的映射關系，借助映射關系直接實現配置型維度信息的關聯擴展。② 計算型維度關聯。基于原始采樣數據，經過不同計算型維度（如割煤階段、液壓支架移動階段、環境安全等級等）的關聯實現計算型維度模型構建。計算型維度數據變化頻繁、數據量大，無法通過手工建立映射關系的方式與測點進行關聯，因此采用拉鏈化方法，將原始維度模型時間點分布轉換為時間區間分布，再通過計算采樣時間的包含關系，實現計算型維度關聯。

2.3.3 維度化指標聚合

通過維度擴展可將離散的測點時序數據模型轉換為多維度的指標數據模型。但在某些綜合分析場景中，需要將不同分析主題、數據模型指標進行關聯分析。為了同時滿足單主題分析與跨主題的綜合分析需求，基于多個分析主題數據模型進行維度交叉關聯，生成多維度多指標的多維數據立方體，滿足不同維度切片下的分析需求。

2.4 數據倉庫遷移

不同煤礦的井下開采情況、運行環境、設備型號等存在較大差異，在實際調研和部署過程中發現存在以下問題。

（1）不同煤礦基于各自數據倉庫計算出的數據模型指標不一致，導致無法跨礦井進行數據比較分析，且數據模型難以在不同煤礦復用。

（2）算法訓練需要大量樣本數據，不同礦井由于數據不一致，導致無法使用同一算法。

（3）數據倉庫建設是一個持續迭代的過程，會不斷沉淀業務指標計算邏輯及口徑，不同煤礦之間的經驗積累難以借鑒和利用。

為了解決上述問題，提出建設煤礦參數化數據倉庫思想（圖9），對數據倉庫架構進行優化，以解決數據倉庫遷移問題。

圖9 煤礦參數化數據倉庫Fig.9 Parametric coal mine data warehouse

參數化數據倉庫包括煤炭行業通用數據倉庫和參數化ETL 方法2 個部分。煤炭行業通用數據倉庫從行業角度進行抽象設計。雖然不同礦井地質條件、開采環境、規模存在較大差異，但是行業內開采方法、工藝，采用的設備、系統，開采過程都具有相似性，為建立煤炭行業通用數據倉庫提供了基礎；參數化ETL 方法是指在構建數據處理邏輯時采用參數化方法，將不同礦井間的差異化因素抽象為礦井系統參數配置單獨進行維護管理，可通過修改配置信息實現不同礦井的異構數據源統一接入。

3 煤礦數據倉庫應用

3.1 數據倉庫平臺構建

在實驗室環境下搭建5 臺服務器集群（CPU32核，內存128 GB，數據盤4 TB），在集群上安裝分布式文件存儲系統（Hadoop 2.6.0-cdh5.13.0），安裝分布式數據倉庫系統Hive 1.3.0（基于Hadoop 的數據倉庫工具[17]）作為數據模型的承載系統，從而構建煤礦數據倉庫平臺，其核心架構如圖10 所示。首先從各類數據系統中接入數據到原始數據層；然后將Hive作為數據庫進行數據存儲，同時使用其ETL 功能進行數據倉庫各層次結構的抽取、轉換、加載，在服務數據層之上接入應用層數據庫，如MySQL 等；最后可接入常見的數據可視化應用，如商業報表工具或智慧大屏幕。

圖10 煤礦數據倉庫平臺核心架構Fig.10 Core structure of coal mine data warehouse platform

煤礦數據倉庫平臺數據來源于山西天地王坡煤業有限公司（以下稱王坡煤礦）綜采工作面。數據通過液壓支架電液控系統進行采集，數據采集時間為2019 年12 月至2020 年5 月，數據存儲于MySQL 數據庫，從中抽取部分數據，見表2。

表2 綜采工作面采煤機位置數據Table 2 Location data of shearer in fully mechanized working face

原始數據每個數據類別下包含具體的測點信息，每個測點通過標簽字段進行唯一標志，每個測點的采樣值按時間序列組織，如數據類別、時間、標簽、數據值、數據狀態等。

3.2 實際應用

3.2.1 輔助機理模型分析

以采煤機采煤過程中液壓支架壓力變化分析需求的實際場景為例，采煤機在綜采工作面每割一刀煤，液壓支架會進行降柱、移架、升柱、推溜4 個動作，以割煤周期對液壓支架壓力變化趨勢進行分析。通過原始的采煤機位置序列數據無法直接獲得割煤循環周期信息。由于采用兩端斜切進刀割三角煤工藝，所以通過割煤機理模型算法與采煤機位置明細數據生成工作面割煤階段維表，其數據結構見表3，其中方向1，2 分別為上行、下行。

表3 割煤階段維表數據結構Table 3 Dimension table data structure of coal cutting stage

通過將割煤階段維表與液壓支架壓力明細數據進行關聯，即可得到每個液壓支架壓力值對應的割煤階段信息，再結合液壓支架高度、刮板輸送機行程明細數據，實現液壓支架移架機理模型算法，生成液壓支架循環動作階段維表，表結構及樣例數據見表4，其中動作階段1，2，3 分別為降柱、移架、升柱。

表4 液壓支架循環動作階段維表數據結構Table 4 Dimension table data structure of cyclic hydraulic support action

將帶有割煤階段信息的液壓支架壓力數據與液壓支架循環動作階段維度數據關聯，可得出液壓支架壓力隨割煤刀號的變化規律，如圖11 所示。

圖11 液壓支架壓力隨割煤變化規律Fig.11 Changes law of hydraulic support pressure with coal cutting

從圖11 可判斷液壓支架升降情況，以割第139 刀煤為例，該過程中液壓支架壓力最大值點對應降柱開始時間點，壓力最小值點對應降柱結束、升柱開始時間點，壓力從最小值增大直至平穩的拐點對應升柱結束時間點。

從圖11 可看出每次液壓支架動作過程中壓力變化特點。利用不同維度數據之間的關聯，可建立一種關于割煤刀號和液壓支架壓力變化的離散礦壓預測模型。

3.2.2 煤礦可視化應用

設計的智能化煤礦數據倉庫已成功應用于王坡煤礦管理駕駛艙，如圖12 所示。通過對數據倉庫進行可視化分析，可清晰地得出煤礦生產、運營、安全監控等指標，實現煤礦大數據的互聯互通和充分應用，實現指標分析及決策場景落地。面向角色的管理駕駛艙可展示煤礦領導及生產、機電、調度中心、安監、通風、信息中心等部門領導最關心的生產、經營、安全類綜合性指標130 個。

圖12 智能煤礦管理駕駛艙Fig.12 Management cockpit of intelligent coal mine

3.3 應用效果對比

將從業務系統中采集的未經處理數據標記為原始數據模型，與本文設計的智能化煤礦數據倉庫進行定性和定量對比。從定性角度主要比較數據組織度、模型復用度和迭代難易度，見表5。可看出通過智能化煤礦數據倉庫組織數據，能夠全面提高數據使用效率。

表5 原始數據模型與煤礦數據倉庫的定性對比Table 5 Qualitative comparison between primary data model and coal mine data warehouse

從定量角度選取綜采工作面典型的10 個分析指標對數據查詢響應時間進行對比，結果見表6。基于原始數據模型的查詢直接在原始數據上進行，基于智能化煤礦數據倉庫的查詢選擇在基礎指標層進行（基礎指標層數據模型實現了完整的指標體系，是數據倉庫的核心）。

表6 原始數據模型與煤礦數據倉庫的定量對比Table 6 Quantitative comparison between primary data model and coal mine data warehouse

從表6 可看出，本文數據倉庫在多個指標查詢過程中均優于原始數據模型，查詢時間均縮減50%以上，原因在于基于原始數據模型的查詢要實現數據清洗、預處理、關聯、指標統計等邏輯，而數據倉庫在基礎指標層已完成基礎指標預計算，只需進行輕度的聚合計算即可。

4 結論

（1）闡述了智能化煤礦建設過程中數據倉庫模型設計方法，以綜采工作面為例介紹了煤礦數據倉庫建模過程。

（2）針對煤礦數據倉庫的可遷移性問題，提出了煤礦參數化數據倉庫設計方法，可滿足不同類型的煤礦數據倉庫建設需求，降低重復建設成本。

（3）利用數據倉庫收集不同業務系統的數據并進行統一組織、劃分、利用，解決了“數據孤島”問題。在煤礦數據倉庫建模過程中，通過不同維度信息的關聯，將不同類型數據融合分析，解決了不同粒度的煤礦數據關聯應用問題。在對數據進行提取、轉換過程中采用統一標準，提高了煤礦數據質量。

（4）對智能化煤礦數據倉庫進行了現場應用，在對多個數據指標分析計算過程中均取得了明顯效果，驗證了該數據倉庫的實用性。