煤炭行業大數據分析云平臺設計研究

汪 杰，王春華，李曉華，3，余克莉莎

(1.貴州省礦山安全科學研究院，貴州 貴陽 550025；2.貴州省煤礦設計研究院有限公司，貴州 貴陽 550025；3.河南理工大學 安全學院，河南 焦作 454003)

煤炭是我國重要的戰略資源，在我國一次能源消耗中占有重要地位，根據國家能源戰略行動計劃和相關研究，在相當長時期內煤炭作為我國的主導能源不可替代[1]。煤礦智能化是煤炭工業發展的新階段，是煤炭工業高質量發展的核心技術支撐[2，3]。我國煤礦智能化發展處于初級階段，為了加快煤礦智能化建設，近年來國家和省出臺多項相關方案和政策，支持煤炭工業轉型升級，加快煤礦智能化機械化升級改造，促進煤炭產業高質量發展[4-6]。隨著煤炭行業信息化、智能化建設的深入推進，在整個煤炭行業中產生了大量的生產信息、業務管理信息、監測監控等各種類型的數據，這些數據為煤炭行業可持續發展提供了一定程度的數據支持。但目前這些海量數據的存儲，一般數據庫已無法滿足需求，并且數據的利用多數仍停留在基本的統計匯總以及上報展示階段，同時數據不互通，沒有挖掘出各類型數據之間的關聯關系，未能得到充分利用，難以為政府監管部門、煤炭企業、煤炭行業科研人員及煤炭消費者提供科學有效的輔助決策支持[7-11]。2017年以來貴州省大力推進煤礦“兩化”建設，截至2019年12月底，已有326處煤礦按照驗收標準進行輔助生產系統智能化建設升級改造，更是提出到2020年采煤機械化率達到96%、輔助系統智能化、信息化服務管理等達到100%的目標[12]。基于此，以貴州煤礦輔助生產系統智能化升級改造為基礎，基于貴州省煤礦基本信息采集系統和煤礦智能化輔助生產系統[13-15]監測的實時數據及外部爬蟲技術獲取的煤炭行業相關數據，依托“云上貴州”云基礎設施資源，采用B/S架構設計了煤炭行業大數據分析云平臺，旨在為政府監管部門、煤炭企業、煤炭行業科研人員以及煤炭消費者提供有力的數據支撐，進而提升煤炭行業管理和輔助決策水平。

1 云平臺總體架構設計

在對貴州煤炭行業相關監管部門、煤炭企業和煤礦專家等進行充分調研的基礎上，基于B/S架構設計了煤炭大數據云平臺。平臺總體架構自下往上可分為：數據采集層、平臺支撐層、應用層及訪問層，如圖1所示。

圖1 煤炭行業大數據分析云平臺總體架構

1)數據采集層。主要來自煤礦智能化升級改造后輔助生產系統監測的實時數據、煤礦基本信息采集系統采集的靜態數據以及外部網絡技術采集[16]的煤炭行業數據(如互聯網爬蟲技術、第三方數據服務訪問等)。煤礦基本信息采集系統采集數據通過“政務外網+VPN模式”上傳至云平臺專有資源；煤礦智能化輔助系統監測的實時數據通過“公網+VPN模式”進行上傳至云平臺專有資源；外部網絡技術獲取的數據以公網方式上傳至云平臺專有資源。

2)平臺支撐層。主要包括由云供應商提供的IaaS層及PaaS層，負責煤炭行業大數據的存儲及分析、運算平臺的建立、信息的轉存與發布、GIS服務及應用服務。在IaaS層將各相關物理資源通過虛擬化軟件構建為底層虛擬資源池，提供虛擬服務。所有計算數據資源均存儲在該層的虛擬資源層。PaaS層在IaaS層的基礎上，為用戶提供軟件開發服務，通過調用預先設置的數據處理方法，開發適合的軟件，并通過虛擬化手段實現系統應用的算法調度與資源調度。

3)應用層。主要向用戶提供所需要的應用服務，對應云架構SaaS云服務模式功能。該層主要是依托云平臺強大數據存儲和數據挖掘分析能力，以數據挖掘算法為基礎，對實時和歷史數據進行分析，為政府監管部門、煤炭企業生產運行、科研機構以及煤炭消費者等用戶提供應用服務。

4)訪問層。主要為用戶提供接入云平臺的服務，可以利用PC、平板電腦和筆記本等多媒體設備，通過瀏覽器訪問，獲取所需應用服務。

2 煤礦智能化數據上云方案設計

2.1 上云要求設計

煤炭行業大數據分析平臺依托“云上貴州”公有云平臺基礎設施資源進行部署，其煤礦智能化數據上傳，主要上傳至“云上貴州”云平臺，對云平臺具體要求設計如下：

1)容量。根據目前煤礦智能化數據接入情況，預計每天煤礦上傳大約300G容量的智能化數據，后續陸續會有煤礦接入，數據量會不斷增長。由于煤礦智能化數據量大，平臺基于“云上貴州”云資源，采用分布式數據庫Elasticsearch集群進行海量數據存儲，方便后期數據全文檢索、HBase和HDFS進行非結構化數據的存儲、Redis進行數據緩存及后期用戶權限存儲、MySQL進行實時數據存儲。

2)算力。待煤礦輔助智能化升級改造后全部煤礦智能化數據上傳完成，預計需要租用“云上貴州”6臺云服務器(內存32G、存儲2T，CPU16核，帶寬30M)，同時平臺并發量需達到每秒500人次，為了避免平臺出現并發量過大而導致平臺算力匱乏的現象，MySQL采用讀寫分離，減少數據庫的承載能力，同時平臺采用微服務分布式部署的方式，減少多用戶同時接入訪問帶來的服務器崩潰現象。

3)安全防護。煤礦智能化數據上云基于MQTT協議，采用VPN加密單向傳輸模式來保證數據傳輸的安全性，在該模式下只能煤礦推送數據，不能從公有云互聯網通過部署在煤礦網閘服務器進入煤礦私有云獲取數據。為保證數據的安全性，MQTT推送數據需進行加密，“MQTT實時數據+煤礦加密字符串”通過DES加密算法進行加密(DES加密算法的加密模式為ECB，輸出編碼為Hex)，后期可根據需要調整；并支持斷網續傳功能，保證數據的完整性，采集推送程序與斷網續傳程序相互獨立，互不干擾，保證采集推送程序的可靠性。針對云服務器的安全，主要基于“云上貴州”提供的安全防護，不用考慮數據丟失及病毒入侵等情況。

2.2 數據上云實現方式

煤礦輔助生產系統智能化實時數據上云，采用礦端采集網關和云端數據配置相結合模式來實現：①礦端采集網關和云端的數據應用統一結合，礦端MQTT推送數據只包含測點編碼和測點數值；②礦端調用云端的測點描述API對各個測點進行準確描述，其它信息由編碼可以獲取，云端后臺對礦端推送的數據進行解密入庫；③云端建立流媒體視頻流管理平臺，實現礦端網關的視頻流的推流拉流管理，保證一路通道上傳即可在云端進行多客戶端的復用，當礦端推送的媒體沒有客戶端觀看時云端通知礦端不再推送，實現按需要推送減少帶寬的占用。

數據上傳MQTT協議規則：①主題名稱編碼：使用數字加“/”組成，不可使用其它字符；②主題定義：/集團編碼/礦井編碼/系統編碼。注：集團編碼、礦井編碼由平臺承建單位提供；③點編碼(code)：使用全數字，不可使用其它字符；其中包括系統編碼2位，地址編碼2位，設備順序編碼2位，參數編碼3位。例如：030101001表示“上山_1號膠帶_就地模式”；④MQTT數據實時值上傳Json格式：{"timestamp[時間戳]"：xxx，"values"：[{"code[點編碼]"：xxx，"v[實時值]"：xxx}]}。注：為減少字符帶來的數據容量影響上傳時效，點描述和點單位礦方通過平臺承建方構建的數據管控平臺進行維護；⑤視頻規范：為便于視頻流的實時獲取和無插件實時播放功能，需要礦端視頻設備需支持Onvif、RTSP協議輸出，需提供視頻的訪問的用戶名和密碼，并保證通過Onvif或RTSP協議能夠取到視頻流。具體流程如圖2所示。

圖2 煤礦輔助生產智能化系統實時數據上傳流程

3 平臺功能模塊設計

平臺功能主要包括煤炭分布、煤炭規劃、調度統計、預測預警、遠程監控、科技創新等六大功能模塊，每個功能模塊下面又細分為若干個子功能模塊，具體如圖3所示。

圖3 平臺功能架構設計

3.1 煤炭分布模塊

集中展示煤炭的賦存、利用和開發規劃情況。①煤炭資源分布：展示全省煤層分布及厚度，以及硫煤、灰煤及煤類的儲量占比情況數據；②礦區分布：展示全省各礦區分布相關的數據，其中包括有國家規劃礦區和省級規劃礦區，以及每個礦區的煤礦總資源量信息；③煤礦分布：展示全省煤礦分布以及各煤礦建設規模、探礦權。

3.2 煤炭規劃模塊

集中展示對煤炭項目規劃和完成情況。①當前能源總量指標：展示全省一次性能源生產總量、電力裝機量、煤炭消費總量、全社會用電量；②能源結構調整進度；展示全省非化石能源裝機比重、電煤占煤炭消費比重、煤炭消費比重、天然氣消費比重、非化石能源消費比重、非化石能源發電比重，可選擇不同年份進行查看；③產能變化：展示近5年每年全省平均煤礦總產能和總數量數據和走勢；④項目概況顯示：展示總項目數量、已完成數量、在建數量、未按計劃完成數量；⑤規劃建設煤礦：展示全年生產不同噸數的地方占比；⑥輔助規劃：展示電站輔助選址、煤礦企業輔助選址、油氣企業輔助選址、新能源企業輔助選址。其中點擊煤礦可輸入最大產能，系統基于輸入值智能制定方案。

3.3 調度統計模塊

實現統一調度，建立從企業到縣(市)、省的信息交互渠道，掌握昨日煤炭產量、銷量、電煤供應量和庫存量等基本數據，同時動態反映煤礦的實際生產情況，及時掌握全省煤炭工業運行狀況，為管理層提供可靠的決策支撐。①全國排名：展示全國各省煤炭的實際產煤量及所在的排名情況；②產量分布：展示全省各地區實時煤炭的實際產煤量及實際產量分布情況；③煤炭銷售：展示每年每月煤炭的實際產煤量及實際產量分布情況；④煤炭價格：展示每年每月各種煤(動力煤、主焦煤、無煙煤、精煤、三八塊、煙煤)的價格分布情況；⑤昨日煤量：展示昨日產煤量、昨日銷量、昨日電煤供應量、昨日煤炭庫存量及對應的煤量、銷量、電煤供應量、煤炭庫存量的升降和增減情況；⑥煤礦信息：展示全省各煤礦企業的生成狀態、產能結構、實際產量以及產量的排名分布情況；⑦開采方式：展示全省各煤礦采用炮采、綜采、高檔普采的采礦方式的數量分布情況。

3.4 預測預警模塊

依托大數據挖掘算法建立煤電利益聯結新機制。

1)煤炭生產預測：展示當年全省每月煤炭產量預測值和實際值對比情況，并標示電煤需求量。

2)發電量預測：展示全省每月每日發電量預測數據。主要包括全省當年剩余月份在枯期和汛期的水電發電量預測情況，每月全省每日電力需求量預測數據。

3)油氣預測：展示全省每年汽油、航油、柴油、天然氣每月的預測量與需求量走勢。

4)聯動預警：實現聯動預警煤電聯動綜合預警，水電、火電互濟互補預警，可展示全省水電發電量、火電發電量、總發電量和總需電量的聯動情況，以及自動平衡豐水期與枯水期火電與水電的發電占比等。

5)電廠存煤量預警：提供全省各電廠存煤總量和低于可靠天數的電廠數量占比。

6)異常告警：提供全省煤礦企業證件到期預警和煤礦產區極端天氣預警。

3.5 遠程監控模塊

可實時查看煤礦輔助生產系統使用率和設備故障，并能夠實現故障系統與煤礦企業及廠家進行圖譜關聯。

1)接入數量占比。展示智能化煤礦接入平臺數量的占比情況。

2)設備故障。實時展示輔助生產系統設備故障率和數量，并通過點擊圖標實現設備故障位置的查看，從而達到事前預測設備運行狀態，事中實現精準預防性維修，提高設備管理水平。

3)系統使用率。實時展示煤礦智能化系統使用率。

4)關聯圖譜。展示煤礦企業與設備廠家的關聯圖譜，為智能化系統遠程診斷及后期運維服務提供便利。

5)視頻監控。主要為政府監管部門和煤炭企業設置，可自由選擇切入到某個礦端(示范接入20處已實施智能機械化煤礦的現場實時視頻)通過視頻查看設備運行等監控畫面。

3.6 科技創新模塊

主要圍繞“兩化”改造要求設計。①智能化概況：展示全省煤礦智能化改造總目標、完成數量、剩余數量等相關數據；②機械化概況：展示全省機械化改造總目標數量、完成數量、剩余數量等相關數據；③智能化覆蓋量：展示近5年全省煤礦智能化完成情況的相關數據；④智能化減人增效：展示實施煤礦智能化全省平均減少人數和節約人工成本等相關數據；⑤驗收進度：展示全省實施智能化改造升級礦井驗收情況；⑥機械化實施率：展示全省歷年機械化實施率走勢；⑦全省綜采礦井分布：展示全省各地區綜合機械化礦井分布數量情況；⑧驗收進度預覽：展示全省實施機械化改造升級礦井驗收情況。

4 平臺實現及應用效果分析

煤炭行業大數據云平臺的實現按照上述總體設計邏輯架構，運用Vue技術、Es6技術、E charts技術、HTML技術、CSS技術以及JS等技術進行前端研發，運用Spring Cloud技術、Spring Boot技術、Docker技術及Java語言等技術進行服務器后端研發。平臺實現了對貴州省煤礦基本信息基礎數據和煤礦智能化輔助生產系統監測數據的有效集成。平臺部分應用效果如圖4所示，這些成果為政府監管部門、煤炭企業管理、煤炭行業科研機構及煤炭消費企業等用戶提供了提供有力的數據支撐，科學可靠的分析手段，經濟和安全效益顯著提高，有助于煤炭行業的可持續發展。主要體現在以下幾個方面：

1)政府監管部門。可以依據平臺摸清煤礦數據家底，形成煤炭行業數據資源統一目錄，及時動態掌握各相關企業生產經營狀況，進一步推動政府、企業及社會公眾互聯互通，提升煤炭行業管理及信息共享水平；動態監測煤炭實時產量、產能變化及市場供需等，科學評價煤炭行業發展，為煤炭規劃、開發提供數據支持和參考，進而為煤炭行業管理部門進行整體規劃和制定政策提供輔助支持。

2)煤炭企業。平臺可助力煤炭行業創新實踐，為煤炭企業提供綜合服務。煤炭企業可通過對各相關企業煤礦輔助生產系統上傳至云平臺相關數據進行整合分析，為企業提供超前預測預警信息，指導企業安全高效生產。

3)煤炭企業消費者。由于煤炭供需關系受市場影響較大，使得煤炭消費企業無法實時的獲取煤炭種類、價格等相關數據。煤炭大數據云平臺分析處理結果能夠滿足煤炭消費企業的需求，有利于煤炭行業經濟性的可持續發展。

4)煤炭行業科研機構。可以利用云平臺數據資源，推動大數據與煤炭行業的深度融合，建設煤炭大數據應用技術創新平臺，為大數據驅動的煤炭運行監測與服務、煤炭運行安全等煤炭行業大數據應用提供技術支撐。

圖4 煤炭行業大數據云平臺功能應用效果

5 結 語

煤炭行業大數據云平臺依托貴州煤礦智能化升級改造產生的靜態數據和動態數據，通過大數據處理分析與關聯挖掘，實現了煤炭行業大數據可視化展示。通過平臺的建設使得政府部門、煤炭企業、煤炭行業科研機構及煤炭企業消費者有機地結合起來，有效避免數據孤島現象，提升了煤炭行業輔助決策和管理水平。由于平臺研發工作量大，許多功能未能完善，后續可以融合綜掘工作面系統相關數據的同時完善平臺預警預測和遠程監控模塊的相關功能，更好的服務于政府監管部門、煤礦企業、科研機構以及社會群眾。