基于大數據的煤礦機電設備管理系統設計

羅 強

（河南大有能源股份有限公司新安煤礦，河南 洛陽 471800）

煤礦機電系統由多種機械設備構成，其系統運行管理是一項復雜的工程。煤礦機電設備運行狀態直接關系到煤礦企業的生產效率及生產安全性、穩定性，因此管理和控制煤礦機電設備的運行工作至關重要。隨著科學技術及現代工業的發展，煤礦機電設備的性能得到顯著提升，其自動化程度也不斷提高，推動著生存量的增加，從而提高了企業經濟效益。然而，制造技術及先進機電裝備的應用、電子商務的發展等，使增加效益和節能減耗成為煤礦企業面臨的重要任務。煤礦機電設備運行過程中會產生多種數據，數據管理的標準及格式存在一定差異，加之機電設備管理系統的獨立性，在數據管理中極易存在信息孤島問題，導致數據難以高效合理地利用[1]。但是智能技術、大數據技術的發展，為機電設備數據管理的自動化和智能化提供了重要的技術支撐，此技術通過對巨量的煤礦機電設備運行數據的處理分析，對煤礦機電設備運行進行了有效管理。鑒于此，文章依據煤礦檢點設備數據管理狀況，設計了煤礦機電設備管理系統平臺，此平臺實現了數據轉換、數據采集、存儲、數據處理分析及挖掘等的一體化，能夠及時存儲、挖掘和分析數據規律，并對數據進行有效利用，以確保煤礦機電運行的穩定性和安全性。

1 煤礦機電管理系統平臺框架設計

（1）總體框架。煤礦機電設備運行中產生的數據量較多，數據復雜且具有異構性，文章結合用戶需求將煤礦機電設備管理體系設計為資源層、數據層、應用層和服務層等架構。①資源層主要包括物資管理、資源計劃、設備生命周期管理等子系統，以及相應的硬件設備。②數據層包括數據存儲和數據處理兩個子系統，其中數據存儲系統主要由PLM和MMS數據庫、中間數據集庫和ERP數據庫、分布式數據庫、歷史數據庫和云數據庫構成，而數據處理系統主要由數據采集、預處理、分布式存儲及數據挖掘和數據可視化等構成[2]。數據層主要是采集和處理、分析數據信息，并對其進行一體化顯示，能夠更好地依據煤礦機電設備大型部件的復雜性及設備多樣性的特征構建完善的數據采集和分類體系，使其采集及信息分類更加規范。預處理系統主要是對物聯網智慧終端所采集的數據進行清洗降噪，數據分析主要是對設備運行狀態及歷史數據等進行深度分析，挖掘出其運行規律及其高價值內容。實際顯示主要是將機電設備運行狀態以動態化的方式進行呈現，實現對運行狀態的動態監測。③應用層主要由運行狀態監控系統、井下設備動態監控系統、設備數量在線監測系統、設備地理位置的監控、維修記錄系統、故障模式識別系統、故障自動診斷及設備健康預測系統、運行環境可視化、運行狀態評估體系、設備生產周期管理系統及設備維護決策優化等子系統構成[3]。該層主要是依據用戶需求確保機電設備運行的優化、互聯和高效運維，利用設備實時監控、在線數量監測等將各機電設備統一構成設備群，實現其運行管理的整體性和系統化。④服務層主要由設備監測、大數據分析及運維優化等子系統構成。主要是按照用戶的實際需求定制應用模塊，減少不必要應用的資源占用，實現系統運行服務的透明化、模塊化和標準化。同時，在服務層服務器中接入移動裝置，實現PC端與移動端數據交互，不但能提高機電設備的管理效率，也使管理更加便捷有效。

（2）系統功能設計。此煤礦機電設備管理體系選用結構化手段設計系統功能，系統功能主要為預處理、采集、分布式存儲、數據可視化及數據挖掘等模塊，各模塊又包括相應的子模塊。數據采集模塊包括業務系統數據、職工信息數據、設備實時監控數據、歷史監控數據等數據的采集模塊，預處理模塊主要包括多元技術融合、數據轉換、提取元數據、監控數據的降噪處理等模塊，數據挖掘模塊主要包括設備健康監測、學習算法庫、傳感器建模、大數據專用模型，可視化模塊主要為運營狀態的可視化、企業運營狀況的可視化、設備健康狀況的展示等功能模塊。

2 關鍵技術構成

該系統中主要應用了數據管理技術、多元數據融合及數據并行處理等大數據技術。

（1）數據管理技術。該系統中數據管理技術采用的是高通量技術。按照煤礦機電設備種類多、數量量大且復雜的特征，文章所用文件系統為分布式存儲系統，應用了LZW及霍夫曼算法的高效編碼壓縮法，對海量數據進行非結構化和結構化的寫入。在資源分析及描述基礎上，采用了分布式資源描述框架（RDF）的存儲模式，以確保設備運行數據的共享及利用，同時按照此數據描述方法構建了機電設備運行數據的元數據模型。選用分布式存儲方式進行存儲，不但能夠減少存儲開銷，還能提高查詢效率，應用可擴展性及列存儲的特征滿足巨量RDF數據存儲的需求，以向用戶提供索引及查詢服務，確保查詢服務的高效。

（2）多元數據融合技術。煤礦機電設備多種多樣，其產生的數據也較為復雜多樣，數據源形式復雜。為便于分析和處理機電設備的相關數據，文章采用了多元數據融合技術，將企業資源計劃作為信息融合的關系型數據，融合過程中需要利用數據庫所對應的接口表，數據并不會直接導入資源計劃系統，而是從運行環境、層次化物料表等對此大數據語義實行一體化的融合，實現了半結構化與非結構化數據同BOM所定義的語義結構的節點融合，繼而實現了煤礦企業數據信息的融合統一。為詳細描述煤礦企業數據資源，按照煤礦機電設備運行大數據的功能、類別及特性等進行詳細分析，在此基礎上定義了煤礦機電設備大數據詞集。該詞集具有較強的通用性，其內容主要為數據所屬設備、數據資源名稱、數據資源標識、數據位置、數據所屬企業及數據形成時間、數據狀態、數據約束及數據的基本描述。以定義元數據的方式對實體數據內容進行統一，利用接口標準實現數據交換并確保其規范性，進而形成數據池，實現數據專業性及標準化模型的構建。

（3）數據并行處理技術。煤礦企業機電設備的數據量較大，可用性不高，質量不高。鑒于此，文章選用機器學習算法來構建數據預警分析及清洗模型，機電設備運行大數據的清洗模型依靠時間序列來分析，對機電設備運行大數據的異常值分類，根據所分類型對建模的不同影響，選用迭代檢驗法檢測且修復此異常值。數據清洗效率的提高需要利用時間序列環境下的數據清洗同Mapreduce技術的集合，共同構建設備運行大數據的清洗模型。按照處理算法與非線性的時間序列特征提取、BOM復雜結構的離散裝備分析建模，對設備故障及其同認知見的關系進行解析，以實時監測煤礦機電設備運行的健康程度，并實現故障預警和跟蹤劣化趨勢。同時，還應用了時空數據、時間序列和深度學習算法等技術，以完善數據分析處理系統。

（4）可視化技術。對職工信息及設備信息進行解析和表達離不開大數據技術中的可視化技術，對機電設備故障和特征的關系進行研究，能夠向用戶多角度多層次地展示機電設備的運行狀況，以更加突出數據的說服力及客觀性。所用的可視化技術主要為ECharts工具、前端技術Ajax技術和多維數據的可視化技術等。

文章綜合應用了上述大數據技術，以確保能夠實現數據加載的動態化。

3 煤礦機電設備管理系統平臺的軟硬件建設

（1）硬件設施建設。該服務器內存為512G，CPU為NVIDIAK80，固態硬盤為960G，磁盤存儲空間為10T，能夠高效存儲和處理巨量數據。主節點硬盤容量達100G，從節點均為80G；主節點和從節點內容均為8G，處理器均為4核，主頻均為3.6GHz，操作系統均為16.04LTS。服務器上共設虛擬機3臺，其中主節點虛擬機1臺，從節點虛擬機2臺。

（2）系統軟件設施建設。常見的系統組網主要有虛擬專網和物理專網的方式，其中物理專網中均采用裸光纖，此組網方式能夠為數據提供最低傳輸延時和最高傳輸的安全性，但此組網成本相對較高，較適宜用于對成本不敏感、低時延和保密性要求高的應用環境。虛擬專網則是通過現代傳輸網絡技術構建獨立虛擬化網絡，這種組網能夠為數據提供最低傳輸延時和最高傳輸的安全性，適用于時延及保密要求都較高且不關注成本的環境。同時，互聯網數據傳輸具有成本低的特征，但其數據傳輸的可靠性及安全性無法更好地保障，且延時較長，但能夠通過技術手段進行完善。為此，文章采用了虛擬網絡+互聯網的方式進行組網，在提高傳輸效率的同時，也減少了使用成本，保證了其安全性。在此運行環境中，該系統所用服務器的3臺虛擬機IP地址分別為192.168.88.130、192.168.88.135、192.168.88.131，均安裝有ssh和jdk系統，均采用Hadoop2.6版本和HBase1.2.6版本，能夠有效控制和管理相應節點，并做好存儲及計算。

4 系統應用實踐

該系統實施后，系統能夠有效清洗出系統平臺中機電設備運行狀態的巨量數據，修復存在的缺失值及噪聲點。當數據量比較少時，處于初始化、生產中間文件和傳遞數據的狀態時需要耗費較多的時間，所以利用時間序列清洗模型能夠取得較佳的清洗處理效果。數據量的持續增多，系統生成中間文件及初始化、傳遞文件等所耗費的時間同數據清洗時間相比都在持續減少，可見此機電設備運行大數據清洗系統具有一定的優勢。系統運行過程中，數據存儲的性能也非常突出，尤其是面對大數據量時，系統存儲、處理及管理的計算耗費及網絡資源都非常少，數據加載的效率得到了有效提高。在此系統設計中，通過利用大數據技術中的可視化技術、數據并行處理技術、多元數據融合技術及數量高通量管理技術等，能夠對大量機電設備的數據機芯融合和匯聚，且可對此數據進行深度分析及挖掘，其預測分析、可視化分析、數據處理及統計分析等，都能以數據的方式呈現機電設備運行的實時動態，強化了多種數據的增值服務，都能為機電設備的動態調撥、后期運維、質量評估及采購指導等提供良好的數據支持。

5 結束語

總之，大數據技術應用在煤礦機電設備管理中，利用其數據挖掘和深度分析、分布式存儲、多元數據融合及高通量管理技術等，構建數據管理及分析模型，能夠有效提高對煤礦機電設備運行數據的管理能力，為機電設備的運維提供可靠的技術支撐。