云計算技術在煤炭企業信息化建設中的應用

顧闖

(1.煤炭科學技術研究院有限公司 裝備分院, 北京　100013; 2.煤炭資源高效開采與潔凈利用國家

重點實驗室， 北京　100013; 3.北京市煤礦安全工程技術研究中心， 北京　100013)

?

云計算技術在煤炭企業信息化建設中的應用

顧闖1，2，3

(1.煤炭科學技術研究院有限公司 裝備分院, 北京100013; 2.煤炭資源高效開采與潔凈利用國家

重點實驗室， 北京100013; 3.北京市煤礦安全工程技術研究中心， 北京100013)

摘要：分析了煤炭企業信息化建設的現狀，提出了云計算技術在煤炭企業的應用思路：利用云計算技術從建新、利舊2個層面建設企業云數據中心平臺，通過建設物理資源、軟件虛擬資源、資源服務調度機制整合新、舊信息資源，實現數據層面的共享與交互、資源層面的相互傳遞與支撐，充分發揮和挖掘了企業海量數據中的價值。

關鍵詞：數字礦山； 信息化； 云計算技術； 虛擬資源； 礦山物聯網

0引言

現階段“十三五”科學布局，國家從宏觀角度出發提出充分發揮互聯網技術在生產要素配置中的優化和集成作用，提升實體經濟的創新力和生產力。國內煤炭企業經過近十年的信息系統建設，信息化成果對企業的生產、運營、銷售、決策的影響效果明顯。但隨著煤炭企業信息化的不斷深入，數據量在不斷增大，原有的分散數據處理模式已無法滿足應用要求，信息分析得不到資源支撐，數據共享受限于傳統架構，信息化的發展程度也不足以支撐礦山物聯網體系進一步完善。因此，向云計算模式轉變已是趨勢，煤炭企業應抓住時機，從覆蓋面更廣、集成度更深、智能化更高、可視化更優等方面進一步打造智慧化的礦山物聯網體系[1]，借助云計算技術升級打造新型的煤炭企業信息化架構平臺，進一步提升企業競爭力，挖掘企業信息數據價值。

1煤炭企業信息化建設現狀分析

煤炭企業在管理、生產、經營等環節進行了信息化系統部署，如ERP系統、井下監測監控系統、生產環網系統等，企業信息化與生產自動化的深度融合實現了生產效率大幅度的提高。但隨著企業信息化建設的不斷深入，各類傳感器的投入使用、在線檢測實時性的提高、企業管理系統更加精細化等因素使得產生的信息數據呈指數級增長，傳統企業數據中心和業務系統處理平臺架構(圖1)在應對海量復雜的信息數據，實現不同類型數據的關聯、數據分析、挖掘需求等方面還存在先天的不足之處[2]。

圖1　傳統企業數據中心和業務系統處理平臺架構

(1) 無法完成企業運營過程的數據決策分析。企業運營決策需要對全信息系統的數據進行全量多維度的分析，通過不斷改進分析機制，實現分析結果的高可用性。但傳統企業數據中心軟件系統數據處理的維度固化，網絡、計算、存儲等資源動態調整能力有限，并且不支持業務系統數據結構的橫向關聯，所以，無法完成多維度的數據分析。

(2) 無法實現企業運營情況的實時展現。實時展現需要通過數據梳理整合建立數據倉庫，并將倉庫內數據套入成本核算或生產計劃等數學模型內，最終實現多系統數據的業務邏輯整合，形成實時運營分析報告。但傳統數據中心軟件數據都分散在不同的業務數據庫、統計報告、日志記錄內，數據特征分析多采用分時分散進行的方式，導致運營分析需要以月、季度，甚至以年為單位，無法體現時效性。

(3) 無法提供海量數據處理的動態IT資源。傳統數據中心隔離式存儲無法實現容量的動態調整。集中式的數據庫只適合定向存取類操作，不適合多數據表之間的分析提取；傳統業務邏輯對非結構化數據提取邏輯也很簡單，無法完成海量數據處理對線性擴展和并發使用的需求。

云計算技術針對業務需求提供的便捷、動態的IT資源(包括網絡設備、服務器、存儲、數據庫應用等)獲得方式，可以很好地解決傳統架構在數據處理中存在的數據隔離和資源固化等問題。

2云計算技術在煤炭企業的應用思路

利用云計算技術建設企業云數據中心平臺，并把現有的信息化建設成果與云計算技術完美結合，充分發揮和挖掘企業海量數據中的價值。

建設云數據中心平臺架構可以從建新、利舊2個平面進行考慮，將新、舊信息資源進行整合，實現數據層面的共享與交互，資源層面的互相傳遞與支撐[3]。建新平面是以云計算技術為核心，從硬件資源架構、數據分析技術等方面進行重點建設；利舊平面是以現有的煤炭企業信息系統平臺為IT資源和數據來源，繼續支撐企業日常管理經營數據的處理與分析。

2.1云計算技術資源池改造

云計算技術資源管理就是通過改變傳統的“硬件定義”資源向云架構的“軟件定義”資源過度的過程。“硬件定義”資源即企業現有的物理設備，包括服務器、存儲、數據中心交換機、防火墻等。“軟件定義”資源是通過建設基于云計算技術的端到端資源池架構(圖2)，即物理資源層、虛擬資源層、資源服務與調度層，并實現3層資源相互支撐關聯的結果[4]。

(1) 物理資源層分布在煤炭企業總部或分機構的數據機房。煤炭企業局域網或城域網的建設已經實現了多地數據中心不低于萬兆鏈路的互聯互通，實現了基礎資源的信息可達。

圖2基于云計算技術的端到端資源池架構

(2) 虛擬資源層在云計算技術架構中處于最為關鍵與核心的位置，是建新平面的內容。該層可實現各業務系統對物理資源層執行指令的截獲和小聚大的虛化處理，將分散在一個或多個數據中心的物理資源虛擬化形成資源池。其中軟件定義CPU計算對所有X86服務器架構指令進行截獲，首先由虛擬化仿真操作進行基于等效需求操作的合并，通過對多臺物理計算CPU的時間片調度和I/O多隊列排序的處理，再返回給上層APP，實現模擬獨立計算、緩存、I/O等。軟件定義磁盤存儲在識別傳統存儲架構的分布式Cache、快照、鏈接克隆、鏡像、復制冗余等存儲策略后，將多臺存儲設備整合成一個容量總和的共享存儲資源池。軟件定義網絡策略通過梳理網絡流量包頭信息和策略封裝內容，把現有的交換機、路由器、業務網關等設備的組網信息、參數進行虛擬設備實例化，最終構建獨立于物理網絡的可靈活配置疊加的邏輯網絡。

(3) 資源服務與調度層主要體現的是管理平面的邏輯調度策略。本層通過各類業務已存在的數學模型或計算方法，使得虛擬資源池中的計算、存儲、網絡API調度機制面對不同業務需求，達到資源利用和分配更加專項化的效果。例如礦井綜合自動化系統中井下的環境監測監控模型需要偏向于計算資源的利用，云計算技術資源池就會給同類業務層提供資源調配優先級最高的API。而對于工業電視監控或企業OA文檔系統等業務，則提供偏向存儲資源使用的高資源調度API。

2.2基于云計算技術的數據分析處理

煤炭企業信息化應用云計算技術的本質就是把采集和匯總的海量數據通過計算、梳理后放入數據倉庫，再通過對應的業務模型進行價值挖掘后提交給第3方調度、管理或監控平臺，最終輸出企業預期或需要使用的結果。所以，做好數據分析處理也是云計算技術發揮價值的必要條件。目前，煤炭企業信息化建設成果產生的數據大體可分為3類：結構化數據、非結構化數據和流數據。

結構化數據：如財務、計劃統計、產運銷等MIS管理類系統數據。結構化數據可以通過傳統的Oracle、SQL轉換為基于MPPDB技術的分布式并行數據庫，利用云計算技術的多線程、多并發特性實現高速負載下的檢索查詢和數據管理。

非結構化數據：如文檔管理系統等檔案類電子存儲數據。非結構化數據在分布式文件系統內利用Map-Reduce的編程模型，通過Map方法將一個搜索任務分解成為多個任務，再用Reduce方法將多任務處理結果匯總輸出。

流數據：類似于井上、井下的視頻監控系統產生的實時類數據。此類數據可以通過云計算技術的分布式事件流處理技術，對外提供規則引擎和查詢引擎，實現對視頻信息的規格化處理[5]。

基于云計算技術的端到端數據分析處理架構如圖3所示。

圖3　基于云計算技術的端到端數據分析處理架構

3云計算技術在數字礦山系統中的應用

數字礦山系統[6-8]應用云計算技術進行架構改造(圖4)，通過將數字礦山現有的各類數據源、業務系統需求、硬件物理設備等資源與虛擬化、數據存儲、處理分析等云計算技術合理結合，并采用云計算技術解決海量數據計算資源的調度和數據處理等問題。改造后將企業現有的硬件資源最大化共享，為數字礦山系統的進一步擴展和完善提供了動態的資源保障。原有分散在數字礦山各個系統中的數據信息資源也通過云計算技術進行了匯總梳理整合，為下一步多維度的數學模型分析提供了數據支持。

圖4　應用云計算技術的數字礦山系統架構

物聯網智能感知層中的各類監測監控系統中的信息數據是計算數據的主要來源，相應的配套結構性數據則由ERP系統提供。

現有的物理資源層各類硬件設備應用了軟件定義資源的技術改造后，形成了計算、存儲、網絡資源池，通過資源調度策略針對不同的業務系統和評估分析模型動態輸出技術資源，為數據的分析處理提供支撐。

數據分析處理層通過分布式文件系統(HDFS)將獲取到的結構化和非結構化數據文件分為一個或多個數據塊，這些數據塊對應在DataNode的數據集合內，DataNode提供對數據的命名和訪問管理。HBase技術提供了面向計算的分布式存儲系統，它用表的形式存儲數據，表中的數據被劃分為多個Region，與HDFS進行對接聯動實現大數據的讀、寫訪問，可以實現批量加載并為基礎數據提供分析工具如Map-Reduce/MPP等。MR任務編排和統計分析Hive類軟件進行與虛擬資源池的資源申請和分配，并依據已有的分析模型進行偏重分配和管理。最終計算結果輸出給第3方的展示、預警、分析類平臺，圖形化后輸出可視信息[9-10]。

4結語

將云計算技術應用在煤炭企業信息化建設中，首先，可以最大化地盤活企業空閑IT資源，虛擬化的資源池為信息系統提供靈活、可靠的基礎支撐；其次，云計算的“一分多、多合一”數據分析處理方式為進一步深度挖掘企業數據價值提供了技術支撐。但在云計算技術架構改造實施過程中，企業還應該重點考慮虛擬化技術建設標準，以保障平臺對多廠家產品的最大化支持，并契合企業自身情況特點，制定具有眾多理論和企業實踐經驗驗證的數據分析模型，再利用云計算技術對大數據進行挖掘和處理，為企業跨越發展提供決策支撐。

參考文獻：

[1]馬化騰.互聯網+:國家戰略行動路線圖[M].北京:中信出版集團,2015:18.

[2]賀耀宜,武鈺.數字化礦山建設中存在問題分析及對策[J].工礦自動化,2014,40(11):30-33.

[3]丁恩杰,趙志凱.煤礦物聯網研究現狀及發展趨勢[J].工礦自動化,2015,41(5):1-5.

[4]張焰,李楊.用大數據武裝”云”:基于云計算的大數據處理技術[J].中國新通信,2015,20(4):87-88.

[5]王春雷.基于三維GIS展現的煤礦物聯網異構數據集成與應用[D].北京:中國礦業大學(北京),2014.

[6]孟磊,丁恩杰,吳立新.基于礦山物聯網的礦井突水感知關鍵技術研究[J].煤炭學報,2013,38(8):1397-1403.

[7]吳立新,汪云甲,丁恩杰,等.三論數字礦山——借力物聯網保障礦山安全與智能采礦[J].煤炭學報,2012,37(3):357-365.

[8]張申,劉鵬,張彭.感知礦山物聯網云計算應用探索[J].煤炭科學技術,2012,40(9):72-75.

[9]費仕憶.Hadoop大數據平臺與傳統數據倉庫的協作研究[D].上海:東華大學,2014.

[10]馬小平,胡延軍,繆燕子.物聯網、大數據及云計算技術在煤礦安全生產中的應用研究[J].工礦自動化,2014,40(4):5-9.

實驗研究

顧闖.云計算技術在煤炭企業信息化建設中的應用[J].工礦自動化，2016,42(1)：13-16.

網絡出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20151231.1552.005.html

Application of cloud computing technology in information construction of coal enterprises

GU Chuang1，2，3

(1.Branch of Equipment, China Coal Research Institute， Beijing 100013， China; 2.State Key

Laboratory of High Efficient Mining and Clean Utilization of Coal Resource，Beijing 100013，China；

3.Beijing Mine Safety Engineering Technology Research Center，Beijing 100013，China)

Abstract:The status of informationization construction of coal enterprises was analyzed, and the application idea of cloud computing technology in coal enterprises was put forward. The cloud data center platform was built by using cloud computing technology from two aspects of constructing new and using old, and new and old information resources were integrated through construction of physical resources, virtual software resources, resource service scheduling mechanism, so as to realize data sharing and interaction on data layer, transfer and support each other on resources layer, and it excavates the value of huge amounts of data of enterprises.

Key words:digital mine； informationization; cloud computing technology； virtual resources； mine Internet of Things

作者簡介：顧闖(1981-)，男，遼寧阜新人，高級工程師，現主要從事煤炭企業信息化與信息安全技術方面的研究工作，E-mail:guc@owlsoft.com.cn。

基金項目：國家科技重大專項項目(2011ZX05065-006)。

收稿日期：2015-08-12；修回日期：2015-11-27；責任編輯：張強。

中圖分類號：TD67

文獻標志碼：A網絡出版時間：2015-12-31 15:52

文章編號：1671-251X(2016)01-0013-04DOI:10.13272/j.issn.1671-251x.2016.01.005