探究智慧礦山能力開放平臺(tái)架構(gòu)與關(guān)鍵技術(shù)

郭小偉

阿克蘇拜城縣眾維煤業(yè)有限公司 新疆 阿克蘇 842300

自2000年明確提出數(shù)字礦山定義以來,隨著工作環(huán)境的變化和技術(shù)進(jìn)步的發(fā)展趨勢(shì),數(shù)字礦山得到了逐步升級(jí)和完善,已逐步轉(zhuǎn)變?yōu)橹悄艿V山和智能礦山。根據(jù)對(duì)智能礦山基礎(chǔ)建設(shè)的調(diào)查,發(fā)現(xiàn)我國絕大多數(shù)煤礦信息系統(tǒng)的基礎(chǔ)建設(shè)仍在使用大數(shù)據(jù)中心的建設(shè),各個(gè)子系統(tǒng)的開發(fā)設(shè)計(jì)并由不同的制造商分階段部署,從而導(dǎo)致資源重復(fù)、建設(shè)困難、信息共享與交換、系統(tǒng)軟件運(yùn)行效率高低、服務(wù)器停機(jī)時(shí)間增加、新業(yè)務(wù)流程開發(fā)設(shè)計(jì)與部署時(shí)間長(zhǎng),已成為智能礦山進(jìn)一步發(fā)展趨勢(shì)的關(guān)鍵缺陷。

1 智慧礦山設(shè)計(jì)思路

面向未來的服務(wù)創(chuàng)新架構(gòu)：云原生和互聯(lián)網(wǎng)大數(shù)據(jù)是當(dāng)今大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)的熱點(diǎn)和發(fā)展前景。根據(jù)這項(xiàng)新技術(shù)的應(yīng)用,它可以確保平臺(tái)具有可伸縮性,自動(dòng)化的運(yùn)維和維護(hù),靈巧性以及開發(fā)和設(shè)計(jì)智能系統(tǒng)的能力。其中,云原生技術(shù)包括諸如微PaaS,微服務(wù)和Dev Ops之類的核心技術(shù)。分布式系統(tǒng)的平臺(tái)架構(gòu)：根據(jù)煤礦公司,煤礦集團(tuán)公司的創(chuàng)建,以及全國各地不同層次,不同地區(qū)的煤炭開采行業(yè)的管控開放平臺(tái),合理的時(shí)間和多維性生成數(shù)據(jù)系統(tǒng)以完成信息內(nèi)容。跨區(qū)域的實(shí)時(shí)遠(yuǎn)程控制檢測(cè)。大數(shù)據(jù)應(yīng)用程序架構(gòu)：平臺(tái)架構(gòu)必須考慮互聯(lián)網(wǎng)大數(shù)據(jù)相關(guān)階段的技術(shù)完成方法和完成要點(diǎn)。另外,有必要詳細(xì)分析大數(shù)據(jù)的應(yīng)用場(chǎng)景,例如大數(shù)據(jù)在煤礦安全生產(chǎn)和制造場(chǎng)景中的應(yīng)用,如災(zāi)害預(yù)警信息,常見故障解決方案,隱患安全隱患調(diào)查等。使用開放源代碼系統(tǒng)可以從技術(shù)上完善該體系結(jié)構(gòu)：開放源代碼系統(tǒng)是互聯(lián)網(wǎng)技術(shù)本質(zhì)上最重要的功能之一。開源系統(tǒng)的技術(shù)性和來源豐富的社區(qū)的知名度越來越高,在大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)中的主導(dǎo)地位變得越來越重要。

2 信息交換關(guān)鍵技術(shù)

2.1 客戶端與服務(wù)器之間的通信 通常,移動(dòng)客戶端應(yīng)用程序軟件(Web或App)和微型服務(wù)器群集服務(wù)器會(huì)推送RESTful HTTP請(qǐng)求,以完成移動(dòng)客戶端與群集服務(wù)器之間的通信。但是,微服務(wù)體系結(jié)構(gòu)中微服務(wù)的總數(shù)很大,導(dǎo)致效率較低。為了解決此問題,此平臺(tái)升級(jí)了群集服務(wù)器前的客戶服務(wù)網(wǎng)關(guān)IP,承擔(dān)了與移動(dòng)客戶端的連接,并完成了移動(dòng)客戶端對(duì)網(wǎng)絡(luò)服務(wù)器中微服務(wù)的透明激活,而不僅可以合理地增加系統(tǒng)軟件的吞吐量,而且移動(dòng)客戶終端和集群服務(wù)器已經(jīng)完成了轉(zhuǎn)換功能,而網(wǎng)絡(luò)服務(wù)器的更換不易損害服務(wù)項(xiàng)目操作方式的改變。

2.2 微服務(wù)之間的通信 因?yàn)槲⒎?wù)的總數(shù)很大,所以微服務(wù)之間的通信必須適合于分布式系統(tǒng)。為了解決這個(gè)問題,本文在去耦級(jí)別上區(qū)分訂戶和客戶,并將微服務(wù)之間的通信分為兩種通信方法：同一系統(tǒng)和多線程信息解析系統(tǒng)。其中,異構(gòu)系統(tǒng)采用認(rèn)證中心技術(shù),按照HTTP協(xié)議進(jìn)行通信,適用于并發(fā)流量較高的場(chǎng)景。在多線程信息解決方案系統(tǒng)方法下,信息操作員只需將信息發(fā)送到信息代理,消息的生產(chǎn)者不需要一直在線。

3 平臺(tái)實(shí)現(xiàn)與應(yīng)用

3.1 技術(shù)架構(gòu) 根據(jù)平臺(tái)管理系統(tǒng)架構(gòu)和角色的主要觀點(diǎn),平臺(tái)的技術(shù)架構(gòu)包括資源層,核心層和網(wǎng)絡(luò)層。資源層：資源層使用虛擬化技術(shù)和容器化作為技術(shù)支持點(diǎn),以完成網(wǎng)絡(luò)層服務(wù)項(xiàng)目的啟動(dòng)項(xiàng),無休止的擴(kuò)展和動(dòng)態(tài)轉(zhuǎn)移。未來,智能礦山的IT將基于資源池私有云存儲(chǔ),并且將使用云計(jì)算平臺(tái)和云計(jì)算平臺(tái)作為補(bǔ)充。基于集成的云管理平臺(tái),將完成軟件系統(tǒng)的可擴(kuò)展部署和靈活的生產(chǎn)調(diào)度。為了與流行的開源網(wǎng)站更加兼容,云管理平臺(tái)將Openstack分解為幾個(gè)基于Docker的解耦微服務(wù),從而確保Openstack和租戶使用零終端灰度升級(jí)。核心層：核心層隱藏了為開發(fā)人員部署和管理微服務(wù)的復(fù)雜工作,并開發(fā)了嵌入式解決方案以完成可延展和可擴(kuò)展的體系結(jié)構(gòu),自動(dòng)化的操作和維護(hù)以及適用的按需服務(wù)項(xiàng)目/付款。生產(chǎn)調(diào)度和資源管理器Mesos用于優(yōu)化大數(shù)據(jù)中心之間的資源分配,并與頂級(jí)生產(chǎn)調(diào)度程序配合使用,以解決Internet大數(shù)據(jù)的資源池化生產(chǎn)調(diào)度問題。儀器編輯模塊Marathon/K8S用于群集管理方法,以解決大規(guī)模應(yīng)用程序部署的問題,并完成群集的熱升級(jí),動(dòng)態(tài)可伸縮性和負(fù)擔(dān)平衡。通過將鏡像系統(tǒng)倉庫中的器皿作為企業(yè)來進(jìn)行服務(wù)發(fā)現(xiàn),可以完成鏡像系統(tǒng)的存儲(chǔ)(靜態(tài)數(shù)據(jù))和器皿托管(動(dòng)態(tài))。負(fù)載和排水方法(Haproxy)可以完成資源的Web服務(wù)角色。信息交換的同步系統(tǒng)由Dubbo完成,多線程信息解析系統(tǒng)由Kaf ka完成,分布式系統(tǒng)協(xié)作由Zookeeper完成,反異構(gòu)系統(tǒng)軟件之間的通信由ESB完成。數(shù)據(jù)庫查詢包括相關(guān)的MPP數(shù)據(jù)庫查詢,RDB數(shù)據(jù)庫查詢和內(nèi)存數(shù)據(jù)庫。應(yīng)用程序體系結(jié)構(gòu)組件包括數(shù)據(jù)預(yù)處理ETL和Spark,基本服務(wù)組件包括HDFS,YARN等。服務(wù)項(xiàng)目層：服務(wù)項(xiàng)目層立即針對(duì)軟件開發(fā)人員,為開發(fā)人員提供開發(fā)和設(shè)計(jì)工具箱,例如隔離開關(guān),分布式體系結(jié)構(gòu)中的操作系統(tǒng)總線,軟件配置管理和智能路由器。當(dāng)今更時(shí)尚的微服務(wù)開發(fā)框架包括Spring Boot,Netflix,CONSUL,ZIPKIN等。用于修復(fù)和部署微服務(wù)的特殊工具包括Consul和Docker Swarm。

3.2 平臺(tái)應(yīng)用 平臺(tái)上的業(yè)務(wù)流程：該平臺(tái)可用于煤礦公司業(yè)務(wù)流程上的以下兩種方法：關(guān)鍵機(jī)密信息內(nèi)容部署在私有云存儲(chǔ)平臺(tái)的構(gòu)建上,且單核機(jī)密性和高度緊急需求部署在云上。在計(jì)算平臺(tái)上,完成了安全秘密,以確保具有可延展性和靈巧性的無縫拼接,從而實(shí)現(xiàn)互利共贏。分布式系統(tǒng)平臺(tái)架構(gòu)的基本構(gòu)建方法：煤礦公司的邊緣或分支機(jī)構(gòu)網(wǎng)站部署一臺(tái)或多臺(tái)網(wǎng)絡(luò)服務(wù)器,以完成汽車的輕量化管理方法平臺(tái)；私有云存儲(chǔ)平臺(tái)已部署在煤礦集團(tuán)公司內(nèi),以完成跨區(qū)域的統(tǒng)一Internet和自動(dòng)化技術(shù)管理方法的安全設(shè)置。全國各地的煤炭行業(yè)管理控制平臺(tái)都采用云計(jì)算平臺(tái)來完成網(wǎng)站的動(dòng)態(tài)添加和減少以及多站點(diǎn)管理和擴(kuò)展功能。

4 結(jié)語

綜合上文所述,為解決智慧礦山平臺(tái)無法做到計(jì)算和存儲(chǔ)資源的共享和按需使用,基于微服務(wù)、Dev Ops等技術(shù),通過對(duì)平臺(tái)實(shí)現(xiàn)技術(shù)架構(gòu)的分析,驗(yàn)證了本文提出平臺(tái)有效實(shí)現(xiàn)了智慧礦山的設(shè)計(jì)思路和建設(shè)目標(biāo),平臺(tái)應(yīng)用的分析驗(yàn)證了平臺(tái)的可用性和可擴(kuò)展性。