王民明 吳玉鑫 王超 范檸檸 蔡天巍



摘? ?要:目前,國內大數據行業發展得如火如荼。作為互聯網時代新興產業,大數據與工業互聯網的結合實現了工業數據的網絡化,賦予了大數據更廣闊的應用空間和新的生命力。文章開發了一款針對工業設備的企業大數據分析展示系統,用于對企業設備上云的數據進行挖掘處理、劃分適當類別、構建運行相關指數模型、進行指數預測分析,并將數據進行可視化展示。
關鍵詞:大數據;工業設備;Hadoop
近年來,大數據越來越熱門,日漸應用于生活中,越來越多的企業把大數據提升到公司戰略層面,而關于大數據的討論也越來越熱烈。利用大數據開展工作是技術驅動還是業務需求驅動的爭論一直都存在,但是如何讓大數據發揮出應有的價值才是企業大數據戰略的目標所在。
目前,長三角地區在“企業上云”方面先行先試,重點行業和重點工業設備上云如火如荼。云平臺已積累了大量企業用戶的基礎信息與設備運行等數據,深入發掘數據價值,將助力監控和預測宏觀經濟發展,提升對行業及區域工業發展的掌控能力。
本團隊開發了針對工業設備的企業大數據分析展示系統,主要對采得的設備數據分析監控,幫助企業監控設備,幫助行業發掘數據價值。
1? ? 主要技術簡介
系統主要采用Hadoop進行數據處理,系統框架使用了Spring Boot,前端開發使用了Vue.js。
(1)Hadoop實現了一個分布式文件系統(Hadoop Distributed File System,HDFS),有高容錯性的特點,并且設計用來部署在低廉的(low-cost)硬件上;提供高吞吐量(high throughput)來訪問應用程序的數據,適合那些有著超大數據集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求,可以以流的形式訪問(streaming access)文件系統中的數據[1]。
Hadoop的框架最核心的設計就是HDFS和MapReduce。HDFS為海量的數據提供了存儲,MapReduce則為海量的數據提供了計算。
(2)Spring Boot使用了特定的方式來進行配置,使開發人員不再需要定義樣板化的配置。Spring Boot致力于在蓬勃發展的快速應用開發領域(rapid application development)成為領導者。
(3)Vue.js是一個構建數據驅動的Web界面的漸進式框架。Vue.js通過盡可能簡單地應用程序編程接口(Application Programming Interface,API)實現響應的數據綁定和組合的視圖組件,同樣便于與第三方庫或既有項目整合。當與單文件組件和Vue生態系統支持的庫結合使用時,Vue也完全能夠為復雜的單頁應用程序提供驅動[2]。
2? ? 系統實現
系統主要分為前端與后端兩大模塊。
首先,后端用Java編寫,應用Spring Boot的3層架構,引用HBase的JavaApi對HBase的數據進行操作(確定表名、行鍵、列族和列即可取到值)。根據各個維度的需求進行處理,返回給前端對應的json數據格式。整體架構分為3層:dao層、service層、controller層,如圖1所示。
(1)dao層,主要對數據庫進行操作,HBaseConn是用來連接habse的,HBaseUtil是操作hbas所對應的方法。Demo為Dao接口實現的一個類,主要用來獲取數據庫的值。傳輸給service層。
data包中有很多類,這些類是所有維度的實例類。對應數據庫中的一張表,類中的成員變量對應數據庫中的字段名。并有get,set方法。
(2)Service層,該層中所有邏輯代碼都放在這一層,主要用來處理所有維度。接收dao層的數據。定義接口Service_inter在里面創建方法,用Impl去具體實現對應維度的方法。定義dao層的接口對象private Dao dao = new Demo();dao中只有一個取數據庫值的方法。用dao.getCf(tableName, String.valueOf(i), “enterpriseId”,”equipmentId”)取對應表的值,創建對應維度的對象,循環給對象復制,再用Map存入。最后返回數據:return new Gson().toJson(map);
(3)Controller層,用指定的攔截器來接收Service層傳來的json數據。創建service層接口對象:private Service_inter service_inter;用@ Autowired自動注入。
其次,前端主要負責數據可視化,由以下4個模塊構成:主要工業信息、故障設備信息、企業設備信息、地理分布,系統結構如圖2所示。
3? ? 系統運行
系統已經通過測試,各模塊運行穩定,系統響應迅速。可以在PC端與手機端查看,系統界面美好、操作簡單,系統展示如圖3—4所示。
[參考文獻]
[1]譚磊,范磊.Hadoop應用實戰[M].北京:清華大學出版社,2017.
[2]MERCYBLIZ.Spring Boot編程思想(核心篇)[M].北京:電子工業出版社,2019.