工業大數據可視化系統實現

摘要：完整的工業大數據能效分析平臺的實現，最終要以直觀、清晰明了的方式呈現到企業管理人員面前，以便于企業更有效地分析和管理工業大數據的生產。文章對工業大數據采集后進行實時數據的存儲，在經過數據的預處理后，再將數據保存在基于NoSQL存儲技術的歷史存儲系統中。在Vue.js中對數據進行計算后利用ECharts可視化工具將計算結果進行可視化展示，幫助工程師對企業生產數據進行能效分析，從而發現更多與企業生產工業大數據有關的潛在的規律和趨勢，進而對生產過程進行優化，提高生產效率，降低生產成本。

關鍵詞：工業大數據；可視化；能效分析

中圖分類號：TP311文獻標志碼：A

0引言

工業大數據的可視化分析通過對數據中隱含的規律性信息進行展示和呈現。在工業生產中，工業大數據的可視化分析能夠幫助企業用戶對潛藏的數據信息進行更直觀、顯性的理解，有助于企業工程師更好地分析數據，進而提出改善生產效率的方法，節約成本，提高生產效率。

文章運用Vue.js技術中的ECharts工具，對工業大數據進行各種圖形展示，方便企業用戶從中提取有價值的信息，發現規律，利用其對生產過程進行改造，創造出更高、更有效的收益。

1系統總體設計［1］

文章通過對工業大數據生產管理平臺的開發，首先建立工業大數據Hadoop HA高可用集群管理平臺，實現對工業生產數據、環境監測數據和用戶管理等數據的采集、存儲和標準化預處理。文章圍繞生產數據和環境數據處理的關鍵技術問題，構建工業大數據可視化系統，具體設計如圖1所示。

通過分析工業大數據的實際生產場景，文章根據實際業務需求構建基于Hadoop HA高可用集群管理平臺，包括Spark、Flink、Kafka、HBase、Redis和MySQL等組件［2］。其中HDFS、HBase［3］和Hive［4］用來存儲工業生產中的源數據，Spark組件用來對離線數據進行預處理。Flink作為實時數據的計算引擎，從Kafka中讀取實時數據的消息隊列，在進行計算后將結果存儲在Redis和MySQL數據庫中。

2系統實現與實例驗證

2.1數據庫設計

在數據庫設計方面，文章建立生產數據和環境監測數據的數據庫，包含設備信息、設備各狀態信息、環境監測信息、設備產品加工信息，分別如表1—4所示。

2.2數據處理流程

數據存儲系統包括離線數據存儲系統和實時數據存儲系統。離線數據處理過程如下：將采集的數據存儲到Hadoop的HDFS文件存儲系統中；利用Spark對數據進行預處理后存儲到基于NoSQL的存儲系統HBase中；根據不同的業務需求，利用Spark SQL技術對HBase中的數據進行批處理計算后將數據存儲到關系型數據庫MySQL中。

實時數據處理過程是將數據源源不斷地發送到Kafka消息隊列中，并創建主題（Topic），利用Flink流處理技術實時獲取Kafka消息隊列中的Topic。文章使用Flink SQL技術實時處理流數據，具體過程如下：一方面，將處理過的數據保存到HBase存儲系統中；另一方面，將要用到的數據存入Redis存儲系統。為了防止Redis的數據超出容量，文章須設置數據過期時間參數。

2.3多源數據的預處理［2］

在實際生產環境中，由于周邊環境復雜和生產設備自身噪聲等因素，不可避免地存在各種干擾因素，數據存在假信號，從而使采集的數據與真實數據存在差異。為了提高數據準確度，所提方案必須消除數據中存在的假信號。文章采取數據預處理技術對數據進行編輯或校正，恢復保留源數據的真實信息，主要包括數據抽取、清洗和轉換等操作。此項技術主要通過Spark組件完成。

2.4故障預警

文章使用Spark中機器學習算法庫MLlib進行故障報警預測，利用經過預處理的100萬條左右歷史數據進行訓練，再對實時數據進行預測，文章選用隨機森林算法對工業大數據進行故障預警。

2.5可視化系統展示［5-6］

在Web前端應用層的實現上，可視化系統采用Vue.js框架進行開發，選用ECharts可視化工具，結合專業的計算方法和數據挖掘算法，根據不同的展示項目選擇合適的圖形進行可視化展示，提供實時數據預測和監測。

3結語

文章所提的工業大數據可視化系統以大數據平臺為基礎，利用Vue.js框架中ECharts工具，通過匯總分析計算對工業大數據設備運行狀態、環境數據和故障預警等信息的動態展示。所提方案提供了友好的用戶交互方式，綜合運用大數據處理和分析、數據挖掘等相關技術對指定時間、指定設備進行預測或預警，并通過圖形化的方式進行直觀展示，方便企業管理人員對生產過程的監督和管理，具有很強的實用性和創新性。

參考文獻

［1］黎心怡，夏梓彤，莊嘉濠，等.基于大數據技術的實時軌道交通分析預測可視化系統的設計與實現［J］.電腦知識與技術，2023（29）：71-74.

［2］楊嵐.大數據環境下NoSQL數據庫查詢技術應用研究［J］.湖北第二師范學院學報，2020（8）：36-41.

［3］曹麗蓉.基于HBase數據庫的數據分布式存儲方法［J］.蘭州工業學院學報，2022（5）：46-50.

［4］繆華，吳淮北，張春梅，等.Hive數據倉庫加載數據的技術研究［J］.電腦編程技巧與維護，2023（12）：58-61.

［5］王志鵬，張麗瑤，陳思逸.面向工業生產的大數據管理與可視化系統設計［J］.電子設計工程，2019（24）：24-28.

［6］王小培.圖書館大數據建設應用實踐：以河北省圖書館讀者大數據可視化平臺項目為例［J］.科技資訊，2023（5）：205-208.

（編輯王永超編輯）

Implementation of industrial big data visualization system

ZHANG" Yanmin1， ZHAO" Zhankun1， YANG" Yuanxiang2， YANG" Bingqian1， WU" Weihong1

（1.Hebei Software Institute， Baoding 071000， China; 2.Beijing Sihe Tiandi Technology"Co.， Ltd.， Beijing 100000， China）

Abstract： The implementation of a complete industrial big data energy efficiency analysis platform should ultimately be presented to enterprise managers in an intuitive and clear manner， facilitating more effective analysis and management of industrial big data production. In this paper， the real-time data storage is carried out after the collection of industrial big data. After data preprocessing， the data is saved in a historical storage system based on NoSQL storage technology. After calculating the datas in Vue.js， the ECharts visualization tool is used to visually display the calculation results， helping engineers to analyze the energy efficiency of enterprise production data， discover more potential patterns and trends related to industrial big data， optimize the production process， improve production efficiency and reduce production costs.

Key words： industrial big data; visualization; efficiency analysis