伍凌云 袁林海 磨春妗 鐘小敏 梁靜榮
摘要:隨著信息技術的發展和大數據時代的來臨,大屏數據可視化技術已在電信、公安、交通、新能源汽車等各個行業得到廣泛應用。然而,用戶對大屏上顯示的數據內容經常因需求不同而產生變化。因此,研究一種能夠靈活配置的大屏控制系統是十分必要且有現實意義的?;诖?,文章設計了一種新能源車行業大屏控制系統,通過屏幕設置、單屏設計、多屏拼接等功能實現了靈活的大屏數據可視化看板,從而滿足新能源車行業不同角色多維度的數據監控分析需求,支持多場景的數據展示。
關鍵詞:大屏控制;數據可視化;數據管理;信息技術
中圖法分類號:TP273文獻標識碼:A
Design and implementation of large screen control system fornew energy vehicle industry
WU Lingyun,YUANLinhai,MOChunjin,ZHONGXiaomin,LIANGJingrong
(SAIC GM WulingAutomoblieCo.,Ltd.,Guangxi Laboratory of New Energy Automobile,Guangxi Key Laboratory of Automobile Four New Features,Liuzhou,Guangxi 545007,China)
Abstract:With the development of information technology and the advent of the era of big data,data visualization on large screen has been widely used in telecommunications, public security, transportation,new energy vehicle and other industries.However,the data displayed on the large screen often changes due to different requirements of users.Therefore,it is necessary and meaningful to research for a large screen control system that can be flexibly configured. Based on the above requirements,this paper designs a large screen control system for the new energy vehicle industry, flexible large-screen data visualization is realized through screen setting, single-screen design, multi- screen splicing and other functions.This system can meet the multi-dimensional data monitoring and analysis requirements of different roles in the new energy vehicle industry,and support multi-scene data display.
Key words: large screen control, data visualization, data management,information technology
1 引言
大屏數據可視化技術已在各行各業得到了廣泛應用,然而傳統的大屏展示經常需要對所展示的內容、設計進行定制開發,缺乏對主題和內容配置的靈活性,無法支持豐富的數據展示場景[1]。為了能夠提供更加便捷的大屏展示方法,本文設計了一種能夠靈活配置的大屏控制系統,其內置多場景大屏模板并提供不同主題下詳細的數據項選擇,滿足新能源車行業用戶多維度的數據監控分析需求。
2 系統總體設計
大屏控制系統的總體架構由三個層級構成,即 IaaS 層、PaaS 層、SaaS 層,同時兼顧系統安全保障體系。架構圖如圖1所示。
2.1 IaaS 層
IaaS 層的作用是為整個大屏控制系統提供運行環境,包括計算資源、存儲資源和網絡資源。運行環境作為系統的基礎支撐平臺,包括服務器系統、網絡系統、系統軟件、存儲擴容磁盤、網絡安全系統等,為系統的應用功能提供高效資源支撐[2]。
2.2 PaaS 層
基于 IaaS 層進行支撐服務建設,提供數據采集工具、數據整合工具、數據檢索工具、智能分析工具等,高效整合、分析營銷、運營、用車行為、售后等主題域數據,為 SaaS 層的應用服務提供工具支撐與數據支撐。
2.3 SaaS 層
SaaS 層為大屏控制系統的主要功能,通過單屏的設計、組合拼接、權限管理等,滿足不同角色對大屏展示的需求。
2.4 安全保障體系
安全保障建設在遵照執行信息安全等級保護相關規定,通過在應用系統設計、應用系統實現、安全系統配置、安全系統使用等多個層面上實現全方位的安全保障,確保大屏控制系統數據的保密性、完整性、可用性、可控性和不可否認性[3]。
3 主要技術
3.1 ETL
ETL 是數據抽取、清洗轉換、裝載的過程,能夠幫助企業修正數據質量、匯集多數據源、轉換數據形態,提升數據的利用價值[4]。大屏控制系統需借助 ETL 技術將新能源車行業售前、售后、用戶用車行為等多源異構數據抽取出來、統一整合加工、按照特定格式裝載至系統數據庫中。
3.2 分布式可擴展的大數據架構
3.2.1? MapReduce 框架
MapReduce 是一種分布式并行編程框架,主要思想來自于函數式編程語言,它將分布式計算抽象成 Map (映射)和? Reduce (規約)兩個基本步驟。 MapReduce 框架將用戶的輸入按照一定的規則切分成可并行處理的數據塊,然后調用用戶自定義的 Map 程序將輸入轉化成 Key/Value 對,框架根據用戶自定義的規則將 Key/Value 對發送到不同的 Reduce 程序,從而將 Key/Value 對合成最終的輸出[5]。
MapReduce 框架隱藏了分布式編程的細節,使用戶在編程的過程中可以忽略分布式相關的細節,專注于邏輯實現,減少了用戶開發分布式并行應用的細節。Hadoop 的 MapReduce 部分和 HDFS 部分充分結合,在進行數據處理的時候,框架會盡量讓程序在數據所在的節點進行處理(一般的分布式程序都是移動數據來實現數據處理,但是對于海量數據而言移動數據的成本比較高),并且自動將失敗的任務進行重新分配執行[5]。
3.2.2 Storm 框架
對比 Hadoop 的批處理,Storm 是個實時、分布式并具備高容錯的計算系統。 Storm 不僅可以處理大批量數據,而且在保證高可靠性的前提下,還可以讓處理工作進行得更加實時,從而確保所有的信息都會被處理。除此之外,Storm 還具備容錯和分布計算等特性,這就讓 Storm 可以擴展到不同的機器上進行大批量的數據處理。對于擴展,只需要添加機器和改變對應的 topology (拓撲)設置。 Storm 使用 Hadoop Zookeeper 進行集群協調,可以充分保證大型集群的良好運行,每條信息的處理都可以得到保證[6]。
3.2.3? Spark 框架
Spark 是一個針對超大數據集合的低延遲的集群分布式計算系統,比MapReducer快40倍左右。 Spark 是hadoop的升級版本,Hadoop 作為第一代產品使用 HDFS,第二代加入了 Cache 來保存中間計算結果,并能適時主動推 Map/Reduce 任務,第三代就是 Spark 倡導的流 Streaming。 Spark 兼容 Hadoop 的APi,能夠讀寫 Hadoop 的 HDFS HBASE 順序文件等[7]。
4 系統設計與實現
大屏控制系統由數據接入、大屏設計、用戶管理三個模塊組成,實現對接入數據的匯聚管理、對大屏的靈活配置與設計以及對用戶權限的管理。
4.1 數據接入
提供數據上傳和多源數據連接兩種數據接入方式,可以通過數據上傳功能點選存儲在本地的表格數據上傳至系統中,也可通過 ETL 工具從數倉或數據庫抽取數據,并清洗、整合、裝載至系統。管理員可以對接入數據進行“增刪改查”的管理操作。
4.2 大屏設計
由于汽車行業大屏使用的應用場景非常豐富,包括市場、售后、用戶行為分析等各個方面,數據維度也非常多樣,通過大屏控制系統屏幕設置、單屏設計、拼接模板等功能設計,實現大屏展示模塊的靈活配置和自定義管理,從而在有限的屏幕范圍內展示最佳的可視化模塊組合。
4.2.1 多場景大屏模板
系統內置多場景大屏模板,適用于運營、銷售、出行、充電、智能駕駛、遠程控制、車聯網等不同的應用場景,從而支持可視化展示用戶從售前到購車、用車的全過程。同時,須提供至少5種屏幕規格,如單屏、橫雙屏、豎雙屏、橫三屏、豎三屏、四屏,以適應不同形狀、大小和組合的大屏。用戶可以先在屏幕設置中選擇單屏尺寸,然后在單屏設計中實現單屏展示數據效果,最后選擇拼接模板完成單屏拼接。實現效果如圖2所示。
4.2.2 可視化大屏設計
大屏控制應能提供單屏創建功能,具備可視化展示新能源車行業從售前到售后以及用戶用車全過程的大屏,支持靈活的個性化數據配置。用戶可根據系統提供的大屏模板創建新的單屏展示,填寫大屏名稱并設置單屏比(圖3),以便后續對設計好的單屏進行管理和維護。
大屏控制系統還應支持大屏數據的可視化配置,用戶可以點選需要展示的具體數據維度進行自由組合。系統內置運營、營銷、出行、車聯網、智能駕駛、遠程控制和售后等主題,每個主題下有常用分析指標供點選,用戶可以對主題和數據指標進行“增刪改查”的維護和管理,如圖4所示。
4.2.3 大屏拼接
用戶可以創建多套大屏進行自由的拼接組合(圖5),將系統中已經創建發布的多個單屏進行設計拼接,并能對拼接的大屏設計效果進行預覽、下載、發布、分享等操作。
(1)大屏布局
在創建拼接大屏時,首先對大屏單屏比和大屏布局進行選擇。
(2)大屏組合拼接
在設置大屏布局并創建拼接大屏后進入具體的大屏設置。提供多種模塊布局模板,選擇模板后可進行大屏的頁面設計,即對拼接大屏中的空白布局進行內容替換。對大屏頁面的選擇支持配置篩選、搜索等功能,極大地方便了大屏的整體設計和效果預覽的過程。
(3)大屏背景
可以對大屏設置背景,通過自定義上傳靜態背景或動態背景,可以在已有背景中進行選擇。
4.3 用戶管理
通過角色管理實現用戶權限的細粒度管理。用戶角色分為管理員、數據分析師和市場分析師。系統管理員擁有最全面的系統權限,可以對用戶、數據、系統配置等進行管理操作;數據分析師可以擁有數據管理和大屏設計的權限,可以設置大屏展示的數據項和分析內容;市場分析師可以進行大屏設計以及查看其他用戶分享的大屏設計成果。管理員也可以單獨為具體用戶設置個性化系統功能權限和數據權限,實現靈活的權限管理。
5 結束語
本文設計了一種大屏控制系統,通過屏幕設置、單屏設計、組合拼接、權限管理等功能為新能源車行業用戶提供了靈活的大屏數據可視化方法,其內置的新能源車領域大屏數據模板有效地節約了用戶設計大屏的時間,克服了傳統大屏開發過程的缺點,具有重要的現實意義。
參考文獻:
[1] 顧俊峰,王尊超,李繼康.通用大屏控制軟件的設計與實現[ J ].信息系統工程.2016(4):17.
[2] 周微忱.大屏幕控制系統的設計與實現[ D].上海:上海交通大學,2011.
[3] 王薈奧,蔡永香,楊岸霖,等.大屏數據可視化易用工具的研究與開發[ J].計算機系統應用,2022,31(2):114119.
[4] 權明亮.實時 ETL 工具的設計與實現[D].西安:西安電子科技大學,2021.
[5] 賀彬.基于 MapReduce 的大數據計算分析[ J].電腦編程技巧與維護.2021(12):97?100.
[6] 張少峰.基于 Storm 的實時處理系統的設計與實現[ D].北京:北京郵電大學,2017.
[7] 王晨曦,呂方,崔慧敏,等.面向大數據處理的基于 Spark 的異質內存編程框架[J].計算機研究與發展.2018,55(2):246?264.
作者簡介:
伍凌云(1994—),碩士,工程師,研究方向:數據可視化。