科技政務數據可視化平臺設計與實現

摘 要：【目的】科技政務數據具有多源性、權威性等特征，蘊含著巨大的經濟社會利用價值，但由于數據來源途徑多、數據結構多樣和數據質量參差不齊等問題，導致對科技政務數據的綜合利用不充分，數據價值未能體現。因此，需要建立一個綜合、高效的科技政務數據分析、處理及可視化平臺，為科技管理部門決策提供數據層面的有力支撐?！痉椒ā炕谖⒎盏募軜嫞⒁詳祿信_為基礎的科技政務數據可視化平臺?！窘Y果】該平臺實現了對科技政務數據的統一采集、存儲、分析和計算，并進行可視化展示?！窘Y論】科技政務數據可視化平臺通過對數據的統一處理，打破了“數據孤島”，以直觀的圖表展示數據，極大地提高了科技政務數據的利用率，為科技政策的制定提供了重要的數據參考。

關鍵詞：政務數據；數據中臺；數據可視化；微服務

中圖分類號：TP311.1 文獻標志碼：A 文章編號：1003-5168（2024）18-0018-06

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.18.004

Design and Implementation of Science and Technology Government Data Visualization Platform

JIAO Changchun YANG Yifan

（The Scientific & Technological Information Center of Henan， Zhengzhou 450000， China）

Abstract：[Purposes] Science and technology government data possesses the attributes of multi-source and authority， and it contains significant economic and social value. Nevertheless， due to the issues of multiple data sources， diverse data structures， and uneven data quality， the comprehensive utilization of science and technology government data is inadequate， and the value of the data is not manifested. Therefore， it is necessary to establish a comprehensive and efficient science and technology government data analysis， processing and visualization platform， which will provide strong data-level support for science and technology management departments to make decisions. [Methods] Based on the architecture of microservices， this paper establishes a visualization platform for science and technology government data based on the data middle platform. [Findings] This platform realizes the unified collection， storage， analysis， calculation and visual display of science and technology government data. [Conclusions] Through the unified processing of data， science and technology government data visualization platform solves the problem of data silos， presents the data with intuitive charts， significantly enhances the utilization rate of science and technology government data， and provides an important data reference for the formulation of science and technology policies.

Keywords： government data; data middle platform; data visualization; microservice

0 引言

我國電子政務自20世紀80年代末期提出以來，各級政府部門積極響應，2000年以后電子政務迅速發展［1］?，F如今，電子政務已成為政府部門提供服務的重要窗口，各級政府和部門根據自身業務特點建設了各具特色的業務系統，極大地提高了政府工作效率與服務水平。與此同時，伴隨著這些系統的應用也產生了大量的政務數據。隨著信息化的不斷深入和新一代互聯網技術的快速發展，數據逐漸成為影響社會經濟發展的重要生產要素，其中，政務數據作為數據資源的重要組成部分，因其多源性、權威性等特征，蘊含巨大的經濟社會價值［2］。

2019年10月，黨的十九屆四中全會首次提出“推進數字政府建設”。2022年國務院辦公廳發布《全國一體化政務大數據體系建設指南》，指出要加快推進政務數據一體化決策部署，支撐數字政府建設。數據的戰略性地位及數字政府的新趨勢為政府對政務數據的綜合治理和充分使用，提出了更深層次的要求。由此可見，準確、翔實、清晰的數據已成為當前政府部門決策時的重要抓手。

河南省科技管理部門早在20世紀90年代就已經開始探索自身的信息化道路，根據自身部門業務特點，建立了科技信息管理系統，經過不斷地發展，逐漸將所有業務由線下轉移到線上，極大地提升了科技服務水平。但隨著科技計劃管理改革的不斷推進，科技管理部門的業務也在不斷迭代，相應的業務系統也在不斷地變化，存儲數據介質也跟隨著計算機行業的發展不斷更迭，科技政務數據逐漸出現了來源途徑多、數據質量差距大、數據形態異構、數據孤島等問題［3］，導致數據綜合利用不充分，數據的價值未能體現。因此，建立一個綜合、高效的科技政務數據分析、處理及可視化平臺，為科技部門的決策做好數據層面的支撐，對于提高科技部門的服務能力和質量具有十分重要的現實意義。

1 數據中臺與數據可視化概述

1.1 數據中臺

河南省科技管理部門各業務系統數據從使用角度來看，當前還存在較多的問題。比如，數據重復或缺失、數據量大且分散、數據格式不統一、數據來源渠道廣、數據質量參差不齊等。這些問題對數據的綜合使用造成了極大的困難，因此，建立科技政務數據可視化平臺的第一步就是要做好數據層面的準備。通過搭建獨立的數據中臺，可以對科技政務數據進行長效的治理，有效解決上述科技政務數據存在的問題。

數據中臺的核心作用是通過統一的數據采集、計算處理、存儲共享等操作打通“數據孤島”，讓數據的價值得到充分體現，但是目前對數據中臺還沒有統一的定義［4-5］。吳信東等［6］從數據資產化角度給出了定義：數據中臺是將一個機構的數據作為戰略資產進行管理，從數據搜集到處理應用的一套管理機制，以期提高數據質量，實現廣泛的數據共享，最終實現數據價值最大化。從以上定義可以看出，數據中臺需要對數據的搜集到處理再到應用進行管理，且要通過數據挖掘、人工智能等技術對數據進行分析、處理，從中提煉出有價值的信息，進而實現數據價值的最大化。

在數據中臺的建設方面，Khalil等［7］在分析大數據技術的機遇和挑戰時，認為數據中臺建設在大數據時代是必要的，并且明確提出，數據中臺應在數據存儲、數據質量及數據安全等方面發揮重要作用，這為數據中臺的建設提供了基本的理論指導。Nateghi等［8］認為在利用數據中臺進行采集、處理和存儲數據的過程中，尤其要保證數據的質量，因為高質量的數據是進行數據分析和決策的基礎，也是影響其準確性和可靠性的關鍵因素。Sawadogo等［9］提出在數據中臺的建設過程中，應重視對元數據和數據質量的管理。鄭耀東等［10］基于阿里云平臺和產品，提出了工業數據中臺構建六步法，為工業級的數據中臺建設提供了參考依據。

對于數據中臺的研究，目前已經形成了基本的理論。大型互聯網企業根據自身業務特點，結合自身技術水平，定制開發了屬于自己的數據中臺。雖然實現細節上多有不同，但各自的數據中臺都可以提供數據采集、計算、處理、存儲、分析等服務，讓企業在大數據時代提升核心競爭力。隨著研究的不斷深入，數據中臺的內涵也會愈加豐富，其價值也會愈加凸顯。

1.2 數據可視化

數據經過分析、計算、處理后，以結構化或非結構化的形式存放于數據庫中，業務人員或政策制定者很難從原始的數據組織方式中直觀地看到數據所表達的信息，只有通過合理地解析與表達后，才能將數據的價值充分展現出來。數據可視化正是讓數據變得清晰、直觀、易于理解的最佳途徑［11］。

數據可視化將復雜數據的重要特征壓縮，提取數據間的關聯關系，用人類易于感知的圖形展示，以便人們可以快速、準確地獲取信息。數據可視化充分利用了計算機圖形學、圖像處理和人機交互等技術，將數據以柱狀、線狀、地圖和表格等形式展示出來，使數據更容易理解和記憶?？偟膩碚f，數據可視化旨在借助圖形化手段，清晰、有效地傳達和溝通信息，直觀傳達數據的關鍵特征，實現對稀疏而又復雜數據集的深入洞察［12］。

數據可視化滿足了大數據時代對數據呈現的需求，因而在近些年得到了快速發展。根據其可視化的原理不同，劃分為基于幾何的技術、面向像素技術、基于圖標的技術、基于層次的技術等［13］。并且國內外相繼涌現很多優秀的可視化平臺或工具，例如，國外比較成熟的數據可視化平臺有Power BI、Google Charts、Tableau等。Power BI是微軟推出的一款強大的商業智能分析工具；Google Charts是谷歌公司開源的一個項目，其功能強大，核心是一個JavaScript庫，開發人員可以借助該庫生成各種樣式的圖表，支持數據的動態更新，并且具有很好的兼容性；Tableau是一種通用的數據可視化工具，在數據分析行業中有著極為廣泛的應用［14］。國內比較成熟的可視化平臺有DataV、ECharts。DataV是阿里集團推出的一款數據可視化應用搭建工具，能夠快速、高效地對數據進行分析，并進行可視化展示；ECharts是百度團隊開源的一個JavaScript圖表庫，提供了豐富多樣的圖表以及靈活的配置，是一款非常優秀的可視化工具。

2 科技政務數據可視化平臺設計

科技政務數據可視化平臺基于微服務的思想，整體架構分為兩大模塊，即數據中臺和可視化應用，且數據中臺與可視化應用完全解耦。經過數據中臺統一清洗、分析、計算、存儲后的數據完全獨立，中臺可以對多個外部應用提供數據訪問服務。同樣，可視化應用也可以兼容多種數據源，數據既可以來自中臺，也可以來自其他數據庫或數據文件?？萍颊諗祿梢暬脚_整體架構如圖1所示。

由圖1可知，數據中臺起到了數據支撐的作用。數據中臺需要對接多種數據源，其中包括但不限于關系型數據庫、非關系型數據庫、數據文件及數據接口等常用的數據存儲方式。

數據中臺在進行數據采集時，應根據數據的時效性提供離線采集和實時采集。例如，在河南省科技管理部門所持有的數據中，一部分來自工作人員手動統計的數據，常用文檔或表格的形式組織數據，這些數據需要進行離線采集。而對于各個業務系統中的數據，則可以進行實時采集，采集的間隔時長則根據數據產生的速度、數據量大小、實時程度等實際情況而定。數據中臺在進行數據存儲時，采用分布式存儲技術。分布式存儲是可擴展的存儲結構，大大提高了中臺數據存儲的可靠性和穩定性。在數據處理方面，采用ETL工具進行數據統一處理。即對數據進行抽?。‥xtract）、轉換（Transformation）、裝載（Loading），常用的開源ETL工具有sqoop、DataX、Kettle、canal等。其中Kettle是使用最廣泛且功能強大的ETL工具，通過Kettle可以快速地進行數據抽取、轉換和加載，實現數據快速入庫和分析。數據中臺提供的數據訪問服務，可根據模型經過簡單配置生成API服務，供外部系統訪問，也可將中臺存儲的數據全量或增量轉存到指定的數據庫中，以滿足現有業務系統使用數據的需求。數據中臺作為獨立的服務，擁有統一的日志監控和安全模塊。

科技政務數據可視化平臺的可視化應用層是獨立的服務，可以對現有主流數據源完成連接，且支持對不同的數據庫編寫sql來獲取數據。數據讀取完畢，可以進行簡單的數據過濾、計算，選用合適的圖表關聯數據，對于每個圖表的數據支持實時更新，更新時間間隔由數據的時效性決定?？紤]到熟悉業務的人員大多為非技術人員，于是該科技政務數據可視化平臺的可視化應用層會提供友好的用戶交互界面，非技術人員通過簡單的學習就可以將指定的數據制作成精美的圖表。

3 科技政務數據可視化平臺實現

科技政務數據可視化平臺采用前后端分離的方式開發，前端主要涉及Vue、Element-ui、H5等技術，后端以Java為主要開發語言。該平臺的數據中臺模塊界面如圖2所示?？梢暬瘧脤咏缑嫒鐖D3所示。數據中臺與可視化應用層擁有權限控制模塊，用戶須憑借管理人員分配的賬戶和密碼進行登錄后才能使用該平臺。

數據中臺是基于Hadoop生態之上進行開發的，包括數據流程、數據編目、臨時查詢、數據標準、數據質量、數據服務和系統管理等子模塊。

數據流程模塊包括對數據源和任務流程的管理，目前支持MySQL、Oracle、SqlServer、MongoDB、PostgreSQL、Hive、文件和API等數據源。任務流程是處理數據的入口，通過設置、組合任務流程節點的方式，完成對數據的采集、清洗、計算和存儲。按照功能不同可以將節點分成采集節點、計算節點、服務節點，如圖4所示。采集節點通過指定數據源、數據庫名和表明就可以將數據同步進數據中臺，根據數據生成的方式選擇全量或增量采集。計算節點是進行數據處理的主要節點，可以通過編寫HiveSQL或者PySpark腳本對數據進行清洗、轉換、修補、計算等操作，統一數據格式。服務節點可以將計算節點輸出的數據轉存到指定的數據庫表中，滿足現有業務系統對規整數據的需求。

數據編目模塊實現的是對中臺內部數據表的管理，包括表的增、刪、改、查和導出等功能。臨時查詢是提供的SQL查詢服務，該模塊可以通過編寫SQL語句來查詢數據中臺內部表數據。在數據標準模塊中通過新建標準，可以對元數據指定數值長度、最大值、最小值和正則匹配規則，標準建立以后，在數據表中的列可以引用數據標準。數據質量模塊通過建立質量規則和質量任務，對中臺存儲的表數據進行質量評估，從而得出數據合格率，來監控中臺存儲的數據質量。數據服務模塊可以通過配置請求信息與響應信息，快速生成數據訪問接口，將治理后的數據和模型計算結果數據提供給外部業務系統。系統管理模塊包含對用戶、角色、日志等系統相關內容的管理。

可視化應用層包括數據源對接、數據拉取和圖表生成等子模塊。數據源對接模塊通過設置連接數據源的必要參數來拉取數據，該模塊對常用的數據來源均做了適配，支持的數據源類型與數據中臺相同，如圖5所示，只需要填寫相關鏈接參數即可從MySQL數據庫中拉取數據。

數據拉取模塊除支持拉取整張數據表的數據外，也支持通過編寫SQL語句的方式獲取指定數據（該方式不支持文件、數據接口及非關系型數據庫）。

圖表生成模塊通過配置數據關聯、組合圖表來生成可視化頁面。所有的圖表操作、排版均在畫布中進行，畫布尺寸即為生成的頁面尺寸，生成的頁面可在瀏覽器中訪問。當前支持的圖表類型包括表格、柱狀圖、折線圖、餅圖、雷達圖、漏斗圖、地圖等常用數據展示圖表。圖表進行數據關聯時，以拉取到的數據列為基準，其中X軸只能對應一列，數據和條件篩選可以包含多列，通過組合多個篩選條件，可以更為準確地展示數據，圖6為柱狀圖數據關聯。同時，根據展示數據的時效性不同，可以指定每個圖表數據拉取的時間間隔，定時拉取數據，數據更新的同時圖表會重新生成，實現數據實時展示的效果。

4 結語

本研究根據河南省科技管理部門下屬業務系統的數據特點和數據展示的需要，建立了科技政務數據可視化平臺。該平臺包括數據中臺和可視化應用兩大模塊，平臺整體基于微服務的思想實現，數據中臺和可視化應用被拆分為兩個獨立的服務，以滿足其他現有系統對數據和可視化的需要。科技政務數據可視化平臺實現了對數據的統一采集、存儲、分析和處理，并進行可視化展示，極大地提高了科技政務數據的利用率，為科技政策的制定提供了重要的數據參考。

參考文獻：

［1］ 李鳴.我國電子政務發展綜述［J］.武漢工程大學學報，2010，32（4）：52-55.

［2］施穎瑩.數字政府一體化建設背景下政府數據治理研究［D］.杭州：浙江大學，2023.

［3］閆佳和，李紅輝，馬英，等.多源異構數據融合關鍵技術與政務大數據治理體系［J］.計算機科學，2024，51（2）：1-14.

［4］鄧立君.數據中臺與大數據中心分析［J］.電子世界，2019（22）：85-86.

［5］陳新宇，羅家鷹，江威.中臺實踐：數字化轉型方法論與解決方案［M］.北京：機械工業出版社，2020.

［6］吳信東，應澤宇，盛紹靜，等.數據中臺框架與實踐［J］.大數據，2023，9（6）：137-159.

［7］KHALIL I，KIM R Y，SEO C.Challenges and Opportunities of Big Data［J］.Journal of Plaform Technology，2020，8（2）：3-9.

［8］NATEGHI R，AVEN T. Risk Analysis in the Age of Big Data： The Promises and Pitfalls［J］. Risk Analysis， 2021，41（10）：1751-1758.

［9］SAWADOGO P，DARMONT J.On data lake architectures and metadata management［J］.Journal of Intelligent Information Systems， 2021， 56（1）： 97-120.

［10］鄭耀東，李旭峰，陳和平.工業企業數據中臺構建方法探索［J］.現代信息科技，2020，4（21）：130-133.

［11］高玥.大數據時代背景下的數據可視化概念研究［D］.杭州：浙江大學，2014.

［12］王元光.模型驅動的數據可視化平臺的設計與實現［D］.北京：北京交通大學，2015.

［13］CARD S K，MACKINLAY J D，SHNEIDERMAN B.Readings in Information Visualization：Using Vision To Think［M］.Morgan Kaufmann Publishers Inc，1999.

［14］BATT S，GREALIS T，HARMON O，et al.Learning Tableau：A Data Visualization Tool［J］.The Journal of Economic Education，2020，51（3-4）：317-328.