基于大數據分析的政府數據開放研究

摘? 要：政府和公共服務企業在工作過程中生成大量的結構化和非結構化數據。數據增長非常快，形成海量數據集（以ZB為單位）的集合，數據匯總構成政府“大數據”。文章利用大數據分析技術，對政府數據的開放范圍和用戶行為等進行分析，建立政府數據開放質量評估模型。依托模型提出政府數據開放重點是界定各部門政務數據開放范圍，優先開放民生領域數據，推進政府數據的創新應用。

關鍵詞：政府數據;公共數據;數據開放;大數據分析

中圖分類號：TP18? ? ? ? ?文獻標識碼：A文章編號：2096-4706（2021）23-0134-04

Open Government Data Research Based on Big Data Analysis

GU Mingsheng

（Harbin Big Data Center， Haerbin? 150030， China）

Abstract： Government and public service enterprises generate a large amount of structured and unstructured data in the process of work. The data grows very fast， forming a collection of massive data sets （in ZB）， and the data summary constitutes the “big data” of the government. Using big data analysis technology， this paper analyzes the open scope and user behavior of government data， and establishes the evaluation model of government data open quality. Based on the model， it is proposed that the focus of open government data is to define the scope of open government data of various departments， give priority to opening up data in the field of people’s livelihood， and promote the innovative application of government data.

Keywords： government data; public data; open data; big data analysis

0? 引? 言

隨著我國信息技術在政務方面的深入應用，政府管理部門通常會在實際工作中生成大量公共服務信息和個人信息。這些信息的大數據分析使社會受益，同時能服務經濟社會[1]。因為它使政府、企業能夠更好地掌控信息，為政府事項提供決策依據，為公眾數據查詢提供便捷服務，為企業經營生產提供便利。其中，典型應用就是國內電商網購平臺，其通過大數據儲存、分析和采集等技術的應用，商家可以快捷和高效分析數據[2-4]。使用數據算法，可以對公眾進行精準用戶畫像。商業機構可以更快，更合理地做出的市場決策，同時針對性提供個性化服務[5]。

1? 國內政府數據開放漸成常態

截至2021年4月底，我國已有174個省級和城市的地方政府上線了數據開放平臺，其中省級平臺18個，城市平臺156個。推進政府數據開放工作已成為各地加快數字政府建設的標配，“開放數據，蔚然成林”的愿景已初步實現。

現今，我國政府在線開放數據供公眾訪問，信息公開已成為常態，在各級政府門戶網站上可以公開查詢和下載。個人和企業對政府數據的查詢需求，促進了開放式政府的建設。開放式政府表現為采用開放式信息（信息公開），以及公開對話（互動交流）等多種形式來實現政府的辦事透明度和責任制目標。公眾也希望通過政府開放數據，便于關注政策的制定和實施，監督政府的各項財政資金支出，使政府采購公開透明。

2? 政府數據開放質量影響因素

根據數據生命周期理論，數據流動包括采集、存儲、利用和過時被刪除。采集、存儲、利用這三個環節影響數據開放的質量。

2.1? 數據開放平臺的設計概述

在保證數據安全前提下，政府數據經過數據脫敏加工等手段，將數據按照文件列表方式發布，提供數據服務主要包括數據包下載、數據接口兩種方式。還可以提供各種在線數據處理工具，例如可視化，映射或數據過濾。政府應當吸引和鼓勵社會力量參與數據資源開發利用，推動創新創業發展。

公眾和企業可直接下載通用格式數據包或通過軟件接口進行數據調用（數據包指的是將結構化數據轉換成可機讀的文件格式，例如EXCEL、CSV、XML、RDF等，以及將非結構化數據進行壓縮形成文件包，供下載使用;數據接口指的是將數據發布成API服務接口，供開發者調用。）

對于數據量大的情況，逐條添加的方式不便于用戶操作，設計采用導入/導出功能來解決大批量數據輸入輸出的問題。導入功能，支持excel和xml數據格式導入，提供了對應的模板和控件;支持導出到excel和xml。方便復制便于機器讀取和開展AI算法訓練。系統架構如圖1所示。

2.2? 政府大數據采集和存儲

總體流程分為三大部分，數據來源、數據加工、數據服務。政務數據和互聯網兩大數據，經過數據預處理、質量檢測、數據加工、接口管控進入產品庫，產品庫針對不同的服務細分為開放庫及分析庫，對外提供數據服務。流程圖如圖2所示。

采用大數據處理系統來解決開放網站業務中海量結構化和非結構化數據存儲和處理問題。海量結構化存儲具有面向應用開發的、通用的存儲功能，它不但可以存儲應用開發所使用的結構化及半結構化數據，還可以對海量數據進行實時的查詢，幫助用戶高效的管理數據，提高數據的安全性及可用性，更可以提供存儲空間的平滑擴展。結合平臺分布式計算的強大運算能力，還可以對海量數據進行分析統計。

數據非結構化存儲大數據處理系統利用Hadoop分布式系統架構，以分布式PC服務器集群組成本地化分布式存儲環境，將互相連接在一起的服務器群所組成的一個分布式的并行存儲系統。可以存儲任何經過數據交換平臺和在交換平臺上產生的數據，包括業務數據、消息包、日志數據、管理數據和用戶數據。為開展大數據分析打下基礎。大數據處理系統基于開源社區軟件Hadoop進行功能增強，提供企業級大數據存儲、查詢和分析的統一平臺，幫助用戶快速構建海量數據信息處理系統。

2.3? 數據開放的應用

各級政府部門工作中產生大量數據，通常情況下數據只在部門內進行交換共享，用于處理政務并提高效率。政府開放數據方法應該打破部門界限，政府的決策和行動應更加透明和公開。

利用大數據分析技術對哈爾濱市政府數據開放相關指標進行分析，生成數據開放統計圖，如圖3所示。通過圖4可以看出共開放1 170個數據集，數據量達到575萬余條，用戶下載量達到22萬余人次，同時開放的還有4 138個數據文件，2 378個API數據接口和9個APP。

22萬余人次的下載量可見公眾特別關注政府數據開放，一直在尋找獲取政府數據的方法。政府對數據集披露確實促進了社會進步。同時公眾也會對政府提出更高的要求。例如：哪些政府部門不提供信息？哪個信息某個政府部門不提供此服務？某些重要信息是否會按時公布，信息類型是否缺少？政府想要滿足公眾的期許，必須加大政府信息化建設，同時完成數據治理框架的搭建，否則政府難以解決傳統政府服務效率不高，導致公眾對數據難以有效獲取這方面的矛盾。

利用大數據分析，哈爾濱政府的數據開放的14個領域中，經濟建設、城市建設和民生服務三大領域的數據開放量大、社會公眾關注度高。通過政府建立政務數據開放目錄和數據開放清單，界定各部門政務數據開放范圍，實現推動安全風險小、成熟度高、惠民效果明顯的數據優先開放的目的。

在依法加強安全保障和隱私保護的前提下，重點圍繞民生服務需求，實現可開放政府數據向社會公眾集中、有序開放和規范利用，提升開放數據的數量、質量、時效性和易用性，顯著提升公共數據的有效利用和深度開發水平，促進社會創新和信息經濟發展。建設數據開放網站，形成統一的門戶服務、數據開放管理、安全脫敏、可控流通等功能。結合社會公眾需求，以可機讀批量下載方式，分級、分類重點開放企業登記、信用、交通、醫療、衛生、就業、社保、地理、文化、教育、科技、知識產權、自然資源、農業、林業、環境、安監、質量、統計、氣象等公共服務相關領域的非涉密公共數據。加強對經濟社會重要領域社會化數據的采集匯聚，促進政府數據與社會數據的關聯融合創新。

2.4? 數據開放的應用場景分析

開放政府數據（OGD）是政府以任何形式發布沒有任何版權限制的數據集。現階段互聯網的普及和信息技術的運用，公眾獲取數據信息的便利，也促進政府進行改革，實現信息開放，政務公開透明。由于政府開放數據會帶來巨大經濟利益和提高行政效率，許多國家都對開放數據制定了相關標準和管理辦法。最常用的發布和使用方法是訪問政府數據開放門戶網站，任何公眾和企業都可以在數據開放網站查詢信息，政府負責此類門戶網站可以正常運行，這是政府開放數據的核心平臺。

通過對市級政府數據開放門戶網站訪問量進行大數據分析，可見除去黑龍江外，北京、浙江的訪問量較大。除去本省外的這兩地都是科技和經濟發達地區，先進發達地區對數據的利用需求較大。

如果對平臺用戶再進行細分，政府數據開放平臺用戶群體按類型分為政府、事業單位、科研機構、社會團體、國私營企業、個人等;按技術能力分為初級用戶和專業用戶，初級用戶包括普通民眾、一般企業、非專業用戶，專業用戶包括開發者、分析師、業務專家;開放網站針對不同的用戶提供不同層次的數據服務，針對初級用戶提供數據瀏覽、數據查詢和數據統計等功能，針對專業用戶提供接口服務、開發者中心、數據再加工等功能。后期開放網站針對不同技術能力的用戶提供不同的版本，針對初級用戶提供社會公眾版，針對專業用戶提供專業用戶版。積極探索并且針對不同用戶的需求，在財稅、金融、消費、勞動就業、產業運行、市場監管等領域進行數據創新應用的場景建設。如表1所示。

3? 結? 論

綜上所述，政府要把不斷滿足人民對美好生活的向往作為政府數據開放建設的出發點和落腳點，堅持人民主體定位，適應人民新期待，回應人民新需求，為人民群眾提供更加智能、更加便捷、更加優質的公共服務，做到政府數據開放平臺建設為了人民、依靠人民，建設成果由人民共享，讓企業和群眾成為政府數據開放平臺的推動者、監督者、受益者，切實增強人民群眾的幸福感、獲得感和滿意度。

以解決企業和群眾辦事的難點、堵點、痛點問題為導向，從政府數據應用場景入手，以業務需求牽引平臺建設、數據開放治理、制度規范構建、應用創新，更好服務企業和群眾。

充分協調各部門、各區縣及社會各方面積極性，加強政府數據開放平臺一體化建設和部署。基礎設施、應用支撐等集約化、一體化推進，優化資源配置，推動形成縱向貫通、橫向協同的政府數據開放新格局。

參考文獻：

[1] 趙陽，姚正言.智慧城市建設發展現狀分析 [J].智能建筑與智慧城市，2019（8）：26-27+30.

[2] 吳班，程春明.生態環境大數據應用探析 [J].環境保護，2016，44（Z1）：87-89.

[3] 張琳，陳軍.“智慧環保”建設中關鍵問題探討 [J].環境與可持續發展，2016，41（4）：58-59.

[4] 劉芳.智慧城市背景下的智慧環保建設 [J].科技傳播，2017，9（3）：34-35.

[5] 成書悅.全球城市化進程下智慧城市建設現狀和幾點思考 [C]//2019（第十四屆）城市發展與規劃大會.鄭州：出版者不詳，2019：568-572.

作者簡介：顧鳴聲（1975—），男，漢族，黑龍江人，高級工程師，碩士研究生，研究方向：教育信息化，軟件工程開發設計，網絡安全管理以及大數據管理等。