基于非關系型數據庫構建政府信息資源基礎庫的研究

摘? 要：借鑒國內先進城市經驗做法，建立完善涵蓋數據資源梳理、數據采集清洗、數據庫設計和存儲、數據分類分級管理、數據使用等五個步驟全流程的數據標準規范體系，充分發揮標準化建設的“統一規范”作用，從根本上解決各部門各系統數據存在的不標準、不完整、不一致、重復、錯誤等數據質量問題。通過對政府數據的研究，建立數據結構模型，探討數據資源平臺建設方向，分析基礎數據庫和主題數據庫建設，開展數據共享交換平臺的應用研究。

關鍵詞：政府數據;數據標準;大數據;非關系型數據庫;數據要素

中圖分類號：TP39? ? ? 文獻標識碼：A文章編號：2096-4706（2022）02-0157-04

Abstract： Learn from the experience and practice of domestic advanced cities， establish and improve the data standard and specification system covering the whole process of five steps： data resource combing， data collection and cleaning， database design and storage， data classification and hierarchical management and data use， give full play to the “unified and standardized” role of standardization construction， and fundamentally solve the data quality problems of various departments and systems including non-standard， incomplete， inconsistent， duplicate， error and so on. Through the research of government data， establish the data structure model， explore the construction direction of data resource platform， analyze the construction of basic database and subject database， and carry out the application research of data sharing and exchange platform.

Keywords： government data; data standard; big data; non-SQL database; data element

0? 引? 言

黨的十九屆四中全會審議通過的《中共中央關于堅持和完善中國特色社會主義制度、推進國家治理體系和治理能力現代化若干重大問題的決定》（以下簡稱《決定》）明確指出：“建立健全運用互聯網、大數據、人工智能等技術手段進行行政管理的制度規則[1]。

2020年4月9日，中央第一份關于要素市場化配置的文件指出了土地、勞動力、資本、技術、數據五個要素領域改革的方向，明確了完善要素市場化配置的具體措施。數據作為一種新型生產要素，成了《意見》中備受關注的內容[2]。

1? 認識政府數據體系

隨著大數據、物聯網、云計算、人工智能、區塊鏈等新一代信息技術應用的不斷深入，政府的治理方式也隨之發生變化，推進數字政府建設，加強數據有序共享，依法保護個人信息，提高行政效能，建設人民滿意的服務型政府是重中之重[3，4]。政府數字化轉型是大數據時代政府提升社會治理效能必須面對的一場深刻革命，需要從量變到質變、從理念到行為、從制度與工具到方法的系統性轉變[5]。

1.1? 政府數據

現階段，政府數據是指各級人民政府及其職能部門以及依法行使行政職權的組織在其管理或提供公共服務過程中制作、獲得或擁有的數據。是指政務部門在履行職責過程中制作或獲取的，以一定形式記錄、保存的文件、資料、圖表和數據等各類信息資源，包括政務部門直接或通過第三方依法采集的、依法授權管理的和因履行職責需要依托政務信息系統形成的信息資源。政府數據庫是存儲政府數據的軟件載體，基礎數據的加工廠，是實現政府數據安全、可控管理的基礎[6-8]。

海量的政府數據形成大數據，大數據具有“4V”的特征，即數據規模大（Volume），數據種類繁多（Variety），數據處理速度快（Velocity），數據價值密度低（Value）。近年來，人們將大數據應用于政府行政管理及其數據處理工作，這也使得更多政府業務過程被數字化并被納入“政府數據”[9]。

1.2? 數據庫與數據倉庫

在政府數字化時代，我們的日常生活和生產都在不斷地產生數據，如何處理龐大的數據，對數據庫系統是一個巨大的挑戰。現今，國內政府部門和企事業單位，數據庫99%以上都是使用國外的商業或開源數據庫（MySQL），這是因為IT軟（硬）件產品、操作系統、數據庫、中間件等基礎軟件核心技術層面國外仍舊占有主導地位，而數據庫又是其中核心技術[10]。

有了數據，就需要有存放數據的地方。數據庫和數據倉庫即存放數據庫的兩種形式。兩者在本質上沒有區別，都是為了存儲數據，如圖1所示。

數據庫：面向業務設計，一般針對的是在線業務，存儲的是在線業務數據。如：Oracle、DB2、MySQL、Sybase、MS SQL Server等。可以分為：關系型數據庫和NoSQL數據庫，其中后者又可分為KV數據庫、文檔型數據庫、列數據庫。

數據倉庫：是數據庫概念的升級，面向分析，存儲的是歷史數據。從數據量來說，數據倉庫要比數據庫更龐大得多。主要用于數據挖掘和數據分析，代表軟件為Hadoop。

ETL： 數據倉庫很多時候是需要從其他地方傳輸數據到數據倉庫，這個過程就是ETL：extract-抽取、transform-轉換、load-加載。

無論是歷史數據還是線上數據，都是有生命周期的。比如，對于一個產品的用戶活躍度統計業務，最近半年的數據是熱點數據，訪問較頻繁;而隨著時間的推移，慢慢地這些數據不再被頻繁關注，變為了一般數據;再隨著時間的推移，總有一天這些數據不再被關注就成了冷數據[3]。

2? 建設政府信息資源庫

近年來，如何認識、處理政府數據成為全球其他各國的政治、行政管理以及電子政務建設的重要問題，政府數據引起人們的廣泛關注。同時，人們對其也有著各種不同的說法和理解。例如，就我國的情況來看，人們常常將政府數據與“開放”“共享”聯系在一起，有時甚至是將政府數據與“開放共享”統一在一起[11]。這些不同的要求給人們帶來很多困惑，也給電子政務建設帶來一些困難。但實際上，政府數據本身是一個特定歷史時期的概念，其歷史并不長。在互聯網出現之前，政府數據最初是以“政府信息公開”的面目出現的，主要是美國等西方經濟發達國家在“知情權”“透明政府”“陽光政府”等訴求、要求下而提出的一項政策措施;在互聯網逐步得到應用之后，政府信息公開得到進一步強化，并被賦予更多的功能要求。

2.1? 信息資源庫建設背景分析

通過大數據分析篩查，某副省級城市市直71家單位共建數據庫183套。從數據庫的類型上看，主要使用MySQL、oracle、SQL Server這三種類型的數據庫，數量分別是31個、83個、50個，占比分別為16.9%、45.4%、27.3%;其他類型數據庫（DB2，MongoDB、Sybase、博陽、Hadoop等）19套，占10.4%，如圖2所示。

從數據庫項目字段統計情況看，共51家單位上報數據庫項目字段的電子文檔為非結構化數據，占比71.8%。

2.2? 業務系統整合實現數據接入

政府數據的大數據產業化發展，不僅面臨傳統的政府部門協調問題，也遇到了嚴峻的法律、政策與技術等多方面的障礙，例如隱私保護、網絡安全、產權歸屬等，這也使得政府數據的大數據產業化舉步維艱。方式可采用建設大數據倉庫的數據源，通過共享交換平臺，與數據接入功能區進行對接，完成原始數據物理集中匯聚至大數據基礎平臺中存儲。按照統一的數據標準，進行數據的清洗轉化，形成標準化數據。對標準化數據進行融合，分別構建統一的基礎數據庫庫和行業部門主題庫。基于標準統一的基礎庫和專題庫，開發數據查詢、數融合比對分析等各類服務，注冊至公共數據融合平臺，由其進行統一代理、發布，并對外提供共享服務，如圖3所示。

3? 建設政府信息資源基礎庫

基礎數據庫的數據架構設計，需滿足全域歸集、融合、開放、共享，數據流轉過程清晰合理。能為政府部門提供便捷的分析、處理海量數據的手段，能夠提供針對TB/PB級別數據的離線處理能力，如圖4所示。

3.1? 基礎數據庫的服務能力

3.1.1? SQL引擎

基于DAG（有向無環圖）執行模式和內存迭代計算架構，減少落盤環節，執行效率更高;優化內存使用，減少內存回收，運行更加穩定;列式存儲，數據壓縮比高，更節省IO;兼容Hive，提供豐富的內置函數;服務預啟動，更快速返回結果;根據集群規模動態申請適量資源;可適用JDBC接口訪問，適用方便。

3.1.2? 接口編程

支持Data Frame和Data Set編程接口，支持Java、Python和Scala等多種編程語言。提供Java版本的Map Reduce編程接口供用戶編寫Map和Reduce程序。

Map Reduce框架為用戶屏蔽數據的物理位置和分片實現等底層細節，用戶只需要關注Map和Reduce的計算過程本身，編寫自己的Map和Reduce程序，在作業提交頁面配置作業參數并執行作業。

3.1.3? Graph計算

圖計算的特點是數據吞吐量本身相對不大，更看重迭代的效率。Graph計算提供類似Pregel的API，基于RDD數據模型進行迭代。采用內存網絡替代磁盤IO，換來更快的性能。 面向圖數據而設計，適合圖算法開發。

3.2? 全量數據采集

信息資源基礎庫基于關系型數據庫的采集方式，與各業務系統的數據庫對接，直接抽取相關數據。設計具備數據源類型為數據庫的采集功能，支持主流數據庫包括Oracle、MySQL、SQL Server、PostgreSQL、MongoDB、Sybase、Teradata和DM、GBase、GaussDB等，支持多種主流大數據平臺，包括Hadoop、FusionInsight、MaxCompute等三種及以上主流大數據平臺。

3.2.1? 實時數據采集

信息資源基礎庫設計基于日志的數據庫實時增量數據抽取功能，包括但不限于Oracle、MySQL等;具備基于日志的分布式數據庫增量同步功能。庫級同步提供了在一個任務配置內管理多個表數據的數據同步任務的能力，在對數據庫中海量表進行數據遷移的場景下，能極大地縮短用戶煩瑣而重復的轉換配置工作。

3.2.2? 增量數據采集

設計通過定制計劃任務的方式，實現按一定周期從源系統中抽取當前周期內產生的增量數據，提供基于觸發器、日志、時間戳、全表對比的增量數據采集方式。日志增量同步可以避免重復的冗余的數據同步工作，特別是基礎數據量巨大時，增量同步功能就顯示出了特有的優勢。配合作業周期調度功能，可以實現每次只同步本輪周期內變化的數據，可以節省大量的時間資源和帶寬資源。實時災備、周期災備等對時間效率要求比較高的場景也是需要數據增量同步功能。

3.2.3? API接口和文件數據采集

支持基于Restful API接口進行數據采集。支持文件搬移與文件解析功能。具備文件夾（目錄）增量同步功能，具備針對文件夾的子文件夾和文件增、刪、改操作的實時增量同步功能。

3.3? 基礎庫數據規范

數據庫設計規范是對數據資源的各類數據庫邏輯表的數據項應遵循的數據格式標準（數據庫表結構、表說明、字段描述、數據類型和要求）進行規定。具體包括以下4項內容：

3.3.1? 歸集庫數據項

來源于互聯網、外部委辦局等各部門的各類數據的數據項應遵循的數據格式標準。

3.3.2? 資源庫數據項

對接入的公共結構化數據應遵循的數據格式標準進行規范。

3.3.3? 主題庫數據項

對人口綜合庫、法人綜合庫、幾大綜合數據庫中，與人口、法人、社會信用等業務相關的主題庫的數據項應遵循的數據格式標準進行規范。

3.3.4? 專題庫數據項

對人口庫、法人庫等業務專題涉及的政務服務、營商服務等相關數據的數據項應遵循的數據格式標準進行規范。

4? 結? 論

綜上所述及分析，雖然政府信息資源基礎數據庫在建設上、數據歸集上仍存在許多問題和困難，但隨著國家、省市的政策的逐步落實，國內大數據產業的蓬勃發展，利用政府數據進行數據資源信息開放共享，提供社會公共數據服務勢在必行。

政府有必要建立大數據的支撐服務平臺，將政府部門在數據共享交換的過程中，沉淀的大量政務數據資源，匯聚至數據中心節點。按照統一的數據標準進行分級分類，并對數據進行比對、清洗、脫敏、融合，形成人口、法人等基礎數據庫，以及工業、農業、經濟、教育、交通、醫療的主題數據倉庫，面向社會提供數據開放共享、數據集成、數據再利用、數據分析等服務，發揮政務數據的價值。持續推進數據歸集共享工作，充分發揮已建設的基礎數據庫作用，進一步完善人口、法人、征信、電子證照數據歸集，建立健全共享交換平臺數據內容，完善政府信息資源平臺的建設。

參考文獻：

[1] 李海晏.我國智慧城市標準化現狀及面臨的挑戰與對策 [J].中國標準化，2019（12）：193-197.

[2] 陳柳欽.智慧城市：全球城市發展新熱點 [J].青島科技大學學報（社會科學版），2011，27（1）：8-16.

[3] 艾希，宋雨桐.智慧城市建設下居民對公共服務的需求分析——以貴陽市智慧交通建設為例 [J].產業與科技論壇，2019，18（14）：77-80.

[4] 姬溶婧.智慧城市研究現狀分析 [J].合作經濟與科技，2019（13）：14-17.

[5] 于文軒，許成委.中國智慧城市建設的技術理性與政治理性——基于147個城市的實證分析 [J].公共管理學報，2016，13（4）：127-138+160.

[6] 李德仁，邵振峰，楊小敏.從數字城市到智慧城市的理論與實踐 [J].地理空間信息，2011，9（6）：1-5+7.

[7] 史璐.智慧城市的原理及其在我國城市發展中的功能和意義 [J].中國科技論壇，2011（5）：97-102.

[8] 陳銘，王乾晨，張曉海，等.“智慧城市”評價指標體系研究——以“智慧南京”建設為例 [J].城市發展研究，2011，18（5）：84-89.

[9] 丁博，尹璐，張哲.大數據技術在助推智慧城市管理中的應用 [J].電子技術與軟件工程，2019（19）：159-160.

[10] 成書悅.全球城市化進程下智慧城市建設現狀和幾點思考 [C]//2019（第十四屆）城市發展與規劃大會.鄭州：出版者不詳，2019：568-572.

[11] 邱彩鳳.智慧城市發展現狀調研及解決方案研究 [J].通訊世界，2019，26（5）：93-94.

作者簡介：顧鳴聲（1975—），男，漢族，黑龍江哈爾濱人，高級工程師，碩士研究生，研究方向：教育信息化，軟件工程開發設計，網絡安全管理以及大數據管理等。