深圳市生態(tài)環(huán)境大數(shù)據(jù)中心開發(fā)技術探討

毛慶國

摘要：深圳市生態(tài)環(huán)境大數(shù)據(jù)中心在開發(fā)過程中，解決了數(shù)據(jù)資源規(guī)劃、數(shù)據(jù)標準規(guī)范、數(shù)據(jù)采集匯聚、數(shù)據(jù)治理和存儲、數(shù)據(jù)共享、數(shù)據(jù)應用、數(shù)據(jù)安全等關鍵性技術問題，突破了歷史數(shù)據(jù)匯聚、數(shù)據(jù)質(zhì)量控制、“一數(shù)一源”保障等技術難點，取得了較好的成效。

關鍵詞：生態(tài)環(huán)境 大數(shù)據(jù) 數(shù)據(jù)中心 信息資源規(guī)劃

一、背景

深圳市的生態(tài)環(huán)境信息化建設起步比較早。為滿足生態(tài)環(huán)境部門不同階段的業(yè)務需求，從2000年左右開始，深圳市陸續(xù)建設了80余套環(huán)境保護業(yè)務系統(tǒng)，并因此積累了豐富的數(shù)據(jù)資源。但由于缺乏統(tǒng)一的頂層設計和開發(fā)管理，龐大的數(shù)據(jù)存在很多問題，如結構分散、來源多樣、標準不一、互相矛盾、共享程度低等，數(shù)據(jù)壁壘、數(shù)據(jù)孤島現(xiàn)象嚴重。2018年，《深圳市新型智慧城市建設總體方案》出臺，其中明確要求“建立陸海統(tǒng)籌、天地一體、上下協(xié)同、信息共享的生態(tài)環(huán)境監(jiān)測網(wǎng)絡，加強水、氣、聲、固廢、生態(tài)資源等環(huán)境資源數(shù)據(jù)匯集”。2019年，在全市新型智慧城市建設的總體框架下，“深圳市智慧環(huán)保平臺項目”啟動建設，開發(fā)統(tǒng)一的生態(tài)環(huán)境大數(shù)據(jù)中心被列為其中最重要的建設內(nèi)容之一，以解決困擾多年的數(shù)據(jù)問題。

二、生態(tài)環(huán)境大數(shù)據(jù)中心開發(fā)中的關鍵性技術問題

深圳市生態(tài)環(huán)境大數(shù)據(jù)中心的設計規(guī)模大、體系嚴謹，開發(fā)過程中面臨許多技術挑戰(zhàn)，主要包括數(shù)據(jù)資源規(guī)劃、數(shù)據(jù)標準規(guī)范、數(shù)據(jù)采集匯聚、數(shù)據(jù)治理和存儲、數(shù)據(jù)共享、數(shù)據(jù)應用、數(shù)據(jù)安全等關鍵性技術問題，需要綜合運用數(shù)據(jù)管理的基本理論、系統(tǒng)開發(fā)的最新技術，結合生態(tài)環(huán)境業(yè)務的實際情況，逐一解決。

（一）數(shù)據(jù)資源規(guī)劃。數(shù)據(jù)資源規(guī)劃是生態(tài)環(huán)境大數(shù)據(jù)中心開發(fā)的基礎。深圳市運用信息資源規(guī)劃（Information Resource Planning，IRP）理論，對生態(tài)環(huán)境數(shù)據(jù)系統(tǒng)性地整理出12個業(yè)務大類、729個業(yè)務小類，并按照政務管理、社會服務、污染源監(jiān)管、環(huán)境質(zhì)量管理應用4大類型，劃分出52個業(yè)務職能域，然后對每個職能域的用戶視圖、數(shù)據(jù)流進行具體的規(guī)劃，形成職能域的數(shù)據(jù)元素集。

（二）數(shù)據(jù)標準規(guī)范。統(tǒng)一的數(shù)據(jù)標準規(guī)范是高質(zhì)量、可持續(xù)數(shù)據(jù)管理的前提。深圳市在相關法律法規(guī)和國內(nèi)相關數(shù)據(jù)標準的基礎上，建立了一套智慧環(huán)保數(shù)據(jù)標準體系，包括數(shù)據(jù)元管理規(guī)范、共享數(shù)據(jù)規(guī)范、元數(shù)據(jù)管理規(guī)范、資源目錄標準體系、數(shù)據(jù)安全管理規(guī)范、數(shù)據(jù)質(zhì)量管理規(guī)范、公共代碼管理規(guī)范、空間地理信息管理規(guī)范等，以保障數(shù)據(jù)定義和使用的一致性。

（三）數(shù)據(jù)采集匯聚。數(shù)據(jù)采集匯聚的難點在于解決不同來源數(shù)據(jù)的采集和匯聚問題。針對物聯(lián)感知數(shù)據(jù)、業(yè)務系統(tǒng)數(shù)據(jù)、離線非結構化和互聯(lián)網(wǎng)數(shù)據(jù)這四種主要數(shù)據(jù)來源，深圳市生態(tài)環(huán)境大數(shù)據(jù)中心統(tǒng)一采取接口方式進行采集，并分別設計了整套標準接口方案。對物聯(lián)感知數(shù)據(jù)統(tǒng)一通過物聯(lián)網(wǎng)平臺采集并存入時序數(shù)據(jù)庫，對線上的業(yè)務系統(tǒng)數(shù)據(jù)采用標準化接口方式采集，對圖片、視頻等非結構化數(shù)據(jù)采用離線文件采集接口方式，對互聯(lián)網(wǎng)數(shù)據(jù)按照一定的規(guī)則手動或者自動抓取。

（四）數(shù)據(jù)治理和存儲。數(shù)據(jù)治理是保證數(shù)據(jù)質(zhì)量的必要措施，包括初步數(shù)據(jù)庫標準化、數(shù)據(jù)智能稽查和統(tǒng)一元數(shù)據(jù)管理三個步驟，最終實現(xiàn)端到端的閉環(huán)治理。

數(shù)據(jù)存儲的難點在于存儲結構的科學合理，以利于數(shù)據(jù)讀取的高效便捷。數(shù)據(jù)匯入大數(shù)據(jù)中心后，基于統(tǒng)一的元數(shù)據(jù)規(guī)范按照基礎數(shù)據(jù)庫、專題庫和決策庫建立標準化數(shù)據(jù)庫體系，存儲形成統(tǒng)一的生態(tài)環(huán)境主題庫。基礎數(shù)據(jù)庫存放環(huán)境質(zhì)量數(shù)據(jù)中相對固定且作為基礎核心的數(shù)據(jù)，包括環(huán)境質(zhì)量點位信息庫、污染源基礎信息庫、企業(yè)基本信息庫、政策法規(guī)信息庫、環(huán)境空間地理信息庫、環(huán)境行業(yè)代碼信息庫等；業(yè)務專題庫是以業(yè)務領域為核心為其提供相關信息集合的庫和表，包括大氣環(huán)境質(zhì)量專題庫、水環(huán)境質(zhì)量專題庫、土壤環(huán)境專題庫、污染源監(jiān)管信息庫等；綜合決策庫是面向數(shù)據(jù)運營和決策分析需求，按照多維的方式進行數(shù)據(jù)存儲的數(shù)據(jù)集，包括空氣質(zhì)量達標規(guī)劃決策庫、水環(huán)境精準治污決策庫、水環(huán)境異常告警分析決策庫等。最終形成了包含7大基礎數(shù)據(jù)庫，28個業(yè)務專題庫和7個綜合決策庫的生態(tài)環(huán)境主題庫。

（五）數(shù)據(jù)共享。基于采集到的生態(tài)環(huán)境數(shù)據(jù)，深圳市構建了完整的數(shù)據(jù)資源目錄體系，并按照不同安全等級要求、共享類型、信息公開屬性進行數(shù)據(jù)共享。對內(nèi)全部通過大數(shù)據(jù)中心共享，對外統(tǒng)一采用接口方式進行共享，其中與全市的政務數(shù)據(jù)共享交換平臺之間實現(xiàn)實時共享。

（六）數(shù)據(jù)應用。數(shù)據(jù)應用的目標是最大程度發(fā)揮數(shù)據(jù)的價值。深圳市生態(tài)環(huán)境大數(shù)據(jù)中心集成了大氣、水、生態(tài)、噪聲4大類共18個環(huán)境仿真模型，通過輸入原始業(yè)務數(shù)據(jù)，調(diào)用模型，產(chǎn)生包括預測、分析等結果數(shù)據(jù)等支持業(yè)務應用，并結合業(yè)務場景，搭建了異常闖入識別、溢流識別、漂浮物識別等AI智能模型，支撐固體廢物管理、水環(huán)境管理等具體業(yè)務應用。

（七）數(shù)據(jù)安全。深圳生態(tài)環(huán)境大數(shù)據(jù)中心從四個方面全方位保障數(shù)據(jù)安全。一是統(tǒng)一數(shù)據(jù)安全平臺，圍繞數(shù)據(jù)全生命周期，提供定制化安全策略；二是基礎安全中臺支撐，利用安全態(tài)勢感知工具，提供從開發(fā)、運營到監(jiān)管的360度安全基礎保障；三是可信執(zhí)行環(huán)境，基于CPU內(nèi)核機制和指令集層面的可信執(zhí)行環(huán)境，搭建基于物理/網(wǎng)絡隔離以及沙箱技術的數(shù)據(jù)安全屋；四是嚴格業(yè)務安全控制，針對不同安全等級要求的業(yè)務應用場景，自動執(zhí)行不同安全保障的業(yè)務流程。

三、生態(tài)環(huán)境大數(shù)據(jù)中心開發(fā)中的技術難點

在深圳市生態(tài)環(huán)境大數(shù)據(jù)中心的開發(fā)中，歷史數(shù)據(jù)匯聚、數(shù)據(jù)質(zhì)量控制、“一數(shù)一源”保障是突出的技術難點，需要重點突破。

（一）關于歷史數(shù)據(jù)匯聚。在深圳市原有80余套已建的環(huán)境保護業(yè)務系統(tǒng)中，大部分系統(tǒng)年代久遠，數(shù)據(jù)結構和數(shù)據(jù)定義各不一致、內(nèi)容費解、數(shù)據(jù)字典缺失，數(shù)據(jù)匯聚面臨很大困難。為了解決這個問題，深圳市通過大量的調(diào)研和協(xié)調(diào)工作，制定了一套標準的數(shù)據(jù)匯聚方案，編制了覆蓋生態(tài)環(huán)境業(yè)務及相關領域的通用數(shù)據(jù)字典，在此基礎上完成了80余個歷史數(shù)據(jù)庫、1萬余張歷史數(shù)據(jù)表的數(shù)據(jù)匯聚工作。

（二）關于數(shù)據(jù)質(zhì)量控制。數(shù)據(jù)質(zhì)量控制的影響因素眾多，在進行數(shù)據(jù)資產(chǎn)建設之初就應當從戰(zhàn)略角度對數(shù)據(jù)質(zhì)量體系進行規(guī)劃。深圳市生態(tài)環(huán)境大數(shù)據(jù)中心在開發(fā)前，以元數(shù)據(jù)為基礎構建了一套完整的、標準化的元數(shù)據(jù)管理規(guī)范，建立了完整的數(shù)據(jù)表述體系，形成了128個公共數(shù)據(jù)元、1750個環(huán)保數(shù)據(jù)元；同時配套形成了6大數(shù)據(jù)管理要求，以管理數(shù)據(jù)的完整性、有效性、一致性、唯一性、正確性、準確性、充足性，從而形成了有效的數(shù)據(jù)質(zhì)量控制機制。

（三）關于“一數(shù)一源”保障。生態(tài)環(huán)境數(shù)據(jù)“一數(shù)多源”和“一源多數(shù)”的問題普遍存在，必須明確數(shù)據(jù)來源的主體性，確保“一數(shù)一源”。深圳市生態(tài)環(huán)境大數(shù)據(jù)中心的開發(fā)過程遵循一套“數(shù)據(jù)權屬”的核心原則，制定了數(shù)據(jù)來源、流程節(jié)點、時間更新、行政級別等數(shù)據(jù)整合原則，優(yōu)先選用數(shù)據(jù)源生產(chǎn)或采集單位的數(shù)據(jù)、時間較新的數(shù)據(jù)或者行政級別較高的數(shù)據(jù)，保障數(shù)據(jù)的完整性、準確性和一致性，減少重復收集造成的資源浪費和數(shù)據(jù)冗余。

四、生態(tài)環(huán)境大數(shù)據(jù)中心的建設成效

深圳市生態(tài)環(huán)境大數(shù)據(jù)中心于2019年底開始建設，至2022年9月完成項目終驗，初步實現(xiàn)了各類污染源、生態(tài)環(huán)境質(zhì)量和生態(tài)環(huán)境管理數(shù)據(jù)的全面匯聚，目前已匯聚各類數(shù)據(jù)676.76億條，除生態(tài)環(huán)境部門之外，還有水務、氣象、住房建設、自然資源等15個部門的重要數(shù)據(jù)接入，在大數(shù)據(jù)中心與省、市、區(qū)以及其他部門的數(shù)據(jù)平臺之間開發(fā)了400多個共享接口，數(shù)據(jù)共享通道暢順；大數(shù)據(jù)中心通過統(tǒng)一的數(shù)據(jù)支撐和決策分析支持，保障了智慧環(huán)保平臺上48個應用系統(tǒng)的有效運行，覆蓋了大多數(shù)生態(tài)環(huán)境業(yè)務，在新冠疫情防控、污染防治攻堅、“無廢城市”建設、執(zhí)法指揮調(diào)度等重要工作中發(fā)揮了積極作用。

深圳市生態(tài)環(huán)境大數(shù)據(jù)中心下一步將繼續(xù)優(yōu)化、完善和升級，基于深圳市城市信息模型（City Information Model，CIM）打造生態(tài)環(huán)境三維數(shù)據(jù)底座，對各種數(shù)據(jù)“應接盡接、全量接入”，加強數(shù)據(jù)治理和研究，提高數(shù)據(jù)開放水平和服務能力，挖掘更多應用場景，助力生態(tài)環(huán)境監(jiān)管和綜合分析決策，充分發(fā)揮數(shù)據(jù)作為生產(chǎn)要素的應有價值。（作者系深圳市生態(tài)環(huán)境智能管控中心主任，博士，高級工程師）

參考文獻：

[1]彭威：《水利信息化中信息資源規(guī)劃技術探討》，《中國信息化》2019年第2期。

[2]趙麗麗：《信息資源規(guī)劃中主題數(shù)據(jù)庫規(guī)劃研究與應用》，大連海事大學，2016年。

[3]逯衍：《大數(shù)據(jù)平臺數(shù)據(jù)采集系統(tǒng)的設計與實現(xiàn)》，北京交通大學，2018年。

[4]王翔，鄭磊：《面向數(shù)據(jù)開放的地方政府數(shù)據(jù)治理：問題與路徑》，《電子政務》2019年第2期。

[5]張程燁：《基于元數(shù)據(jù)的動態(tài)數(shù)據(jù)資源管理機制研究》，《信息技術與信息化》2017年第12期。