長江大保護數(shù)據(jù)資源整合與數(shù)據(jù)中臺建設研究

陳晶　管林杰　張鐘海　宮留留　張力

摘要：中國高度重視長江大保護工作，但隨著各行各業(yè)相關信息系統(tǒng)的建設與應用，產(chǎn)生了大量形式各異的長江大保護相關數(shù)據(jù)資源，如何整合這些海量數(shù)據(jù)并為業(yè)務管理服務，是長江大保護研究的熱點問題。以湖北省作為研究試點，收集整理湖北省長江大保護工作中各個部門的數(shù)據(jù)資源。基于時空數(shù)據(jù)的特點，結(jié)合長江大保護的業(yè)務用途，重點研究了長江大保護數(shù)據(jù)的資源規(guī)劃與整合方式。在此基礎上構(gòu)建了長江大保護的數(shù)據(jù)中臺，將數(shù)據(jù)資源整合技術應用到規(guī)劃管控、資源保護、水污染防治、生態(tài)修復中，對其他城市或流域的數(shù)據(jù)整合與應用具有一定的借鑒意義。

關鍵詞：長江大保護; 時空大數(shù)據(jù); 數(shù)據(jù)資源整合; 數(shù)據(jù)中臺

中圖法分類號： TP311

文獻標志碼： A

DOI：10.16232/j.cnki.1001-4179.2022.02.033

0引 言

長江是中華民族的母親河，是中國重要的戰(zhàn)略水源地、生態(tài)寶庫和黃金水道。長江是一個完整且巨復雜的自然和社會生態(tài)系統(tǒng)，在行政地域上橫貫九省二市，涉水范圍廣、部門多[1-2]。長江流域水資源短缺、水生態(tài)損害、水環(huán)境污染等問題突出，水旱災害頻發(fā)，習近平總書記多次作出重要指示要求，要求共抓大保護、不搞大開發(fā)[3-4]。

隨著各行各業(yè)相關信息系統(tǒng)的建設與應用，各部門積累了大量的長江大保護相關數(shù)據(jù)資源，且各類感知設備獲取的動態(tài)監(jiān)測數(shù)據(jù)正在迅速增長[5]，但這些多源異構(gòu)數(shù)據(jù)資源仍缺乏有效整合，形成了眾多的“數(shù)據(jù)孤島”，造成了資源浪費[6]。如何科學管理和應用這些海量數(shù)據(jù)已經(jīng)成為長江大保護的關鍵問題。

時空大數(shù)據(jù)提供了對各類專題數(shù)據(jù)的時空基準，具備時間維度、空間維度以及屬性維度等多維特征[7-8]，成為長江大保護數(shù)字化治理應用的新載體。數(shù)據(jù)中臺是指通過智能數(shù)據(jù)技術對海量數(shù)據(jù)進行采集、存儲、計算、加工、應用的數(shù)據(jù)生態(tài)系統(tǒng)[9-10]。數(shù)據(jù)中臺建設能夠?qū)崿F(xiàn)政務數(shù)據(jù)的高度共享與應用，有效避免條塊分割、數(shù)據(jù)孤島等，對提升長江大保護管理具有十分重要的意義。

本文基于湖北省長江大保護時空大數(shù)據(jù)中心建設研究，對長江大保護的數(shù)據(jù)資源體系進行梳理與整合。在此基礎上，應用中臺技術構(gòu)建長江大保護數(shù)據(jù)中臺，形成長江大保護數(shù)據(jù)資產(chǎn)與數(shù)據(jù)服務，提升數(shù)據(jù)治理能力，以期為長江大保護的各項業(yè)務應用提供強有力的數(shù)據(jù)與平臺服務支撐。

1長江大保護數(shù)據(jù)資源規(guī)劃

長江大保護覆蓋空間范圍大，涉及專業(yè)多，長江保護大數(shù)據(jù)資源組成具有典型的多源、多維、海量、多態(tài)等時空大數(shù)據(jù)特征。《長江保護法》從規(guī)劃與管控、資源保護、水污染防治、生態(tài)環(huán)境修復、防洪減災、綠色發(fā)展、保障與監(jiān)督等方面對長江大保護提出了具體要求[11]。

為支撐湖北省對長江大保護各項任務的監(jiān)督管理工作，需整合各層級相關成員單位在水資源、水域岸線、水污染、水環(huán)境、水生態(tài)等方面的數(shù)據(jù)資源，形成長江大保護數(shù)據(jù)中心。本文結(jié)合長江大保護工作對時空數(shù)據(jù)的需要，對湖北省涵蓋發(fā)展和改革、自然資源、水利、生態(tài)環(huán)境、農(nóng)業(yè)農(nóng)村、林業(yè)、住建、城管、交通運輸?shù)戎鞴懿块T的數(shù)據(jù)資源進行調(diào)查、梳理與整合，具體整合數(shù)據(jù)項如表1所列。

2長江大保護數(shù)據(jù)資源整合

多源異構(gòu)的數(shù)據(jù)形態(tài)導致現(xiàn)行的長江大保護時空數(shù)據(jù)建設難度較大。針對這一問題，本研究從長江大保護的業(yè)務應用對數(shù)據(jù)資源的需求出發(fā)，采用面向?qū)ο蟮慕y(tǒng)一水利數(shù)據(jù)模型，基于地理實體對現(xiàn)有的數(shù)據(jù)資源進行實體化處理與整合，解決專題數(shù)據(jù)與實體數(shù)據(jù)的關聯(lián)，實現(xiàn)專題數(shù)據(jù)的實時空間化，為湖北省長江大保護業(yè)務應用提供高質(zhì)量的數(shù)據(jù)支撐。

2.1多源異構(gòu)數(shù)據(jù)匯聚

匯聚海量多源異構(gòu)數(shù)據(jù)的手段可分為物理集中整合與邏輯集中整合2種方式。在湖北省大數(shù)據(jù)梳理與整合過程中，依據(jù)數(shù)據(jù)庫、電子文件、紙質(zhì)報告等不同數(shù)據(jù)載體，采用不同的數(shù)據(jù)整合思路實現(xiàn)多源異構(gòu)數(shù)據(jù)的歸一化和匯聚。

物理集中通過數(shù)據(jù)交換平臺由主體數(shù)據(jù)庫承載數(shù)據(jù)共享負載，數(shù)據(jù)需求方利用數(shù)據(jù)共享系統(tǒng)完成數(shù)據(jù)資源的發(fā)現(xiàn)和共享使用申請，數(shù)據(jù)源責任單位利用數(shù)據(jù)管理系統(tǒng)完成數(shù)據(jù)資源共享使用的申請審批。邏輯集中中心數(shù)據(jù)庫僅承載數(shù)據(jù)資源目錄的共享負載，不承載具體數(shù)據(jù)的共享負載，具體供給方式由供需雙方自行協(xié)商。一般情況下，物理集中整合方式適合部門內(nèi)部的數(shù)據(jù)匯聚與整合，而邏輯集中整合方式更適合跨部門的有條件的數(shù)據(jù)共享與整合需求。

對于基礎地理數(shù)據(jù)，定期從自然資源相關部門將分級分類后可共享的數(shù)據(jù)內(nèi)容離線拷貝;對于水雨情、工情、水文、水資源、水質(zhì)、水生態(tài)、氣象等公共專題數(shù)據(jù)，通常源于部門之間的信息共享;對于行業(yè)專題可共享的實時數(shù)據(jù)，通過有線或無線網(wǎng)絡接入;對于互聯(lián)網(wǎng)在線抓取的數(shù)據(jù)，面向任務需求實時動態(tài)抓取，并入庫到時空大數(shù)據(jù)中心。

2.2基于實體的數(shù)據(jù)融合

地理實體是以點、線、面幾何圖元為空間數(shù)據(jù)表達與分類分層組織的基本單元，具有唯一的地理實體標識[12]。基于地理實體整合多源數(shù)據(jù)，重構(gòu)地理實體庫是其中的一個關鍵環(huán)節(jié)。地理實體庫以地理實體對象為管理單元，通過地理實體對象唯一標識編碼，實現(xiàn)與部門專題信息的關聯(lián)、融合，從而形成包括不同部門、不同時段、不同類型、不同尺度、不同精度的時空大數(shù)據(jù)。

針對湖北省地理實體數(shù)據(jù)建設，本文將地理實體分為水系、行政區(qū)劃、居民地、交通、土地、建筑、興趣點、水利工程、水利專題等，依據(jù)一定的編碼規(guī)則為每一個地理實體創(chuàng)建唯一的實體編碼。地理實體通過實體編碼與業(yè)務專題數(shù)據(jù)關聯(lián)，將各個部門掌握的專題數(shù)據(jù)掛接到唯一地理實體上，形成具有多重屬性的地理實體數(shù)據(jù)庫，實現(xiàn)長江大保護各部門專題數(shù)據(jù)的融合。

基于某個地理實體對象，比如河段，除了可以查詢河段的基本地理空間位置信息外，還可以查詢該河段的干支流、岸線空間、河段河長信息，以及河段上的水庫、水電站、堤防、水閘、泵站等水利工程的分布情況，河段上的水文、水質(zhì)、水資源、水環(huán)境、水生態(tài)等實時監(jiān)測數(shù)據(jù)，河段上的項目建設情況等，如圖2所示。

2.3數(shù)據(jù)規(guī)范化處理與入庫

長江大保護時空數(shù)據(jù)匯聚整合后，應進行規(guī)范化處理，包括統(tǒng)一數(shù)據(jù)格式與數(shù)學基礎、統(tǒng)一數(shù)據(jù)分層與編碼、空間化、時空數(shù)據(jù)三域標識等。在此基礎上對數(shù)據(jù)進行質(zhì)量檢查，質(zhì)檢合格的數(shù)據(jù)資源方可入庫，數(shù)據(jù)的質(zhì)檢、處理與入庫流程如圖3所示。

3長江大保護數(shù)據(jù)中臺建設

近年來，各行業(yè)為解決數(shù)字化轉(zhuǎn)型中前臺迭代快速而后臺迭代相較穩(wěn)定的矛盾，提出了“中臺”概念，包括技術中臺、業(yè)務中臺、數(shù)據(jù)中臺等[10]。其中，數(shù)據(jù)中臺是通過整合孤島數(shù)據(jù)、沉淀數(shù)據(jù)資產(chǎn)，提供數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)萃取、數(shù)據(jù)治理、數(shù)據(jù)服務、數(shù)據(jù)可視化等數(shù)據(jù)全生命周期管理，形成通用數(shù)據(jù)服務能力。本文即利用數(shù)據(jù)中臺技術，對湖北省長江大保護的各類數(shù)據(jù)資源進行整合與管理。

3.1總體架構(gòu)

數(shù)據(jù)中臺的建設思路是通過數(shù)據(jù)中臺提供的工具、方法等，將各類數(shù)據(jù)匯聚并形成持續(xù)的服務能力。基于此思路，長江大保護數(shù)據(jù)中臺的總體架構(gòu)設計如圖4所示，包括基礎設施層、數(shù)據(jù)層、支撐層、應用層4個層次。同時，通過數(shù)據(jù)安全管理、數(shù)據(jù)標準規(guī)范體系來保障數(shù)據(jù)中臺的長期有效的運轉(zhuǎn)。

基礎設施層是提供可靠的通信鏈路、服務器、存儲設備、安全設備等的硬件設施，為數(shù)據(jù)中臺提供必要的網(wǎng)絡資源、存儲資源、計算資源等。

數(shù)據(jù)層主要包括匯聚后簡單加工的基礎地理數(shù)據(jù)、公共專題數(shù)據(jù)、動態(tài)監(jiān)測數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)，以及使用過程中形成的標簽數(shù)據(jù)和資產(chǎn)數(shù)據(jù)等。

支撐層主要提供必要的公共服務組件，如認證服務、流程服務以及微服務架構(gòu)中的服務網(wǎng)關、服務注冊中心和服務監(jiān)控等。

應用層主要提供數(shù)據(jù)中臺的數(shù)據(jù)匯聚、數(shù)據(jù)萃取、數(shù)據(jù)體系、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務體系等功能，通過數(shù)據(jù)匯聚、數(shù)據(jù)萃取功能建立長江大保護的數(shù)據(jù)體系，形成數(shù)據(jù)資產(chǎn)，再結(jié)合數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務管理等功能，將數(shù)據(jù)資產(chǎn)轉(zhuǎn)換為數(shù)據(jù)服務能力，服務于長江大保護的各類業(yè)務應用。

3.2建設內(nèi)容

3.2.1數(shù)據(jù)匯聚

數(shù)據(jù)匯聚是通過數(shù)據(jù)匯聚手段，將長江大保護的基礎地理數(shù)據(jù)、公共專題數(shù)據(jù)、動態(tài)監(jiān)測數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等分散在異構(gòu)網(wǎng)絡中的異構(gòu)數(shù)據(jù)源匯聚到數(shù)據(jù)中臺集中存儲，為后續(xù)的模型加工與建立做準備。

3.2.2數(shù)據(jù)萃取

匯聚到中臺的數(shù)據(jù)仍處于未處理的原始堆砌狀態(tài)，在長江大保護的業(yè)務系統(tǒng)中很難被使用。數(shù)據(jù)萃取模塊旨在為數(shù)據(jù)處理、建模人員提供基礎、實時、算法等處理工具，實現(xiàn)如實體化處理、統(tǒng)一數(shù)據(jù)格式、統(tǒng)一時空基準、數(shù)據(jù)空間化、探測異常監(jiān)測數(shù)據(jù)等功能，將數(shù)據(jù)加工成對業(yè)務有價值的數(shù)據(jù)形態(tài)。

3.2.3數(shù)據(jù)體系建設

在數(shù)據(jù)匯聚和數(shù)據(jù)萃取后，可將數(shù)據(jù)資源按照處理程度，細分為貼源數(shù)據(jù)層、統(tǒng)一數(shù)倉層、標簽數(shù)據(jù)層、應用數(shù)據(jù)層，形成如圖5所示的數(shù)據(jù)體系。

3.2.4數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)資產(chǎn)管理主要是對數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)生命周期等進行管理，構(gòu)建如圖1所示的分類數(shù)據(jù)資產(chǎn)類目，形成完整的數(shù)據(jù)資產(chǎn)地圖。同時，數(shù)據(jù)中臺將記錄數(shù)據(jù)應用的所有操作，實現(xiàn)數(shù)據(jù)的全鏈路追蹤。

3.2.5數(shù)據(jù)服務體系建設

數(shù)據(jù)服務體系建設采用微服務架構(gòu)，實現(xiàn)服務創(chuàng)建、API網(wǎng)關、服務授權、調(diào)用管理等功能，將數(shù)據(jù)轉(zhuǎn)換成服務能力，讓數(shù)據(jù)價值體現(xiàn)在業(yè)務應用中，同時也可滿足數(shù)據(jù)資源的共享要求。數(shù)據(jù)服務包括自定義檢索條件實現(xiàn)全域物理表數(shù)據(jù)、標簽數(shù)據(jù)的查詢與統(tǒng)計，以及空間分析算法、趨勢分析算法等服務。

3.3關鍵技術

3.3.1基于地理實體的數(shù)據(jù)同步與融合

數(shù)據(jù)同步是不同系統(tǒng)間的數(shù)據(jù)流轉(zhuǎn)，主要是通過ETL工具建模匯聚分散在各部門間的業(yè)務系統(tǒng)數(shù)據(jù)。但同步過來的數(shù)據(jù)在不同系統(tǒng)間未建立關聯(lián)關系，難以統(tǒng)一管理。基于地理實體的數(shù)據(jù)融合方法可有效解決該問題，即在ETL建模過程中以地理實體為建模對象，以地理實體串聯(lián)各類數(shù)據(jù)資源，建立數(shù)據(jù)間的關聯(lián)關系。

3.3.2數(shù)據(jù)全生命周期管理

數(shù)據(jù)全生命周期囊括了數(shù)據(jù)從產(chǎn)生或獲取到銷毀的過程，包括采集、存儲、整合、呈現(xiàn)與使用、分析與應用、歸檔和銷毀等階段。為實現(xiàn)數(shù)據(jù)應用的全跟蹤，平臺采用spring aop技術實現(xiàn)埋點，記錄用戶對數(shù)據(jù)的所有操作。

3.3.3基于微服務架構(gòu)的數(shù)據(jù)服務發(fā)布與管理

數(shù)據(jù)服務體系建設中，為保障服務的可擴展性、高容錯性、高并發(fā)等能力，采用SpringCloud微服務架構(gòu)，將數(shù)據(jù)服務按業(yè)務需求拆分為眾多獨立的服務組件，通過Eureka框架實現(xiàn)數(shù)據(jù)服務的發(fā)布與管理，并以微服務方式進行獨立部署，實現(xiàn)數(shù)據(jù)服務與應用的徹底解耦。

3.4數(shù)據(jù)中臺應用

長江設計集團通過整合以往項目積累的數(shù)據(jù)資源，采用時空大數(shù)據(jù)整合手段和數(shù)據(jù)中臺技術，建設了長江大保護數(shù)據(jù)中心，如圖6所示。該平臺匯集了地質(zhì)地形、規(guī)劃、樞紐、施工、機電、移民、生態(tài)、環(huán)境、建筑等10余個專業(yè)的業(yè)務數(shù)據(jù)，以及水文氣象、農(nóng)業(yè)、林業(yè)、畜牧業(yè)等互聯(lián)網(wǎng)數(shù)據(jù)，形成了長江大保護的數(shù)據(jù)資產(chǎn)，實現(xiàn)了數(shù)據(jù)資源的全生命周期管理，可為政府部門、業(yè)主單位提供數(shù)據(jù)治理服務，為智慧長江、綠色長江提供數(shù)據(jù)支撐。

4結(jié) 語

為了解決長江大保護豐富的數(shù)據(jù)資源在管理與應用方面的問題，本文在對湖北省涉及長江大保護各個部門數(shù)據(jù)分析整理的基礎上，結(jié)合長江大保護的任務與時空數(shù)據(jù)特點，提出了長江大保護的數(shù)據(jù)資源規(guī)劃體系，將長江大保護數(shù)據(jù)資源分為基礎時空數(shù)據(jù)、公共專題數(shù)據(jù)、動態(tài)監(jiān)測數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)四大類。基于地理實體，對湖北省長江大保護的數(shù)據(jù)資源進行梳理與整合，構(gòu)建了長江大保護的數(shù)據(jù)中臺，將數(shù)據(jù)應用到長江大保護的規(guī)劃與管控、資源保護、水污染防治、生態(tài)環(huán)境修復、綠色發(fā)展等業(yè)務應用中，可為其他城市或流域的長江大保護數(shù)據(jù)資源整合與應用提供參考。

參考文獻：

[1]陳進.長江流域綜合管理模式探討[J].人民長江，2013，44（10）：116-120.

[2]黃德生，陳煌，張莉，等.長江大保護環(huán)境與經(jīng)濟可持續(xù)發(fā)展問題及對策研究[J].環(huán)境科學研究，2020，33（5）：1284-1292.

[3]孫志禹.以習近平生態(tài)文明思想為根本指引努力在共抓長江大保護中書寫新篇章[J].環(huán)境與可持續(xù)發(fā)展，2020，45（6）：167-169.

[4]蔡慶華.長江大保護與流域生態(tài)學[J].人民長江，2020，51（1）：70-74.

[5]朱迅，黃世秀，沈天賀，等.時空大數(shù)據(jù)與云平臺的關鍵技術[J].安徽建筑，2020，27（11）：137-138，153.

[6]劉軍，居小秋，丁曄，等.南京市在長江大保護工作中推進生態(tài)環(huán)境大數(shù)據(jù)融合的思考[J].環(huán)境監(jiān)測管理與技術，2020，32（2）：1-4.

[7]王意.山東省地理信息時空大數(shù)據(jù)中心基礎設施設計與實現(xiàn)[J].山東國土資源，2021，37（5）：67-74.

[8]趙躍.智慧城市時空大數(shù)據(jù)云平臺建設探討[J].測繪與空間地理信息，2021，44（1）：93-95.

[9]蘇萌，賈喜順，杜曉夢，等.數(shù)據(jù)中臺技術相關進展及發(fā)展趨勢[J].數(shù)據(jù)與計算發(fā)展前沿，2019，1（1）：116-126.

[10]孫益，方夢陽，何建寧，等.基于物聯(lián)網(wǎng)和數(shù)據(jù)中臺技術的自然資源要素綜合觀測平臺構(gòu)建[J].資源科學，2020，42（10）：1965-1974.

[11]廖志丹，付琳，吳齊.貫徹習近平生態(tài)文明思想與法治思想的立法實踐：《長江保護法》解讀[J].人民長江，2021，52（4）：41-46.

[12]張亮，周志誠，厲芳婷，等.基于地理實體的數(shù)據(jù)庫建設探討[J].地理空間信息，2021，19（1）：122-124.

（編輯：鄭 毅）