□臺州市自然資源和規劃局 王劍勇 范聰玲 王 軍
□上海杰獅信息技術有限公司 陳舒燕
國土空間數據是構成數字空間數據底座的重要組成部分。國務院明確要求整合各類空間關聯數據,建立全國統一的國土空間基礎信息平臺。2018 年,浙江省國土空間基礎信息平臺被列為省政府首批數字化轉型“8+13”重大項目,為優化全省國土空間格局,科學規劃生產空間、生活空間、生態空間提供了安全、可靠、有效支撐。2021 年,為貫徹落實浙江省委、省政府關于“數字化改革與全面深化改革”的決策部署,浙江省自然資源廳持續推進省域空間治理數字化平臺建設,建設了由自然空間、人造空間和未來空間三大空間組成的“數字國土空間”,以數字化手段映射、重塑現實空間,為空間規劃、空間保護、空間利用、空間安全賦能。
臺州市自然資源和規劃局持續迭代臺州市國土空間基礎信息平臺(以下簡稱“平臺”),建成了全市統一的國土空間數據倉(以下簡稱“數據倉”)。平臺為全市空間治理體系和治理能力現代化提供有效支撐,滿足了自然資源部門日常工作所需。數據倉具備基礎的數據歸集能力。平臺和數據倉為自然資源應用體系建設提供靈活、便捷的數據支撐和服務支撐。
隨著平臺的深化應用,國土空間數據的內容和時效性已經無法完全滿足政府單位及相關部門的需求,并且國土空間數據歸集過程中也出現了各層級之間的數據壁壘問題。2021 年6 月,浙江省自然資源廳在深化國土空間數字化改革工作中,提出建設國土空間數據倉省級總倉、市級合倉和縣級分倉(以下簡稱“省級總倉、市級合倉、縣級分倉”),并要求實現三級數據倉縱向歸集能力,健全各類數據更新、歸集制度。
臺州市主動對接浙江省自然資源廳,持續迭代與省級平臺之間的貫通通道。在浙江省自然資源廳的支持下,通過集成跨層級工單轉發技術與多鏈路合并歸集技術,解決了跨層級空間數據多鏈路合并問題,打破了空間數據在歸集過程中的壁壘,實現省、市、縣三級數據的全貫通。通過集成消息隊列技術,提高了國土空間數據歸集的及時性、準確性和完整性,為省、市級平臺數據歸集提供了新思路。
跨層級工單轉發是一種通過實時網絡通信方式實現跨層級不同平臺間數據傳輸的工單復制和重定向操作的技術。跨層級工單轉發的內容不僅包括了工單基本信息,還包括目標接收單位、目標數據庫表結構、數據質檢模型等內容,涉及轉發要素多、關系復雜、準確性要求高,跨層級工單轉發技術創建了工單之間的鏈路關系圖譜,自動化派發數據庫表結構、數據質檢模型并為下游平臺自動化創建對應內容,方便平臺通過鏈路合并技術介入原工單數據歸集的生命周期,即在派生工單數據歸集完成后,鏈路溯源至原始工單這次,觸發數據的收攏合并操作,并在歸集條件滿足后自動進行工單鏈路合并提交。
消息隊列是一種進程間或同一進程的不同線程間的通信方式,軟件的貯列用來處理一系列的輸入,通常是來自用戶。消息隊列提供了異步的通信協議,每一個貯列中的紀錄包含詳細說明的數據,包含發生的時間,輸入設備的種類,以及特定的輸入參數,即消息的發送者和接收者不需要同時與消息隊列交互。消息會保存在隊列中,直到接收者取回它。
平臺通過使用消息隊列技術實現異步加載、系統解耦合流量削峰三大功能。
1.異步加載。在高并發環境下,下級提交的工單數據推送至消息隊列,后臺通過監聽消息隊列中的數據做出判斷,進行異步處理,減少對數據庫造成的壓力,從而有效改善系統延遲響應情況。
2.系統解耦。數據歸集模塊可調用省、市級平臺數據,但相互調用復雜且系統維護難。引入消息隊列技術后,省級平臺可直接使用消息隊列中的接口獲取縣級分倉數據,無需頻繁調用市級合倉數據,徹底將市、縣兩級的數據歸集模塊解耦。
3.流量削峰。在使用過程中,場景中系統的峰值流量往往集中于接收到歸集任務的一小段時間內。消息隊列技術可削弱峰值流量,防止系統在短時間內被峰值流量沖垮,縣級分倉歸集的數據可暫存在消息隊列中,省級總倉、市級合倉只需讀取消息隊列中的數據,即消息隊列做了一次緩沖。
縣(市、區)用戶在接收到市級平臺轉發的工單后,需將縣級分倉數據歸集至市級合倉,這一過程就會涉及多層數據上報的問題。縣(市、區)用戶完成數據歸集任務后,利用多鏈路合并歸集技術,數據在上報給市級合倉的同時,會自動合并到省級的歸集鏈路上,從而自動打通三級歸集的路徑,提高了數據的一致性,減少了市級合倉的壓力。
本文以臺州市國土空間基礎信息平臺為基礎,臺州市自然資源和規劃局信息中心管理員(以下簡稱“市級管理員”)、天臺縣自然資源和規劃局信息中心用戶(以下簡稱“縣(市、區)用戶”)之間的工單派發和數據歸集為實踐對象,介紹集成消息隊列技術的跨層級空間數據多鏈路合并歸集技術。關鍵技術路線與實踐思路如下圖所示。
市級平臺自動接收浙江省自然資源廳管理員(以下簡稱“省管理員”)下發至臺州市的數據歸集工單與質檢模型,市級管理員通過“浙政釘”接收到歸集任務通知后,登錄市級平臺,處理并開展工單派發工作,一方面利用平臺提供的元數據解析能力自動化創建庫表,用于存儲待歸集的縣(市、區)數據,另一方面將工單內容及歸集數據結構模板發送至縣(市、區)用戶,確保縣級待歸數據結構滿足省級統一要求。縣(市、區)用戶登錄平臺,即可在待辦查看工單任務。
縣(市、區)用戶在接收到工單任務后,利用市級平臺開展內部數據歸集入縣級分倉,提交數據后,市級平臺數據工廠自動校核消息隊列中的數據要求與縣(市、區)用戶提交的數據,判斷待歸集數據與應歸集數據是否一致,確認數據一致后則轉入數據工廠,由數據工廠入庫模型將數據自動入庫至市級歸集庫中。在此,縣(市、區)用戶提交數據完成工單后,需歸集的數據暫時存放到消息隊列中,有效減少進程的等待時間和市級歸集庫的壓力,從而實現平臺的快速響應。
縣(市、區)用戶提交工單后,工單任務狀態由未完成調整為待審核。市級管理員審核通過后,市級平臺將暫存在消息隊列中的縣級數據直接推送至省級平臺,無需通過市級歸集庫再次歸集,實現縣、市、省自下而上三級數據歸集的有效閉環。

▲省、市、縣三級用戶之間的工單派發和數據歸集機制
實踐表明,跨層級空間數據多鏈路合并歸集技術在國土空間數據歸集中具有很高的可行性,且在實踐過程中安全穩定。通過此項技術,完成了控制性詳細規劃、多規合一等11 類業務的數據歸集工作,涉及的數據達106458 項,豐富和完善了國土空間數據歸集體系。
通過集成消息隊列技術與多鏈路合并歸集技術,將控制性詳細規劃等業務數據實時歸集至市級合倉并推送到省級總倉,有效改善國土空間數據歸集高并發問題,提高了國土空間數據歸集的效率,為政府的數字化改革提供了底層數據支撐。
通過跨層級空間數據多鏈路合并歸集技術,將多規合一綜合應用數據按照省級統一標準進行歸集上報,解決了自然資源領域省、市、縣三級數據不一致、不完整、不準確的問題,實現了數據的動態歸集閉環管理,為自然資源核心業務提供了數據支撐。
跨層級空間數據多鏈路合并歸集技術,實現了數據應歸盡歸,豐富了面向各委辦局的空間數據服務,方便各部門便捷使用國土空間數據成果。目前已經為省級平臺、省級多規合一應用場景、臺州市耕地智保場景、臺州市一張圖實施監督系統、玉環市“玉海晏”海災智治應用、三門縣工業用地分析決策應用場景項目、臺州市應急管理局安全生產風險防控和應急救援平臺、臺州市生態環境局“全生態圈”環保大腦等系統場景提供了186 項數據服務支撐,大大提升了跨層級跨部門空間數據共享服務能力。
本文針對國土空間數據在歸集過程中存在的壁壘問題,基于臺州市國土空間基礎信息平臺完善了數據歸集機制,集成跨層級工單轉發技術與消息隊列技術,指導生產實踐過程中的數據歸集模式,實現了國土空間數據的跨層級多鏈路合并歸集,打通了國土空間數據縱向歸集通道,為跨層級數據歸集提供了新模式。
在未來的實踐與研究中,將動態跟蹤平臺在空間數據歸集應用過程中的需求和反饋,迭代深化臺州市國土空間基礎信息平臺,完善數據歸集機制,促進數據資源多層級貫通,提高平臺用戶的使用體驗。