多源異構數據時空融合關鍵技術研究與應用

李仕峰

（1.重慶市地理信息和遙感應用中心，重慶 401121）

信息技術與經濟社會的交匯融合引發了數據迅猛增長，數據已成為國家基礎性戰略資源，大數據正日益對全球生產、流通、分配、消費活動以及經濟運行機制、社會生活方式和國家治理能力產生重要的影響。隨著社交網絡、在線購物、外賣配送、工業互聯網、網絡游戲等數字空間形態快速迭代[1-2]，以及政務信息化建設和數據開發工作的不斷推進[3]，為各行各業積累了海量的多源異構數據。在形式上包括數據庫、文本、圖像、語音和視頻[4-5]等，在內容上覆蓋經濟社會發展的方方面面。如何將這些數據進行有效整合，發揮數據的倍增效益是業界關注的重點。國家及各級地方政府也對相關技術提出了明確的技術需求，特別是對異構數據融合、大數據提取整合、大數據開放服務等。

基于上述背景，本文針對時空大數據多來源、多粒度、多模態、海量和時空關聯復雜等特點，通過對多源異構數據匯聚技術、時空數據融合技術的研究，構建一整套多源異構數據從匯聚-融合-應用流程，以推動多源異構數據在政府決策、行業管理和社會公眾等領域的應用，提升政府數據分析和治理能力、提高行業管理的經濟和社會效益、增加多源異構數據的社會應用價值。

1 研究技術路線

本研究設計了一套涵蓋“源數據獲取-數據質量評估-數據清洗-數據轉換”全過程的多源異構數據時空融合的技術路線，如圖1所示。

圖1 技術路線圖

1）源數據獲取是開展多源異構數據應用的基礎，需要在了解源數據基本情況的基礎上，建立支撐多源異構數據匯聚與采集的技術和工具，保障數據 來源。

2）數據質量評估是在獲取數據資源的基礎上，參照相關行業標準和實際應用需求，建立數據質量評估的依據，基于此對數據質量進行評估，形成評估結果，指導后續的數據融合與清洗。

3）數據清洗是在質量評估的基礎上，針對不同數據的應用需求，建立數據清洗規則和模型，對數據進行清洗，以得到正確的數據。

4）數據轉換是針對非空間數據進行空間化處理，形成時空數據。

基于上述技術路線，將源數據獲取轉化為多源異構數據匯聚技術的研究，數據質量評估、數據清洗和數據轉換轉化為時空數據融合技術的研究。

2 多源異構數據匯聚技術研究

建立一種多源異構數據共享交換引擎，提供文件、數據庫、服務接口等多源異構數據的共享匯聚能力[3-4]，實現數據在線匯聚、自動解析入庫、數據標準化處理、在線編輯審核、資源化發布等。數據需求方直接從數據提供方實時獲取所需的數據，不再從傳統的數據集中獲取，以API數據接口為載體，實現數據按需響應、按需服務、按需獲取，如圖2所示。

圖2 數據交換引擎

共享交換引擎支持數據庫、數據服務、數據文件等多種共享方式，建立起支持多源異構數據共享交換的高速通道，具備無障礙的數據接入能力，適配各類政務數據資源類型。支持Oracle、MySQL、SQLServer、PostgreSQL等主流數據庫；支持Webservice、Http、Rest等多種類型服務接口；支持OGC、ArcGIS等多種類型空間數據服務；需支持各類表格、文檔、圖片等文件格式。

1）數據庫交換通道。基于數據提供方開放的數據庫地址、端口、用戶、密碼等連接信息，利用JDBC技術，建立數據共享交換通道，數據需求方直接從數據通道內連接獲取所需的數據，不再從傳統的數據集中獲取存儲，實現數據按需響應、按需服務，支撐業務協同，支持Oracle、MySQL、SQLServer、PostgreSQL等主流數據庫。

2）數據接口交換通道。利用WebService接口技術，基于數據提供方開放的數據接口地址、調用參數、返回接口等服務調用信息。通過XML、Json數據獲取與解析，建立數據共享交換通道，數據需求方直接從數據通道內接口調用所需的數據，不再從傳統的數據集中獲取存儲，實現數據按需響應、按需服務，支撐業務協同。支持WebService、Http等多種類型服務接口，同時支持OGC、ArcGIS Services等多種類型空間數據服務，支撐地理信息數據共享 交換。

3）數據文件交換通道。對應采用文件離線共享方式的數據，通過文件上傳、文件FTP、文件HTTP等方式，基于數據提供方準備上傳文件、FTP服務地址、HTTP文件URL等信息，建立數據共享交換通道，數據需求方直接從數據通道內獲取所需的數據，不再從傳統的數據集中獲取存儲，實現數據按需響應、按需服務，支撐業務協同。需支持各類表格、文檔、圖片等文件格式；支持文件上傳、FTP文件共享、HTTP文件服務等多種方式。

3 時空數據融合技術研究

數據可能于某一時間、空間、人物、事件或者對象是相互關聯的，現有的數據組織和處理并未充分體現這些關聯性，而這些關聯性往往對解決城市的管理與服務問題具有重要價值[6-7]。為此，本文提出了一套時空數據融合技術架構，由數據集成引擎、數據集成組件庫、數據集成建模工具、數據集成模型治理、元數據倉庫等組成，如圖3所示。

圖3 數據融合系統架構

1）數據集成引擎：是數據融合的核心，負責解析數據集成模型定義、處理請求、處理引擎自身的模型調度等。數據集成引擎基于數據流的數據結構處理，可以滿足大規模數據的并發處理。

2）數據集成組件庫：包括一組與數據集成相關的服務構建，通過豐富的組件，開發人員可以在集成開發環境下基于可視化的組件圖元快速開發出高效的數據處理模型。具體包含數據抽取組件集、數據裝載組件集、數據轉換組件集、數據質量檢查組件等。

3）數據集成建模工具：基于SWT技術開發的可視化流程設計器，提供可視化數據模型定義與調試、可視化的模型性能監控、元數據管理以及數據處理模型部署等功能。

4）數據集成模型治理：是系統管理監控與任務調度工具，可以通過它對數據處理模型以及數據處理引擎進行配置和管理，對開發過程實現規范化、調度管理統一化、監控可視化等。同時也可以與第三方處理引擎實現互補，增強其統一調度、全局監控等 功能。

5）元數據倉庫：用于保存通過數據集成建模工具構建的數據處理模型，支持Oracle、DB2、Syabase、MySQL、MS SQL Server等多種關系數據庫，同時可以基于文件形式進行模型存儲。

3.1 基于增量的數據抽取技術

1）基于觸發器的增量數據抽取。需要在業務數據庫中針對增、刪、改三種操作建立觸發器，并由觸發器將變化的數據寫入臨時表中，最后從臨時表中讀取數據，實現增量數據抽取。

2）基于日志文件的增量數據抽取。使用數據庫本身的日志系統，讀取并解析數據庫的日志文件，然后在目標數據庫中進行相應操作。

3）基于時間戳的增量數據抽取。在源數據庫與目標數據庫都必須有時間戳字段的前提下，先讀取目標數據庫中的最大時間，然后以這個時間作為參數從源數據庫中讀取大于這個時間的所有數據。

3.2 基于業務模型的作業調度技術

基于業務模型的作業調度技術邏輯架構圖如圖4所示。

圖4 作業調度邏輯架構

1）監控和管理控制臺。管理控制臺是用戶設計調度作業、進行調度監控和資源監控的控制界面，有兩種用戶角色：管理員和操作員，管理員具備平臺所有的操作權限，操作員只能監視系統運行狀態，以及作業異常時允許有限的管理功能。

2）調度引擎。調度引擎接收作業觸發監控接口的作業輸入，然后檢查作業的依賴關系，通過資源管理器的資源分配將作業分發到調度代理執行作業。

3）作業觸發監控接口。是調度引擎的輸入組件，它以控制文件的方式對外提供服務，接收器定時掃描接收目錄中的控制文件，并且掃描間隔可以定制。

4）作業流執行策略。作業流定義了一組具有相互依賴關系的作業。作業流執行策略定義了作業失敗后的執行策略，包括作業失敗后的重試策略（失敗后從斷點執行還是從頭執行，失敗重試間隔，失敗重試次數）和是否檢查上次狀態（如果檢查，失敗后不能自動運行，需要干預后重置狀態）。

3.3 數據質量評估技術

針對數據質量的重復性、關聯性、正確性、完整性、一致性、規范性6個維度，從數據本身的特性及業務角度，對數據進行標準符合性檢查，并輸出質量評估報告，如圖5所示。

圖5 數據質量評估體系

3.4 數據轉換技術

采用地址匹配、數據關聯、實體融合、位置轉換 4種方式，開發數據處理、清洗、轉換等多類組件，構建起了多模式組件化時空數據自動轉換技術，如圖6所示。

圖6 數據轉換技術流程

4 成果應用

本研究依托于重慶市時空大數據服務平臺，開展了面向全市智慧城市建設的諸多應用，累計為全市60多個市級部門提供時空大數據服務，取得了良好的經濟和社會效益，有力推動了重慶市新型智慧城市建設。

1）服務于第七次人口普查工作。在全國第七次人口普查工作中，利用時空大數據服務，為在短短一個月時間內完成全市人口普查小區劃分與標繪工作，并支撐了10萬普查人員基于地圖開展普查工作。

2）服務于全市“放管服”改革。在全國上下開展“放管服”改革工作中，重慶市結合實際需要，為企業提供自貿區范圍識別，支撐企業開辦和運行中精準掌握優惠政策，提升全市營商環境。

3）服務于新冠疫情防控。在新冠疫情防控工作中，平臺利用強大的時空數據融合和轉換能力，快速將多源異構的病例文本信息進行空間化處理和表達，為全市主管部門和市民疫情防控工作提供科學的數據支撐。

5 結 論

本文針對智慧城市中多源異構數據融合與應用的關鍵難題，從實際需求出發，建立了一套涵蓋“源數據獲取-數據質量評估-數據清洗-數據轉換”的技術流程。基于此，進一步研究了多源異構數據匯聚、多源異構數據時空融合等技術，形成了系列關鍵技術和工具成果，并結合重慶市新型智慧城市建設的實踐，在智慧行業應用中得到應用實踐，取得良好的經濟效益和社會 效益。