時空大數據交換系統的設計與實現

侯淑芬 鐘勇 謝剛生

摘要：為方便時空大數據的交換與共享，滿足對于專題數據、感知數據等數據量不大、更新頻率較高的數據匯聚的實時性，通過對時空大數據分析和梳理，構建了時空大數據交換系統的總體框架，并完成了該交換系統的設計與實現。該系統實現了跨地區、跨單位應用系統之間的信息資源交換，完成了多源異構異的各類型信息資源交換與接入。

關鍵詞：時空大數據;GIS;數據共享;信息資源交換

中圖分類號：TP311.52 文獻標識碼：A 文章編號：1007-9416（2019）07-0159-03

0 引言

時空大數據，其特點是具有時間和空間兩方面的屬性，并有多種類型的一種數據。隨著當今計算機產業技術及網絡產業技術的迅猛發展，預示著信息化時代的到來[1]。地理信息占到人類活動中所有信息的大約80%，而時空大數據作為當今主流的數據類型，將是未來地信科學產業研究中一個非常重要的方向[2]。迄今為止，政府相關部門已經積累了一定基礎的數字化原始數據及相關數據資料，原始數據的匯聚，促進當今GIS行業以及GIS技術的發展，同時也產生了更多有價值的GIS數據。

而在眾多時空數據類型同時匯聚的今天，如何充分利用這些價值數據，真正實現大數據在時間和空間上的信息交換，就變的尤為重要[3]。但由于某些特殊的原因，導致所積累的原始數據之間很難進行共享和轉換，如采用不同的空間數據模型，或者在地理實體上存在認識差異，都會導致出現數據孤島的問題。綜上所述，數據的共享和交換的有效性將是21世紀GIS應用面臨的重大問題[4]。

1 系統概述

時空大數據交換系統主要是為了實現跨地區、跨單位不同空間的應用系統之間的信息、數據、資源交換，這種交換需要依托統一的網絡，一致的交換協議[5]。按照國家關于地理空間數據交換共享目錄的相關要求，時空大數據交換系統共分為9大主題：機構團體，城市規劃，災害應急，基礎設施，自然資源，基礎地理，特色區域，監測統計，生態環境。

時空大數據交換系統，具有很強的異構數據集成能力[6]，該系統完全可以實現相關政府部門對地信數據跨部門和跨行業的交換和信息共享的需求，實現時空大數據中心與全市各委辦局之間數據的在線共享交換，提高數據匯聚的實時性和便捷性。

2 系統總體設計

2.1 系統設計方案

本系統以Eclipe為開發工具，采用Java語言，結合空間數據庫技術，收集整理大量數據資料，開發時空大數據交換系統。

2.2 系統總體架構

系統總體框架如圖1所示。

（1）數據交換服務器端安裝交換管理系統，數據中心客戶端安裝前置交換系統，兩系統間通過傳輸交換總線實現地理信息的雙向流轉。（2）交換信息庫是一個中間存儲信息庫，它是為了實現信息間互相交換而建立的，交換信息庫中包含兩種信息，一是提供的交換信息，二是接收的交換信息[7]。（3）業務系統庫，與交換信息庫相互獨立、互不影響。它是由業務應用系統直接使用、直接維護的信息庫。（4）基礎信息庫需要以數據交換系統為依托，通過各個應用單位間的信息交換所形成，這個信息庫能夠被多個不同的應用單位所使用。主要包括基礎信息數據庫、各種應用主題的信息數據庫、決策支持信息數據庫等。

2.3 數據的交換流程

數據交換系統的設計是為了實現服務端和客戶端兩邊信息的雙向交換，其交換類型包括服務端數據分發（客戶端數據接收）、客戶端數據上傳（服務端數據接收）兩種類型。

3 系統主要功能設計

3.1 服務器端（交換管理）

交換管理系統部署于服務器端交換管理中心，其主要實現節點管理、任務管理、傳輸管理、安全管理、監控管理、統計分析、日志服務。主要包括以下功能：

3.1.1 節點管理

節點管理即前置機管理，實現各數據分中心（前置機）的管理，包括對節點名稱、地址、IP地址、端口、描述等方面的屬性管理。同時支持對節點的新增、修改、刪除、查詢、停止、啟動、測速等功能。

3.1.2 任務管理

任務管理是對服務器端與客戶端之間的數據交換任務進行的管理。管理員可以在任務管理中，對任務交換類型（接收、發送）、任務交換目錄（接收目錄、發送目錄）、任務交換節點（可多選）、任務傳輸類型（手動發送、定時發送、手動接收、定時接收、即時接收）等信息進行設置，為后續的任務傳輸管理提供任務模板。同時提供對任務的新增、刪除、修改、查詢等功能模塊。

3.1.3 傳輸管理

傳輸管理是指基于任務管理中配置的任務基本信息模板，對具體的任務傳輸進行的管理。任務傳輸包括數據接收、數據發送兩種傳輸模式。

（1）對于數據接收模式。系統將自動獲取從前置交換系統發送過來的任務列表，管理員可以對傳輸任務進行查看瀏覽、進行數據的接收等操作。（2）對于數據發送模式。管理員可以基于任務基本信息模板，新建發送任務，新建任務時，應指定發送的數據，元數據信息等。

3.1.4 安全管理

實現對數據交換傳輸數據的安全通道管理，用戶角色權限管理。

3.1.5 監控管理

實現對數據交換狀況的監控，通過監控管理，管理員可以對交換節點、交換時間、交換類型、交換數據、交換對象、交換結果進行實時監控。

3.1.6 統計分析

按照交換時間、交換類型、交換節點、接收節點等維度，以圖表方式直觀展現交換數據量（次數）的統計信息，輔助用戶直觀了解數據交換的整體情況。

3.1.7 日志服務

日志服務主要指用戶的操作日志，記錄誰什么時候于何處做了什么操作（即用戶名、時間、IP地址、操作詳情）。

3.2 客戶端（前置交換）

前置交換系統部署于客戶器端數據分中心，其主要實現系統配置、任務管理、傳輸管理。

3.2.1 系統配置

提供交換管理中心相關信息的配置，實現前置交換系統同交換管理系統的網絡通訊，為為后續的任務管理、傳輸管理提供信息支撐。

3.2.2 任務管理

系統啟動時，從交換管理系統中將與本節點相關的任務進行同步，任務管理的屬性包括任務交換類型、任務交換目錄、任務傳輸類型等信息。其中任務交換類型用戶不可修改，其值應與交換管理系統中的交換類型相反。任務交換目錄需要用戶進行修改，指定為本地的目錄。任務傳輸類型用戶可以進行實際情況進行修改。

對從交換管理系統中將所有任務同步，并進行編輯后，即可對節點任務進行保存，作為本節點的任務模板。

3.2.3 傳輸管理

傳輸管理對本節點中具體的任務傳輸進行管理，任務傳輸包括數據接收、數據發送兩種傳輸模式。

（1）對于數據接收模式。系統將自動獲取從交換管理中心發送過來的任務列表，用戶可以對傳輸任務進行查看瀏覽、進行數據的接收等操作。（2）對于數據發送模式。用戶可以基于本節點的任務基本信息模板，新建發送任務，新建任務時，應指定發送的數據，元數據信息等。

3.3 數據交換方式

無論是數據接收還是數據發送模式，傳輸管理支持斷點續傳，確保數據傳輸過程中文件的完整性。

部門的業務不同，其對安全性的要求也是不同的，針對不同業務不同安全性的需求，系統采用不同橋接模式。

參與信息交換的各個部門，信息的采集方式有多種進行數據的橋接，主要包括以下幾種：

3.3.1 業務數據庫+交換共享數據庫模式

這種模式是將部門業務數據庫與部門交換共享數據庫，通過橋接系統直聯，利用適配器配置完成信息交換橋接。為了對部門業務數據庫及內部業務系統進行保護，兩者之間可以安裝防火墻。

3.3.2 虛擬業務數據庫+交換共享數據庫模式

對于業務應用系統與業務數據庫建設在省、市級部門的部門，縣級部門沒有業務數據庫，設立相對應的虛擬業務數據庫[8]，僅存放從省、市級部門沉淀下來的縣級業務部門參與信息交換所需的信息。

另外，有些部門出于對安全的考慮，也要設置虛擬業務數據庫，虛擬業務數據庫中的數據需要部門從內部業務系統中提取自己所需要共享交換的信息存儲進去[9]。

通過信息交換橋接系統，虛擬業務數據庫與部門前置交換共享數據庫間可以實現信息在線實時交換共享。

3.3.3 文件+交換共享數據庫模式

本模式適用于一些內部的業務數據庫不能連接，或者業務數據庫并不在本身的業務系統中的情況，這種情況下就可以通過業務系統中自帶的數據導出工具，導出具有一定格式的數據，然后將導出的數據文件拷到前置機的指定目錄下，通過這種導入方式，實現業務數據庫和交換共享數據庫兩庫之間的數據交換共享[10]。

3.3.4 集中交換模式

這種數據交換模式，主要是通過中心交換前置機來實現的，該交換機部署在機房內[11]。

有些單位本身并沒有自己的業務系統，并且數據量極小，受到這些條件的限制，就需要通過數據管理系統本身提供的數據導入/導出工具，將數據導出成一定格式的文件，如Excel、TXT格式的文件等，同樣將導出的文件通過FTP的方式，上傳到中心交換前置機，存儲到指定目錄中，再將數據通過適配器解析文件，解析到業務數據庫中，由此實現數據采集及交換。

業務托管數據庫與中心交換庫兩庫之間的信息交換可以通過兩種方式實現，可以通過信息交換總線，也可以通過適配器直接交換。

4 結語

本文設計的時空大數據交換平臺，以計算機硬件、網絡通信平臺為依托，將GIS平臺作為平臺樞紐，平臺可以解決多源異構數據的統一、數據層次化管理以及數據間的交換與共享等多重問題。平臺投入實際應用后，可與政務平臺結合，搭建成政務空間信息共享服務平臺。平臺支持進行擴展，擴展后可實現多個地理信息系統之間的協調工作，系統增強了現今GIS應用系統的超強適應性，可隨需求的不同不斷的進行變化，為進一步的開發地理信息應用系統提供了堅實的基礎支撐。

參考文獻

[1] 陳元娟，嚴建峰，劉曉升，等.基于時空數據分類的用戶社交聯系學習[J].計算機應用研究，2017，34（05）：1415-1418.

[2] 姚小軍.淺談智慧城市時空大數據建設[J].智能建筑與智慧城市，2018（11）：73-75.

[3] 張樹杰.大數據信息共享交換平臺在河北高速公路中的應用[J].中國交通信息化，2018（12）：80-82.

[4] 于海龍.基于云計算的空間地理信息共享交換平臺設計與實現[J].地理信息世界，2015，22（4）：104-110.

[5] 毛衛華，汪艷霞，何歡.浙江省地理空間數據交換和共享平臺標準體系構建[J].地理空間信息，2011，9（04）：1-3+139+189.

[6] 張樹杰.大數據信息共享交換平臺在河北高速公路中的應用[J].中國交通信息化，2018（12）：80-82.

[7] 魏誠.電子政務數據共享交換系統的設計與實現[D].東南大學，2015.

[8] 樊文有，謝瓊，王永東.GIS空間數據共享交換平臺的設計[J].測繪通報，2010（06）：47-50.

[9] 李浩川，徐楓，余鵬，等.電子政務空間信息共享交換技術標準研究[J].地理信息世界，2006，12（6）：32-38.

[10] 賈春梅.基于GIS公共交通時空數據交換應用研究[J].黑龍江科技信息，2012（03）：35.

[11] 姜艷媛.空間數據交換中間件的研究與實現[D].解放軍信息工程大學，2006.