多源異構數據集成的實景三維數據模型

周俊暉 趙聰浩 馮振儉 蘇 瑋

(1. 廣州南方智能技術有限公司, 廣東 廣州 510663;2. 南寧市自然資源信息集團有限公司, 廣西 南寧 530028;3. 廣州市城市建設檔案館, 廣東 廣州 510030)

0 引言

2019年自然資源部印發的《自然資源部信息化建設總體方案》中,明確提出建設三維立體自然資源“一張圖”,并且要加強三維空間自然資源信息的管理與應用[1]。《實景三維中國建設技術大綱(2021版)》提出要根據新時期測繪工作“兩服務、兩支撐”根本定位,構建“分布存儲、邏輯集中、時序更新、共享應用”的實景三維中國,為數字中國建設提供統一的空間基底。該大綱中定義了實景三維的內容,包括空間數據體、物聯感知數據和支撐環境3部分,其中空間數據體包括了地理場景和地理實體[2]。

地理場景是一定區域范圍內連續成片、反映現實世界地理空間位置和形態的地理信息數據。地理場景往往采用場模型進行處理。地理實體是在現實世界中占據一定且連續空間位置、單獨具有同一屬性或完整功能的地理對象,包括基礎地理實體、部件三維模型以及其他實體。地理實體以面向對象的方式將現實世界中的各地理事物抽象成實體對象,并將其專題、空間、時態等相關信息組織起來[2]。

隨著新型基礎測繪技術手段不斷創新發展,各類遙感影像、野外測量、激光點云、傾斜攝影、三維建模等數據采集手段形成了大量的三維空間數據。與此同時,各主管部門、測繪生產單位仍保留大量存量或繼續生產增量二維空間數據,二維和三維空間數據在服務于國土空間規劃、用途管制、生態修復、空間決策、智慧城市建設等應用中各有所長,互補不足,共同為上述業務場景的多種專題應用發揮重要作用。此外,除傳統“三域”數據以外,地理信息數據獲取的渠道更為廣泛,非結構化的文檔、音頻、視頻、互聯網、物聯網等數據對地理數據進行了有益的補充。這些多源異構數據獲取方式不同、抽象程度不同、表達形式不同,從不同側面表達同一個現實地物。傳統地理信息系統(geographic information system,GIS)數據模型主要以分類型、分尺度、分層、分塊、分要素的方法進行空間數據的組織與管理,在此基礎上進行地圖要素的縱向分層和橫向分塊管理,存在對地下、海中、空中、室內等三維世界支撐不足等問題[3,6]。

地理場景與地理實體緊密聯系,地理實體某種程度上組成了地理場景,很多情況下,數據采集是按現實世界連續成片采集后再進行語義化分割和建模,因此地理實體也來源于地理場景。而當前數據模型一般是按照傳統GIS的思路來進行設計,以地圖要素作為其空間數據的基礎,難以適應當前地理信息數據的多來源、多模態、多維度的時空數據與其之間關系管理的要求,也不能滿足日益多樣、生動的地理空間數據可視化應用需要,更無法滿足地理時空大數據分析、挖掘、預測的需要。因此亟須考慮地理場景、地理實體的相互關系,考慮地理空間數據的多源、多模態特性,在數據組織和管理上將多源異構數據表達或刻畫的地理事物在邏輯上統一,形成邏輯組織與人類認知的統一,為實景三維中國提出的從“抽象”到“真實”、從“平面”到“立體”、從“靜態”到“時序”、從“按要素、分尺度”到“按實體、分精度”、從“人理解”到“人機兼容理解”、從“陸地表層”到“全空間”六點提升[2]提供切實可行的數據組織和管理方案。

1 多源數據集成的實景三維數據模型

在實景三維數據模型中,研究者針對地理實體的GIS數據模型研究較多,如華一新、周成虎等提出了面向全空間信息系統的多粒度時空對象數據模型,確定了由時空參照、空間位置、空間形態、組成結構、關聯關系、認知能力、行為能力和屬性特征8項內容構成的多粒度時空對象數據模型描述框架[3]。閭國年等研究了地理實體分類和編碼體系的構建,提出了以地理學視角,描述地理實體的語義、位置、幾何、過程、關系和屬性,提出一個全空間、全信息表述的GIS數據模型[4]。成波等根據全空間信息系統中地理實體基本特征以及存儲管理的需求,提出一種面向地理實體及其關聯關系動態變化表達的時空數據模型。更側重于表達地理實體的變化過程[5]。地理實體以面向對象的方法,對現實世界事物進行語義、空間、時態、關系等多方面抽象,其數據模型得到了充分發展。但仍存在一些需要繼續研究的問題,首先實景三維中大量存在的地理場景是非結構化數據,需要數據模型支持對非結構化數據存儲和管理。其次,地理場景的場模型數據需要在數據治理過程中轉化為地理實體的要素對象模型數據,兩者之間存在普遍聯系,也需要在數據模型中考慮其關聯。第三是當前各種物聯網、互聯網的結構化或非結構化數據交錯,其作為實景三維的語義、屬性信息,需要在數據模型中支持兩者的有機銜接。

本文提出的實景三維數據模型(圖1)需要妥善存儲和管理實景三維中的空間數據體即包括地理場景數據和地理實體數據。由于在邏輯層面經過統一設計,則更容易建立地理場景和地理實體的聯系,更便于銜接非結構化信息。

空間數據體應包括基本元數據、屬性域、時態域、空間域以及與空間數據體相關的非結構化數據。

(1)基本元數據,包含空間數據體的身份標識、名稱、類別等關鍵信息。其中,身份標識作為空間數據體區別于其他空間數據體的內部的唯一標識編碼,并為實體信息共享、數據交換、查詢檢索等提供唯一標識。

(2)屬性域,存儲空間數據體所攜帶的基本屬性,如地理實體涉及的領域、行業、主題的相關屬性信息、地理場景所描述的場景相關屬性信息等。不同類型的空間數據體具有不同的屬性域。

(3)時態域,存儲空間數據體的時態信息。地理事物的動態變化可以是離散或連續的變化,但受到采集頻率、應用需要等因素影響,又是以離散變化為主[5]。以空間數據體為單位增加時態域信息,分辨率依據不同空間數據體類型,劃分從百萬年、年、月、日到小時、分、秒、毫秒等,基本能滿足現實世界的時間維度刻畫需求[16]。

時態域的標記或更新以空間變化或屬性變化作為空間數據體變化的標準,當變化條件達成時,記錄前一個狀態的空間數據體結束時間,并新建一個變化后的空間數據體,只記錄其開始時間,變化前空間數據體的結束時間等于變化后空間數據體的開始時間。因此在時態域中,記錄空間數據體的開始時間、結束時間,用以標定空間數據體的生命周期。

(4)空間域,存儲空間數據體對應的空間信息。根據《地理實體空間數據規范》(GB/T 37118—2018),地理實體的空間信息由圖元承載,一個空間數據體可能對應多個圖元也可能僅對應一個圖元,圖元可在不同地理實體間共用[9]。本文擴展地理場景的空間信息也由圖元承載,因此空間數據體的空間域信息是由圖元承載。由于空間數據體可以對應多個圖元,因此空間域可以關聯不同維度、不同角度、不同尺度、不同抽象程度的空間信息。

(5)附件,存儲與空間數據體相關的非結構化數據,如各種文檔、多媒體數據。這些非結構化數據不采用互操作手段進行解析,因此不進行內容的管理。

圖1 空間數據體、圖元數據概念模型

1.1 地理場景

地理場景具場模型和要素模型的特征。一方面地理場景作為整體進行采集時,其空間數據是連續的場數據模型,另一方面地理場景有地理實體或對象具有的基本元數據、屬性域、時態域、空間域和附件信息,可以被認為是一種特殊的實體對象。地理實體的圖元通過整合,可以作為地理場景的空間域信息,增加了地理場景空間信息的多樣性。而地理場景的連續場模型數據通過單體化或語義分割后形成的空間信息也是地理實體空間數據的一種來源。

1.2 地理實體

2011年，原國家測繪地理信息局發布的《地理信息公共服務平臺地理實體與地名地址數據規范》(CH/Z 9010—2011)首次提出了地理實體定義、地理實體數據概念模型、數據組織等基本概念。在2018年發布的《地理實體空間數據規范》(GB/T 37118—2018),進一步細化明確了地理實體的相關內容,如規定圖元可以共享,基礎地理實體劃分為政區實體、境界實體、道路實體、鐵路實體、河流實體、湖泊實體、房屋實體、院落實體等。上海市測繪地理信息學會發布的《基于地理實體的全息要素采集與建庫》系列團體標準,不僅基于地理實體的全息要素采集、融合、處理進行了規范,還進一步將地理實體劃分為基礎類、專業類、綜合類3大門類,17個亞門類,考慮了自然資源、城市管理、應急管理、生態環境等領域的實體擴展[8-10]。

1.3 圖元

圖元存儲空間數據體所對應的空間信息。在二維GIS范疇下,一般是指空間內單一、連通和同質元素的幾何對象,包括點、線、面。隨著空間數據體的空間信息向三維擴展,圖元不局限于二維幾何類型,還包括了模型三維、傾斜三維、點云三維等多種形式[16]。三維形式的圖元應根據應用需求考慮是否需要進行內容管理,當不需要進行內容管理時,圖元不需要對各種三維數據的內在結構和數據進行解析并管理,而是將三維數據按數據文件的形式進行整體管理;若需要進行內容管理,如需要管理到城市部件級的三維數據,則需要對三維數據文件進行解析,并構建對應的數據模型進行內容管理(圖2)。

圖2 圖元概念模型

圖元攜帶從空間信息抽取的基礎元數據,如坐標系統、高程基準、圖元類型。圖元的開始時間是記錄其入庫或生產的起始時間,結束時間是記錄其失效、邏輯刪除的終止時間。

圖元類型包括二維矢量類型：點、線、面,柵格數據類型：數字高程模型(digital elevation model,DEM)、數字地表模型(digital surface model,DSM)、數字正射影像(digital orthophoto map,DOM)、真正射影像( true digital orthophoto map,TDOM),三維數據類型：傾斜三維、模型三維、點云三維。細分類型后的圖元繼承基礎圖元的基本屬性。

(1)二維矢量類型圖元。包含圖元對應的二維幾何空間數據記錄索引,由于二維矢量點、線、面往往以空間要素的形式存儲在空間-關系型數據庫中,因此圖元的空間數據記錄索引關聯的是空間數據庫提供的要素記錄訪問索引。

(2)柵格類型圖元。包含圖元表達柵格數據的地面分辨率等從數據文件中解析并抽取的元數據信息以及其所對應的數據文件層次結構和索引列表。

(3)傾斜三維類型圖元。傾斜三維圖元表達地理場景時,圖元包含傾斜三維數據的分辨率等從數據文件中解析抽取的元數據信息,傾斜三維所對應的數據文件層次關系和索引列表。

傾斜三維圖元表達地理實體時,若采用的物理單體化的方法,則圖元包含單體化后的傾斜三維數據的分辨率等從數據文件中解析抽取的元數據信息、單體化后的數據文件層次關系和索引列表。

傾斜三維圖元表達地理實體采用的是動態單體化方法時,則圖元還需包含圖元間關聯關系,即傾斜三維圖元與二維矢量類型圖元(基于二維矢量面的單體化)或模型三維類型圖元的關聯關系(基于三維包圍盒的單體化)。

(4)點云三維類型圖元。點云三維圖元可以表達地理場景、單個大尺度地物或通過分類、分割的處理后表達的地理實體,圖元包含從點云三維數據文件中解析抽取的元數據信息、點云三維數據所對應的數據文件索引列表。

(5)模型三維類型圖元。當模型三維圖元表達地理實體且不管理實體細分內容時,圖元包含從模型三維數據文件中解析抽取的元數據信息、模型三維對應的數據文件層次關系和索引列表。

當模型三維圖元表達地理實體且需要管理模型三維數據結構和內容時,模型三維數據要進行結構化解構,由圖元承載結構中的各空間信息(管理在空間數據庫的三維矢量索引或模型部件材質文件索引),圖元記錄子圖元身份標識號(identity document,ID),由圖元和子圖元的相互嵌套承載模型三維數據的層次結構。

1.4 數據文件層次結構和索引列表

由于地理空間數據文件格式往往有專門的數據組織結構要求,因此需要采用樹形文檔結構來存儲數據文件的層次結構和相對應數據文件索引。如glTF包含了圖像文件、glTF文件、bin文件3部分,3D Tiles數據集則是由一系列Tile組成的樹狀結構[17]。這些樹狀層次結構信息如果丟失,則無法正常使用進行可視化渲染。因此需要在數據庫中管理數據文件層次結構,在圖元的索引中記錄文件夾結構路徑。

2 空間數據體關系

地理場景、地理實體以及兩者之間的關系是對地理世界中地理事物之間關系的抽象。空間數據體間的關聯關系會隨著時間的變化而變化。時間語義常常蘊含在空間語義和專題語義之中,即時態語義是隱含在空間上和專題性的關系[5]。比如,將已失效的土地利用總體規劃土地用途區地理單元與當前通過審批的用地報批地理單元進行分析,可以得出兩個空間數據體存在空間關系。但在現實世界的語境中,因為剝離了時間語義,這個關系是有誤的。在加入時間語義后,兩者的空間相交的關系不復存在。

因此,空間數據體的關系主要是在時間語義條件下的空間關系和屬性關系。

(1)空間關系。空間關系描述的是空間數據體在相交的時間區間內空間存在的關系,包括了順序關系、度量關系和拓撲關系。比如河流實體與其相鄰的水文站之間的空間關系,局部流域地理場景與場景內各地理實體之間的空間關系。

(2)屬性關系。屬性關系描述的是空間數據體在相交的時間區間內存在的屬性關系。比如院落實體與其所屬房屋、構筑物、設施實體、建筑部件之間的分解-組成關系。

在本文提出的數據模型中,依據應用需要,制定關系抽取規則(如時空相交),確定關系謂詞,通過空間數據體唯一標識編碼和關系謂詞存儲空間數據體間的各類關系。

3 數據庫建設

3.1 邏輯模型

空間數據體、屬性域、圖元等主體內容在關系型數據庫中組織,附件涉及的非結構化文件、柵格、三維模型涉及的數據在NoSQL數據庫中組織,圖3是數據模型在關系型數據庫中的邏輯表示意。

圖3 數據模型邏輯表設計注：PK為主鍵primary key;FK為外鍵foreign key;UUID為通用唯一識別碼universally unique identifier;varchar為字符類型;date為日期類型;geometry為空間幾何數據類型。

3.2 物理存儲

考慮到空間數據體、圖元數據的多模態、多源特點,結合數據模型設計,采用開源的非關系型數據庫(not only SQL,NoSQL)文檔型數據庫、圖數據庫、關系型數據庫、分布式文件系統存儲的混合存儲模式。

MongoDB是介于關系數據庫和非關系數據庫之間的開源數據庫產品,是一個基于分布式文件存儲的開源數據庫系統。在高負載的情況下,添加更多的節點,可以保證服務器性能。MongoDB 將數據存儲為一個文檔,數據結構由鍵值對組成。MongoDB 文檔類采用基于JavaScript對象簡譜(JavaScript object notation,JSON)的二進制JSON計算機數據格式(binary serialized document format，BSON)方式來描述非結構化數據。字段值可以包含其他文檔、數組及文檔數組[18]。對空間數據體,由于其存在不同的數據結構,因此可以將其作為一類對象存儲在MongoDB數據庫中(圖4)。圖元則作為另一類對象進行存儲。圖元與空間數據體通過圖元唯一標識編碼連接。

圖4 空間數據體模型與多數據庫混合存儲模式

圖元所承載的空間信息形式各異,圖元索引關聯的各類空間數據信息采用不同的數據庫來分別處理：

(1)二維矢量數據。通過空間-關系型數據庫PostgreSQL存儲矢量圖形,PostGIS空間數據庫引擎是在關系型數據庫PostgreSQL 上的空間數據存儲和各種數據操作的一個插件。PostGIS 通過 SQL 語句進行數據操作,空間對象以表的形式儲存,每個空間幾何實體對應數據表中的一條記錄,其中記錄了坐標信息和屬性信息,并支持多種開源投影庫。PostGIS 遵循 OpenGIS 規范,并能提供空間對象、空間索引、空間操作函數和空間操作符等空間信息服務功能,能夠較好地支持二維矢量數據的存儲和操作;

(2)三維數據、柵格數據。通過分布式文件系統存儲柵格數據、三維數據文件,在具體項目實踐中我們采用SeaweedFS作為分布式文件系統的選型。SeaweedFS是一款使用go語言編寫的開源分布式文件系統,具有架構簡單、高度擴展性、可伸縮特性,分為master和volume兩類節點,通過Raft算法來保持節點間的一致性,同時支持中小文件和大文件大的高速存取[18]。柵格數據、三維數據文件存儲在分布式文件系統中,在上傳和存儲時按數據文件要求的層次結構存儲,圖元索引記錄其在分布式文件系統中的絕對路徑,系統通過解析絕對路徑的對應前綴找到文件夾和文件夾下的文件組織結構。當模型三維數據需要結構化解析和內容管理時,PostgreSQL數據庫存儲三維模型結構化后對應的三維矢量數據、屬性數據以及三維模型的層次結構。

(3)附件數據。采用分布式文件系統,實現海量的非結構化數據的存儲、管理。

圖5 空間數據體及關系的存儲方式

Neo4j數據庫集成了Traversal數據遍歷接口及Lucence數據索引功能,不僅能以相同速度遍歷所有節點和邊,而且遍歷速度幾乎不受構成圖形的數據量影響,通過各種圖論算法,能夠提供多種查詢檢索、挖掘的能力。通過Neo4j圖數據庫進行空間數據體和關系的存儲和組織,由圖數據庫的節點存儲空間數據體唯一標識編碼和抽取的必要信息(概要實體),節點關系邊記錄關系謂詞。

4 應用

該數據模型已經在國土空間基礎信息平臺、城市地質大數據云平臺等相關項目建設中進行了實踐應用。以河南省某市為例,通過多類型分布式數據庫的建設,利用空間數據體模型來組織數據,初步接入數據量達到600T,不僅包括了傳統的文件型數據,還有效地管理了物聯網數據,實現了對多源異構數據的匯聚、管理、更新、應用。其主要優勢及特點如下：

(1)實現了海量、多源異構數據的匯聚。充分發揮多類型分布式數據庫的優勢,對海量、多源異構數據進行有機存儲,解決單一數據庫管理難度大、數據間缺少聯系的問題。

(2)數據更新。引入時態域的概念,通過數據模型各域之間的關聯性,能夠更好地對數據進行更新,解決了數據增長速度快,無法及時更新的難題。

當然在具體應用中也存在一些問題需要進一步研究和改進：

(1)數據模型僅能解決基礎的數據管理問題,還無法解決數據的多角度特征描述、全流程管控等問題,需要研究并增加數據標簽、數據血緣等機制。

(2)數據模型解決了地理場景數據組織問題,但由于三維數據量大,需要解決大、小文件的優化存儲、大數據的高效調用問題。

(3)當前對于地理場景、地理實體關系的研究還很基礎,僅能通過專家規則提取有限的關系,后續還需要研究多種關系的抽象、抽取規則、謂詞定義等。

(4)模型缺乏對地理場景、地理實體的多顆粒度抽象,當前僅根據某一業務場景確定固定的抽象粒度,后續還需要進一步研究。

5 結束語

本文結合實景三維中國具體建設應用需要,在原有地理實體數據模型基礎上提出了能夠集成多源異構空間數據的數據模型,擴展了“三域”標識,增加非結構化數據索引,并探討了基于空間數據體數據模型的關系組織方案。下一步還需要對三維空間數據的結構化組織和管理,空間數據體之間的關系定義、抽取、組織,數據標簽,數據血緣,實體的多顆粒度抽象等方面進行更為深入的研究,更好地滿足各類大數據挖掘、應用的需求。