基于數據立方體的鄭州城市地質數據分類組織

王 宏，于雪鷗，曾 濤，喬東玉，朱學立，田 隆

（1.河南省地質研究院，河南 鄭州 450016；2.河南省地質科學研究所，河南 鄭州 450001；3.河南省自然資源科技創新中心（智慧城市時空大數據），河南 鄭州 450016；4.河南省地質礦產勘查開發局河南省地質大數據應用中心，河南 鄭州 450016）

鄭州市是全國首批多要素城市地質調查示范城市之一。針對城市發展對地質工作的需求，開展了城市三維地質結構與地下空間調查、地質資源勘查與評價、城市地質安全評價、城市地質環境調查與監測和城市地質大數據云平臺建設5 個方面的工作，為解決制約城市發展的空間、資源、安全、環境等問題提供地質解決方案。伴隨著多要素城市地質調查工作的開展，鄭州市多要素城市地質數據資源也將逐漸形成。鄭州市多要素城市地質數據資源建設過程中，地質數據資源的分類是數據管理體系建設的基礎。受專業認知、數據應用等因素的影響，對地質數據有多種分類方式[1-4]。面向不同的數據使用人員、應用場景，僅使用一種數據分類方式是不合理的。傳統的數據分類往往僅考慮領域專業性問題，導致分類只能由地質學家進行，而不同的專家分類各異，難以達成一個統一的分類標準。與此同時，在倡導地質數據社會化服務的背景下，地質數據的使用者往往不一定是地質學家，甚至不具備地質專業知識，而是更關心數據所能解決的實際問題的人。地質數據是有多個維度屬性的[5-6]，地質數據的多維度屬性使得分類系統不應成為固定的體系而應隨著不同的領域或應用進行調整。

1 鄭州市多要素城市地質數據資源體系建設

鄭州市多要素城市地質數據資源體系建設以提供全面、權威、及時、便捷的地質信息服務為目標，以形成有效的地質數據匯聚體系為基礎[7]，圍繞鄭州市城市發展和生態文明建設遇到的資源、環境、空間、安全問題，基于大數據技術，開展多源異構地質數據的集成、抽取、挖掘，并建立多專題的數據庫，為各類地質應用提供支撐。

地質數據來源廣泛，傳感監測網、智能手機等豐富了數據采集方式。地質數據類型復雜，既有地質工作產生的數據，也有其他行業的數據；既有以往存檔的地質資料，也有新的實時監測數據；既有結構化數據，又有非結構化數據。針對不同的數據其存儲策略也會不同。考慮數據更新頻率不同，地質調查成果檔案、自然資源部門相關工作成果等按要求匯交入庫；各類收集數據要及時進行入庫；各類地質監測數據要實時匯聚入庫；提供與相關業務系統的共享交換。考慮到數據結構不同，數據存儲方式也有區別，目前通用的地質數據存儲方式為：結構化數據能夠使用關系數據庫技術來處理，海量非結構化數據適合采用分布式文件系統HDFS，無模式的半結構化數據適合采用分布式Key/Value存儲引擎Hbase等[8-9]。采集匯總后的地質數據經過數據清洗、處理、集成、融合、入庫，按照物理分布、邏輯統一的技術路線，按照統一的地質資源數據目錄和元數據規范進行存儲和管理[10]。不同的地質數據其針對數據的業務應用場景或地質問題不同，在認真梳理地質數據應用場景的基礎上，建立各類地質數據庫，為相關的地質應用提供數據支撐。

針對城市發展對地質工作的需求，鄭州市多要素城市地質調查開展了城市三維地質結構與地下空間調查、地質資源勘查與評價、城市地質安全評價、城市地質環境調查與監測4 個方面調查工作，形成了相關的地質數據資源。

2 地質調查數據分類

2.1 地質數據分類立方體

1996 年Jim Gray[11]提出數據立方體（Data Cube），圍繞主題，數據立方體可以從不同的維度展現數據的特征，用戶可以根據實際需求從不同的視角對數據進行分析[12-13]。數據立方體由維和事實度量定義[14]，將地質數據分類立方體表達為：

式中，GeologyDataCube為一個分類體系；Dimension為地質數據分類立方體的維，地質數據立方體有多個維度Dimension={Dimension1,Dimension2,…,Dimensionn}，Dimensionk(1 ≤k≤n)為地質數據的第k個分類特征；Measure={Measure1,Measure2,…,Measuren}為地質數據分類立方體對應的分類特征值，其中Measurek(1 ≤k≤n)對應的是Dimensionk(1 ≤k≤n)的分類特征值集合，包含多個分類特征值Tag；地質數據分類立方體支持構建多個分類維度間的層級關系，Hierarchy={Hierarchy1→di,Hierarchy2→dj,…, Hierarchyn→dk} 為 地質數據分類立方體將會使用n維對數據進行分類組織，并且Hierarchyx→Dimensiony(1 ≤x≤n,1 ≤y≤n)為地質數據分類立方體的x個層級是按照Dimensiony進行組織的；Hierarchy1為分類體系的最高級，Hierarchy2為Hierarchy1的下一級，以此類推，地質數據分類立方體至少有一個分類層級。建立地質數據分類立方體的目的是對地質數據進行多維度的組織，需要建立地質數據與具體維度特征值間的映射關系。Entity 為具體的整個地質數據集合，地質數據之間沒有層次等級，每個地質數據實體關聯一個或多個特征值標簽，建立數據與特征維度（Dimension）之間的對應關系。

2.2 分類立方體實現

鄭州市多要素城市地質調查數據的應用對象為政府部門、地質專業人員、相關科研機構和企事業單位、社會公眾，從數據應用、數據處理方式、數據獲取方式、數據公開要求等方面考慮，將地質數據分類立方體按專業類別、數據來源、比例尺、行政區、密級、數據類型、服務類型、數據維度、加工程度、工作手段共10個維度進行劃分。

地質數據與分類體系間的映射通過標簽技術實現，即根據數據維度分類特征值為每個地質數據打上相應的標簽，可以為數據打上多個維度的分類特征值，并且在一個數據維度下，可以對應多個分類特征值。例如，某個地質圖覆蓋范圍為鄭州市二七區和惠濟區，此時，維度行政區會有2個標簽，即鍵值對<行政區>:<二七區>、<行政區>:<惠濟區>。

3 地質調查數據組織

3.1 目錄樹的建立

鄭州市多要素城市地質調查數據依據所構建的數據分類立方體進行組織管理，即根據數據立方體建立數據目錄。需要先確定哪些維度及其分類特征參與數據目錄樹的建立，并需要確定各維度的層級關系，目錄樹的深度等于參與構建目錄樹的維度。

假設地質大數據分類體系的確定了地質專業、區域、比例尺3 個維度。那么用戶可以對此3 個維度進行任意組合，形成目錄樹的層次結構。

當用戶選擇地質專業、比例尺的維度順序時，目錄樹排布如圖1所示。

圖1 按地質專業、比例尺維度順序組織的目錄樹

3.2 目錄塌陷

當某個數據未填選取的數據標簽時，則無法參與目錄排布，這種情況叫做目錄塌陷。例如表2 中，當“鄭州市西部新城區第四紀地質地貌圖（1∶2.5萬）”的比例尺標簽值缺失時，則按地質專業、比例尺的維度順序時排布目錄樹時，會發生目錄塌陷，即“鄭州市西部新城區第四紀地質地貌圖（1∶2.5萬）”數據實體無法排入目錄的任何節點下，此時可有2 種解決辦法：

1）發生目錄塌陷的數據實體不參與目錄排布，按照這個方法，目錄樹組織如圖2所示。

圖2 目錄坍塌下不參與排布方式的目錄樹

2）發生目錄塌陷的數據實體一律在該級節點以其他的方式形成一個特殊節點，但該數據的其他特征值仍參與目錄樹的構建。在對鄭州市多要素城市地質數據進行組織時，采用第2 中方式處理，目錄樹如圖3所示。

圖3 目錄坍塌下采用空節點方式組織的目錄樹

3.3 同一維度下具有多屬性時的目錄組織

維度對應多標簽時，數據實體有可能會被多次排布到不同的維度標簽下，在表2 中，鄭州市主城區第四紀地質地貌圖（1∶2.5萬）和新近系明化鎮組地熱資源開發利用區劃圖（1∶10 萬）在區域維度下被標記了多個分類屬性值，表明該數據覆蓋范圍包括中原區、金水區、二七區、管城區，按比例尺、地質專業、區域維度順序排布的目錄樹如圖4所示。

圖4 維度對應多標簽下的目錄排布

4 結 論

地質數據具有多維度屬性，地質數據的某一維度是在特定專業角度下對數據的“透視”，以發現數據中的特征規律。采用單一的數據分類方法對數據進行組織，難以滿足地質數據多元化應用和服務的需求，因此，本文引入數據立方體理論，抽象提出了地質數據分類立方體模型，根據數據應用場景，建立了包含專業類別、數據來源、比例尺、行政區等10個維度的鄭州市多要素城市地質調查數據分類立方體，討論了使用該分類立方體生成數據目錄樹過程中的目錄塌陷以及數據在同一維度下具有多屬性時的目錄組織問題。通過鄭州市多要素城市地質調查數據分類立方體，實現了鄭州市多要素城市地質調查數據可根據業務需求動態生成數據組織目錄，并為海量、多源異構地質數據的快速檢索與發現奠定堅實的基礎。