分布式數據庫中數據集成與共享的研究進展＊

奧勇，李美麗，趙永華，孫佳佳，付泉

分布式數據庫中數據集成與共享的研究進展＊

奧勇，李美麗，趙永華，孫佳佳，付泉

（長安大學 地球科學與資源學院/土地工程學院，陜西 西安 710054；陜西省土地污染整治重點實驗室，陜西 西安 710054）

分布式數據庫是地理信息系統（GIS）發展的重要的研究熱點和難點，數據集成與共享是其研究核心。從分布式數據庫數據集成與共享的角度出發，基于國內外研究現狀，對現有的分布式數據庫、數據集、數據共享的典型模式進行了綜合分析，總結其在研究技術方面存在的問題。結合計算機網絡技術及分布式數據庫管理方式的優化升級，論述了如何提高空間數據集成與共享的效率結合及使用率這一問題，并對地理空間數據集成與共享的應用前景進行了展望。

分布式數據庫；地理信息系統（GIS）；空間數據；數據集成

1 概述

隨著GIS技術自身的發展及社會應用的需要，不同系統之間數據的共享和互操作受到人們越來越多的關注[1]。然而，GIS的迅速發展和廣泛應用積累了大量的地理數據資源，它們分別以不同的格式存儲在不同地理位置的不同系統中，給數據綜合利用共享帶來了很大不便，特別是給數據在網絡環境下的集成和共享構成了障礙[2]。同時，大數據、云技術、時態GIS的發展，以及人工智能和智慧城市的提出，GIS服務的要求不僅僅局限于數據表層，更是對數據深層含義的挖掘。地理空間數據的分布性、復雜性、變長記錄、載體多樣性、海量數據、多尺度性和時空、多語義等特性造成空間數據的管理混亂和使用效率較低，數據的重復采集和無組織分布都是對地理空間數據的極大浪費。空間數據的集成和共享是提高數據利用率達的有效途徑。因此，數據集成和共享技術的更新及優化，盡可能提高空間數據的管理和使用效率是GIS當前和今后研究的熱點和重點之一，分布式數據庫中數據集成和共享為數據的高效利用提供更多的思路和解決方法。本文分析了分布式數據庫與傳統集中式數據庫的優缺點、當前存在的數據集成與共享的優勢和不足；總結現有數據集成與共享方法存在的問題，并對其存在問題提出了合理改進意見，對其應用前景提出展望。

2 分布式數據庫介紹

分布式數據庫系統是數據庫技術與計算機網絡技術相結合的產物[3-4]，是解決地理數據、軟件及硬件等資源共享和進行遠程互操作及互運算的有效途徑，是當前地理信息系統領域研究的熱點和前沿[5]。其主要技術涉及并行計算、分布策略、數據分片、查詢優化以及分布式數據庫系統的并發控制[6]、事務處理與恢復技術等。簡而言之，分布式數據庫是用計算機網絡將物理上分散的多個數據庫單元連接起來組成的一個邏輯統一的數據庫。數據分布的主要目的是就地訪問，而不是分布訪問，只是有時為了提高可用性或者達到各個節點的負載均衡，才分布數據[7]。即通過數據的合理分布，盡可能使更多的數據能夠就地存放，以減少遠距離的數據訪問，但在任何分布式數據庫中，所有數據的局部化訪問是不可能的，即使多復本也只能達到讀取的完全局部化。

2.1 分布式數據庫研究現狀

信息量和用戶的增多，給分布式數據庫的信息查詢、計算和事務處理等方面都帶來了極大的挑戰。要想實現空間地理數據的集成與共享，前提是必須保證數據的一致性和完整性[8]，這就要求分布式數據庫不僅要對網絡系統相關功能進行分析，還要對各個節點上獨立存在的數據庫系統進行有針對性的分析和解剖，才可以有效解決在不同站點上數據的相互訪問與交流問題，從而實現數據的一致性與完整性。針對維護分布式多源異構空間數據的完整性與一致性這一亟待解決的問題，從技術層面研究了分布式空間數據庫的同步更新技術，馬東波提供了一種可行的解決方法，并得到實驗驗證[9]。徐愛萍等人以水文及水環境數據交換架構和數據共享平臺的構建為基礎，采用異構多源數據庫引擎中間件解決了不同種類數據庫之間的數據交換問題，使用數據目錄注冊的方式使得集成平臺的管理和使用便捷通用[10]。基于多屬性決策的分布式多空間數據信息快速融合方法利用模糊理論、歐氏距離、測熵值等來確定各信息屬性的局部融合權重，得到各個空間信息源的全局融合權重，以此為依據完成對分布式多源空間數據庫數據的快速融合[11]。鄔倫等人通過對空間數據分布特征的分析，提出了多空間數據庫系統集成的基本思路——異構同化，同構整體化，提出建立分布式多空間數據庫系統來實現異構空間數據源的互操作，以達到空間信息共享的目的[12]。

2.2 分布式數據庫的優勢

按數據庫對數據管理的集中程度可以分為分布式數據庫和集中式數據庫。分布式數據庫與傳統數據庫比較如表1所示。

表1 分布式數據庫與傳統數據庫比較

數據庫類型優點缺點 傳統集中式數據庫系統運行成本低，應用軟件和數據庫表結構的更新與升級優越性高，利于數據的集中查詢中心主機的建設成本高，網絡完全性和主機安全性低、可擴展性有限，數據安全性不高 分布式數據庫數據的讀取速率高，可擴展性強，提供更大的用戶并發訪問量系統運行成本高，不能共享全部的數據，數據的安全性不高

綜上所述，集中式數據庫可以對數據進行集中式管理，減少各級計算機機房和服務器建設的費用，但其中心節點的網絡故障將導致整個數據庫系統不能正常運轉，而且數據的安全性也不高。分布式數據庫雖然要維護多個節點的服務器機器操作系統正常運行，但是，這種組織數據庫的方法克服了物理中心數據庫組織的弱點，降低了數據傳送的代價，在很大程度上還提高了系統的可靠性和數據的安全性，而且便于系統的擴展。分布式數據庫為了保證數據的高可靠性和高訪問速度，往往采用備份的策略實現容錯，所以，在讀取數據的時候，客戶端可以并發地從多個備份服務器中同時讀取，從而提高數據的訪問速度。

更重要的是，分布式數據庫的發展對數據的集成與共享提供了很大的便利，提高了數據的使用效率，為地理信息服務提供了廣闊的應用前景。

2.3 分布式數據庫技術優化對數據集成與共享的意義

分布式地理信息系統是政府辦公、企業及部門生產管理、國家空間信息基礎設施、全球空間數據基礎設施、數字地球、智慧城市等一切信息系統的技術支撐。網絡和科學技術的飛速發展，地理信息系統的發展趨勢要求GIS數據的來源更加多樣化，同時也將改變其數據的獲取、管理、分析和輸出的形式。最突出的變化就是空間信息將從“地表空間”向“全空間”發展。空間數據的高效存取將是GIS設計者和使用者的共同需求。分布式GIS的出現為解決地理數據的復雜操作、數據的保密性和完整性這些問題提供新的思路和解決方法。

3 數據集成與共享技術

空間數據集成是將具有某種或多種異質性的數據集通過重新建模整合到統一框架下，對數據形式特征（如格式、單位、分辨率、精度等）和內部特征（屬性、內容等）作全部或部分調整、轉化、合成、分解等操作，旨在提供數據分布式高效使用和數據共享的數據深加工范式[13]。數據共享可以使更多部門使用非己有的數據，更加充分、有效地利用數據，減少重復勞動和數據采集的費用以及數據的維護和管理費用，使GIS系統更容易集成，能夠使GIS開發重點集中在新的應用方面。采用數據引擎思想實現空間數據的集成與共享，類似于ODBC中驅動程序提供動態鏈接庫的方式，通過數據引擎，驅動程序接到請求后，動態地把請求轉換成其數據源可以處理的命令格式，從而獲取所需數據信息[14]。

3.1 空間數據的集成和共享現狀

傳統的數據集成所采用的方法基本可以分為兩大類：數據復制方法和模式映射方法[15]。空間數據集成之間存在的語法、模式和語義異質性[16]相應地存在3個層次，即語法、模式和語義層次上的空間數據集成。

早期空間數據集成研究受系統數據結構和邏輯模型不同的驅使，集中在語法和模式層次上，發展了數據轉換、互操作和直接訪問3種語法集成方法[17-20]及半自動模式集成方法[21]。斯坦福大學DB Group的數據集成方案是以數據復制方式進行數據集成的代表性方案。然而在應用領域中，信息源數據通常含有企業商業機密信息或政府部門公眾機密信息，不能讓數據集成系統訪問這些信息或基表[22]。

模式集成（Schema Integration）是人們最早采用的數據集成方法，也是其他數據集成方法的基礎。其基本思想是，在構建集成系統時，將各數據源共享的數據視圖集成為全局模式（Global Schema），供用戶按照全局模式透明地訪問各數據源的數據。該方法不需要重復存儲大量數據，能保證查詢到最新的數據，比較適合集成數據多、更新變化快的異構數據源集成[15]。崔鐵軍等人針對用戶對于地理空間數據的迫切需求，提出地理數據模型的融合、地理要素語義的融合和地理數據投影和坐標系的統一是多源地理空間矢量數據集成與融合基本理論與方法。給出了實現多源數據集成的數據格式轉換、數據互操作和直接數據訪問方法[23]。劉云漢通過研究數據集成的相關技術，采用基于Web Service的技術構建了包括數據層、業務邏輯層和應用層的異構數據集成平臺。其中數據采用通用的數據訪問接口，業務邏輯層以Web服務的形式發布，降低了層間耦合，實現了局部數據源的自治性、業務邏輯接口的通用性、響應的實時性和平臺的易維護性[24]。基于JAVA/XML的松耦合的數據同步集成關系，以XML作為數據交換集成的載體，允許使用非常規的編程進行快速的商業系統集成，具有開放性、可伸縮性、可移植性和靈活性，可以高效實現數據的共享[25]。陳超等人提出了使用NoSQL存儲地圖瓦片數據的方法，解決了傳統關系數據應對多發訪問的瓶頸問題[26]。于小洋等人針對Web Service數據的多源異構性，提出基于本體和Karma建模的快速集成方法，并將其應用于天氣信息的領域中[27]。YAN提出對NoSQL數據庫的兩種設計理念和五種不同的優化查詢方法，為地理空間數據集成與共享提供了很好的數據庫基礎。李紹俊等人結合GIS領域空間大數據存儲對數據庫存儲能力的可擴展性及數據處理和訪問的高并發要求，提出基于內存數據庫和NoSQL數據庫的空間大數據分布式存儲與綜合處理策略，并開發了原型系統，對提出的存儲策略的可行性和有效性進行了驗證[28]。

3.2 分布式數據庫中空間數據的集成模式

大數據環境為傳統的科技服務提供了新的環境，面向區域共享平臺復雜化、個性化的服務需求，探索大數據環境下區域共享平臺的云服務模式，對提升平臺集成服務能力，豐富平臺管理方法具有重要的現實意義[29-30]。當前典型的分布式數據庫有以下幾大類。分布式數據庫數據集成方法的對比分析如表2所示。

表2 分布式數據庫數據集成方法的對比分析

數據庫優點缺點 NoSQL存儲空間大數據的成本低、高可擴展、高可用性；高通量I/O的持久化存儲和數據提取；既滿足了大數據存儲的需要，又保證了整個系統對外提供的GIS功能不退化[28]操作方式、查詢方式有局限性，單一空間索引算法的局限[31-39] Mongo DB支持動態查詢，支持完全索引，模式自由、支持復制和故障恢復，數據存儲高效，自動處理碎片，支持云計算的擴展不支持SQL查詢，自身分片技術的限制，數據在各點分布不均勻 基于Haodoop的SQL數據庫有效減少數據的檢索時間，提高系統的整體性能，可以對海量數據進行存儲和處理[40-41]，高并發、低成本、高可靠性[42]不適合低延遲數據訪問，無法高效存儲大量小文件，不支持多用戶寫入及任意修改文件 Apache HBase節省存儲空間、支持非結構化的存儲；列動態增加且列為空就不存儲數據；自動切分數據；提高海量數據的處理能力和速度，系統可靠性高；有效降低數據共享中出現的障礙對整個系統的影響[43]不支持條件查詢、只支持按照Row Key來查詢，不支持Master Server的障切換 Apache CouchB節點之間的數據增量復制數據格式無限制；系統擴展便利；支持云計算；可存儲半結構化數據；支持海量數據存儲；支持分區容忍性和數據可用性；支持數據一致性；提供rest數據訪問API，簡化開發過程；數據格式為json，更開放、貼切移動開發；提供andorid和ios版客戶端數據庫沒有DB2簡單 Riak數據模型靈活；沒有主節點的概念，用Erlang編寫Erlang沒有使用共享內存 hypertable可處理海量數據；實現高效查詢，高可用性；免受傳統文件存儲系統無法避免的失敗影響不支持SQL查詢空間數據運算

從各種集成方法的優缺點、適用情況及數據操作難度幾個方面分析可知，Apache HBase數據庫雖然在一定程度上可以節省數據的存儲空間，但是它只支持按照Row Key來查詢；Apache CouchB數據庫技術很復雜，僅適用于專業用戶；Mongo DB數據庫系統靈活性高、擴展性強、容錯性好、數據存儲高效，但其自身數據分布方式的不均衡，導致后期數據的利用和共享不順利[44]；Riak數據庫用Erlang適用于開發NoSQL數據存儲等應用程序，只能通過發送/接受異步消息進行相互合作，數據的使用效率較低，會造成后期數據遷移耗費大量的資金；hypertable數據庫可處理海量數據，具有較高的可靠性和較高的查詢效率，但查詢模式單一、產品還不成熟、應用不廣泛。基于NoSQL進行二次開發的是目前用到最廣泛的數據庫，其成本低、可用性高、適用于大數據，符合各行各業的發展需求。

3.3 分布式數據庫中空間數據的共享模式

分布式數據庫數據共享的解決方法有：直接訪問模式、數據格式轉換模式、數據互操作模式、數據標準化模式、空間數據共享平臺模式、元數據庫訪問等。空間數據共享模式對比如表3所示。

綜上分析，不同的數據集成與共享模式有其自身的優勢和局限性，目前并不存在“通用”的數據集成與共享方法。

4 結束語

任何一種數據集成和共享的方法都不能滿足所有用戶的需求，但每種方法有其自身的優勢和適用領域，要想提高數據的集成和共享效率，必須在清楚使用目的和應用領域的基礎上綜合考慮所用數據類型及其特點，選擇合適的數據集成和共享方法。

直接數據訪問模式和數據轉換模式雖然很難達到高要求和大面積的數據共享，但是如果在某領域內有通用的數據模型和格式，這兩種方法也可以繼續得到很好的應用；空間數據標準模式雖然提出很多年，但一直沒有制訂一個公認的標準，如果某些相近行業之間可以建立公用的數據共享標準，也會對數據的集成與共享帶來很大的推動作用。

互聯網+時空大數據平臺構建的背景下，基于本體的數據集成與共享模式雖然是最理想的數據共享模式，但它也不是完全獨立的，需要綜合利用其他數據共享模式的優勢，揚長避短，最大程度提高數據的使用率。可以在現有存儲系統共享模式的基礎上開發圖像和語音識別系統，再結合深度學習和機器學習來訓練模型，更好地將非結構費寓意的信息進行存儲和共享，提高空間數據的使用效率。

表3 空間數據共享模式對比

數據共享模式優點缺點適用領域 直接訪問模式無需轉換數據模式易造成空間數據的丟失、精度損失，數據類型不能完全對應，數據一致性差，轉換后存在數據冗余、亂碼等情況局域內的數據共享 數據格式轉換模式間接使用模式有局限性、過程復雜、工作量大、轉換時間長、數據管理很難做到連續性，容易造成數據流失對數據精度要求不高的行業 數據互操作模式通過數據庫之間穩定的接口動態地進行數據的調用和共享，數據的完整性高無統一的技術規范和轉換機制，OGC成員效率和積極性不確定，不能處理非OpenGIS數據企業的各部門或者分公司之間的數據交流及政府辦公 數據標準化模式在很大程度上推動了地理數據的集成和共享數據存在不兼容的問題，模式不成熟有相同標準或數據規范的行業、部門 空間數據共享平臺模式采用C/S服務器體系結構，數據的一致性高技術體系不夠完整，沒有足夠強大的公共平臺可以支持部分領域、部門 元數據庫訪問模式可以有效定位、評價、比較，可以高效查詢、獲取和使用相關地理數據必須建立在數據互操作模式和數據標準化模式基礎之上，元數據自身的標準定制還不完善部分領域、部門 基于本體的數據共享通過語義因子分解和建立概念來集成不同地理本體，有效解決數據的多語義問題，應用廣泛，過程本體的有關研究成果有助于過程地理信息系統的研究與發展[45]目前只能根據輔助信息或由經驗知識豐富或熟悉研究區的專家，根據經驗知識進行人機交互細化各領域和部門

［1］梅士員，江南.GIS數據共享技術［J］.遙感信息，2002（4）：46-49，64.

［2］艾海濱，孟令奎，林志勇.基于XML的分布式異構地理數據集成與共享［J］.遙感信息，2002（4）：50-56.

［3］劉威.分布式數據庫及其技術［J］.長春大學學報，2000（1）：27-30.

［4］楊東，謝菲，楊曉剛，等.分布式數據庫技術的研究與實現［J］.電子科學技術，2015，2（1）：87-94.

［5］周國義.分布式GIS的研究［J］.測繪科學，2003（3）：43-45，85.

［6］ASTROM K J，WITTWNMARK B.Computer-controlled systems：theory and design［J］.Iee Review，1997，31（31）：237–248.

［7］馬東波.分布式數據庫的研究新趨勢［J］.產業與科技論壇，2017，16（18）：79-80.

［8］陳靜，向隆剛，朱欣焰.分布式異構柵格數據的集成管理研究［J］.武漢大學學報（信息科學版），2011，36（9）：1094-1096.

［9］馬東波.分布式數據庫系統的安全機制［J］.產業與科技論壇，2017，16（16）：45-46.

［10］徐愛萍，宋先明，徐武平.分布式異構數據庫集成系統研究與實現［J］.計算機工程與科學，2015，37（10）：1909-1916.

［11］江洲，李琦，王凌云.空間信息融合與地理編碼數據庫的開發［J］.計算機工程，2004（5）：1-2，153.

［12］鄔倫，張毅.分布式多空間數據庫系統的集成技術［J］.地理學與國土研究，2002（1）：6-10.

［13］李軍，費川云.地球空間數據集成研究概況［J］.地理科學進展，2000（3）：203-211.

［14］吳小芳，蔡忠亮，鄔國鋒，等.基于數據引擎思想的GIS數據集成與共享［J］.測繪工程，2003（3）：14-17.

［15］鐘秋燕.數據集成技術綜述［J］.電腦知識與技術，2008（24）：1120-1122.

［16］BISHR Y.Overcoming the semantic and other barriers to GIS interoperability［J］.International Journal of GeographicalInformation Science，1998，12（4）：299-314.

［17］閭國年，張書亮，龔敏霞，等.地理信息系統集成原理與方法［M］.北京：科學出版社，2003.

［18］宋關福，鐘耳順，劉紀遠，等.多源空間數據無縫集成研究［J］.地理科學進展，2000，19（2）：110-115.

［19］劉占偉，劉厚泉.基于GML的多源異構空間數據集成系統的設計［J］.計算機工程與設計，2007，28（8）：1962-1965.

［20］曠建中，馬勁松，蔣民鋒.基于GML的多源空間數據集成模型研究［J］.計算機應用研究，2005，22（6）：105-107.

［21］DEVOGELE T，PARENT C，SPACCAPIETRA S.On spatial database integration［J］.International Journal of Geographical Information Science，1998，12（4）：335-352.

［22］HAMMER J，GARCIA-MOLINA H，WIDOM J，et al.The stanford data warehousing project［J］.In IEEE Data Engineering Bulletin，1995，18（2）：41- 48.

［23］崔鐵軍，郭黎.多源地理空間矢量數據集成與融合方法探討［J］.測繪科學技術學報，2007（1）：1-4.

［24］劉云漢.基于Web Service的異構數據集成平臺設計與實現［J］.電腦知識與技術，2017，13（30）：19-22.

［25］董永峰，侯向丹，袁超，等.分布式異構數據庫同步集成的研究與應用［J］.計算機應用與軟件，2012，29（6）：122-124.

［26］陳超，王亮，閆浩文，等.一種基于NoSQL的地圖瓦片數據存儲技術［J］.測繪科學，2013，38（1）：142-143，159.

［27］于小洋，云紅艷，賀英，等.利用語義技術實現Web Service數據的快速集成［J］.青島大學學報（自然科學版），2017，30（1）：79-84.

［28］李紹俊，楊海軍，黃耀歡，等.基于NoSQL數據庫的空間大數據分布式存儲策略［J］.武漢大學學報（信息科學版），2017，42（2）：163-169.

［29］程淑娥.大數據環境下區域科技資源共享平臺云服務模式研究［D］.哈爾濱：哈爾濱理工大學，2017.

［30］王宏起，李力，李玥.區域科技資源共享平臺集成服務流程與管理研究［J］.情報理論與實踐，2014，37（8）：69-73.

［31］ZHONG Y，HAN J，ZHANG T，et al.A distributed geospatial data storage and processing framework for Large-scale webGIS［C］//The 20th International Conference on Geoinformatics，2012.

［32］HAN D，STROULIA E.HGrid：a data model for Large geospatial data sets in HBASE［C］//Proceedings of the 2013 IEEE Sixth International Conference on Cloud Computing，2013.

［33］WEI L Y，HSU Y T，PENGeng W C，et al.Indexing spatial data in cloud data managements［J］.pervasive and Mobile Computing，2014（15）：48-61.

［34］陳崇成，林劍鋒，吳小竹，等.基于NoSQL的海量空間數據云存儲與服務方法［J］.地球信息科學學報，2013，15（2）：166-174.

［35］CHANG F，DEAN J，GHEMAWAT S，et al.Bigtable：a distributed storage system for structured data［J］.ACM Transactions on Computer System，2008，26（2）：1-26.

［36］GHEMAWAT S，GOBIOFF H，LEUNG S T.The google file system［C］//19th ACM Symposium on Operating System Principles，2006.

［37］BURROWS M.The chubby Lock service for loosely- coupled distributed system［C］//Proceedings of the 7th Symposium on Operating System Design and Implementation，2006.

［38］陳吉榮，樂嘉錦.基于Hadoop生態系統的大數據解決方案綜述［J］.計算機工程與科學，2013，35（10）：25-35.

［39］HECHT R，JABLONSKI S.NoSQL evaluation：a use case oriented survey［C］//2011 International Conference on Cloud and Service Computing，2011.

［40］陳紅.基于Hadoop的分布式SQL數據庫索引設計與實踐［J］.艦船電子工程，2018，38（4）：73-77.

［41］王凌暉，解云月，周美華.Hadoop分布式存儲架構的性能分析［J］.現代電子技術，2018，41（18）：92-95.

［42］張振猛.基于Hadoop的海量文件存儲系統的分析與設計［D］.北京：北京工業大學，2015.

［43］陸文星，涂竹松，梁焱.基于HBase的數據共享模型研究［J］.計算機技術與發展，2016，26（4）：36-40，45.

［44］李崇欣.分布式數據庫HBase快照的設計與實現［D］.杭州：浙江大學，2011.

［45］蘇奮振，周成虎.過程地理信息系統框架基礎與原型構建［J］.地理研究，2006，25（3）：477-484.

TP311

A

10.15913/j.cnki.kjycx.2020.01.009

2095－6835（2020）01－0031－05

國家自然基金項目“秦嶺火地塘森林景觀土壤微生物空間格局”（編號：31670549）；陜西省土地整治重點實驗室開放基金“污損土地遙感調查與評估研究”（編號：2018-JC08）；自然資源部退化及未利用土地整治工程重點實驗室開放基金（編號：SXDJ2019-8）

奧勇，男，長安大學地球科學與資源學院副教授，碩士研究生導師，陜西土地整治重點實驗室信息室主任。

李美麗（1992—），女，碩士研究生。

〔編輯：嚴麗琴〕