一種異構數據庫間數據同步模型的研究

王曉瑞+++黃祥志+++沈夏炯+++周珂+++王棟

摘 要： 針對地理信息在異構數據庫之間的同步傳輸問題，基于XML節點映射模型，結合Web Service分布式遠程調用方式，在異構數據庫之間建立一種數據同步模型。該模型結合數據庫模式匹配的特點，將異構數據庫間的數據信息進行節點映射，降低XML查詢的掃描代價，提高中心服務節點查詢匹配集合的速率。實際應用表明，提出的基于XML節點映射模型可以有效的解決異構數據庫之間的同步傳輸問題。

關鍵詞： SOA； 異構數據庫； 數據同步； XML； Web Service

中圖分類號：TP391 文獻標志碼：A 文章編號：1006-8228（2016）05-12-04

Abstract： Aiming at the synchronization problem between heterogeneous databases for geographic information， this paper establishes a data synchronization model based on the XML node mapping model and combined with the Web Service distributed remote call method. This model combines the characteristics of database schema matching， maps the data information between heterogeneous databases， reduces the scan cost of XML query， and increases the speed of query matching set of the central service node. The practical application shows that the proposed XML based node mapping model can effectively solve the problem of data synchronization between heterogeneous databases.

Key words： SOA； heterogeneous database； data synchronization； XML； Web Service

0 引言

隨著航天技術的發展，發射衛星數量逐漸增多，地理數據信息也隨之俱增，需存儲的數據信息量越來越大。地理信息往往分散存儲于同構或異構的數據庫，這是為了有效整合分散、異構的地理數據信息資源，緩解地理科研行業間的“信息孤島”問題，有些傳統數據庫廠商提出中間件方案，但這種方式無法滿足分布式同構或異構數據庫間的同步問題。有些研究提出基于文件傳輸的同步技術，但是這種方式需要通過云盤或其他方式拷貝文件，存在嚴重的安全隱患。也有些研究提出基于管道同步技術，即通過數據管道同步數據，但這種方法對數據通道依賴大，需要建立專門的數據管道管理平臺，開銷大，對網絡條件要求較高，不適合廣域網[1]。林源、陳志泊提出的分布式異構數據庫同步系統，它基于WCF 構建的應用程序服務，針對異地數據庫表的數據結構定義一致時，提出使用存儲過程完成數據同步，若更新時發現數據庫表字段不一致，則優先選擇在該數據庫中添加新的表字段，但這種方法使用前需要為每張表建立一套元數據表、觸發器和存儲過程，因此，其僅限于在同構數據庫之間完成數據同步，在面對異構數據庫之間同步問題時，會耗費大量的時間，且會帶來數據庫之間數據不完整的問題[2]。

本文基于Web Service的數據同步，采用XML數據格式封裝數據庫中的數據，憑借XML半結構化、自描述性等特點突破傳統數據模型對數據模式的嚴格約束，適用于異構數據庫之間的數據同步，能夠解決跨平臺等問題[1]。針對地理信息在異構數據庫之間的同步傳輸問題，設計一種異構數據庫之間數據同步模型，其結合數據庫模式匹配的特點，采用XML節點映射模型，減少XML文檔的掃描代價，并快速獲取查詢模式中節點匹配的集合。基于節點映射與樹匹配的處理方式主要依賴于XML文檔索引的設計，通過對異構數據庫中存在的有效字段，根據屬性特征進行分層且有效的映射投影，達到提高XML的查詢和解析速率的效果。

1 異構數據庫同步和數據同步模型

地理數據信息存在存儲時分散、邏輯上統一的問題，為解決地理數據信息在異構數據庫間的同步問題，結合SOA架構，設計出基于XML節點的映射模型，與Web Service遠程訪問技術相結合，使分散的異構數據庫中地理數據信息分層分級的匯總至統一的中心數據庫中，實現中心數據庫數據信息的統一，為用戶提供“一站式”的數據共享服務，便于信息的檢索與分配[3]。

1.1 異構數據庫同步

異構數據庫同步是異構數據庫集成技術的一種應用，其中各個數據庫均具有自身的自治性，同步主要實現數據庫間的數據信息資源的共享和數據庫間的透明訪問，且實現數據同步的同時，每個數據庫系統仍保有自己的應用特性、完整性控制和安全性控制[4-5]。

1.2 XML映射模型

XML映射模型借鑒目前常用的關系型數據庫數據映射的思想。數據映射（Data Mapping，DM）是在源數據模型與目標數據模型之間建立對應關系[6]。常見的DM有手工編碼和可視化操作兩種方式。手工編碼是利用常用的編碼技術手段手動獲取數據并將其封裝成XML，便于數據遷移；可視化操作是數據庫支持用戶自定義數據項之間的對應關系。但這兩種都需要將該應用轉化成可運行的程序[7]。

⑴ 基于表結構映射

數據庫通常存在一些基本表，一個基本表描述著一個事物，一個事物具有多個屬性，一條記錄是多個屬性對應的值的集合，根據不同集合對應的域值的不同，可以針對表結構來映射節點。以常用日志表結構為例來組織XML，結構如圖1所示。

這種基于表設計的XML封裝優點是簡潔明了，方便編程，伸縮性強，適合于關系型數據庫中兩個數據模型一致的情況[10]，特別適合單個表結構且無外鍵關聯的關系型數據庫表的情況。

⑵ 基于對象的節點映射模型

鑒于表設計具有的局限性，不能滿足存在多個外鍵的表結構。針對“一對多，多對多”具有多個外鍵相互關聯的表結構，為了方便用戶解析，提出基于對象的節點映射模型。該設計是將數據庫表的一個基本表描述成一個事物，并以XML樹形結構的形式表示出來，且XML的節點允許有多個，能夠形象的表現出多張外鍵關聯表的之間的從屬關系。同樣以軟硬件信息表結構為例，如圖2所示為基于對象的軟硬件節點映射。

基于XML對象化設計具有層次感，直觀形象，伸縮性強，易擴展和易解析等優點。適合描述關系型數據庫中具有多個外鍵關聯的數據庫表結構的情況，同樣也適用于描述無外鍵關聯的單個表數據結構的情況。

1.3 數據同步模型

為了研究異構數據庫之間數據同步技術，本文結合數據庫模式匹配的思想，建立基于XML節點映射的數據同步模型，并在實際應用中驗證該數據同步模型的有效性。

傳統數據庫均不提供將數據庫表數據自動映射為自定義XML的功能，但存在將關系型數據庫表數據映射為XML的中間件，然而這些中間件不能有效完成分布式數據庫同步模型的XML節點映射。所以在此設計一種異構數據庫間數據同步模型如圖3所示。

⑴ 首先分析源數據庫表結構和目標數據庫表結構。基于對象建立節點映射模型，充分利用了XML自身的優勢，從而達到最優的結構化的模式映射，實現了數據信息在多源數據庫和不同目標數據庫之間的安全高效靈活的傳輸。

⑵ 其次，當同步代理模塊A和B之間同步時，為方便傳遞XML，并在分布式情況下達到高效、可靠、靈活的效果，需要借助于中間件。中間件是一種介于操作系統和應用程序之間的軟件，具備管理計算機資源和進行網絡通信的功能。常用的中間件主要有遠程過程調用中間件（Remote Procedure Call，RPC）、面向消息的中間件（Message-Oriented Middleware，MOM）、請求代理中間件（Object Request Brokers，ORB）和實物處理監控中間件（Transaction processing monitors）[11]。考慮源數據庫和目標數據庫可能在同一個計算機上，也有可能位于兩臺計算機上或者是兩個不同的操作系統上，本文使用遠程訪問中間件。Web Service是一種常用的RPC，它能夠完全結合XML、XSD等具有跨平臺性、互操作性的文件結構創建分布式應用系統的新平臺；能夠實現跨防火墻通信、應用程序的集成、B2B的集成以及軟件和數據的重用。它提供了一種松散的粗粒度的分布計算模式，由Web Service組成的中間層，無疑可以縮短開發周期、減少程序的邏輯復雜度并提高代碼的利用率。Web Service可以實現跨域訪問，它是SOA的一種實現技術，使用該技術，可以構造標準化程度極高的Web服務。所以我們搭建了Web Service平臺，提供一個供同步代理模塊A調用的接口，便于使用標準的HTTP（S）協議來傳送XML數據。

⑶ 建立一個定時器，系統將自動定時觸發同步代理模塊A，實現其自動化，無需同步系統使用者的任何操作，減少對系統操作者的技術要求。

⑷ 以上三步是實現基于XML同步模型的先期準備工作，當啟動定時器時，計時器觸發同步代理模塊A使其通過SQL語句查詢源數據庫并返回新的數據源，接下來執行下面的第⑸步。

⑸ 同步代理模塊A在接收到返回的數據集后，按照第一步中確定的數據轉換模式，通過一定的技術手段使數據集轉化成基于節點映射的標準結構的XML，將XML以轉換為字符串形式后自發的調用中間件中對應的同步服務。

⑹ 同步代理模塊B將獲取的XML數據按照對象封裝的特點，逐步解析，并將解析后的同步信息插入到目的數據庫中。

至此，異構數據庫之間數據同步已經完成，此后，系統將按照計時器中設定的時間，定時觸發同步代理模塊A，繼續下一次的數據同步。

2 數據同步模型實驗分析

異構數據庫之間數據同步不僅受環境因素的影響，也受服務資源及軟硬件性能指標的影響。當一個服務節點同時接收多個站點的同步信息時，由于網絡帶寬等因素，造成的網絡擁塞，同樣會影響數據同步的效率[8-9]。而當同時有多個站點同時同步信息時，會形成一個控制隊列。在此不再對控制隊列作介紹，只關注利用XML技術解決異構數據庫之間的同步問題，尤其是如何減少XML的查詢掃描時間，并快速獲取查詢模式中節點匹配集合的問題。

目前，我們設計的異構數據庫數據同步模型已投入實際應用。在實際應用時，采用Java技術，服務部署在Linux平臺下Tomcat容器中，通過公共服務端口，完成Web Service服務間數據通信。系統實際應用中，每天的數據同步量已到達10萬條之多，在網絡服務帶寬為4Mbps的場景下，設定中心節點接收同步數據并開始計時，至解析結束所消耗的時間記為Ta，從解析后將數據插入到數據庫中的用時記為Tb，分別測試1萬、5萬、10萬條數據同步量下的Ts、Ta、Tr的值。改進前后的實驗數據如表1、表2所示。

通過對圖4、圖5、圖6、圖7中數據同步模型改進前后所消耗時間的對比分析可知，隨著同步數據量的增多，改進后的模型對XML樹結構查詢時間減少，因為改進后的模型減少了查詢時對無關節點的匹配次數，數據解析時間的增長率也逐漸減小。數據入庫時間和改進前相比，也有減緩的趨勢。實際應用表明，本文提出的異構數據庫間的數據同步模型能有效的提高數據同步的效率。

3 結束語

針對地理信息在異構數據庫之間的同步傳輸的問題，本文結合Web Service提出了一種基于XML的節點映射模型，它結合數據庫模式匹配的特點，將異構數據庫間的數據信息進行節點映射。針對一個或多個對象節點的映射，分層分級設計XML，降低查詢時無關節點標簽的匹配次數，提高查詢匹配集合的速率，有效的減緩解析數據時間花費的增長率，方便對象化數據的入庫，減少對應的入庫時間，從而提高數據同步的效率。實際應用表明，本文提出的同步模型能有效的提高異構數據庫之間的數據同步效率，解決了當前異構數據庫間的數據同步效率低下的難題。進一步提高了異構數據庫間的數據同步速率。

然而本文在數據查詢方面對數據同步的效率的影響并沒有作進一步研究，接下來的研究是，在進一步完善降低標簽匹配度方案的同時，逐步提高設計模型中數據查詢的效率，找出一種實際平均性能良好的查詢處理和優化技術，進而提高異構數據庫間的數據同步速率[12]。

參考文獻（References）：

[1] 田淼.分布式異構數據庫同步中間件的設計與實現[D].地理信息科學學報碩士學位論文，2012.

[2] 林源，陳志泊.分布式異構數據庫同步系統的研究與應用[J].計算機工程與設計，2010.31（24）.

[3] 諸云強，馮敏，宋佳.基于SOA的地球系統科學數據共享平臺架構設計與實現[J].地理信息科學學報，2009.3.

[4] 李鐵軍，郝文寧，王偉一.一個輕量級的異構數據庫同步系統[J].計算機與信息技術，2007.

[5] 陳為民，文學東.分布式地理數據庫同步更新系統設計與實現[J].測繪通報，2012.11.

[6] 黎建輝，吳威，閻保平.一個基于XML元數據映射與轉換方法[J].微電子學與計算機，2008.

[7] http：//www.cnblogs.com/GaoJunTao/archive/2010/01/22/1653848.html.

[8] 盧宇，龔忠友，吳進營等.基于Web服務的分布式異構數據同步設計[J].微計算機應用，2011.32（12）.

[9] 盧宇，吳進營，樂仁昌等.基于SOA架構的分布式異構數據同步通信控制策略分析[J].計算機應用，2012.32（5）.

[10] 楊柳，蔡英蔚.基于XML格式異構數據同步模型的研究[J].中國電力教育，2008.32（5）.

[11] 百度百科.http：//baike.baidu.com/link？url=_URd0bJHHbuSr8k_jcYOonUEAzcCMVkPbEGlM1FuDQURVGdgr6qBbdioYaKhgIjFwCDY-MYXXxn8XLQ2Ln-2aa

[12] 畢鑫，王國仁，趙相國等.XML數據中Twing查詢處理與優化技術研究綜述[J].計算機科學與檢索，2013.7（9）.