一種基于XML的高校數據中心異構數據交換模型

羅雅過

（西安文理學院陜西西安710065）

隨著數據庫技術和信息化的發展，數據成為互聯網壞境下的核心資源。企事業單位都紛紛開始構建自己的信息化業務系統，高校信息化建設更是信息化建設中的重點。高校中各個職能部門也都建立了自己的業務系統，如人力資源系統，教務系統，科研系統等，但各個系統之間相互獨立，數據結構不統一，因此數據不能達到很好的共享，各業務系統之間就遇到了數據交換的問題。針對這一問題，尋求解決異構數據交換的問題，通過對關系數據庫的分析，異構數據交換技術的研究，來實現高校數據中心平臺的異構數據交換。

1 數據交換支撐技術

1.1 中間件與數據交換

中間件（middleware）是客戶方與服務方之間的連接件，是位于平臺（硬件和操作系統）和應用之間的通信服務，并獨立于硬件或數據庫廠商的一類基礎軟件，是一種需要進行二次開發的中間產品。其目的是為了更好解決分布異構數據交換與集成問題。

分布式應用系統可以通過中間件技術實現不同技術之間的共享資源。在客戶機、服務器的操作系統之上有效管理數據資源和網絡通信。中間件的作用是為上層的應用軟件提供運行和開發的環境，幫助用戶靈活、高效開發和集成應用軟件，提供硬件和操作系統之間的通用服務。

中間件的作用是使應用軟件能夠平穩的運行于不同的硬件環境或操作系統之上，屏蔽網絡硬件平臺的差異性、操作系統的差異性以及網絡協議的差異性，在負載平衡、連接管理等方面應用性得到了很大提升，滿足主要業務需求，提供針對不同的操作系統和硬件平臺、符合接口和協議規范的多種實現，能滿足大量用戶的需求。

1.2 異構數據庫數據交換技術

異構數據交換是指異構數據庫中不同數據源之間的相互操作[3，5]。異構主要體現在計算機體系結構的異構、操作系統的異構和數據庫管理信息系統（DBMS）的異構3個方面。隨著信息技術的快速發展，高校各個職能部門之間的聯系日趨緊密，不同業務系統之間的交流日益增多，在實際應用中，經常需要將一個業務系統中的數據應用到另一個業務系統中，因此經常需要不同業務系統之間的數據交換。而可擴展標記語言（Extensible Markup Language，XML），用于標記電子文件使其具有結構性的標記語言，可以用來標記數據、定義數據類型，是一種允許用戶對自己的標記語言進行定義的源語言。XML主要進行Web傳輸。XML提供統一的方法來描述和交換獨立于應用程序或供應商的結構化數據。正是由于XML的格式簡單、可擴展性、可移植性以及自描述性等特點使其成為數據交換事實上的標準。通常情況下，基于XML的異構數據交換系統通過XML提供一個通用的數據格式，在各個業務系統的異構數據源中使用XML文檔作為交換的中間文件。

2 基于XML的異構數據庫數據交換平臺模型

為了方便討論，以Oracle與SQL Server、Access數據庫之間的數據交換為例進行數據交換，主要的開發環境為Asp.net?；赬ML的異構數據庫數據交換平臺模型如圖1所示。

圖1 異構數據交換模型Fig.1 Heterogeneous data exchange model

從圖1可以看出，整個異構數據交換模型總體可以分3層。

客戶端層：用戶可以通過客戶端瀏覽器向服務器發送請求并返回結果，顯示給用戶。

中間應用層:主要管理和控制整個系統的來自用戶的數據請求、響應等處理工作。

數據庫層:由高校各個業務系統的不同關系數據庫系統構成，如，人力資源系統，科研系統，教務系統等，每一個系統中都有一個數據庫訪問接口層，負責對數據庫中表數據的存取，同時為異構系統提供交互的接口。

在三層交換模型中，最核心的就是對數據的交換處理這一模塊了，其中包括獲取用戶請求、連接源數據庫和目標數據庫、提取相應的數據、轉換數據為XML文檔并在客戶端程序上將數據顯示出來。

2.1 XML與關系數據庫

XML文檔從物理結構上來看，文檔是由多個實體單元組成，一個實體單元可以引用其他實體；從邏輯結構來看，文檔由聲明語句、元素、屬性、處理指令、注釋和命名空間構成。在XML中提供了許多數據庫[1]中所需要的部分：存儲（XML文檔），結構（DTD，XML schema語言），查詢語言（XQL、XMLQL，QUILT等），編程接口（SAX，DOM）等，但還缺少在真實的數據庫中所必備內容：有效的存儲、索引、安全、數據完備性、觸發等。在XML文檔中，所有的元素都必須有開始標記和結束標記，并且文檔必須包含一個根元素。所以從本質上講，XML是描述半結構化數據最好的數據模型。關系數據庫模型一般由三層組成：數據庫、表（關系）和字段（列）。XML文檔可以表示任意層次的樹，在一定條件下，XML可以用來表示關系模式。

2.2 模式映射

在XML文檔和數據庫的轉換中，主要是XML與關系數據庫的映射[6]。XML文檔中主要涉及的是元素、子元素、屬性、處理指令、實體、實體引用、域名等概念；而在一個關系數據庫中，則會涉及到表、記錄、字段、關鍵字、外鍵、視圖、索引等概念。XML與關系數據庫之間的映射關系根據建立方式的不同，可以分為基于模板驅動的轉換方式和基于模型驅動的轉換方式?；谀０宓挠成浞绞绞窃谝粋€XML文檔中嵌入帶參數的SQL命令。這些指令在轉換過程中被系統設別并執行，生成目標XML文檔，并用數據傳輸如中間件等實體軟件進行處理。以XML文檔內嵌的sql執行生成的數據結果為依據，不涉及數據之間賴以存在的關系模式或對象模式。

基于模型驅動的映射，當把數據從數據庫傳送到XML文檔或把數據從XML文檔傳送到數據庫時，不是依賴內嵌的SQL命令，而是用一個很具體的模型來實現。具體是將一個XML文檔表示為由數據對象構成的樹，每一個元素類型和對象相對應，基于模型驅動的映射是模式與模式之間的映射。目前，主流數據庫都支持XML技術，包括基于XML的異構數據庫數據交換的模式映射和XML與關系數據庫之間的數據格式映射。但是在進行實際的異構數據交換時，還必須解決數據交換規則字典問題[7]，用戶首先在客戶端根據交換的需要配置或設置相應的交換規則，如果沒有所需要的規則可以先制定所需規則。規則制定后，系統中的規則解析模塊對所選中的規則進行解析并分解，再通過數據的提取、數據的轉換與數據寫入等完成數據交換。

2.3 數據類型映射方式

在異構數據庫數據交換平臺下，對于數據類型的約束處理尤為重要，不僅源數據庫和目的數據庫有著不同的數據類型及精度[8]，并且作為中間轉換的XML中，也定了一套豐富的內建數據類型，異構數據庫之間并沒有直接的類型映射，所以就要求源數據庫與目標數據庫，以及XML內置數據庫三者之間做好數據類型的映射。以mysql、SQLServer數據庫為例，項目中應用的主要的類型對應關系如表1相似類型映射表[2]。

表1 相似類型映射表Tab.1 A similar type of mapping table

從上面的類型映射表中可以看出，關系數據庫和xm l的類型映射是多對一或者一對一的關系，這樣就保證了關系數據庫中的每一個數據類型都能和xm l中的數據類型相對應，保證了數據交換時的數據類型之間的映射，保證數據類型約束。

2.4 數據交換流程

利用XML文檔作為中間文件進行異構數據源間的信息交換[4]必須實現以下兩點:將數據源中的記錄提取出來轉變為XML文檔；將已有的XML文檔解析后導入到數據源中。為了在數據源和XML文檔之間傳遞數據，必須將數據源結構和XML文檔結構相互轉化。轉換過程主要分為兩大部分：源數據庫到XML的轉換和XML到目標數據庫的轉換。

第一、關系數據庫到XML文檔之間的轉換

1）連接源數據庫。

2）取源數據庫中數據庫表、字段、主外鍵關系等信息。

3）由用戶設置轉換規則，并生成相應的交換規則字典文件rule.xm l。

4）根據字典文件rule.xml規則進行數據庫到xml的轉換，并生成相應的xm l DTD和xm l。

第二、XML文檔到關系數據庫中的轉換

1）連接目標數據庫。

2）選擇在關系數據庫到xml文檔轉換階段生成的字典文件rule.xml。

3）根據rule.xml規則進行xml文檔到關系數據庫的轉換。

4）使用相應SQL語句將轉換結果寫入到目標數據庫，完成XML到關系數據庫的數據轉換。

2.5 轉換規則的設計

1）數據庫表與表之間的關系控制著轉換時的映射范圍。將有聯系的表建立一個規則，獨立的表建立獨立的規則，這樣可以保證一個規則返回它對應的數據集。

2）表結構沖突的處理。

①字段名稱和順序不同。建立源表字段和目標字段的意義映射，來解決順序問題。

②字段個數不同。如果目標數據庫中的表字段比源數據庫相應的表字段多，則轉換時將源數據庫中表的相應字段設置為空或者默認值，反之，不做處理。

3）參考完整性約束。保證主子表在文件中的唯一存在。

4）表內容合并。就是說目的數據庫的表內容需要源數據庫多個表的內容合并才能得到。

圖2 表內容合并圖例Fig.2 Table of contents with the legend

3 異構數據庫數據交換平臺模型的應用

以西安文理學院數據中心平臺為例，數據交換模式為，一個數據中心程序可對應多個數據交換機，分別安裝在不同的服務器上，每個不同的交換機均可并行運行，同時一個交換機可以負責多個交換任務及交換工作組。同時數據交換支持庫對庫模式，無需數據落地。

異構數據庫數據交換的最關鍵的就是進行普通交換配置。如圖3為普通交換配置界面。通過選擇一個源數據庫，可以在彈出窗口查詢選擇數據源的表或者視圖。也可以通過源SQL語句中寫SQL語句，可以自定義語句格式，包括表關聯，||連接符，to_number等函數都可以使用，如圖4為增加一個交換配置，完成、添加一個數據交換配置，進行完成一個異構數據庫的數據轉換。

圖3 普通交換配置Fig.3 Ordinary exchange allocation

圖4 增加一個交換配置Fig.4 Add a exchange configuration

4 結束語

通過對異構數據交換模型的研究，主要是通過轉換規則的設計，數據類型的映射方式，來實現源數據庫表與目的數據庫表中信息的轉換，轉換并不是直接的，而是通過XML的中間數據轉換，進而實現源數據到目標數據的轉換。以西安文理學院數據平臺為例，用戶通過對交換配置的設置，如源數據庫表，目標數據庫表等項目設置，就可以實現高校內不同業務系統之間的數據交換，解決了異構數據的交換問題，實現了高校數字資源的有效共享。

[1] 薩師煊，土珊.數據庫系統概論[M].2版.北京：高等教育出版社，2002.

[2] 陳施衛.基于XML的異構數據庫數據交換的研究與實現[D].成都：電子科技大學，2012.

[3] 關輝.異構數據庫間數據安全交換技術研究[J].電腦知識與技術，2009（1）:152-156.GUAN Hui.Secure data exchange technology between heterogeneous databases research[J].Computer Knowledge and Technology，2009（1）:152-156.

[4] 趙莉，杜思鋒.數據交換平臺中異構數據轉換技術的研究[J].電子設計工程，2011（3）:91-94.ZHAO Li，DU Si-feng.Research of heterogeneous data transformation in data exchange platform[J].Electronic Design Engineering，2011（3）:91-94.

[5] 王志平.基于XML的異質多數據庫集成系統的設計與實現[J].河南大學學報：自然科學版，2007，37（5）:530-532.WANG Zhi-ping.Design and implementation of XML system based on Heterogeneous Database Integration[J].Journal of Henan University：Natural Science Edition，2007，37（5）:530-532.

[6] 洪欣.基于XDR模式的XML文檔與關系數據庫的映射技術研究[D].泉州:華僑大學，2004.

[7] 王坤.基于SVPWM的STATCOM設計及實現[J].陜西電力，2011（1）：11-15.WANG Kun.SVPWMbased design and realization of STATCOM[J].Shaanxi Electric Power，2011（1）：11-15.

[8] 肖笑.基于BCC算法的多機系統PSS參數優化設計[J].陜西電力，2012（12）：51-54.XIAO Xiao.Optimal design of multii-machine power system stabilizer parameters based on bacterial colony chemotaxis algorithm[J].Shaanxi Electric Power，2012（12）：51-54.