一種異構信息系統數據遷移技術研究

趙艷妮，郭華磊（.陜西職業技術學院計算機科學系，西安　7000；.西安通信學院信息服務系，西安　7006）

一種異構信息系統數據遷移技術研究

趙艷妮1，郭華磊2
（1.陜西職業技術學院計算機科學系，西安710100；2.西安通信學院信息服務系，西安710106）

0　引言

數據庫遷移作為一種實現數據共享的方式被主流數據庫廠商所支持，商業數據庫附帶的數據遷移工具主要有SQL Server數據庫的數據轉換服務DTS、Oracle數據庫的Migration Workbench、DB2數據庫的Universal Database Migration Toolkit、MySQL數據庫的Migration Toolkit和達夢數據庫的數據交換平臺DMETL。商業 ETL工具主要包括國外的 Datastage、Powercenter、ETL Automation和國內的Beeload、Primeton DI、ReiK-ing ETL等。開源ETL工具主要包括國外的Kettle、Talend和國內的TASKCTL。上述三種異構數據庫ETL工具，各有其優缺點。數據庫自帶ETL工具出于商業目的完全支持自己數據庫系統的操作使用，對其他數據庫系統支持較差；商業ETL工具功能最全面，幾乎支持所有主流數據庫，但價格昂貴；開源ETL工具成本低，但是后期培訓費用較高，功能有限，穩定性和安全性無法保證［1］。本文提出一種通用異構數據庫數據遷移的設計思路和實現方法，解決數據庫系統類型不同導致的數據無法共享問題。

1　異構數據庫遷移技術

如圖1所示，數據遷移的基本流程包括需求分析、技術實現和遷移驗證3個重要環節。鑒于新老系統設計的差異和復雜性，需要進行遷移驗證，比較遷移后新老系統的運行差異，發現不足，通過多次迭代不斷優化遷移方案，實現系統切換后業務功能的平穩過渡。信息服務系統信息遷移的基本流程分為準備、實施和評估三個階段［2］。

（1）準備階段。分析、清洗源數據，確定遷移方案。首先，分析源數據。理清現有信息系統存儲平臺、操作系統類型、數據庫系統結構以及數據之間的邏輯關系。然后，清洗源數據，并確定遷移方案。根據業務需求，刪除冗余、錯誤數據，改造二義數據，實現信息的清洗和抽取，確定信息遷移范圍和方案。

（2）實施階段。包括預遷移和實施遷移。首先，進行信息預遷移，即采用既定的遷移方案，從各種數據類型中抽取樣本數據遷移到目標平臺上。若遷移成功，則按該方案實施整體信息遷移；否則，返回源數據分析階段，重新制定遷移方案。

圖1　信息遷移基本流程示意圖

圖2　基于XML技術的異構數據庫系統信息遷移框架圖

（3）評估階段。進行系統可用性評估和目標數據檢查。首先，進行系統可用性評估。測試完全遷移后的數據對應用業務的支持能力。若通過評估，則進行目標數據檢查；否則，重新確定遷移方案。目標數據檢查，即對數據進行合法性、完整性和一致性檢查。若檢查通過，移交數據；否則，重新遷移。

現有信息系統所使用的數據庫系統，存在數據庫類型多樣、數據格式不統一等問題，其異構性主要體現在以下三個方面［3］：

（1）數據庫系統異構。數據可存儲在關系型、層次型、網絡型、面向對象型和函數型等多種數據庫系統中，甚至文本文件中；

（2）數據類型異構。主要表現在：不同數據庫系統，支持的數據類型不同；即使同一數據類型，其精度、計量單位、存儲方式等也可能不同；

（3）數據庫語義異構。主要表現在：相同數據庫字段名稱，業務含義不同；相同業務含義，數據庫字段名稱不同；數據之間的完整性約束不同等。

實現異構數據庫系統間信息遷移的關鍵，是利用中間件的轉換功能，解決數據庫系統間的異構沖突。中間件技術是根據全局統一的公共數據模式和數據描述格式，準確無二義地定義需遷移的數據格式，形成規范性說明文檔，進行數據轉換。可采用基于元數據、本體或XML等技術來實現。如圖2所示，描述了基于XML技術實現信息遷移的具體過程。

基于XML技術的異構數據庫系統之間的信息遷移，通過將數據映射為XML文檔、數據類型映射為XML Schema文檔的形式，建立文檔和數據庫系統之間的映射關系，解決不同數據庫系統間的異構問題［4］。

在信息服務系統運行階段，經常需要在保持業務連續性的條件下，實施在線的信息遷移，以滿足系統平臺的擴展升級和數據庫系統的建設維護需求。

基于XML異構數據庫信息遷移基本思路［5］：首先，建立源數據庫表到目標數據庫表的映射關系模型，將源數據庫中數據按照指定規則抽取并轉換為XML特定格式保存到XML數據文件中；然后，根據需求對XML數據文件進行相應的數據更新和數據清洗，減少數據的錯誤率和冗余度；最后把XML數據文件中數據轉換為目標數據庫表相應字段格式裝載到目標數據庫中。基于XML的數據遷移框架圖如圖2所示。

在異構數據庫之間利用XML進行數據遷移，要建立XML關系數據模型。XML數據關系模型以XML文件的形式表示源數據庫表與目標數據庫表之間的映射關系。利用DOM4J解析器把XML數據文件的數據按照要求導入到目標數據庫中。基于XML的關系數據模型結構圖如圖3所示。

圖3　基于XML的關系數據模型結構圖

由關系數據庫轉換為XML模式，關鍵有以下兩點［6］：

（1）結構方面，能夠用XML最直觀最精確的方法表示出關系數據的結構；

（2）語義方面，盡可能多的直接從數據庫中獲取，并用最好的方式表達出來。

關系數據庫的數據結構本身是一種扁平結構，因此在映射到XML時，用XML元素表示關系數據庫的列屬性，使用屬性和元素都能夠很好的表達數據類型靈活，支持更多的語義約束，更容易擴展。當與關系數據庫進行轉換時，可以利用傳統的“對象—關系”映射技術來實現。如圖4所示。

圖4　關系數據庫與XML文檔轉換圖

2　關鍵技術

將文本、圖片、視頻、音頻等半結構化、非結構化數據遷移到數據庫時，都是按照文件的方式存儲在大字段中，例如，SQL Server數據庫數據類型為 “image”字段，Oracle數據庫數據類型為“BLOB”字段，用來存儲圖片、文本、音頻和視頻等信息，種類多、原理差異性非常大。因此，針對大字段數據的遷移是數據遷移的核心技術，也是評估數據遷移是否成功的關鍵。

異構數據庫信息遷移技術采用二進制流文件方式實施大字段數據遷移［7］，具體過程如下：

（1）根據制定的數據遷移方案，建立源數據和目標數據庫字段間的映射表；

（2）根據字段映射表和查詢條件讀取源數據庫數據，如果是大字段類型，采用文件流方式，把數據轉換為二進制字符串，寫入到中間文件中（本文大字段中間文件采用txt方式）。在XML文件中記錄大字段的字段類型，在XML文件中大字段對應的元素內容記錄中間文件的存儲路徑，把源數據庫中大字段內容以二進制流方式讀出，轉化為二進制字符串寫入到中間文件；

（3）最后，解析XML文件，依據XML文件中大字段對應的元素內容記錄中間文件的存儲路徑讀取中間文件內容，把二進制字符串轉換為二進制形式以流的形式寫入到目標數據庫。

基于“源數據庫-XML-目標數據庫”的異構數據庫遷移技術。在信息管理系統升級改造過程中，數據表結構、表名稱，以及字段名稱和類型可能發生改變，具體措施如下：

（1）根據制定的數據遷移方案，生成源數據和目標數據庫之間的映射表，實現源數據表字段和目標數據庫表之間的映射。如果表映射是“一對一”關系，僅僅建立源字段與目標字段的映射；如果表映射是“多對一”或“一對多”關系，建立源表和源字段與目標表和目標字段組合的映射，通過組合映射解決表結構發生改變的問題；

（2）根據字段映射表，生產中間轉換的XML文件，記錄目標數據庫名稱、目標數據庫類型、目標表名稱、目標字段名稱和目標字段類型，其中把目標字段名稱作為XML的元素名稱，目標字段類型作為XML元素的屬性，把從源數據庫讀取的內容轉換為字符串，作為對應目標字段名稱元素的內容，如果是大字段，則存放其中間文件路徑；

（3）通過設置條件，可以查詢數據、刪除錯誤的數據、驗證數據等；

（4）通過解析XML文件，讀取目標數據庫名稱、目標數據表名稱、目標字段名稱和字段元素內容，根據字段名稱，在目標數據庫中讀取字段類型，然后根據字段類型把字段元素內容轉換為相應格式，生產相應SQL語句，裝載到目標數據庫。通過以目標字段名稱作為XML文件的元素，以該元素的字符串內容為該字段內容，解決了字段名稱和類型發生改變的問題。

基于XML的異構數據庫遷移系統利用自身的數據清洗功能，減少數據庫的冗余度。數據清洗分源表清洗和目標表清洗［8］。源表清洗指在數據遷移前對源數據庫進行數據清洗，優點是可以避免把臟數據或冗余數據遷移到目標數據庫，缺點是如果發生誤刪除，數據無法恢復；目標表清洗指在數據遷移之后對目標數據庫進行數據遷移，優點是如果發生數據誤刪除，可以通過源數據恢復誤刪除的數據，缺點是如果源數據有臟數據或冗余數據，也遷移到目標數據庫，可能造成一定的冗余。

源表清洗和目標表清洗都具有單表清洗和多表清洗。單表清洗按照設置的條件對數據進行刪除；多表清洗比較麻煩，如果多個表之間建立了級聯，為了保證數據的一致性，必須先刪除從表，再刪除主表，否則，數據庫發生級聯錯誤。數據清洗后，數據庫減少了錯誤率和冗余度，提高查詢的效率，保證數據的完整性和一致性。

3　綜合比較

本實驗通過用戶易用性、在多種數據庫類型之間的通用性、擴展性、數據遷移過程中安全性、遷移成本、具有消除臟數據功能和遷移效率幾個方面綜合評價幾種常用數據遷移工具。具體如表1所示。

表1　數據遷移方法對比情況表

通過與其他ETL工具比較，本方法技術簡單、功能全面，在通用性、數據完整性以及可擴展性方面具有明顯的優勢。

4　結語

本文提出的基于“源數據庫-XML-目標數據庫”的遷移技術解決了傳統手工遷移歷史數據的局限性，大幅提升了信息系統歷史數據遷移的效率，實現了不同類型數據庫間的信息遷移和集成，為企業業務系統更新換代過程中的信息資源的延續使用，及企業信息資源共享奠定了基礎，在保證準確率、完整性和精度的基礎上，效果顯著。

［1］劉如九，張振山，柴天佑.一種通用的多數據庫間數據抽取方法及應用［J］.北京交通大學學報（自然科學版），2008，32（4）：14-18.

［2］羅益輝，謝長生.基于QoS的數據遷移模型的設計［J］.計算機工程，2009，35（6）：57-59.

［3］齊少蕾，林慧蘋.一種適SaaS多租戶模式的數據遷移方法［J］.計算機工程與應用，2011，47（32）：65-70.

［4］Hu Jun，Huang Hou kuan，Gao Fang.A clustering algorithm for parallel coordinates-based measure model and its applications［J］. Journal of Nanjing University：Natural Sciences，2009，45（5）：645-655.

［5］趙艷妮，郭華磊.基于XML的數據遷移技術在信息系統升級中的研究與實現［J］.計算機應用與軟件，2014，31（12）：52-54.

［6］程利.數據庫應用平臺的異構數據遷移［J］.信息系統工程，2014，（3）：150-151.

［7］汪奮進.一個基于數據映射的個人信息匯聚及數據遷移系統的設計與實現［D］.北京大學，2014.

［8］吳淑瑋，閆訓超，曹齊.企業級信息系統數據遷移［J］.計算機系統應用，2013，22（7）：53-57.

Heterogeneous Database；Data Migration；Data Mapping

Research on Data Migration Technology of Heterogeneous Information System

ZHAO Yan-ni1，GUO Hua-lei2
（1.Department of Computer Science，Shannxi Vocational&Technical College，Xi'an 710100；
2.Department of Information Service，Xi'an Communication College，Xi'an 710016）

1007-1423（2015）24-0021-05

10.3969/j.issn.1007-1423.2015.24.007

趙艷妮（1982－），女，陜西藍田人，講師，碩士，研究方向為軟件工程

2015-07-20

2015-08-05

隨著新技術出現和業務發展，企業運行多年的信息系統需要升級改造，需要將舊系統的數據遷移到新系統，保證系統切換后業務平穩過渡。數據遷移不是單純的數據“搬運”，而是按照全新的“圖紙”進行數據“重構”，不僅要對舊系統中的業務數據進行清洗，還要完成新老系統數據的映射關系和新業務要素的生成規則，并最終完成數據內容和格式的轉換。在Eclipse開發平臺上開發一款異構數據庫數據遷移工具，利用XML為信息遷移平臺，建立一種有效的“源數據庫-XML-目標數據庫”映射模型，實現異構數據庫數據遷移，對信息系統數據遷移具有借鑒意義。

異構數據庫；數據遷移；數據映射

陜西省自然科學基金（No.2014JM8354）、陜西省教育廳重點實驗室科技項目（No.13JS083）

郭華磊（1981－），男，河南泌陽人，碩士，講師，研究方向為信息服務

With the new technology and business development，corporate operation information system needs to be upgraded for many years，migrate data from old system to new system，guarantee system after switching the business smooth transition.Data migration is not a simple “move”，but shall be carried out data“refactoring”in accordance with the new“drawing”，not only to the old system of business data cleaning，data mapping and complete the new and old system and new business elements to generate rules，and finally complete the data content and format conversion.On the Eclipse development platform to develop a heterogeneous database data migration tools，use of XML for migration of information transfer platform，establish an effective“source database-XML-target database”mapping model，realize the heterogeneous database data migration，it has reference significance for information system data migration.