基于DTS的汽車檢測線異構數據源轉換研究

夏均忠，馬宗坡，白云川，王 萌

（軍事交通學院汽車工程系，天津 300161）

0 引 言

當前各級、各類檢測站中多種檢測方式和檢測控制系統并存的現狀，造成了檢測機構數據庫和數據庫表異構現象明顯的問題，給數據的匯總、分析等造成很大影響。數據庫的異構體現在各檢測機構控制系統使用的不同數據庫，如Access、SQL Server 2000等；數據庫表的異構體現在字段名和表名的異構，相關字段由于對數據值的要求不同而產生的異構等[1-3]。

經過十幾年的發展，各檢測機構已經保存了大量的日常業務數據。為了統一規范這些數據源，從而有效地進行檢測數據匯總、統計、分析和決策，本文研究了基于DTS的汽車檢測線Access數據源到SQL Server數據源的轉換。

1 數據轉換服務

數據轉換服務（digital transformation service，DTS）是SQL Server的一個組件，它提供了多種異構數據庫之間的數據轉換模型，可用于在一個或多個數據源（如 SQL Server、Excel、Access、ORACLE）間進行數據導入、導出和轉換。DTS還可通過ActiveX腳本語言，如VB Script來轉換數據，數據轉換腳本可以執行能在腳本語言中執行的任何動作，這種靈活性使DTS成了一個強大的數據遷移工具[4-7]。

DTS包的對象結構如圖1所示。連接對象定義數據源及數據目的；任務對象定義工作項目，例如ActiveX轉化、數據驅動的查詢任務等；步驟對象定義任務對象執行的次序。

圖1 DTS轉換包結構圖

1.1 讀取數據源的元數據

在關系數據庫中，元數據就是對表、列等的定義。通過ADO中CONNECTION對象的GetTableNames方法可以得到數據源的表信息，而通過ADO中RECORDSET對象的FieldDefs屬性可以得到各種列信息和類型信息[8]。

在得到元數據前，必須創建CONNECTION對象連接數據源，通過數據集對象RECORDSET來打開相應的數據表，取得相應的元數據。

1.2 轉換數據類型的對應

對不同數據庫系統，每個DBMS都定義了一套自己的數據類型，但不論數據類型在各個系統中如何變化，其功能都滿足用戶的數據處理基本要求。如數值型，包括整型、實型、浮點型、雙精度型等；字符型，包括定長、變長等；日期型，包括年、月、日和小時、分、秒等。

異構數據庫數據類型轉換的關鍵是找出其中的對應關系。

1.3 數據轉換的沖突及處理

在數據轉換過程中，必須要確定兩種模型中所存在的各種語法和語義上的沖突，這些沖突可能包括：

（1）命名沖突。源數據源的標識符可能是目的數據源中的保留字。

（2）格式沖突。同一種數據類型可能有不同的表示方法和語義差異，如檢測線數據庫中有用大寫英文字母“E，T，F”表示檢測結果合格與否，也有直接用漢字表示。

（3）類型沖突。不同數據庫的同一種數據類型存在精度之間的差異。

對于數據轉換中的沖突最理想處理方法是借助轉換工具自動實現。

1.4 數據轉換的完整性

數據的完整性主要是指數據的正確性和相容性。如發動機號碼或底盤號碼不唯一。在關系型數據庫中，主要有實體完整性、參照完整性和用戶定義的完整性3類。實體完整性和參照完整性是關系模型必須滿足的完整性約束條件[9-11]。

在數據轉換過程中依據數據目的表的約束，對導入數據進行一一核查，出現不符合完整性約束的垃圾數據時，應予以即時清除。

2 汽車檢測線DTS轉換包設計

設計DTS轉換包的流程依次為建立連接對象、建立任務對象、建立步驟對象。

2.1 建立DTS連接

DTS提供了3種連接類型：

（1）數據源連接。通過OLE DB Provider或ODBC驅動程序來連接數據源或數據目的。

（2）文件連接。用于連接以文本文件作為數據源與數據目的。

（3）Microsoft Data Link連接。DTS包使用 Microsoft Data Link文件建立OLE DB連接以解決執行時的連接問題。

數據源連接與文件連接用于在建立DTS包時連接相關屬性已經確定的數據源與數據目的連接，而Microsoft Data Link連接用于在建立DTS包時連接相關屬性不確定，而只有在執行DTS包前才能確定連接屬性的數據連接。

由于在建立DTS轉換包時無法確定源數據庫所在目錄、用戶密碼等連接屬性，所以對數據源采用Microsoft Data Link連接。在開始轉換前通過選擇和輸入獲取源數據庫的連接相關屬性。

而數據目的連接屬性在建立DTS包前就已確定，所以對數據目的的連接采用數據源連接方式。

2.2 建立DTS任務

在新建的DTS包中使用數據驅動的查詢任務和ActiveX腳本任務來完成DTS任務。數據驅動的查詢任務用于數據Transact-SQL操作，完成新建、修改與刪除數據目的中的數據記錄。ActiveX腳本任務用來完成其他操作，如訪問配置文件、全局變量的設置與訪問、數據記錄集的訪問等。

共建立了17個DTS任務來完成數據轉換任務，這些任務分為3類：

（1）車輛基本信息的轉換。包括車輛VIN、發動機號碼、底盤號碼、車輛顏色、使用階段、車牌號碼等信息的轉換。

（2）檢測站信息的轉換。包括檢測站基本信息轉換、設備管理數據轉換。

（3）檢測結果的轉換。包括車輛檢測信息轉換、車輛評價結果轉換、各工位檢測結果轉換等。

圖2為車輛基本信息轉換任務圖，主要完成車輛基本信息的轉換工作。

圖2 車輛基本信息轉換任務圖

車輛基本信息轉換任務中使用的是數據驅動的查詢任務，通過VB Script語言來進行數據字段的轉換。部分VB Script腳本代碼如下：

2.3 建立DTS步驟

DTS步驟是建立一個工作流結構以控制DTS包中各個DTS任務的執行順序。每一個DTS任務必須至少與一個DTS步驟相關聯，否則該DTS任務將不會被執行。通過建立DTS步驟完成汽車檢測線Access數據源到SQL Server數據源的數據轉換服務。

圖3 DTS轉換包結構圖

3 檢測線DTS轉換包的運行

當DTS包被執行時，會連接至正確的數據源、復制數據、轉換數據和處理某些事務。包的執行方式有多種：在Enterprise Manager中執行；使用命令行工具dtsrun執行；使用圖形界面工具dtsrunui執行；在前端應用程序調用DTS包對象的Execute方法執行等。為了能使DTS包在脫離SQL Server軟件環境下獨立運行，并且始終運行最新版本的DTS包，提高轉換效率，本文選擇了在前端Visual Basic.net程序調用DTS包對象的Execute方法。該方法使用簡單、靈活，而且可以轉換大部分數據庫數據源、文本文件等異構數據源，適用范圍較廣。

在DTS設計器中設計了轉換包后，為了方便復制、遷移和傳送DTS包，將其存儲為一個結構化存儲文件，文件完整的磁盤路徑設為X:…VIT.dts。

4 結束語

基于DTS的汽車檢測線異構數據源轉換研究，實現了汽車檢測線Access數據源到SQL Server數據源的轉換，能夠統一規范各檢測站汽車檢測數據庫，便于汽車檢測數據的匯總、統計和分析決策。

由于DTS可以通過圖形化的DTS設計器和導入導出向導交互式使用，操作簡單方便，可移植性強[12]，更容易被一線檢測人員接受和掌握，具有相當的實用性。

[1] 夏均忠.汽車檢測技術與設備[M].北京：機械工業出版社，2009.

[2]陳建平，張會章.汽車安全檢測系統的設計與實現[J].微計算機信息，2006，22（122）：229-231.

[3] 趙祥模，馬建，關可，等.汽車綜合性能分布式計算機網絡自動測控系統[J].長安大學學報：自然科學版，2003（5）：94-98.

[4] 王俊偉，史創明.SQL Server2000中文版數據庫管理與應用標準教程[M].北京：清華大學出版社，2006：380-399.

[5] Rankins R，Garbus J R，Solomon D，et al.Sybase SQL Server 11 UN-LEASHED[M].The United States：Sams Publishing，1996.

[6] 高建強，李偉，秦克明.異構數據源間數據轉換技術的研究與實現[J].計算機工程，2005，31（18）：93-95.

[7] 周永鋒，鄧蘇，楊強，等.基于DTS對象模型的DTS包實現[J].計算機應用，2002，22（11）：112-113.

[8] 李學榮，李莎.基于元數據的異構數據源集成系統設計與實現[J].計算機應用，2005（25）：209-210.

[9] 馬廣慧，邵秀麗，李耀芳.基于XML的異構數據源間數據交換的實現[J].天津師范大學學報：自然科學版，2008，28（1）：76-80.

[10]Collins S R，Navathe S，Mark L.XML schema mappings for heterogeneous database access[J].Information and Software Technology，2002，44（4）：251-257.

[11]何繪宇.構件式遠程校準系統設計與應用[J].中國測試，2009，35（4）：126-128.

[12]王勝德，楊學強.利用DTS實現異構數據庫的數據交換[J].計算機應用，2003，23（7）：132-134.