新一代信息技術趨勢下數(shù)據(jù)遷移的研究分析

董海波

摘 要 本文通過對大部分系統(tǒng)構建平臺數(shù)據(jù)遷移的調研，對數(shù)據(jù)遷移的成功和失敗案例進行分析，結合新一代技術的發(fā)展規(guī)律，闡述了數(shù)據(jù)遷移的原則、方法和校驗方法，為今后金融信息化管理系統(tǒng)構架設計提供了堅實的理論依據(jù)。

關鍵詞 數(shù)據(jù)遷移;信息技術;數(shù)據(jù)庫

當今世界信息技術飛速發(fā)展，大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等信息技術的融合發(fā)展日趨成熟，性能不斷提升，成本不斷降低。在飛速發(fā)展的趨勢下數(shù)據(jù)遷移工作就顯得格外重要。經(jīng)過大量的數(shù)據(jù)遷移工作調研中，發(fā)現(xiàn)一些共性問題。首先是不堅持數(shù)據(jù)遷移原則，雖然在整個過程中去的數(shù)據(jù)遷移順利完成，但經(jīng)過一段時間的系統(tǒng)工作發(fā)現(xiàn)所遷移的數(shù)據(jù)不標準且無法修復，導致數(shù)據(jù)遷移不法正常使用和遷移工作失敗。其次是數(shù)據(jù)遷移的方式方法選擇不正確，遷移工程完成后數(shù)據(jù)遷移校驗過程不完善，最終導致數(shù)據(jù)遷移失敗。

1數(shù)據(jù)遷移原則

數(shù)據(jù)遷移應遵循一致性、完整性、標準化原則。

數(shù)據(jù)遷移應遵循一致性原則。對重構或新建的系統(tǒng)保障系統(tǒng)之間業(yè)務功能數(shù)據(jù)銜接應完全一致。在新部署模式下導入系統(tǒng)的數(shù)據(jù)與原始數(shù)據(jù)保障一致性;替換模式下新老系統(tǒng)同步運行需要保障系統(tǒng)數(shù)據(jù)集成完整一致。新加入的子系統(tǒng)之間的數(shù)據(jù)保障一致性。業(yè)務數(shù)據(jù)與統(tǒng)計數(shù)據(jù)一致性保障，在遷移的核心業(yè)務數(shù)據(jù)基礎上，遷移必要的歷史數(shù)據(jù)，以滿足統(tǒng)計決策數(shù)據(jù)統(tǒng)一性要求。

數(shù)據(jù)遷移應遵循完整性原則。遷移的數(shù)據(jù)應包含結構化的數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)和非結構化的文件系統(tǒng)數(shù)據(jù)，應包含電子檔案庫的圖形文件信息、電子文件系統(tǒng)數(shù)據(jù)和存儲于數(shù)據(jù)庫中的各種辦公業(yè)務數(shù)據(jù)及其他相關的各種數(shù)據(jù)。

數(shù)據(jù)遷移應遵循標準化原則。數(shù)據(jù)遷移應提前設定對應標準，保障數(shù)據(jù)遷移過程高效有序進行，規(guī)范的數(shù)據(jù)遷移過程對提高數(shù)據(jù)質量是必不可少的首要條件。對應的數(shù)據(jù)遷移標準應包括：數(shù)據(jù)對照標準、數(shù)據(jù)的轉換標準和中間文本的標準，提前制定并在遷移過程中嚴格依據(jù)標準實施。除指定對應的遷移標準外，還需要制定數(shù)據(jù)問題解決機制及流程，規(guī)范數(shù)據(jù)清理、數(shù)據(jù)問題反饋機制，將有效提高數(shù)據(jù)遷移的質量[1]。

2數(shù)據(jù)遷移方法

數(shù)據(jù)遷移前要做好充分的準備工作。首先考慮到新舊數(shù)據(jù)庫系統(tǒng)不同，整合新數(shù)據(jù)庫與原數(shù)據(jù)庫要考慮使用不同的腳本將原有數(shù)據(jù)庫表數(shù)據(jù)遷移到臨時數(shù)據(jù)庫才能做下一步的遷移工作;同時應充分考慮到新舊數(shù)據(jù)庫表結構是否一致，需要分別設計不同的遷移程序和執(zhí)行方案以確保數(shù)據(jù)順利遷移到新系統(tǒng)。其次，數(shù)據(jù)遷移過程中必須充分考慮數(shù)據(jù)遷移的相關內(nèi)容和相關流程，尤其是需要特別關注元數(shù)據(jù)中數(shù)據(jù)字典的歸納整理、原始數(shù)據(jù)的數(shù)量和質量分析檢測、遷移后的數(shù)據(jù)字典分析整理、遷移前和遷移后數(shù)據(jù)內(nèi)容和質量的差異梳理分析監(jiān)測、建立數(shù)據(jù)遷移前后的映射關系、部署梳理數(shù)據(jù)轉換和遷移的任務工作流程、制定應急處理方案、實施數(shù)據(jù)轉換與數(shù)據(jù)遷移工作、檢查遷移數(shù)據(jù)的完整性與正確性。經(jīng)過調研分析現(xiàn)有的方法共分為三種，分別是工具遷移、手工錄入和新系統(tǒng)生成。工具遷移是指利用特定便攜的程序等手段，將原系統(tǒng)中的數(shù)據(jù)經(jīng)過分析梳理歸納，轉換并抽取到新系統(tǒng)。數(shù)據(jù)遷移程序可以選擇現(xiàn)有市面中成熟產(chǎn)品，這樣做適用于數(shù)據(jù)無特殊要求的。也可以自主開發(fā)的遷移程序，實現(xiàn)個性化的數(shù)據(jù)遷移。手工錄入是指人為手工錄入數(shù)據(jù)到新系統(tǒng)中。手工錄入既消耗人力、物力，同時人為操作的出錯率也很難降低，不建議采納使用。手工錄入主要應用于原系統(tǒng)數(shù)據(jù)量小，且使用其他方法遷移數(shù)據(jù)的特殊狀態(tài)。手工錄入往往是為工具遷移而無法完全遷移的補充方式。新系統(tǒng)生成是指在建設構建新的系統(tǒng)時提前構建便攜了相應的數(shù)據(jù)生成功能，或為數(shù)據(jù)遷移工作配套建設了相關數(shù)據(jù)，根據(jù)數(shù)據(jù)遷移的需要來生成所需的信息。新系統(tǒng)生成方法使用是有前提的，原始需遷移數(shù)據(jù)能夠通過其他數(shù)據(jù)產(chǎn)生。此方法多用于統(tǒng)計分析數(shù)據(jù)的遷移，或對原系統(tǒng)中統(tǒng)計分析數(shù)據(jù)的遷移校驗[2]。

3驗證數(shù)據(jù)遷移方法

通過歸納總結，數(shù)據(jù)遷移方法的驗證主要有兩個途徑，途徑一是數(shù)據(jù)試遷移后對數(shù)據(jù)的質量進行分析;途徑二是數(shù)據(jù)試遷移后在測試環(huán)境執(zhí)行動態(tài)查詢、報表統(tǒng)計、業(yè)務操作來檢查數(shù)據(jù)抽取、遷移的方法是否正確。通過對遷移流程、工具、方式進行多次測試，反復進行，發(fā)現(xiàn)問題，解決問題，直到數(shù)據(jù)質量比對完全正確，測試環(huán)境業(yè)務操作、查詢和報表統(tǒng)計功能準確無誤。

（1）數(shù)據(jù)進行質量分析。數(shù)據(jù)遷移前必須進行數(shù)據(jù)的質量監(jiān)測分析，即通過數(shù)據(jù)監(jiān)測抽取對數(shù)據(jù)質量踐行檢查，可以使用相關工具或有針對性的自行編寫檢查程序進行數(shù)據(jù)校驗。數(shù)據(jù)監(jiān)測檢查的重點體現(xiàn)在：數(shù)據(jù)和數(shù)據(jù)結構的完整性查，數(shù)據(jù)主鍵和引用外鍵檢查;數(shù)據(jù)的高度一致性，含義相同的數(shù)據(jù)在不同引用位置的數(shù)據(jù)值是否高度一致;記錄條數(shù)檢查;特殊樣本數(shù)據(jù)的檢查。（2）通過測試環(huán)境對遷移方法進行檢查。數(shù)據(jù)試遷移后在測試環(huán)境進行查詢、報表打印和舊系統(tǒng)進行核對;在測試環(huán)境運行業(yè)務功能，檢查數(shù)據(jù)是否正確，重點驗證靜態(tài)數(shù)據(jù)是否正確;在測試環(huán)境運行業(yè)務流程，檢查數(shù)據(jù)流轉是否正確，重點驗證動態(tài)數(shù)據(jù)是否正確。在實際工作中，通常的方法是將遷移后的數(shù)據(jù)恢復到遷移之前的數(shù)據(jù)系統(tǒng)前一天的狀態(tài)，然后將最后一天發(fā)生在遷移數(shù)據(jù)系統(tǒng)上的數(shù)據(jù)全部補錄到新系統(tǒng)，檢查遷移之前系統(tǒng)數(shù)據(jù)是否存在不一致的情況，同時也要講遷移后的系統(tǒng)數(shù)據(jù)結果進行各種比對，最終確定遷移方法的可能性。

4遷移數(shù)據(jù)驗證

數(shù)據(jù)遷移完成后的首要任務是進行遷移數(shù)據(jù)的驗證。首先通過數(shù)據(jù)遷移驗證程序進行數(shù)據(jù)檢查，檢查數(shù)據(jù)遷移的完整性和真實性，使用數(shù)據(jù)遷移驗證程序對新舊系統(tǒng)的數(shù)據(jù)表字段進行比對，確保舊系統(tǒng)中的字段經(jīng)過遷移轉換后的結果與新系統(tǒng)的數(shù)據(jù)表字段能夠一一對應;其次使用數(shù)據(jù)遷移程序統(tǒng)計新舊系統(tǒng)中各數(shù)據(jù)表遷移數(shù)據(jù)的總記錄數(shù)以及重要數(shù)據(jù)的合計數(shù)并進行對比，確保遷移數(shù)據(jù)的總條數(shù)的合計性一致，從而確保待遷移數(shù)據(jù)的完整性。

最后值得一提的是在實際的數(shù)據(jù)遷移工作中，通過對舊數(shù)據(jù)庫進行分層、分類和分時備份，是預防數(shù)據(jù)遷移過程中出現(xiàn)意外情況的有效解決途徑。

參考文獻

[1] 楊洪章，楊雅輝，屠要峰，等.基于“采集—預測—遷移—反饋”機制的主動容錯技術[J].計算機研究與發(fā)展，2020，57（2）：306-317.

[2] 賓璐.淺析信息系統(tǒng)數(shù)據(jù)遷移的方法[J].網(wǎng)絡安全技術與應用，2020，（1）：66-67.