系統數據遷移總體設計分析

李瑞

摘 要：數據遷移目的是將原有應用程序和數據庫系統架構，遷移到新系統架構中，并進行針對性的適配工作。為保證遷移過程中不對原有系統造成影響，數據遷移需在全新的系統環境中進行。

關鍵詞：數據遷移;設計;分析

數據遷移是將原有系統中的數據，通過存儲設備（如光盤、磁帶、U盤等）或網絡系統移動到新系統的存儲過程。被遷移數據一般是需要在以后任何時間內可通過新系統進行有效訪問的文檔、圖像、數據庫等歷史數據。在數據遷移過程，要結合備份與遷移的雙重策略，并在遷移到新系統后，仍需要定期對數據進行備份操作。

1、遷移數據的分析

為盡量規避數據遷移時的風險，順利完成遷移，制定數據遷移方案時必須遵循一個統一的通用遷移規范。從全局角度考慮，給出系統遷移通用的策略、規范，制定遷移方案。

規范具體內容包括遷移目標、遷移范圍、遷移實施、遷移檢查、風險分析等方面。

在制定遷移方案時，需要明確遷移范圍。什么數據需要我們完全遷移，什么數據需要我們部分遷移，什么數據不需要我們遷移，等等。

2、熟悉系統軟硬件平臺

為了更好了解系統間的兼容性，有效提高數據遷移效率，必須要了解現有系統的軟硬件平臺。比如說，熟悉主機系統技術參數配置情況、熟悉數據庫表結構、熟悉操作系統及版本號、熟悉應用服務器中間件等。

3、數據遷移措施的制定

數據遷移需要根據系統現實情況，制定不同的遷移措施。主要分為三種，一是通過專業工具進行數據遷移、二是通過人工對數據的錄入進行遷移、三是通過系統功能模塊進行數據生成。

（1）專業工具進行數據遷移。在新系統遷移前，使用數據遷移工具（或數據遷移程序）把原有系統中的歷史數據抽取、轉換，并掛載到新系統中去。采用此種遷移措施的必要條件是，原有數據不僅可以正常運行，而且可以順利加載到新系統中。

（2）人工對數據的錄入進行遷移。在新系統遷移前，要整理待遷移數據，并進行數據分割，安排有關工作人員將分割后的數據進行整理，并進行錄入。由于采用人工錄入，錄入的準確性不易保證，并且產生較高的人工成本。采用此方法主要因為原有系統的數據無法通過工具遷移到新系統內，并且新系統在數據加載過程中，必須調用此類數據。該措施是對專業工具進行數據遷移的有效補充。

（3）系統功能模塊進行數據生成。新系統上線后，可通過新系統的功能模塊或定制的數據遷移支持程序自動生成相關數據。一般這種情況下，要將遷移到新系統的數據生成我們需要的信息。采用此種遷移措施的必要條件是，這些數據可以從其他數據生成。

4、數據遷移策略的選擇

數據遷移策略是指采取何種模式對相應的數據進行有效遷移。根據相關遷移措施，主要分為四種策略：一次遷移，分次遷移，先錄后遷、先遷后補等四種策略。要根據不同的數據遷移環境，制定針對性的遷移策略。

（1）一次遷移。一次遷移是指，采用數據遷移工具（或遷移應用程序），將原有系統中的所有歷史數據，一次性的遷移到新系統當中。

優點：一次性遷移的實現過程相對較短。與分次遷移相比，遷移過程中遇到的問題較少，遷移風險相對較低。

缺點：遷移過程中勞動強度較大，相關工作人員需要實時關注數據遷移的進度。如遇遷移數據量較大時，會對數據遷移人員的身體狀況造成較大的負面影響。一次遷移的必要條件是老系統與新系統的數據庫結構相近，在保證一定宕機的時間范圍內，可完成所需數據的遷移工作。

（2）分次遷移。分次遷移是指，采用數據遷移工具（或遷移應用程序），將原始系統中的所有歷史數據分多次遷移到新系統中。

分次遷移能夠將遷移任務分開推進，合理的規避了遷移數量大以及對宕機時間要求短之間的問題。但是，由于分次遷移，數據可能會被合并多次，提高了發生錯誤的概率。為了能夠確保遷移時數據的完整性和一致性，在分次遷移的期間，較早遷移的數據需要同步，這增加了遷移的復雜性。

在分次遷移前，要對所遷移數據信息進行研究分析，首先遷移靜態數據和更改頻率較低的數據，如用戶信息、代碼和其他相關數據。然后再對系統內的動態數據進行遷移工作，如辦公業務信息等。如果遷移的靜態數據發生變化，則需要每天在新系統中同步，或者可以增量同步到新系統。

（3）先錄后遷。先錄后遷是指，在新系統上線前，將部分數據通過人工錄入到新系統內。待新系統上線后，將剩余的歷史數據遷移到新系統。

采用此種策略主要原因是新舊系統內的數據結構存在一些特殊的差異所致。在新系統上線時，無法從原有系統的數據中進行遷移，需要特定的初始數據才可正常運行。對于新系統的這部分初始化數據，在上線前需要手工錄入，以確保新系統的正常運行。

（4）先遷后補。先遷后補是指，在新系統上線前采用數據遷移工具（或遷移應用程序），將原始系統中的歷史數據遷移到新系統。然后通過新系統的功能模塊，或者為數據遷移定制開發的配套程序，通過與原系統數據進行對比，生成新系統所需數據的結果，再最終進行相應的補錄工作。此種策略可以有效的降低遷移的數據量。

對于歷史數據遷移，可以按以下思路進行開展工作：

1）分析歷史數據邏輯結構、關聯關系和設計限制;2）制定詳盡的升級計劃，細致、完整考慮各種可能因素、潛在風險;3）根據數據庫類型，編制數據轉換、遷移工具;4）編制歷史數據查詢檢索程序，在新系統中可以方便的查詢檢索;5）正式遷移前，實施數據遷移測試，確保無誤;6）實施歷史數據遷移，通過編制好的數據遷移程序，將歷史數據遷移到新系統中;7）對于遵循規則的數據，遷移工具將自動實現數據修正;對于那些不完整或不符合數據轉入到不合格數據記錄表，并提交給相關部門，由業務處室統一協調相關單位、部門完善這些數據;8）對遷移后的數據進行一致性核對，包括數據格式、數據長度、數據有效區間范圍、空值和默認值、完整性以及一致性等;9）對歷史數據在新系統中的各項業務功能進行詳細測試，并記錄測試結果。

5、數據遷移工具選擇

數據遷移工具的開發和部署主要有兩種選擇，一種是獨立開發數據遷移工具，另一種是購買成熟的數據遷移產品。這兩種選擇均有各自特點，選擇時還需要根據具體情況進行相應的分析。結合實際項目需要，盡可能選擇市場成熟度高的產品，同時自主開發的產品也應在被考慮范圍內。

參考文獻：

[1]宋杰.大數據處理平臺[M].人民郵電出版社：學術中國？大數據， 201712.235.

[2]黃建軍，龔瑋瑋，肖英劍.基于Oracle數據庫查詢優化策略的研究[J].電腦知識與技術.2019（13）

[3]何曉慶，王圣潔，張雅晴，孫詩，蔣旭.數字信息資源長期保存研究[M].四川大學出版社：， 201807.340.

[4]宋杰.大數據處理平臺[M].人民郵電出版社：學術中國？大數據，201712.235.