關于大數據時代數據遷移關鍵技術的研究

趙亞強 王永倫 葛利軍

摘要：由于各行各業信息數據的復雜性和多維度，致使數據遷移成為信息系統更新的難點。隨著大數據和云計算的發展，云平臺數據中心已經成為各行各業信息系統的必須選擇，不僅避免了資源的浪費，也很大程度上減輕了未來的數據遷移工作，為未來智能化、智慧化建設奠定了基礎了。

關鍵詞：數據遷移;存儲;數據安全;加密

中圖分類號：TP309.3 文獻標識碼：A 文章編號：1007-9416（2019）12-0029-02

1 背景現狀

隨著科技的發展，尤其是最近的十年，各行各業的信息數據已經進入呈指數級增長的時代，隨著時間的推移，五年之前建設的信息系統已經無法滿足隨著信息數據的增長而帶來的高性能、高并發的需求。五年的使用時間已經造成了服務器的效率急劇下降，而且存儲軟件在五年內也進行了多次的更新換代，老版本的Oracle軟件性能已經無法滿足日益增長的業務量的需求，容易出現未知的宕機情況，對生產環境產生不必要的影響。因此，生產系統在使用了五年以后，都會對其軟硬件進行升級，更換更大更快的存儲和更新的軟件，軟硬件的升級必然會涉及到數據的遷移[1，2]。

2 數據遷移方法比較

數據遷移時，應做到先備份，再遷移，根據自身業務特性確定遷移方法。針對oracle數據庫的主流數據遷移技術有四種，分別是數據泵（DATA PUMP）數據遷移，Storage存儲遷移，RMAN數據遷移，Dataguard數據遷移[3，4]。

2.1 數據泵（DATA PUMP）數據遷移

數據泵（DATA PUMP）是最常用的數據遷移方法之一，是一種數據庫之間的高速傳輸技術，主要針對基于用戶級別的數據遷移。在新的數據庫中提前準備好和原數據庫中一樣的用戶名和表空間，為了保持數據的一致性，需要在導出原數據庫中數據之前，停止原數據庫的應用服務。由于oracle9i和大于oracle10g的版本有了不同的指令變化，oracle9i的導出/導入指令為exp/imp，而大于oracle10g版本的數據庫導出/導入指令為expdp/impdp。使用數據泵（DATA PUMP）進行數據遷移的優點是操作簡便，可以跨平臺使用;缺點是傳輸時間依賴網絡環境，為了保持數據的一致性，原數據庫在傳輸過程中需要停止其應用服務，即原數據庫中的數據需要保持靜止狀態。

2.2 Storage存儲遷移

Storage存儲遷移主要針對系統新的軟硬件跟之前相比相差不大，其數據庫的數據文件、控制文件、日志文件、spfile等都在存儲上，直接把存放這些文件的存儲掛載遷移到新的服務器上，再在新的服務器上啟動數據庫即可。使用Storage存儲遷移的優點是遷移方式非常簡單，主要的工作是存儲的備份和主機服務器的切換;缺點是新數據庫和原來數據庫要保持一致，也即是升級更新完硬件設備之后，數據軟件還是原來的版本，只能達到事倍功半的效果。

2.3 RMAN數據遷移

RMAN（Recovery Manager）是一種用于備份（backup）、還原（restore）和恢復（recover）數據庫的Oracle工具。RMAN只能用于ORACLE8或更高的版本中。在整個數據遷移過程中，RMAN能夠在數據遷移前對數據庫的數據文件、歸檔文件、表空間文件和歸檔文件等進行備份，從而實現即使數據遷移失敗也能夠保證二次實現數據遷移。由于RMAN獨特的快捷性和便利性，使得9i及以上版本的oracle數據庫通過其備份和恢復已經成為一種常態。利用RMAN做數據遷移的優點是數據遷移可以跨平臺，但是由于操作的復雜性，一般很少在實際操作過程中使用Rman跨平臺進行數據遷移。同樣，利用RMAN做數據遷移可以跨版本，但只能從低版本到高版本的跨越，無法實現從高版本到低版本進行數據遷移。RMAN是一把雙刃劍，能夠在同平臺、同版本上實現快速的數據遷移，但其缺點也很明顯，在數據遷移過程中，其過程無法控制，尤其是其備份的數據無法通過其他軟件進行恢復，只能通過RMAN進行恢復。

2.4 Dataguard數據遷移

DataGuard是Oracle數據庫自帶的一種數據同步功能，其他類型的數據庫也有同樣的功能，其基本原理是通過日志文件在兩個數據庫端進行同步傳輸，目標端數據庫應用傳輸過來的日志文件保持和源端數據庫的數據一致性。DataGuard不僅僅適用于數據遷移，也是一種可以提供數據庫容災、故障恢復的方法，可以實現在數據庫發生災難性故障時，實現數據庫的快速的切換和恢復。利用DataGuard做數據遷移和容災備份的優點是速度快、時間短，缺點是由于其快遞切換性，原數據的主機和存儲必須是雙份的，以保證其特性。

3 大數據時代數據遷移的關鍵點

進入大數據時代，相比于傳統意義上的數據遷移，其數據量大、數據維度多、數據安全要求高等特點成為阻礙大數據時代數據遷移的關鍵難點。

3.1 數據監控

在數據遷移過程中對整個遷移過程的各個任務進行全方位的監控，建立數據遷移監控平臺，可以及時監控數據遷移過程中的數據質量變化、完成作業數、正在運行作業數等數據，并結合服務器的CPU、內存、IO等運行時狀態數據，提供從服務器狀態、到數據狀態變化、ETL作業狀態的全方位監控。針對數據遷移過程中存在的異常情況，統一在監控平臺上展示，可選擇時段范圍和任務類型執行篩選異常作業展示，顯示異常作業的統計信息，顯示各異常作業的當前狀態信息，包括顯示作業類型、作業名稱、執行時間、進度條、是否重試、完成狀態等信息。

3.2 數據安全

在數據遷移過程中，數據的安全問題不可忽視，一旦數據被大規模匯集后泄露，將造成非常嚴重影響，因此需要對數據遷移的各環節進行科學分析，制定嚴密、可落地實施的數據安全保護策略，實現“以數據為中心的全生命周期的數據安全”。綜合實現攻擊者進不去、非授權者重要信息拿不到、竊取敏感信息看不懂、系統和信息竄改不了、系統工作癱不成和攻擊行為懶不掉的防護效果[5]。數據遷移過程中面對的安全風險主要是數據泄露和數據損壞。其中，以數據泄露最為嚴重。數據泄露有以下幾種渠道：物理存儲介質丟失;通過操作系統管理員身份拷貝數據庫存儲文件;通過數據庫管理員身份導出數據庫中數據表;數據跨安全域傳輸時被攔截或收集;數據備份同步時被攔截或收集;非授權業務系統查詢數據;合法業務系統“螞蟻搬家”式收集數據。

為了保證在數據遷移過程中數據的存儲和傳輸安全，應做到數據分級存儲，對不同級別的數據和不同的管理員授予不同的權限，對數據處理區和數據生產區在不干擾生產的情況下進行物理隔離，最大限度減小了全量數據的暴露面。同時，在傳輸過程中，對于生產數據庫區，配合加密機等專用設備還對數據存儲介質透明加密或對數據表關鍵字段進行加密，實現存儲介質和導出存儲文件脫離對應的環境無法解密數據。數據加密有效防止物理存儲介質丟失和通過操作系統管理員身份拷貝數據庫存儲文件。

4 云平臺數據中心

各個信息系統之所以會產生數據遷移的業務，最主要的原因是即便是同一行業，其各個信息系統的數據標準也不統一，無法形成大規模的云平臺數據中心，隨著時間的推移，系統的軟硬件更新換代只能通過新設備、新軟件替換，原始數據只能遷移到新的環境中。傳統意義上的大數據中心，存儲各個業務系統的數據，并不提供計算的資源，而隨著云平臺技術的逐漸成熟，兼容計算的云平臺數據中心已經成為各行各業整合信息系統數據資源，提高社會凝聚力的的必要條件。云平臺數據中心結構圖1所示。

在云平臺數據中心的結構中，各個行業信息系統的數據通過統一的數據標準進行數據的匯集，通過匯集鏈路，將數據匯集到云平臺數據中心。針對不同的行業的數據性質，一些行業數據具有相對的保密性，這些保密性數據在進行匯集時，需要將數據包進行加密，并且通過加密的鏈路進行匯集，在云平臺數據中心進行解密后存儲[6，7]。

建設云平臺數據中心的關鍵點在于前期的數據遷移整合和后期的計算資源的運維，而前期的數據遷移整合的最關鍵技術是大數據時代各個行業各個信息系統數據標準的不統一。由于各個行業系信息系統的數據格式和數據結構紛繁復雜，海量的結構化數據和非結構化數據，這些多元的異構化數據是整個數據匯集的難點，耗費的精力和時間成本也是最大。如何做到各類數據的匯集與融合，成為必須解決的難題。

5 對未來的展望

未來，各行各業對數據越來越重視，數據也變成了一種資產的體現，但數據本身無法自動產生相應的價值，要想使數據產生應有的價值，應在云計算的基礎上，結合現有的人工智能和大數據技術，使數據成為各行各業的強有力幫手。數據也是一把雙刃劍，對各行各業而言，依靠數據的支持，可以突破傳統，但也不能過分依賴數據。同時，隨著法律法規的健全，保護公民隱私信息成為一種必然的趨勢，對數據的安全保護的力度一定會越來越大，未來，數據安全必然國家安全信息保護工作的重點。

參考文獻

[1] 數據遷移[EB/OL].百度百科，2018-10-20.

[2] 遷移.數據中心遷移時的十項須知[J].網絡與信息，2011（06）：36.

[3] 段衛國，李俊春.Oracle數據庫數據遷移技術研究[J].信息技術，2015（08）：35-39.

[4] 張夢影.ORACLE到POSTGRES的數據庫遷移[D].上海：上海交通大學，2014.

[5] GB/T 22239-2019，信息安全技術網絡安全等級保護基本要求[S].北京：中國標準出版社，2019.

[6] 馮朝勝，秦志光，袁丁.云數據安全存儲技術[J].計算機學報，2015（01）：150-163.

[7] 范偉.云計算及其安全問題探討[J].保密科學技術，2011（10）：56-59.

Research on Key Technologies of? Data Migration in the Era of? Big Data

ZHAO Ya-qiang1， WANG Yong-lun2， GE Li-jun3

（1.First Research Institute of? the Ministry of? Public Security， Beijing? 100048;

2.Population Management Team of? Tianjin Public Security Bureau， Tianjin? 300384;

3.Beijing Institute of? Micro Technology， Beijing? 100006）

Abstract：Because of the complexity and multi dimension of information data in all walks of life， data migration becomes the difficulty of information system updating. With the development of big data and cloud computing， cloud platform data center has become a must choice for information systems of all walks of life， it not only avoids the waste of resources， but also greatly reduces the future data migration work， laying the foundation for the future intelligent and intelligent construction.

Key words：data migration; storage; data security; encryption