基于“自然資源云”的數據災備系統設計與實現

徐世亮 操 屹 計國興

1(江西省自然資源事業發展中心 南昌 330025) 2(九江市自然資源檔案館 江西九江 332005)

根據原國土資源部出臺的《國土資源部關于做好不動產登記信息管理基礎平臺建設工作的通知》和《國土資源部信息化工作辦公室關于印發“國土資源云”建設總體框架的通知》，某省自然資源廳在2017年開展了“自然資源云”支撐平臺和省級不動產登記信息管理基礎平臺建設項目，建設了“自然資源云”和省級不動產登記信息管理平臺，實現了將省級不動產登記信息管理平臺作為“自然資源云”的首個應用.隨著該省“自然資源云”的不斷應用，實現了自然資源“一張圖”等應用系統和數據上云.隨著省級不動產登記信息管理平臺和自然資源“一張圖”等系統的深度應用，積累了海量數據，對數據存儲和數據安全的要求更加凸顯.因此迫切需要升級一套高性能、高容量、高安全性、高可靠性、可擴展性的集中式存儲系統，并對重要數據進行有效保護，同時開展數據備份和異地數據災備建設[1-2].

1 現狀分析

根據某省廳數據災備系統建設的相關要求，首先梳理省廳的各類數據和存儲介質，掌握當前正在運行的數據類型、數據大小、數據存儲空間等情況，為制定技術方案奠定基礎.

從數據內容看，省廳數據中心的數據主要包括現狀類數據、規劃類數據、管理類數據、社會經濟類數據.其中，現狀類數據主要包括基礎地理、基礎地質、資源調查、自然保護地等數據.規劃類數據包括基本農田紅線、生態保護紅線、城鎮開發邊界、土地利用總體規劃、礦產資源總體規劃等數據.管理類數據主要包括建設用地審批、建設項目用地預審、采礦權、探礦權等數據.社會經濟類數據包括人口數據、社會數據、經濟數據等數據.

從存儲形式看，省廳存儲數據類型包括結構化數據和非結構化數據2種數據.其中結構化數據采用Oracle 11g數據管理系統進行存儲，服務器全部使用Oracle RAC的方式進行部署，數據主要包括現狀數據、規劃數據、管理數據、不動產登記數據.非結構化數據采用NFS文件系統進行存儲，主要包括瓦片、業務審批系統附件、辦公自動化系統附件、檔案文件、不動產登記附件等.

省廳存儲各類數據總量約33 TB，分別存儲在2臺EMC存儲設備中.其中1臺為EMC VNX 5700，存儲容量10 TB；另外1臺為EMC VNX 5300，存儲容量23 TB.上述2臺EMC存儲設備使用時間已超過5年，硬件性能下降、訪問速度較慢，不能實現存儲自動切換.

2 技術方案

2.1 基本思路

根據某省廳數據災備系統建設的現狀分析，數據災備系統需要建設的內容包括數據中心雙活存儲、數據中心本地災備和該省下轄市級(異地)數據備份中心.基本思路是在本地數據中心新增2臺高性能的存儲設備配置雙活，將原有2臺EMC存儲設備的數據遷移整合至新購的本地數據中心主存儲中[3-4].本地數據中心新增1臺備份一體機，定期對本地雙活存儲中的業務系統和數據庫進行備份.市級(異地)數據備份中心新增1臺容災存儲設備和1套容災軟件，通過遠程復制技術實現從本地數據中心的數據通過專線復制到市級(異地)數據備份中心的容災存儲設備中，通過容災軟件每天2次定時發起遠程復制任務，以及每天定時發起快照任務，實現數據的異地備份.通過容災軟件可實現業務系統和數據庫的快速恢復.按照上述思路，在本地數據中心實現了存儲雙活，通過備份一體機實現了數據的邏輯備份和恢復；在異地實現了與本地存儲數據的異步復制.當本地數據中心任意1臺存儲設備物理損壞時，雙活存儲中的另1臺存儲設備接管并承載業務.當本地數據邏輯受到破壞時，既可以采用本地備份一體機恢復，也可以將異地容災中心的數據通過專線網絡進行恢復.

2.2 技術實現

按照省廳數據災備系統建設的基本思路，結合省廳數據中心的運行環境(主機和存儲系統)以及該省自然資源專網建設的實際情況，提出了某省廳數據災備系統的技術方案.采用2臺華為OceanStor 18500 V3存儲設備配置雙活作為新存儲設備，采用數據遷移技術將原EMC VNX 5700，EMC VNX 5300 存儲的所有數據平滑無縫地遷移至雙活存儲設備中.此次存儲遷移涉及的服務器約40臺，包括Linux數據庫服務器、Windows應用服務器、虛擬化服務器等.由于各個系統遷移的數據量和數據文件格式不同，某省“自然資源云”的結構化數據采用Oracle 12c數據管理系統進行存儲，非結構化數據采用雙活存儲的文件存儲服務進行存儲[5-6]，因此數據遷移采用以下4種方式進行:一是數據庫邏輯導入導出；二是P2V遷移技術；三是VMware主機遷移、存儲遷移技術；四是文件復制.后2種方式都需要將新購存儲和原使用的存儲映射到相應的服務器上.“自然資源云”本地數據災備和異地數據容災系統拓撲圖如圖1所示.

圖1 某省“自然資源云”本地數據災備和異地數據容災系統拓撲圖

通過2臺光纖交換機使用光纖線連接2臺華為OceanStor 18500 V3存儲設備的8 GB FC接口，各連接4路，提供FC業務鏈路.通過2臺萬兆網絡交換機使用光纖線連接2臺華為OceanStor 18500 V3存儲設備的10 GB ISCSI接口，各連接4路，提供NAS業務鏈路.通過華為存儲設備自帶的雙活功能實現本地數據中心2臺華為OceanStor 18500 V3主存儲數據的實時同步.數據傳輸全部通過2臺存儲設備直連的4路光纖通道實現存儲底層的LUN到LUN或文件系統到文件系統的同步.存儲仲裁通過2臺千兆網絡交換機連接2臺華為OceanStor 18500 V3存儲設備的1 GB數據接口，各連接4路，并與仲裁服務器網絡互通.2臺華為仲裁服務器正常運行時同時掛載2臺華為OceanStor 18500 V3存儲設備的LUN，2端的LUN數據實時同步，且都能提供主機讀寫訪問.當任何一端存儲系統發生故障主機將切換訪問路徑到正常的一端繼續業務訪問[7].

以上本地數據雙活存儲可以在物理上實現數據的一致性，邏輯數據備份則需要數據備份設備來實現.為預防用戶邏輯操作錯誤或系統邏輯故障，在本地數據中心新購了1臺愛數VX2400備份一體機，通過光纖線連接到2臺光纖交換機，將華為OceanStor 18500 V3存儲設備中的LUN映射到備份一體機.通過光纖線連接到2臺萬兆網絡交換機，設置備份一體機的備份策略任務，通過LAN或LAN-Free的方式將數據庫服務器和云平臺上的虛擬服務器中的數據定時備份至備份一體機[8]，在技術上保障了數據的邏輯錯誤的備份和還原.某省廳數據中心本地數據備份系統拓撲圖如圖2所示:

圖2 某省廳數據中心本地數據備份系統拓撲圖

如圖3所示，市級(異地)數據備份中心新購1臺容災存儲設備，通過存儲設備自帶的遠程復制功能將該省省廳華為OceanStor 18500 V3存儲設備中的重要數據異步定時復制到市級(異地)數據備份中心的華為OceanStor 6800 V5存儲設備中，遠程復制網絡采用100 Mbps的專線[9].通過華為BCManager容災軟件，定時發起遠程復制和市級(異地)容災端存儲快照任務.在市級(異地)數據備份中心搭建了數據庫服務器和虛擬化平臺，可通過華為BCManager容災軟件發起數據庫恢復任務，將數據庫的LUN通過快照的形式映射到數據庫服務器，執行數據庫啟動腳本啟動數據庫.通過華為BCManager容災軟件發起虛擬化恢復任務，虛擬化平臺的LUN通過快照的形式映射到虛擬化服務器，并修改虛擬機配置啟動虛擬機，實現業務系統的快速恢復.

圖3 市級(異地)數據備份中心拓撲圖

在數據災備系統建設過程中，采用了基于存儲系統的雙活技術、基于存儲系統的異步遠程復制技術、基于容災軟件的業務系統快速恢復等關鍵技術[10].

1)基于存儲系統的雙活技術.雙活特性中的2臺存儲設備互為備份，且都處于運行狀態.當1臺存儲設備發生故障時，業務自動切換到另1臺存儲設備，解決了傳統存儲架構不能同時承載業務和業務無法自動切換的問題.該省省廳本地數據中心2臺存儲設備實現了SAN和NAS存儲設備的雙活功能，且NAS存儲設備雙活功能在行業內屬于較先使用，在保障數據可靠性以及業務連續性的同時，提高了存儲系統的資源利用率.

2)基于存儲系統的遠程復制技術.異步遠程復制是指將主端存儲系統上的數據周期性地復制到從端存儲系統上.通過華為存儲系統自帶的遠程復制功能，定時發起遠程復制任務，實現主端存儲LUN到從端存儲LUN的異步遠程復制.遠程復制依賴于快照技術，快照是指源數據在某個時間點的一致性數據副本.該省省廳本地數據中心通過ISCSI鏈路將數據遠程復制到市級(異地)數據備份中心采用了該技術[11]，實現了基于存儲系統的異步遠程復制.

3)基于容災軟件的業務系統快速恢復.華為BCManager容災軟件配置虛擬化和數據庫保護和恢復任務，選擇業務對應的數據庫和虛擬化恢復任務進行恢復.數據庫恢復是通過華為BCManager容災軟件發起任務，對市級(異地)數據備份中心容災存儲設備中數據庫的LUN創建快照，映射給市級(異地)數據備份中心的數據庫服務器，通過數據庫啟動腳本啟動數據庫.業務系統恢復通過華為BCManager容災軟件發起任務，對市級(異地)數據備份中心容災存儲中業務系統的LUN創建快照，映射給市級(異地)數據備份中心的虛擬化平臺，選擇恢復的虛擬機，配置虛擬機網絡，修改虛擬機配置文件，啟動虛擬機完成業務系統恢復.通過BCManager容災軟件實現業務系統的自動化配置恢復操作可大大降低恢復時間，實現該省省廳本地數據中心業務系統在市級(異地)數據備份中心的快速恢復.

2.3 恢復測試

為了驗證“自然資源云”本地災備和異地容災數據的完整性、可靠性、正確性，我們在系統建設完成后進行了恢復測試.測試主要分為2個部分：一是本地數據中心存儲LUN的優先站點切換；二是市級(異地)數據備份中心的數據恢復.

本地數據中心存儲LUN的優先站點切換主要包括雙活存儲中的LUN從優先站點切換至非優先站點及回切.服務器主機在生產環境下同時與2臺華為OceanStor 18500 V3存儲設備相對應的LUN建立了映射關系，當需要切換至非優先站點時，在任意1臺雙活存儲中選中對應的LUN，按照優先級進行切換，回切操作相同.如果關閉某臺存儲設備，雙活存儲中另1臺存儲設備正常提供訪問.

市級(異地)數據備份中心數據恢復測試主要包括數據庫恢復、業務系統恢復.市級(異地)數據備份中心部署了數據庫服務器和虛擬化平臺[12].當進行測試時，通過華為BCManager容災軟件選擇對應的LUN進行恢復，選擇需要恢復的時間點后，BCManager自動進行數據恢復并啟動虛擬機，通過啟動腳本啟動數據庫，待數據庫啟動后訪問業務系統，進行系統訪問和數據驗證.經過測試，恢復的數據與省廳數據中心在該時間點前的數據完全一致.

測試結果表明，切換操作簡便，技術風險小，達到預期效果.

3 結束語

通過本文方案的實施，實現了某省廳自然資源數據集中統一存儲，大大提升了存儲性能和前端運算能力.基于華為高端存儲設備實現了該省省廳自然資源數據雙活，并為核心數據提供了在線數據備份服務，從物理上保證了數據冗余，從邏輯上保證了業務連續性[13]，避免存儲故障影響業務的穩定運行.同時，該省省廳在市級(異地)建設了異地數據備份中心，實現了該省廳自然資源重要數據的異地備份，當本地出現不可預料的災難時，通過市級(異地)數據備份中心實現數據恢復，全面提升了數據保護級別和數據恢復能力，保障了數據安全.