基于氣象業務零中斷的存儲數據遷移探討研究

謝禮江

(廣東省氣象探測數據中心，廣東 廣州 510088)

0 引言

2015年，廣東省氣象局建設的華為OceanStor 18800高性能存儲投入業務運行以來，在支撐氣象業務系統中發揮了非常重要的作用。這套高性能存儲是廣東省氣象業務網、IDEA接口平臺、SWIFT[1]、基礎設施虛擬化資源池平臺、廣東省氣象決策輔助系統、廣東省省突發布管理系統、FAST3.0業務平臺、CIMISS等50個核心關鍵業務系統的存儲資源支撐。隨著這套存儲滿負載運行年限增加(已運行6 a)和逐漸趨于老化，存儲硬件設備進入IT產品生命周期(5～7 a)末段，性能處于下降的趨勢，故障率也逐年提高[2]。僅在2020年，就更換隱患或故障盤30個，升級控制器軟件3次，更換其它硬件設備8次，全年平均每15 d就需要處理1次故障，每月至少出現1～3個隱患盤，機框、主板、CPU、內存、網卡和HBA卡等硬件設備也無規律地出現故障，且此套存儲硬件設備逐漸斷供，廠商計劃將在2021年12月31日停止對OceanStor 18800高性能存儲提供技術維保服務，這將對相關氣象業務的安全保障和業務連續性構成極大風險。故障會導致業務受到影響，甚至導致業務中斷或數據丟失，不利于氣象業務系統穩定運行。

為保持現有業務的連續性，以及滿足近年增加的氣象業務，急需建設一套高性能存儲替換現有存儲。由于氣象業務具有時效性、連續性和穩定性[3]的特點，需要基于氣象業務零中斷的基礎上，探討研究如何把存放在OceanStor 18800高性能存儲的數據遷移到新存儲上，實現這50多個核心關鍵業務系統的平滑遷移。

1 OceanStor 18800存儲情況

OceanStor 18800存儲采用 RAID2.0+塊虛擬化卷架構，所有磁盤陣列柜全部配置為高性能15K 轉速的SAS(Serial Attached SCSI)磁盤和固態硬盤(SSD：Solid State Disk)[4]，以高性能、高可靠、高擴展、存儲效率、數據保護為其設計理念，總共配置了6個控制器，1TB緩存，占用機房機柜4個，總可用容量550 TB，組成多活控制器群集，為業務端應用主機訪問存儲提供了負載均衡和高可用功能。

OceanStor 18800存儲根據氣象業務需求，目前分配13個硬盤域，13個存儲池。劃分20個卷LUN(logic unit number)約500 TB作為虛擬化集群資源池使用[5]，運行了700臺虛擬服務器機，部署了超50個核心關鍵氣象業務系統；60個卷約50 TB空間作為CIMISS核心業務數據庫系統的Oracle RAC群集使用。

2 新存儲建設要求

Oceanstor 18800高性能存儲承載著廣東省氣象臺、廣東省探測數據中心、廣東省氣象服務中心等10個單位的核心關鍵氣象業務系統服務。為保持現有業務的連續性，以及滿足近年增加的氣象業務存儲需求，在選擇新存儲時需滿足以下幾點要求：

性能和存儲空間更優。氣象業務飛速發展，基礎設施資源池的存儲資源是業務系統的底層支撐，其性能和存儲是否滿足業務需求直接影響著氣象現代化和信息化的發展速度。

能耗和占用物理空間更小。減少耗能可以降低成本，也是人類在進行任何生產活動追求的目標；減少占用物理空間，提高機房使用率。

支持在線數據遷移。根據氣象業務時效性、連續性和穩定性的特點，氣象業務的安全保障和業務連續性是最優先考慮的因素，無法在線數據遷移意味著要停50個關鍵核心的業務系統，業務系統的中斷會對氣象業務造成很大影響。

按照新存儲建設要求思路，本文選擇同品牌和同系列且性能更優、擴展性更好的華為 OceanStor18810 V5 “芯”系列高端智能混合閃存存儲代替舊存儲。相比舊存儲，OceanStor18810 V5繼承了舊存儲塊級虛擬化、智能緩存分區技術、同步遠程復制、異步遠程復制、智能數據迅移、智能數據遷移、異構虛擬化等技術特點，并針對舊存儲存在的架構設計和硬盤設備老舊、占用物理空間多、耗能高等問題研發，運用SmartMatrix 3.0 架構、閃存優化技術、SAN 與 NAS 一體化雙活、高效能的硬件平臺，為數據存儲和使用提供可靠性更強、性能更好、業務數據遷移更穩定的解決方案。

OceanStor18810 V5采用智能矩陣式多控架構，以控制框為單位橫向擴展，達到性能和容量的線性增長，運用4U Acitve-Active 四控冗余高密架構設計，每個控制框支持 4 個控制器和 2 個控制器 2 種方式，在提高性能的同時，又減少了占用的物理空間，相比Oceanstor 18800舊存儲，各方面都具有很大優勢(表1)。

表1 新舊存儲性能對比

3 數據遷移探討

3.1 數據遷移原則

本次存儲涉及VMware 虛擬化集群資源池和2臺服務器CIMISS ORACLE 數據庫，資源池承載著約700臺虛擬機，運行了超過50個氣象關鍵核心系統，采用異構遷移技術在存儲底層進行約430 TB的數據、多應用的混合模式遷移，必須基于安全性、可行性和可操作性的原則進行探討研究，減少數據遷移過程中對氣象業務造成的影響甚至數據丟失風險。

安全性。在數據遷移過程中，數據的安全放在首位，整個實施調優方案也是以數據安全為出發點進行設計。

圖1 存儲遷移網絡圖

可行性。數據遷移綜合考慮業務需求，環境情況和應用部署情況，根據收集到的信息進行充分考慮，對數據遷移和業務要求評估討論，確保數據遷移可行。

可操作性。整套數據遷移也同時考慮在實施過程中操作的難易程度，工作量，復雜度等因素，要求可操作性強，降低氣象業務影響風險系數。

3.2 數據遷移工作原理

異構虛擬化遷移技術主要是通過把異構陣列映射到本端陣列，把異構陣列的存儲空間通過eDevLUN(ExternalDevice LUN)的方式管理和利用起來。元數據卷用于對eDevLUN 的數據存儲位置進行管理，在本端存儲系統上創建的eDevLUN與異構存儲系統上的外部 LUN形成一一對應的關系，對eDevLUN的讀寫操作實現了對外部LUN的數據訪問。通過 LUN偽裝技術，讓存儲系統的eDevLUN的WWN 和 Host LUN ID設置成與異構存儲系統上的 LUN 的信息一致，在數據遷移完成后，通過主機多路徑軟件實現在線 LUN 的無縫切換，從而在主機不中斷業務的情況下完成數據遷移。

使用MigrationDirector存儲數據遷移工具具有全自動、高效并發、靈活設置的特點，通過管理服務器自動推送遷移服務器，存儲自動掛載和卸載，運用多并發執行任務從源端存儲搬運到目的端存儲，提高遷移速度和效率；可根據實際場景靈活配置線程數和啟動時間，保障業務遷移的靈活性和彈性，避開氣象業務高峰期，減少業務受影響風險。

MigrationDirector工具通過以太網同存儲和業務主機相連，使用SSH協議連接源存儲和目的存儲的22號端口，以及REST協議連接目的存儲8088號端口，通過SSH協議連接2臺業務主機執行存儲命令。

3.3 數據遷移

3.3.1 存儲規劃 存儲劃分卷滿足VMware虛擬化集群資源池和CIMISS Oracle數據庫2個應用場景。為確保數據完整性、數據遷移安全性和存儲性能一致性，本次新存儲的硬盤域配置和舊存儲的硬盤域配置保持基本一致。

圖2 存儲遷移原理圖

CIMISS Oracle數據庫對應70個LUN，總計需要7000個IOPS，綜合考慮緩存命中和硬盤提供的IOPS、業務讀寫模型(讀寫比：9∶1)和讀寫懲罰等因素，本次為數據庫規劃6塊7.68 TB SSD(RIAD 10)和40塊2.4 TB 10K SAS磁盤(RAID 6 8+2策略)，預留10%空間用作自動分層遷移數據時用于中轉空間使用。

VMware虛擬化集群資源池占用主要存儲空間，規劃16塊7.68 TB SSD(RIAD 6)和84塊2.4 TB 10K SAS磁盤，采用RAID 6 8+2策略預留8塊磁盤做應急性能和容量擴容使用；50塊10 TB 7.2K NL SAS 323 TB可用，預留10%空間用作自動分層遷移數據時用于中轉空間使用。

3.3.2 數據遷移評估 數據遷移時間窗口 在目的存儲接管源存儲進行數據遷移時，不管是零中斷遷移還是短暫中斷遷移，都會對存儲上層業務有一定的影響[6]。接管存儲和數據遷移在雙存儲有大量的讀寫操作，IPOS值是否能滿足業務正常運行是重點要素。氣象業務在臺風、暴雨等天氣過程時，業務繁忙，不適合進行數據遷移。選擇數據遷移時間窗口原則是在業務空閑時存儲負載量相對較小的時間段。

數據遷移存儲 為保證業務的正常下發，在零中斷遷移時需確保目的存儲在源存儲的空閑啟動器至少有2個，且分配在不同的控制器上；不同型號與版本的目的存儲接管的源存儲的數量、LUN的數量與路徑數是有限制，充分考慮評估數據遷移的各種因素。

備份和配置 數據遷移之前一定要進行業務數據的備份操作，用于緊急情況下的數據回退，確保在執行一致性分裂時，選擇業務較空閑階段進行。在執行接管任務時，需要更改配置之后，目的存儲才能接管存儲，更改配置之前確認更改不會造成配置沖突。主機操作系統為Linux且使用的多路徑軟件為原生多路徑(DMMultipath)，在選擇零中斷遷移時，先完成主機多路徑軟件的配置。

3.3.3 風險評估和回退方案 業務數據遷移受多種因素影響，屬于高危操作，必須做好氣象業務風險評估和降低風險隱患的應急措施[7](表2)。

表2 數據遷移風險評估

遷移風險。遷移前數據進行備份，以防止遷移失敗可能導致的數據丟失；遷移前還需對源存儲進行一次全面的檢查，包括存儲硬件以及存儲的配置信息、性能等，確保滿足遷移所需要的條件；遷移過程中，確保網絡通暢，以防網絡原因導致遷移失敗。

回退方案。在執行數據遷移的過程中，遇到不可抗力因素或者其他影響數據遷移的因素，為了保證業務不中斷，異常情況時可停止數據遷移操作，進行相應的回滾操作，確保業務的連續性以及業務數據的完成性。

3.3.4 數據遷移流程 數據遷移主要分為檢查、創建任務、執行任務和驗證4個流程，通過主機、業務、操作系統、配置和網絡等狀態檢查，確保滿足數據遷移的環境、配置、軟件和網絡要求；再通過創建任務、執行任務(業務接管、存儲遷移)來完成數據遷移，任務結束后對主機、配置、系統和業務驗證(圖3)。

圖3 數據遷移流程圖

驗證是數據遷移的最后一步，也是判斷數據是否遷移成功的重要準則[8]。查看主機鏈路狀態，通過 “lsdev-Cc hdiskx” 查看所有磁盤列表和磁盤路徑，狀態為Enable則代表成功；登錄DeviceManager查看告警中心，查看主機IOPS、帶寬、響應時間，無告警代表成功；驗證系統性能報表查看性能報表，確認系統業務正常，且性能符合預期。

3.3.5 數據遷移實現 本次遷移以業務空閑時存儲負載量相對較小的時間段原則，通過CIMISS數據庫、VMware虛擬化資源池和50多個氣象業務核心系統運維管理團隊調研評估， 選擇2021年11月15—19日為數據遷移時間窗口，此時間段是在非汛期且無任何天氣過程，廣東省未發出暴雨、臺風、寒冷、高溫等預警信號，期間存儲負載量是最高峰負載量的1/8，也是全年存儲負載量最低的時間段。

數據遷移準備。首先在18810 V 5新存儲按規劃完成邏輯卷LUN創建，進入存儲管理系統分配73個LUN邏輯卷到主機，Hdisk4-76是多路徑軟件納管的磁盤，為數據存放提供優于原來的存儲邏輯環境；其次通過對2套存儲、氣象業務系統主機逐一做健康檢查，包括CPU占用、鏈路冗余、性能、網絡、權限配置、主機多路徑設備。

配置信息備份。存儲多路徑信息是數據遷移失敗回滾的重要配置文件，備份配置信息有利于減少遷移失敗恢復的時間。保存需要的虛擬磁盤屬性信息，一一對應保存，用于升級后將磁盤屬性重置回升級前的屬性。其中包括虛擬磁盤選路算法、隊列深度、預留策略等，通過執行命令lsattr -El hdiskX查詢并保存虛擬磁盤的屬性信息。

數據遷移。按原存儲承載運行的VMware虛擬化集群資源池和2臺服務器CIMISS ORACLE 數據庫類型的應用，分2次集中遷移，根據數據遷移流程逐一執行，動態觀察、監控和驗證，本次430 TB數據用時82 h，在初始階段新存儲0負載的情況下最高速度可達2.1 GB·s-1，隨著數據的遷移，負載的增加，遷移速度也逐漸下降，其平均遷移速度為1.5 GB·s-1。

傳統的數據遷移方法主要是借助相關工具在應用層上遷移。此種方法要求部署相對應的應用環境，適合單一氣象業務系統以及存儲數據少的應用場景。在應用層面遷移，經業務系統服務器的網卡、CPU、內存和磁盤處理，數據遷移速度降低到350～750MB·s-1。如果使用該方法，涉及的CIMISS ORACLE 數據庫，700臺虛擬機的超過50個氣象關鍵核心系統都部署對應的應用環境，給氣象業務系統運維管理團隊增加巨大的工作量。每個業務系統可遷移的時間窗口也不一樣，遷移時間分散，預計遷移時間超過1個月，整套存儲數據遷移時間長，造成數據遷移存在不確定性和增大遷移風險。

4 結語

氣象業務具有其連續性、時效性等特點，支撐氣象業務的底層存儲的替換和數據平穩遷移要重點考慮業務影響和可操作性。同品牌、同家族系列的存儲替換，在一定程度上降低了異構存儲數據遷移存在的數據丟失、業務影響或中斷的風險。基于氣象業務零中斷數據遷移，需要綜合考慮多方面因素，包括所遷移的氣象業務類型、數據量、氣象業務系統連續性要求、可操作的有效時間窗口、氣象業務系統的重要性程度、氣象上下游業務量大小、源和目標存儲是否是同構和數據遷移技術是否成熟等。當然，要成功實施一個基于氣象業務零中斷的數據遷移項目，不僅要選擇成熟、合適、高效的數據遷移技術，更要通過嚴謹完整的規劃和設計，遷移業務數據信息收集、遷移業務數據可行性分析、遷移業務數據風險評估、遷移業務數據方案驗證、回退方案制定和遷移實施執行等環節缺一不可。

相比在應用層上做數據遷移的傳統方法，基于存儲底層塊磁盤采用異構虛擬化遷移技術具有遷移速度快、時間短、應用層工作量少、業務無中斷、可集中遷移的特點，適用氣象業務系統類型多、數據量大以及時間要求短的場景。