淺談企業存儲技術應用

牛小杰

摘 要隨著企業信息化水平的不斷提升，信息業務數據容量和重要程度也不斷提高，核心業務數據往往支撐大范圍業務辦公運作和決策，如發生丟失或損壞后果將不可想象。因此，如何通過掌握存儲系統底層架構原理并制定正確的數據存儲備份恢復模式，利用合理的存儲備份措施保護企業信息數據成為當今大數據時代存儲設備應用的新課題。

【關鍵詞】數據存儲 磁盤陣列 備份 恢復

1 緒論

國際上信息化應用較為發達的國家對數據存儲備份技術發展快應用廣，但在國內仍處于較初級的階段。隨著信息技術的不斷進步，存儲備份技術也逐步由單磁盤模式向多磁盤陣列組及數據高可用、數據傳輸、備份恢復機制、容災等領域拓展。發展過程中不僅存儲容量在發生著巨大的變化，在存儲數據存儲方式、傳輸類型、備份容錯機制等多方面都有了巨大的進步。

依托現有OSI網絡模型，數據的共享與傳遞也逐漸從依賴主機系統向依賴網絡系統發展。同時隨著集群技術、故障轉移技術、應用負載等系統應用機制的產生以及企業對數據重要性的高度重視，應用業務系統逐漸從單服務器運行走向多服務器承載。在企業中大量的應用服務器部署已經非常普遍，僅僅依靠服務器自身的raid技術很難對本身磁盤數據進行完善的管理優化，突發的存儲部件故障損壞更讓運維工程師對恢復數據頭疼不已。

而現階段不少企業的主要信息化投入在企業網絡建設、信息安全和業務應用開發建設等方面，對最基本的數據保護重視程度不足。在如何確定合理的數據存儲備份需求、備份恢復機制和策略制定、存儲技術和產品選擇等方面的研究深度不夠、投入不足。為擺脫盲從局面，降低重要業務數據被破壞或者丟失風險，盡可能避免對企業日常業務造成的巨大影響和損失，加強存儲知識及該領域更深層次的研究是非常有必要的，在企業信息化建設前期就做好數據容災規劃，并通過高質量的實施和嚴格運行管理，提升數據存儲備份保障能力，降低數據損壞風險。

本文主要結合實際工作中企業存儲產品網絡架構設計、存儲備份實施建設經驗和數據恢復案例等技術要點，為進一步提升企業存儲備份能力提供參考。

2 企業網絡存儲的實施及改進案例

2.1 基本思路

隨著企業信息化業務的不斷擴展，為了保證數據的可靠性、安全性，根據存儲實施需求，將多個業務應用子系統部署于NetApp存儲盤陣上，部署方式采用SAN架構網絡存儲，并且通過主備兩套存儲完成數據同步復制備份機制。

存儲部署需要考慮到如下幾個因素：

2.1.1 數據安全性

重要業務系統均采取應用負載均衡或HA高可用模式且數據庫文件存放在存儲上，使數據更為安全可靠；單設備業務系統可將數據庫文件與備份數據文件分別放在物理服務器或存儲上，通過數據庫備份計劃任務可靈活掌握數據庫文件備份，保證數據文件有2至3份以上，如果主數據損壞且嘗試修復無果的情況下，應可利用最近還原點備份數據進行恢復還原；

2.1.2 高性能

方案采用雙機容錯模式的存儲組成高可靠，高可用的數據存儲平臺，應用分布式部署在兩套存儲系統的4個控制器上，能有效保障各存儲更好的發揮性能，不會產生存儲性能上的瓶頸。

2.1.3 高可用

避免存在單點故障，大到主機、存儲設備，小到網絡線纜、光纖線纜、HBA卡等均是冗余容錯的；無論是主機或存儲設備出現故障，均可通過主/備份兩套存儲系統保證數據的完整性。

2.1.4 數據通信最小化

在光纖交換機上創建基于端口的Hardware Zoning而盡量避免使用Software Zoning，對數據進行物理隔離，有效保障數據通信安全性。

2.1.5 合理的備份機制

為有效減免設備損壞、誤操作等因素帶來的不必要損失，采用存儲備份技術保存多份數據副本。

3 網絡存儲產品選擇

為保障業務可用性，存儲架構中所部署存儲系統需滿足企業存儲需求，存儲系統應適用于主流數據庫、電子郵件和信息發送、主目錄合并以及災難恢復等應用的企業SAN存儲架構。存儲產品在采購選型過程中應注意考慮存儲設備管理及維護、存儲設備性能穩定性、存儲自有成熟備份機制智能化程度較高的產品。這樣整套存儲可根據企業業務需要更易于部署和使用，性能更高而成本更低。

4 存儲磁盤架構規劃

以企業存儲磁盤架構規劃案例說明，該企業存儲架構中采用NetApp存儲產品V3240（主存儲）及Fas3210（備份存儲），V3240存儲系統共滿配48塊600GB SAS磁盤，Fas3210存儲系統滿配24塊2TBSAS磁盤，為保證存儲控制器CPU占用，根據設計要求各存儲控制器負責管理存儲磁盤柜中的一半磁盤；存儲中所有磁盤劃分為Raid-DP類型，如存在某一塊磁盤發生故障后，熱備盤會自動替換受損磁盤。熱備盤的特點在于不包含數據，不管是哪個RAID組的盤損壞了，都可以替換，也就是說熱備盤是全局起作用的，而不是屬于哪個Raid Group。熱備盤會自動替換損壞的盤，替換磁盤需于損壞磁盤類型大小一樣，替換速度非常快。

在Aggregate上為各業務劃分Volume（卷），Volume在邏輯上相當于我們PC上的一塊磁盤。而NetApp的SnapShot快照技術是基于Volume來做的，Volume的大小可以調整，而快照空間也是可以自動擴展的。

在了解存儲邏輯空間大小后，根據各個業務系統需要，為各個業務系統劃分足夠空間最后單獨在每個Volume卷上劃分單獨的lun（邏輯單元號），lun通過FC SAN映射到服務器操作系統上。

5 存儲網絡架構規劃

主備存儲各有兩個控制器，各控制器使用一個管理以太端口及兩個業務以太端口，控制器業務端口通過端口聚合技術將兩端口合并成一組業務端口用以增加I/O數據傳輸。

網絡存儲架構設計示意圖如圖1所示。

從上圖可以看出，該存儲系統拓撲結構包含八臺服務器，共四套業務系統，在存儲架構中采用Fibre Chanel SAN架構，涉及操作系統包含RedhatEnterprise Linux 6.3；Windows Server 2008 R2以及IBM AIX及業務數據庫Oracle 11g R2 、Mysql；中間件包括IBM WAS；Tomcat。各系統都通過HBA卡以FC-SAN方式連接存儲盤陣。

6 存儲備份功能測試

為切實保障此次存儲實施存儲產品具備良好的管理操作性、存儲硬件高可用及具備企業級容災數據備份恢復機制，對NetApp Data ONTAP存儲操作系統、存儲控制器雙活雙控高可靠性以及數據同步復制、快照等存儲技術進行全面測試。

通過對存儲設備應用管理操作性測試表明該存儲系統具有良好的統一管理特性，使日常系統管理只需要在同一系統平臺下通過瀏覽器形式便能完成絕大部分日常管理工作；其復雜的存儲狀態信息，網絡配置，功能選項都可在GUI界面中查看。

在硬件高可用方面，NetApp存儲系統雙控雙活機制可以做到在發生硬件故障（如磁盤損壞，電源、風扇掉電，網絡故障）的情況下，使用系統的RAID保護結構和容余配置對系統進行自動故障排除或磁盤接管，該特點較好地減少可管理的復雜性并且保證了系統運行的高可用性。

在快照備份方面，在測試磁盤中寫入數據后在存儲系統中對測試存儲卷手動創建SnapShot快照點，在測試卷磁盤中刪除測試數據，取消掛載磁盤后重新還原快照文件，還原后在掛載磁盤中數據又還原至初始測試數據內容。

在數據災難性備份還原測試中，分別在主存儲源端建立卷vol_test和目的端存儲建立備份測試卷vol_test_bak，并將源端數據映射到測試系統上，開啟同步傳輸備份機制，在源端映射磁盤LUN中寫入測試數據，由于測試采取同步傳輸備份機制，所以馬上中斷同步傳輸備份，刪除磁盤上的測試數據，此時的主存儲源端數據已經被徹底刪除無法恢復。能否通過同步傳輸備份反向傳輸數據還原主存儲測試數據在此一舉，首先離線操作系統上掛載的存儲磁盤，通過resync數據反向傳輸機制將原目的端vol_test_bak改成源端，源端vol_test改成目的端，從存儲管理系統中開啟數據反向反向傳輸，數據自動將備份數據vol_test_bak傳輸回vol_test中，重新掛載磁盤到操作系統上。測試結果顯示原測試刪除測試數據又回到了測試服務器上，同步傳輸備份功能測試通過。經過存儲備份功能綜合測試，確認該存儲產品功能及性能初步滿足業務需求。

7 存儲架構優化分析

目前企業內部存儲架構采用的是兩級存儲平臺架構：工作級在線存儲和近似在線的近線存儲，由于兩臺存儲采用存儲備份技術備份，既保存實體數據又保存備份數據，主存儲承擔工作級存儲角色，備份存儲則擔當了近線存儲的角色。為更有效保障數據安全，僅保存一份數據副本往往還是不夠安全的，可以考慮在現有技術基礎上通過增加NAS文件備份存儲系統，將現有在線存儲、近線存儲二層傳統存儲數據方式變更為在線存儲、近線存儲和離線存儲的三層存儲架構，離線存儲的數據不常被調用，NAS作為離線存儲主要是用于對在線存儲的數據進行文件級備份，以防范可能發生的數據災難。

8 業務系統存儲備份機制優化

按照行業內通用的基本存儲備份機制實現數據存儲保護，使用主備2套磁盤存儲陣列，通過存儲備份技術實時同步及計劃快照備份系統數據，優點是當業務系統服務器出現問題后可通過將備份存儲數據回傳技術將業務斷點時數據完全恢復回原狀態。缺點是通過光纖掛載存儲無法從存儲本身或其他方式查看到實際備份存儲中數據文件，只有掛載到操作系統中才允許查看。底層數據塊備份機制雖然有效減少帶寬負載，但是該機制無法確定數據有效性，為提升數據存儲可靠性，最大程度降低數據丟失損壞的風險，通過對上述存儲備份技術和產品的研究，結合業務系統生產環境的實際情況，對其存儲備份機制和措施進行了優化提升，具體優化措施包括：

使用計劃快照任務實現對相應存儲空間每日0點的快照備份服務，當生產環境下業務數據出現損壞或數據丟失情況下可通過計劃快照將數據還原到上次快照備份時間點。

部署NAS網絡存儲系統，可通過操作系統的NFS、CIFS文件傳輸協議和SSL加密協議安全的將數據文件傳輸到NAS存儲系統上，實際數據文件可以從NAS存儲系統中查看到，當業務系統出現故障后，可將計劃備份的NAS存儲數據恢復到任意一臺服務器上。其缺點在于傳輸速度比光纖慢，無法應用于實時生產業務環境。在離線備份計劃中針對linux操作系統制定，使用計劃備份腳本定期對源數據全復制備份，針對windows操作系統采用NAS同步數據軟件建立數據備份空間，實時比對同步備份源數據，并生成6個不同的變更節點文件還原點。

通過上述優化措施完成對業務系統數據的離線備份提升結合定期巡檢管理的強化，實現了在現有存儲備份計劃的多重保障。后續的進一步優化在于提升整體存儲備份能力級別，結合《信息系統災難恢復規范》（GB/T 20988-2007）災難恢復等級要求，優化改進RTO（恢復時間目標）及RPO（恢復點目標）達到更全面和深入的改造建設，對照提升整體存儲備份和恢復能力。

9 總結

本文對主流存儲設備的關鍵技術原理和作用，企業實施過程中存儲磁盤架構、網絡架構規劃的研究分析并且結合存儲備份業務文件系統修復案例說明存儲備份與企業應用之間具有緊密聯系，為進一步提升企業存儲備份能力提供參考。

參考文獻

[1]張東.存儲系統底層架構原理極限剖析[J].大話存儲，2015（01）.

[2]殷蘇民.基于NetApp存儲設備與技術的企業網絡數據高效存儲與備份系統的研究[J].機械電子工程，2006（02）.

[3]劉衛星.網絡存儲備份應用技術研究[J].數字技術與應用，2010（01）.

作者單位

核工業計算機應用研究所 北京市 100822