摘要:本篇文章針對電信業務支撐系統存儲的管理現狀進行分析,通過對數據生命周期管理、分級存儲、存儲虛擬化技術分析,提出存儲系統管理和優化的合理建議。
關鍵詞:信息生命周期管理;虛擬存儲;分級存儲
1 概述
海量的數據存儲,需要一個綜合全面的、完善的、有效的管理措施,以提高系統的利用率,提高系統的運行效率;同時系統的不斷優化也會有效的提高系統的運行效能,節省存儲空間,節約投資。
目前電信運營商建設的側重點在于業務系統的功能完善,對數據的存儲缺乏統一管理 。因此為提高系統中存儲設備的利用率,滿足日益增長的存儲需求,進行存儲的管理與優化研究,以降低存儲設備投資成本,發揮每臺存儲設備的最大經濟效益是必要的。
2 問題分析
電信運營商的業務支撐系統大多數采用成熟的FC SAN網絡,利用IP SAN和ISCSI的很少。在FC SAN中存儲系統由于RAID的劃分和LUN的劃分都或多或少對存儲的可用容量有影響,因此真正能被服務器識別的卷的大小占得比例很小。現有的存儲系統容量分配都是為某項工作或某個用戶組專門構建,無法通過動態分配完成,造成存儲利用率很低并且不同廠家硬件存儲之間無法進行互操作。電信運營商業務支撐系統普遍存在的問題包括:隨著系統的發展及規模的增大,管理越來越復雜; 存儲設備的采購按照各個系統建設周期進行,需要統一的規劃和資源分配; 眾多的業務系統數據采用單一的高端存儲方式,成本高; 存儲環境復雜,節點眾多,維護管理難度大; 歷史數據: 大量的歷史數據沒有與現網數據分離,導致數據庫越來越大,系統備份恢復時間越來越長,對系統安全性造成威脅。
2.1 很多歷史數據已經不再參與業務處理,他們的存在使系統處理效率降低
2.2 這些巨大的數據量不但降低了系統的運行效率,而且會引起混亂,也導致數據庫存儲空間非常緊張
2.3 數據瘦身
數據庫物理結構需要調整、優化
3 存儲管理和優化演進路線
電信業務運營支撐系統存儲管理和優化路線如下:
存儲環境評估→存儲環境虛擬化→分級存儲→ILM管理→數據庫系統優化。
存儲環境評估:對系統現有的存儲環境進行評估和存儲現狀調查為后續優化做準備,包括數據年齡、大小、擁有者、浪費的空間、增長率、使用率,數據浪費、遷移、保留、歸檔、容量等方面存在的問題。
構建存儲虛擬化架構,搭建虛擬存儲平臺,存儲虛擬化一共有三種方案分別為主機虛擬化、網絡虛擬化、存儲設備虛擬化。三種方案各有優缺點。
方案一:主機虛擬化
基于主機(應用服務器)上的虛擬化一般通過運行在存儲管理軟件上加以實現。管理軟件的作用就是向系統輸出一個單獨的虛擬存儲設備(或者可以說一個虛擬存儲池),通過這種模式,用戶不需要直接去控制管理這些獨立的物理存儲設備。當存儲空間不夠的時候,管理軟件會從空閑的磁盤空間中映像更多的空間輸出給系統,而系統看來它所使用的虛擬存儲設備的空間在動態的增加,并沒有影響到它的使用。
方案二:存儲網絡虛擬化
基于網絡上的虛擬化一般通過互聯設備(服務器)或路由器來實現。
基于互聯設備的虛擬化方法在專用服務器上運行,使用標準操作系統或供應商提供的操作系統。
基于路由器的方法是在路由器固件上實現存儲虛擬化功能。在此方案中,路由器被放置于每個主機到存儲網絡的數據通道中,用來截取網絡中任何一個從主機到存儲系統的命令。
方案三:存儲設備的虛擬化
存儲虛擬化技術可以在存儲設備內部或存儲子系統內部加以實現。
基于存儲設備或存儲子系統的虛擬通過特定的算法或者映射表把邏輯存儲單元映射到物理設備之上。最終實現的就是卷獨立于其所屬的存儲設備。
方案比較:
方案一。優點:容易實現、設備成本低、產品相對成熟、對現有硬件連接改動小、便于實施;缺點:占用主機資源、影響系統安全和穩定性、主機故障容易影響系統數據完整性、靈活性不好,異構存儲之間互操作性不好。
方案二。優點:基于路由器虛擬網絡數據安全性高、在異構操作系統和異構設備廠家之間提供互操作性;缺點:設備成本高、對現有硬件連接改動大、不利于實施、多層故障點。
方案三。優點:容易實現、容易管理、對用戶和管理人員透明;缺點:不完全的虛擬化、如果沒有第三方軟件支持容易造成供應商單一和對簡單存儲的排斥。
方案選擇:
方案比較及選擇:
方案二是最完全的虛擬化存儲解決方案,但是考慮技術的成熟程度和實施難易程度兩方面,本方案作為虛擬化存儲的最后一個階段更為合適。
方案一和方案三在存儲系統管理優化初始階段實施較為合適,方案一占用主機資源,相對存儲系統透明,方案三對異構存儲之間共享成熟度不高,互操作性也不好,因此方案一相對于方案三更適合作為存儲虛擬化剛開始的解決方案。
因此存儲虛擬化第一階段采用主機虛擬化,隨著虛擬化技術標準化程度提高和實施經驗增加后考慮過渡到網絡虛擬化方案。分級存儲管理是一種將離線存儲與在線存儲、近線存儲融合的技術。分級存儲根據數據的綜合因素考慮將數據存儲形式分為:
在線存儲:在線存儲多采用高速磁盤陣列等存儲設備,存取速度快 ,價格昂貴
離線存儲:離線存儲采用磁帶作為存儲介質,其訪問速度低,但能實現海量存儲,同時價格低廉
近線存儲:定位于客戶在線存儲和離線存儲之間的應用。指將并不是經常用到,或者說數據的訪問量并不大的數據存放在性能較低的存儲設備上。但同時對這些的設備要求是尋址迅速、傳輸率高。
根據數據的可用性、性能、成本綜合考慮將數據分為普通數據、重要數據、核心數據。普通數據放置在低端存儲內,重要數據放置在中端存儲內,核心數據放置在高端存儲內。
生命周期管理。信息生命周期管理一般包括數據的創建、保護、訪問、遷移、歸檔、回收六個階段,概括起來就是將適當的數據,在適當的時間以適當的費用存儲在適當的設備上。
數據生命周期管理是個漫長的過程,整理數據,各業務部門達成共識:
數據進行梳理,根據數據性質、使用頻度等進行整理。確定主要數據性質及使用周期,業務部門進行確認,形成數據表檔案。
制定數據管理規范,制定數據管理規范及個人數據操作規范,包括各種數據的命名,使用,處理及保留時間等。
建立數據遷移流程,數據遷移清理要嚴格按照數據遷移流程進行,通過各個角色的協同合作,保證數據遷移的安全可靠。
進行數據庫優化
數據庫系統優化包括:
索引建立和REBUILD的方案,建立聚集索引等;按數據內容的穩定性的不同,數據訪問頻率的 高低來分開存放,如表、索引、大表的不同部分、數據庫對象、日志文件分別存放在不同的物理盤上等;并發用戶數,并發打開數據庫對象數,使用的緩沖區長度/個數、時間片大小、數據庫的大小、裝填因子、鎖的數目,這些參數值影響存取時間和存儲空間分配。
4 存儲系統管理和優化效益分析
電信業務支撐系統存儲實施管理和優化策略后能帶來以下效益:
提高效率:程序訪問效率提高,改善存儲的I/O性能;降低成本:清理數據減少了存儲空間,分級存儲降低了高端存儲使用率;減少風險:減少了核心生產庫的數據量,使故障率降低;維護方面:系統備份、恢復效率更高,數據遷移、管理更方便。
結束語
電信業務運營支撐系統存儲的管理和優化是個復雜的過程,鑒于現有業務運營支撐系統的龐大,復雜,重要性,對數據分析和梳理要面面俱到,因此項目實施起來有一定的困難,。同時各個設備廠家存儲的虛擬化方案還沒有一個固定的標準,在方案實施前和實施過程中一定要考慮全面、細致。盡管前面荊棘密布,電信業務支撐系統的管理和優化還是迫在眉睫的。