高效存儲海量網絡資源

文/馮愿

高效存儲海量網絡資源

文/馮愿

基于SAN架構的數據中心網絡存儲系統，有效解決數據中心大容量數據存放及傳輸的問題，提高數據的穩定性與安全性。

存儲挑戰

高校在校園網建設中積累了大量的網絡信息資源，這些信息資源以各自獨立的服務器內置硬盤或直連存儲（DAS）為存儲空間存放，各個應用系統相互獨立，屬于典型的分散式架構。這種架構存在以下問題：

1. 存儲空間不能滿足數據增長的需求

服務器直連存儲方式在校園網數據中心被廣泛應用。存儲設備作為服務器的一部分，被掛接在服務器上，通過SCSI等總線技術與操作系統緊密整合在一起。單個服務器的每一個SCSI通道上最多可掛接15個設備，一臺文件服務器只允許連接一臺磁盤陣列。SCSI的總線結構從根本上限制DAS方式的擴展，要增加存儲空間容量，只有通過不斷地增加數據服務器來解決。

2. 數據分散管理導致投資成本增加

數據中心應用服務器和數據服務器不斷增加，不僅使數據中心擁有不同的軟、硬件平臺和彼此相互獨立的應用系統，形成服務器分散式管理局面，也導致數據中心設備投資成本的增加。傳統的服務器連接存儲方式通常難以更新或集中管理，服務器分散管理方式也很難評估、規劃當前和未來數據存儲容量增長變化的需求，數據中心的整體存儲空間不能有效地整合和進行智能化管理。對于系統管理員來說，在物理位置分散的數據存儲方式下，要正確、快捷地管理應用系統或數據庫系統是極不容易的，尤其是數據的備份和數據的恢復工作，管理環節增多，操作復雜，費時費力。

3. 數據處理量增加導致系統和網絡運行效率低下

網絡環境下，數據中心開展業務工作，提供網絡信息服務，數據處理業務繁忙。數據的上載、發布、更新、備份、恢復等操作往往要占用網絡帶寬和服務器資源，尤其是當網絡上數據存儲發展到一定規模時，數據服務和數據管理不僅嚴重影響主機系統性能，還要大量占用網絡資源，增加網絡負擔，使網絡運行效率低下。數據中心既不可能根據各種應用數據處理的增加而隨時增加網絡帶寬，也不可能根據不同的應用請求而不斷地提高服務器的處理性能。有限的服務器和網絡性能與持續增長的數據處理需求形成一對不可調和的矛盾。因此，以服務器為中心的數據網絡轉變為以數據為中心的存儲網絡，是網絡存儲發展的必然趨勢。

網絡存儲系統適應多樣性需求

存儲區域網絡的優勢

數據中心是傳統信息向網絡信息轉變的數字化信息資源服務系統。數據中心建設的推進從客觀上要求解決海量數據的存儲、管理和安全等問題。SAN（Storage Area Network，存儲區域網絡）的應用，適應數據中心的發展，滿足海量數據存儲與管理的需要。SAN是一種利用Fiber Channel等互聯協議連接起來的可以在服務器和存儲系統之間直接傳送數據的存儲網絡系統，它是采用獨特的技術構建的，與原有LAN網絡不同的一個專用的存儲網絡。存儲設備和SAN中的應用服務器之間采用的是塊I/O方式進行數據交換。

獨特的體系結構和構建技術使得SAN具有幾個優勢：1.提供可擴展的存儲空間；2.提高數據的可用性；3.改進數據處理方式，優化網絡和系統性能。

三大建設原則

網絡存儲系統存放的是學校的核心教學數據，其性能與質量的優劣將對學校的教育信息化產生重大影響。建設時須考慮以下基本原則：

1. 高可靠性

網絡存儲系統是集中存放學校教學資源和其他數據的載體，一旦出現故障，將造成極壞的影響。因此在建設時一方面要選擇技術成熟的設備，另一方面，系統要具有容錯性，采用備份等容錯和容災措施。

2. 擴充靈活性

由于信息技術的不斷發展，在建設存儲系統時不僅要立足于當前的需要，還要保證系統本身的擴展性，能根據技術的發展進行二次開發和利用。

3. 開放性

學校的各種信息處理系統如郵件系統、計費系統、教務管理系統等所需環境各不相同，存儲系統要能夠將這些不同的廠商、不同的操作系統環境的服務器集中起來，因此存儲系統應遵循國際標準，具有開放性，能被不同的服務器接受。

校園數據存儲內容

經過調查和分析，校園網絡數據存儲需求主要包括：1.學校網絡教學資源，如精品課程、網絡教學平臺等課程資源；2.校園文化資源，如各類校園文化的站點、VOD點播、校園視頻新聞等；3.校內FTP服務；4.重要的應用系統及公共數據庫，如計費系統、校園一卡通、辦公、教務、財務、人事、資產管理等數據庫；5.學校各類網站；6.大規模的郵件系統以及相應的郵件網關系統。這些需求包括校園網內核心數據和普通數據，使用35臺操作系統各不相同的服務器，其特點是應用環境復雜，數據庫呈現多樣性。系統結構分四部分

根據建設原則和需求分析，我們在現有服務器的基礎上構建光纖存儲系統（FCSAN）。該系統包括4個組成部分：服務器、互聯設備（光纖交換機）、存儲設備（光纖交換機）、備份系統。如圖所示。

網絡存儲系統（SAN）使用2臺16口光纖交換機作為互聯設備，分別連接現有數據中心的35臺服務器和光纖存儲陣列。現有的多臺服務器通過光纖通道卡（HBA卡）連接到SAN中。光纖存儲陣列通過光纖交換機提供給服務器各種應用所需的存儲容量，使用存儲管理軟件對存儲容量進行添加、刪除、劃分。所有服務器都通過雙鏈路連接存儲系統，保證服務器和鏈路的高可用性。

按照信息生命周期管理理念，我們在進行存儲容量配置時，采用分層存儲，將不同級別的系統應用架構在不同成本的存儲介質上。根據南通大學為網絡存儲系統建設投資的經費預算，本次共規劃存儲系統容量13.5T，對于性能要求高的校園一卡通、郵件系統等關鍵數據庫數據，配置6T全光纖硬盤存放，對于其他性能要求不高的數據如校園文化資源等數據配置7.5T光纖通道ATA硬盤存放。因磁盤陣列上放置硬盤的磁盤籠單獨采購價格比較昂貴，我們在本次網絡存儲系統建設中將陣列上的磁盤籠全部配滿，方便將來硬盤擴容。存儲陣列的合理選型

存儲陣列是FC-SAN的核心，其性能的優越與適用與否決定SAN的整體效能。不同品牌的存儲設備在性能和技術參數有很大差別。我們在采購前對存儲設備進行充分的調研，將存儲供應商提供的設備性能指標、特性參數及產品優勢等數據羅列成表逐一對比，結合學校特點和需求合理選型。

我們在系統建設中特別關注網絡存儲系統的數據交換能力及數據在網絡存儲系統中的安全性。存儲系統的磁盤陣列的控制器采用全交換結構，因為全交換結構數據傳輸能力比點對點結構更強，特別是在磁盤陣列所配容量達到滿配值的一半時，使用點對點結構的數據傳輸能力將大大減弱。存儲系統具有RAID重組技術，無需停止服務器對該RAID組的訪問，將數據從一個RAID組移動到另一個RAID組，比如Raid5可以與Raid0、Raid0＋1進行在線轉換。這樣的好處是，可以簡便部署硬盤容量的釋放和數據RAID級別轉換。存儲系統還具有重要的故障磁盤數據保護功能，它可以預先對硬盤進行參數檢測，在硬盤出現異常預兆時提出報警，并把數據拷貝到全局熱備份盤中，而不是在硬盤損壞后才將數據拷出，這樣能夠避免傳統Raid5同時損壞兩塊盤的情況下無法恢復數據的危險。存儲系統的這些功能大大提高數據在備份前的安全性。

備份系統采用增量備份

備份系統由備份管理服務器和高速磁帶機組成，它為整個存儲系統提供網絡數據備份和恢復系統兩個方面的功能。數據備份采用增量備份的形式（即自上一次備份以來更新的所有數據），在每日用戶量較少時進行。我們采用Veritas Netbackup Enterprise Serve數據備份管理軟件。該系統軟件可以為大規模的Unix、Windows、Linux環境提供大型機級別的數據保護，還可以為Oracle、Mircosoft SQL Serve、Lotus Notes、Domino Sybase等提供相應的數據庫和應用的備份與恢復解決方案，符合學校信息存儲系統數據庫多樣性的特點。

圖 網絡存儲系統結構

取得的四大實效

該存儲系統實施以來，取得很好的效果，主要表現在以下4個方面：

1. 本次建設的存儲帶寬達到4Gbps，能滿足多節點客戶端數據請求及大容量數據存儲的需要，較好地解決數據傳輸及存儲數據的通道瓶頸問題。

2. 由于數據處理和主網絡運行分離，從而縮短系統響應時間，極大提升了主網絡的運行性能和運行速度。針對諸多應用如校園郵件、網絡課程，尤其是對實時性要求很高的一卡通等關鍵性應用數據，校園網用戶能實時查詢數據。

3. 網絡存儲系統建成后，已經成為南通大學統一的數據中心，實現校園網復雜的數據應用，實現多數據庫、多用戶管理、多部門關鍵數據的集中存儲、集中備份和集中管理，為各個應用系統和重要數據的安全管理提供保障。

4. 本次購買的存儲陣列最大可以配置到35TB容量的全光纖通道硬盤，如果配置其他非光纖盤可以最大達到60TB容量，在未來較長的一段時間內可以滿足學校數據中心數據成長的需要。該陣列主機接口可以擴充到8個，同時支持iSCSI接口技術，方便以后靈活部署SAN的應用。

由于SAN的架構復雜，涉及眾多設備和管理技術，在建設過程中需要注意：1.認真細致地做好容量、功能等的需求分析，這樣有利于方案的設計；2.注意與現有服務器等設備和機房環境的結合，使原有設備投資得到保護；3.配備必要的專職技術人員，加強技術文檔的管理，保障SAN的高效運行。

（作者單位為南通大學現代教育技術中心）