基于綠色存儲的數據資源中心建設

[摘 要]隨著全球信息化和數字圖書館建設進程的加快，數據資源的爆炸性增長導致存儲容量的大幅度增加，許多大客量、大功率的傳統存儲設備得到廣泛應用，導致數據資源中心的高成本、高能耗，對環境保護帶來新的問題和挑戰。針對這一問題，提出引入綠色存儲存儲理念、實施綠色存儲戰略，是實現節能降耗、降低系統總體擁有成本的關鍵；通過日前常用綠色存儲技術的詳細分析和介紹，對我們在實際工作中如何選用符合相關法規與標準的存儲設備，建設高能效數據資源中心兵有較強的指導意義。

[關鍵詞]高能耗；數據增長；存儲技術；綠色存儲

[中圖分類號]G250.73 [文獻標識碼]A [文章編號]1008—0821(2010)01—0063—03

隨著全球氣候日趨變暖和能源日趨緊張，能源成本不斷上漲，人類的生存環境受到極大的威脅，因環境惡化而引發的自然災害和疑難病癥不斷發生，節能減排、保護環境已經成為全人類的責任和義務。如今節能環保的理念已深人人心。許多組織和個人都在為綠色環保不斷努力和無私奉獻。在這種背景下，以“節能、環保、高效、經濟”為核心價值的綠色浪潮正席卷整個IT產業，綠色IT已成為符合社會進步與環境保護要求、滿足經濟可持續性發展目標的新產業，綠色存儲則是引領IT產業下一代革命的創新驅動力。

1 實施綠色存儲是降低數據資源中心能耗的重要保障

IT產業是21世紀的朝陽產業，在帶來全球經濟高速增長和數字化進程快速推進的同時也帶來了巨大的能源消耗，據調查，IT產品能源消耗以每年8％～10％速度增長，2007年IT產品耗電總量約為500億度，IT因耗電而排放的二氧化碳已達到4 000萬／噸!數據資源中心能耗則占IT能耗的40％，而存儲設備約占數據資源中心電力消耗的37％～40％。并且據IDC與EMC的研究報告指出：數字資源正以52％的復合年均增長率飛速增長，至2006年，所創建、存儲、復制的數字信息總量達到1610億GB，并預計這個數據在2010年將達到9880億GB，相當于人類有史以來全部書籍信息的1500萬倍。相對于數字資源的高速增長，存儲領域的現狀卻是低利用率、存儲孤島、過多的冗余備份、低訪問速度等，數字資源爆炸性增長和存儲資源相對有限的矛盾已經十分突出。如何做到既降低能耗、提高資源利用率，又能滿足后續的容量擴展和減少丌投入已經成為迫切需要解決的難題，引入綠色存儲理念，建設節能環保的數據資源中心將是解決這一難題的重要舉措。

綠色存儲是一個系統設計方案，貫穿于整個存儲設計過程，涉及到存儲系統的外部環境、存儲架構、存儲產品、存儲技術、文件系統和軟件配置等多方面的因素，其最終目的是用最少的存儲容量來滿足業務的需求，從而消耗最低的能源。以綠色理念為指導的存儲系統最終是存儲容量、性能、能耗三者的平衡。全球最具權威的IT研究與顧問咨詢公司Garmer發布的2008年十大戰略性技術中，“綠色IT排名首位。從2006年開始，每年的全球存儲的行業盛會SNW(Storage Netwonk World)大會上，綠色存儲技術都是最大的熱點。SNIA(Storage Network Indus~Association全球網絡存儲工業協會)于2007年末宣布成立了“SNIA綠色存儲促進組織”(SNIA Green Storage Initiative)。

針對這一趨勢，許多存儲廠商如3PAR、Bmeade、EMC、HI)S、HP、IBM、NetApp、Sun等都相繼推出了包括存儲硬件和存儲軟件在內的節能、環保型的存儲解決方案，用綠色存儲構建綠色數據資源中心已經成為社會進步的必需和必然。

2 實現數據資源中心綠色存儲的關鍵技術

實現綠色存儲需要先進的綠色存儲技術支撐。綠色存儲技術是指從環保節能的角度出發設計和生產性能功耗空間比更高的存儲產品，降低數據存儲存儲設備的功耗，降低產品所產生的電子碳化合物，提高存儲設備性能，降低建設成本和運行成本。目前，常用的綠色存儲技術主要包括存儲虛擬化、MAID、重復數據刪除、自動精簡配置和分級存儲等。

2.1 存儲虛擬化

存儲虛擬化是建設綠色數據資源中心的一項關鍵技術。數據中心的每臺服務器都有自己專屬的存儲空間，服務器之間很難“借用”存儲空間，造成不同存儲空間的利用率差別很大而總體利用率偏低。虛擬化技術可以利用不同設備的容量來建立一個虛擬化存儲容量池，然后解決各個設備的數據存儲問題。虛擬化即把物理資源轉變為邏輯上可以管理的資源，將不同的存儲作為單個集合的資源來進行識別、配置和管理，以打破物理結構之間的壁壘。通過存儲虛擬化，所有的資源都透明地運行在各種各樣的物理平臺上，資源的管理都將按邏輯方式進行，完全實現資源的自動化分配，應用程序將不再需要知道它們的數據保存在哪個磁盤、分區或是存儲子系統中。

存儲虛擬化包括帶內(在數據通道中)、帶外(擁有代理服務器和元數據控制器，在數據通道之外)和分離路徑(帶內和帶外的結合體)3種方式。其中：帶內(h—band)又稱對稱存儲虛擬化技術，帶內方法主要在主服務器和存儲設備之間實現虛擬功能，是傳統的產品和存儲系統經常采用的方法；帶外(Out一of—band)又稱非對稱存儲虛擬化技術，帶外存儲虛擬化設備安裝在主機和存儲之間的數據通道之外，因而主機中需要安裝專門的軟件；而分離路徑存儲虛擬化技術綜合了帶內和帶外技術的優點，在與軟件綁定的開關或者產品中采用存儲服務模塊或者適配器實現存儲虛擬化。通過存儲虛擬化，實現存儲系統的整合，提高存儲空間的利用率，簡化系統的管理，保護原有投資、提高運營效率、提升服務水平。

2.2 MAID

MAID(Massive Array of Idle Disks，大規模非活動磁盤陣列)。MAID最初的理論依據來自“80／20”定律，具體來說就是80％的訪問活動圍繞著20％的物理存儲進行。據此，人們認識到：那些暫時沒有數據被訪問的磁盤驅動器，完全可以進入能耗相對較低的待機狀態，甚至完全關閉，需要訪問時再“喚醒”也來得及。從而達到節能的效果。例如，如果一個系統在2分鐘內設有讀取數據時，讀取頭就會自行停留至沒有存取數據的地方，以節省讀寫頭的功耗；過了10分鐘后若仍沒有讀取。就會進入下一階段，硬盤轉速將從7 000rpm降低至4 000rpm；若過了15分鐘后仍沒有讀取數據，就會進入第三階段，硬盤會停止運轉，等到系統呼叫時再啟動。采用MAID的系統通過僅在需要的時候打開電源的方式降低了系統的運行成本，提高了硬盤的可靠性，有利于增強數據保護。

2.3 自動精簡配置(7hbo Provisionin~)

在傳統的存儲系統中，當某項應用需要一部分存儲空間的時候，往往是預先從后端存儲系統中劃分出一部分足夠大的空間預先分配給該項應用，即使這項應用暫時不需要使用這么大的存儲空間。但由于這部分存儲空間已經被預留了出來，其它應用程序無法利用這些已經部署但閑置的存儲容量。這種分配模式一方面使閑置的存儲數量不斷增加，系統總體擁有成本升高；另一方面用戶不得不購買更大的存儲容量，才能適應環境，成本進一步加大C6I。自動精簡配置是一項新的容量分配的技術，不會一次性的劃分過大的空間給某項應用，而是根據該項應用實際所需要的容量，多次的少量的分配給應用程序，當該項應用所產生的數據增長，分配的容量空間已不夠的時候，系統會再次從后端存儲池中補充分配一部分存儲空間。

實際上，自動精簡配置的工作原理與部分儲備金體系的原理相似，銀行無需一次支付所有的儲備金，因此也沒有人一次動用所有的存儲資源，利用自動精簡配置技術，能夠幫助用戶在不降低性能的情況下，提高磁盤存儲空間的利用率，推遲用戶磁盤擴容的時間，減少磁盤購買數量，提高存儲性能，減少環境對存儲的壓力，降低總體實現成本，從而降低系統的整體能耗、冷卻成本、以及二氧化碳排放量，符合綠色存儲的要求。

2.4 重復數據刪除技術(Data De—duDlication)

為了確保業務的連續、用戶的穩定，對關鍵數據進行備份是必不可少的，在每一個數據資源中心，日復一日的備份操作會產生大量的冗余數據，占用大量的存儲空間。基于此。一種新的數據管理方式一重復數據刪除技術應運而生了。該技術針對不同的存儲介質、不同的操作平臺，引用一種基于數據塊、可以人為控制數據空間的方式來刪除冗余數據，只為相同的數據保留一份副本，其他被刪除的重復數據將由一個指向元數據的的指針所代替，可以大幅度地節省存儲空間。

重復數據刪除可以對文件、數據塊或者字節級進行操作。實現重復數據刪除的方式主要有兩種：第一種在數據寫入磁盤之前進行判斷，發現重復數據便以指針代替。稱為實時處理(i，一line)，優點是所需磁盤空間較少，缺點是對CPU處理能力要求高；第二種在數據寫入磁盤之后才啟動去重過程，即所謂的后處理(post—pmou＼s)，優點是對CPU處理能力要求不是很高，缺點是必須保留較大的磁盤空間作為，臨時工作區”j。不論采用哪種方式，通過重復數據刪除都可以極大地優化存儲系統，減少數據量，從而降低能耗以及減少產生的熱量。

2.5 分級存儲(nerarchical StoYag~Management)

事實上，任何一種數字文獻資源都具有生命周期。在數據剛生成的一段時間內，訪問頻率最高，為讀者帶來的使用價值也最高；隨著時間的推移，訪問頻率降低，數據的價值也隨之下降。低訪問頻率的數據量遠遠超過高訪問頻率的數據量。不同生命周期的數據是提供給不同使用對象的。這種以最低的成本獲得最高使用價值的方式。就是對數據進行分級存儲Lsj。信息生命周期管理(ILM)是實施分級存儲的理論基礎，它根據業務數據重要性和數據優先級進行數據分類，以此確定相應的數據所需要的存儲系統，進而提高整個系統的安全級別，做到重要數據重點保護，對關鍵業務、關鍵數據實施容災保護。同時，通過數據分類，區分出在線數據、近線數據和離線數據，把在線數據存放在快速的FC／SAS磁盤驅動器上，近線數據存放在相對較慢的SATA磁盤驅動器上，而將離線數據轉移到磁帶存儲離線保存。

以高等學校圖書館為例，其數字資源既包括購買的商業數據庫、共建的專用數據庫以及自建的特色數據庫等。數字資源擁有量小的數T，多的數十T甚至上百L如果將所有的數據都儲存在昂貴的磁盤中，并全部提供365。24小時服務，將會極大地增加運行和維護成本。如果根據分級存儲理論，將不經常訪問的數據按指定的策略自動遷移到存儲層次中較低的層次，釋放出較高成本的存儲空間給更頻繁訪問的數據，就可以獲得較好的總體性價比。達到節能降耗、降低運行維護成本的目標。

3 實現數據資源中心綠色存儲的設備評價與選用標準

選用具備綠色功能的存儲設備是實現綠色存儲的基礎，是實現數據資源中心節能降耗的重要組成部分。在選擇存儲設備時，應選用遵從環保法規規范CEEUP(用能產品生態設計框架指令)和ROILS(電子電氣設備中限制使用有毒有害物質指令)的產品；同時選用該類設備可以參考Sun公司制訂的有關下一代Intemet服務器的評價標準，即SWaP(Space，Watts and Performance，空間、瓦特和性能)標準L9j。該標準從設備占用的空間、消耗的電力、最終提供的服務性能3個維度給出了一個簡單的評測計算公式，既SWaP：P／(S‘w)。其中P為基準性能測試工具獲得的測試值，S為設備在數據中心機架中占用的高度，w為服務器在基準測試時的功耗。這個比值越大，說明該服務器或存儲設備的綜合指標越好，越能滿足節能環保的數據資源中心建設需要。

4 結束語

綠色存儲不僅是IT產品供應商的責任。也是終端用戶的責任，每一個用戶必須意識到自己既是綠色存儲的驅動者又是綠色存儲的實踐者，有責任有義務為節能減排保護環境作貢獻。圖書館是存儲應用的大客戶，在建設數字圖書館的進程中，應該自覺采用多種綠色存儲技術和存儲策略相結合的數據存儲方式，以節能環保為己任。以綠色存儲為起點，選用具備綠色功能的存儲設備。建設節能環保的綠色數據資源中心。