PB級數據存儲與管理
PB Petabytes of Data Storage&Management
多層存儲平臺讓科學家能夠以更高的成本效益更快、更輕松地保留、訪問并充分利用寶貴數據
昆騰為歐洲主要研究機構提供PB級數據存儲與管理,歐洲兩家頂級研究機構正在使用昆騰StorNext工作流存儲作為其管理與日俱增的數據并支持各項科研計劃的基礎。哥廷根大學計算機中心(GWDG)和馬克斯·普朗克科學促進協會計算與IT能力中心為滿足7PB數據的性能和訪問要求,在一個多層解決方案中部署了支持StorNext的磁盤和磁帶系統。此外,馬克斯·普朗克化學研究所還轉投使用昆騰端到端存儲與歸檔解決方案,它可支持更大規模的協作并持續訪問不斷擴大的數據量。
GWDG支持著超過40,000用戶,并需要一個高性能存儲系統,能夠處理數十億份文件并隨著數據量每年翻一番而不斷擴展,以滿足數據快速增長的需求。此外,該存儲平臺還必須支持一個多層存儲環境,其中包括能夠從單一文件系統訪問磁盤上的2.5PB數據和磁帶上的4.5PB數據。
StorNext滿足了所有這些規模、性能和訪問需求。現在,它讓該中心的IT團隊無需雇傭額外人手或從其它項目借調人員,就能支持使用各種操作系統的用戶,并管理一個龐大且不斷增長的數據歸檔。例如,GWDG為該中心的高性能計算(HPC)集群能夠以遠遠高于要求的速度共享訪問來自StorNext環境的數據。IT團隊在高性能計算節點上安裝StorNext分布式局域網客戶端,以便通過以太網來訪問,其速度是3.2GB/秒,高于高性能計算用戶所要求的2GB/秒的性能。因此,這些用戶可以把大量數據遷移到集群中進行處理,并實現長期存儲。
馬克斯·普朗克化學研究所探索大氣中的化學反應過程以及空氣、水、土壤和人之間的交互,從而生成海量原始數據。僅一個涉及巴西雨林氣候變化研究的研發項目就包含多個測量設備,每天最多采集80GB的數據。這些數據隨后傳輸到德國的數據中心進行處理,并供全球研究人員所用。
面對來自這類項目的飛漲數據,以及向多個研究人員提供同步數據訪問的需求,還有無法跟上步伐的數據備份系統帶來的問題,馬克斯·普朗克化學研究所與領先系統集成商Microstaxx一起研究確定解決方案,并最終選擇了昆騰StorNext。
如今,馬克斯·普朗克化學研究所數據管理平臺提供了支持多個并行數據流所需要的性能、隨新項目的啟動而快速輕松擴展的能力,以及有助于提高工作效率的同步數據訪問。通過提供強大的性能、容量以及對各種客戶端系統(其中包括Linux、UNIX、Windows和Mac)的支持,StorNext還降低了團隊“獲取并維護自己存儲環境”的需求。
此外,該研究所還得益于StorNext所提供的集成數據保護。充分利用多層數據管理以及一個Quantum Scalar i6000磁帶庫,馬克斯·普朗克化學研究所可在后臺自動、持續保護研究數據。昆騰的Active Vault功能是能夠把磁帶歸檔到庫中而不是架上,從而最大程度降低成本和磁帶處理,同時提高安全性以及對歸檔內容的訪問。與此同時,通過定期檢查磁帶上的數據并在檢測到問題時把它復制到新磁帶中,昆騰政策驅動型延長數據生命周期管理有助于防止數據丟失。