2014年11月19日,全球領先的存儲解決方案提供商希捷科技公司(NASDAQ:STX)日前宣布推出ClusterStor Hadoop工作流加速設備,該新型解決方案提供各種工具、服務和支持,適用于高性能計算(HPC)客戶,可滿足他們通過最佳性能的存儲系統實現大數據分析的需求。Hadoop工作流加速設備包含全套Hadoop優化工具、服務和支持,可以利用和增強ClusterStor的性能;ClusterStor是市場領先的橫向擴展型存儲系統,專門用于大數據分析。計算密集型的高性能數據分析(HPDA)環境可以利用Hadoop工作流加速設備大幅度縮短數據傳輸時間。該解決方案還帶有Hadoop on Lustre連接器,因此無須在文件系統或存儲設備之間移動數據,Hadoop和HPC Lustre兩種集群便能夠使用完全相同的數據。
IDC公司高性能計算研究副總裁Steve Conway表示:“數據密集型計算長期以來都是HPC的一部分,但是采用Hadoop等方法的最新分析方式,如圖形分析方式,將促進高性能數據分析的強勁增長,這便是需要HPC的大數據市場。Hadoop工作流加速設備可服務于這個不斷融合的大數據HPC市場的技術計算和商業層面,IDC預計該市場將于2018年超過40億美元。IDC研究顯示,29%的HPC站點已經采用了Hadoop。能夠提升Hadoop性能和效率的工具將在這個市場找到用武之地?!?/p>
Hadoop工作流加速設備支持基于開源Apache Hadoop的Hadoop產品。希捷攜手各領先的Hadoop廠商,為HPC客戶提供同類最佳的解決方案,并且未來還將實現Hadoop工作流加速設備和其它Hadoop產品之間更加緊密的集成。
希捷公司云系統和解決方案部門ClusterStor業務副總裁Ken Claffey表示:“企業不僅希望管理好他們從各種渠道收集的海量數據,而且還希望能夠從中獲取新的分析結論,從而得到有用的信息并提高運營效率?,F在有了Hadoop工作流加速設備的協助,希捷屢獲殊榮的ClusterStor橫向擴展型HPC解決方案便可使企業能夠優化其大數據工作流程,并將數據存儲集中化,最終實現各種高性能數據分析解決方案。TeraSort基準測試結果顯示,基于相同的硬件時,Hadoop工作流加速設備的性能超過Hadoop分布式文件系統(HDFS)上的Hadoop產品高達38%。Hadoop工作流加速設備能夠滿足客戶的性能需求,并可以優化Hadoop系統部署設備的性能,因此能夠幫助客戶迅速獲得數據密集型工作負載和硬件配置的分析結果?!?/p>
希捷ClusterStor系統創新的橫向擴展型HPC架構能夠實現一個集中的數據庫,使得HPC和Hadoop兩種分析工具能夠同時利用ClusterStor的相同數據集。Hadoop工作流加速設備從每項任務伊始便立即開展Hadoop數據處理,從而極大地縮短了獲得分析結果的時間,并且還可以減少從獨立數據庫批量拷貝大量數據的冗長步驟。有了這個加速設備,Hadoop環境便能夠獨立擴展計算和存儲資源,從而提高優化分析資源的靈活性,同時還支持100PB級存儲容量的集中化高性能數據庫。endprint