中國市場大數(shù)據(jù)對存儲的需求

文/王叢

中國市場大數(shù)據(jù)對存儲的需求

文/王叢

中橋國際調(diào)研咨詢近日為戴爾完成的大數(shù)據(jù)對存儲需求的調(diào)研報(bào)告簡要介紹了中國大數(shù)據(jù)技術(shù)和市場的趨勢，并結(jié)合5個(gè)典型大數(shù)據(jù)應(yīng)用場景，淺析了存儲，特別是戴爾流動數(shù)據(jù)架構(gòu)，如何滿足企業(yè)在大數(shù)據(jù)通過IT創(chuàng)造價(jià)值的過程中的需求。

大數(shù)據(jù)創(chuàng)造業(yè)務(wù)價(jià)值

有效利用大數(shù)據(jù)，不僅可以實(shí)時(shí)監(jiān)控各種潛在風(fēng)險(xiǎn)，提高生產(chǎn)效率，更重要的是為企業(yè)提供諸多洞見，提升投資回報(bào)和競爭優(yōu)勢，而且有助于企業(yè)從多維度判斷全球市場潛在商機(jī)，實(shí)現(xiàn)跳躍式快速發(fā)展。大數(shù)據(jù)通過IT創(chuàng)造價(jià)值主要分為三個(gè)階段，第一個(gè)階段是批量分析，數(shù)據(jù)主要來自企業(yè)內(nèi)部結(jié)構(gòu)化數(shù)據(jù)；第二個(gè)階段是實(shí)時(shí)分析，數(shù)據(jù)分析類型逐步從結(jié)構(gòu)化演進(jìn)到包括非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)；第三個(gè)階段則是全方位事實(shí)分析，不僅有來自企業(yè)內(nèi)部的數(shù)據(jù)，同時(shí)會納入來自第三方的競爭數(shù)據(jù)，以非結(jié)構(gòu)化數(shù)據(jù)為主。

中國市場大數(shù)據(jù)分析現(xiàn)狀

對于大數(shù)據(jù)分析在中國市場發(fā)展的現(xiàn)狀，中橋分析師表示，中國市場90%以上的用戶處于大數(shù)據(jù)分析第一階段，而且用戶大數(shù)據(jù)分析主要圍繞企業(yè)內(nèi)部的結(jié)構(gòu)化數(shù)據(jù)，如數(shù)據(jù)庫或事務(wù)性數(shù)據(jù)，較少企業(yè)將日志、感應(yīng)數(shù)據(jù)、社群數(shù)據(jù)納入大數(shù)據(jù)分析。不過這一趨勢將會發(fā)生變化，因?yàn)榘虢Y(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在中國大數(shù)據(jù)分析的占比在未來24個(gè)月將會快速增長。

圖1 大數(shù)據(jù)分析IT投資趨勢

圖2 大數(shù)據(jù)存儲挑戰(zhàn)

大數(shù)據(jù)分析市場趨勢

雖然中國用戶尚處于大數(shù)據(jù)分析的第一階段，但中國企業(yè)已經(jīng)意識到其重要性。那么在數(shù)據(jù)分析解決方案部署上，中橋分析師表示，在未來12個(gè)月40.9%的企業(yè)級用戶考慮部署新的數(shù)據(jù)分析解決方案；而對于45.0%中小企業(yè)來說，未來12-24個(gè)月將成為大數(shù)據(jù)分析新方案的強(qiáng)增長點(diǎn)。

大數(shù)據(jù)存儲的挑戰(zhàn)

那么，在大數(shù)據(jù)創(chuàng)造價(jià)值的過程中，中國用戶又面臨哪些存儲挑戰(zhàn)？分析師表示，受訪企業(yè)和機(jī)構(gòu)在進(jìn)行數(shù)據(jù)分析時(shí)面臨的存儲難題依次為：存儲容量不能滿足需求（50.1%）、資源配置復(fù)雜（44.4%）、采購和運(yùn)營成本高（40.2%）、不能滿足并行處理能力需求（39.3%）、非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)分析（33.2%）、存儲硬件利用率低下（20.9%）。

這表明在大數(shù)據(jù)時(shí)代，在數(shù)據(jù)量飛速增長的情況下，企業(yè)的存儲容量面臨的壓力最大，而應(yīng)用的多元化和IT的分層管理，帶來了系統(tǒng)IT資源配置和管理的復(fù)雜；要滿足如此海量數(shù)據(jù)和多種應(yīng)用的需求，企業(yè)的存儲采購和運(yùn)營成本也居高不下；而多個(gè)應(yīng)用的同時(shí)運(yùn)行，則對系統(tǒng)的并行處理能力提出了更高要求；非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)分析則進(jìn)一步反映了企業(yè)數(shù)據(jù)類型的多樣性和復(fù)雜性。因此，為了滿足大數(shù)據(jù)時(shí)代的IT需求，企業(yè)需要大容量、高性能、保證數(shù)據(jù)生命周期高性價(jià)比的存儲來滿足大數(shù)據(jù)存儲、數(shù)據(jù)保護(hù)和業(yè)務(wù)連續(xù)性需求。

戴爾流動數(shù)據(jù)特色

針對上述大數(shù)據(jù)時(shí)代中國用戶普遍遇到的存儲挑戰(zhàn)，以及用戶對于新型存儲的需求，分析師認(rèn)為，戴爾流動數(shù)據(jù)架構(gòu)可以簡單快捷地實(shí)現(xiàn)存儲容量和性能的升級擴(kuò)展；橫向擴(kuò)展可以跨不同節(jié)點(diǎn)擴(kuò)展，保證了在容量擴(kuò)展時(shí)性能不會衰減，以及容量和性能的獨(dú)立升級線性擴(kuò)展；同時(shí)跨不同節(jié)點(diǎn)實(shí)現(xiàn)了無斷代技術(shù)升級，避免了叉車式斷代升級帶來的管理難度和對業(yè)務(wù)連續(xù)性的影響，確保了存儲生命周期的高可擴(kuò)展性。此外，戴爾通過一個(gè)“智能”（數(shù)據(jù)塊級智能）和三個(gè)“自動化”（數(shù)據(jù)分類自動化、映射自動化、遷移自動化）、流動數(shù)據(jù)的分層結(jié)合、不同RAID級別和存儲層，滿足不同工作負(fù)載對高可用、高性能和容量的需求，以最微粒化的維度提高大數(shù)據(jù)分析過程中的資源利用率。戴爾流動數(shù)據(jù)架構(gòu)還結(jié)合一系列的存儲容量優(yōu)化技術(shù)（自動精簡、數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù)刪除），大大加少了資源浪費(fèi)。其集群、閃存技術(shù)（SLC和MLC）和固態(tài)盤分層技術(shù)的結(jié)合，有效提高了IOPS，降低了時(shí)間延遲，實(shí)現(xiàn)了大數(shù)據(jù)對OLTP和OLAP的高要求，以及存儲容量可擴(kuò)展和資源優(yōu)化的目的。

應(yīng)用場景分析

1．SQL應(yīng)用

英國某衛(wèi)生行業(yè)云計(jì)算提供商對于客戶各種需求的滿足，加大了對數(shù)據(jù)存儲容量和性能、大數(shù)據(jù)分析頻率和速度的要求。該提供商結(jié)合Microsoft SQL Server 2012 Enterprise軟件和商業(yè)智能工具，通過混合云平臺，為各種醫(yī)療機(jī)構(gòu)和醫(yī)生提供用戶可選擇的商業(yè)智能分析服務(wù)。大數(shù)據(jù)分析過程中，存儲主要面臨的挑戰(zhàn)是擴(kuò)展和存儲利用率以及近實(shí)時(shí)分析性能。

戴爾流動數(shù)據(jù)架構(gòu)的橫向擴(kuò)展特性，以及引入閃存帶來的高性能和分層技術(shù)可以幫助醫(yī)療機(jī)構(gòu)在實(shí)現(xiàn)存儲資源優(yōu)化的同時(shí)，滿足大數(shù)據(jù)分析的性能需求。

2．SAP HANA應(yīng)用

美國某電信供應(yīng)商面臨的問題是，如何將不同來源的海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)近實(shí)時(shí)分析，通過多種渠道為2100萬用戶提供所需服務(wù)。2012年，該公司部署了SAP HANA，對多種維度的數(shù)據(jù)進(jìn)行大數(shù)據(jù)近實(shí)時(shí)和實(shí)時(shí)分析。快速部署SAP HANA，以及SAP HANA分析平臺對存儲容量、存儲性能、數(shù)據(jù)高可用性，以及數(shù)據(jù)保護(hù)的需求對傳統(tǒng)存儲帶來挑戰(zhàn)。

戴爾不僅提供了SAP HANA認(rèn)證整體解決方案，其閃存優(yōu)化大幅度提高了一層存儲的性能，并且流動數(shù)據(jù)架構(gòu)的細(xì)粒度分層都保證了最大限度降低了SAP HANA部署、調(diào)優(yōu)和管理所需的資源。

3．Hadoop應(yīng)用

SecureWorks作為信息安全服務(wù)商，幫助從政府到企業(yè)的各種用戶通過Web應(yīng)用、網(wǎng)絡(luò)、日志等掃描及全天候安全監(jiān)控，提高信息安全性。隨著客戶量的增加，數(shù)據(jù)量快速攀升，如何保證存儲高可擴(kuò)展性、數(shù)據(jù)高可用性，以及存儲動態(tài)資源配置能力，是選擇存儲的關(guān)鍵。

戴爾 Crowbar結(jié)合ClouderaHadoop方案，簡化了Hadoop的方案整合，提高了存儲性能，優(yōu)化了存儲資源利用率，降低了業(yè)務(wù)風(fēng)險(xiǎn)。為從IT架構(gòu)管理，向IT服務(wù)交付提供了標(biāo)準(zhǔn)化、規(guī)范化、自動化的IT管理平臺。

4．Oracle應(yīng)用

紐約某教育信息交換中心支持64所不同的高等教育機(jī)構(gòu)，為用戶提供多種應(yīng)用；同時(shí)，為24所高教機(jī)構(gòu)管理140個(gè)Oracle數(shù)據(jù)庫、50多種Oracle應(yīng)用，對各種數(shù)據(jù)進(jìn)行批量分析。隨著數(shù)據(jù)庫容量和課件的非結(jié)構(gòu)化文件存儲容量快速攀升，如何提高存儲資源利用率、對結(jié)構(gòu)化和非結(jié)構(gòu)化存儲的集中統(tǒng)一管理，并確保課件所需要的容量和吞吐量，以及課件的在線響應(yīng)速度是他們面臨的挑戰(zhàn)。

戴爾流動數(shù)據(jù)架構(gòu)結(jié)合數(shù)據(jù)塊級智能和虛擬頁技術(shù)讓用戶制定靈活的RAID級別和存儲層，以及數(shù)據(jù)存儲的盤道位置，通過各種資源整合效應(yīng)，確保業(yè)務(wù)關(guān)鍵型工作負(fù)載性和高可用性需求。同時(shí)，橫向擴(kuò)展保證容量擴(kuò)展過程的性能滿足課件所需要吞吐量，保證課件在所有時(shí)段的響應(yīng)速度。

5．VDI應(yīng)用

某保險(xiǎn)公司有450個(gè)保險(xiǎn)代理、50萬用戶，部署了1300個(gè)虛擬終端。隨著虛擬終端數(shù)量以及應(yīng)用的增多，啟動風(fēng)暴導(dǎo)致每天上班時(shí)啟動時(shí)間在15-30分鐘。如何保證啟動風(fēng)暴所需要的IOPs，同時(shí)控制桌面虛擬化存儲成本，滿足存儲容量需求，是該保險(xiǎn)用戶提高桌面虛擬化投資回報(bào)的最大挑戰(zhàn)。

戴爾12代服務(wù)器通過GPU技術(shù)，提高了對于桌面虛擬化圖形文件的處理能力，大大降低保險(xiǎn)行業(yè)處理高清影像文件對終端顯卡的開支；同時(shí)，通過C系列和VRTX，為保險(xiǎn)行業(yè)用戶提供整體IT架構(gòu)解決方案，降低桌面虛擬化部署周期和管理難度。而戴爾流動數(shù)據(jù)架構(gòu)同時(shí)保證了虛擬化性能，保證了生產(chǎn)效率。

中橋觀點(diǎn)

大數(shù)據(jù)正在改變著各行各業(yè)的產(chǎn)業(yè)格局和價(jià)值鏈分配。中國用戶已經(jīng)普遍意識到大數(shù)據(jù)分析的巨大價(jià)值，并計(jì)劃在未來24個(gè)月部署新的數(shù)據(jù)分析解決方案和存儲，提高大數(shù)據(jù)創(chuàng)造價(jià)值的能力和效率。在這個(gè)過程中，傳統(tǒng)存儲難以滿足大數(shù)據(jù)對性能等多方面需求。戴爾流動數(shù)據(jù)架構(gòu)將能夠很好地應(yīng)對大數(shù)據(jù)分析所面臨的存儲難題，為企業(yè)實(shí)現(xiàn)IT創(chuàng)造價(jià)值起到關(guān)鍵作用。