數據存儲：與數據治理和AI有關

丁海驁

近期，IDC的一項報告顯示：2021年全球大數據市場的IT總投資規模為2176.1億美元，到2026年，這項數據將增至4491.1億美元，五年預測期內（2021-2026）實現約15.6%的復合增長率。在中國市場，2026年中國大數據IT支出規模預計會達到359.5億美元，市場規模位列單體國家第二。

大數據市場的高速成長，客觀地反映出企業用戶對于數據關注點的進步：他們正在從以往的數據收集、存儲與管理，轉向對于數據的分析和價值的發掘，從而實現讓數據真正發揮價值，用虛擬的數字來優化真實現實的目的，最終完成其“數字”應用的完整流程。

然而對于現階段的企業用戶而言，有兩個具體的問題是需要面對的：第一，從數據中心到混合云應用，企業在IT基礎架構高速演進的過程當中，根據自身不同的業務場景，已經部署應用了與之對應的各種不同的數據收集、存儲和管理的方式，該如何整合這些以往的工作成果？第二，與數據應用和分析相對應的，是更加復雜、更靈活和更具特色的應用場景，企業該如何根據自身業務的需求，找到適合的數據應用的方式？前者是對以往工作成果的梳理，后者則是對未來應用模式的規劃。

“面對變局，企業存儲策略和存儲系統也當應時而變，不僅需具備安全性、可靠性、大容量和高性能等長期要求的能力，還必須持續提升彈性和靈活性，滿足數據在敏態、穩態不同的IT環境中的可靠流動和互聯互通?！苯衲?月，Hitachi Vantara中國區技術銷售總監謝勇在一篇署名文章中談到相關問題時強調，對于企業而言，從數據中心到混合云，企業需要建立一套能夠“通觀全局的數據存儲策略”，才是解決問題的根本和基礎。

事實上，作為能夠為用戶提供包括數字基礎架構、數據管理與分析等在內完整數字治理解決方案的Hitachi Vantara，對解決以上兩個問題，有一個相對清晰的產品和技術邏輯：首先，為統籌各種不同模式的存儲方式，Hitachi Vantara提供了一套通用的存儲虛擬化操作系統（Hitachi Storage Virtualization Operating System， SVOS），用以調度和控制計算、網絡、存儲資源，實現傳統存儲和軟件定義存儲（SDS）的融合，從而在應用企業當中形成一個通觀全局的數據存儲底座；與此同時，在SVOS的基礎上，提供一體機模式和軟件定義模式的數據存儲方式。其中，一體機模式即全新虛擬存儲平臺（Virtual Storage Platform）VSP家族，面向不同規模和不同行業的企業，提供從入門級到旗艦級的全閃和混閃陣列；軟件定義模式則包括日立軟件定義塊存儲 （Hitachi Virtual Storage Software Block， VSSB）、文件內容軟件Hitachi Content Software for File （HCSF）、軟件定義的對象存儲HCP（Hitachi Content Platform和HCP Cloud Scale），以及UCP系列融合和超融合解決方案，幫助企業構建靈活且可靠的混合云方案。

謝勇在文章中強調：“企業本地數據中心包括傳統架構和私有云兩部分：對于傳統架構，VSP系列和Hitachi NAS Platform （HNAS） 能夠提供強力支持；對于私有云，VSP系列和VSSB、HCSF可以全局管理；對于公有云，企業則可以將兩種模式共同運行于AWS等主流云平臺上。從而，借助Hitachi Vantara統一的存儲管理平臺SVOS，企業便能實現數據在傳統架構、私有云和公有云之間的流動和一致管理，實現從私有云到公有云的統一運行、管理和數據復制，滿足同一數據中心、不同架構和不同應用的業務需求?！?/p>

解決了數據整合管理的問題，針對數據分析和應用的方式，Hitachi Vantara也有自己的想法和明確的產品指向。

“Hitachi Vantara的HCSF高性能分布式文件存儲是為人工智能而生的數據平臺?！辈袒坳?，Hitachi Vantara中國區資深解決方案顧問在日前接受采訪時，談到了Hitachi Vantara軟件定義存儲解決方案群中的HCSF（Hitachi Content Software for File）分布式文件存儲解決方案，強調HCSF作為針對AI、ML、分析和其他GPU加速工作負載的高性能存儲解決方案，有別于傳統的存儲方式，能夠同時滿足高性能工作負載對后端存儲提出的三大要求：高性能、高擴展性和易用性。

眾所周知，大數據、AI、ML等概念都不是最近出現的，只是當時在PC時代，算力的局限不僅限制了數據的產生，也限制了AI和ML真正價值的發揮。直到云計算讓算力不再具有任何上限，用戶對于數據的獲取也開始變得更加廣泛，AI和ML才真正成為了最有效的數據分析工具。

“并不是說銀行之前不做貸款風險的數據分析，只是以前各個金融機構只能分析自己企業內部的數據，比如存貸款的消費記錄、信用卡記錄等，數據量和類型都比較單一。但是到現在，銀行做數據分析就可以結合包括用戶淘寶消費數據等更多的征信數據，數據量、數據的維度、和對分析時間的要求都更高，對用戶的畫像也更全面、更豐富?！敝x勇認為，利用AI和ML做數據分析，可能才是真正發掘數據價值的正確手段。而作為“為AI而生的”HCSF，則是解決企業用戶對數據分析需求的有效工具。

在蔡慧陽看來，傳統意義上，企業在數據價值挖掘的過程中，需要迎接三個方面的挑戰，分別是：后端的存儲跟不上前端的計算性能的不斷提升；數據量的急劇增長；以及IT預算在不斷縮減。因此在他看來，企業就非常有必要在選擇存儲解決方案時，集中考慮三個核心的因素：“首先，是要提供足夠的性能以滿足前端業務的需求；其次，要具有更高的擴展能力；第三，要盡可能幫助企業節省保存數據的成本?！?/p>

蔡慧陽認為傳統架構之所以不能適應AI數據處理，是因為在整個AI的數據處理過程中，環節眾多，數據傳遞損耗掉了必要的時間；同時，傳統存儲架構也容易存在數據接口單一等缺陷，企業難以在一個存儲平臺上面同時滿足不同文件大小對性能的不同要求。

與此相對，蔡慧陽強調：HCSF作為一個為AI而生的數據平臺，提供豐富的接口，因此在整個人工智能數據處理的流程中，所有的數據處理流程完全是在一套文件存儲系統當中進行，自動進行性能調優，有效解決所有傳統架構遇到的難題。

“它是一個完整的存儲平臺，消除了數據孤島，避免了傳統架構中需要多套存儲設備的復雜性；它是一個單一的管理接入點，整個存儲空間的管理，包括對本地和云端的空間管理，通過一個單一的接入點就能實現；它是一套完整的文件系統，即使后端增加了保存溫數據的對象存儲或云端存儲，對用戶來說也是沒有感知的，用戶看到的仍然只是同一個文件系統；在該平臺上，同一份數據只需要一份拷貝，數據無需來回流動、遷移和復制?！辈袒坳枌⒋朔Q為“極簡”特征。

我們都知道，在Hitachi Vantara的軟件定義存儲解決方案中，不僅有分布式文件存儲解決方案HCSF，還有塊存儲解決方案VSSB，以及對象存儲解決方案HCP，且如果單純從存儲模式理論層面講，分布式文件存儲模式并不一定比其他兩種模式，在數據讀寫速度和分享能力方面具有絕對的優勢。那HCSF為何被定義成“為AI而生”呢？

“這來源于它與眾不同的設計理念和專利的技術?！辈袒坳栒劦紿CSF的三項具體設計理念和專利技術：第一，HCSF數據平臺的架構是基于高性能介質NVMe、高速網絡以及高速總線來進行設計的。因此HCSF能夠通過底層的驅動優化，減少數據傳輸的中間環節，從而大大縮短延遲。第二，HCSF設計的初衷，就是要規避傳統分布式文件存儲在各方面的局限性能，同時考慮高吞吐、高IOPS、低延遲、高效的元數據處理。因此，無論是任何大小的文件，還是混合負載，它都能夠自動調優提供無差別的高性能。第三，HCSF采用了專利的全分布式擴展架構，把數據和所有元數據都分布在所有的節點上?！斑@一點很重要，”蔡慧陽強調，“因為傳統架構只將元數據分布在某些節點上，所以它就會有瓶頸；如果是采用HCSF這種全分布式架構的專利技術，就能打破這些性能瓶頸，所以可以提高擴展性、聚合性能和彈性?！?/p>

因此在蔡慧陽看來，基于這樣的技術背景，HCSF就獲得了超高性能、無限擴展、簡單易用的產品特征，且擁有廣泛的接口支持，“支持更多協議意味著我們能夠輕松適配前端的各種異構計算平臺——目前已經能夠同時支持五種接口協議，未來還能夠支持更多協議?！辈袒坳栒f。

具體談到HCSF和HCP在具體應用中的關聯，蔡慧陽認為，雖然兩者都是軟件定義的分布式存儲架構，但是Hitachi Vantara給兩者做了比較清晰的應用場景的側重：“HCSF定位于高性能計算和高性能數據分析領域，滿足高IOPS、高吞吐和低延遲的極致性能需求；而HCP面向那些采用S3接口的應用，存儲海量的靜態數據，同時滿足企業合規對數據無篡改長期保存的需求?！彼瑫r強調，事實上在非常多的企業應用場景中，兩者是相互配合的關系：“前端是HCSF提供高性能的存儲，后端是對象存儲HCP——而終端用戶對此并不會有所察覺，因為兩個解決方案還是同一個存儲空間，只不過是根據數據的冷熱程度分別放在不同的存儲層?！?/p>

撥開紛繁復雜的基礎架構和眼花繚亂的應用，企業真正開始關注數據的價值，無論如何都是一個令人欣喜的進步，說明企業開始將關注的重點放在IT能力，以及IT到底能夠給現實業務帶來怎樣的增益，這事實上也是企業級IT最核心的價值所在。而對于企業而言，關注數據亦需要強調現實作用的同時，兼顧可持續性和全局性——畢竟，企業級IT的進階還僅僅是剛進入下半場，距離終場還很遠。