大數據基礎存儲系統技術研究

王瑞通，李煒春

(1.南京郵電大學 計算機學院，江蘇 南京 210003;2.福州大學 數學與計算機科學學院，福建 福州 350116)

大數據基礎存儲系統技術研究

王瑞通1，李煒春2

(1.南京郵電大學 計算機學院，江蘇 南京 210003;2.福州大學 數學與計算機科學學院，福建 福州 350116)

隨著大數據技術的發展和對海量數據存儲、分析需求的提高，成熟的分布式存儲系統越來越多。通過對不同分布式基礎存儲系統內部的存儲策略、管理策略、架構思想等關鍵技術點的對比和分析，對當前流行的分布式存儲系統在設計思想、創新性技術上進行了追根溯源。對比傳統數據存儲與分布式數據存儲的技術發展和應用實例，揭示了數據存儲追求更大、更快、更安全的發展潮流，重點研究了大數據基礎存儲實例中基于文件、鍵值對和表格這三種分布式存儲方式。正如網絡技術的發展到SDN(Software Defined Network)一樣，存儲方式也在發生深刻變化—軟件定義存儲。通過對當前大數據主流基礎存儲系統技術的發展和應用實例所進行的對比研究，為分布式存儲系統，特別是基礎存儲系統的開發，提供了一些在系統設計上的參考，也為在從事大數據方面有業務需求的工作人員在選擇底層存儲策略時提供了借鑒。

大數據；存儲架構；數據管理；基礎數據存儲系統；分布式存儲系統

0 引 言

自2013年大數據元年之后，互聯網、物聯網、社交網絡的數據洪流[1]不斷沖擊傳統數據存儲和處理手段。據IDC(International Data Corporation)報告顯示，到2020年全球數據總量將達到40 ZB，全球在15年的數據總量為7.9 ZB，而中國數據總量約占全球數據總量的13%。……