基于云環境下的海量大數據存儲系統設計

武警北京市總隊第二醫院 劉 斌

基于云環境下的海量大數據存儲系統設計

武警北京市總隊第二醫院 劉 斌

云環境下的大數據處理是未來數據存儲、處理的主流技術。對此，本文通過對云環境下大數據的存儲、管理研究，分別對系統存儲文件夾、文件卡、數據處理算法進行設計，搭建成一個云環境下的大數據存儲平臺。最后，通過平臺的實際應用，結果表明：云環境下存儲技術能夠實現數據快速存儲、數據處理，提高了數據的存儲、管理效率與質量。

云環境；大數據；數據存儲系統；系統設計；算法

引言

近年來，隨著計算機技術與互聯網技術的快速發展，互聯網的信息量呈現大量增長的現象，對大量的數據進行存儲、處理是一件較為困難的事情，傳統的數據存儲、處理技術已經不能滿足當下人們對數據處理、存儲的需求。針對此問題，本文通過對云環境下大數據的存儲管理研究，設計一個云環境下大數據存儲軟件，分別對系統的存儲文件夾、文件卡、數據處理算法進行設計，構建了一個云環境下的大數據處理平臺，平臺的應用結果表明：云存儲技術能夠實現快速存儲、數據處理，提高了對數據的存儲、管理效率與質量。

1.云環境與大數據內涵

云計算是將數據信息的處理方式從個人電腦PC與互聯網轉移到數據中心的一種模式。云計算不僅涉及到軟件，還涉及到硬件等設施。數據的存儲與管理對任何企業都是非常重要的，而數據的安全性是數據存儲的關鍵。在云計算環境下，數據的可用性與持久性對存儲服務也是非常重要的。一般來說，一個大型的元計算服務有專屬的數據中心，大量的數據存在于各個不同的地方，數據以副本的形式存在于每個不同的地方，建立較好的容錯機制，提高大數據的存儲、利用質量。

大數據一般是指在規模上和復雜度上都是難以用現有的數據庫管理工具或傳統的計算方法完成對數據信息分析處理的數據。大數據是當今世界流行的數據分析方法之一，需要從信息時代生活中，分析大量的信息數據，從中得到各種各樣的有用數據信息。大數據具備五個特點：數據量較大、種類多、速度快、時效高、價值密度低。目前，大數據主要存在以下幾個方面的挑戰：

（1）數據采集存儲和生命周期的管理。由于現代互聯網絡的大力發展，數據信息的類型、結構、模式變得更加復雜；

（2）數據包的處理。數據包的價值密度是較低的，需要快速地提取有用信息，具備數據處理高效、可信及可視化等特點。對于同一個數據信息，采用不同的處理方法與分析模型，最后得到的數據結果相差較大。大數據的處理結果還需滿足數據的可視化呈現、可追溯、可判斷等相關需求。

（3）數據的安全與隱私問題。在存儲、處理、傳輸大量數據信息的過程中，都需要處理安全方面的問題。大數據時代，往往生產數據的人也同時是使用、管理數據的人，所以原有的技術手段已經顯示出不足，無法滿足現在大數據的安全要求。

2.云環境下的大數據存儲原理

大數據的存儲原理為：在數據存儲的過程中，根據相關的存儲節點，建立一個大型的云環境數據存儲系統，通過該系統將大量的數據處理任務分解為各個小的任務，將數據的大集合區域分解為各小區域，然后并行進行數據處理。以下為處理的詳細步驟：

根據上述原理中的數據處理過程，在并行處理數據時，假設R為需存儲的大量的數據，有k元屬性，A1，A2，Ai，Ak，代表大量數據的各屬性，其中Ai是大量數據被存儲在第m個節點上，

在大數據平臺數據處理過程中，大量的數據R為：

根據上述的步驟可完成與數據平臺的數據存儲優化與并行處理。

3.云環境下的海量大數據存儲系統設計

3.1 存儲設計

云存儲系統文件存儲系統的把節點主要有兩部分：數據節點、非數據節點。系統中的主要成分是數據節點（圖中DateNode節點），管理節點與監控節點為非數據節點（圖中Master節點）。Client節點即為訪問的客戶。Node節點為系統主要部分，主要包括數據存儲、數據查詢、事務處理，主要完成確保系統大部分任務的正常運行。Master節點主要實現對系統整體狀態的監控，包括系統節點狀態、局部數據節點的查詢、保持文件塊地址信息等。

圖1 云存儲系統結構示意圖

3.2 文件塊設計

在存儲系統存儲文件時，規定每個文件塊都用一個主副本，每次事務處理文件塊時主本控制所有副本的信息更新。文件塊還有以下控制信息塊：（1）主副本所在節點編號：系統中各節點都在Master節點獲得屬于本節點的編號，且與本節點的地址組成一個節點編號。（2）副本個數：包括主副本和其他副本，一般情況下，值為1時，代表無其他副本，值為0則代表此文件塊不存在。（3）副本所在節點編號：保存所有節點編號，可實現根據節點編號尋找副本節點地址信息與系統編號的功能。

3.3 更新算法設計

本數存儲系統采用谷歌公司的Chubby服務機制，Chubby算法主要通過5臺機器組成一體實現該算法的功能，這樣就可支撐萬臺機器鎖，5臺機器本身則采用完全冗余策略，Chubby內部采用Conscnsusprotocol協議保證系統的一致性，在系統內部的5臺機器中設定一個Master，隨著時間的推移而自動更新。Client和Chubby之間采用event方式通信。

4.實際應用

現階段，云存儲越來越受到關注，應用范圍也越來越廣，各個領域都有較好的應用范例。 隨著城市化的快速發展，城市監控的網絡變得越來越重要，以下為云存儲平臺在視頻監控領域的應用情況。

隨著各互聯網公司的加入，云存儲研究相關人員將互聯網相關產品中的信息與云存儲應用綁定，增加用戶的便捷性。在互聯網云存儲技術的支持下，互聯網上消費電子產品的信息快速流通得以實現，有圖片、文字、音樂、視頻的信息，實現產品信息的自由流通，為用戶提供了產品的交流元素。在該系統中需要提供存儲容量大于10PB的存儲系統。互聯網云存儲對訪問要求較低，需要實現對數據的保護、壓縮、刪除等操作，公司根據用戶對平臺的存儲服務空間、訪問流量等進行相關的費用收取。

5.結論

云環境下的海量數據存儲技術是未來發展的趨勢，云平臺是實現該技術的載體。針對傳統的數據存儲、處理方式的各種不足，本系統采用云環境下的存儲技術，實現對數據的安全、快速存儲、處理操作。通過對實際工程的應用，結果表明云存儲技術的應用提高了對海量大數據的存儲、處理操作的效率與質量。

[1]邵彧．大數據云存儲中的并行優化處理方法仿真[J]．計算機仿真,2016,33(4):395-398．

[2]費賢舉,王樹鋒．基于云環境下的海量大數據存儲系統設計[J]．計算機測量與控制,2014,22(7):2259-2262．