基于Hadoop的海量數據存儲平臺設計與開發

段軍紅 張小東 史慶華

互聯網信息技術的大面積普及，要求互聯網應承擔著爆炸式的信息增長模式，特別是在對海量數據進行繁雜處理期間，部分無序信息的智能化分析及就顯得尤為重要，通過智能化分析能了解到網絡海量數據信息的高度異構性特點，在多項海量數據信息異構結構使用中，提出新的云計算數據存儲管理模式。根據對其研究，能初步獲悉，系統開設的海量數據管理任務分析能讓整個管理的效率更高、安全性更好、維護性更強。

【關鍵詞】海量數據 平臺設計 開發

由于數據信息開始從GB、TB持續到PB的量級爆炸式模式進行增長，所以數據的整體變化具有多樣性，特別是地理上分散性極好，能更好的對數據進行海量的管理，從而提出更好的管理方式。為能讓海量數據的信息存儲狀況達到最優狀態，就要實現海量數據的無序繁雜處理模式，故此使用Hadoop云平臺海量數據存儲模式就顯得十分必要。

1 Hadoop框架簡介

Hadoop是系統性的開源組織結構，能對數據進行海量的分布式處理作為系統性框架組織結構，它是以開源軟件的形式存在的，具有可靠性、伸縮性和高效性等特點。由于Hadoop是一種應用程序，能提供更多的可透明接口，所以Hadop的運行多集中在計算機集群上，能在大量的運行中使用廉價的集群運行，由于運行的成本偏低，所以能根據當前的所需適度的對Hadoop集群服務進行添加或者刪除。我們知道Hadoop是為了分布式的數據存儲提供更多的數據方式，所以能對數據進行海量的信息存儲。當前Hadoop的組建可以如圖所示，在使用Hadoop框架進行系統研發的同時，要把HDFS分布式文件系統存儲在節點文件上面。MapReduce編程系統能對數據進行系統化的海量分析和運算，HBase是面向集群開設的分布式數據存儲系統，能根據具體情況隨時隨地的進行大規模的數據集群操作。

2 海量存儲平臺的設計

2.1 平臺設計的目標與原則

根據現有的Hadoop的特點，能了解到數據存儲平臺設計的主要特點之一是設計速度快，數據能進行海量的處理。系統設計原則如下：

2.1.1 容易擴展

系統的擴展能根據現有的節點數量，保障存儲的可擴展性。

2.1.2 節約成本

使用低廉的PC服務器進行數據云存儲平臺的系統性搭建，節約平臺的部分投資成本。

2.1.3 快速高效的原則

當前受到Hadoop云平臺的特性影響，能對海量的數據信息進行系統性的分發操作，均使用Map/Reduce進行計算，就能在不同的節點上開展本地計算，讓電信數據的存儲分析效率達到最高的狀態。

2.1.4 易于進行管理

數據信息存儲管理期間，系統的應用用戶能根據用戶使用狀況對應提供多個異構數據庫管理模式，在使用接口訪問的方式時能讓多個通訊設備具有良好的架構實施條件。

2.2 海量數據存儲的整體架構形式

系統能根據用戶的具體需要，使用云計算的方式對計算機進行平臺處理，然后將經過處理的所有原始數據均勻的分配到每個集群計算機節點之上，并對數據進行分布式的存儲計算處理，讓開發系統滿足數據的高效處理要求。存儲架構設計期間，使用HDFS存儲數據信息，由于該數據信息模式能提供多種API接口和系統操作指令，便于數據進行加載存儲。所有待處理的源數據都要經過分解處理以后，在將MapReduce分解成不同的小數據集，完成后再次進行數據處理，最終能將所有的數據處理結果直接存儲到Hbade的分布數據庫內。

2.3 Hadoop平臺系統結構

Hadoop的平臺系統化結構，多是采用分層結構化模式開設的。分布式的平臺結構包括交互層、業務應用層、數據挖掘層等分布式的計算機層面。當前分層計算機主要包含的項目有HDFS、MapReduce、系統模塊等。處理海量信息的前提是要通過存儲處理的方式像HDFS提供大量規模畫的數據存儲模式，通過存儲空間的內容重塑，直接對數據進行系統化的預處理和輸出計算結果的操作。MapReduce的擴展性較好，能直接進行底層的架構設計活動，故此能在Hadoop計算集群系統的節點上進行ETL模塊的數據挖掘模式，可以讓用戶使用MapReduce的透明調用頂層數據接口開展海量的數據化處理操作。

3 結束語

目前海量的數據存儲系統中，效率分析偏低，很難滿足使用者和管理者的切實需要。本文主要概述Hadoop的HIDFS和MapReduce的關鍵性技術分析，在以Hadoop為前提的情況下開展動態的可擴展性海量數據存儲系統。使用這種存儲方式能讓數據的存儲更高效，也能通過新的設計方法和技術路線滿足數據處理的可行性，讓數據系統的安全性能得到切實保障。

參考文獻

[1]程蓓，孫勝春，李忠猛，耿洪健，周維.基于Hadoop技術的數字化校園海量數據存儲系統研究與設計[J].實驗技術與管理，2015（06）：14-15.

[2]王宏偉，高巖淵，崔錄庫，文鵬兵.大數據技術在卡口系統聯網方面的應用——基于Hadoop的卡口系統云計算聯網平臺改造設計與開發[J].中國交通信息產業，2016（11）：12-13.

[3]劉玉梅，宋鐵琛.基于Hadoop的海量交通數據混合存儲查詢系統設計與實現[J].廣西大學學報（自然科學版），2014（01）：12-13.

[4]符永鈺，于小文，于元元，胡豪.基于Hadoop云存儲高速公路遠程視頻監控系統的研究與設計[J].電力系統保護與控制，2016（16）：12-13.

[5]戚金嬡.微博輿情的Hadoop存儲和管理平臺設計與實現[J].吉林大學，2015（08）：12-13.