大數據處理技術基于云計算的探討

林艷雯

（廣東省電信規劃設計院有限公司，廣東湛江，524000）

大數據處理技術基于云計算的探討

林艷雯

（廣東省電信規劃設計院有限公司，廣東湛江，524000）

隨著社會經濟的不斷進步，計算機網絡技術得到前所未有的快速發展，其中大數據更是滲透到現代社會的各個領域，給人們的生產生活帶來了極大的便利。近年來，高速發展的物聯網技術、移動互聯網技術等使得網絡終端產生了海量的網絡數據，數據處理壓力十分巨大。基于這種大數據存儲和處理需要，網絡云計算技術應運而生并且得到了巨大發展。對此，本文在分析云計算的基礎上對大數據處理技術進行了重點探討。

大數據；云計算；數據處理

0 前言

近幾年，隨著互聯網技術的日益發達和普及，各種信息傳播的速度越來越快，數據規模也越來越大，現有的網絡數據處理系統已經無法滿足這種“爆炸式”的數據增長，這使得云計算技術應運而生[1]。大數據產生依賴于云計算技術的發展，在此背景下，大數據具有5V特征，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）以及Veracity（真實性）。與傳統的數據存儲、計算等方面相比，大數據具有復雜性、隨機性、發散性等特點，因此更能精準有效的反映現實世界。而云計算技術隨著大數據的產生而日益發展和成熟，它們之間相互依托，使數據存儲和處理能力得到進一步的提升。

1 大數據和云計算的關系

所謂的云計算是指利用可配置的計算資源共享池，使用資源付費模式來為用戶提供服務的網絡技術[2]。云計算在進行數據處理時具有以下特點：規模巨大、虛擬化、可靠性高、擴展性強、成本低廉等。在這些特點之下云計算又衍生出許多獨特的數據處理技術，主要有數據存儲、數據管理以及虛擬化技術。由于云計算技術能夠進行大規模的數據存儲和傳輸，因此是進行大數據處理的最佳選擇。云計算能夠最大程度的為大數據提供巨大的存儲空間以滿足其龐大的數據資源，這樣一來，就會加快數據處理速度，大大提高數據處理效率。

云計算與大數據其實是主客觀的關系，云計算主要進行數據計算，而大數據則是計算的對象。前者注重數據計算，后者注重數據存儲，它們之間相互依存，共同構成一個完整的數據處理系統。云計算大數據處理平臺架構如圖1所示。

圖1 云計算大數據處理平臺架構

2 基于云計算的大數據處理關鍵技術分析

2.1 大數據的采集技術

一般情況下，集中式采集和分布式采集是當前數據采集的兩個主要方式，兩種采集方式各有優點，其中集中式采集會較好的反映出數據的全局性，而分布式采集相對來說會有較強的靈活性，需根據實際情況來選擇恰當的數據采集方式。事實上，大數據采集對象的范圍比較廣泛，除了組織內部的數據，還包括相互獨立組織間的各種數據，而并行處理恰好是云計算的一個顯著優勢，所以混合式采集方式可以幫助我們更好的完成數據采集任務，

2.2 大數據的存儲技術

云計算的數據倉庫存儲特點是列式存儲，即根據數據的不同屬性進行具體的劃分和排列，之所以采取列式存儲方式是因為可以根據屬性來進行數據投影查詢，同時還可以對相似數據進行壓縮處理，這不僅大大加快了數據存儲速度，提高了數據處理效率，而且還節省了倉庫存儲空間，降低了索引和視圖的維護成本。

2.3 大數據的挖掘技術

云計算背景下的大數據挖掘采用分布式并行數據挖掘技術，此挖掘技術的獨特之處就在于它適合處理大規模的數據資源，而傳統的串行數據挖掘技術只能處理一些小規模的數據資源并且處理效率也較為低下。所謂的分布式并行數據挖掘技術就是先利用機器集群將預定的數據處理資源進行具體劃分，然后再由閑散的機器對數據進行有規律的處理，這樣一來就大大加快了數據處理速度，提高了工作效率。

2.4 大數據的可視化技術

所謂數據可視化是指用圖形或圖像的形式來表示大型數據庫中的數據，大型數據庫或數據倉庫中的數據是數據可視化的主要對象，并且人們可以利用其中的數據分析和開發工具來發現其他未知的信息，這樣人們對數據的觀察和分析便變得更加直觀，不再只依賴于傳統的關系數據表。在云平臺下，大數據可視化技術除了利于用戶理解數據的含義外，還可以用來指引整個檢索過程。

3 結語

云計算摒棄了許多傳統數據處理技術的弊端，它能對數據進行更加準確且深層次的分析，極大的提高了大數據分析的能力和水平。在云計算的依托之下，大數據更加注重對數據的挖掘和創新，因而能夠最大程度的發揮出自身的資源優勢，所以必須要將兩者充分緊密的結合起來，從而為網絡用戶提供更加全面可靠的數據服務。

[1]張焰,李楊.用大數據武裝”云”:基于云計算的大數據處理技術[J].中國新通信,2015,04:87-88.

[2]龔旭.基于云計算的大數據處理技術探討[J].電子技術與軟件工程,2015,10:198.

[3]李曉飛.基于云計算技術的大數據處理系統的研究[J].長春工程學院學報(自然科學版),2014,01:116-118+125.

The research of large data processing technology based on Cloud Computing

Lin Yanwen
（Guangdong Telecom Planning & Design Institute Co.,Ltd.,Zhanjiang Guangdong，524000）

Since With the progress of social economy, the rapid development of computer network technology has been hitherto unknown, the data of which is penetrated into every field of the modern society, which brings great convenience to people’s production and life. In recent years, the rapid development of Internet of things technology, mobile Internet technology makes the network terminal produce massive network data, and the pressure of data processing is very huge. Based on this large data storage and processing needs, the network cloud computing technology came into being and has been greatly developed. In this regard, this paper focuses on the large data processing technology based on the analysis of cloud computing.

Big data；Cloud computing；Data processing