基于云計算的大數據技術

張洪文

隨著網絡時代的飛速發展，特別是信息數據的爆炸式發展，當代信息傳播的容量、數量都變得異常豐富。信息傳播過程中對媒介的容量、效率及安全性提出了新的要求。大數據有著這樣一條摩爾定律：人類社會中的信息數據增長速度為每兩年翻一倍。信息傳遞急需技術手段，來提高傳遞的效率、準確度以及媒介容量，大數據應運而生。云技術在數據的處理中展現出了越來越多優勢，基于云計算的大數據技術全面的革新了傳統的數據處理技術。就目前信息數據的爆破性擴張，不久的將來，云計算技術以及大數據仍舊需要進一步開發拓展，才能夠滿足時代需求，云計算技術與大數據處理也是當代一大重要研究課題。

【關鍵詞】云計算 大數據 網絡

云計算技術是基于網絡，提供數據計算服務、存儲服務的新型網絡管理調度技術，統籌的將網格計算、并行計算以及分布式計算加以實現，應用到了網絡數據管理中，并結合其他軟件、硬件提供給用戶多種服務。利用云技術，可以大幅度的提高資源利用率，這一新型的超級計算其數據非常密集，能夠實現集數據存儲、數據計算、服務器功能、應用軟件功能、IT軟硬件設備資源虛擬化。當今全球互聯網的流量也在爆炸式的增漲著，云計算與大數據的應用是數據處理的重要技術。并且，隨著網絡技術、軟件技術的發展，云技術在數據的處理中展現出了越來越多優勢，如表1所示。

大數據是在云技術之上興起的新課題，大數據往往具備以下四個特征：

（1）大量的數據；

（2）多種類型的數據；

（3）數據生成及處理速度快；

（4）大數據的巨大價值；這也就是大數據的4V特征。

并且隨著基于云計算技術的大數據不斷的發展，還提出了大數據的第五點特征及要求，便是強化大數據處理分析中的準確性（Veracity），目前的大數據處理已經進入了5V時代。

1 大數據的特點

大數據技術對比傳統數據的諸多特性來分析，具有非常明顯的差異。這些差異主要體現在數據的計算、存儲以及檢索等多方面。傳統的數據線性特征顯著，對比離散型顯著的大數據而言，大數據的發散性、隨機性、爆發性顯得更為復雜，但是這種復雜的數據能夠體現出更為客觀的現象，具備更有效的價值。

2 關鍵技術

2.1 數據存儲技術

信息數據在進行存儲時的可靠性、安全性以及讀寫時的效率是云計算技術的基礎，利用云計算技術在存儲時，往往采用分布式存儲，將大量的數據進行匯總并儲存到集群服務器中。這種存儲技術往往會對數據進行備份儲存，利用先進的數據加密技術配合冗余存儲能夠確保數據的可靠性、安全性。以HDFS為例：

HDFS是一種分布式文件存儲系統，被廣泛應用在通用硬件中。這一系統具備較高的容錯功能，能夠在廉價設備上實現應用，并且其對數據訪問的吞吐量也很大，適合應用在大數據集的處理上。HDFS系統可以進一步的實現文件系統中的數據流式讀取，在大數據處理中，HDFS常被設計成能夠實現平臺間便于遷移的系統，這就令大數據集的應用更便捷，如圖1所示。

2.2 虛擬化數據管理

云計算的主要功能在于針對大量的數據進行分布式的分析處理，并且為用戶提供高效的服務，這就需要強大的數據管理能力作為支撐，而基于云計算的大數據技術在數據管理中具備虛擬化特征。將數據處理的計算機系統轉換成了虛擬層，利用硬件設備資源，配合操作系統建立了這樣一個虛擬的空間鏈接數據處理的各層級。令上下層的配合更靈活，極大程度的縮減了開銷，提高了資源利用率。

3 大數據與云計算的關聯

大數據的處理是將云計算技術視為一種技術平臺，大數據在進行數據處理時的首選處理形式則是云計算技術，云計算為大數據的處理分析提供了最適的存儲空間及計算能力，可以令大量的數據信息迅速的分析出結果，便于使用付諸現實。而云計算技術的主要功能在于計算能力，大數據則可以視為接受計算處理的對象，前者對于計算能力更為注重，后者則是更傾向于存儲功能。將存儲的大數據付諸應用的重點在于數據處理，而云計算恰好滿足了這一功能性要求。

4 總結

大數據處理技術與云計算在信息處理中展現出了極大的潛力，結合這兩種技術能夠實現信息傳遞的高效性、準確性、大容量。在很多領域，應用基于云計算的大數據處理技術表現出強大的功能。隨著網絡信息技術的高速發展，信息數據的傳播數量及速度都亟待提升。基于云計算的大數據處理仍需進一步的開發，并對這一新技術加以應用，相關技術的研究也是當前學術界的關注點。

參考文獻

[1]丁有偉，秦小麟，劉亮，王濤春.一種異構集群中能量高效的大數據處理算法[J].計算機研究與發展，2015（02）：377-390.

[2]李貞強，陳康，武永衛，鄭緯民.大數據處理模式——系統結構，方法以及發展趨勢[J].小型微型計算機系統，2015（04）：641-647.

[3]李敏，倪少權，邱小平，黃強.物聯網環境下基于上下文的Hadoop大數據處理系統模型[J].計算機應用，2015（05）：1267-1272.

[4]彭建華，李臣明，邱軍林，李曉芳，徐立中.接收與處理分離的實時大數據處理模型[J]. 計算機科學與探索，2015（08）：906-913.

[5]張少敏，毛冬，王保義.大數據處理技術在風電機組齒輪箱故障診斷與預警中的應用[J].電力系統自動化，2016（14）：129-134.

作者單位

貴州大學繼續教育學院 貴州省貴陽市 550000