云計(jì)算下的大數(shù)據(jù)處理技術(shù)研究

張海波

【摘 要】伴隨社會(huì)的不斷發(fā)展，人類生活生產(chǎn)中產(chǎn)生了海量的信息數(shù)據(jù)，特別是在當(dāng)前萬(wàn)物互聯(lián)時(shí)代背景下，計(jì)算機(jī)及移動(dòng)終端的廣泛推廣，信息數(shù)據(jù)已然轉(zhuǎn)變成人們生活生產(chǎn)中不可或缺的一部分，影響著人們的日常生活、工作、學(xué)習(xí)，而在這些信息數(shù)據(jù)不斷增長(zhǎng)、信息數(shù)據(jù)搜索越來(lái)越普遍的環(huán)境下，迫切需要加強(qiáng)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理等方面的研究，提高人們的數(shù)據(jù)提取效率、質(zhì)量，服務(wù)于人們的生活。文章通過(guò)闡述大數(shù)據(jù)與云計(jì)算相互間的關(guān)系，分析云計(jì)算及其關(guān)鍵技術(shù)，對(duì)云計(jì)算下的大數(shù)據(jù)處理技術(shù)應(yīng)用展開(kāi)探討，旨在為研究如何促進(jìn)大數(shù)據(jù)的有序健康發(fā)展提供一些思路。

【關(guān)鍵詞】云計(jì)算;大數(shù)據(jù);大數(shù)據(jù)處理技術(shù)

【中圖分類號(hào)】TP311.13 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1674-0688（2018）12-0050-02

0 引言

伴隨科學(xué)技術(shù)的迅猛發(fā)展，進(jìn)入21世紀(jì)信息時(shí)代以來(lái)，數(shù)據(jù)呈現(xiàn)出海量增長(zhǎng)的趨勢(shì)，傳統(tǒng)數(shù)據(jù)存儲(chǔ)模式已然難以滿足現(xiàn)代社會(huì)大眾生活生產(chǎn)的需求。在該種背景下，大數(shù)據(jù)應(yīng)運(yùn)而生，由此要求對(duì)原本的數(shù)據(jù)處理框架開(kāi)展革新以滿足大數(shù)據(jù)應(yīng)用的需求。進(jìn)而，云計(jì)算也應(yīng)運(yùn)而生。云計(jì)算技術(shù)可有效優(yōu)化大數(shù)據(jù)存儲(chǔ)、處理等方面的問(wèn)題。近年來(lái)，伴隨云計(jì)算的不斷發(fā)展，云計(jì)算下的大數(shù)據(jù)處理表現(xiàn)出大容量、便捷處理、多元化、信息準(zhǔn)確等特點(diǎn)。如何依托云計(jì)算技術(shù)對(duì)大數(shù)據(jù)開(kāi)展高效處理，已然轉(zhuǎn)變成信息技術(shù)發(fā)展亟待解決的一項(xiàng)重要課題。因而，對(duì)云計(jì)算基礎(chǔ)下的大數(shù)據(jù)處理技術(shù)應(yīng)用開(kāi)展研究，有著至關(guān)重要的現(xiàn)實(shí)與理論價(jià)值。

1 大數(shù)據(jù)與云計(jì)算相互間的關(guān)系

云計(jì)算在當(dāng)前社會(huì)發(fā)展中扮演著十分重要的角色。云計(jì)算使人們的生活、工作、學(xué)習(xí)發(fā)生極大轉(zhuǎn)變，其已成為當(dāng)前社會(huì)不可或缺的一項(xiàng)新型技術(shù)。不論是哪一位終端用戶，均可獲取到由云計(jì)算所提供的計(jì)算服務(wù)，換言之，云計(jì)算可為各行各業(yè)的人們提供計(jì)算服務(wù)，并且其還具有效率高、成本低等優(yōu)點(diǎn)，無(wú)需用戶掌握專業(yè)技術(shù)便可直接使用，可滿足用戶的多種不同需求。云計(jì)算憑借其各式各樣的優(yōu)點(diǎn)，可有效解決大數(shù)據(jù)存儲(chǔ)、處理的需求，進(jìn)而作為大數(shù)據(jù)發(fā)展的可靠載體。相對(duì)的，大數(shù)據(jù)發(fā)展的嚴(yán)苛要求也推動(dòng)了云計(jì)算的不斷發(fā)展，大數(shù)據(jù)與云計(jì)算相互間具有相互促進(jìn)、相互作用的關(guān)系。

2 云計(jì)算及其關(guān)鍵技術(shù)

2.1 數(shù)據(jù)存儲(chǔ)技術(shù)

為了實(shí)現(xiàn)對(duì)云計(jì)算的有效應(yīng)用，應(yīng)當(dāng)確保信息數(shù)據(jù)讀寫存儲(chǔ)的安全可靠，在分布式存儲(chǔ)技術(shù)的支撐下，可將龐大的信息數(shù)據(jù)進(jìn)行備份處理，進(jìn)而為信息數(shù)據(jù)提供安全保障。除此之外，依托數(shù)據(jù)加密技術(shù)、冗余存儲(chǔ)技術(shù)等，可有效防止信息數(shù)據(jù)遭受泄漏或篡改。于此環(huán)節(jié)，諸多存儲(chǔ)系統(tǒng)在云計(jì)算系統(tǒng)中得到廣泛推廣，諸如Google研發(fā)的非開(kāi)源GFS、Hadoop團(tuán)隊(duì)研發(fā)的GFS等。

2.2 數(shù)據(jù)管理技術(shù)

分布式處理與分析是云計(jì)算中的一項(xiàng)關(guān)鍵技術(shù)，其可為使用者提供高質(zhì)量的服務(wù)，但是需要開(kāi)展好對(duì)數(shù)據(jù)管理技術(shù)的管理工作。于此環(huán)節(jié)，目前得到廣泛推廣的數(shù)據(jù)管理技術(shù)，包括有開(kāi)源數(shù)據(jù)管理模塊HBase、BigTable數(shù)據(jù)管理技術(shù)等。云服務(wù)平臺(tái)管理如圖1所示。

2.3 虛擬化技術(shù)

虛擬化技術(shù)也是云計(jì)算中的一項(xiàng)關(guān)鍵技術(shù)，其主要作用于借助相關(guān)方式方法將真實(shí)環(huán)境中的計(jì)算機(jī)系統(tǒng)、組件等轉(zhuǎn)移至虛擬環(huán)境中，然后結(jié)合計(jì)算機(jī)操作系統(tǒng)、軟件、硬件等構(gòu)建虛擬層結(jié)構(gòu)。通常情況下，可將虛擬層劃分成上、中、下3層，上、下層結(jié)構(gòu)通過(guò)中間層得以連接，可獲取多項(xiàng)類似功能，進(jìn)而實(shí)現(xiàn)在虛擬化環(huán)境中的有序運(yùn)行。

3 云計(jì)算下的大數(shù)據(jù)處理技術(shù)應(yīng)用

3.1 云計(jì)算下的大數(shù)據(jù)采集技術(shù)應(yīng)用

通常情況下，云計(jì)算下的大數(shù)據(jù)采集技術(shù)應(yīng)用，可將其劃分成兩種，即分布式數(shù)據(jù)采集和集中式數(shù)據(jù)采集。其中，分布式數(shù)據(jù)采集相較于集中式數(shù)據(jù)采集表現(xiàn)出更好的靈活性，不過(guò)集中式數(shù)據(jù)采集則具備更好的全局性。而在大數(shù)據(jù)采集技術(shù)應(yīng)用實(shí)踐中，應(yīng)當(dāng)結(jié)合對(duì)應(yīng)數(shù)據(jù)的特征來(lái)挑選適用的數(shù)據(jù)采集技術(shù)，即倘若大數(shù)據(jù)表現(xiàn)出結(jié)構(gòu)式、半結(jié)構(gòu)等特征，則可依托云計(jì)算技術(shù)對(duì)數(shù)據(jù)開(kāi)展分布式采集，從而確保池內(nèi)的數(shù)據(jù)趨于同構(gòu)化，幫助用戶進(jìn)行數(shù)據(jù)分類;而倘若數(shù)據(jù)存在于不同組織對(duì)象相互間，且組織相互間還是彼此獨(dú)立的，則可應(yīng)用集中式、分布式有效相融的數(shù)據(jù)采集技術(shù)。

3.2 云計(jì)算下的大數(shù)據(jù)存儲(chǔ)技術(shù)應(yīng)用

對(duì)于當(dāng)前時(shí)代背景下所需處理的海量數(shù)據(jù)，傳統(tǒng)計(jì)算方式已然難以滿足當(dāng)前時(shí)代的計(jì)算存儲(chǔ)要求，而在云計(jì)算下，可實(shí)現(xiàn)對(duì)不同數(shù)據(jù)屬性的有效分類，對(duì)不同類型、不同資源屬性的數(shù)據(jù)均可予以單獨(dú)存儲(chǔ)。這是因?yàn)樵朴?jì)算技術(shù)的數(shù)據(jù)存儲(chǔ)可對(duì)數(shù)據(jù)屬性進(jìn)行查詢分析，然后結(jié)合數(shù)據(jù)的屬性數(shù)列便可實(shí)現(xiàn)對(duì)不同屬性數(shù)列的存儲(chǔ)，提高云計(jì)算系統(tǒng)的數(shù)據(jù)處理工程量及數(shù)據(jù)處理效率，將采集的數(shù)據(jù)依據(jù)對(duì)應(yīng)數(shù)據(jù)屬性進(jìn)行列式存儲(chǔ)，確保數(shù)據(jù)庫(kù)中處理系統(tǒng)鄰近數(shù)據(jù)相互間保持良好的同質(zhì)性，進(jìn)一步提高對(duì)數(shù)據(jù)的壓縮效率，節(jié)省更多的存儲(chǔ)空間，達(dá)到存儲(chǔ)更多數(shù)據(jù)的目的。

3.3 云計(jì)算下的大數(shù)據(jù)聯(lián)機(jī)技術(shù)應(yīng)用

云計(jì)算下的大數(shù)據(jù)聯(lián)機(jī)技術(shù)，是指對(duì)數(shù)據(jù)開(kāi)展不同維度的整合處理，這與大數(shù)據(jù)庫(kù)的組織形式存在一致性，即為依托互聯(lián)網(wǎng)聯(lián)機(jī)途徑，對(duì)云計(jì)算系統(tǒng)數(shù)據(jù)庫(kù)與大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)及整合技術(shù)進(jìn)行有機(jī)融合，使計(jì)算機(jī)處理系統(tǒng)的運(yùn)算功能得到進(jìn)一步優(yōu)化，促使在對(duì)大數(shù)據(jù)進(jìn)行分類及處理環(huán)節(jié)，便可完成對(duì)數(shù)據(jù)的實(shí)時(shí)運(yùn)算，提高數(shù)據(jù)庫(kù)整理系統(tǒng)的運(yùn)算效率。云計(jì)算下的大數(shù)據(jù)聯(lián)機(jī)技術(shù)應(yīng)用，尤為強(qiáng)調(diào)對(duì)數(shù)據(jù)的決策分析，并且為用戶提供更直觀的數(shù)據(jù)處理結(jié)果，依托分布式并行的計(jì)算手段，對(duì)大數(shù)據(jù)中綜合性數(shù)據(jù)開(kāi)展處理，進(jìn)一步建立起多維化的分析模型，在這一模型的支持下，可使數(shù)據(jù)處理的最終結(jié)果變得更為直觀，為用戶制定決策提供有力依據(jù)。

3.4 云計(jì)算下的大數(shù)據(jù)挖掘技術(shù)應(yīng)用

聯(lián)機(jī)分析對(duì)數(shù)據(jù)的處理只不過(guò)是表面的，其獲得的數(shù)據(jù)信息價(jià)值較為有限，無(wú)法獲取數(shù)據(jù)更深層次的含義及內(nèi)在關(guān)聯(lián)。云計(jì)算下的大數(shù)據(jù)挖掘技術(shù)，則是對(duì)聯(lián)機(jī)分析技術(shù)的有效延伸，進(jìn)一步獲取更為深層次的數(shù)據(jù)信息，找到用戶的信息偏好，使用戶可找到自身需求的信息，提高信息采集的深度、廣度，并將用戶需求的數(shù)據(jù)信息借助相關(guān)概念、規(guī)律或模型的方式予以呈現(xiàn)。云計(jì)算下的大數(shù)據(jù)挖掘技術(shù)，通常應(yīng)用的是分布式并行挖掘技術(shù)。相較于其他串行方式，云計(jì)算下并行數(shù)據(jù)挖掘可借助機(jī)器集群拆分分布式系統(tǒng)中的并行任務(wù)，并將拆分完畢的每一項(xiàng)任務(wù)逐一轉(zhuǎn)至對(duì)應(yīng)的機(jī)器開(kāi)展處理，進(jìn)一步實(shí)現(xiàn)大規(guī)模數(shù)據(jù)處理，極大降低時(shí)間成本。

3.5 云計(jì)算下的大數(shù)據(jù)可視化技術(shù)應(yīng)用

近年來(lái)，云計(jì)算下的大數(shù)據(jù)挖掘技術(shù)得到了越來(lái)越廣泛的推廣，在此基礎(chǔ)上，大數(shù)據(jù)可視化技術(shù)也逐漸進(jìn)入人們視野，并推動(dòng)了數(shù)據(jù)挖掘技術(shù)的有效創(chuàng)新。云計(jì)算下的大數(shù)據(jù)挖掘技術(shù)，是指通過(guò)圖形、圖像方式，將數(shù)據(jù)呈現(xiàn)在用戶面前，對(duì)數(shù)據(jù)開(kāi)展可視化處理，使用戶更為直觀地了解到數(shù)據(jù)與數(shù)據(jù)相互間的作用關(guān)系，依托圖形、圖像呈現(xiàn)的方式，使用戶提高對(duì)數(shù)據(jù)信息的有效認(rèn)識(shí)，使大數(shù)據(jù)挖掘技術(shù)變得進(jìn)一步形象化，使用戶更為便捷地獲取自身需求的信息，加快對(duì)信息數(shù)據(jù)的檢索速度，獲取數(shù)據(jù)更為形象、更為深層次的信息，如此一來(lái)，可便于用戶構(gòu)建立體化的多維模型，使大數(shù)據(jù)挖掘技術(shù)在云計(jì)算下發(fā)揮出更大的效能。

4 結(jié)語(yǔ)

總而言之，21世紀(jì)信息時(shí)代，云計(jì)算的推廣促進(jìn)大數(shù)據(jù)實(shí)現(xiàn)了長(zhǎng)足的發(fā)展，首先傳統(tǒng)信息數(shù)據(jù)存儲(chǔ)方式實(shí)現(xiàn)了有效創(chuàng)新，使大數(shù)據(jù)復(fù)雜繁多、存儲(chǔ)空間大等特征優(yōu)勢(shì)得到了滿足，其次為大數(shù)據(jù)存儲(chǔ)、處理創(chuàng)造了良好契機(jī)。伴隨云計(jì)算的不斷發(fā)展，大數(shù)據(jù)管理將更趨向于數(shù)據(jù)分析、挖掘及管理模式的創(chuàng)新。現(xiàn)階段，云計(jì)算下的大數(shù)據(jù)處理技術(shù)日趨成熟，依托云計(jì)算進(jìn)一步提升大數(shù)據(jù)存儲(chǔ)及處理方式，實(shí)現(xiàn)更可靠的數(shù)據(jù)挖掘及可視化技術(shù)，是今后有待解決的重要課題。鑒于此，大數(shù)據(jù)行業(yè)相關(guān)人員務(wù)必要不斷革新思想觀念，提高對(duì)大數(shù)據(jù)與云計(jì)算相互間關(guān)系的有效認(rèn)識(shí)，加強(qiáng)對(duì)云計(jì)算及其關(guān)鍵技術(shù)的深入分析，促進(jìn)大數(shù)據(jù)的有序健康發(fā)展。

參 考 文 獻(xiàn)

[1]韓偉光，奚衛(wèi)紅.云計(jì)算模式下大數(shù)據(jù)處理技術(shù)研究[J].科學(xué)中國(guó)人，2017（3）.

[2]李曉飛.基于云計(jì)算技術(shù)的大數(shù)據(jù)處理系統(tǒng)的研究[J].長(zhǎng)春工程學(xué)院學(xué)報(bào)（自然科學(xué)版），2014，15（1）：116-118，125.

[3]蔡景偉，鳳晟.云計(jì)算下的大數(shù)據(jù)處理技術(shù)應(yīng)用研究[J].數(shù)字化用戶，2017（41）：267.

[4]潘樂(lè).基于云計(jì)算的大數(shù)據(jù)處理技術(shù)研究[J].物聯(lián)網(wǎng)技術(shù)，2017（6）：67-68，70.