云計算背景下的大數(shù)據(jù)處理技術(shù)分析

王莉敏 黃明 徐繼亞

摘要：隨著我國信息化進程的不斷加深，計算機已經(jīng)在人們?nèi)粘Ｉ詈蜕鐣a(chǎn)領(lǐng)域得到普及。隨之而來的是信息數(shù)據(jù)的飛速擴展，以往的信息處理模式已經(jīng)無法滿足時代的需要。在這樣的背景下，云計算技術(shù)就應(yīng)運而生了，并逐漸在信息數(shù)據(jù)處理領(lǐng)域發(fā)揮著重要的作用。本文對云計算和大數(shù)據(jù)處理之間的關(guān)系進行分析研究，并簡要介紹云計算背景下大數(shù)據(jù)處理的技術(shù)要點，希望為信息處理技術(shù)的發(fā)展提供參考。

關(guān)鍵詞：信息化時代;云計算;大數(shù)據(jù)處理技術(shù)

引言

隨著計算機技術(shù)和各行各業(yè)的結(jié)合，以及電子設(shè)備的普及，信息數(shù)據(jù)成為了核心生產(chǎn)力，也成為了人們?nèi)粘Ｉ畹谋匦杵罚粌H改變著生產(chǎn)方式，更深刻地變革著人們的生活方式。信息數(shù)據(jù)處理的社會需求也促進了技術(shù)的不斷發(fā)展。面對海量的數(shù)據(jù)信息，社會急需一種全面的、智能的先進技術(shù)來幫助人們進行數(shù)據(jù)分析，使得人們不至于在信息世界里迷失自我，同時也幫助生產(chǎn)部門更加高效地使用信息技術(shù)來提高生產(chǎn)力。因此對于云計算背景下大數(shù)據(jù)處理技術(shù)的研究意義非常重大。

1云計算與大數(shù)據(jù)之間的關(guān)系

云計算是一種網(wǎng)絡(luò)技術(shù)，是利用網(wǎng)絡(luò)云把龐大的信息分析系統(tǒng)分解為眾多的小程序，再構(gòu)建數(shù)量非常多的服務(wù)器對這些小程序進行分別處理計算，并將最終結(jié)構(gòu)反饋給用戶。相比于以往的網(wǎng)格計算、效用計算和自主計算，云計算具有明顯的優(yōu)勢，例如處理信息量龐大、精準度高、成本低、穩(wěn)定性強等等，這些都是其它信息處理技術(shù)無法比擬的。因此云計算一經(jīng)誕生，就得到了計算機領(lǐng)域的青睞，并逐漸成為互聯(lián)網(wǎng)行業(yè)的核心技術(shù)。此外，有很多現(xiàn)代數(shù)據(jù)存儲技術(shù)、虛擬化技術(shù)都是從云計算拓展而來，由此可見云計算技術(shù)的強大以及在信息處理領(lǐng)域的重要地位。數(shù)據(jù)的運行需要大量的存儲空間，傳統(tǒng)的存儲設(shè)備已經(jīng)無法滿足日益增長的信息量，而此時云計算就提供了這樣的空間。如此一來，數(shù)據(jù)處理的速度和效率都得以提升[1]。通過以上內(nèi)容不難看出，云計算和大數(shù)據(jù)是主體和客體的關(guān)系，云計算的內(nèi)容就是龐大的信息數(shù)據(jù)。大數(shù)據(jù)指的是龐大信息量的總體，而云計算則負責對其進行分析處理，兩者構(gòu)成了信息處理系統(tǒng)的主題，相輔相成，缺一不可。

2云計算背景下的大數(shù)據(jù)處理技術(shù)分析

2.1Hadoop與OpenStack技術(shù)

Hadoop是一種分布式系統(tǒng)基礎(chǔ)架構(gòu)，可以通過集群的作用來完成快速分析和存儲，被廣泛應(yīng)用于數(shù)據(jù)處理程序中。該框架的核心工具是HDFS與MapReduce，前者為數(shù)據(jù)提供存儲空間，后者則對數(shù)據(jù)進行分析處理。該架構(gòu)能夠?qū)嫶蟮臄?shù)據(jù)進行分布式處理，并具有以下幾點顯著優(yōu)點：第一，準確度高，Hadoop的存儲和分析功能具有高于其它技術(shù)的精準度。第二，效率高，Hadoop在轉(zhuǎn)移信息的過程中能夠保障不同節(jié)點的動態(tài)平衡，分析數(shù)據(jù)的效率要高很多。第三，成本低，相比于市面上的其它數(shù)據(jù)處理技術(shù)，Hadoop是開源的，因此成本也會大大降低[2]。

OpenStack是由眾多軟件開源項目組合而成的數(shù)據(jù)處理平臺，由美國國家航空航天局與Rackspace共同開發(fā)。該技術(shù)可以為云計算提供一個優(yōu)良的平臺，具有操作便捷、內(nèi)容豐富、標準一致等特點。因此，將Hadoop架構(gòu)和OpenStack科學(xué)合理地整合在一起，就可以實現(xiàn)大數(shù)據(jù)的高效、精準分析和處理。

2.2大數(shù)據(jù)采集技術(shù)

數(shù)據(jù)采集，又稱為數(shù)據(jù)獲取，是通過傳感器獲取電量信號并傳輸給上位機的過程。隨著大數(shù)據(jù)的出現(xiàn)，傳統(tǒng)的數(shù)據(jù)獲取已經(jīng)無法滿足信息處理的需要了，這時候就要使用到更先進的手段，目前有集中式采集與分布式采集兩種主要類型。前者主要應(yīng)用于全局概念，從全局角度來獲取信息;后者則針對區(qū)域采集，將大數(shù)據(jù)劃分為眾多的小分區(qū)再進行數(shù)據(jù)獲取。大數(shù)據(jù)采集有一個重要的優(yōu)點，就是對使用者的要求大大降低，即使是不具備專業(yè)技能的使用者也可以輕松操作[3]。除此之外，云計算具有虛擬化的特征，因此費用會大大降低，處理速度更加迅捷，這使得人們對于信息獲取的消極反應(yīng)得以緩解，人們可以更好地融入大數(shù)據(jù)時代。

2.3大數(shù)據(jù)存儲技術(shù)

傳統(tǒng)的數(shù)據(jù)存儲方式都是用單節(jié)點為媒介，存儲容量非常小，無法滿足新興的大數(shù)據(jù)，雖然擁有優(yōu)秀的導(dǎo)引和查閱功能，但由于容量和速度的制約，已經(jīng)逐漸被時代所淘汰。既有數(shù)據(jù)存儲技術(shù)以單結(jié)點倉庫為載體，容量空間較小，根本無法滿足信息時代的海量數(shù)據(jù)存儲承載需求，盡管其具備良好的索引與視圖能力，但受限于時間與空間限制，依舊無法滿足現(xiàn)代化社會需要。而云計算則可以彌補這些缺陷，通過將信息屬性進行分門別類，實現(xiàn)高效的存儲和分析。這也給予使用者極大的便利，通過屬性對信息進行查詢，提高了數(shù)據(jù)的利用效率。

2.4大數(shù)據(jù)聯(lián)機分析技術(shù)

隨著信息時代的到來，自動化、智能化逐漸成為各行各業(yè)發(fā)展的大勢所趨。而這一目標的實現(xiàn)就有賴于大數(shù)據(jù)聯(lián)機分析技術(shù)的應(yīng)用。該技術(shù)是云計算技術(shù)的核心環(huán)節(jié)，有著舉足輕重的重要地位。聯(lián)機分析處理技術(shù)可以準確處理龐大的信息，還可以在必要的時候進行決策，給予使用者以極大的便利。該技術(shù)注重全面的整體性計算，通過多維度的分析程序，得到大數(shù)據(jù)處理結(jié)果，不僅可以提高數(shù)據(jù)分析的精準度，還拓展了處理對象，提高了數(shù)據(jù)分析系統(tǒng)的兼容性[4]。這樣的優(yōu)勢使得聯(lián)機分析處理技術(shù)，廣泛地應(yīng)用生產(chǎn)和生活領(lǐng)域，在為人們?nèi)粘Ｉ顜肀憷耐瑫r，也極大地改善著產(chǎn)品的性能。

2.5大數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘技術(shù)是一項數(shù)據(jù)處理手段，致力于從大量不完整的點狀分布信息中，提取并還原出使用者無法察覺的關(guān)鍵數(shù)據(jù)。它通常分為八個主要環(huán)節(jié)：信息獲取、信息整合、信息規(guī)范、信息清除、信息轉(zhuǎn)換、信息挖掘環(huán)節(jié)、結(jié)果評測、信息反饋。該過程是不斷循環(huán)的體系，每一個環(huán)節(jié)沒有達到目標都會返回到前面的程序中繼續(xù)執(zhí)行命令。在大數(shù)據(jù)時代，數(shù)據(jù)挖掘技術(shù)的應(yīng)用可以幫助人們從錯綜復(fù)雜、毫無頭緒的海量信息中提取出關(guān)鍵內(nèi)容，因此深受人們的青睞。該技術(shù)分為四個層面的工作環(huán)節(jié)：第一，確定分析對象，即海量的復(fù)雜信息;第二，明確挖掘目標，第三，選擇科學(xué)合理的挖掘方式，第四，應(yīng)用挖掘方法。其中，大數(shù)據(jù)挖掘技術(shù)主要有以下幾種方法：神經(jīng)網(wǎng)絡(luò)模型、基于自然選擇原理的遺傳算法、決策樹算法、數(shù)學(xué)工具粗集方法、覆蓋正例排斥反例方法、統(tǒng)計分析方法、模糊集方法、挖掘?qū)ο螅@些方法的應(yīng)用使得海量數(shù)據(jù)中的有效信息得到充分挖掘，進一步保障了大數(shù)據(jù)處理分析技術(shù)的應(yīng)用效果[5]。

2.6大數(shù)據(jù)可視化分析

具備大數(shù)據(jù)挖掘技術(shù)以后，就可以從全方位、多層次去準確處理海量信息，收集有效信息。而可視化技術(shù)則是將有效信息反饋給使用者的關(guān)鍵環(huán)節(jié)。可視化，顧名思義，就是將抽象復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為直觀地、形象的的內(nèi)容并呈現(xiàn)給查閱者，使其更加方便快捷地掌握信息特征。在這個過程中，還會一定程度地挖掘出隱藏數(shù)據(jù)。

結(jié)語

綜上所述，云計算和大數(shù)據(jù)處理技術(shù)是相輔相成、不可或缺的關(guān)系。在云計算的背景下，大數(shù)據(jù)處理更加注重高效性和準確性，為信息化進程的推進提供了巨大的動力，也為人們適應(yīng)信息時代帶來了極大的幫助。本文對云計算背景下，大數(shù)據(jù)處理相關(guān)技術(shù)做了簡要說明，希望可以為大眾提供科普，也為工作者提供參考。本文的研究尚不夠深入，若假以時日，筆者一定會繼續(xù)努力，爭取為信息業(yè)的發(fā)展，更為國家的建設(shè)貢獻一份力量。

參考文獻

[1]佟浩.淺談云計算技術(shù)在計算機數(shù)據(jù)處理中的應(yīng)用[J].科學(xué)與信息化，2020，（13）：39.

[2]田密.云計算背景下的大數(shù)據(jù)處理技術(shù)研究[J].電子元器件與信息技術(shù)，2017，1（1）：24-26.

[3]劉洋.基于計算機的大數(shù)據(jù)和云計算技術(shù)分析[J].無線互聯(lián)科技，2020，17（7）：75-77.

[4]張佳，周雪.基于云計算的大數(shù)據(jù)處理技術(shù)探討[J].電腦編程技巧與維護，2019，（12）：104-105，120.

[5]張海波.云計算下的大數(shù)據(jù)處理技術(shù)研究[J].企業(yè)科技與發(fā)展，2018（12）：50-51.