基于云計(jì)算的大數(shù)據(jù)技術(shù)的研究

劉會(huì)珍 滁州職業(yè)技術(shù)學(xué)院

大數(shù)據(jù)時(shí)代的到來，使得大數(shù)據(jù)技術(shù)成為時(shí)代討論的核心問題，大數(shù)據(jù)技術(shù)使得信息處理更加高效便捷，準(zhǔn)確安全，并且應(yīng)用于多領(lǐng)域、多方面，使得整體工作效率得到明顯提升，同時(shí)，云計(jì)算在海量化、爆炸式的信息數(shù)據(jù)時(shí)代里給予大數(shù)據(jù)以信息存儲(chǔ)、信息處理、信息管理、信息分析等多方面的技術(shù)支持，促進(jìn)大數(shù)據(jù)技術(shù)的發(fā)展，使得信息處理系統(tǒng)得到明顯的優(yōu)化，使云計(jì)算成為大數(shù)據(jù)分析處理的核心，這也是研究大數(shù)據(jù)技術(shù)的關(guān)鍵，本文將基于云計(jì)算對(duì)大數(shù)據(jù)的技術(shù)支持以及兩者之間的關(guān)聯(lián)性，對(duì)大數(shù)據(jù)的定義及其特征進(jìn)行準(zhǔn)確概括，分析大數(shù)據(jù)技術(shù)的應(yīng)用，并對(duì)大數(shù)據(jù)的關(guān)鍵技術(shù)進(jìn)行探究。

1 理解云計(jì)算和大數(shù)據(jù)

所謂云計(jì)算是指基于網(wǎng)絡(luò)，對(duì)數(shù)據(jù)進(jìn)行相關(guān)計(jì)算，儲(chǔ)存，系統(tǒng)化地將網(wǎng)格計(jì)算、并行計(jì)算、分布式計(jì)算加以應(yīng)用，同時(shí)，結(jié)合多種軟件和硬件，促進(jìn)網(wǎng)絡(luò)數(shù)據(jù)管理優(yōu)化升級(jí)，給予用戶更加多樣的選擇，更加全面的服務(wù)，簡(jiǎn)而言之，云計(jì)算技術(shù)就是一種新型的網(wǎng)絡(luò)管理調(diào)度技術(shù)，更好的促進(jìn)資源的開發(fā)和利用、大幅提高整體的運(yùn)算效率。

大數(shù)據(jù)指的是由大量異構(gòu)數(shù)據(jù)組成的數(shù)據(jù)集合，簡(jiǎn)單可以理解為信息的海量性、復(fù)雜性和多樣性。其大數(shù)據(jù)技術(shù)是指從這爆炸性的海量數(shù)據(jù)中，能夠進(jìn)行快速篩選、準(zhǔn)確定位、安全的選出其中有價(jià)值的信息。大數(shù)據(jù)時(shí)代的討論核心就是大數(shù)據(jù)技術(shù)，大數(shù)據(jù)技術(shù)也是應(yīng)對(duì)大數(shù)據(jù)時(shí)代的關(guān)鍵技術(shù)。

大數(shù)據(jù)是在云計(jì)算之后產(chǎn)生的一個(gè)新的課題，兩者存在關(guān)聯(lián)性，大數(shù)據(jù)的處理是將云計(jì)算作為技術(shù)平臺(tái)，云計(jì)算給予大數(shù)據(jù)技術(shù)以其多方位的技術(shù)支持，具體體現(xiàn)在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)的處理、數(shù)據(jù)的計(jì)算分析上。大數(shù)據(jù)側(cè)重?cái)?shù)據(jù)的存儲(chǔ)，云計(jì)算重點(diǎn)強(qiáng)調(diào)數(shù)據(jù)的計(jì)算，兩者結(jié)合，優(yōu)勢(shì)互補(bǔ)，基于云計(jì)算去討論和研究大數(shù)據(jù)技術(shù)有著重要意義，使數(shù)據(jù)處理更加便捷，展現(xiàn)更多的優(yōu)勢(shì)。

2 大數(shù)據(jù)的特征

大數(shù)據(jù)具體可以分為五大特征，即所謂的5V特性：

（一）體量（Volume）

大數(shù)據(jù)應(yīng)有海量數(shù)據(jù)、其數(shù)據(jù)量大，存儲(chǔ)量大、運(yùn)算量大。

（二）多樣（Variety）

大數(shù)據(jù)的數(shù)據(jù)種類豐富多樣，數(shù)據(jù)形式具有多種類型。

（三）價(jià)值（Value）

大數(shù)據(jù)強(qiáng)調(diào)在海量數(shù)據(jù)中進(jìn)行快速篩選，選擇有價(jià)值的信息。

（四）速度（Velocity）

數(shù)據(jù)的增長(zhǎng)數(shù)據(jù)快，是數(shù)據(jù)處理的速度要求快。

（五）準(zhǔn)確（Veracity）

強(qiáng)調(diào)數(shù)據(jù)處理中的準(zhǔn)確性。

3 關(guān)鍵技術(shù)

（一）數(shù)據(jù)存儲(chǔ)技術(shù)

數(shù)據(jù)存儲(chǔ)時(shí)講究存儲(chǔ)的可靠、安全以及高速的讀寫速度， 在利用云計(jì)算進(jìn)行數(shù)據(jù)存儲(chǔ)一般采用分布式存儲(chǔ)，使得數(shù)據(jù)匯總并存儲(chǔ)到集群服務(wù)器，如HDFS被廣泛應(yīng)用，因?yàn)槠鋼碛休^高的容錯(cuò)量，在對(duì)數(shù)據(jù)的訪問上也有較大容量，很適合大數(shù)據(jù)的處理，便捷了大數(shù)據(jù)的應(yīng)用。

（二）虛擬化數(shù)據(jù)管理技術(shù)

基于云計(jì)算的大數(shù)據(jù)技術(shù)在對(duì)數(shù)據(jù)管理上具有虛擬化特征，這能夠針對(duì)大量數(shù)據(jù)，建立一個(gè)虛擬空間鏈接數(shù)據(jù)處理，使得各級(jí)共同合作，提高運(yùn)算效率。

4 大數(shù)據(jù)技術(shù)的應(yīng)用

大數(shù)據(jù)技術(shù)使其能在海量數(shù)據(jù)中快速篩選出最具有價(jià)值的信息，使其信息處理更加高速和便捷，其應(yīng)用涉及到多方面、多領(lǐng)域。優(yōu)化了領(lǐng)域服務(wù)，帶給領(lǐng)域革命化的突破，同時(shí)又提供給人們更加多樣和便捷服務(wù)。其一，金融領(lǐng)域的大數(shù)據(jù)存儲(chǔ)了大量微小企業(yè)客戶及數(shù)以億計(jì)的個(gè)人用戶行為信息、交易記錄、身份數(shù)據(jù)等，擁有最好、最全的數(shù)據(jù)以及最完整的產(chǎn)業(yè)鏈，做 P2P 及個(gè)人小額信貸，具有最大優(yōu)勢(shì)[1]。其二，通過大數(shù)據(jù)的精確統(tǒng)計(jì)，可以收集用戶的喜好，消費(fèi)習(xí)慣等等，可以更加準(zhǔn)確的制定市場(chǎng)營(yíng)銷的策略。其三，大數(shù)據(jù)對(duì)于公眾服務(wù)的應(yīng)用，可以更加便捷生活，建立通用的電子病歷等基礎(chǔ)數(shù)據(jù)庫,實(shí)現(xiàn)醫(yī)院之間對(duì)病患信息的共享，提高患者就醫(yī)效率。[2]

5 小結(jié)

大數(shù)據(jù)技術(shù)作為當(dāng)前熱門的技術(shù)領(lǐng)域,得到了廣泛的關(guān)注和研究。[3]基于云計(jì)算去研究大數(shù)據(jù)技術(shù)才能夠滿足時(shí)代的需求，兩者結(jié)合更能發(fā)揮出優(yōu)勢(shì)，進(jìn)一步推動(dòng)數(shù)據(jù)處理的發(fā)展。