云計算下數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)的探索

劉建東

摘 要：云計算作為一種新型的信息化計算技術(shù)，已經(jīng)被很好地應(yīng)用于現(xiàn)階段的生活當(dāng)中，而隨著大數(shù)據(jù)時代的不斷推進(jìn)，“數(shù)據(jù)挖掘”成為了當(dāng)下的一個研究重點。借此，立足于信息化時代背景，對云計算下數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)進(jìn)行了深入的研究。

關(guān)鍵詞：云計算；數(shù)據(jù)挖掘；平臺架構(gòu)；分布式存儲技術(shù)

中圖分類號：TP311.13 文獻(xiàn)標(biāo)識碼：A DOI：10.15913/j.cnki.kjycx.2017.06.128

伴隨著改革開放的不斷深入，我國進(jìn)入21世紀(jì)之后，綜合國力有了全面的提升，無論是經(jīng)濟(jì)方面，還是科技方面，都取得了很大的進(jìn)步與發(fā)展。我們希望可以通過不斷地發(fā)展經(jīng)濟(jì)與科技來使社會發(fā)展獲得更大的動力。經(jīng)濟(jì)全球化的大趨勢在不斷推動社會發(fā)展的同時也使我國邁進(jìn)了信息化時代，而信息化的不斷深入又使得大數(shù)據(jù)時代“如期而至”。云計算憑借其高強的存儲能力與計算能力受到更多人的青睞。因此，對云計算下數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)的探索有著鮮明的現(xiàn)實意義。

1 數(shù)據(jù)挖掘技術(shù)與云計算技術(shù)研究

1.1 數(shù)據(jù)挖掘技術(shù)

所謂的“數(shù)據(jù)挖掘技術(shù)”，主要是針對數(shù)據(jù)研究的一種新型技術(shù)。隨著計算機網(wǎng)絡(luò)技術(shù)的發(fā)展與移動互聯(lián)技術(shù)的普及，現(xiàn)階段生活當(dāng)中，每天基于網(wǎng)絡(luò)環(huán)境所產(chǎn)生的虛擬數(shù)據(jù)已經(jīng)十分龐大。在大數(shù)據(jù)的時代背景之下，數(shù)據(jù)挖掘技術(shù)應(yīng)運而生。而所謂的“數(shù)據(jù)挖掘技術(shù)”，其主要的研究對象便是眾多的數(shù)據(jù)，工作內(nèi)容便是在眾多的數(shù)據(jù)當(dāng)中“挖掘”出對自身有用的知識信息，然后加以利用。筆者習(xí)慣將這一過程看作一個“廢物利用”的過程，其研究的范圍將會涉及到人工智能等高尖端領(lǐng)域，而其內(nèi)部的技術(shù)包括預(yù)測分析等。

1.2 云計算技術(shù)

云計算技術(shù)可以說是信息化的必然產(chǎn)物，但是其一經(jīng)出現(xiàn)便被廣泛地應(yīng)用于企業(yè)發(fā)展之中，尤其是企業(yè)內(nèi)部的財務(wù)管理，應(yīng)用到的云計算技術(shù)是最為常見的。因此，云計算技術(shù)往往會被冠以“商業(yè)計算模式”的稱號。但是從其本身的優(yōu)越性來說，云計算技術(shù)可以被應(yīng)用于社會當(dāng)中的各個領(lǐng)域。簡單來說，云計算技術(shù)的主要計算原理就是將各種計算任務(wù)按照一定的要求與規(guī)律分布在計算池當(dāng)中，然后各個計算系統(tǒng)可以根據(jù)自身的需求獲取相應(yīng)的計算能力、存儲空間及信息服務(wù)。這樣就保證了計算任務(wù)的快速與高效，并且其內(nèi)部大量的存儲空間也是其被廣泛應(yīng)用的原因之一。

總的來說，云計算技術(shù)有著鮮明的優(yōu)越性，尤其是在數(shù)據(jù)的處理過程當(dāng)中有著眾多優(yōu)勢。因此，云計算環(huán)境之下的數(shù)據(jù)挖掘技術(shù)將會有一個很好的發(fā)展前景。

2 云計算下數(shù)據(jù)挖掘平臺架構(gòu)

就云計算下數(shù)據(jù)挖掘平臺架構(gòu)來說，其主要還是應(yīng)該集中于云計算技術(shù)進(jìn)行研究。而云計算背景之下的分布式存儲技術(shù)與分布式計算技術(shù)將會促進(jìn)傳統(tǒng)的數(shù)據(jù)挖掘平臺開始新的變革之路。本文所建立的云計算下數(shù)據(jù)挖掘平臺架構(gòu)主要應(yīng)用了分層設(shè)計的理念。在實踐過程當(dāng)中，本文將其分為了3個層次，其最上層為云計算支撐平臺，中層是數(shù)據(jù)挖掘能力層，最底層是一個數(shù)據(jù)挖掘云服務(wù)層。

2.1 云計算支撐平臺

簡單來說，云計算的支撐平臺其實是云計算技術(shù)支撐平臺，云計算的支撐平臺將會為數(shù)據(jù)挖掘平臺提供分布式的數(shù)據(jù)存儲技術(shù)、分布式計算技術(shù)、數(shù)據(jù)庫存儲技術(shù)和必要的云計算技術(shù)。

2.2 數(shù)據(jù)挖掘能力層

數(shù)據(jù)挖掘能力層主要提供的能力是數(shù)據(jù)挖掘的基礎(chǔ)能力，其中包含算法服務(wù)管理能力、調(diào)度能力、數(shù)據(jù)并行框架處理能力和數(shù)據(jù)挖掘的云服務(wù)能力。同時，這個層次擁有相關(guān)的第三方挖掘工具的接入。這在設(shè)計過程當(dāng)中是被允許的，例如Weka、Mathout等相關(guān)的分布式法庫就是第三方的挖掘工具。

2.3 數(shù)據(jù)挖掘云服務(wù)層

數(shù)據(jù)挖掘云服務(wù)層主要是提供數(shù)據(jù)挖掘的云服務(wù)，其中，服務(wù)能力的封裝接口樣式可以是多種多樣的，例如簡單常見的Webservice等。在這個平臺當(dāng)中，可以根據(jù)不同類型的服務(wù)問題，為數(shù)據(jù)業(yè)務(wù)配置、組裝相應(yīng)的數(shù)據(jù)挖掘云服務(wù)。

3 云計算下數(shù)據(jù)挖掘平臺關(guān)鍵技術(shù)研究

3.1 分布式存儲技術(shù)

分布式存儲技術(shù)主要被應(yīng)用于數(shù)據(jù)挖掘當(dāng)中，因為在對數(shù)據(jù)進(jìn)行“挖掘”的過程當(dāng)中需要應(yīng)用到分布式存儲技術(shù)。而分布式的存儲技術(shù)在很大層面之上主要應(yīng)用的是分布式存儲系統(tǒng)。這種存儲方法可以實現(xiàn)對大容量數(shù)據(jù)的存儲，并且在存儲的過程當(dāng)中將會實現(xiàn)存儲位置的明確、存儲分類的清晰等。這種存儲方式不僅可以保證數(shù)據(jù)挖掘平臺的穩(wěn)定，還可以保證用戶的使用體驗。

3.2 虛擬化并行云計算技術(shù)

虛擬化并行云計算技術(shù)的主要優(yōu)勢表現(xiàn)在高效率上。雖然其在實際的應(yīng)用過程當(dāng)中并沒有分布式存儲技術(shù)的應(yīng)用射頻大，但是其也是云計算數(shù)據(jù)挖掘平臺不可缺少的環(huán)節(jié)之一。其應(yīng)用主要體現(xiàn)為在一些大數(shù)據(jù)的處理當(dāng)中，在云計算的運行環(huán)境中，其將虛擬技術(shù)和云計算技術(shù)進(jìn)行有力的結(jié)合，然后進(jìn)行數(shù)據(jù)挖掘服務(wù)。它主要是對數(shù)據(jù)進(jìn)行重復(fù)性的挖掘，然后幫助用戶考察。這種方式可以降低數(shù)據(jù)分析時的出錯率，還可以保證數(shù)據(jù)挖掘的正確率。

4 結(jié)束語

云計算技術(shù)作為信息化時代的必然產(chǎn)物，在很好地推動信息化普及的過程當(dāng)中具有鮮明的現(xiàn)實意義，同時對促進(jìn)社會發(fā)展也起著重要的作用。因此，就現(xiàn)階段的發(fā)展情況來說，無論出于何種原因，處于何種發(fā)展階段，社會、國家以及其中的各個領(lǐng)域的發(fā)展都不能不結(jié)合時代特色。綜上所述，云計算背景之下的數(shù)據(jù)挖掘平臺是云計算技術(shù)與數(shù)據(jù)挖掘技術(shù)的強有力的結(jié)合。雖然現(xiàn)階段在對該方面的研究中仍然存在一些問題，但是技術(shù)發(fā)展本就不是一蹴而就的，我們應(yīng)該堅實地走好每一步。

參考文獻(xiàn)

[1]丁巖，楊慶平，錢煜明.基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)研究[J].中興通訊技術(shù)，2013（01）：53-56，60.

[2]溫善毅.網(wǎng)絡(luò)教學(xué)平臺中數(shù)據(jù)挖掘云系統(tǒng)設(shè)計與開發(fā)[D].南昌：江西師范大學(xué)，2015.

[3]薛良飛.云計算在新型信息化系統(tǒng)中的綜合研究[D].濟(jì)南：山東大學(xué)，2013.

[4]王慧.基于Hadoop的并行挖掘算法的研究[D].北京：首都師范大學(xué)，2013.