基于云計(jì)算的大數(shù)據(jù)挖掘內(nèi)涵及解決方案研究

王 茜，平金珍，班婭萌

（石家莊信息工程職業(yè)學(xué)院，石家莊 050035）

所謂的大數(shù)據(jù)挖掘技術(shù)，其實(shí)就是從海量數(shù)據(jù)信息中進(jìn)行有價(jià)值信息提取的技術(shù)。伴隨著物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的發(fā)展，數(shù)據(jù)信息復(fù)雜程度不斷提高，采用傳統(tǒng)數(shù)據(jù)挖掘算法已經(jīng)無(wú)法實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)挖掘。基于云計(jì)算模式建立大數(shù)據(jù)挖掘體系架構(gòu)，需要結(jié)合大數(shù)據(jù)特征實(shí)現(xiàn)相關(guān)技術(shù)集成，達(dá)到有效實(shí)現(xiàn)數(shù)據(jù)挖掘的目標(biāo)，繼而使大數(shù)據(jù)挖掘技術(shù)優(yōu)勢(shì)得到充分發(fā)揮。

1 基于云計(jì)算的大數(shù)據(jù)挖掘內(nèi)涵

云計(jì)算實(shí)際就是建立在網(wǎng)絡(luò)基礎(chǔ)上的超級(jí)計(jì)算模式，能夠借助分布式計(jì)算機(jī)和互聯(lián)網(wǎng)提供計(jì)算或存儲(chǔ)等服務(wù)。采用云計(jì)算，用戶能夠從不同應(yīng)用平臺(tái)登錄數(shù)據(jù)中心，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)、下載或計(jì)算分析。該種模式帶有虛擬化的特點(diǎn)，具有較強(qiáng)的可拓展性，能夠?qū)崿F(xiàn)數(shù)據(jù)分布式存儲(chǔ)和并行計(jì)算。在云計(jì)算模式下實(shí)現(xiàn)大數(shù)據(jù)挖掘，需要構(gòu)建融合多種計(jì)算模式和存儲(chǔ)模式的體系架構(gòu)。根據(jù)功能，可以將架構(gòu)劃分為支撐平臺(tái)層、功能層和服務(wù)層。在平臺(tái)層，可以為大數(shù)據(jù)挖掘分析提供豐富資源，為數(shù)據(jù)分析和存儲(chǔ)提供支持，運(yùn)用云計(jì)算相關(guān)技術(shù)及工具實(shí)現(xiàn)大數(shù)據(jù)處理，提供豐富云環(huán)境[1]。

借助云環(huán)境，不僅可以獲得數(shù)據(jù)和軟硬件資源，也能實(shí)現(xiàn)數(shù)據(jù)預(yù)處理和分析。功能層負(fù)責(zé)結(jié)合用戶需求進(jìn)行挖掘工具調(diào)用，實(shí)現(xiàn)數(shù)據(jù)智能化分析。服務(wù)層需要采用可視化等技術(shù)實(shí)現(xiàn)數(shù)據(jù)處理結(jié)果的展示，為用戶提供服務(wù)。現(xiàn)階段，基于云計(jì)算的大數(shù)據(jù)挖掘體系通常存在功能少的問(wèn)題，無(wú)法滿足用戶多樣化需求，因此需要針對(duì)用戶大數(shù)據(jù)挖掘需求提出科學(xué)解決方案。

2 基于云計(jì)算的大數(shù)據(jù)挖掘解決方案

2.1 平臺(tái)解決方案

結(jié)合大數(shù)據(jù)挖掘體系架構(gòu)可知，平臺(tái)層是實(shí)現(xiàn)大數(shù)據(jù)挖掘與分析的關(guān)鍵環(huán)節(jié)。采用Hadoop 平臺(tái)，能夠?yàn)槎喙δ艽髷?shù)據(jù)挖掘體系架構(gòu)的實(shí)現(xiàn)提供支持。從結(jié)構(gòu)上來(lái)看，Hadoop 平臺(tái)包含數(shù)據(jù)源、大數(shù)據(jù)挖掘平臺(tái)、用戶層三個(gè)部分，數(shù)據(jù)源為復(fù)雜處理對(duì)象，由結(jié)構(gòu)、半結(jié)構(gòu)和非結(jié)構(gòu)數(shù)據(jù)組成。在大數(shù)據(jù)挖掘平臺(tái)上上，包含各種計(jì)算模式，面對(duì)實(shí)時(shí)數(shù)據(jù)可以提供多種分析與挖掘功能。用戶層可以提供系統(tǒng)認(rèn)知與接受服務(wù)，實(shí)現(xiàn)數(shù)據(jù)信息交互。Hadoop 以HDFS、MapReduce 和HBase 為核心，能夠快速運(yùn)行，并且具有較高擴(kuò)展性和容錯(cuò)性，能夠?qū)崿F(xiàn)數(shù)據(jù)批處理和流處理，增強(qiáng)數(shù)據(jù)流的可伸縮性。但采用Hadoop 難以進(jìn)行擁有復(fù)雜關(guān)系的圖數(shù)據(jù)處理，無(wú)法為內(nèi)存計(jì)算提供支持，因此需要融入并行計(jì)算PowerGraph 等工具，促使數(shù)據(jù)處理和查詢速率得到提高。

2.2 數(shù)據(jù)預(yù)處理

采用Hadoop 平臺(tái)進(jìn)行數(shù)據(jù)預(yù)處理，不同于傳統(tǒng)數(shù)據(jù)挖掘，無(wú)需采用既定ETL 等驅(qū)動(dòng)方法實(shí)現(xiàn)靜態(tài)數(shù)據(jù)處理，而是能夠根據(jù)數(shù)據(jù)變化進(jìn)行技術(shù)的選用，實(shí)現(xiàn)動(dòng)態(tài)數(shù)據(jù)預(yù)處理。具體來(lái)講，就是采用多模式實(shí)體識(shí)別、遠(yuǎn)程自動(dòng)采集融合、數(shù)據(jù)流實(shí)時(shí)處理等各種技術(shù)獲得更強(qiáng)迭代計(jì)算、并行計(jì)算等能力。在數(shù)據(jù)傳輸遷移期間，采用Sqoop 等流式計(jì)算技術(shù)完成數(shù)據(jù)流同步處理，使數(shù)據(jù)能夠得到即時(shí)處理。而大數(shù)據(jù)的處理不關(guān)注因果聯(lián)系，只是根據(jù)數(shù)據(jù)間的關(guān)聯(lián)關(guān)系進(jìn)行數(shù)據(jù)處理，因此更能增強(qiáng)數(shù)據(jù)預(yù)處理的實(shí)時(shí)性。

2.2 數(shù)據(jù)存儲(chǔ)管理

以往數(shù)據(jù)挖掘需要采用行存儲(chǔ)方式，利用關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行多維數(shù)據(jù)模型、結(jié)構(gòu)化數(shù)據(jù)等各種數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)將被隨機(jī)存儲(chǔ)。由系統(tǒng)內(nèi)部進(jìn)行存儲(chǔ)模式定義，導(dǎo)致數(shù)據(jù)存儲(chǔ)相對(duì)被動(dòng)，缺乏可擴(kuò)展性，并且無(wú)法實(shí)現(xiàn)數(shù)據(jù)靈活管理。采用大數(shù)據(jù)挖掘技術(shù)，主要采用列存儲(chǔ)或行存儲(chǔ)模式，能夠?qū)Y(jié)構(gòu)和非結(jié)構(gòu)數(shù)據(jù)進(jìn)行存儲(chǔ)。采用該種數(shù)據(jù)存儲(chǔ)管理方法，能夠使數(shù)據(jù)得到靈活存儲(chǔ)管理，增強(qiáng)體系可拓展性。為保證數(shù)據(jù)一致性，同時(shí)對(duì)關(guān)系數(shù)據(jù)模型進(jìn)行兼容，需要采用Spanner 系統(tǒng)，為同步跨數(shù)據(jù)中心復(fù)制提供支持。采用不確定關(guān)系模型進(jìn)行數(shù)據(jù)存儲(chǔ)，能夠?qū)?dòng)態(tài)數(shù)據(jù)進(jìn)行直接存儲(chǔ)。

2.3 數(shù)據(jù)計(jì)算分析

在數(shù)據(jù)計(jì)算分析方面，過(guò)去采用集中批處理方式。針對(duì)大數(shù)據(jù)，需要實(shí)現(xiàn)多種計(jì)算模式相融合，完成數(shù)據(jù)分布并行處理。面對(duì)多維、立體、海量數(shù)據(jù)，可以實(shí)現(xiàn)云平臺(tái)和數(shù)據(jù)挖掘平臺(tái)功能融合，促使平臺(tái)分析能力和分布式并行計(jì)算能力得到增強(qiáng)。集成R 分析軟件，能夠整合傳統(tǒng)和現(xiàn)有挖掘算法。在對(duì)動(dòng)態(tài)圖數(shù)據(jù)進(jìn)行計(jì)算時(shí)，需要采用數(shù)據(jù)管理系統(tǒng)進(jìn)行低延遲查詢。針對(duì)數(shù)據(jù)流，需要運(yùn)用滑動(dòng)窗口模型實(shí)現(xiàn)概率維度索引，完成數(shù)據(jù)單次近似連續(xù)分析。實(shí)際查詢數(shù)據(jù)的過(guò)程中，需要采用PigLatin 等相應(yīng)查詢語(yǔ)言，能夠?qū)崿F(xiàn)數(shù)據(jù)靈活查詢。

2.4 數(shù)據(jù)挖掘展示

對(duì)采用數(shù)據(jù)挖掘算法處理得到的數(shù)據(jù)，還要進(jìn)行展示。過(guò)去采用的挖掘技術(shù)僅能展示出簡(jiǎn)單數(shù)據(jù)結(jié)果集，所以只適用于數(shù)量小、關(guān)系簡(jiǎn)單的情況。針對(duì)大數(shù)據(jù)挖掘得到的信息，需采用文字、報(bào)表和可視化圖形等各種方式進(jìn)行模型效果展示。能夠采用的圖形包含餅狀圖、散點(diǎn)圖、GainLift 圖等，受I/O 限制，難以對(duì)多維、海量和動(dòng)態(tài)數(shù)據(jù)間的聯(lián)系進(jìn)行反映[2]。采用人機(jī)交互方式，能夠采用圖像、動(dòng)畫等方式增強(qiáng)數(shù)據(jù)解釋直觀性，達(dá)到較好的可視化效果。現(xiàn)階段，能夠采用的可視化技術(shù)包含聚類分析可視化技術(shù)、宇宙星球圖、標(biāo)簽云等，需要采用并行算法實(shí)現(xiàn)數(shù)據(jù)并行處理，完成高效原位分析，獲得協(xié)同可視化效果。

3 結(jié)束語(yǔ)

大數(shù)據(jù)作為新興事物，目前依然未能得到較好的挖掘處理。在云計(jì)算基礎(chǔ)上，針對(duì)大數(shù)據(jù)挖掘體系架構(gòu)存在的問(wèn)題提出相應(yīng)解決方案，采用Hadoop 平臺(tái)豐富體系功能，能夠?qū)崿F(xiàn)數(shù)據(jù)信息實(shí)時(shí)處理，為用戶提供有效信息資源。實(shí)際采用該方案時(shí)，需要結(jié)合數(shù)據(jù)預(yù)處理、存儲(chǔ)、分析計(jì)算和展示需求進(jìn)行技術(shù)的合理應(yīng)用，繼而取得良好大數(shù)據(jù)挖掘效果。