云計算技術下數據挖掘平臺設計及技術

摘 要： 為了探討云計算技術下數據挖掘平臺設計及技術應用效益，通過研究設計云計算技術下數據挖掘平臺，在云計算技術支持下，優化設計數據挖掘平臺，以改進當前數據挖掘技術質量。結果表明，設計基于云計算技術的數據挖掘平臺，不僅可以確保提升技術應用效益，也可以提升數據挖掘質量與平臺穩定性。相比傳統數據挖掘方式，云計算機技術下數據挖掘的效率提高達到20.0%。

關鍵詞： 數據挖掘平臺； 云計算技術； 技術應用； 優化設計

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2016）16?0061?03

Abstract： The purpose of this thesis is to discuss the design of data mining platform based on the cloud computing technology and its application. Through the research of the data mining platform based on the cloud computing technology， the design of the data mining platform was optimized under the support of cloud computing technology to guarantee the effect of the technology application， and improve the quality of the data mining technology and the stability of data mining platform. Compared with the traditional data mining methods， the data mining efficiency is increased by 20%.

Keywords： data mining platform； cloud computing technology； technology application； optimization design

0 引 言

對于數據挖掘平臺設計，可以基于當前云計算技術發展優勢，而數據挖掘與數據是密不可分的，運用云計算技術，有助于優化數據挖掘平臺設計工作，以提升數據挖掘平臺設計性能。數據挖掘（Data Mining）能夠從實際工作中的大量、不完全數據，以及有噪聲、模糊的實際應用數據[1]中有效提取出隱含的數據。這些數據均是人們事先不知道的數據，但是對于這些數據，又潛在存在有用的信息；而這個發現新數據、信息知識的過程就是數據挖掘的過程，即數據庫中的知識發現KDD（Knowledge Discovery in Databases）。與傳統數據挖掘相比，采用云計算技術設計實現的數據挖掘平臺，能夠通過“云”中的多個資源去完成數據挖掘的工作，可以使數據資源在該數據挖掘平臺中得到充分的利用，提高當前數據挖掘的效率[2]。同時，基于云計算技術的數據挖掘平臺，可以在提高數據挖掘效率的同時[3?6]，克服實際中網格環境下挖掘數據的弊端，實現面向商業應用的數據挖掘工作，現實中更具實用價值。

1 系統設計需求分析

本文基于通信資源數據挖掘設計挖掘平臺。數據挖掘總體可以分為數據準備、數據挖掘兩大階段[7]。在數據挖掘平臺設計中，根據數據特點運用云計算技術，對數據進行過濾、轉換等操作，有助于提升系統設計性能，滿足系統設計需求。該系統設計中，針對海量用戶數據信息，利用數據挖掘技術，可在計費數據、業務訂購數據、網管數據等海量用戶數據中發現商業信息，為通信市場的精準營銷打下基礎[8?12]。在系統設計中，運用云計算技術實現數據挖掘， 將云計算技術融入數據挖掘中，采用分布式計算（Map/Reduce）概念，能夠將大數據集和挖掘任務分解到多臺計算機上并行處理，以確保數據挖掘平臺設計符合實際需求。

2 云計算技術下數據挖掘平臺設計方案

2.1 系統總體設計

在云計算技術下設計數據挖掘平臺，采取三層結構，以數據預處理、云計算以及數據挖掘平臺為分層，優化提升該平臺實現數據挖掘的功能。系統設計結構如圖1所示。

在該平臺設計中，數據預處理層能夠存儲分布式數據文件，實現對平臺的分布式系統管理；云計算層可以對各個數據挖掘步驟及模塊總控、調度[13]，對原始數據進行預處理以得到挖掘數據；數據挖掘平臺可以實現具體應用，以確保該平臺設計符合實際需求。

2.2 系統功能設計

該數據挖掘平臺具備多種數據挖掘功能，其由數據收集模塊、數據預處理模塊、模式規則選擇模塊及應用接口模塊四部分組成，如圖2所示。

數據收集模塊：其主要的功能是可以負責收集在該平臺服務器端中的數據，同時也包括客戶的一些登記資料，然后運用文本方式，返回這些收集的數據。

數據預處理模塊：其主要功能是預處理返回數據信息，去除信息中無用的、冗余數據，以便節約系統數據挖掘時間[14]。

模式規則選取模塊：可以獲取各個站點通用的模式，其是一種學習策略。

應用接口模塊：其功能是可以實現數據與該數據挖掘平臺的連接。

2.3 平臺數據庫設計

數據庫設計充分利用關系數據庫特征，減少數據冗余，數據只在一個地方存儲，通過主鍵和外鍵對應動態生成所需視圖，方便程序編寫查詢檢索代碼。部分表鍵對應關系如圖3所示。

2.4 數據挖掘平臺算法實現

將云計算融入數據挖掘，將計算擴展到無限規模的機器集群上進行。在Map/Reduce框架中，每一次計算請求，均是以此作業。數據挖掘中，可以將數據挖掘作業拆分為若干個不同的Map任務， 然后將其分配到數據挖掘平臺中不同的機器上執行；當完成所有的Map任務后，則可以進入下一個數據挖掘步驟，將這些中間文件合并，輸出這些文件；同時，該數據挖掘平臺中，又將生成若干Reduce任務，循環以上算法，最后可生成所需的數據挖掘目標文件。運用該算法設計數據挖掘平臺，大大提高數據挖掘的靈活性，提升數據挖掘效率。明確數據挖掘的目標，并對挖掘目標建立恰當的模型。

3 結 語

本文設計的基于云計算技術的數據挖掘平臺，不僅可以確保提升技術應用效益，也可以提升數據挖掘質量與平臺穩定性，相比傳統數據挖掘方式，提高數據挖掘效率達到20.0%。 綜上所述，設計基于云計算技術的數據挖掘平臺，不僅可以滿足當前系統設計需求，也可以滿足用戶規模的擴大、應用目標多樣等環境下數據挖掘的應用需求，提高數據挖掘的效率，具有實際應用價值。

參考文獻

[1] 杜艷綏.基于Hadoop云計算平臺的數據挖掘分析[J].信息技術與標準化，2013（4）：36?38.

[2] 程苗，陳華平.基于Hadoop的Web日志挖掘[J].計算機工程，2011（11）：37?39.

[3] 王德文.基于云計算的電力數據中心基礎架構及其關鍵技術[J].電力系統自動化，2012，36（11）：67?71.

[4] 曹小春，曾安，潘丹.云計算環境下面向領域的數據挖掘服務平臺研究[J].自動化儀表，2014，35（9）：9?13.

[5] 黃章樹，劉晴晴.基于云計算服務模式的數據挖掘應用平臺的構建[J].電信科學，2012，28（1）：53?57.

[6] 趙海東.關于流數據挖掘技術中有關云計算的應用設計分析[J].數字化用戶，2013（15）：142.

[7] 袁春園.基于Hadoop云計算平臺的數據挖掘分析[J].信息與電腦（理論版），2015（15）：58?59.

[8] 金龍.云計算環境中的數據挖掘存儲管理設計[J].軟件工程師，2012（12）：36?37.

[9] 郭鑫，董堅峰，周清平.自適應云端的大規模導出子圖提取算法[J].計算機科學，2014，41（6）：155?160.

[10] 郭鑫，顏一鳴，徐洪智，等.動態云平臺下的快速閉樹聚類并行算法[J].計算機工程，2013（9）：80?83.

[11] 王水萍，王方.一種基于云計算數據挖掘平臺架構的設計與實現[J].信息安全與技術，2014（8）：64?66.

[12] 張大衛，李海雁，李濤.云計算環境下多源遙感數據挖掘系統構建[J].信息技術，2015（5）：187?191.

[13] 蔡江云.基于微軟云計算平臺的海量數據挖掘系統分析[J].才智，2015（5）：375.

[14] 穆俊.基于云平臺的并行關聯規則挖掘算法分析[J].現代電子技術，2015，38（11）：123?125.

[15] 王玨.基于關聯規則的醫生診療數據挖掘系統的實現[J].現代電子技術，2013，36（19）：124?126.