云計算環境下的大數據特征挖掘技術研究

張文 蘇玉

摘 要： 基于梯度采樣的大數據特征挖掘方法在大數據挖掘過程中，邏輯性較差，僅從單層角度進行大數據特征挖掘，極大降低大數據特征挖掘的精度。對此，提出基于云計算環境下大數據特征挖掘模型的特征挖掘方法，其大數據存儲體系層包括多源信息資源服務層、核心技術層、多源信息資源平臺服務層以及多源信息資源基礎層，采用大數據特征分布函數實施大數據特征匹配，實現大數據特征初步挖掘；大數據特征挖掘處理層對存儲體系層中的大數據進行抽取、轉換、清洗、集成與加載實現大數據預處理，采用FP?tree對預處理后的大數據進行準確特征挖掘，通過用戶層將獲取的大數據特征挖掘結果反饋給用戶，完成云計算環境下大數據特征挖掘。實驗結果表明，所提方法在云計算環境下大數據特征挖掘方面準確率較高，具有低能量開銷的優勢。

關鍵詞： 云計算； 梯度采樣； 大數據； 存儲體系； 特征挖掘； 能量開銷

中圖分類號： TN919?34； TP391.4 文獻標識碼： A 文章編號： 1004?373X（2018）20?0161?04

Abstract： The big data feature mining method based on gradient sampling has poor logicality during the process of big data mining， and conducts big data feature mining only from the single layer perspective， which greatly reduces the precision of big data feature mining. Therefore， a feature mining method based on the cloud computing environment is proposed for the big data feature mining model. The big data storage system layer consists of the multi?source information resource service layer， core technology layer， multi?source information resource platform service layer， and multi?source information resource base layer. The big data feature distribution function is used to implement big data feature matching and realize initial mining of big data features. In the big data feature mining processing layer， extraction， transformation， cleaning， integration and loading of big data in the storage system layer are conducted to realize big data preprocessing. The FP?tree is used to conduct accurate feature mining of preprocessed data. The obtained big data feature mining results are fed back to users by means of the user layer， so as to complete big data feature mining in the cloud computing environment. The experimental results show that the proposed method has high accuracy of big data feature mining in the cloud computing environment， and has the advantage of low energy overhead.

Keywords： cloud computing； gradient sampling； big data； storage system； feature mining； energy overhead

0 引 言

云計算平臺具有高效分配動態資源、根據用戶請求生成動態計算與存儲等功能[1]，為大數據特征分析與挖掘提供良好平臺[2]。在云計算環境下進行大數據特征挖掘是信息時代海量數據高效應用的有效方法。基于梯度采樣的大數據特征挖掘方法在大數據挖掘過程中，邏輯性較差，僅從單層角度進行大數據特征挖掘，降低了大數據特征挖掘的精度[3]。針對這一不足，提出基于云計算環境下大數據特征挖掘模型的特征挖掘方法。通過實驗驗證了該方法具有較高的數據挖掘性能，為社會生產各行業大數據特征挖掘提供有效手段。

1 大數據特征挖掘模型的特征挖掘方法

1.1 云計算環境下大數據特征挖掘模型

文章采用云計算環境下大數據特征挖掘模型實現大數據特征挖掘，該模型如圖1所示。

分析圖1所示的云計算環境下大數據挖掘模型可知，該模型主要包括大數據存儲體系層、大數據挖掘處理層以及用戶層[4?5]，下面進行詳細研究。

1.2 大數據存儲體系層

云計算中多源數據信息的交互、網絡技術的集成依賴于云計算環境中的三個不同模型分別是I/O，USB及磁盤層[6]，圖2為云計算環境下大數據存儲體系層的架構。

分析圖2能夠看出，云計算環境下大數據存儲體系包括多源信息資源服務層、核心技術層、多源信息資平臺服務層以及多源信息資源基礎層。

1.3 大數據特征挖掘處理層

1.3.1 大數據預處理

對大數據進行預處理獲取符合特征挖掘標準的高質量大數據，保證特征挖掘結果的真實性、可靠性[7]。大數據抽取、轉換、清洗、集成與加載是大數據預處理的主要流程，通過該方法獲取規則、可靠的大數據，基于該結果進行大數據特征挖掘[8]。

1.3.2 基于FP?tree的大數據特征挖掘

第1.3.1小節大數據特征挖掘過程進行大數據特征挖掘時，存在分類精度低、用時長的缺點，為解決該問題，本文提出一種新的、高效率基于FP?tree的大數據特征分類挖掘方法，詳細步驟如圖3所示。

分析圖3能夠看出：第一步，對獲取大數據訓練集進行map分解，接著對大數據訓練集生成FP?tree；第二步，基于FP?tree獲取頻繁項集；第三步，根據reduce實施歸并，關聯規則可通過頻繁項集進行獲取，接著實施剪枝[9]獲取分類規則，基于分類規則構建大數據特征分類器，實現大數據特征的有效分類與挖掘。

1.4 用戶層

用戶層中的用戶輸入模塊為用戶提供表達請求的平臺。該模塊對用戶輸入的數據信息進行分析，匹配合理的數據挖掘方法[10]。采用該方法對預處理后的數據進行數據特征挖掘，基于結果展示模塊用戶能夠獲取相應的大數據特征挖掘結果，實現云計算環境下的大數據特征挖掘。

2 實驗分析

2.1 大數據特征挖掘準確率分析

為了驗證本文方法進行云計算環境下大數據特征挖掘的有效性，對其展開仿真實驗研究。具體實驗設置如下：一臺PC機配備Windows 7系統，2.89 Hz雙核Core四處理器，存儲空間為1 GB；采用Matlab 7仿真軟件、覆蓋范圍300×300的云計算設備，大數據庫B500C30D50提供實驗數據集，包含44 878 308條記錄。在上述實驗環境下，采用本文方法對大數據進行特征匹配，獲取的匹配結果如圖4所示。

分析圖4能夠看出，采用本文方法實施大數據特征匹配，在時間為30 s時歸一化投影值為0.14；隨著時間的增加，相應的歸一化投影值增大，在時間為35 s時出現歸一化投影值峰值0.8，在40 s時歸一化投影值為0.18。總體看來，采用本文方法進行大數據特征匹配獲取的歸一化投影值以時間35 s處為中心呈對稱狀態分布。

將上述獲取的大數據特征匹配結果作為特征數據實施大數據特征挖掘，獲取的大數據特征分類挖掘結果如圖5所示。

分析圖5可知，圖中中間處圖形為特征挖掘前數據形態，左右兩側兩條圖形是采用本文方法后獲取的大數據特征挖掘形態，通過對比能夠看出，采用本文方法獲取的數據挖掘結果不存在特征交叉、融合的現象，大數據特征得到有效分割，在去除原始數據集冗余特征的基礎上獲取規則、可靠的大數據特征挖掘結果。

將本文方法與基于時空分析的大數據特征挖掘方法、基于梯度采樣的大數據特征挖掘方法進行對比實驗，采用三種方法進行10次大數據特征挖掘準確率測試，獲取的結果如表1所示。

分析表1能夠看出三種方法進行大數據特征挖掘的準確率對比情況。本文方法在10次準確率測試中獲取的準確率均在95%以上，在第10次測試中準確率達到最大值99.4%，在第8次測試中達到準確率最小值95.6%，本文方法進行大數據特征挖掘的平均準確率為97.6%。基于時空分析的大數據特征挖掘方法在10次準確率測試中獲取的準確率均在90%～96%之間，其準確率均值為92.1%，在第9次測試中該方法的準確率達到最大值95.2%，其余測試中準確率均在92%上下，低于本文方法。基于梯度采樣的大數據特征挖掘方法的準確率均值為95.9%，雖然與本文方法的準確率均值僅相差1.7%，總體看來該方法的大數據特征挖掘準確率較高，難以凸顯本文方法的優勢。因此采用本文方法與基于梯度采樣的大數據特征挖掘方法再次進行對比實驗。詳細實驗方法為：在相同實驗環境下采用本文方法與基于梯度采樣的大數據特征挖掘方法進行5次大數據特征挖掘測試并記錄準確率結果，制成條形圖如圖6所示。

分析圖6能夠明顯看出本文方法與基于梯度采樣的大數據特征挖掘方法準確率對比情況，本文方法準確率明顯高于基于梯度采樣的大數據特征挖掘方法。

2.2 數據挖掘開銷分析

為驗證本文方法優勢，以大數據特征挖掘能量開銷為測試指標，三種方法獲取的能量開銷結果見圖7。

分析圖7，基于時空分析的大數據特征挖掘方法能量開銷曲線位于曲線圖的最上方。從實驗數據能夠看出，該方法進行大數據特征挖掘的總體能量開銷最大，且隨著云計算設備的增加，該方法的能量開銷并未減少，而是呈無規律狀態大幅度波動。其中出現兩次能量開銷高峰，說明該方法的穩定性較差。基于梯度采樣的大數據特征挖掘方法的能量開銷位居第二位。隨著云計算設備數量的增加，該方法的能量開銷呈逐漸減少的趨勢，相對基于時空分析的大數據特征挖掘方法而言，該方法的大數據特征挖掘性能較強，但仍低于本文方法。本文方法能量開銷曲線位于曲線圖最下方，隨著云計算設備數量增加，本文方法能量開銷逐漸減少。與基于時空分析的大數據特征挖掘方法相比，本文方法能量開銷降低了約10倍，大大節省了大數據特征挖掘能量消耗，而且本文方法能量開銷基本穩定，無大幅度波動。

3 結 論

文章提出基于云計算環境下大數據特征挖掘模型的特征挖掘方法，從云計算環境下大數據存儲體系層、大數據特征挖掘處理層以及用戶層三個層次實現云計算環境下大數據特征挖掘。經過實驗驗證，本文方法在云計算環境下進行大數據特征挖掘的準確率較高，且具有能量開銷低的優勢。

注：本文通訊作者為蘇玉。

參考文獻

[1] 張晉芳，王清心，丁家滿，等.一種云計算環境下大數據動態遷移策略[J].計算機工程，2016，42（5）：13?17.

ZHANG Jinfang， WANG Qingxin， DING Jiaman， et al. A big data dynamic migration strategy in cloud computing environment [J]. Computer engineering， 2016， 42（5）： 13?17.

[2] 王欣，周曉梅.云計算環境下大數據合理分流技術研究與仿真[J].計算機仿真，2016，33（3）：292?295.

WANG Xin， ZHOU Xiaomei. Research and simulation on big data reasonable splitting technology in cloud computing environment [J]. Computer simulation， 2016， 33（3）： 292?295.

[3] MANIKYAM N R H， KUMAR S M. Methods and techniques to deal with big data analytics and challenges in cloud computing environment [J]. International journal of civil engineering & technology， 2017， 8（4）： 669?678.

[4] 申琢.基于云計算和大數據挖掘的礦山事故預警系統研究與設計[J].中國煤炭，2017，43（12）：109?114.

SHEN Zhuo. Study on early warning system of coal mine accidents based on cloud computing and big data crunching platform [J]. China coal， 2017， 43（12）： 109?114.

[5] GHORBEL A， GHORBEL M， JMAIEL M. Privacy in cloud computing environments： a survey and research challenges [J]. Journal of supercomputing， 2017， 73（6）： 2763?2800.

[6] LIAO L， HUANG Y， LIU X. Study on the mining method for specific fault data of multimedia sensor networks in cloud computing environment [J]. Multimedia tools & applications， 2016， 76（16）： 1?16.

[7] 樓鳳丹，裴旭斌，王志強，等.基于云計算及大數據技術的電力搜索引擎技術研究[J].電網與清潔能源，2016，32（12）：86?92.

LOU Fengdan， PEI Xubin， WANG Zhiqiang， et al. Research on power search engine technology based on cloud computing and large data [J]. Advances of power system & hydroelectric engineering， 2016， 32（12）： 86?92.

[8] GOLI?MALEKABADI Z， SARGOLZAEI?JAVAN M， AKBARI M K. An effective model for store and retrieve big health data in cloud computing [J]. Computer methods and programs in biomedicine， 2016， 132： 75?82.

[9] HUA M A， ZHI?GANG H U， ZHANG H Y， et al. Personalized fusion method of service trust evaluation in cloud computing environment [J]. Journal of Chinese computer systems， 2014， 35（4）： 776?780.

[10] 吳凱峰，劉萬濤，李彥虎，等.基于云計算的電力大數據分析技術與應用[J].中國電力，2015，48（2）：111?116.

WU Kaifeng， LIU Wantao， LI Yanhu， et al. Cloud?computing based power big data analysis technology and its application [J]. Electric power， 2015， 48（2）： 111?116.