云計算環(huán)境下大數(shù)據分布規(guī)律的結構優(yōu)化設計

鄒華

摘 要： 針對云計算環(huán)境下大數(shù)據分布不合理，導致運行效率差的問題，提出基于模糊聚類分析的云計算環(huán)境下大數(shù)據分布規(guī)律的結構優(yōu)化方法，首先對特征的觀測值進行規(guī)格化處理，保證每個特征值的取值均處于[0，1]范圍內。其次獲得在[0，1]范圍內的相似系數(shù)描述數(shù)據間的相似度，通過相似矩陣獲得云計算環(huán)境下大數(shù)據集上的模糊五階相似矩陣。引入最短距離法，將其和相似矩陣融合，共同實現(xiàn)數(shù)據聚類，完成大數(shù)據分布規(guī)律結構的優(yōu)化設計。仿真實驗結果表明，所提方法使得數(shù)據分布更合理，而且運行效率和穩(wěn)定性均較高。

關鍵詞： 云計算； 大數(shù)據； 分布規(guī)律； 相似矩陣

中圖分類號： TN911?34； TP393 文獻標識碼： A 文章編號： 1004?373X（2016）08?0018?03

Optimization design for structure of big data distribution regularity

in cloud computing environment

ZOU Hua

（Information Engineering College， TongRen University， Tongren 554300， China）

Abstract： Aiming at the poor operating efficiency caused by the unreasonable distribution of big data in cloud computing environment， a structure optimization method of big data distribution regularities in cloud computing environment， which based on the fuzzy cluster analysis， is proposed. Firstly， a normalization treatment for the observed values of the features is performed to ensure that the values are all controlled in the range of [0，1]. And then the similarity factor in the range of [0，1] is acquired to describe the similarity between the data， and the fuzzy five?order similar matrix on big data set in cloud computing environment is obtained according to the similar matrix. The single linkage method is used to integrate with the similarity matrix to achieve data clustering， and realize the optimization design of large data distribution structure. The simulation results show that this method not only can make the data distribution reasonable， but also has advantages of high operating efficiency and high stability.

Keywords： cloud computing； big data； distribution law； similar matrix

隨著計算機科技技術的逐漸發(fā)展，所涉及的數(shù)據量越來越大，人們對云計算環(huán)境安全性的要求也越來越高[1?2]。如何在不增加成本的情況下，提高整個系統(tǒng)的安全性和數(shù)據分布的合理性已成為相關學者研究的重點課題，受到了越來越廣泛的關注[3?5]。目前，研究云計算環(huán)境下大數(shù)據分布規(guī)律的結構優(yōu)化設計方法有很多，主要包括模糊聚類方法、詳細度量方法和最小二乘法等，相關研究也取得了一定的成果。其中，文獻[6]提出基于誤差和曲線分析的云計算環(huán)境下大數(shù)據分布規(guī)律結構優(yōu)化設計方法，通過誤差分析法和實測數(shù)據直方圖進行比較實現(xiàn)結構優(yōu)化，但該方法存在實踐過程復雜的弊端。文獻[7]提出基于非線性最小二乘法的云計算環(huán)境下大數(shù)據分布規(guī)律結構優(yōu)化設計方法，通過非線性最小二乘擬合法，獲取數(shù)據的統(tǒng)計分布規(guī)律，但該方法的計算結果精度低，同時受外界環(huán)境的干擾較大。文獻[8]提出基于線性整數(shù)規(guī)劃的云計算環(huán)境下大數(shù)據分布規(guī)律的結構優(yōu)化設計方法，通過線性整數(shù)規(guī)劃對大數(shù)據的分布規(guī)律進行優(yōu)化，但該方法僅限于數(shù)據無冗余的情況。

1 基于模糊聚類分析的云數(shù)據分布規(guī)律結構

優(yōu)化設計方法

1.1 構建[X]上的模糊關系

在抽取數(shù)據特征的基礎上，建立其在[X]上的模糊關系，為大數(shù)據分布規(guī)律結構優(yōu)化設計提供基礎依據。將相似系數(shù)構成的[n]階矩陣稱作相似系數(shù)矩陣，通過該矩陣即可描述[X]上的模糊相似關系。對該矩陣的等價閉包或等價類進行計算，即可建立待處理數(shù)據[X]的模糊關系。依據本文研究問題的特征環(huán)境，為了獲取相似系數(shù)，需使相似系數(shù)滿足自反、對稱的條件，選擇貼近度法對相似系數(shù)進行計算。兩個模糊向量之間接近程度的體現(xiàn)即為貼近度，其滿足自反、對稱的條件，因此，可通過貼近度對相似系數(shù)進行描述。將[X]中的元素[Xi]和[Xj]看作是各自特征的模糊向量，用貼近度對相似系數(shù)[rij]進行描述，再采用絕對值減數(shù)法，取當[σ]接近海明距離時的貼近度，[rij]的表達式為：

[rij=1-cdpXi，Xjα] （1）

式中：[c]，[α]用于描述常數(shù)；[p]用于描述不同距離的代碼系數(shù)。取論域[X=x1，x2，…，x5]，對其進行規(guī)格化處理，取[c=0.1]，然后通過式（2）對相似系數(shù)進行計算，獲取模糊五階相似矩陣：

[R=rij= 1 0.1 0.8 0.5 0.30.1 1 0.1 0.2 0.40.8 0.1 1 0.3 0.10.5 0.2 0.3 1 0.60.3 0.4 0.1 0.6 1] （2）

獲得數(shù)據特征在[X]上的模糊關系表達式后，需要對模糊五階相似矩陣進行劃分，為大數(shù)據分布規(guī)律結構優(yōu)化設計提供依據。

1.2 大數(shù)據分布規(guī)律結構優(yōu)化設計

在對其進行優(yōu)化設計之前，需要用最短距離法對類和類之間的距離進行計算，也就是用[dij]（[i，j=1，2，…，n]）描述樣本[i]與[j]之間的距離，則有：

[dij=k=1pxik-xjk] （3）

如果用[G1，G2，…]描述類，則第[k]類[Gk]和第[r]類[Gr]之間的距離為：

[Dkr=mindij：i∈Gk，j∈Gr] （4）

在獲得最短距離的情況下，采用最短距離對云計算環(huán)境下大數(shù)據分布規(guī)律結構進行優(yōu)化設計，其詳細過程如下：

（1） 假設樣本之間的距離為[dij]（[i，j=1，2，…，n]），依據[dij]獲取距離矩陣[D0]。由于開始時所有樣本均自成一類，所以[Dkr=dkr]；

（2） 找出[D0]中的最小元素[Gk]與[Gr]，將[Gk]與[Gr]合并成一個新類[Gp=Gk，Gr]；

（3） 對新類與其他類的距離進行計算，假設類[Gp]和[Gq]之間的距離為：

[Dpq=mindij：i∈Gp，j∈Gq =minmindij：i∈Gk，j∈Gq，mindij：i∈Gr，j∈Gq =minDkq，Drq]

將[D0]中的第[k]行和第[r]行、第[k]列和第[r]列，通過式（5）合并為一個新行新列，獲取的新矩陣用[D1]進行描述；

（4） 對[D1]重復上述對[D0]的兩個步驟以獲取[D2]，以此類推，直至剩下[k]類為止。

若某一步中最小元素多于一個，則和上述最小元素相應的類可以同時合并。

通過上述分析對云計算環(huán)境下大數(shù)據分布規(guī)律結構進行優(yōu)化設計，決定哪些數(shù)據需進行調整，哪些數(shù)據需進行轉移，使云計算環(huán)境下大數(shù)據的分布通過不斷地動態(tài)調整，能始終處于最佳位置。

2 仿真實驗分析

為了驗證本文提出的基于模糊聚類的云計算環(huán)境下大數(shù)據分布規(guī)律結構優(yōu)化設計方法的有效性，需要進行相關的實驗分析。兩種方法分別進行10次實驗，取其平均訪問代價作為結果。在對兩種方法進行評價的過程中，本文將相對訪問成本作為衡量的標準，相對訪問成本可描述成實際訪問成本與基本訪問成本的商，其和云計算環(huán)境下的拓撲結構無關。

隨著代理存儲容量的增加，采用本文方法和最小二乘法進行大數(shù)據分布規(guī)律結構優(yōu)化設計后的相對訪問成本比較結果，如圖1所示。圖1（a）和圖l（b）分別描述的是總預算，是全部候選代理費用的10%和20%的情況。

分析圖1可以看出，隨著存儲容量的逐漸升高，本文方法的相對成本一直低于最小二乘法，當總預算從全部候選代理費用的10%增長至20%時，本文方法和最小二乘法的相對成本均在一定程度上有所增加，但本文方法的增加幅度明顯低于最小二乘法，說明本文方法的性能優(yōu)于最小二乘法，驗證了本文方法的有效性。

在各代理容量一定的情況下，云計算環(huán)境下預算費用逐漸增加時，本文方法和最小二乘方法相對成本的變化趨勢，如圖2所示。圖2（a）描述的是代理容量大小是全部對象的50%的情況，圖2（b）描述的是代理容量大小是全部對象的70%的情況。

分析圖2可以看出，本文方法的性能明顯優(yōu)于最小二乘方法，在各代理容量或總預算較低時，本文方法的相對成本均低于最小二乘方法，當代理容量大小從50%到70%時，本文方法的相對成本基本沒有發(fā)生改變，說明本文方法基本不受代理容量的影響，驗證了本文方法的有效性。

3 結 論

本文提出基于模糊聚類分析的云計算環(huán)境下大數(shù)據分布規(guī)律的結構優(yōu)化方法，對特征的觀測值進行規(guī)格化處理，保證每個特征值的取值均處于[0，1]范圍內，使數(shù)據特征只含有相對意。用[0，1]范圍內的相似系數(shù)描述數(shù)據間的相似度，通過相似矩陣描述云計算環(huán)境下大數(shù)據集上的模糊相似關系。采用貼進度法運算相似矩陣的等價閉包或等價類。引入最短距離法，將其和相似矩陣融合，共同實現(xiàn)數(shù)據聚類，完成大數(shù)據分布規(guī)律結構的優(yōu)化設計，使云計算環(huán)境下大數(shù)據的分布，通過不斷地動態(tài)調整，可始終處于最佳位置。仿真實驗結果表明，所提方法不僅相對成本較低，而且運行效率和穩(wěn)定性均較高。

參考文獻

[1] 周本海.淺談云計算環(huán)境下大數(shù)據對電子商務的影響[J].經濟研究導刊，2015（7）：201?202.

[2] 王嘉，陳超.云計算環(huán)境下大規(guī)模數(shù)據處理的研究[J].中國電子商務，2013（9）：42.

[3] 徐敏，徐勇.基于單一屬性分布的數(shù)據質量評估模型[J].統(tǒng)計與決策，2013（11）：4?8.

[4] 申倩，許美玉，姜春茂.云計算環(huán)境下任務調度研究綜述[J].智能計算機與應用，2014，4（6）：75?77.

[5] 張千，梁鴻，郉永山.云計算環(huán)境下基于模糊聚類的并行調度策略研究[J].計算機科學，2014，41（8）：75?80.

[6] 陳鵬，劉爽，左莉，等.基于數(shù)據分布規(guī)律的分段組合支持向量機研究[J].微電子學與計算機，2015，32（3）：94?99.

[7] 李鵬飛，趙勇，張頂立，等.基于現(xiàn)場實測數(shù)據統(tǒng)計的隧道圍巖壓力分布規(guī)律研究[J].巖石力學與工程學報，2013（7）：1392?1399.

[8] 溫創(chuàng)新，邱一凡，孫軍.基于大數(shù)據和泊松分布的配件預測模型分析與建模[J].計算機與數(shù)字工程，2014，42（8）：1412?1414.