多種群協同進化算法優化的云存儲仿真分析

包瑋琛

（重慶航天職業技術學院，重慶，400021）

多種群協同進化算法優化的云存儲仿真分析

包瑋琛

（重慶航天職業技術學院，重慶，400021）

云平臺下大數據的極速增長，使得傳統的數據存儲由于時間響應慢、負載不均衡等因素，成為阻礙大數據云存儲的關鍵技術，為了解決云平臺下大數據的存儲問題，提出了多種群協同進化優化算法的存儲方法。該方法首先將存儲分布區分割成若干個環區域，同時標記每個存儲區的存儲訪問時間，然后將大數據的存儲訪問抽象為最優解問題。通過改進協同進化算法，防止粒子群早熟，采用該優化算法對大數據存儲過程中的任務調度粒子群分別編碼，根據微粒群不斷進化和變異，迭代得到最優解，從而滿足云平臺下大數據存儲的實際需求。利用Cloudsim搭建仿真平臺，對提出的新型大數據存儲方法加以評估驗證，結果表明該方法不僅具有更快的響應速度，而且降低了系統能耗，提高了負載均衡度。

大數據；云存儲；多種群協同進化；微粒群

0 引言

信息發展促使了數據量的指數式增長，數據集的復雜龐大，需要解決現有存儲技術利用率低下、資源的局部化等技術難點[1-4]。傳統存儲方法由于受硬件資源和數據中心分布的限制，僅能處理一定量的數據，為了使云平臺中的存儲設備互相協調工作，更加高效可靠地實現大數據存儲優化，本文提出了多種群協同進化優化算法的存儲方法。采用改進方法，加快了算法的收斂速度，并且有效降低系統能耗。

1 大數據存儲原理及優化算法的提出

在大容量云存儲系統中，通常由多個數據存儲節點構成[5]，采取并行存儲訪問方式，將復雜的數據劃分為若干個小任務，即把龐大的數據集分散存儲在各自不同的小區域上，從而使每個子數據集可以各自獨立處理，處理方式如下。

設定云平臺下待處理的目標數據集為R，它的屬性元為k，各子數據集的屬性類別分別表示為1A,2A，iA，kA，再設定iA對應的數據子集的屬性存放的節點數為m，則iA的計算公示表示為：

于是，目標數據集R可以表示為：

在大數據的并行存儲訪問中，存在著嚴重的熱點子數據集，導致能耗增加，于是本文提出并設計了一種新型大數據存儲方法。

2 多種群協同進化優化算法的存儲方法設計

常規的微粒群算法存在一定的缺陷[6]，會在早期快速收斂，而后期算法收斂速度減慢，并且容易出現局部極值，為此，對其算法進行改進優化設計。

2.1 粒子編碼和初始化

首先將存儲分布區分割成若干個環區域，同時標記每個存儲區的存儲訪問時間，并計算每個環區域在活動和空閑時的能耗，這樣便建立了存儲任務中每個存儲區域的距離和能耗關系。編碼使用自然數，長度則為需要完成的存儲子任務量，根據維度便可以清晰看出系統中需要處理的數據任務數量。這里設定待處理的數據任務t個，劃分成m個子任務，系統中分割出n個環區域，則編碼如下：

pi表示的含義為由環區域pi處理子任務i。

假定t=3，子任務m=10，環區域數n=5，則編碼為(3,2,5,4,3,2,1,1,5,3)。

2.2 個體評價

根據適應度函數，對群體中的每個微粒做優劣程度的評估，于此同時，每個微粒還在持續進行迭代運算，反復地進行適應度比較，直至滿足適應度要求為止。

Pj( j=1,2,...,k )代表集合中的任意子群，則它所含有的微粒Xi是：

j

ρ是jP位置分量，inx表示粒子i在jP中位置分量。優勝閾使用ijI表示，含義為微粒i的分量j的對應閾值。

ij

l和ijμ分別代表的是閾值上下邊界。在適應度分析過程中，如果微粒i的閾值ijI選取了ijl，而實際作用于ijμ，則能夠得到如下新規則：

在完成個體評價之后，如果發現個體成熟便將其作為超級個體，會使得該個體不能繼續進化，也不能實現信息的共享，并且為了加快收斂速度，改進的新型算法添加了變異操作。利用優勝閾值判斷各個子群是否進行變異，從而變異得到新的微粒，替換微粒群里先前的微粒，這個過程可以表示為：

因為變異過程保證了微粒群能夠不斷地進化，保持了信息的共享，使得算法可以進一步搜尋最優解，在保證收斂性的同時，也保證了最優解的合理性。

2.3 子任務運行時間

使用ETC來表示運行時間，它是一個m×n階的矩陣，這樣，大數據存儲任務i向環區域j上存儲使用的時間可以表示為ETC( i, j)。利用ETC，就可以在微粒解碼的過程中，很方便地得到各個環區域存儲的所有數據消耗的時間時間()Time j，時間計算如下:

所有數據存儲結束，即所有的環區域都結束了各自的數據存儲任務，此時，可以得到所有數據存儲所需時間，即：

2.4 更新區域和速度

微粒完成每次迭代之后，都會刷新該微粒當前信息，因為前面采取了自然數對微粒群進行編碼，而在上述計算過程中轉化為了非自然數，所以，最后要對結果做離散化處理，計算公式為：

2.5 算法描述

多種群協同進化優化算法的大數據存儲方式可以表示為如下步驟。

Step1：群體中的微粒初始化編碼，主要是針對云平臺中分割的環區域和待存儲的任務數。

Step2：根據微粒適應值的匹配程序持續更新最優解。

Step3：根據適應度判斷群體狀態階段，是否達到成熟，并以此進行超級個體的排序。

Step4：利用公式(5)~(9)計算出優勝閾值。

Step5：變異操作，使群體得到持續進化。

Step6：得到最優解，即適應度匹配程度最高的微粒。

3 仿真實驗

采用Cloudsim搭建大數據云存儲仿真平臺，對設計的大數據存儲方法進行仿真驗證實驗。實驗過程采取與傳統微粒群算法對比，其它實驗環境完全相同。

首先針對不同的數據量，兩種算法下的大數據存儲實驗數據分別如表1和表2所示。

表1 傳統算法存儲仿真數據

表2 改進算法存儲仿真數據

1 2 0 0 2 6 5 4 4 . 1 9 4 9 8 1 4 0 0 3 5 7 8 5 0 9 7 9 8 1 6 0 0 4 5 6 3 5 . 8 7 2 9 8 1 8 0 0 4 8 9 4 6 2 4 5 9 7 2 0 0 0 5 0 6 9 7 . 1 7 7 9 8

對比可知，提出的改進優化算法存儲速度更快，能夠有效提高系統的響應速度，對于傳遞次數，得到了明顯的減低，從而能夠使數據存儲過程中降低系統能量損耗，實現節能，同時，存儲的可靠性也得到了顯著提升，這歸功于算法對最優解的搜尋合理性上。

其次針對存儲方法在負載均衡程度做了比較，實驗對比數據顯示為表3。根據仿真數據，改進算法的數據存儲方案負載均衡程度具有明顯優勢。

表3 負載均衡度仿真數據

4 結語

為了提高云平臺下大數據的存儲性能，本文提出了多種群協同進化優化算法的存儲方法。該方法將大數據的存儲訪問抽象為最優解問題，利用改進的協同進化算法對微粒群進行優化，克服了微粒群算法存在的收斂缺陷，同時提高了算法對最優解的鎖定精度，成功的將算法融合到大數據存儲過程中。通過Cloudsim仿真對比，提出的改進算法在大數據云存儲過程中，能夠有效提高系統的響應速度，降低系統功耗，提高數據的存儲可靠性，擁有更好的負載均衡度。

[1]王意潔,孫偉東,周 松,等.云計算環境下的分布存儲關鍵技術[J].軟件學報,2012,23(4): 962-986.

[2]宮婧,王文君.大數據存儲中的容錯關鍵技術綜述[J].南京郵電大學學報：自然科學版,2014, 34:20-25.

[3]張天宇,賀金鑫,王陽,等.基于NoSQL數據庫的地學大數據高效存儲方法[J].吉林大學學報：信息科學版,2013,31(6):604-608.

[4]Zhan S B, Huo H Y. Improved PSO-based task scheduling algorithm in cloud computing[J]. Information & Computational Science,2013,13(9):3821-3829.

[5]費賢舉,王樹鋒.基于云環境下的海量大數據存儲系統設計[J].計算機測量與控制,2014, 22(7):2259-2261.

[6]Bilgaiyan S,Sagnika S, Das M. An Analysis of Task Scheduling in Cloud Computing using Evolutionary and Swarm-based Algorithms[J].International Journal of Computer Applications,2014,89(2):11-18.

Multiple population co-evolution algorithm simulation of cloud storage optimization

Bao Weichen
(Chongqing Aerospace Polytechnic,Chongqing,400021)

The rapid growth of big data cloud platform, making the traditional data storage due to slow response time, load imbalance and other factors, become the key technology to hinder large data cloud storage, In order to solve the problem of large data storage in the cloud platform, the storage method of multi population co evolution optimization algorithm is proposed In this method, the storage area is divided into several ring regions, and the storage access time of each storage area is marked. Through the improvement of particle swarm cooperative evolutionary algorithm, to prevent premature, the optimization algorithm of encoding task scheduling particle swarm large data storage process, based on particle swarm evolution and variation, iterative optimal solution, In order to meet the actual needs of large data storage cloud platform Using Cloudsim to build simulation platform, evaluated and verified in the new type data storage method is proposed. The results show that this method not only has faster response speed, but also reduces the energy consumption of the system, improve the load balance degree

Big data; Cloud storage; Multi population co evolution; Particle swarm

2017年重慶市教育委員會科學技術項目（基于壓縮域DCT參數特征的鏡頭邊緣檢測研究），項目編號：KJ1728400