基于邊緣云協(xié)同網(wǎng)絡(luò)的數(shù)據(jù)存儲容災(zāi)備份仿真

沈 剛，陳 斌，毛明榮

(1. 三江學(xué)院，江蘇 南京 210012;2. 南京師范大學(xué)，江蘇 南京 210023 )

1 引言

傳統(tǒng)的云計(jì)算網(wǎng)絡(luò)采取的是集中式框架，在當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)量與網(wǎng)絡(luò)終端大爆發(fā)的情況下，表現(xiàn)出明顯的傳輸過載和延遲增長。針對該問題，近年來提出了邊緣計(jì)算，它是利用邊緣網(wǎng)絡(luò)與云核心網(wǎng)絡(luò)協(xié)同工作，將云核心網(wǎng)絡(luò)的功能進(jìn)行遷移[1-3]。由于邊緣網(wǎng)絡(luò)更接近用戶設(shè)備側(cè)，將部分功能遷移至邊緣網(wǎng)絡(luò)，使邊緣網(wǎng)絡(luò)具有數(shù)據(jù)存儲和計(jì)算能力，對于用戶側(cè)常用的一些資源信息，就可以存儲在邊緣網(wǎng)絡(luò)，能夠均衡網(wǎng)絡(luò)任務(wù)，降低網(wǎng)絡(luò)延遲，更好的根據(jù)用戶需求提供相應(yīng)的服務(wù)質(zhì)量。但是，在邊緣云協(xié)同網(wǎng)絡(luò)數(shù)據(jù)存儲的過程中，面臨著存儲節(jié)點(diǎn)的選擇、存儲數(shù)據(jù)的選擇、目標(biāo)數(shù)據(jù)的提取等問題[4-5]。這些問題的存在，也對其存儲策略和應(yīng)用效果產(chǎn)生嚴(yán)重影響。另外，由于云計(jì)算網(wǎng)絡(luò)業(yè)務(wù)繁雜，網(wǎng)絡(luò)數(shù)據(jù)對于用戶的重要程度也越來越大，因此邊緣云協(xié)同網(wǎng)絡(luò)必須保證數(shù)據(jù)安全性和可靠性。當(dāng)網(wǎng)絡(luò)局部節(jié)點(diǎn)發(fā)生斷電、宕機(jī)或者其它故障時，為避免數(shù)據(jù)丟失、業(yè)務(wù)中斷等情況出現(xiàn)，需要對數(shù)據(jù)存儲進(jìn)行容災(zāi)備份處理。而容災(zāi)備份需要考慮請求響應(yīng)效率，如何從備份中快速恢復(fù)數(shù)據(jù)，如何確保數(shù)據(jù)的可靠與完整性[6-7]。針對這些問題，本文提出并設(shè)計(jì)了一種邊緣云協(xié)同網(wǎng)絡(luò)數(shù)據(jù)存儲容災(zāi)備份方案。為了改善邊緣網(wǎng)絡(luò)與云核心網(wǎng)絡(luò)的協(xié)同性，在邊緣網(wǎng)絡(luò)中實(shí)現(xiàn)用戶端興趣數(shù)據(jù)的預(yù)測存儲，不僅能夠降低云核心網(wǎng)絡(luò)的業(yè)務(wù)壓力，同時能夠降低網(wǎng)絡(luò)中傳輸鏈路負(fù)載，以及用戶請求的時間延遲。為了改善數(shù)據(jù)存儲的容災(zāi)性，設(shè)計(jì)了容災(zāi)備份策略，利用粒子群算法搜索數(shù)據(jù)恢復(fù)成本與恢復(fù)時間的聯(lián)合最優(yōu)解，從而提高數(shù)據(jù)的可靠性與恢復(fù)響應(yīng)。

2 邊緣云協(xié)同網(wǎng)絡(luò)數(shù)據(jù)存儲分析

邊緣云協(xié)同網(wǎng)絡(luò)從拓?fù)浣Y(jié)構(gòu)上可以看做由云服務(wù)中心、云核心網(wǎng)絡(luò)、邊緣網(wǎng)絡(luò)、以及用戶設(shè)備組成，傳統(tǒng)的云計(jì)算網(wǎng)絡(luò)采取以服務(wù)中心向外擴(kuò)散的框架，在數(shù)據(jù)增加、傳輸延遲等壓力下，顯露出明顯的應(yīng)用缺陷。將云核心網(wǎng)絡(luò)的部分功能推向邊緣網(wǎng)絡(luò)，使其協(xié)同完成用戶端的任務(wù)需求，是當(dāng)前應(yīng)對云環(huán)境復(fù)雜數(shù)據(jù)快速的主要趨勢。在邊緣網(wǎng)絡(luò)中增加智能節(jié)點(diǎn)，由它完成邊緣網(wǎng)絡(luò)與云核心網(wǎng)絡(luò)的數(shù)據(jù)交換，同時該節(jié)點(diǎn)具有存儲功能，用于存儲用戶端經(jīng)常訪問、快速訪問的數(shù)據(jù)。當(dāng)用戶將請求發(fā)送至邊緣網(wǎng)絡(luò)后，邊緣網(wǎng)絡(luò)通過智能節(jié)點(diǎn)判斷請求數(shù)據(jù)的流行度、熱度等信息，并據(jù)此來選擇從邊緣網(wǎng)絡(luò)的存儲中返回響應(yīng)，還是繼續(xù)向云核心網(wǎng)絡(luò)轉(zhuǎn)發(fā)請求。對于流行度、熱度、頻次較高的請求數(shù)據(jù)，邊緣網(wǎng)絡(luò)存儲將會快速響應(yīng)給用戶，避免回傳鏈路的占用。

對邊緣網(wǎng)絡(luò)采取離散分析，假定用于數(shù)據(jù)存儲計(jì)算的智能節(jié)點(diǎn)s存儲空間大小為Ms，則任意時間點(diǎn)上，s都需要判斷用戶請求、數(shù)據(jù)流行度等信息，并對其中存儲的數(shù)據(jù)進(jìn)行相應(yīng)的調(diào)整，調(diào)整策略描述為

(1)

這里最終目的是搜索出最為合理的存儲調(diào)整方案，從而確保邊緣網(wǎng)絡(luò)的數(shù)據(jù)存儲效果。根據(jù)調(diào)整策略，由數(shù)據(jù)庫中所有數(shù)據(jù)構(gòu)成向量m(s，[tk，tk+1))=[m1(s，[tk，tk+1))，…，mi(sD，[tk，tk+1))]T，利用該向量就可以控制存儲的命中率。假定[tk，tk+1)時間段內(nèi)節(jié)點(diǎn)s處理用戶請求的總數(shù)量是J(s，[tk，tk+1))，對應(yīng)第j次請求的數(shù)據(jù)表示為l(j)，則存儲命中率計(jì)算公式如下

(2)

其中，pm(s，[tk，tk+1))(l(j))是標(biāo)記函數(shù)，在處理請求過程中，當(dāng)某次請求數(shù)據(jù)已經(jīng)存儲于節(jié)點(diǎn)時標(biāo)記為1，未存儲于節(jié)點(diǎn)時標(biāo)記為0。為防止節(jié)點(diǎn)存儲溢出，對其采取如下約束：

≤Ms

(3)

其中，z=[z1，z2，…，zi]T為數(shù)據(jù)庫D中的所有數(shù)據(jù)大小；存儲向量m(s，[tk，tk+1))為約束變量。邊緣網(wǎng)絡(luò)存儲空間有限，這里引入數(shù)據(jù)請求頻率，在[tk，tk+1)時間段內(nèi)，將節(jié)點(diǎn)s上發(fā)生數(shù)據(jù)i被請求的總數(shù)量記做ci(s，[tk，tk+1))，此時邊緣網(wǎng)絡(luò)的最優(yōu)存儲描述如下

ci(s，[tk，tk+1))s.t.zT·m(s，[tk，tk+1))≤Ms

(4)

經(jīng)過優(yōu)化后的邊緣網(wǎng)絡(luò)存儲，可以看做離散時間段與節(jié)點(diǎn)關(guān)系的求解。當(dāng)網(wǎng)絡(luò)數(shù)據(jù)不斷刷新，需要對邊緣網(wǎng)絡(luò)存儲更新時，由于請求頻次與最近最少請求指標(biāo)[8-9]都難以提高請求效率，并且無法保證存儲數(shù)據(jù)的準(zhǔn)確性，因此，這里采取熱度數(shù)據(jù)生命期與流行度兩種指標(biāo)判斷數(shù)據(jù)的更替。節(jié)點(diǎn)在接收用戶請求時，實(shí)時記錄用戶端的熱點(diǎn)數(shù)據(jù)，將其請求的數(shù)據(jù)標(biāo)記時間戳，當(dāng)數(shù)據(jù)庫中某些數(shù)據(jù)需要更新時，將對應(yīng)時刻與請求時間戳做差值計(jì)算，得到熱度生命期。將存儲更新時間記做tu，請求時間戳記做te，于是熱度生命期公式如下

T(i)=tu-te

(5)

熱度生命期T(i)越大越好，其值越大，說明數(shù)據(jù)i的熱度越高。邊緣網(wǎng)絡(luò)距離用戶端最近，利用熱度生命期的觀測能夠更加準(zhǔn)確的體現(xiàn)用戶端數(shù)據(jù)傾向，請求數(shù)據(jù)存在于節(jié)點(diǎn)本地，顯然數(shù)據(jù)預(yù)測被命中的概率更大。

數(shù)據(jù)流行度指標(biāo)根據(jù)統(tǒng)計(jì)數(shù)據(jù)獲取。假定此前某段時間，統(tǒng)計(jì)得到節(jié)點(diǎn)s中的數(shù)據(jù)i被請求的數(shù)量是ci(s)，于是節(jié)點(diǎn)s中的數(shù)據(jù)i流行度計(jì)算如下

(6)

為了綜合衡量存儲數(shù)據(jù)的更新策略，將熱度生命期與數(shù)據(jù)流行度進(jìn)行加權(quán)融合，公式表示如下

L(i)=λ/T(i)+(1-λ)pi(s)

(7)

其中，λ是加權(quán)因子，可以調(diào)節(jié)兩種指標(biāo)的控制權(quán)重。在存儲更新時，將L(i)值較小的數(shù)據(jù)采取替換操作。

3 數(shù)據(jù)存儲容災(zāi)備份

在網(wǎng)絡(luò)節(jié)點(diǎn)出現(xiàn)故障時，為防止數(shù)據(jù)損壞丟失，保證用戶請求能夠被正常且及時響應(yīng)，對數(shù)據(jù)采取容災(zāi)備份，原理如圖1所示。容災(zāi)備份涉及數(shù)據(jù)遷移與數(shù)據(jù)恢復(fù)，在未發(fā)生故障時，各備份數(shù)據(jù)庫進(jìn)行同步的數(shù)據(jù)遷移，在發(fā)生故障時，從備份數(shù)據(jù)庫中復(fù)制數(shù)據(jù)，最終目標(biāo)是快速恢復(fù)網(wǎng)絡(luò)業(yè)務(wù)。

圖1 數(shù)據(jù)存儲容災(zāi)原理

容災(zāi)備份根據(jù)網(wǎng)絡(luò)數(shù)據(jù)更新采取動態(tài)備份機(jī)制，當(dāng)節(jié)點(diǎn)設(shè)備初始化時，進(jìn)行完整數(shù)據(jù)備份；當(dāng)網(wǎng)絡(luò)存儲數(shù)據(jù)增加時，進(jìn)行增量數(shù)據(jù)備份；當(dāng)網(wǎng)絡(luò)存儲數(shù)據(jù)替換時，進(jìn)行差別數(shù)據(jù)備份。圖2描述了容災(zāi)備份的處理過程。

圖2 容災(zāi)備份流程

在容災(zāi)備份框架的基礎(chǔ)上，設(shè)計(jì)具體的數(shù)據(jù)調(diào)度方法，該過程應(yīng)該衡量數(shù)據(jù)恢復(fù)帶來的成本消耗。對于邊緣網(wǎng)絡(luò)而言，主要有數(shù)據(jù)存儲與數(shù)據(jù)通信消耗。假定網(wǎng)絡(luò)中任意節(jié)點(diǎn)j對應(yīng)的存儲成本表示為um，j，數(shù)據(jù)傳輸成本表示為ut，j，據(jù)此，將數(shù)據(jù)恢復(fù)成本描述如下：

(8)

其中，N代表節(jié)點(diǎn)中存儲的文件數(shù)量；Di表示文件i包含的數(shù)據(jù)大小；Ni，j表示節(jié)點(diǎn)j中包含的文件i的備份數(shù)量。假定節(jié)點(diǎn)j傳輸鏈路帶寬是Bj，則恢復(fù)時間計(jì)算公式描述如下：

(9)

其中，Tret表示需要恢復(fù)數(shù)據(jù)的查詢時間。

為了對恢復(fù)成本與恢復(fù)時間聯(lián)合求解，將其看做為多目標(biāo)尋優(yōu)問題，于是，本文引入粒子群算法構(gòu)建數(shù)據(jù)恢復(fù)模型。對于一個q維度空間而言，初始化部署K個粒子，其中任意粒子位置描述為wi(wi1，wi2，…，wiq)，粒子速度描述為vi(vi1，vi2，…，vik)。在進(jìn)行最優(yōu)解搜索的過程中，粒子需要不斷的調(diào)整速度與位置，調(diào)整方式表示如下

(10)

(11)

ω=ωmax-n(ωmax-ωmin)/nmax

(12)

(13)

(14)

在每一輪的迭代進(jìn)化過程中，需要對粒子進(jìn)行相應(yīng)的評價和約束，評價的依據(jù)就是獲得最小的恢復(fù)成本和恢復(fù)時間，即對(8)與(9)計(jì)算最小值。而約束是為了獲得更好的容災(zāi)效果，約束條件描述如下

(15)

在容災(zāi)備份時，利用式(15)對備份容量和備份數(shù)量進(jìn)行了限制，避免產(chǎn)生存儲資源溢出和冗余備份情況。通過迭代進(jìn)化，最終計(jì)算得到粒子群最佳位置，即獲得最佳成本與恢復(fù)時間。

4 仿真與結(jié)果分析

仿真利用Matlab模擬邊緣云協(xié)同網(wǎng)絡(luò)，用戶任務(wù)請求次數(shù)采取Zipf分布，任務(wù)計(jì)算采取正態(tài)分布，其它參數(shù)設(shè)置如表1所示。

表1 仿真實(shí)驗(yàn)參數(shù)設(shè)置

仿真通過任務(wù)數(shù)據(jù)預(yù)測準(zhǔn)確度、存儲命中率，以及恢復(fù)時間指標(biāo)，依次對本文提出的數(shù)據(jù)存儲容災(zāi)備份方案進(jìn)行性能驗(yàn)證。同時，采用文獻(xiàn)[2]和文獻(xiàn)[6]方案在相同的實(shí)驗(yàn)環(huán)境中得到各自性能指標(biāo)，與本文方案進(jìn)行對比。

本文在網(wǎng)絡(luò)任務(wù)數(shù)據(jù)預(yù)測準(zhǔn)確度時，分別將任務(wù)數(shù)據(jù)采取流行度排序，并以10為單位進(jìn)行分組劃分，得到每組的平均預(yù)測準(zhǔn)確度，結(jié)果如圖3所示。根據(jù)準(zhǔn)確度結(jié)果曲線，經(jīng)過縱向比較可以發(fā)現(xiàn)，隨著分組的靠后，各方法的數(shù)據(jù)預(yù)測準(zhǔn)確度都有所降低，而本文方案的準(zhǔn)確度顯然降低幅度更小，從第一組到最后一組，數(shù)據(jù)預(yù)測準(zhǔn)確度僅降低了18.60%。經(jīng)過橫向比較可以發(fā)現(xiàn)，對于每種方案的相同分組，本文方案的數(shù)據(jù)預(yù)測準(zhǔn)確度都高于對比方案。該結(jié)果表明，采用熱度數(shù)據(jù)生命期與流行度兩種指標(biāo)能夠更加準(zhǔn)確判斷出用戶端的數(shù)據(jù)需求傾向，從而確保存儲數(shù)據(jù)的準(zhǔn)確性與請求效率。

圖3 任務(wù)數(shù)據(jù)預(yù)測準(zhǔn)確度

存儲命中率體現(xiàn)了存儲效率的優(yōu)劣，實(shí)驗(yàn)過程中，為了對各方法采取統(tǒng)一衡量標(biāo)準(zhǔn)，計(jì)算公式表示如下

(16)

式中，hi表示網(wǎng)絡(luò)節(jié)點(diǎn)i任務(wù)數(shù)據(jù)命中次數(shù)；Crequest表示網(wǎng)絡(luò)中的用戶任務(wù)累計(jì)請求次數(shù)。

通過仿真，得到相對存儲增加時，存儲命中率的變化情況，結(jié)果如圖4所示。通過結(jié)果對比可知，在相對存儲增長的過程中，各方案的存儲命中率均表現(xiàn)出不同程度的增加。其中文獻(xiàn)[2]和文獻(xiàn)[6]方案由于數(shù)據(jù)預(yù)測與緩存策略的缺陷，產(chǎn)生較多的冗余數(shù)據(jù)存儲，使得存儲命中率明顯低于本文方案。該結(jié)果表明本文方案有效提高了邊緣云協(xié)同網(wǎng)絡(luò)的存儲命中率，有利于數(shù)據(jù)多樣性與存儲利用率，避免用戶請求向云核心網(wǎng)絡(luò)的轉(zhuǎn)發(fā)，能夠從自身存儲文件中直接向用戶提供請求數(shù)據(jù)，提高請求處理效率。

圖4 存儲命中率結(jié)果

仿真模擬網(wǎng)絡(luò)故障情況下的數(shù)據(jù)恢復(fù)時間，結(jié)果如圖5所示。根據(jù)結(jié)果對比，對于任何大小的數(shù)據(jù)，本文方案的恢復(fù)時間都是最快的，且在數(shù)據(jù)量增長過程中，該方案的恢復(fù)時間增速也最慢。這是由于本文方案基于準(zhǔn)確的數(shù)據(jù)存儲，設(shè)計(jì)了容災(zāi)備份策略，利用粒子群算法對預(yù)測數(shù)據(jù)采取合理高效的備份，當(dāng)網(wǎng)絡(luò)節(jié)點(diǎn)出現(xiàn)故障時，能夠根據(jù)備份數(shù)據(jù)，為用戶請求快速及時的提供恢復(fù)數(shù)據(jù)，防止數(shù)據(jù)損壞和丟失。

圖5 恢復(fù)時間曲線

5 結(jié)束語

針對邊緣云協(xié)同網(wǎng)絡(luò)的數(shù)據(jù)存儲問題，本文將邊緣網(wǎng)絡(luò)采取離散分析，設(shè)計(jì)了帶有存儲命中率與存儲容量約束的最優(yōu)存儲策略，并在每次迭代時進(jìn)行動態(tài)調(diào)整。同時在網(wǎng)絡(luò)存儲更新時，采取熱度數(shù)據(jù)生命期與流行度兩種指標(biāo)判斷數(shù)據(jù)的更替。此外，設(shè)計(jì)了數(shù)據(jù)存儲容災(zāi)備份模型，并引入粒子群算法搜索最優(yōu)備份策略。通過仿真實(shí)驗(yàn)，驗(yàn)證了本文提出的邊緣云協(xié)同網(wǎng)絡(luò)數(shù)據(jù)存儲容災(zāi)備份方案能夠更加準(zhǔn)確判斷出用戶端的數(shù)據(jù)需求傾向，對其采取準(zhǔn)確有效存儲，從而提高請求效率與容災(zāi)效果。