基于云計(jì)算的大數(shù)據(jù)中心資源分配方法研究

房明磊　耿顯亞

【摘? ?要】? ?為解決傳統(tǒng)資源分配均衡度低的問題，提出云計(jì)算設(shè)計(jì)大數(shù)據(jù)中心的資源分配方法。分析研究現(xiàn)狀，提出大數(shù)據(jù)中心資源分配目標(biāo)函數(shù)，基于云計(jì)算標(biāo)定分配參數(shù)，對大數(shù)據(jù)中心資源動態(tài)分配量適應(yīng)度排序，完成資源分配。實(shí)例分析結(jié)果表明，設(shè)計(jì)方法的分配均衡度明顯高于對照組，能夠解決傳統(tǒng)資源分配均衡度低的問題。

【關(guān)鍵詞】? ?云計(jì)算;大數(shù)據(jù)中心;資源分配方法;均衡度低

Research on Resource Allocation Method of Big Data

Center Based on Cloud Computing

Fang Minglei， Geng Xianya

（Anhui University of Science and Technology， Huainan 232001， China）

【Abstract】? ? In order to solve the problem of low balance of traditional resource allocation， a resource allocation method of cloud computing design big data center is proposed. Based on the analysis of the current research status， the objective function of resource allocation in big data center is proposed. Based on this allocation parameter， the dynamic allocation of resources in big data center is sorted by fitness to complete resource allocation. The results of case analysis show that the design method has a higher balance of resource allocation than the control group， which can solve the problem of low balance of traditional resource allocation.

【Key words】? ? ?cloud computing; big data center; resource allocation method; low balance

〔中圖分類號〕? TP391 ? ? ? ? ? ? ?〔文獻(xiàn)標(biāo)識碼〕? A ? ? ? ? ? ? ?〔文章編號〕 1674 - 3229（2021）02- 0010 - 04

0? ? ?引言

大數(shù)據(jù)中心通過特殊的網(wǎng)絡(luò)虛擬專線，實(shí)現(xiàn)了大量數(shù)據(jù)資源的有機(jī)整合，為了提高大數(shù)據(jù)中心資源利用的共享性，大數(shù)據(jù)中心資源分配應(yīng)更加均衡且合理優(yōu)化。信息化社會的不斷發(fā)展，人們對大數(shù)據(jù)中心的要求也愈加提高，大數(shù)據(jù)中心的用戶逐步增加，由于不同時(shí)間段內(nèi)大數(shù)據(jù)中心資源的荷載量不同，經(jīng)常導(dǎo)致大數(shù)據(jù)中心信道出現(xiàn)資源分配不均衡的情況，需要對大數(shù)據(jù)中心資源實(shí)現(xiàn)均衡分配。由此可見，資源分配方法是實(shí)現(xiàn)資源均衡分配的重要手段。大數(shù)據(jù)中心資源基數(shù)大、類型復(fù)雜，對大數(shù)據(jù)中心資源分配造成了很大的困難[1-2]。本文基于云計(jì)算設(shè)計(jì)大數(shù)據(jù)中心資源分配方法，致力于通過云計(jì)算極大程度地提高大數(shù)據(jù)中心資源分配均衡度。

1? ? ?云計(jì)算

云計(jì)算技術(shù)是當(dāng)前各領(lǐng)域中廣泛應(yīng)用的一種數(shù)據(jù)技術(shù)手段，同時(shí)也是近幾年來開發(fā)出的以分布式結(jié)構(gòu)為主要特點(diǎn)的計(jì)算平臺環(huán)境。通過云計(jì)算的實(shí)際應(yīng)用，能夠有效提升各類數(shù)據(jù)、信息等資源與實(shí)際主機(jī)設(shè)備的相互連接，能夠?qū)崿F(xiàn)對各類虛擬資源的高效利用。同時(shí)，云計(jì)算在應(yīng)用過程中，也逐步體現(xiàn)了其成本低、效率高、適應(yīng)性強(qiáng)等優(yōu)勢[3]。通常情況下，云計(jì)算平臺包含了四個(gè)基本層次結(jié)構(gòu)，分別為上位機(jī)顯示層、中間層、分析處理層以及服務(wù)器終端層。不同層次能夠?qū)崿F(xiàn)云計(jì)算平臺的不同功能，并且能夠保證各項(xiàng)任務(wù)的高效和精準(zhǔn)完成。基于此，下文將展開基于云計(jì)算的大數(shù)據(jù)中心資源分配方法設(shè)計(jì)。

2? ? ?基于云計(jì)算的大數(shù)據(jù)中心資源分配方法

2.1? ?研究現(xiàn)狀

在我國，傳統(tǒng)的大數(shù)據(jù)中心資源分配方法主要通過計(jì)算大數(shù)據(jù)中心資源的阻抗函數(shù)，動態(tài)分配大數(shù)據(jù)中心資源。但這種方法在實(shí)際應(yīng)用過程中存在分配均衡度低的現(xiàn)象，無法實(shí)現(xiàn)大數(shù)據(jù)中心資源均衡分配，導(dǎo)致資源分配效率低，證明傳統(tǒng)分配方法仍存在不足之處，有待改進(jìn)。為此，有必要針對大數(shù)據(jù)中心資源分配方法展開優(yōu)化設(shè)計(jì)。大數(shù)據(jù)中心資源分配方法作為一種新興分配方式，以往關(guān)注點(diǎn)在于用戶端的輸入量，對于客戶端的資源信道均衡分配仍存在一些不足[4]。而基于云計(jì)算，能夠通過分布式計(jì)算的方式，用于迭代求解，實(shí)現(xiàn)負(fù)載均衡，合理分配資源，進(jìn)而提高分配均衡度，得到精準(zhǔn)解。因此，應(yīng)將云計(jì)算應(yīng)用在大數(shù)據(jù)中心資源分配方法的優(yōu)化設(shè)計(jì)中。

2.2? ?提出大數(shù)據(jù)中心資源分配目標(biāo)函數(shù)

本文提出大數(shù)據(jù)中心資源分配目標(biāo)函數(shù)，作為構(gòu)建大數(shù)據(jù)中心資源分配方法的第一步[5]。考慮到在大數(shù)據(jù)中心中，每個(gè)節(jié)點(diǎn)執(zhí)行的大數(shù)據(jù)中心資源分配任務(wù)不同，有大有小，并不能做到均衡分配，有的網(wǎng)絡(luò)節(jié)點(diǎn)被分配的資源任務(wù)過多，就會導(dǎo)致節(jié)點(diǎn)耗能過大進(jìn)而分配任務(wù)失效或者節(jié)點(diǎn)功能失效。為有效防止此現(xiàn)象的發(fā)生，設(shè)分配節(jié)點(diǎn)延遲最小目標(biāo)函數(shù)為[minL]，可得公式（1）：

[minL=i=1MAi+TRij]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

公式（1）中，[M]是大數(shù)據(jù)中心資源集合;[i]是資源分配次數(shù);[T]是大數(shù)據(jù)中心資源分配時(shí)間;[R]是大數(shù)據(jù)中心資源接收端信噪比。通過公式（1），提出大數(shù)據(jù)中心資源分配目標(biāo)函數(shù)。

2.3? ?基于云計(jì)算標(biāo)定大數(shù)據(jù)中心資源分配參數(shù)

根據(jù)大數(shù)據(jù)中心資源分配目標(biāo)函數(shù)，由于云計(jì)算需要估計(jì)的參數(shù)很少，本文基于云計(jì)算的負(fù)載均衡假定對其進(jìn)行最大后驗(yàn)假設(shè)，使大數(shù)據(jù)中心資源屬性之間相互獨(dú)立。設(shè)大數(shù)據(jù)中心資源分配屬性最大后驗(yàn)假定可按[N]的方程式計(jì)算，則有公式（2）：

[N=p（ci）p（x）j=1np（xjci）minL]? （2）

公式（2）中，[p]是大數(shù)據(jù)中心服務(wù)器個(gè)數(shù)，為實(shí)數(shù);[ci]是大數(shù)據(jù)中心資源分配次數(shù)下的服務(wù)器最大資源容量;[x]是大數(shù)據(jù)中心資源分配具有最高后驗(yàn)概率的類;[n]是大數(shù)據(jù)中心資源分配過程中的資源浪費(fèi)量;[j]是大數(shù)據(jù)中心虛擬機(jī)個(gè)數(shù)，為實(shí)數(shù)。通過公式（2），以大數(shù)據(jù)中心資源分配屬性最大后驗(yàn)假定表示向量為關(guān)鍵參數(shù)，得到具有高區(qū)分度的表示向量，進(jìn)而使屬性之間相互獨(dú)立，且屬性之間的獨(dú)立性能夠被分類器所識別[6]。為提高大數(shù)據(jù)中心資源分配精度，設(shè)目標(biāo)函數(shù)為[D]，則有公式（3）：

[D=ηLn+A=vηlogvp（vn（v））]? ? ? ?（3）

在公式（3）中，[η]是大數(shù)據(jù)中心資源分配結(jié)構(gòu)特征的參數(shù);[A]是中間向量;[v]是輔助向量。基于具有高區(qū)分度的表示向量標(biāo)定資源分配參數(shù)，通過在表示向量目標(biāo)函數(shù)中融合分配均衡因素，在一定程度上提高了資源分配均衡度[7]。在資源分配過程中，必須滿足資源分配的規(guī)范化需求。通過不斷調(diào)整資源分配參數(shù)，一方面可以利用具有高區(qū)分度的表示向量分配大數(shù)據(jù)中心資源，使得表示向量包含資源分配結(jié)構(gòu)關(guān)系特征：另一方面表示向量又可以利用 樸素貝葉斯模型（Naive Bayesian Model）學(xué)習(xí)到資源分配的期望分配均衡度特征，從而得到標(biāo)定資源分配參數(shù)的最優(yōu)解。

2.4? ?大數(shù)據(jù)中心資源動態(tài)分配量適應(yīng)度排序

完成對資源分配參數(shù)標(biāo)定后，計(jì)算大數(shù)據(jù)中心資源動態(tài)分配量適應(yīng)度，通過對大數(shù)據(jù)中心資源動態(tài)分配量適應(yīng)度排序，實(shí)現(xiàn)對不同優(yōu)先級資源的動態(tài)分配[8]。利用云計(jì)算劃分大數(shù)據(jù)中心資源動態(tài)分配量適應(yīng)度等級，從而避免在大數(shù)據(jù)中心資源動態(tài)分配過程中的沖突和低優(yōu)先級隊(duì)列饑餓問題。設(shè)大數(shù)據(jù)中心資源動態(tài)分配量適應(yīng)度的計(jì)算表達(dá)式為[s]，則有公式（4）：

[s=Fi/i=1nFi]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （4）

通過公式（4），可以得出大數(shù)據(jù)中心資源動態(tài)分配量適應(yīng)度。以此為依據(jù)，基于云計(jì)算分配量適應(yīng)度高低排序機(jī)制，進(jìn)行大數(shù)據(jù)中心資源動態(tài)分配量適應(yīng)度排序。基于云計(jì)算的分配量適應(yīng)度高低排序機(jī)制如圖1所示。

結(jié)合圖1排序機(jī)制，基于云計(jì)算，以大數(shù)據(jù)中心資源動態(tài)分配量適應(yīng)度作為本次分配中的選擇算子，利用突變進(jìn)化的方式在保留大數(shù)據(jù)中心資源動態(tài)分配量多樣性的同時(shí)，通過大數(shù)據(jù)中心資源動態(tài)分配量適應(yīng)度排序，區(qū)分了大數(shù)據(jù)中心資源動態(tài)分配量之間的相似性。

2.5? ?完成基于云計(jì)算的大數(shù)據(jù)中心資源分配

通過大數(shù)據(jù)中心資源動態(tài)分配量適應(yīng)度排序，構(gòu)建完整的基于云計(jì)算的大數(shù)據(jù)中心資源分配方法，實(shí)現(xiàn)大數(shù)據(jù)中心資源均衡分配，如圖2所示。

基于云計(jì)算采用八元組的方式表示大數(shù)據(jù)中心資源分配的目標(biāo)函數(shù)，設(shè)目標(biāo)函數(shù)表達(dá)式為[ω]，可得公式（5）：

[ω=（Pmin，B，O，L，h，z，M，Pmax）]? ? ? ? ? ? ?（5）

公式（5）中，[O]是資源分配路徑;[h]是資源分配網(wǎng)絡(luò)的平均連通度;[z]是資源分配路徑上的通信資源量;[M]是大數(shù)據(jù)中心節(jié)點(diǎn)擁擠程度。在基于云計(jì)算的資源分配目標(biāo)函數(shù)的基礎(chǔ)上，通過比例公平算法，保證資源分配均衡性，設(shè)定[ω]的邊界函數(shù)。設(shè)[ω]的邊界函數(shù)的表達(dá)式為[?]，則有公式（6）：

[?=e1p1（t）+...+ekpk（t）=Θω]? ? ? （6）

公式（6）中，[e1]是資源分配發(fā)射功率;[p1]是每個(gè)大數(shù)據(jù)中心資源組合的平均速度;[t]是最大蜂窩信噪比;[k]是大數(shù)據(jù)中心資源節(jié)點(diǎn)個(gè)數(shù)，為實(shí)數(shù);[Θ]是大數(shù)據(jù)中心資源分配閾值。在設(shè)定[ω]邊界函數(shù)后，可得到完整的基于云計(jì)算的資源分配表達(dá)式，設(shè)其表達(dá)式為[ρi]，可得公式（7）：

[ρi=m.tmax（ω?）s.t1maxE（A）s.t2maxE（γ）s.t3P（w）>（1-θ1）θ2-r/?]? ?（7）

在公式（7）中，[E]是資源分配特征;[γ]是資源分配行為的解析參數(shù);[θ1]是資源分配達(dá)到高質(zhì)量的概率;[θ2]是資源分配低質(zhì)量的概率。通過公式（7），以[ρi]取值最大為最優(yōu)解，執(zhí)行資源分配。

3? ? ?實(shí)例分析

3.1? ?實(shí)驗(yàn)準(zhǔn)備

本文通過設(shè)計(jì)實(shí)例分析的方式，選取某大數(shù)據(jù)中心作為實(shí)驗(yàn)對象，隨機(jī)抽取大數(shù)據(jù)中心中2個(gè)真實(shí)數(shù)據(jù)集作為大數(shù)據(jù)中心資源，分別為：Tyhusge數(shù)據(jù)集以及Cfisnja數(shù)據(jù)集，使用Ecldevgsdefsw Luna-SR3作為資源分配代碼實(shí)現(xiàn)的開發(fā)IDE。為驗(yàn)證本文設(shè)計(jì)方法的優(yōu)越性與先進(jìn)性，實(shí)驗(yàn)對象選取某邊長為10km的圓形區(qū)域，并設(shè)置200個(gè)通信節(jié)點(diǎn)，首先使用本文基于云計(jì)算設(shè)計(jì)的分配方法，分配大數(shù)據(jù)中心資源，通過Kerterly軟件測得分配均衡度，記為實(shí)驗(yàn)組;而后使用傳統(tǒng)分配方法，分配大數(shù)據(jù)中心資源，同樣通過Kerterly軟件測得分配均衡度，記為對照組。實(shí)驗(yàn)內(nèi)容為測試兩種分配方法的分配均衡度，分配均衡度越高，證明該分配方法的分配合理性越高。設(shè)置分配次數(shù)為20次，以每2次作為一個(gè)記錄節(jié)點(diǎn)，記錄實(shí)驗(yàn)結(jié)果。

3.2? ?實(shí)驗(yàn)結(jié)果與分析

整理實(shí)驗(yàn)結(jié)果，如表1所示。通過表1可知，實(shí)驗(yàn)組分配均衡度最低值在實(shí)驗(yàn)第20次時(shí)為1.29，對照組分配均衡度最低值在實(shí)驗(yàn)第16次時(shí)為0.53，實(shí)驗(yàn)組比對照組高0.76;實(shí)驗(yàn)組分配均衡度最高值在實(shí)驗(yàn)第16次為1.58，對照組分配均衡度最高值在第4次為0.78，實(shí)驗(yàn)組比對照組高0.8。可明顯看出本文設(shè)計(jì)方法分配均衡度明顯高于對照組，能夠?qū)崿F(xiàn)大數(shù)據(jù)中心資源均衡分配，具有實(shí)際應(yīng)用價(jià)值。

4? ? ?結(jié)語

本文通過實(shí)例分析的方式，證明了設(shè)計(jì)分配方法在實(shí)際應(yīng)用中的適用性，并證明此次優(yōu)化設(shè)計(jì)能夠解決傳統(tǒng)資源分配中存在的缺陷。但本文同樣存在不足之處，主要表現(xiàn)為未對實(shí)例分析結(jié)果的精密度與準(zhǔn)確度進(jìn)行檢驗(yàn)，需進(jìn)一步提高測定結(jié)果的可信度。這一點(diǎn)，在未來針對此方面的研究中可以加以補(bǔ)足。與此同時(shí)，還需要對大數(shù)據(jù)中心的優(yōu)化設(shè)計(jì)進(jìn)行深入研究，以期為提高資源分配的質(zhì)量提供建議。

[參考文獻(xiàn)]

[1] 楊世康，王長清，白維維. 基于大數(shù)據(jù)的無線通信頻譜資源分批協(xié)作分配系統(tǒng)設(shè)計(jì)[J]. 現(xiàn)代電子技術(shù)， 2020（17）：28-32.

[2] Peicong L ， Xiaoying W . Research on the resource allocation algorithm based on forecasting in mobile cloud computing[J]. Journal of Intelligent & Fuzzy Systems，2018，35（2）：1315-1324.

[3] 王海濤， 李戰(zhàn)懷， 張曉，等. 基于歷史數(shù)據(jù)的虛擬機(jī)資源分配方法[J]. 計(jì)算機(jī)研究與發(fā)展， 2019， 56（4）：105-115.

[4] Belgacem A ， Beghdad-Bey K ， Nacer H . Dynamic resource allocation method based on Symbiotic Organism Search algorithm in cloud computing[J]. IEEE Transactions on Cloud Computing， 2020（99）：1.

[5] 王莉， 陳治伯. 底層網(wǎng)絡(luò)大數(shù)據(jù)信息資源并行分配優(yōu)化仿真[J]. 計(jì)算機(jī)仿真，2019，36（2）：267-270.

[6] B C V A， A A S， A E V， et al. SDN-based and multitenant-aware resource provisioning mechanism for cloud-

based big data streaming-ScienceDirect[J]. Journal of Network and Computer Applications， 2019（126）：133-149.

[7] 郭駿， 張勇， 王琪，等. 基于云計(jì)算的海量微服務(wù)資源調(diào)度系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 電子設(shè)計(jì)工程， 2019，27（11）：43-46.

[8] 林曉農(nóng). 基于人工智能技術(shù)的云計(jì)算資源分配研究[J]. 現(xiàn)代電子技術(shù)， 2020， 43 （21）：178-181+186.