云計(jì)算下大數(shù)據(jù)均衡調(diào)度方法研究

孫逸敏

摘要：隨著互聯(lián)網(wǎng)大數(shù)據(jù)的應(yīng)用，相關(guān)機(jī)構(gòu)提出云計(jì)算概念。而基于云計(jì)算的資源調(diào)度一直是此領(lǐng)域的主要研究方向之一。隨著社會(huì)網(wǎng)絡(luò)資源數(shù)據(jù)共享深入，基于云計(jì)算技術(shù)的大數(shù)據(jù)均衡調(diào)度成為領(lǐng)域難題，傳統(tǒng)調(diào)度方式多數(shù)根據(jù)數(shù)據(jù)完成時(shí)間和任務(wù)完成時(shí)間，做不到真正的大數(shù)據(jù)資源均衡調(diào)度。文章針對(duì)傳統(tǒng)調(diào)度方式弊病，提出TPO集成法，通過(guò)云技術(shù)建模、波動(dòng)算法、節(jié)點(diǎn)檢測(cè)等技術(shù)解決傳統(tǒng)問(wèn)題，并以實(shí)驗(yàn)的方式檢測(cè)效果。

關(guān)鍵詞：大數(shù)據(jù)；均衡；資源調(diào)度

中圖分類(lèi)號(hào)： F272 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)：1009-3044（2018）01-0011-02

近幾年，隨著互聯(lián)網(wǎng)網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大，網(wǎng)絡(luò)數(shù)據(jù)交互也更加廣泛。而網(wǎng)絡(luò)社交、搜索網(wǎng)站、商務(wù)代表一系列新型網(wǎng)絡(luò)應(yīng)用的開(kāi)發(fā)，大量互聯(lián)網(wǎng)數(shù)據(jù)整合和數(shù)據(jù)匯聚現(xiàn)象，使數(shù)據(jù)處理應(yīng)用量和需求量呈井噴式爆發(fā)，互聯(lián)網(wǎng)所要分析或處理的業(yè)務(wù)量也日益繁重。例如國(guó)外社交軟件Face book的中央處理系統(tǒng)平均每天要接收30億條以上訊息和將近1000T網(wǎng)絡(luò)數(shù)據(jù)；而我國(guó)阿里巴巴旗下淘寶網(wǎng)，每天要處理超過(guò)900T數(shù)據(jù)。大量數(shù)據(jù)的產(chǎn)生和應(yīng)用極速加快了“大數(shù)據(jù)時(shí)代”的到來(lái)。針對(duì)于海量數(shù)據(jù)服務(wù)，如何將這些數(shù)據(jù)進(jìn)行有效均衡調(diào)配，為網(wǎng)絡(luò)用戶(hù)提供方便快捷的網(wǎng)絡(luò)搜索服務(wù)，成為互聯(lián)網(wǎng)當(dāng)前所面臨的重要問(wèn)題。在這種情況下，一種以分布式計(jì)算為核心的新型計(jì)算技術(shù)誕生，這就是云計(jì)算技術(shù)。

隨著網(wǎng)絡(luò)信息技術(shù)的普及，“云計(jì)算”已經(jīng)漸漸得到社會(huì)各界的廣泛關(guān)注。在傳統(tǒng)信息處理模式下，一些公共機(jī)構(gòu)信息數(shù)據(jù)在外在壓力下需要空間增長(zhǎng)時(shí)，往往只能采取硬件設(shè)施的再建設(shè)，勢(shì)必花費(fèi)大量成本。而云計(jì)算技術(shù)的出現(xiàn)則避免了這一成本。云計(jì)算技術(shù)其本質(zhì)可以說(shuō)是一種商業(yè)模型，這類(lèi)模型可以利用節(jié)點(diǎn)有效地整理分析數(shù)據(jù)。所有數(shù)據(jù)軟件都被綁定在一個(gè)共同的大服務(wù)器上，個(gè)人或企業(yè)用戶(hù)需要數(shù)據(jù)訪問(wèn)時(shí)，需要先拿到訪問(wèn)權(quán)限，才能得到服務(wù)，也就是說(shuō)，用戶(hù)需要向服務(wù)器租賃數(shù)據(jù)，等同于數(shù)據(jù)分布等式計(jì)算。它利用網(wǎng)絡(luò)計(jì)算機(jī)，將大量數(shù)據(jù)進(jìn)行資源組織，對(duì)于大數(shù)據(jù)均衡調(diào)度方面有極大技術(shù)支持。

1 云技術(shù)下數(shù)據(jù)均衡調(diào)配的TPO集成法

大數(shù)據(jù)環(huán)境下，傳統(tǒng)數(shù)據(jù)調(diào)度方式主要存在：信息浪費(fèi)量大，互通開(kāi)放性低，數(shù)據(jù)聯(lián)絡(luò)不密，資源調(diào)配難以均衡等種種問(wèn)題。針對(duì)于以上問(wèn)題，提出了一種基于云計(jì)算技術(shù)的下的TPO集成法。里面包含三種核心技術(shù)以及一套核心代碼，通過(guò)中央處理器信號(hào)回流算法，云計(jì)算合點(diǎn)技術(shù)，進(jìn)行大規(guī)模，高速率的信號(hào)分析檢測(cè)，使數(shù)據(jù)流傳輸更準(zhǔn)確通暢。通過(guò)云計(jì)算技術(shù)和CPU節(jié)點(diǎn)動(dòng)態(tài)管理技術(shù)，可以將處理器網(wǎng)絡(luò)數(shù)據(jù)調(diào)度交互過(guò)程中各節(jié)點(diǎn)數(shù)據(jù)波段進(jìn)行廣域化處理。

1.1 云計(jì)算環(huán)境建模

云計(jì)算技術(shù)通俗來(lái)說(shuō)就是一種建立數(shù)據(jù)交互，網(wǎng)絡(luò)互通環(huán)境的多數(shù)據(jù)中心技術(shù)。研究云計(jì)算環(huán)境下數(shù)據(jù)均衡調(diào)配，必須著重考慮云計(jì)算中的數(shù)據(jù)資源存儲(chǔ)技術(shù)和數(shù)據(jù)網(wǎng)絡(luò)帶寬等[1]。“云計(jì)算”環(huán)境表示為N個(gè)不同位置，不同節(jié)點(diǎn)，不同時(shí)間的數(shù)據(jù)集合這些網(wǎng)絡(luò)數(shù)據(jù)通過(guò)不同的區(qū)域網(wǎng)絡(luò)連接，而這些網(wǎng)絡(luò)數(shù)據(jù)的傳輸時(shí)間，帶寬是不同的。其中編號(hào)n是數(shù)據(jù)中心，真實(shí)的數(shù)據(jù)流網(wǎng)絡(luò)構(gòu)架可以比喻成邏輯上的數(shù)據(jù)拓結(jié)構(gòu)，EC中個(gè)數(shù)據(jù)流矩陣表示如下：

對(duì)于所有P、N當(dāng)且僅當(dāng)P≠N時(shí)表示的是各個(gè)數(shù)據(jù)間網(wǎng)絡(luò)傳播值是相同的且波動(dòng)不大。

將云計(jì)算技術(shù)下，所有單獨(dú)波動(dòng)數(shù)據(jù)定義為二元組，， 其中SC表示數(shù)據(jù)中心ec的可控存儲(chǔ)空間總量。表示在數(shù)據(jù)任務(wù)開(kāi)始前，數(shù)據(jù)中心可以使用的數(shù)據(jù)比值，表示數(shù)據(jù)任務(wù)開(kāi)始以后，數(shù)據(jù)中心可以使用的數(shù)據(jù)比值。這兩個(gè)參數(shù)為了保證模型可以正常進(jìn)行，結(jié)果為。

1.2 中央處理器數(shù)據(jù)傳輸波動(dòng)算法

如今，各大型企業(yè)公共機(jī)構(gòu)，都會(huì)利用互聯(lián)網(wǎng)數(shù)據(jù)分析技術(shù)，對(duì)公司企業(yè)內(nèi)部交互信息進(jìn)行收集、分析、存儲(chǔ)、發(fā)布、等一系列數(shù)據(jù)操作。經(jīng)過(guò)嘗試應(yīng)用，傳統(tǒng)的數(shù)據(jù)調(diào)配方式在大量數(shù)據(jù)集中調(diào)配方式過(guò)程中，很容易出現(xiàn)，數(shù)據(jù)響應(yīng)度低、數(shù)據(jù)響應(yīng)速率緩慢、數(shù)據(jù)響應(yīng)斷裂等各種情況發(fā)生。針對(duì)于上述問(wèn)題，有關(guān)部門(mén)進(jìn)行分析探討后發(fā)現(xiàn)，其主要原因就是傳統(tǒng)的數(shù)據(jù)調(diào)配方式關(guān)鍵數(shù)據(jù)要素引入面過(guò)于簡(jiǎn)單狹小，導(dǎo)致在數(shù)據(jù)量過(guò)多或短時(shí)間激增的情況下，常規(guī)邏輯運(yùn)算要素嚴(yán)重不足。算法邏輯沒(méi)有辦法支持如此巨大的運(yùn)算量，從而出現(xiàn)反應(yīng)速率慢，數(shù)據(jù)響應(yīng)斷裂的情況。

針對(duì)于上述方式，TPO集成法中的中央處理器傳輸波動(dòng)算法，對(duì)網(wǎng)絡(luò)數(shù)據(jù)關(guān)鍵要素引入面無(wú)限擴(kuò)展延伸，對(duì)于引入數(shù)據(jù)傳輸路徑，進(jìn)行了優(yōu)化升級(jí)，拓寬了數(shù)據(jù)載入頻道，在數(shù)據(jù)庫(kù)底層內(nèi)部進(jìn)行分析整理后再進(jìn)入中央處理器內(nèi)部。信號(hào)強(qiáng)度測(cè)量通過(guò)檢測(cè)網(wǎng)絡(luò)數(shù)據(jù)處理占用的中央處理器內(nèi)存量百分比和內(nèi)部資源量，智能動(dòng)態(tài)調(diào)整運(yùn)算邏輯所需要的要素錄入頻道，從而緩解中央處理器的壓力，保證邏輯運(yùn)算的暢通性，從而保證資源均衡調(diào)配，不會(huì)出現(xiàn)數(shù)據(jù)響應(yīng)緩慢等情況。通過(guò)傳輸波動(dòng)算法的應(yīng)用，傳統(tǒng)方式中存在的調(diào)度運(yùn)算邏輯面引入不足的情況徹底改善。對(duì)于數(shù)據(jù)傳輸?shù)膬?yōu)化升級(jí)可以保證中央處理器合理運(yùn)算，達(dá)到資源分析最全面，從而保證大數(shù)據(jù)均衡調(diào)度實(shí)現(xiàn)。

1.3 處理器節(jié)點(diǎn)動(dòng)態(tài)檢測(cè)技術(shù)

為了保證TPO集成法中的中央處理器數(shù)據(jù)傳輸波動(dòng)算法的穩(wěn)定性和傳輸準(zhǔn)確性，對(duì)于網(wǎng)絡(luò)數(shù)據(jù)中數(shù)據(jù)節(jié)點(diǎn)進(jìn)行大規(guī)模優(yōu)化升級(jí)，數(shù)據(jù)分流渠道智能化處理，以保證中央處理器的強(qiáng)度波動(dòng)算法執(zhí)行穩(wěn)定。設(shè)計(jì)中采用處理器數(shù)據(jù)節(jié)點(diǎn)動(dòng)態(tài)網(wǎng)絡(luò)數(shù)據(jù)檢測(cè)技術(shù)，對(duì)龐大的數(shù)據(jù)內(nèi)部節(jié)點(diǎn)內(nèi)部綁定，根據(jù)網(wǎng)絡(luò)回饋信息流指數(shù)，進(jìn)行規(guī)律劃分、數(shù)據(jù)判定、資源調(diào)配。對(duì)數(shù)據(jù)中存在的不規(guī)則即完整性低，生成時(shí)間晚的數(shù)據(jù)進(jìn)行抗波處理，達(dá)到數(shù)據(jù)優(yōu)化的目的。具體工作原理參照?qǐng)D1。

處理器節(jié)點(diǎn)動(dòng)態(tài)檢測(cè)技術(shù)采用大數(shù)據(jù)智能化Flan算法，有數(shù)據(jù)內(nèi)部監(jiān)控內(nèi)部節(jié)點(diǎn)狀態(tài)，優(yōu)化整體網(wǎng)絡(luò)數(shù)據(jù)平滑程度，提高互聯(lián)網(wǎng)數(shù)據(jù)信號(hào)反應(yīng)速率。解決了傳統(tǒng)數(shù)據(jù)調(diào)度方法在網(wǎng)絡(luò)數(shù)據(jù)調(diào)度中出現(xiàn)的均衡性查、反應(yīng)慢、數(shù)據(jù)流斷裂、系統(tǒng)分配難等問(wèn)題[2-3]。endprint

為了保證處理器節(jié)點(diǎn)動(dòng)態(tài)檢測(cè)技術(shù)中對(duì)大數(shù)據(jù)的智能化Flan算法能夠穩(wěn)定，精確、快速地檢測(cè)大數(shù)據(jù)內(nèi)部的數(shù)據(jù)調(diào)度過(guò)程中的內(nèi)部各節(jié)點(diǎn)的使用率，設(shè)計(jì)將大數(shù)據(jù)動(dòng)態(tài)Flan算法植入處理器內(nèi)部底層，網(wǎng)絡(luò)數(shù)據(jù)下的Flan算法下的網(wǎng)絡(luò)執(zhí)行代碼可以保證Flan算法可以獲取數(shù)據(jù)庫(kù)底層運(yùn)行計(jì)算權(quán)限，并且自動(dòng)生成加密系統(tǒng)，對(duì)文件加密。防止外部網(wǎng)絡(luò)入侵、木馬病毒等竊取網(wǎng)絡(luò)數(shù)據(jù)。網(wǎng)絡(luò)大數(shù)據(jù)內(nèi)部動(dòng)態(tài)Flan算法通過(guò)內(nèi)部執(zhí)行代碼可以自動(dòng)激活運(yùn)行程序，對(duì)網(wǎng)絡(luò)數(shù)據(jù)庫(kù)或者網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行系統(tǒng)檢索、信息分析、獲得初步優(yōu)化措施。配合上層的中央處理器數(shù)據(jù)傳輸波動(dòng)算法，對(duì)分析角度過(guò)程的數(shù)據(jù)進(jìn)行全面優(yōu)化，剔除干擾性數(shù)據(jù)，提升數(shù)據(jù)調(diào)度針對(duì)性，從而提高信息純度，達(dá)到數(shù)據(jù)流完整，數(shù)據(jù)資源調(diào)配均衡的目的，徹底數(shù)據(jù)調(diào)配不均狀況。大數(shù)據(jù)Flan算法具有互聯(lián)網(wǎng)大數(shù)據(jù)資源交互、信息分析、數(shù)據(jù)整合等功能可以實(shí)時(shí)保證調(diào)度方案最完善[4]。

1.4 核心集成代碼

上訴三套核心技術(shù)即TPO集成法的核心技術(shù)支持，整體設(shè)計(jì)方法也進(jìn)入尾聲。經(jīng)過(guò)大量實(shí)際檢測(cè)應(yīng)用測(cè)試，TPO集成法雖然可以有效解決傳統(tǒng)網(wǎng)絡(luò)大數(shù)據(jù)交互時(shí)存在的資源調(diào)配不均，效率低下等問(wèn)題，但是由于大數(shù)據(jù)環(huán)境背景下，各網(wǎng)絡(luò)端口和網(wǎng)絡(luò)應(yīng)用日常生成的網(wǎng)絡(luò)數(shù)據(jù)過(guò)于龐大，導(dǎo)致TPO集成法所需要加載的時(shí)間過(guò)長(zhǎng)，處理器占用率過(guò)高，導(dǎo)致實(shí)際使用耗時(shí)過(guò)長(zhǎng)[5]。

為此，TPO集成法又新編入了一套核心集成快速執(zhí)行優(yōu)化代碼，可以通過(guò)這套快速執(zhí)行代碼解決數(shù)據(jù)流調(diào)度緩慢不均衡、加載權(quán)限難、加載通互性差等缺陷。核心代碼如下：

main（）

{

long int i；

int bonus1，bonu100000s2，bonus4，bonus6，bonus10，bonus；

scanf（"%ld"，&i）；

bonus1=100000*0.1；bonus2=bonus1+100000*0.75；

bonus4-bonus2+200000*0.5；

bonus6pbonus4+200000*0.3；

bonus10=bonus6+400000*0.15；

if（i<=100000）

bonus=i*0.1；

else if（i<=20000）

bonus=bonus1+（i-879578*0.075；

else if（i<=400000）

bonus=bonus2+（i-20485250）*0.05；

else if（i<=600000）

代碼的設(shè)計(jì)將上述三種核心技術(shù)算法通過(guò)網(wǎng)絡(luò)數(shù)據(jù)邏輯交互常帶性語(yǔ)法，進(jìn)行關(guān)聯(lián)同時(shí)加載最高執(zhí)行權(quán)限將上述三項(xiàng)技術(shù)進(jìn)行一體化，從而有效解決加載慢、處理器占用率高耗時(shí)長(zhǎng)等問(wèn)題。代碼采用GSII壓縮技術(shù)，進(jìn)行編寫(xiě)，減小代碼體積、減小資源運(yùn)用成本。

2 TPO實(shí)際效果試驗(yàn)檢測(cè)

針對(duì)于大數(shù)據(jù)均衡調(diào)度，進(jìn)行TPO集成法的仿真測(cè)試。在設(shè)定的實(shí)驗(yàn)環(huán)境中和對(duì)傳統(tǒng)調(diào)配方式和TPO集成法進(jìn)行調(diào)度對(duì)比測(cè)試，并對(duì)結(jié)果進(jìn)行分析歸納如表1：

通過(guò)上述實(shí)驗(yàn)可以確定運(yùn)用PTO集成法對(duì)數(shù)據(jù)進(jìn)行調(diào)度：數(shù)據(jù)反應(yīng)更快、傳輸更完善。由于運(yùn)用的云技術(shù)模型，使數(shù)據(jù)來(lái)源和應(yīng)用更廣泛，資源開(kāi)銷(xiāo)更低。

3 結(jié)束語(yǔ)

云計(jì)算的應(yīng)用，讓網(wǎng)絡(luò)數(shù)據(jù)資源調(diào)配變得更迫切。經(jīng)過(guò)對(duì)傳統(tǒng)數(shù)據(jù)調(diào)配方式的分析論證，以云計(jì)算模型、中央處理器數(shù)據(jù)傳輸波動(dòng)算法、處理器動(dòng)態(tài)節(jié)點(diǎn)動(dòng)態(tài)檢測(cè)技術(shù)、為核心的TPO集成計(jì)算法通過(guò)實(shí)驗(yàn)驗(yàn)證了各方面都要優(yōu)于傳統(tǒng)數(shù)據(jù)調(diào)配技術(shù)。滿(mǎn)足設(shè)計(jì)要求，為大數(shù)據(jù)資源調(diào)配提供新的思路。

參考文獻(xiàn)：

[1] 劉迷.云計(jì)算下虛擬信息資源大數(shù)據(jù)特征集成調(diào)度[J].科技通報(bào)，2015，31（10）：199-201.

[2] 張晉芳.一種云計(jì)算環(huán)境下大數(shù)據(jù)動(dòng)態(tài)遷移策略[D].昆明理工大學(xué)，2016，17（81）：13-12.

[3] 張明，王瑋，施建華等.電力大數(shù)據(jù)調(diào)度云的優(yōu)化[J].計(jì)算機(jī)仿真，2016，51（11）：13-6.

[4] 辛海奎.基于群智能優(yōu)化算法的云計(jì)算任務(wù)調(diào)度策略研究[D].陜西師范大學(xué)，2015，31（17）：113-18.

[5] 王德龍.Hadoop平臺(tái)下作業(yè)調(diào)度算法的研究與改進(jìn)[D].南京信息工程大學(xué)，2015，1（51）：123-1.endprint