云計算下大數據均衡調度方法研究

孫逸敏

摘要：隨著互聯網大數據的應用，相關機構提出云計算概念。而基于云計算的資源調度一直是此領域的主要研究方向之一。隨著社會網絡資源數據共享深入，基于云計算技術的大數據均衡調度成為領域難題，傳統調度方式多數根據數據完成時間和任務完成時間，做不到真正的大數據資源均衡調度。文章針對傳統調度方式弊病，提出TPO集成法，通過云技術建模、波動算法、節點檢測等技術解決傳統問題，并以實驗的方式檢測效果。

關鍵詞：大數據；均衡；資源調度

中圖分類號： F272 文獻標識碼： A 文章編號：1009-3044（2018）01-0011-02

近幾年，隨著互聯網網絡規模不斷擴大，網絡數據交互也更加廣泛。而網絡社交、搜索網站、商務代表一系列新型網絡應用的開發，大量互聯網數據整合和數據匯聚現象，使數據處理應用量和需求量呈井噴式爆發，互聯網所要分析或處理的業務量也日益繁重。例如國外社交軟件Face book的中央處理系統平均每天要接收30億條以上訊息和將近1000T網絡數據；而我國阿里巴巴旗下淘寶網，每天要處理超過900T數據。大量數據的產生和應用極速加快了“大數據時代”的到來。針對于海量數據服務，如何將這些數據進行有效均衡調配，為網絡用戶提供方便快捷的網絡搜索服務，成為互聯網當前所面臨的重要問題。在這種情況下，一種以分布式計算為核心的新型計算技術誕生，這就是云計算技術。

隨著網絡信息技術的普及，“云計算”已經漸漸得到社會各界的廣泛關注。在傳統信息處理模式下，一些公共機構信息數據在外在壓力下需要空間增長時，往往只能采取硬件設施的再建設，勢必花費大量成本。而云計算技術的出現則避免了這一成本。云計算技術其本質可以說是一種商業模型，這類模型可以利用節點有效地整理分析數據。所有數據軟件都被綁定在一個共同的大服務器上，個人或企業用戶需要數據訪問時，需要先拿到訪問權限，才能得到服務，也就是說，用戶需要向服務器租賃數據，等同于數據分布等式計算。它利用網絡計算機，將大量數據進行資源組織，對于大數據均衡調度方面有極大技術支持。

1 云技術下數據均衡調配的TPO集成法

大數據環境下，傳統數據調度方式主要存在：信息浪費量大，互通開放性低，數據聯絡不密，資源調配難以均衡等種種問題。針對于以上問題，提出了一種基于云計算技術的下的TPO集成法。里面包含三種核心技術以及一套核心代碼，通過中央處理器信號回流算法，云計算合點技術，進行大規模，高速率的信號分析檢測，使數據流傳輸更準確通暢。通過云計算技術和CPU節點動態管理技術，可以將處理器網絡數據調度交互過程中各節點數據波段進行廣域化處理。

1.1 云計算環境建模

云計算技術通俗來說就是一種建立數據交互，網絡互通環境的多數據中心技術。研究云計算環境下數據均衡調配，必須著重考慮云計算中的數據資源存儲技術和數據網絡帶寬等[1]。“云計算”環境表示為N個不同位置，不同節點，不同時間的數據集合這些網絡數據通過不同的區域網絡連接，而這些網絡數據的傳輸時間，帶寬是不同的。其中編號n是數據中心，真實的數據流網絡構架可以比喻成邏輯上的數據拓結構，EC中個數據流矩陣表示如下：

對于所有P、N當且僅當P≠N時表示的是各個數據間網絡傳播值是相同的且波動不大。

將云計算技術下，所有單獨波動數據定義為二元組，， 其中SC表示數據中心ec的可控存儲空間總量。表示在數據任務開始前，數據中心可以使用的數據比值，表示數據任務開始以后，數據中心可以使用的數據比值。這兩個參數為了保證模型可以正常進行，結果為。

1.2 中央處理器數據傳輸波動算法

如今，各大型企業公共機構，都會利用互聯網數據分析技術，對公司企業內部交互信息進行收集、分析、存儲、發布、等一系列數據操作。經過嘗試應用，傳統的數據調配方式在大量數據集中調配方式過程中，很容易出現，數據響應度低、數據響應速率緩慢、數據響應斷裂等各種情況發生。針對于上述問題，有關部門進行分析探討后發現，其主要原因就是傳統的數據調配方式關鍵數據要素引入面過于簡單狹小，導致在數據量過多或短時間激增的情況下，常規邏輯運算要素嚴重不足。算法邏輯沒有辦法支持如此巨大的運算量，從而出現反應速率慢，數據響應斷裂的情況。

針對于上述方式，TPO集成法中的中央處理器傳輸波動算法，對網絡數據關鍵要素引入面無限擴展延伸，對于引入數據傳輸路徑，進行了優化升級，拓寬了數據載入頻道，在數據庫底層內部進行分析整理后再進入中央處理器內部。信號強度測量通過檢測網絡數據處理占用的中央處理器內存量百分比和內部資源量，智能動態調整運算邏輯所需要的要素錄入頻道，從而緩解中央處理器的壓力，保證邏輯運算的暢通性，從而保證資源均衡調配，不會出現數據響應緩慢等情況。通過傳輸波動算法的應用，傳統方式中存在的調度運算邏輯面引入不足的情況徹底改善。對于數據傳輸的優化升級可以保證中央處理器合理運算，達到資源分析最全面，從而保證大數據均衡調度實現。

1.3 處理器節點動態檢測技術

為了保證TPO集成法中的中央處理器數據傳輸波動算法的穩定性和傳輸準確性，對于網絡數據中數據節點進行大規模優化升級，數據分流渠道智能化處理，以保證中央處理器的強度波動算法執行穩定。設計中采用處理器數據節點動態網絡數據檢測技術，對龐大的數據內部節點內部綁定，根據網絡回饋信息流指數，進行規律劃分、數據判定、資源調配。對數據中存在的不規則即完整性低，生成時間晚的數據進行抗波處理，達到數據優化的目的。具體工作原理參照圖1。

處理器節點動態檢測技術采用大數據智能化Flan算法，有數據內部監控內部節點狀態，優化整體網絡數據平滑程度，提高互聯網數據信號反應速率。解決了傳統數據調度方法在網絡數據調度中出現的均衡性查、反應慢、數據流斷裂、系統分配難等問題[2-3]。endprint

為了保證處理器節點動態檢測技術中對大數據的智能化Flan算法能夠穩定，精確、快速地檢測大數據內部的數據調度過程中的內部各節點的使用率，設計將大數據動態Flan算法植入處理器內部底層，網絡數據下的Flan算法下的網絡執行代碼可以保證Flan算法可以獲取數據庫底層運行計算權限，并且自動生成加密系統，對文件加密。防止外部網絡入侵、木馬病毒等竊取網絡數據。網絡大數據內部動態Flan算法通過內部執行代碼可以自動激活運行程序，對網絡數據庫或者網絡大數據進行系統檢索、信息分析、獲得初步優化措施。配合上層的中央處理器數據傳輸波動算法，對分析角度過程的數據進行全面優化，剔除干擾性數據，提升數據調度針對性，從而提高信息純度，達到數據流完整，數據資源調配均衡的目的，徹底數據調配不均狀況。大數據Flan算法具有互聯網大數據資源交互、信息分析、數據整合等功能可以實時保證調度方案最完善[4]。

1.4 核心集成代碼

上訴三套核心技術即TPO集成法的核心技術支持，整體設計方法也進入尾聲。經過大量實際檢測應用測試，TPO集成法雖然可以有效解決傳統網絡大數據交互時存在的資源調配不均，效率低下等問題，但是由于大數據環境背景下，各網絡端口和網絡應用日常生成的網絡數據過于龐大，導致TPO集成法所需要加載的時間過長，處理器占用率過高，導致實際使用耗時過長[5]。

為此，TPO集成法又新編入了一套核心集成快速執行優化代碼，可以通過這套快速執行代碼解決數據流調度緩慢不均衡、加載權限難、加載通互性差等缺陷。核心代碼如下：

main（）

{

long int i；

int bonus1，bonu100000s2，bonus4，bonus6，bonus10，bonus；

scanf（"%ld"，&i）；

bonus1=100000*0.1；bonus2=bonus1+100000*0.75；

bonus4-bonus2+200000*0.5；

bonus6pbonus4+200000*0.3；

bonus10=bonus6+400000*0.15；

if（i<=100000）

bonus=i*0.1；

else if（i<=20000）

bonus=bonus1+（i-879578*0.075；

else if（i<=400000）

bonus=bonus2+（i-20485250）*0.05；

else if（i<=600000）

代碼的設計將上述三種核心技術算法通過網絡數據邏輯交互常帶性語法，進行關聯同時加載最高執行權限將上述三項技術進行一體化，從而有效解決加載慢、處理器占用率高耗時長等問題。代碼采用GSII壓縮技術，進行編寫，減小代碼體積、減小資源運用成本。

2 TPO實際效果試驗檢測

針對于大數據均衡調度，進行TPO集成法的仿真測試。在設定的實驗環境中和對傳統調配方式和TPO集成法進行調度對比測試，并對結果進行分析歸納如表1：

通過上述實驗可以確定運用PTO集成法對數據進行調度：數據反應更快、傳輸更完善。由于運用的云技術模型，使數據來源和應用更廣泛，資源開銷更低。

3 結束語

云計算的應用，讓網絡數據資源調配變得更迫切。經過對傳統數據調配方式的分析論證，以云計算模型、中央處理器數據傳輸波動算法、處理器動態節點動態檢測技術、為核心的TPO集成計算法通過實驗驗證了各方面都要優于傳統數據調配技術。滿足設計要求，為大數據資源調配提供新的思路。

參考文獻：

[1] 劉迷.云計算下虛擬信息資源大數據特征集成調度[J].科技通報，2015，31（10）：199-201.

[2] 張晉芳.一種云計算環境下大數據動態遷移策略[D].昆明理工大學，2016，17（81）：13-12.

[3] 張明，王瑋，施建華等.電力大數據調度云的優化[J].計算機仿真，2016，51（11）：13-6.

[4] 辛海奎.基于群智能優化算法的云計算任務調度策略研究[D].陜西師范大學，2015，31（17）：113-18.

[5] 王德龍.Hadoop平臺下作業調度算法的研究與改進[D].南京信息工程大學，2015，1（51）：123-1.endprint