網絡大數據的分層調度技術研究

楊軍

摘 要： 網絡環境下的大數據已經成為數據傳輸的主要信息載體，大數據使用方式的多樣化需要對網絡大數據進行多維度的調度調用。傳統網絡大數據的調度技術能夠簡單地對網絡大數據進行調度，但在目前高維度網絡環境下很難進行分層次分維度的調用。針對上述問題，提出網絡大數據的分層調度技術。在網絡環境下設置多維度分層調度結構，通過網絡多維度分層實現高精度的大數據調用。通過實驗分析結果可以看出，提出的網絡大數據的分層調度技術能夠在網絡環境下對大數據進行高精度的分層調度。

關鍵詞： 網絡環境； 大數據調用； 多維度調用； 分層調度； 調度結構； 數據傳輸

中圖分類號： TN711?34； TN273 文獻標識碼： A 文章編號： 1004?373X（2018）04?0172?04

Abstract： Big data in the network environment has become a main information carrier of data transmission， and the diversification of big data usage modes requires multi?dimensional scheduling call to network big data. The traditional network big data scheduling technology can schedule network big data simply， but it is difficult to make the hierarchical and multi?dimensional call in the current high dimensional network environment. Aiming at the above problems， a hierarchical scheduling technology for network big data is proposed. The multi?dimensional hierarchical scheduling structure is set up in the network environment， and the high?precision big data call can be realized by multi?dimensional stratification of network. The experimental analysis results show that the proposed hierarchical scheduling technology for network big data can carry out high?precision hierarchical big data scheduling in the network environment.

Keywords： network environment； big data call； multi?dimension call； scheduling structure； hierarchical scheduling； data transmission

0 引 言

在網絡大數據的使用過程中，由于網絡維度的變化以及應用方式不同造成一定大數據傳遞堵塞。常規解決方式一般采用數據調度進行大數據的分化，而傳統的網絡大數據調用技術通過多種形式進行同屬歸類實現大數據調度[1]。傳統網絡大數據的調度無法實現多維的調用，同時調用過程中無法實現分層調度，這樣造成大數據滯留以及調度緩慢。針對上述問題，本文提出一種網絡大數據的分層調度技術，為了保證該設計方法的有效性，設計了對比仿真試驗，結果表明，本文設計的網絡大數據分層調度技術能夠更加精準地進行大數據分層調度。

1 網絡大數據的執行分層

在網絡大數據環境下，本文引用分層數據技術進行網絡大數據的分化。本文設計的網絡大數據的分層調度技術在執行調度過程中主要通過對網絡大數據應用執行方式以及傳輸方式進行分化[2]。但網絡大數據執行過程的傳遞過程中存在不同的應用方式，多種應用方式會造成大數據的調度變化，增加調度過程的難度。為了實現分層，首先進行網絡大數據的穩定分層，穩定分層后分別對不同層次維度的大數據執行精確調用[3]。層次上大數據調度需結合調度篩選屬性，綜合層次結構的調用方向。網絡大數據一旦分層完畢，調度馬上進行，改變了傳統的先認定再調用的過程，使更多時候存在分層后再分層局面。本文使用的數據分層執行概念，每一次分層后都會默認成為新維度，這樣可以完成多次的執行分層。假設給出一個多層次網絡大數據調度任務。設[T1]，[T2]分別代表兩個不同層次、不同維度、不同方向的大數據傳輸層，有：

通常情況下，在一個分層調度系統中，層次數的選擇以及個數都是可以選取任意值的；但劃分的層次數目過多，系統的數據結構會變得十分復雜，調度效率也會隨之降低；但是層次分屬過少又不能滿足現階段網絡多維度的劃分[5]。本文設計的網絡大數據的分層調度技術對分屬層次上進行了攜帶式分層。這樣既能夠滿足多維度的需求，也能夠執行單維度的執行需求，同時在攜帶量上通過大數據壓縮的形式進行分化執行[6]。本文設計的網絡大數據的分層調度技術分層結構圖如圖1所示。

本文設計網絡大數據的分層調度技術把來自相同數據源的網絡大數據進行首度層次。起始分層被稱為第原始層，依次類推分別是分化層、次分化層[7]。圖1演示了雙分化層的分層過程。在調度中假設A，B分別代表不同屬性不同執行命令的網絡大數據，分別到達[P1]和[P2]線路上執行命令，很容易看出[T1]和[T2]原始層上的維度變化，可確認此調度的正確性。endprint

2 實現網絡大數據分層傳遞調度

本文設計的網絡大數據的分層調度技術通過傳統的層次調度模型來對所在層次上的網絡大數據進行調度，只有在跨層分布狀態下才使用分層命令[8]。調度事務過程分為語義瀏覽、邏輯調度和物理執行，即在傳統調度事務模型基礎上增加了一個執行限令。

語義瀏覽調度過程：調度過程的目的是完成語義執行的高級操作，如果分層階段超過限令需要進行標準修訂，如果沒有超過分層階段的限令，那么直接進行執行調度。調度的過程中會保留一定的傳輸口令[9]。

邏輯調度：網絡環境下的大數據有序是帶有目的性的邏輯執行以及邏輯運算，其調度大數據目的為到達指定區域執行。

為此在分層過程中，到達指定維度的上一維度時，已經對大數據解壓完畢，這樣更方便大數據調用過程，也方便執行的準確性[10]。

物理執行：此類比較少見，由于執行的是物理意義通過單渠道的對接可以實現。

在每一個分化層之間的大數據層面內的調度是通過篩選的方式執行的，層次內部調用過程也和整體調度分層一樣，通過細化分層進行調度。假設大數據[A]放在某一分化層[P1]中，大數據[B]放在某分化層[P2]中。

設置調度層上操作分別為[a]和[b]，執行邏輯層上響應度[a1，a2，…，an]和[b1，b2，…，bn]完成調度[a]操作序列[a1…bn。]按此順序移動到大數據執行位置，完成大數據在網絡環境下的調用過程。

3 仿真實驗

3.1 參數設定

為了保證本文設計的網絡大數據分層調度技術的設計有效性，對試驗參數進行設定，引入輪詢特征參數對試驗經過來衡量，對試驗基礎參數需進行設定，實驗過程參數如表1所示。為了保證本文設計的實驗的有效性以及完整性，對實驗過程參數進行隨機選取，這樣可以更加完整地對實驗過程進行考量，實驗過程參數如表2所示。

3.2 結果對比分析

實驗結果如表3所示，本文設計的網絡大數據分層調度技術在調度路徑的CWND系數上明顯優越于傳統調度方法；同時在TSN指數中的空閑值較少，沒有超過限定的趨勢，數值在小區內波動比較穩定，故本文設計網絡大數據分層調度技術在層次調度上明顯優于傳統方法。

通過圖2與圖3對比發現，本文設計的網絡大數據的分層調度技術能夠保證較高頻率的調用狀態，網絡環境下的數據跳頻以及網絡跳頻產生低頻狀態下的數據容易增加調用時長，能夠在網絡環境下保持更加高效的狀態。

4 結 語

本文提出一種網絡大數據的分層調度技術，引入分層數據理念，執行分層調度后分別對不同的路線以及不同應用方式進行調用執行。通過大數據執行方式推導其調用最佳的分化過程，最終實現網絡大數據的分層調度技術。實驗結果表明，設計的網絡大數據分層調度技術能夠在網絡環境下進行高效的大數據分層調用，同時在應用環境上具備一定的抗性。

參考文獻

[1] 伊鵬，劉洪，胡宇翔.一種可擴展的軟件定義數據中心網絡流調度策略[J].電子與信息學報，2017，39（4）：825?831.

YI Peng， LIU Hong， HU Yuxiang. A scalable traffic scheduling policy for software defined data center network [J]. Journal of electronics & information technology， 2017， 39（4）： 825?831.

[2] 萬聰，王翠榮，王聰.面向數據密集型工作流的QoS?aware調度算法[J].系統仿真學報，2016，28（3）：549?558.

WAN Cong， WANG Cuirong， WANG Cong. QoS?aware scheduling for data intensive workflow [J]. Journal of system simulation， 2016， 28（3）： 549?558.

[3] 劉鑫，張瑜.電力網絡系統中統計特征任務分層的大數據融合模型[J].電網與清潔能源，2015，31（8）：36?39.

LIU Xin， ZHANG Yu. Fusion model of the hierarchical big data of characteristics task in electric power network system [J]. Power system & clean energy， 2015， 31（8）： 36?39.

[4] 蔣本立，張小平.大數據網絡的均衡調度平臺設計與改進[J].現代電子技術，2016，39（6）：62?65.

JIANG Benli， ZHANG Xiaoping. Design and improvement of balanced scheduling platform for big data network [J]. Modern electronics technique， 2016， 39（6）： 62?65.

[5] 劉迷.云計算下虛擬信息資源大數據特征集成調度[J].科技通報，2015，31（10）：199?201.

LIU Mi. Integrated scheduling of virtual information resources in data characteristics of cloud computing [J]. Bulletin of science and technology， 2015， 31（10）： 199?201.

[6] 鄒志洪.基于大數據的教育趨勢化推導模型設計與實現[J].現代電子技術，2017，40（16）：66?68.endprint

ZOU Zhihong. Design and implementation of educational tendency derivation model based on large data [J]. Modern electronics technique， 2017， 40（16）： 66?68.

[7] 蔣蘇蓉，藍江橋，楊玉海.Hadoop框架下的情報分析大數據調度超時預測方法[J].計算機科學，2014，41（z1）：409?413.

JIANG Surong， LAN Jiangqiao， YANG Yuhai. Timeout prediction of the schedule method for big data of the intelligence analysis based on Hadoop [J]. Computer science， 2014， 41（S1）： 409?413.

[8] 桂勛，LIU Yilu，鄭永康，等.基于大數據技術的北美FNET/GridEye系統設計與實現[J].電力系統自動化，2017，41（10）：112?116.

GUI Xun， LIU Yilu， ZHENG Yongkang， et al. Design and implementation of North America FNET/GridEye system based on big data technology [J]. Automation of electric power systems， 2017， 41（10）： 112?116.

[9] 張慧萍，賀紅艷，陳小娟.大數據的分層分類優化識別仿真研究[J].計算機仿真，2015，32（10）：463?466.

ZHANG Huiping， HE Hongyan， CHEN Xiaojuan. Simulation of optimum identification in hierarchical classification of big data [J]. Computer simulation， 2015， 32（10）： 463?466.

[10] 任凱，鄧武，俞琰.基于大數據技術的網絡日志分析系統研究[J].現代電子技術，2016，39（2）：39?41.

REN Kai， DENG Wu， YU Yan. Research on network log analysis system based on big data technology [J]. Modern electronics technique， 2016， 39（2）： 39?41.endprint