多媒體云計算下的大規模數據流調度方法研究

安海濤

摘 要： 傳統的多媒體數據流調度方法在云平臺環境下，未考慮服務器信息調度的差異性，容易形成數據調度沖突，調度效率低。為了解決上述分析的問題，通過構建多媒體云計算下數據流調度平臺，實現對多路大規模多媒體數據流的合理調度，利用多級分層結構將多媒體云計算下的多服務器大規模數據流調度過程劃分成管理層面、控制層面以及數據層面，可確保將數據包均勻的分配給各個服務器，充分發揮云計算下的多服務器可并行處理的特性，增強數據流的調度質量。對調度平臺的軟件框架進行了詳細的描述，依據該軟件框架的多層次實現大規模數據流調度優化，分析了大規模數據流調度的具體實現過程，并給出大規模數據流調度平臺軟件代碼的設計。實驗結果表明，所提方法增強了多媒體云計算下的大規模數據流調度的并發性能，提高數據流調度質量。

關鍵詞： 多媒體； 云計算； 大規模數據流； 調度方法

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2015）20?0154?04

Research on massive data stream scheduling method under the condition of

multimedia cloud computation

AN Haitao

（Inner Mongolia Electronic Information Vocational Technical College， Hohhot 010010， China）

Abstract： The traditional multimedia data stream scheduling method does not consider the difference of the server information scheduling in the cloud environment， and is easy to form the data scheduling conflict， which may result in low scheduling efficiency. In order to solve the problem of the above analysis， by constructing the data stream scheduling platform under the condition of multimedia cloud computation to achieve rational scheduling of multi?channel large?scale multimedia data stream， the massive data stream scheduling process of multiple servers in multimedia cloud computation is divided into management level， control level and data level by using multi?stage stratified structure， so as to ensure that the data packet is evenly assigned to each server， give full play to the parallel processing features of multiple servers in cloud computation， and enhance the scheduling quality of data stream. The software framework of dispatching platform is described in detail. According to the multi?level feature of software framework， the scheduling optimization of large?scale data stream is realized. The specific implementation process of massive data streams scheduling is analyzed. The design of the software code for massive data streams scheduling platform is given. The experimental results indicate that the proposed method has enhanced the concurrent performance of massive data flow scheduling under the condition of multimedia cloud computation and improved the scheduling quality of data stream.

Keywords： multimedia； cloud computing； large scale data flow； scheduling method

0 引 言

隨著計算機以及網絡技術的快速發展，多媒體數據的應用領域逐漸擴展。由于多媒體業務具有較高的計算復雜度，因而在云計算平臺上部署這些業務具有較強的必要性[1?3]。云計算下的多媒體視頻數據流具有實時性、隨機性、數量多等特征，而多媒體應用要求支撐多媒體服務的云計算環境能夠提供高質量的服務，而實現服務質量的關鍵是有效處理數據擁塞問題，因此尋求有效的大規模數據流調度方法[4?6]，確保云計算環境下多媒體信息的正常運行，受到了相關學者的關注。endprint

當前，主流的云平臺多媒體數據流調度方法主要如下：文獻[7]提出的依據神經網絡算法的調度方法。該方法較為簡便，但容易出現調度沖突問題，調度效率大大降低；文獻[8]分析了依據優化微粒群算法的調度方法，該方法雖然具有較高的調度效率，但是未充分考慮云計算下多服務器間的差異性，導致數據流調度結果存在較大的偏差；文獻[9]分析的依據免疫遺傳算法的調度方法，但是由于多媒體云計算下的數據流調度系統缺少變異過程，容易陷入局部最優，不能獲取最佳的調度結果；文獻[10]提出了最早結束標志優先調度算法，該種算法無法確保為每個任務提供端端延遲保證，具有較高的運算復雜度。

1 多媒體云計算下大規模數據流調度平臺系統

框架

將CaviumCN58XX服務器當成多媒體云計算下大規模數據流調度平臺的實現基礎。CN58XX服務器中集成了14個同構服務器，各處理核具有獨立的輸入包分類以及加解密等協處理器單元，擁有高速多媒體數據流處理、轉發性能，能夠滿足多媒體云計算下大規模數據流調度平臺的性能需求。

基于CN58XX服務器的硬件結構，本文劃分多媒體云計算環境下的底層硬件資源，塑造多媒體云計算下大規模數據流調度平臺與硬件資源映射關系，獲取調度平臺在硬件層面的系統結構圖如圖1所述。

圖1 多媒體云計算下的大規模數據流調度系統結構

分析圖1可以看出，在數據流調度系統中，多媒體云計算下的資源包括兩個部分，一部分服務器需要執行Linux操作系統，確保用戶能夠在Linux操作系統上運行多媒體視頻流化的應用，產生流化數據，也就是多媒體數據流；另一部分服務器用來搭建多媒體云計算服務器操作系統，該系統可對調度平臺的管理層面、控制層面和數據層面進行統一調控。

其中管理層面和控制層面對多媒體云計算系統的硬件資源進行調控，同時調度系統間的信令和數據的溝通。數據層面用于塑造大規模數據流調度，完成多媒體云計算下的大規模數據流的有效傳遞。Linux操作系統與多媒體云計算服務器操作系統都具備獨立的硬件資源，兩個系統間通過控制層面維護的數據通道實現信息的溝通，數據流通道將傳遞流化后的視頻數據流，通過大規模數據流調度平臺完成定時發送。

2 大規模數據流調度

多媒體云計算平臺通過多個服務器完成大規模數據流的傳遞，數據流在服務器間進行并行處理時，容易出現資源沖突問題，導致出現服務器資源浪費以及數據流調度滯后等問題，所以應在云計算下的多服務器之間調度數據流，合理分配服務器資源。

云計算下的多個服務器間的數據包調度，是多媒體云計算下大規模數據流調度需要考慮的重要問題。因此，本文利用多級分層結構將多媒體云計算下的多服務器大規模數據流調度過程，劃分成如圖2所示的分層邏輯模型。該大規模數據流調度分層邏輯模型由管理層面、控制層面和數據層面組成，該模型可確保將數據包均勻的分配給各個服務器，充分發揮云計算下的多服務器可并行處理的特性。

圖2 大規模數據流調度平臺分層邏輯結構

管理層面：部署大規模數據流調度平臺在數據層面的拓撲結構，對多媒體云計算環境中的硬件資源的分配進行調控。

控制層面：管理大規模數據流調度平臺中的硬件資源，為每條數據流分配相應的硬件資源，對進入大規模數據流調度平臺的數據流進行實時操作。控制層為Linux操作系統與多媒體云計算服務器操作系統間提供數據傳遞通道，確保數據流可通過Linux操作系統上的應用程序，傳輸到多媒體云計算服務器操作系數中的大規模數據流調度平臺中。

數據層面：依據管理層面設置的拓撲結構，調控大規模數據流調度平臺中的服務器，接收控制層面反饋的數據，確保大規模數據流的實時傳輸。

3 多媒體云計算下數據流調度軟件設計

在塑造大規模數據流調度模型時，還應依據軟件框架充分利用云計算平臺中多服務器的硬件資源，實現大規模數據流的高效調度。

3.1 大規模數據流調度平臺軟件框架設計

根據分層結構塑造多媒體云計算下的大規模數據流調度平臺的軟件模型，并假設多媒體云計算下的網絡使用視頻點播系統流化數據，流化后的數據流具有嚴格的發送時間限制，則構建的大規模數據流調度平臺軟件框架，如圖3所示。

圖3 多媒體云計算下的大規模數據流調度平臺軟件框架

如圖3所示，Linux操作系統與多媒體云計算操作系統并行運行于多媒體云計算環境中。在Linux操作系統上執行Dalwill多媒體視頻點播系統，通過該系統流化后的視頻數據采用大規模數據流調度平臺接口，反饋到大規模數據流調度平臺。

本文設計的大規模數據流調度平臺主要由以下的軟件模塊組成：

配置調控模塊對大規模數據流調度平臺進行初始化設置，同時對節目流資源進行調控。分組輸入模塊采集多媒體云計算環境中的數據，并對數據進行分類過濾處理，再將處理后的數據傳遞到流化應用，分組輸入模塊接收流化應用反饋的RTSP和IP分組數據，并將數據傳遞到分組操作模塊。

分組操作模塊采集分組輸入模塊傳輸的數據，并在配置管理模塊對應的內存中搜索節目流信息，將該信息當成數據包封裝IP包頭和以太網包頭，生成以太網數據報，同時將數據報傳遞給分組輸出模塊；分組輸出模塊采集分組操作模塊傳遞的以太網數據報，依據各數據包的發送時間將數據包傳遞到相應的網絡端口。

大規模數據流調度平臺中還包括定時器，大規模數據流調度平臺需要將數據包傳遞給定時器，定時器在數據包到達發送時間后，將數據包傳輸到輸出模塊。

分組輸出模塊用于大規模數據流調度平臺專用接口的流化應用以及實現大規模數據流調度中數據和信令間的交互。信令交互是實現ID申請/釋放信息的交互，流化應用在開始發送一路新的節目流前，應通過大規模數據流調度平臺專用接口申請新ID，流化應用基于新ID提交數據，區分不同的節目流。

3.2 軟件代碼設計

本文設計的多媒體云計算下的大規模數據流調度模型，采用全對稱并行的體系結構，在每個云計算下的服務器上都部署相同的任務。在大規模數據流調度平臺中這些任務包括數據流的預處理、協議棧加速和數據包發送等。全部服務器都能夠接收流化后的數據，并對數據進行處理，再發送到指定的HMD上。本文采用偽代碼描述各服務器上執行的任務流程：

while（l）

{

//數據包預處理過程

In_data?get_stream_data； //接收流化應用提交的數據包

If in data！=NULL //從流化應用接收到數據包

{

handle_data（i_data）： //對數據包進行預處理

insert_data（in_data）； //將數據包插入待加速隊列，

//等待為數據包進行協議棧加速

}

//數據包協議棧加速過程

//輪詢各HMD上的第Flow_stack個待加速隊列

Flow_stack=Flow_ stack+l；

fo：i?1toHMD_num //依次輪詢全部HMD上的待加速隊列

{

//查詢第i個Nlc上的Flow_quetle隊列中是否存在需要加速數據

Paek_data=get_Flow_data（i，Flow_stack）；

If Flow_data！=NuLL //獲取需要加速數據包

{

//對數據包進行協議棧加速

Flowing_data（Flow_data）；

//將各數據包插入待發送棧，伺機傳遞數據包

insert_data（Flow_data）；

}

//數據包定時發送過程

//順序查詢各HMD上的第send_stack個待傳遞棧

send_stack=send_stack+1；

for1=1 to HMD_num //順序查詢全部HMD中的待傳遞棧

{

//查詢第i個HMD上的send_stack隊列中是否有待加速數據

send_data=get_send_data（i，send_stack）；

if send data！=NULL //采集需要加速數據包

{

if send data //到達傳遞時間或者接近傳遞時間

{

//定時發送數據包

sending_data（send_data）；

}

}

}

}

4 實驗結果及分析

為了驗證本文方法的有效性，塑造一個仿真實驗系統進行驗證。

4.1 實驗參數設置

仿真系統由3個云計算下的服務器構成，各服務器采用3級流水線結構設置多媒體云計算下的多服務器拓撲結構。設置數據包在服務器間傳遞的時間消耗為8。實驗使用由http：//fown.uew.esr.edu/fownstck.html提供的實際影片數據幀信息，采用該影片模擬多媒體數據流。

4.2 實驗結果

（1） 數據包延遲分析。本文方法對實驗數據包發送延遲的影響，結果如圖4所述。

圖4 本文方法下多媒體云計算下的數據包延遲情況

分析圖4可以發現，采用本文方法調度多媒體云計算下的大規模數據流過程中，數據包平均延遲率隨著系統服務的數據流數量增加而升高，因為實驗采用的影片信息流化后是多路數據流，導致系統服務器上的負載發生大幅度波動，容易形成數據包延遲發送問題。當系統中總數據流數少于950萬路時，幾乎沒有數據包延遲發送，而當數據流數高于950萬路低于1 000萬路時，延遲發送的數據包增多，但是整體的數據包延遲率仍然較低，說明采用本文方法增強了多媒體云計算下大規模數據流調度的并發性能，提高數據流調度質量。

（2） CPU資源利用率。對比分析免疫遺傳方法和本文方法下的多媒體云計算下的大規模數據流調度系統資源使用情況，如圖5所示。圖5中隨著多媒體云計算系統中服務的數據流數量的不斷增加，本文數據流調度方法下的多媒體云計算環境下的資源總體利用率在絕大部分情況下明顯高于免疫遺傳算法的整體利用率。

（3） 數據包調度總量。圖6描述了免疫遺傳方法和本文方法下系統調度數據包的總量對比，可以看出本文方法下系統調度數據包的總量明顯高于免疫遺傳方法，采用本文方法可有效地提高系統處理數據包的總數，增加多媒體云計算系統的并發量，提高系統的服務能力。

圖5 不同方法下的系統CPU利用率對比

圖6 不同方法下系統處理的數據包總量對比

5 結 論

本文通過構建多媒體云計算下數據流調度平臺，實現對多路大規模多媒體數據流的合理調度，利用多級分層結構將多媒體云計算下的多服務器大規模數據流調度過程，劃分成管理層面、控制層面和數據層面，確保將數據包均勻的分配給各個服務器，充分發揮云計算下的多服務器可并行處理的特性，增強數據流的調度質量。對調度平臺的軟件框架進行了詳細的描述，依據該軟件框架的多層次實現大規模數據流調度優化，分析了大規模數據流調度的具體實現過程，并給出大規模數據流調度平臺軟件代碼的設計。實驗結果說明，所提方法增強了多媒體云計算下的大規模數據流調度的并發性能，提高數據流調度質量。

參考文獻

[1] 佚名.2013年中國互聯網絡發展狀況統計報告[EB/OL].[ 2013? 01?08]. http：//www.360doc.com/content/14/0604/09/9073112_383465777.shtml

[2] HARRINGTON Peter. Machine learning in action [M].北京：人民郵電出版社，2013.

[3] WANG Z， BAO Y， GU Y， et al. A BSP?based parallel iterative processing system with multiple partition strategies for big graphs [C]// Proceedings of 2013 IEEE International Congress on Big Data. [S.l.]： IEEE， 2013： 173?180.

[4] LAM Chuck. Hadoop in action[M].北京：人民郵電出版社，2013.

[5] 李偉衛，趙航，張陽，等.基于MapReduce的海量數據挖掘技術研究[J].計算機工程與應用，2013，49（20）：112?117.

[6] 王元卓，靳小龍，程學旗.網絡大數據：現狀與展望[J].計算機學報，2013，36（6）：1125?1138.

[7] 覃雄派，王會舉，李芙蓉，等.數據管理技術的新格局[J].軟件學報，2013，24（2）：175?197.

[8] 陳崇成，林劍峰，吳小竹，等.基于NoSQL的海量空間數據云存儲與服務方法[J].地球信息科學學報，2013，15（2）：166?174.

[9] SAKR S， LIU A， FAYOUMI A G. The family of MapReduce and large scale data processing systems [J]. ACM Comput Surv， 2013， 46（1）： 11?19.

[10] KANG U， FALOUTSOS C. Big graph mining： algorithms and discoveries [J]. ACM SIGKDD Explorations Newsletter， 2013， 14（2）： 29?36.endprint