海量視頻點(diǎn)播系統(tǒng)的云計(jì)算技術(shù)與建模實(shí)現(xiàn)

摘 要： 為解決三網(wǎng)融合進(jìn)程推進(jìn)下，海量視頻點(diǎn)播業(yè)務(wù)呈現(xiàn)出的內(nèi)容雜、平臺(tái)多、業(yè)務(wù)量激增等特征對(duì)傳統(tǒng)點(diǎn)播模式提出的巨大挑戰(zhàn)，在分析云計(jì)算的基本架構(gòu)和技術(shù)特點(diǎn)的基礎(chǔ)上，結(jié)合視頻點(diǎn)播業(yè)務(wù)的特點(diǎn)，利用云計(jì)算強(qiáng)大的計(jì)算能力和高效的海量數(shù)據(jù)處理方式，論述了云計(jì)算在視頻點(diǎn)播系統(tǒng)中的應(yīng)用。討論了云系統(tǒng)的系統(tǒng)架構(gòu)、工作原理，并對(duì)數(shù)據(jù)的冗余備份、心跳檢測(cè)、智能節(jié)點(diǎn)替換、負(fù)載均衡等關(guān)鍵技術(shù)進(jìn)行了詳細(xì)闡述，為解決海量視頻的流暢傳播提出了一個(gè)全新的思路。

關(guān)鍵詞： 云計(jì)算； 海量視頻點(diǎn)播； Hadoop系統(tǒng)； 建模

中圖分類(lèi)號(hào)： TN911?34； TP37 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2013）14?0010?03

Cloud computing technology and modeling of mass VOD system

CHEN Xu?wen， HUANG Ying?ming

（Department of Information Engineering， Jieyang Vocational Technical College， Jieyang 522000， China）

Abstract： With the promotion of the triple?net fusion， the mass VOD emerges out some characteristics such as complicating data， multiple platforms and huge business， which make a huge challenge to the traditional on?demand mode. By using the powerful computing ability and mass data efficient processing of cloud computation， the application of cloud computation in mass VOD system is discussed on the basis of analysis of the basic framework and technical characteristics of cloud computation and in combination with the characteristics of VOD service. The framework and working principle of the cloud computing system are analyzed. Some main technologies， such as redundancy backup of data， heartbeat detection， replacement of intelligent nodes and load balancing are elaborated. A new idea to make the mass video propagation smooth is put forward.

Keywords： cloud computation； mass VOD； Hadoop system； modeling

隨著互聯(lián)網(wǎng)技術(shù)和多媒體技術(shù)的迅猛發(fā)展，基于網(wǎng)絡(luò)的視頻點(diǎn)播（Video On Demand，VOD）業(yè)務(wù)成為了網(wǎng)絡(luò)應(yīng)用的一大熱點(diǎn)。人們通過(guò)手機(jī)、掌上電腦等簡(jiǎn)易的終端設(shè)備隨意欣賞視頻的新型模式極大地顛覆了傳統(tǒng)的電視觀看模式，逐步成為視頻點(diǎn)播的主流。雖然流媒體及P2P技術(shù)[1]的應(yīng)用在一定程度上減輕了中央服務(wù)器和骨干網(wǎng)絡(luò)的負(fù)擔(dān)，優(yōu)化了節(jié)目流的播放質(zhì)量，但當(dāng)面對(duì)熱點(diǎn)視頻時(shí)，海量視頻的處理傳播極大地考驗(yàn)著視頻運(yùn)營(yíng)商的實(shí)力。另外，隨著電信網(wǎng)、計(jì)算機(jī)網(wǎng)和有線電視網(wǎng)三網(wǎng)融合步伐的快速推進(jìn)，對(duì)于視頻點(diǎn)播業(yè)務(wù)的需求也將呈現(xiàn)出數(shù)據(jù)量劇增和多平臺(tái)共存的局面，光靠原有的硬件基礎(chǔ)絕對(duì)無(wú)法滿(mǎn)足形勢(shì)的發(fā)展，而增加投入勢(shì)必會(huì)增加企業(yè)的運(yùn)營(yíng)成本，租用第三方運(yùn)營(yíng)平臺(tái)將成為一種發(fā)展趨勢(shì)。

作為一種新型的商業(yè)計(jì)算模型，云計(jì)算提供了強(qiáng)大靈活的計(jì)算能力和高效快捷的海量數(shù)據(jù)處理方法，其高可靠性也是普通的第三租賃方所無(wú)法比擬的。本文以云計(jì)算為平臺(tái)，研究了基于云平臺(tái)的視頻點(diǎn)播模式，為解決海量視頻的高效傳輸提供了新方法。

1 云計(jì)算技術(shù)及海量視頻點(diǎn)播的技術(shù)特點(diǎn)

1.1 云計(jì)算的概念

自云計(jì)算（Cloud Computing）概念提出以來(lái)，至今仍沒(méi)有統(tǒng)一、公認(rèn)的定義，比較獲得業(yè)界認(rèn)可的是2011年由美國(guó)國(guó)家標(biāo)準(zhǔn)和技術(shù)研究院（NIST）提出的[2]：云計(jì)算是一種通過(guò)網(wǎng)絡(luò)以便利的、按需付費(fèi)的模式獲取計(jì)算資源（包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)）并提高其可用性的模式，這些資源來(lái)自一個(gè)共享的、可配置的資源池，并能夠以最省力和無(wú)人干預(yù)的方式獲取和釋放。

云計(jì)算是網(wǎng)格計(jì)算、并行計(jì)算、分布式計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、虛擬化、負(fù)載均衡等傳統(tǒng)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物，它以虛擬化為核心，通過(guò)網(wǎng)絡(luò)把多個(gè)成本較低的計(jì)算實(shí)體整合成一個(gè)具有強(qiáng)大計(jì)算能力的資源系統(tǒng)，以按需、易擴(kuò)展的方式為用戶(hù)提供所需的各種資源和服務(wù)。云是一個(gè)包含大量可用虛擬資源的資源池，云中的資源在使用者看來(lái)是可以無(wú)限擴(kuò)展、隨時(shí)獲取、按需使用、按量付費(fèi)的[3]。云模式[4]也即電廠模式，利用電廠的規(guī)模效應(yīng)來(lái)降低電力價(jià)格，用戶(hù)根據(jù)用電量付費(fèi)，便可源源不斷獲取電力資源，而無(wú)需維護(hù)和購(gòu)買(mǎi)任何發(fā)電設(shè)備。

云計(jì)算具有低成本、高性能、超大規(guī)模、虛擬化、高可靠性、通用性、高可擴(kuò)展性、按需服務(wù)等特點(diǎn)[5]。目前比較成熟的云計(jì)算業(yè)務(wù)和應(yīng)用有：Google的AppEngine、Amazon的彈性計(jì)算云EC2、微軟的Azure云平臺(tái)和IBM的藍(lán)云等。

1.2 云計(jì)算的架構(gòu)[5]

（1）軟件即服務(wù)（Software as a Service，SaaS）：SaaS服務(wù)供應(yīng)商將各類(lèi)應(yīng)用軟件統(tǒng)一部署在服務(wù)器上，用戶(hù)通過(guò)簡(jiǎn)易的互聯(lián)網(wǎng)接入終端就能直接使用，并按需按量付費(fèi)。云中的軟硬件設(shè)施由供應(yīng)商負(fù)責(zé)維護(hù)和管理，用戶(hù)不需顧慮類(lèi)似安裝、升級(jí)和防毒等瑣事，且免去初期高昂的硬件投入、人員配置、軟件許可證等費(fèi)用的支出，經(jīng)濟(jì)便捷。

（2）平臺(tái)即服務(wù)（Platform as a Service，PaaS）：PaaS主要面向開(kāi)發(fā)人員提供一個(gè)應(yīng)用的開(kāi)發(fā)和部署平臺(tái)，包括SDK、文檔、測(cè)試環(huán)境和部署環(huán)境等。平臺(tái)的部署和運(yùn)維均由供應(yīng)商負(fù)責(zé)，用戶(hù)可一心一意致力于研發(fā)工作。

（3）基礎(chǔ)設(shè)施即服務(wù)（Infrastructure as a Service，IaaS）：IaaS由底層硬件或虛擬機(jī)資源構(gòu)建而成，用戶(hù)從供應(yīng)商那里獲取所需的計(jì)算或存儲(chǔ)資源來(lái)裝載相關(guān)應(yīng)用，且僅需為所租借的那部分資源付費(fèi)。

1.3 海量視頻點(diǎn)播的技術(shù)特點(diǎn)

（1）文件龐大，數(shù)據(jù)量多。單個(gè)視頻文件非常大，視頻資源繁多，數(shù)據(jù)海量化。

（2）編碼多樣，業(yè)務(wù)復(fù)雜。隨著三網(wǎng)融合的推進(jìn)及視頻播放技術(shù)的改革，必將出現(xiàn)多編碼、多平臺(tái)共存及多業(yè)務(wù)共享的局面。

（3）質(zhì)量至上，要求嚴(yán)格。龐大的數(shù)據(jù)量對(duì)服務(wù)器性能及網(wǎng)絡(luò)帶寬要求甚高，而隨著點(diǎn)播量的快速增長(zhǎng)，對(duì)于計(jì)算能力及處理強(qiáng)度的要求也相應(yīng)劇增。

2 海量視頻點(diǎn)播系統(tǒng)的云計(jì)算技術(shù)與建模實(shí)現(xiàn)

2.1 系統(tǒng)架構(gòu)

根據(jù)視頻點(diǎn)播業(yè)務(wù)的技術(shù)特征及云計(jì)算技術(shù)的特點(diǎn)，本文提出了基于云計(jì)算的海量視頻點(diǎn)播平臺(tái)的基本架構(gòu)，其拓?fù)鋱D如圖1所示。用戶(hù)通過(guò)Web交互服務(wù)器向視頻點(diǎn)播系統(tǒng)發(fā)出業(yè)務(wù)請(qǐng)求，經(jīng)Web交互服務(wù)器受理后將具體的業(yè)務(wù)要求提交給云核心服務(wù)器，由核心服務(wù)器對(duì)整個(gè)云文件系統(tǒng)進(jìn)行控制處理，完成視頻文件的調(diào)用并反饋回客戶(hù)端。

圖1 系統(tǒng)架構(gòu)圖

2.2 系統(tǒng)工作原理

系統(tǒng)采用Hadoop系統(tǒng)實(shí)現(xiàn)云點(diǎn)播平臺(tái)SaaS層的構(gòu)建[6]。根據(jù)點(diǎn)播系統(tǒng)的功能要求及Hadoop系統(tǒng)的基本構(gòu)成，包括以下幾個(gè)功能組件，闡述如下：

2.2.1 Web交互服務(wù)器

在整個(gè)點(diǎn)播系統(tǒng)中，Web交互服務(wù)器作為系統(tǒng)前端窗口，負(fù)責(zé)受理用戶(hù)的點(diǎn)播、注冊(cè)、用戶(hù)管理等常規(guī)業(yè)務(wù)，當(dāng)涉及視頻文件調(diào)用時(shí)，則將業(yè)務(wù)請(qǐng)求轉(zhuǎn)交給后臺(tái)的云核心服務(wù)器處理，Web交互服務(wù)器僅負(fù)責(zé)點(diǎn)播信息的傳遞工作，沒(méi)有涉及具體視頻文件的傳輸內(nèi)容。

2.2.2 云核心服務(wù)器

云核心服務(wù)器位于云計(jì)算的最上層，負(fù)責(zé)整個(gè)云系統(tǒng)的資源管理及任務(wù)控制。

（1）資源管理。作為Hadoop系統(tǒng)的主控節(jié)點(diǎn)，云核心服務(wù)器負(fù)責(zé)記錄文件的數(shù)據(jù)塊分割規(guī)則及這些數(shù)據(jù)塊的具體存儲(chǔ)位置，對(duì)內(nèi)存及I/O進(jìn)行集中管理。為加快維護(hù)效率，同時(shí)減輕本身負(fù)擔(dān)，云核心服務(wù)器通過(guò)與各集群主控服務(wù)器進(jìn)行交互控制，對(duì)集群中的所有節(jié)點(diǎn)和所有虛擬機(jī)進(jìn)行實(shí)時(shí)控制，維護(hù)系統(tǒng)的資源狀態(tài)信息表。為提高系統(tǒng)的運(yùn)作性能，云核心服務(wù)器僅管理文件系統(tǒng)的元數(shù)據(jù)，具體的數(shù)據(jù)訪問(wèn)則交由下層服務(wù)器負(fù)責(zé)[7]。

（2）任務(wù)控制。響應(yīng)Web交互服務(wù)器的點(diǎn)播請(qǐng)求，檢索資源狀態(tài)信息表，獲取資源的具體位置，然后通過(guò)集群主控服務(wù)器匯總節(jié)點(diǎn)信息，建立客戶(hù)端與各虛擬機(jī)實(shí)例的通信，實(shí)現(xiàn)數(shù)據(jù)傳輸。

2.2.3 集群主控服務(wù)器

為提高云系統(tǒng)的運(yùn)作效率，減輕核心服務(wù)器的負(fù)擔(dān)，將云系統(tǒng)的資源劃分成多個(gè)集群，由集群主控服務(wù)器負(fù)責(zé)管理該集群中的所有資源。集群主控服務(wù)器主要有以下作用：

（1）集群主控服務(wù)器管理其集群中的所有節(jié)點(diǎn)控制器和虛擬機(jī)，對(duì)系統(tǒng)資源進(jìn)行實(shí)時(shí)監(jiān)控，形成子資源狀態(tài)信息表，并將結(jié)果反饋給云核心服務(wù)器，更新整個(gè)云系統(tǒng)的資源狀態(tài)信息表。

（2）響應(yīng)云核心服務(wù)器的任務(wù)要求，快速調(diào)用集群中的虛擬機(jī)實(shí)例，建立與客戶(hù)端機(jī)器的連接，傳輸數(shù)據(jù)。

（3）擔(dān)任Hadoop系統(tǒng)的主節(jié)點(diǎn)，控制集群中的所有從節(jié)點(diǎn)，對(duì)集群中所有虛擬機(jī)實(shí)例及系統(tǒng)資源進(jìn)行統(tǒng)籌管理，提高系統(tǒng)的響應(yīng)效率。

2.2.4 節(jié)點(diǎn)控制器

節(jié)點(diǎn)控制器是整個(gè)云系統(tǒng)的前沿陣地，在節(jié)點(diǎn)控制器上真正運(yùn)行著虛擬機(jī)實(shí)例，并通過(guò)虛擬機(jī)管理器進(jìn)行管理，虛擬機(jī)實(shí)例的數(shù)量由節(jié)點(diǎn)控制器的資源及計(jì)算任務(wù)的類(lèi)型決定，一般為3～5臺(tái)。節(jié)點(diǎn)控制器的功能包括以下三方面[8]：

（1）節(jié)點(diǎn)控制器負(fù)責(zé)監(jiān)控節(jié)點(diǎn)上運(yùn)行的所有虛擬機(jī)實(shí)例的運(yùn)行狀態(tài)及資源的使用情況，并將監(jiān)控狀況實(shí)時(shí)返回給上層的集群主控服務(wù)器。

（2）響應(yīng)集群主控服務(wù)器的需求，啟動(dòng)虛擬機(jī)實(shí)例實(shí)現(xiàn)數(shù)據(jù)通信。當(dāng)任務(wù)完成后或在規(guī)定時(shí)間內(nèi)客戶(hù)端無(wú)響應(yīng)（如客戶(hù)異常退出）時(shí)，則停止虛擬機(jī)實(shí)例運(yùn)作，釋放網(wǎng)絡(luò)帶寬及點(diǎn)播資源。

（3）監(jiān)控和管理虛擬機(jī)實(shí)例。包括虛擬機(jī)資源的存儲(chǔ)備份、虛擬機(jī)宕機(jī)的應(yīng)急處理等。

2.3 系統(tǒng)設(shè)計(jì)的關(guān)鍵技術(shù)

2.3.1 數(shù)據(jù)的冗余備份

云系統(tǒng)的文件傳輸采用流媒體技術(shù)實(shí)現(xiàn)，即將多媒體文件壓縮后分解成若干大小相等的數(shù)據(jù)塊（數(shù)據(jù)塊的大小可根據(jù)實(shí)際情況進(jìn)行配置），并統(tǒng)一編號(hào)，再由服務(wù)器對(duì)客戶(hù)端進(jìn)行實(shí)時(shí)傳送。為了容錯(cuò)，文件的所有數(shù)據(jù)塊都會(huì)有副本，即冗余備份。系統(tǒng)運(yùn)行時(shí)，節(jié)點(diǎn)控制器利用虛擬機(jī)管理器對(duì)虛擬機(jī)上的文件系統(tǒng)進(jìn)行監(jiān)控，產(chǎn)生一份數(shù)據(jù)塊與本地文件對(duì)應(yīng)關(guān)系的列表，形成塊報(bào)告返回給節(jié)點(diǎn)控制器，節(jié)點(diǎn)控制器根據(jù)塊報(bào)告進(jìn)行完善（如增加數(shù)據(jù)塊具體路徑等）后反饋給集群主控服務(wù)器更新資源狀態(tài)信息表。

云系統(tǒng)的集群一般運(yùn)行在多個(gè)機(jī)架上，不同機(jī)架上的數(shù)據(jù)通信必須通過(guò)交換機(jī)，通常機(jī)架內(nèi)節(jié)點(diǎn)之間的帶寬比跨機(jī)架節(jié)點(diǎn)之間的帶寬要大，這有可能影響云系統(tǒng)的可靠性和性能。采用機(jī)架感知（Rack?aware）策略[9]，將數(shù)據(jù)塊以多個(gè)副本形式部署在本地機(jī)架和不同機(jī)架上，改進(jìn)數(shù)據(jù)的可靠性、可用性和網(wǎng)絡(luò)帶寬的利用率。此策略可防止機(jī)架失效時(shí)的數(shù)據(jù)丟失，也可保證系統(tǒng)的性能。

2.3.2 心跳檢測(cè)技術(shù)

在任何系統(tǒng)設(shè)計(jì)中，硬件異常檢測(cè)總是極其重要的。云系統(tǒng)采用心跳檢測(cè)[10]技術(shù)來(lái)控制系統(tǒng)硬件的異常情況。集群主控服務(wù)器周期性地通過(guò)節(jié)點(diǎn)控制器接受虛擬機(jī)的心跳包和塊報(bào)告，以此判斷虛擬機(jī)的存活狀態(tài)：收到心跳包說(shuō)明工作正常；若在特定時(shí)間t內(nèi)沒(méi)有收到心跳包信息，則認(rèn)為宕機(jī)，系統(tǒng)將不會(huì)發(fā)給它們?nèi)魏涡碌腎/O請(qǐng)求。對(duì)于宕機(jī)的虛擬機(jī)，系統(tǒng)將不斷進(jìn)行檢測(cè)并通過(guò)虛擬機(jī)管理器進(jìn)行故障修復(fù)，若在特定時(shí)間內(nèi)仍無(wú)法恢復(fù)，則將重新復(fù)制該數(shù)據(jù)塊，避免該數(shù)據(jù)塊副本數(shù)減少所造成的影響。

2.3.3 智能節(jié)點(diǎn)替換技術(shù)

智能節(jié)點(diǎn)替換技術(shù)與心跳檢測(cè)技術(shù)聯(lián)合應(yīng)用，當(dāng)系統(tǒng)在特定時(shí)間內(nèi)仍無(wú)法檢測(cè)到某數(shù)據(jù)塊的心跳包時(shí)，則將該數(shù)據(jù)包重新復(fù)制，此時(shí)，節(jié)點(diǎn)控制器將更新數(shù)據(jù)包的新位置，并使用新節(jié)點(diǎn)替換原來(lái)的故障節(jié)點(diǎn)，保證數(shù)據(jù)傳輸?shù)倪B貫性。

2.3.4 負(fù)載均衡技術(shù)

負(fù)載均衡是很多系統(tǒng)中需要解決的重要問(wèn)題。在云系統(tǒng)中，云核心服務(wù)器根據(jù)節(jié)點(diǎn)控制器發(fā)送的心跳信息和存儲(chǔ)的數(shù)據(jù)塊情況，掌握各節(jié)點(diǎn)的當(dāng)前狀態(tài)，通過(guò)平衡資源狀態(tài)信息表中的資源分配情況，將數(shù)據(jù)塊分配給負(fù)載較輕、寫(xiě)入速度較快的節(jié)點(diǎn)控制器。具體包括：在新數(shù)據(jù)加入時(shí)，為新數(shù)據(jù)尋找優(yōu)越的存儲(chǔ)位置；若現(xiàn)有的資源過(guò)于集中，可采用數(shù)據(jù)塊遷移方法，重新分配合適的存儲(chǔ)位置，平衡整個(gè)文件存儲(chǔ)系統(tǒng)。

3 結(jié) 語(yǔ)

隨著三網(wǎng)融合進(jìn)程的不斷推進(jìn)，視頻點(diǎn)播業(yè)務(wù)將面對(duì)內(nèi)容繁雜、平臺(tái)多樣、業(yè)務(wù)量激增等局面，這對(duì)傳統(tǒng)的視頻點(diǎn)播模式提出了巨大的挑戰(zhàn)。

本文在分析云計(jì)算的基本架構(gòu)和技術(shù)特點(diǎn)的基礎(chǔ)上，結(jié)合視頻點(diǎn)播業(yè)務(wù)的特點(diǎn)，論述了云計(jì)算在視頻點(diǎn)播系統(tǒng)中的應(yīng)用，對(duì)其系統(tǒng)架構(gòu)、工作原理和關(guān)鍵技術(shù)進(jìn)行了詳細(xì)的闡述，為解決海量視頻的流暢傳播提出了一個(gè)全新的思路。

參考文獻(xiàn)

[1] 陳旭文，林若波.基于P2P的多原VOD系統(tǒng)的設(shè)計(jì)[J].測(cè)控技術(shù)，2012，31（8）：27?30.

[2] MELL P，GRANCE T. NIST SD 800?145 the NIST definition of cloud computing [S]. Gaithersburg，MD： NIST Special Publication，2011.

[3] 吳朱華.云計(jì)算核心技術(shù)剖析[M].北京：人民郵電出版社，2011.

[4] GROSSMAN R L.The case for cloud computing [J]. IEEE Computer Society，IT Professional， 2009（11）：23?27.

[5] 周洪波.云計(jì)算技術(shù)、應(yīng)用、標(biāo)準(zhǔn)和商業(yè)模式[M].北京：電子工業(yè)出版社，2011.

[6] HADOOP W T. 權(quán)威指南[M].曾大聃，譯.北京：清華大學(xué)出版社，2010.

[7] 劉鵬，黃宜華，陳衛(wèi)衛(wèi).實(shí)戰(zhàn)Hadoop：開(kāi)啟通向云計(jì)算的捷徑[M].北京：電子工業(yè)出版社，2011.

[8] Anon. Amazon elastic computing cloud [EB/OL]. [2011?07?18]. http：//aws.amazon.com/cn/ec2.

[9] 李玲，付園，麻曉珍，等.云存儲(chǔ)系統(tǒng)中數(shù)據(jù)冗余策略?xún)?yōu)化問(wèn)題[J].吉林大學(xué)學(xué)報(bào)：信息科學(xué)版，2013，31（1）：1?7.

[10] 許丞，劉洪，譚良. Hadoop云平臺(tái)的一種新的任務(wù)調(diào)度和監(jiān)控機(jī)制[J].計(jì)算機(jī)科學(xué)，2013，40（1）：112?117.