多媒體云計算

摘要：本文詳細介紹了最近熱門的云計算和多媒體相融合的多媒體云計算技術發展和未來趨勢。

關鍵詞：云計算；多媒體；媒體云；云媒體

DOI: 10.3969/j.issn.1005-5517.2011.08.002

云計算是一種新興技術，其目標是通過互聯網提供各種計算服務和存儲服務，包括基礎設施即服務(IaaS)、平臺即服務(PaaS)和軟件即服務(SaaS)等服務模式。云服務供應商主要提供數據中心硬件和軟件，利用互聯網實現存儲服務和計算服務。通過使用云計算，用戶可以像使用“超級”計算機那樣從云中獲得服務。用戶把數據存儲在云中，而不是存儲在自己的設備上，從而可以隨時隨地訪問數據。通過在更強大的云計算平臺上運行應用程序并在云中配置軟件，可有效減輕用戶在本地設備中進行全部軟件安裝和頻繁升級的負擔。

在Web 2.0中，網絡多媒體是以服務的形式興起。通過提供多元化的媒體服務，多媒體計算已經成為一項受人矚目的技術，它可以生成、編輯、處理、搜索各種媒體內容，如圖像、視頻、音頻、圖形等。對于基于互聯網和移動無線網絡的多媒體應用和服務而言，由于同時服務數百萬網民和移動用戶，需要大量的計算資源，因此對多媒體云計算的需求也非常大。在這種基于云的新型多媒體計算模式中，用戶可以在云中分布式地存儲和處理多媒體應用數據，不需要在計算機或終端設備上安裝全部媒體應用軟件，進而減輕了用戶對多媒體軟件維護和升級的負擔，避免了在用戶設備上進行計算，延長了手機的續航時間。

挑戰

云多媒體處理帶來了巨大的挑戰，下面介紹云多媒體計算面臨的幾個基本挑戰：

(1)多媒體和服務異構性。由于存在多種不同類型的多媒體和服務，如VoIP、視頻會議、照片共享和編輯、多媒體流化、圖像搜索、基于圖像的渲染、視頻編碼轉換和適配、多媒體內容傳送等等，云必須為數百萬用戶同時提供不同類型的多媒體和多媒體服務支持。

(2)QoS異構性。由于不同的多媒體服務具有不同的QoS(服務質量)需求，云必須提供QoS配置功能并支持各種類型的多媒體服務，以滿足不同的多媒體QoS需求。

(3)網絡異構性。由于不同的網絡(如互聯網、無線局域網、蜂窩網等)具有不同的網絡特性(如帶寬、延遲和抖動)，云須提供與網絡環境相適配的多媒體內容，以便將數據以最優方式傳送到具有不同網絡帶寬和時延的各種設備上。

(4)設備異構性。由于不同類型的設備(如電視、電腦和手機)有著不同的多媒體處理功能，包括CPU、GPU、顯示器、內存、存儲器和電源，云須擁有多媒體適配功能，以適應不同類型的設備。

對云中的多媒體計算來說，由于嚴格的多媒體QoS要求以及整個互聯網范圍內大量用戶的同時訪問，云中同時突發的多媒體數據訪問、處理和傳輸會在應用云中產生瓶頸。當前的云計算通常分配一個用戶定額的計算(如CPU)和存儲資源，這對一般數據服務非常有效。但是，對多媒體應用來說，除CPU和存儲要求外，另一個非常重要的因素是帶寬、延遲和抖動等方面的QoS要求。因此，使用互聯網中的通用云來處理多媒體服務，可能會產生不可接受的媒體QoS或用戶QoE(體驗質量)。移動設備的內存、計算能力和電池工作時間是有限的，因此它們對利用云來處理計算和通信之間矛盾的需求更大。據預測，對移動應用和服務來說，云計算可能會成為一種“顛覆性”技術。具體說來，在移動媒體應用和服務中，由于多媒體功率要求和無線信道具有隨時間變化的特點，對移動多媒體應用和服務的云計算QoS支持變得比互聯網更難。總之，對云中的多媒體計算而言，關鍵是怎樣通過(有線)互聯網和移動互聯網提供QoS配置并支持多媒體應用和服務。

為滿足云計算對通過互聯網和移動無線網絡傳送多媒體服務的QoS要求，我們引入了多媒體云計算這一概念，如圖1所示。具體地說，我們提出了多媒體云計算框架，它采用云計算，通過互聯網和移動互聯網提供多媒體應用和服務，并擁有QoS支持功能。我們把多媒體云計算分為多媒體云(媒體云)和云多媒體(云媒體)。媒體云主要研究如何使云為多媒體應用和服務提供QoS支持。云媒體則重點研究多媒體怎樣在云中執行內容存儲、處理、適配、渲染等任務，以最好地利用云計算資源，進而為多媒體服務提供高QoE服務。圖2闡述了媒體云服務和云媒體服務之間的關系。再具體一些，媒體云提供原始資源，如硬盤、CPU和GPU，這些資源由媒體服務提供商(MSPS)出租給用戶。MSPS利用媒體云資源來開發多媒體應用和服務，如存儲、編輯、流化、渲染等。

在媒體云中，我們提出了媒體邊緣云(MEC)結構以降低時延，其中媒體內容和處理根據用戶位置被推到云的邊緣。在這種結構中，MEC是一個子云，數據以物理方式放在邊緣。MEC在邊緣存儲、處理和傳送媒體數據，以實現更短的延遲。媒體云由多個MEC構成，可通過集中或對等(P2P)方式對其進行管理。首先，為了更好地處理MEC中各種類型的媒體服務，我們建議按照屬性將類型相似的媒體服務放在一個服務器集群中。具體來說，我們建議使用DHT(分布式散列表)進行數據存儲，同時使用CPU或GPU集群進行多媒體計算。第二，為提高MEC中的計算效率，我們建議對GPu或CPU集群中的多媒體應用和服務采用分布式并行處理模型。第三，在MEC的移動代理/邊緣服務器上，我們建議對異構移動設備的媒體服務進行媒體適配/代碼變換，以實現高QoE。

媒體云需要具備下述功能：(1)為擁有不同QoS要求的各種多媒體服務提供QoS配置和支持；(2)分布式并行多媒體處理能力；(3)具備多媒體QoS適配功能，以適應各種設備和網絡帶寬。

在云媒體中，云媒體應用和服務既可以全都在云中進行，也可以部分在云中進行。對于前者而言，將由云來完成所有的多媒體計算，適用于終端處理能力較弱的手機。對于后者來說，主要問題是怎樣在云和端之間分配多媒體計算資源。

云媒體

云計算的出現將對多媒體內容的整個生命周期產生深遠影響。如圖3所示，典型的媒體生命周期由采集、存儲、處理、分發和展示組成。

在相當長的時期內，只有擁有專業設備的專業機構才能采集到優質媒體內容，媒體內容的分發則依賴于硬拷貝，如膠片、VCD和NDVD。近十年里，低成本商用數碼相機和便攜式攝像機的上市，促進了用戶生成媒體內容的迅猛增長。最近，cyber-physical系統通過傳感器網絡提供了一種新的數據采集方式，明顯提高了媒體數據的容量和多樣性。在“Web2.0”大潮中，用戶現在可以非常容易地通過互聯網分發或共享數字媒體內容。YouTube的巨大成功展示了網絡媒體的流行程度。

在云計算時代之前，媒體存儲、處理和分發服務由擁有專有服務器群的不同服務供應商提供。現在，各種服務供應商都可以選擇成為公有云的用戶。公有云“量入為出”的模式將在極大程度上便于小型企業和多媒體愛好者們進行相關使用。對小型企業及個人用戶來說，他們只需為使用的計算和存儲量付費，而不需要僅僅為了峰值負荷就要維護—大堆服務器。云使用工具可以提供潛在的無限存儲空間，使用起來要比購買硬盤更圍方便。

下面我們將分別介紹媒體存儲和共享、制作和編輯、編碼轉換和適配、媒體渲染、以及搜索與社交媒體。

存儲和共享

云存儲的優點是用戶可以在任何時間任何設備上訪問自己的文件，也可以與好友共享文件，好友們更可以在任何時間訪問相關內容。另一個重要特點是，云存儲的可靠性要比本地存儲高得多。云存儲服務可以分成面向消費者的服務和面向開發人員的服務兩類。在面向消費者的云存儲服務中，一些云供應商部署自己的服務器群，而一些云供應商則基于用戶提供的物理存儲設備運行服務器。IOmega是一種面向消費者的云存儲服務，它在自己的服務器上進行存儲服務，從而只提供付費服務。AllMyData用1GB的主機空間換取用戶的10GB空間，其主要投資是軟件或服務，如數據加密、分段和分配及備份。Amazon S3和Openomy是面向開發人員的云存儲服務。AmazonS3是“只針對使用項目付費”的典型云，它沒有最低收費，也沒有起步費用，而是同時按存儲容量及每GB帶寬來收費。在Openomy中，文件純粹按標記整理。Openomy的特色是擁有一個可以公開調用的API，并把主要重點放在標記上，而不是典型的文件系統層次上。對于通用云供應商來說，以Microsoft Azure為例，還允許開發人員在其頂部構建存儲服務。例如，NeoGeo公司就在Microsoft Azure基礎上建立了自己的數字資源管理軟件neoMediaCenterNET。

共享是云服務不可分割的重要功能。從傳統意義上講，只有共享內容的發起者和接受者同時在線，并擁有高數據速率連接時，才會發生多媒體共享。現在，云計算把這種“同步”過程轉換成“異步”過程，使得一對多共享變得更加高效。共享內容的發起者只需在自己方便的時候把內容上傳到云存儲器中，然后把超級鏈接發送給要接受者即可。因為云一直開通，所以接受者便可以在任何時間訪問該內容。基于云共享的復雜性主要在于命名、尋址和訪問控制。

通過媒體流化，可以實現音樂和視頻的瞬時共享。與通過流化服務供應商專有服務器群運營的傳統流化服務相比，基于云流化的服務可望實現非常短的時延。這是因為云供應商在廣泛的地理區域內部署了大量的服務器。在本文中，我們向大家介紹一下基于云的流化傳送方法。在基于云的流化傳送結構中，與[6]中的視頻流化結構相比，媒體云/MEC采用分布式媒體存儲模塊為數百萬用戶存儲壓縮的視頻和音頻流，對不同類型的設備采用QoS適配模塊，如手機、個人電腦和電視。雖然基于媒體云/MEC的流化結構為云流化的QoS配置提供了一個可能的解決方案，但仍有許多科研問題有待解決。比如，考慮到云網絡屬性，需要開發一種新的云傳送協議。

制作和編輯

多媒體制作是編輯多段多媒體內容的過程，編輯的重點則是把來自不同多媒體源的多個片段組合起來。到目前為止，制作和編輯工具大體可分成兩類：一類是離線工具，如AdobePremiere、Windows Movie Maker：另一類是在線服務，如Jaycut。離線工具提供的編輯功能較多，但客戶端通常需要維護編輯軟件。而在線工具雖然提供的功能較少，但客戶端通常不需要軟件維護。

一般來說，制作和編輯耗時較長，多媒體內容會占用大量的存儲空間。而云則可以大大提高制作和編輯的效率，為客戶端提供更多的功能，因為它擁有強大的計算能力和地域分布廣泛的存儲資源。在本文中，我們向大家介紹基于云的在線多媒體制作和編輯框架。用戶將在這個框架中的媒體云內進行編輯和剪接。基于云的制作和編輯面臨的主要挑戰之一是處理來自單一源或多束源的多個片段的計算成本和通信成本。為解決這一難題，在[7]理念的啟迪下，我們為基于云的媒體制作和編輯提出了一種基于XML的表示文件格式。如圖4所示，這是一個描述文件，主要用來指示不同多媒體內容中的組織結構。該文件在邏輯上可被視為一個多層容器。這些層可以是實體層，如視頻層、音頻層、圖形層以及轉換和效果層。由于媒體云不但要保留大量的原始多媒體內容，還要保存使用頻繁的效果模板，這有利于基于鏈接的展示文件的使用。因此，如果在制作或剪接過程中要編輯展示文件，那么通過這種方式將可明顯降低云的計算負荷。在我們的處理方法中，我們將選擇一個MEC為包括手機在內的所有異構客戶端提供制作或編輯服務。通過在擁有手機代理的MEC中利用邊緣服務器提供的幫助手機編輯可以實現優秀的QoE。關于基于云的多媒體制作和編輯的未來研究，需要解決云內分布式存儲和處理、客戶端在線預展示等問題，特別是針對手機和平板設備。

編碼轉換及適配

由于存在各種類型的終端(如個人電腦、手機、平板設備和電視)以及不同結構的網絡(如以太網、WLAN和蜂窩網絡)，如何通過一個云，為異構設備有效提供多媒體內容變得非常重要，也極具挑戰性。視頻編碼轉換及適配在多媒體傳送中發揮著重要作用。它可以按照用戶需求把輸入視頻變換成輸出視頻。一般來說，視頻編碼轉換及適配需要大量的計算，當大量消費者同時請求服務時，執行起來尤為困難。盡管有時可以非常有效地通過離線編碼轉換將一個視頻轉換成適應不同條件的多個版本，但它仍然需要更大的存儲容量。此外，離線編碼轉換不能用于實時視頻編碼轉換及適配服務，例如需要實時運行的IPTV。

由于云強大的計算和存儲能力，云中既可以離線、也可以在線實現到不同類型終端的媒體編碼及適配。云編碼器是關于基于云的視頻適配服務的一個很好的實例，它是建立在MicrosoftAzure平臺之上的。云編碼器被集成到Origin Digital中央管理平臺，同時把大部分處理能力轉移到云中。代碼轉換器的實例數量可自動成比例變化，以此來處理數據的增長或減少。在本文中，我們以一種基于云的視頻適配框架(如圖5所示)為例進行分析。媒體云中的視頻適配將負責收集定制參數(如屏幕尺寸、帶寬)，并根據離線或在線參數生成各種版本。需要注意的是，前者需要更多的存儲容量，而后者在則需要動態視頻適配。能夠執行在線媒體適配是媒體云與傳統CDN的一個主要的差異化特點。需要指出的是，媒體邊緣服務器的處理能力使得服務供應商能夠把更多的精力放在動態網絡條件下的用戶體驗質量(ooe)上，而不再僅僅局限于某些預先定義的QoS指標。在展示的框架中，單層視頻適配和多層視頻適配將以不同的方式來執行。如果視頻是單層的，那么視頻適配需要調節比特率、幀速率、分辨率等來迎合不同類型的終端。對于可擴展的視頻編碼，云可以根據客戶端的網絡帶寬來截短其可擴展層，以此生成各種形式的視頻。如何在線執行視頻適配是未來的研究課題之一。

媒體渲染

從傳統意義上講，多媒體渲染是在客戶端進行的，客戶端通常能夠完成渲染任務，如幾何建模、紋理粘貼等。但是在某些情況下，客戶端缺少多媒體渲染要求的能力。例如，自由視點視頻允許用戶以交互方式改變任何3D位置或某個范圍內的視點，這在手機上是很難渲染的。這是因為無線帶寬相當有限，手機的計算能力、內存和電池壽命也是有限的。云因為具備強大的計算能力，配備GPU的云可以執行相關渲染。云渲染可分成兩種類型：一類是在云中進行所有渲染：另一類是在云中進行計算密集部分渲染，其余部分則在客戶端進行。在本文中，我們介紹基于云的媒體渲染。如圖6所示，根據客戶端的渲染能力，媒體云可以進行全部繪制或部分繪制，并生成中間流以進行進一步渲染。研究領域的挑戰和機遇包括怎樣高效、動態地在客戶端和云之間分配渲染資源。未來的研究方向之一是研究MEC代理如何幫助手機完成渲染計算，因為手機的電池續航時間、內存和計算能力都是有限的。

多媒體檢索

多媒體檢索是云計算的一個很好的應用實例，例如基于內容的圖像檢索(CBIR)。CBIR在大型數據庫中是基于圖像內容來搜索數字圖像的、而不是基于文本注釋。其研究主題包括特性提取、相似性測量、相關度反饋等等。目前，CBIR主要面臨兩個挑戰：一個是如何改善搜索質量，另一個是如何降低計算復雜度(或計算時間)。由于低級基礎可視功能與語義之間存在著語義差距，因此很難實現很高的搜索質量。由于互聯網圖像數據庫正變得越來越大，在這樣的數據庫中進行搜索正變成計算密集型任務。但是一般來說，質量和復雜性之間是有聯系的。通常情況下，質量越高，復雜性越高，反之亦然。通過利用媒體云強大的計算能力，我們可以依霏可接受的計算時間來實現更高的質量，從而從客戶端角度來實現更好的性能。