陳宇峰
(成都工業學院電氣工程學院成都611730)
新型多媒體業務云計算平臺網絡架構的設計與實現
陳宇峰
(成都工業學院電氣工程學院成都611730)
針對新型多媒體業務計算復雜度高、實時性強等特點,論文設計了一種新型的云計算平臺方案。該方案采用P2P技術的動態哈希表(DHT)協議實現網絡架構的去中心化,并設計了面向節點與服務的DHT協議一體化管理模式,最后簡介了預緩存技術,實驗測試結果表明,論文所設計的網絡架構方案具有較好的運行速度,較高的擴展性。
多媒體;云計算;網絡架構;設計
Class NumberTP309
2007年,極具創新意義的“云計算”概念一經提出,便受到業界的廣泛關注,在商業領域與研究領域均展現出了前所未有的價值。云計算的核心思想是“計算+服務”,其基本理念是:一切皆服務,以租用的形式向用戶提供。“云”則是指互聯網數據中心提供服務所使用的所有軟件與硬件。
國內云計算產業近年來出現了蓬勃發展,其中,按照市場發展需求,傳統電信運營商、傳統電信設備商、新型互聯網企業、安全公司在云計算體系中承擔著各自的角色與定位,也取得了長足進步。
目前,云計算的服務類型主要有SaaS(軟件即服務)、PaaS(平臺即服務)、IaaS(構架即服務)三種。云計算平臺主要分為商用平臺和研究用的開源平臺,其目的主要是將云用于不同的業務種類而進行的各種特殊實現。但是,這些平臺目前并未針對多媒體業務提出專門的平臺設計方案。因此,加強針對多媒體業務的云計算平臺建設具有非常重要的意義。
此外,雖然多媒體業務的計算密集型特征決定了使用云計算具有非常高的契合度,但是,此類多媒體云計算平臺技術尚還存在著諸多瓶頸,所以,發展研究多媒體云計算平臺在未來具有重要的戰略意義。
有基于此,本文針對多媒體云計算平臺關鍵技術建設,提出了一種解決方案。本方案構建了一套針對多媒體云計算平臺的去中心化網絡架構,旨在實現多服務器的資源優化管理,并在此基礎上,提出了一種流水線風格的并行化無鎖分級令牌桶(Hierarchical Tokens Bucket,HTB)流量控制機制,意在提升多媒體云計算平臺的處理速率。
多媒體業務具有計算復雜度很高的特點,而現有云計算平臺沒有專門針對多媒體業務的平臺,因此,多媒體業務在云計算平臺中的部署也存在著諸多問題。目前,新型多媒體業務主要集中在地理位置信息服務、圖像檢索、視頻渲染/增強等方面。這些新型多媒體業務對云計算平臺需求均集中于處理海量數據、時間短、速率快、效率高。
近年來,隨著互聯網技術、計算機技術、無線通信技術的發展,移動互聯網已經逐漸取代傳統的2G服務模式,而且,可以實現對基礎資源和終端配置要求更高的多媒體業務。換言之,未來網絡接口帶寬越來越大,移動終端功能越來越強,這使得移動互聯網向終端用戶提供更為多樣化的多媒體服務成為可能,這也是未來的發展趨勢。總得來說,多媒體業務計算密集特征、移動互聯網的迅猛發展、移動終端用戶數量的急劇增加均使得在云計算平臺中部署多媒體業務顯得勢在必行。
目前,新型多媒體業務在云計算平臺中的部署主要存在著基礎設施支持不足、分級服務與用戶需求存在矛盾、實時業務存在較大安全隱患等問題。這就使得新型多媒體云計算平臺業務需要從諸如網絡架構、流量控制機制、安全策略等方面入手,按照計算復雜度、特殊硬件需求度、業務實時性需求度等要求,加強新型多媒體云計算業務的研究與發展。
基于此,本文著重構建一種新型的多媒體云計算平臺網絡構架,此構架主要希望能夠解決基礎設施支持不足以及移動終端急劇增加對互聯網性能帶來的巨大挑戰。
多媒體業務具有計算復雜度較高、實時性較強、特殊硬件依賴性較大等特點,同時,移動終端的存儲容量有限、計算能力較弱、網絡敏感度較強,這些都使得在云計算平臺中部署多媒體業務一般不會具有較好的效果,所以,加強多媒體云計算平臺建設尤為重要。本文著重介紹一種新型的多媒體云計算平臺網絡架構建設。
現有成形的網絡架構技術主要是:1)內容分發網絡(Content Distributed Network,CDN)技術;2)MapReduce框架;3)分布式散列表(Distributed Hash Table,DHT)技術;4)代理服務器和緩存技術。
3.1 CDN技術
其中,CDN技術主要發現互聯網絡中的瓶頸環節,找到影響數據傳輸的因素并予以解決,即在原有互聯網基礎上構建一層新的虛擬網絡,通過其中的特定網絡節點服務器解決互聯網性能不好的問題,從而實現互聯網數據內容能夠更迅捷、更優良、更穩定的傳輸。
由此可見,CDN技術的本質就是一個重定向的過程,旨在根據虛擬網絡的諸如節點鏈接、響應時間、負載情況、用戶距離等因素實現資源配置的優化處理,最終將用戶請求重定向于距離用戶請求最近的節點。
從技術層面而言,接到用戶請求之后,根據相關參數作出判定,以理論最高效化為基本原則,向用戶分發內容。一般情況下,內容服務的關鍵是代理緩存(Surrogate),也就是代理服務器。代理緩存一般位于網絡邊緣,距離用戶只有“一跳(Single Hop)”的距離,同時,也是內容源服務器的透明鏡像,其功能旨在分散服務器壓力,減少響應時間,加強用戶體驗。所以,CDN技術包含了負載均衡、分布式存儲、內容管理、網絡請求重定向等四部分核心組件,對應內容發布、內容路由、內容交換、性能管理等四項關鍵技術,其本質核心就是內容管理與網絡流量管理。
相較于其他基礎技術,CDN技術在本地緩存、鏡像服務、遠程加速、帶寬優化、集群抗攻擊等方面具有突出優勢。
從改善互聯網性能而言,傳統內容發布模式主要采用網絡內容提供商(Internet Content Provider,ICP)技術,ICP技術通過ICP應用服務器向用戶提供數據內容服務,這意味著網絡質量只停留在較低層的數據包層面以及些許應用層協議,而不能根據內容與對象的不同對服務質量區別對待。此外,ICP技術既要占據大量帶寬,又有可能因單點效應、局部熱點效應引起服務器過載,從而崩潰。而CDN技術引入了內容管理層的和全局負載均衡功能,著重強調網絡在內容發布中的重要性,這使得傳統ICP技術“集中與分散”的難題得以解決。所以,CDN技術是近年來得到廣泛應用的網絡架構基礎技術。
CDN技術的缺陷在于其基本架構仍需要一個中心點來完成內容分布、性能管理,而且,其緩存策略主要針對靜態網頁,并未對多媒體業務提出針對性建設,這是本文設計內容重點解決的問題之一。
3.2 代理服務器和緩存技術
代理服務器是嫁接在互聯網與局域網之間的一座橋梁,可以簡單看成是一個中轉服務器,用來實現用戶瀏覽器與服務器之間的信息交互,從而補充簡單“客戶—服務器”無法完成的功能。代理服務器的主要功能是用戶認證和計費、用戶的分級管理、緩存、請求重定向等作用。
代理服務器一般均具有緩存功能,緩存的相關信息應該根據需求具體分析具體對待。在新型多媒體業務日益普及的情況下,代理服務器及其緩存功能的要求也越來越高。緩存構架主要包含代理緩存、自適應緩存、主動緩存、推動式緩存等四種基本構架。
新型多媒體云計算平臺業務需要何種代理服務器設置以及緩存機制,也是本文設計研究的重點之一。
本文關于新型多媒體云計算平臺業務設計的基本思路是:在前述CDN技術的基礎上,設計了一種新型的去中心化的網絡架構,并指出其內容與服務管理思想;在此基礎上,設計了基于動態哈希表(Dynamic Hash Table,DHT)的節點服務模式,給出其遠程過程調用協議(Remote Process Call,RPC)的軟件構架;最終實現基于代理服務器的多媒體信息緩存與傳輸。
4.1 去中心化網絡架構設計實現
傳統CDN網絡拓撲結構如圖1所示,由圖1可見,網絡中原有內容預先存放在原始內容服務器中,然后通過分發服務器(Distributer)將所需傳輸的內容發送至鏡像服務器(surrogate server),最后由鏡像服務器(surrogate server)分發至各個區域的用戶,從而實現按照既定信息統計策略所需要傳輸的內容。因此,傳統CDN網絡拓撲結構本質是一個有中心的結構模式,易存在單點效應,即若其中的分發服務器出現故障,整個網絡均會受到影響。

圖1 傳統CDN網絡拓撲結構
而P2P技術就是為了實現內容的分布式管理,從而解決內容發布的單點失效問題。因此,本文設計一種基于P2P技術的動態哈希表(Dynamic Hash Table,DHT)的去中心化網絡拓撲結構。具體如圖2所示。
由圖2可知,去中心化網絡拓撲結構將傳統CDN拓撲結構中的原始服務器、分發服務器替代為可以為同一區域移動終端提供服務的服務器群,即“子云”。這樣,就形成了一個以“子云”為核心的兩級分布式管理結構。

圖2 去中心化網絡拓撲結構
相對于傳統CDN網絡拓撲結構,基于DHT的去中心化網絡拓撲結構能夠實現基于P2P分布式管理的面向節點與服務程序的DHT機制,從而通過DHT協議對拓撲結構中的節點以及節點應用進行相應管理。
所謂兩級管理,是指多媒體云拓撲結構分為“子云之間”與“子云內部”兩級組織管理。“子云之間”僅僅實現簡單的服務與資源共享,即通過RPC指令遠程調用不同子云之間的DNS服務器的進程以及查詢服務程序或者是資源,這其中并不包含具體的服務程序,也不包含詳細節點、管理機制。“子云內部”則主要通過DHT協議實現節點管理、服務程序管理、服務器資源管理等,并可將不同類型的服務器用標簽的形式予以定義,從而提供針對性服務。
此外,由圖2可見,去中心化網絡拓撲結構另外的一個關鍵點是代理服務器、DNS服務器、應用部署服務器。代理服務器通常位于子云網絡邊緣“最后一公里”處,其角色定位是完成區域應用客戶與子云服務器群的信息交互,即代理服務器既完成應用客戶連接入網、接入服務器的功能,又實現多媒體感知緩存,這樣一來,就可以有效地解決移動終端訪問原始服務器或者是分布服務器所出現的延時問題,從而一定程度上節省資源,提升用戶體驗。
DNS服務器具有多個備份,以此解決單點失效問題。除此之外,還應具有DHT功能模塊,方便加入子云網絡。而應用部署服務器也是按照DHT模式管理的,因此,應將其部署到子云人口處,從而向DNS服務器注冊相關信息。
整體來講,基于動態哈希表(Dynamic Hash Table,DHT)的去中心化網絡拓撲結構能夠實現總體無中心化,消除單點失效,消除整體性流量均衡和負載均衡的必要性。而且,拓撲結構中的每個節點既是計算者,又是管理者,可以大大降低系統崩潰的風險。
4.2 DHT協議設計實現
如前所述,本文設計了基于P2P技術動態哈希表DHT方式的去中心化網絡拓撲結構,這可以視為針對應用層與網絡層之間的中間設計,其協議框架選用的是Kademlia協議,即:計算節點間的異或距離,從而逐步發現節點或內容的動態哈希表技術。如圖3所示。
由圖3可見,DHT位于服務層與網絡層之間,通過分布式通信協議RPC方式實現節點管理、服務程序與資源管理。此外,緩存機制采用的是SOCKET機制或者是HTTP協議。
1)DHT RPC
Kademlia協議通過PING、FIND_NODE、FIND_VALUE、STORE四種基本RPC方式實現子云之間、子云內部的遠程過程調用。
本文中,子云內部RPC協議必須使用FIND_NODE,而FIND_VALUE、STORE則使用較少,這是因為FIND_VALUE主要是用來查詢距離服務源最近的節點,而STORE主要實現服務或數據在節點上的部署,啟動后續操作。
在子云之間,因為本文采用的是在子云DNS服務器上使用DHT協議,整個子云之間并未完全實現節點與拓撲結構,所以,子云之間使用DHT協議主要是為了保證子云DNS服務器之間的相互查詢與復制。故:FIND_VALUE、STORE基本不會使用。
2)非DHT RPC
非DHT RPC主要是指實現拓撲發現與內容發現之外的整個系統的完整通信管理流程所需要的RPC,主要有TR_SELECT、TR_REG、SVC_START、 SVC_STOP、RUN_STAT、SVC_RQST、SVC_QUERY、SVC_COPY等。
4.3 代理緩存設計實現
本文在如圖2所示的去中心化網絡拓撲結構中的代理服務器中設置了主動緩存框架。本框架在常規緩存策略的基礎上,增加了預緩存機制,即通過在多媒體云計算平臺中部署服務器預緩存接口,實現感知具體服務內容的針對性的服務,從而提升服務質量。如圖4所示。

圖4 預緩存機制流程圖
本文所設計的緩存框架主要是面對能力與資源更受限制的移動終端,主要還是基于HTTP請求。簡單講,給出服務請求特征,編寫預緩存程序,然后在系統中注冊該服務,最后在特定服務內容中調用預緩存功能。
本文設計的網絡架構方案實驗測試主要是子云功能測試,采用40個節點的服務器群組件子云,測試平臺采用WindowsAzure。
子云功能測試主要從網絡構建、節點管理、服務部署、服務實施入手,籌建一個基本的子云平臺,完成面向節點與服務的子云平臺DHT協議功能測試。表1表述了不同節點數量時系統的指標參數。其中,服務部署時間指甫開市部署到最終部署到DNS服務器的時間;收斂時間指系統從零初始化狀態到所有節點處于相對平衡狀態的時間;響應時間指DNS從接收到請求開始到完成返回客戶端的時間;重定向節點時間是指發現故障點開始,到重新定義有效節點的時間。

表1 不同節點數量時系統指標參數
由表1可見,針對不同節點數量,除收斂時間變化差異較大外,響應時間、重定向節點時間基本滿足要求,這說明本文設計的基于DHT的網絡架構體系具有良好的運行時間、可靠的擴展性。
針對多媒體業務的特點,本文設計了一種新型的多媒體云計算平臺網絡架構方案,本方案基于P2P技術的動態哈希表(DHT)協議,實現了去中心化的網絡拓撲結構改進,并在此基礎上,設計了DHT面向節點與服務的管理模式,并給出了遠程過程調用協議的軟件架構。實驗測試結果,本方案具有較好的運行速度,較高的擴展性。未來,應該加強對本文所提出的預緩存框架的進一步實驗分析。
[1]Wikipedia.Cloud Computing[EB/OL].http://en.wikipedia.org/wiki/Cloud_computing.
[2]陳康,鄭緯民.云計算:系統實例與研究現狀[J].軟件學報,2009,20(5):1337-1348.
CHEN Kang,ZHENG Weimin.Cloud Computing:examples and research system[J].Journal software,2009,20(5):1337-1348.
[3]黑繼偉.基于分布式并行文件系統HDFS的副本管理模型[D].長春:吉林大學,2010.
HEI Jiwei.HDFS Replica Management Model Based On Distributed Parallel File System[D].Changchun:Jilin University,2010.
[4]Deelman E,Singh G,Livny M.The Cost of Doing Science on the Cloud:The Montage Example[C]//Proceedings of International Conference for High Performance Computing,Networking,Storage and Analysis,IEEE Austin,USA,2008:1-12.
[5]Armbrust M.Above the Clouds:A Berkeley View of Cloud Computing[R].Department of Electrical Engineering and Computer Sciences,University of California at Berkeley,Report No.UCB/EECS-2009-28,CA,USA,2009:50-58.
[6]Grossman R L,Gu Yunhong.On the Varieties of Clouds for Data Intensive Computing[J].IEEE Data Engineering Bulletin,2009,32(1):44-50.
[7]Hao Fang,Lakshman T V,Mukherjee S,et al.Secure cloud computing with a virtualized network infrastructure[C]//Proceedings of the 2nd USENIX conference on Hot topics in cloud computing.Boston,USA,2010:57-61.
[8]Zhuo H,Sheng Z,Nenghai Y.Time-Bound Ticket-Based Mutual Authentication Scheme for Cloud Computing[J]. International Journal of Computers,Communications& Control,2011,6(2):227-235.
[9]Feng J,Chen Y,Liu P.Bridging the Missing Link of Cloud Data Storage Security in AWS[C]//IEEE 7th Consumer Communications and Networking Conference(CCNC),1-2.IEEE Las Vegas,2010.USA:1-2.
[10]Jung Y,Chung M.Adaptive Security Management Model in the Cloud Computing Environment[C]//IEEE the 12th International Conference on Advanced Communication Technology.IEEE Gangwon-Do,Korea,2010:1664-1669.
Design and Implementation of New Multimedia Services Cloud Computing Platform Network Architecture
CHEN Yufeng
(School of Electrical Engineering,Chengdu Technological University,Sichuan611730)
According to the new multimedia services computing high complexity and strong real-time,this paper designed a new cloud computing platform Scheme,which used Dynamic Hash Table of P2P technology to realize network architecture(DHT)protocol to the no-center,and design the DHT protocol management model for node and service integration,introduce the pre caching technique.The experimental results show that the design of network architecture scheme has better running speed and higher expansibility.
multimedia,cloud computing,network architecture,design
TP309
10.3969/j.issn.1672-9722.2017.06.022
2016年12月21日,
2017年1月30日
陳宇峰,男,碩士,實驗師,研究方向:電氣工程、軟件工程。