不可否認,互聯網已經成為人們日常生活和社會經濟正常發展不可或缺的部分。與此同時,隨著各類移動智能終端的日益普及,以及各類無線移動接入技術的廣泛部署,移動互聯網正在成為新興的增長點。而云計算、物聯網、移動互聯網等相關產業的興起,更是極大地擴展了互聯網的內涵和外延。
現狀:流量持續增長 網絡面臨挑戰
互聯網規模的擴大、業務種類的增多以及用戶數的攀升,直接導致了網絡流量的迅猛增長。根據Cisco Visual Networking Index (VNI) Forecast的預測,2015年全球互聯網總流量將是目前的四倍,達到每年約966 Exabytes,相當于2.5億張DVD的容量。同時,更多的視頻數據將在互聯網上傳輸,預計到2015年,每秒鐘將會通過互聯網傳輸100萬分鐘視頻,而傳送3D電視和高清視頻的流量,則會增長14倍。在用戶數方面,預計到2015年互聯網用戶將增長到30億戶。平板電腦、手機及其他智能終端設備的普及,使得2015年的網絡互聯設備總數將達到150億臺,而這又進一步帶動移動互聯網的流量攀升。根據預測,2015年這一數字將達到2010年的26倍,每月高達6.4 Exabytes。
互聯網和移動互聯網業務規模與商業價值的快速擴張,帶來了網絡流量的指數級激增,給傳統的網絡管理帶來了諸多的挑戰。
1. 網絡擁堵,QoS缺失。由于“帶寬殺手業務”(如P2P、視頻、下載等)的泛濫,大量數據在網絡上被無序重復傳輸,使得傳統依賴于互聯網的應用系統傳輸速率慢、用戶體驗差、關鍵業務帶寬缺乏保障。而運營商單純的網絡容量擴容速度遠遠趕不上流量的增長,從而不能改善網絡擁堵的現狀。
2. 投資成本激增,網絡投資回報率低。新的互聯網業務和應用,使得互聯網公司能夠從終端銷售、應用下載、流量分成、廣告收益等多個方面獲得豐厚的回報。而與之形成鮮明對比的是,視頻、音樂、游戲占用了越來越多的網絡帶寬,運營商為此支付了高額的建網與擴容成本,投資回報率卻大幅降低。
3. 助長互聯網免費經濟模式,影響網絡健康發展。互聯網免費經濟模式造成了網絡經濟產業鏈的嚴重失調,“流量經濟”得不到價值體現。互聯網的長期發展應該創造對版權的保護、對信息流的定位及區分,從而為電信運營商、內容與服務提供商以及用戶等帶來經濟效益。
探索:
流量優化和應用優化
流量的無序激增和IP網絡天生的技術缺陷,加劇了網絡運營商“管道化”趨勢,使網絡成為“啞”管道,嚴重影響了互聯網生態鏈的健康發展。為了解決流量增長帶來的問題,IT業界和學術界已經開始探索網絡流量管理的辦法,并且通過運用CDN、緩存及流量控制管理等技術手段,實現網絡流量從無序化向有序化發展,提升網絡帶寬的利用率和有效性,提高網絡投資回報率,推動互聯網絡健康發展。
現有主流的互聯網流量優化技術主要包括內容分發網絡(Content Delivery Network,CDN)和基于緩存的流量管理系統。
內容分發網絡是美國麻省理工學院研究小組所提出的用于解決網絡擁塞的方案。研發者隨后在1998年成立了Akamai公司,目前這一公司已經成為全球規模最為龐大的CDN服務商之一。CDN網絡的誕生,大大改善了互聯網的服務質量,因此,傳統的大型網絡運營商紛紛開始創建自己的CDN網絡。2000年,藍汛在國內較早建立了專門的CDN服務網絡China Cache。截止目前,CDN網絡已經被廣泛部署于全球各大骨干網絡中。
內容分發網絡的目的,是通過在現有互聯網中增加一層新的網絡架構,將互聯網中的內容推送到最接近用戶的網絡“邊緣”,使得用戶可以從具備更低延時、更高傳輸率以及更優質量特性的本地服務器中獲取到所需要的內容,從而達到解決互聯網網絡擁塞狀況,提高用戶獲取資源效率,減少響應時間的要求。作為新興的網絡加速技術,CDN技術綜合采用了分布式緩存/復制、負載均衡、流量工程和訪問重定向等技術。國內利用了CDN技術的網絡流量優化廠商包括藍汛、網宿科技等。
內容分發網絡系統一般由內容緩存設備、內容交換機、內容路由器、內容管理系統等部分組成。
流量緩存技術最早應用于互聯網web系統中,隨著網絡應用類型和流量模型的變化,流量緩存技術也被廣泛應用到了視頻服務、P2P服務等眾多領域中。2004年,英國的Cachelogic公司率先將流量緩存技術應用于視頻服務、P2P服務等互聯網領域。2006年,以色列的OverSi、美國的PeerApp、中國的東方網信等公司相繼推出了各自的流量緩存技術產品。
流量緩存系統的基本思想就是以“存儲換帶寬”。這一設計理念是指在網絡“邊緣”部署緩存服務器,用以緩存互聯網內容,并利用海量存儲實現流量的本地化。通過利用緩存內容服務的后續請求,過濾掉重復的網絡流量,從而有效緩解互聯網出口流量壓力,并大幅提升用戶體驗,幫助運營商從容應對互聯網流量的沖擊。從技術原理上來分析,CDN解決的是可管理內容在互聯網上有效傳輸到用戶的問題,而流量緩存解決的是用戶訪問互聯網海量內容的流量優化和本地加速問題。與采用CDN技術進行流量優化相比,緩存技術具有投資少、見效快的特點,其適用的對象包括電信、廣電等寬帶運營商,也包括網絡視頻等大型互聯網內容運營企業。
傳統的流量緩存系統主要是面對Web流量進行緩存。隨著互聯網視頻以及P2P應用的持續增長,現有的緩存系統也在不斷地向綜合化緩存方向發展,并能夠對互聯網上的主流Web、在線視頻和P2P等大流量應用同時提供緩存。
一般來說,流量緩存系統可以采用旁路或者串入方式進行部署,旁路部署的方式通常采用分光和鏡像兩種方法復制網絡流量。流量緩存系統通常和深度包檢測DPI(Deep Packet Inspection)設備進行集成部署,從而為用戶提供“疏堵結合”的流量優化方法。
CDN和流量緩存系統因其自身的特點,在諸多的互聯網流量優化技術中脫穎而出,獲得了較快的發展,已經在運營商和互聯網用戶中獲得了廣泛的部署。
技術:
“推拉”機制
CDN能夠利用最近的網絡資源來服務用戶請求,加快遠程訪問速度,減少遠程訪問帶寬,分擔網絡流量,實現熱點內容主動傳送、自動跟蹤和自動更新,且發布的內容受到版權保護。
緩存技術的優點是能夠利用緩存流量來減少網間重復流量,減輕網絡出口擁塞。緩存數據直接服務于用戶,加快了用戶請求的響應時間,另外,緩存副本能夠保證在遠程服務器發生故障的情況下繼續為用戶提供服務,從而使得網絡具有高可用性。同時,緩存系統的投資更低,各地運營商也可自主部署。
CDN技術是一種將互聯網傳送內容送達到最終用戶的機制,可簡稱為“推”機制;而緩存技術則代表了一種最終用戶從互聯網主動抓取內容的機制,可簡稱為“拉”機制。隨著互聯網內容的爆炸式增長,由于人工推送存在局限性,單純依靠主動推送方式是不能夠及時反映互聯網流量熱點狀況的,而采取用戶主動發起的“拉”機制,更能夠符合現有網絡發展的趨勢。此外,緩存系統的部署通常采用旁路方式,當系統發生故障時也不會對原有網絡產生影響。
在可以預見的未來,移動互聯網、物聯網以及云計算將成為推動互聯網網絡流量及應用優化市場增長的主要驅動力。艾瑞咨詢數據顯示,2011年中國移動互聯網市場規模已經達到393.1億元,同比增長97.5%,預計2015年市場規模將達到4252.7億元,2011~2015年年復合增長率將達到81.4%。根據工信部預測,我國物聯網市場規模在2015年將達到5000億元規模。在云計算領域,計世資訊發布的調研數據預測,2011年~2015年中國云計算市場年復合增長率在50%以上。移動互聯網、物聯網和云計算的高速發展,將直接推動互聯網流量和應用優化服務需求的激增。受以上因素影響,2011年中國互聯網網絡流量及應用優化市場規模已經達到了73.1億元,預計到2016年市場規模將達到211.2億元,2012~2016年復合增長率為23.6%。
CDN技術2000年前后就被引入國內,是目前應用最廣泛的互聯網網絡流量優化技術。網宿科技2011年CDN收入規模達到3.4億元,增長82.8%;藍汛在2011年的CDN業務收入規模也達到6.2億元,增長56.5%。這兩家廠商目前已經占據了國內整個CDN市場近50%的份額。
緩存技術雖然起步較晚,但是保持了爆發式的發展勢頭,在未來幾年將保持較快的增長速度。目前在國內進行緩存技術開發和應用的企業中,東方網信起步較早,技術相對成熟,市場占有率較高。2009年后,隨著市場對緩存技術的逐漸認可,國內陸續有廠商進入緩存市場,包括思朗特、阿爾卡特朗訊、美勛智、華為等。思朗特、美勛智企業規模較小,目前主要集中在中小ISP市場,產品基于國內應用環境開發,本地化程度高。阿爾卡特朗訊在收購Velocix后,利用緩存技術彌補了其流控產品在市場競爭中的短板。華為也借助緩存技術實現了現有產品的優化組合。
展望:內容交換改變架構
未來的互聯網需要具備更好的可擴展性和高效率的內容分發能力,因此,面向內容的網絡將是未來網絡架構演進的一個重要方向,其優勢主要有三點。
首先,將CDN、P2P系統中通過預設方式產生的內容索引和內容緩存,變為隨著內容產生和分發而在網絡上隨時進行的行為。同時,將針對特定應用的CDN、P2P系統,變為針對網絡上各種內容的內容存儲、緩存分發網絡,提高了內容的分發效率和范圍。
其次,打破了只能利用特定CDN、P2P系統內已劃定副本的限制,使網絡上存在的內容副本都能被利用,并遵循就近性、帶寬最大、負載最輕等原則,選擇合適位置的副本來實現內容分發效率的最大化。
第三,嵌入網絡的緩存可以使路徑上傳輸過的內容留下副本,減少網絡上所傳輸的重復內容。
目前,國內已經有學者提出了內容交換網的概念。內容交換網這個概念代表了更適合內容分發的一種新型的網絡架構。內容交換網的核心思路是對內容的交換,其本質是通過對內容的標識、索引、查找、存儲和緩存實現內容在節點之間的高效傳輸,利用P2P、CDN、Cache等技術的優勢,實現具備分布式、高效、低成本、提升QoS、高可靠性、可管可控以及可擴展特性的,基于IP層之上的應用層內容交換網絡。
在未來相當長的一段時間內,受移動互聯網、物聯網、云計算等產業的快速發展影響,傳統基礎數據網絡環境難以滿足爆發式網絡流量遞增的情況還將持續存在,互聯網網絡流量及應用優化市場也將隨之保持增長趨勢。內容交換網絡作為結合了CDN和緩存技術優點的下一代網絡流量優化技術,將逐步成為未來發展的主流。