劉華,金志堅
移動互聯網流量加速技術研究
劉華1,金志堅2
(1.中國移動通信集團廣西有限公司,廣西 南寧 530022;2.中國電信股份有限公司廣西分公司,廣西 南寧 530022)
為了避免用戶流量迅速增長給移動通信網絡造成的影響,通過介紹移動通信網絡可用的流量控制、流量加速等管控技術,重點對流量加速相關的Cache、CDN、ICP調度優化等關鍵技術進行了研究和總結,并為運營商部署這些流量加速關鍵技術提供了方案和建議,以提升用戶感知。
移動互聯網 流量控制 流量加速
隨著智能終端及移動互聯網的快速發展,數據業務流量呈現爆炸式增長態勢。如何消除端到端業務鏈條的網絡瓶頸,利用有限網絡資源提升用戶感知,成為運營商亟需考慮的問題。本文著眼于用戶上網鏈路的優化調整以及內容的適配和加速,研究了可用于移動互聯網的流量控制和流量加速技術,并針對每種技術進行了利弊分析,提出了可行的部署建議,從而解決了運營商采取傳統的“開源”或“節流”方式均不能兼顧提升投資收益和用戶上網感知的難題。
流量控制屬于“節流”措施,通常包括數據控制和數據壓縮。
2.1 數據控制
數據控制技術是通過限制低價值業務用戶的速率來解決出口擁塞問題,保證高價值業務用戶的業務體驗。數據控制系統包括采集、檢測、控制三大過程。DPI(Deep Packet Inspection,深度報文檢測)是通過深度分析報文凈荷中的特征進行業務識別,對關鍵業務報文進行分析、丟棄等操作,實現業務的分析和控制。
雖然數據控制系統具有部署快捷靈活、效果直接等優點,但該方式往往“治標不治本”,只能緩解現象而不能解決擁塞本質問題,并且應用協議眾多,DPI協議識別準確度不足也會導致正常流量被“誤殺”,建議運營商只針對個別典型的業務進行小范圍部署。
2.2 數據壓縮
數據壓縮技術是通過在網內部署數據壓縮服務器,判斷數據的傳輸協議,對支持的協議數據,通過智能壓縮對用戶數據進行壓縮后發送給移動終端,從而減少數據的傳送流量,節省整體的傳輸時間,以提升傳輸速率。
數據壓縮技術需要客戶端軟件和服務器端配合。根據實驗數據驗證,對HTTP(Hyper Text Transfer Protocol,超文本傳輸協議)進行壓縮后(壓縮的內容包括文本、圖片、Flash等),應用效果一般。考慮到數據壓縮技術受使用的網絡環境及應用協議影響,效果提升存在一定的限制,建議運營商考慮與Web網關、Cache(緩存)系統、綜合網關等功能整合。
流量加速的本質是內容資源管理和優化,網絡側根據手機終端的能力,利用Cache、CDN(Content Delivery Network,內容分發網絡)、ICP(Internet Content Provider,因特網內容提供商)調度優化等技術進行上網鏈路優化、內容適配和加速,可有效提升網絡吞吐率和用戶感知。
3.1 Cache
Cache的本質是將用戶訪問的互聯網熱點資源作為副本緩存到本地,當內容資源再次被訪問時,由Cache中保留的副本直接提供,實現了“存儲換帶寬”、“一次外網訪問,多次內網服務”。通過部署Cache功能,可大大減少網間和網內的流量壓力,加快網絡訪問速度,并降低對其他運營商間互聯網絡的依賴。
Cache通常分為Web Cache和P2P(Peer-to-Peer,對等網絡) Cache,具體如圖1所示:

圖1 Cache系統示意圖
(1)Web Cache
Web Cache用來解決HTTP流量“小帶寬”需求問題,但不適用于包含動態內容較多的網站及頁面。通過對用戶DNS(Domain Name System,域名系統)請求進行重定向,最終將用戶訪問HTTP的請求引導到Cache,而不是源Internet。
如何將用戶引導到Cache,推薦采取以下措施:
1)部署Cache重定向設備
利用DPI設備,識別用戶發出的特定請求報文,Cache重定向設備將需加速的網站域名地址解析為Cache系統IP地址,回復給用戶。
2)部署智能DNS系統
由Local DNS根據用戶訪問的內容,對于在加速白名單中的域名,直接在解析結果中向用戶返回Web Cache的IP地址,將應用引導到Cache系統。
(2)P2P Cache
P2P Cache用來解決P2P流量“大帶寬”需求問題,基于對用戶請求的分析,緩存用戶最需要的熱點資源,通過對用戶的P2P業務請求進行重定向,將用戶的下載請求引導到Cache。
目前存在以下3種重定向模式,建議優選破解模式。
1)破解模式
對P2P交互報文進行破解,對于已緩存的內容加以引導,該方式在運營商側實現即可。
2)合作模式
與P2P服務提供商合作,在網內部署節點,由P2P應用進行調度,該方式過度依賴P2P服務提供商,實施難度較大。
3)授權模式
Cache系統經授權后可合法使用P2P私有協議,該方式過度依賴P2P服務提供商,對現網改造較大。
(3)部署建議
Web Cache不宜應用于更新較快的網站和網頁,建議運營商優選智能DNS系統,最終將用戶訪問HTTP的請求引導到Cache。P2P Cache為了避免對P2P服務提供商的依賴,建議可采用破解模式對已緩存的內容進行引導。
需要說明的是,Cache運營會存在由于緩存內容不當導致用戶無法訪問、版權和法律風險等問題,需要重點關注。
3.2 CDN
CDN是由眾多服務器組成的分布式網絡。它是一種智能虛擬網絡,通過一定規則將內容源發布到最接近用戶的邊緣,用戶可以就近取得所需內容,使得內容傳輸速率更快、更穩定,響應更及時。
(1)CDN應用模式
目前CDN應用模式分為自建、租用和混合三類,具體說明如下:
1)自建模式
企業自建CDN并為自身業務提供服務,如電信運營商、互聯網企業。
該模式的優點如下:
◆針對性強,可以與業務結合得更緊密,系統控制權及技術可自主掌控,方便靈活調整;
◆安全性高,無需將內容發布至第三方;
◆一次性投入,不必定期支付費用。
該模式的缺點如下:
◆需投入額外的研發成本與時間,成本較高;
◆節點數通常較少。
2)租用服務模式
租用專業CDN運營商的CDN服務,如藍汛、網宿等。
該模式的優點如下:
◆商用產品成熟度高,初期可快速實施部署;
◆運營及技術積累深,服務團隊專業;
◆服務成本逐年降低,投入產出比較高;
◆節點規模大,冗余性、可靠性更高。
該模式的缺點如下:
◆支出總成本較高;
◆安全性不如自建CDN系統。
3)自建與租用共存模式
部分互聯網站點通過自建CDN提供服務,但為增加覆蓋區域、應對高峰流量、實現業務快速上線等原因,同時也會租用第三方CDN,如新浪、騰訊、搜狐等。
(2)自建CDN實現網內內容的加速
基于自建CDN實現流量加速舉例如圖2所示,通過整合現網Cache節點、部署新的CDN服務節點,引入全網管控中心、內容中心構建新的CDN體系,實現對業務層內容在網內的加速。

圖2 基于自建CDN實現網內內容的加速
具體說明如下:
1)CDN獲取內容熱點、網絡負荷
CDN通過DPI、DNS日志等手段獲取用戶
熱點和網絡負荷等信息,判斷哪些內容熱點需
要進行分發。
2)CDN分發內容
CDN根據網絡和內容節點負荷、鏈路質量,
形成分發策略,將內容分發至各內容節點。
3)CDN調度用戶最優訪問
CDN根據網絡和內容節點負荷、質量、距
離,形成調度策略,將用戶調度至最優內容節點
訪問。
(3)第三方CDN實現網內內容的加速
基于第三方CDN實現流量加速舉例如圖3所示,通過租用第三方CDN服務,在網內部署CDN服務節點或建立專用電路,由第三方CDN將內容分發至靠近運營商網內,并引導用戶訪問,加快用戶的訪問速度。

圖3 基于第三方CDN實現網內內容的加速
(4)第三方CDN實現外網用戶訪問網內內容的加速
基于第三方CDN實現外網用戶訪問網內內容的加速舉例如圖4所示,通過租用第三方CDN服務,可以實現網內資源(如中國移動同一門戶、自有業務)面向網外用戶的分發,避免網間鏈路訪問質量差引發的訪問延時等問題。
(5)運營商CDN部署建議

圖4 基于第三方CDN實現外網用戶訪問網內內容的加速
為了保證數據安全且做到業務可控,在網絡投資不受限的情況下,建議運營商優選基于自建CDN實現流量加速;在網絡投資受限的情況下,建議運營商優選基于第三方CDN實現流量加速。
3.3 ICP調度優化
通過ICP調度優化可以為用戶上網提供最優鏈路,優化用戶上網路由,提升用戶感知。ICP調度優化通常針對HTTP用戶和P2P用戶進行,實現原理如下:
(1)HTTP用戶調度原理
ICP針對HTTP用戶進行調度優化原理,具體流程舉例如圖5所示。該流程包括:DNS解析流程(步驟1至6)、ICP調度流程(步驟7至8)、訪問服務器流程(步驟9)。
具體實現過程如下:
1)通過解析流程,本地DNS向163.com授權服務器發起針對www.163.com的域名解析請求;
2)通過ICP調度流程,163.com授權服務器發現全網共存在三處服務器,同時發現用戶來自于中國移動,返回中國移動網內服務器地址;
3)通過訪問服務器流程,用戶訪問位于中國移動網內的163頁面內容。
(2)P2P視頻調度原理
ICP針對P2P用戶進行調度優化原理,具體流程舉例如圖6所示。該流程包括:DNS解析流程(步驟1至8)、ICP調度流程(步驟9至10)、訪問服務器流程(步驟11)。
具體步驟如下:
步驟1:用戶打開暴風影音軟件,軟件發起針對暴風影音調度服務器的域名解析請求;
步驟2至8:本地DNS通過根服務器、COM服務器、暴風影音授權服務器,逐級遞歸,獲得暴風影音調度服務器的IP地址a.a.a.a;
步驟9:用戶向調度服務器發起Peer請求;
步驟10:調度服務器根據用戶源IP,發現其位于中國移動網內,將歸屬于中國移動網內的用戶地址返給用戶訪問服務器;
步驟11:用戶利用獲得的其他用戶IP地址進行視頻資源共享。
(3)部署建議
運營商在部署ICP調度時,應盡可能地減少網間訪問。建議基于以下配置規則:
1)對于跨網調度,建議按照本網、對等網和付費網的優先次序進行;
2)對于跨區調度,建議依次按照本大區內、相鄰大區間疏導的優先次序進行。
3.4 其他加速技術
(1)引入IDC
IDC(Internet Data Center,互聯網數據中心)是運營商利用已有的通信網絡、帶寬資源等,建立標準化的電信專業級機房環境,為企業、政府提供服務器托管、租用以及相關增值等方面的服務。
該方式適用于數據業務用戶規模較大的運營商,運營商通常會邀請流量TOP N(如TOP300)的互聯網企業入駐IDC機房,將互聯網熱點資源存儲在本地,減少跨網訪問的費用和時延,從而提升用戶感知。

圖5 HTTP用戶調度原理

圖6 P2P視頻調度原理
(2)引入第三方網絡
運營商可以通過第三方公司的網絡互聯節點和其他運營商實現間接互聯,在骨干網間出口擁塞的情況下較好地提升業務質量。
該方式適用于省內互聯網出口帶寬不足的運營商,通過第三方公司的網絡互聯節點和其他運營商實現間接互聯。例如,對于中國移動來說,第三方電路是指通過除中國電信、中國聯通之外的第三方運營商疏通CMNET網外流量的互聯網接入方式,通過配置路由策略,引入第三方電路訪問網外內容,可以擴展省內互聯網出口帶寬,快速疏通本省網間訪問流量,從而提升業務訪問速率。
(3)與大型CP/SP進行對等直連
CP(Content Provider,內容提供商)為運營商提供內容服務;SP(Service Provider,服務提供商)和運營商合作,與運營商建立相連的服務平臺,為手機用戶提供一系列信息服務。
該方式適用于數據業務用戶規模較大的運營商,運營商可通過與大型互聯網CP/SP進行傳輸鏈路直接互聯,流量疏導不再通過其他運營商的骨干網絡,實現流量本網化,從而提升業務訪問速率。
移動互聯網業務流程涉及端到端眾多業務流程和節點。為實現不同系統之間的流量最優化,針對運營商的實際情況,本文研究了基于數據流量管控技術的多種流量加速技術,并為運營商部署Cache、CDN、ICP調度優化以及IDC等關鍵流量加速技術提出了解決方案和建議。下一步,可在此成果基礎上,進一步研究不同流量管控手段、不同協議的流量疏導和流量加速技術,實現不同加速技術之間的協同。
[1] 中國移動研究院. 互聯網應用層協議原理[R]. 2012.
[2] 官建文. 移動互聯網藍皮書:中國移動互聯網發展報告(2016)[M]. 北京: 社會科學文獻出版社, 2016.
[3] 張宏科,蘇偉. 移動互聯網技術[M]. 北京: 人民郵電出版社, 2010.
[4] 吳大鵬. 移動互聯網關鍵技術與應用[M]. 北京: 電子工業出版社, 2015.
[5] 崔勇,張鵬. 無線移動互聯網:原理、技術與應用[M].北京: 機械工業出版社, 2012.
[6] W Richard Stevens. TCP/IP詳解 卷1:協議[M]. 范建華,胥光輝,張濤,等譯. 北京: 機械工業出版社, 2014.
[7] Doyle J, Carroll J D. TCP/IP路由技術(第二卷)[M].夏俊杰,譯. 北京: 人民郵電出版社, 2009.
[8] 李昌,李興. 數據通信與IP網絡技術[M]. 北京: 人民郵電出版社, 2016.
[9] Chris Sanders. Wireshark數據包分析實戰(第2版)[M]. 諸葛建偉,陳霖,許偉林,譯. 北京: 人民郵電出版社, 2013.
[10] 3GPP TS 29.061 V4.10.1. Interworking between the Public Land Mobile Network (PLMN) supporting packet based services and Packet Data Networks (PDN)[S]. 2005.★
Research on Traffic Acceleration Technique in Mobile Internet
LIU Hua1, JIN Zhijian2
(1. China Mobile Group Guangxi Co., Ltd., Nanning 530022, China; 2. China Telecom Co., Ltd., Guangxi Branch, Nanning 530022, China)
In order to avoid the influence of the rapid growth of user traffic on mobile communication networks, the traffic control and traffic acceleration techniques available to mobile communication networks were introduced. Key optimization and scheduling techniques such as Cache, CDN and ICP relevant to traffic acceleration were investigated and summarized. The solution and proposal to deploy mentioned above key traffic acceleration techniques for operators were provided to enhance user perception.
mobile Internet data control traffic acceleration
10.3969/j.issn.1006-1010.2017.16.004
TN915.43
A
1006-1010(2017)16-0017-06
劉華,金志堅. 移動互聯網流量加速技術研究[J]. 移動通信, 2017,41(16): 17-22.

劉華:中級工程師,工科學士畢業于北方工業大學,現任中國移動通信集團廣西有限公司網絡優化技術專家,從事通信領域工作12年以上,主要研究方向為移動通信網絡優化技術。

金志堅:高級工程師,工科學士畢業于西安電子科技大學,碩士畢業于武漢大學,現任中國電信股份有限公司廣西分公司網絡優化高級主管,從事通信領域工作15年以上,主要研究方向為移動通信網絡規劃、優化技術。
2017-04-26
責任編輯:袁婷 yuanting@mbcom.cn