基于DPDK技術的互聯網電視智能調度系統研究及實踐

謝崇斌，賴材棟，張小強

（中國移動通信集團陜西有限公司，陜西西安，710077）

0 引言

互聯網電視業務是基于家庭寬帶的一項重要業務，是對家庭寬帶質量最為敏感的業務之一。隨著家庭寬帶帶寬升級、提速，對于互聯網電視業務的質量提升更應該關注業務平臺自身。在日常運維中，互聯網電視業務的CDN負荷會因為人員遷徙，節假日、重大活動等發生變化，那么如何快速去均衡已經下沉的CDN負荷，保障用戶的業務感知成為了運維的一個難題。

1 智能分析調度系統的整體架構

1.1 系統總體設計

基于大數據的寬帶電視CDN質量智能分析調度系統主要設計為兩個模塊：采集分析模塊、智能調度模塊。

1.1.1 采集分析模塊

采集分析模塊主要負責數據的采集以及分析，DPDK技術與大數據分析技術是現在數據捕獲技術及數據分析領域的重要發展方向，通過二者與OTT的結合是未來OTT視頻質量分析技術發展的趨勢。本系統的采集分析模塊利用上述技術實現OTT用戶卡頓精確分析。

DPDK（數據平面開發套件）是由6WIND,Intel等多家公司開發，主要基于Linux系統運行，用于快速數據包處理的函數庫與驅動集合，可以極大提高數據處理性能和吞吐量，提高數據平面應用程序的工作效率。DPDK的基本構架如圖1所示，其中KNI模塊將報文從用戶態倒灌到內核協議棧處理，IGB_UIO模塊將網卡硬件寄存器映射到用戶態內存空間，可以使DPDK的驅動運行在用戶態，EAL（環境抽象層）能對操作底層資源的抽象與封裝，給程序提供統一的訪問接口，同時，DPDK提供一系列組件支持，如Timer提供基于HPET的計時器設施等。

圖1 DPDK 基本架構

在利用大數據進行分析研究數據的領域中，處理流式數據主要使用流式計算框架。目前主流的流式計算框架主要有Storm、JStorm、Streaming等。而JStrom因為穩定與時效而被廣泛采用，其基于Zookeeper的調度系統，Nimbus作為調度器角色，通過Zookeeper與Supervisior之間的交互，管理任務的提交及調度；Supervisior用以負責Worker的啟動與停止；Worker裝載Task負責業務計算與邏輯處理。

1.1.2 智能調度模塊

智能調度模塊負責生成調度策略，進行CDN節點智能調度。本系統的該模塊主要使用基于多鏈路負載均衡的流量調度算法。

該算法是在隨機一段時間內，對多條流量鏈路進行分組分別取樣測量，以便得出延遲的閾值和帶寬余量。設測量值為d，剩余帶寬樣本為rd，那么在第N重鏈路上，第j(j={1,2,...,K})個時刻的時延均值和剩余帶寬均值計算公式為：

定義第j(j={1,2,...,K})時刻N重鏈路上的時延和剩余帶寬的協方差為：

通過協方差與優化目標相比，不停循環計算達到最佳選擇。

1.2 系統功能概述

（1）分析準確：通過鏡像分光CDN用戶請求報文，對報文進行質量監測與分析，實時反應出全省、地市、節點、服務器層面的CDN質量情況。

（2）業務無感知：收集報文、分析、監測等過程均與CDN平臺并行，不會影響CDN服務器性能和業務質量，確保業務感知。

（3）調度智能：優化現有以“人工為主”的調度方式向“智能化”調度轉變，實現地市內不同節點間均衡、地市間均衡、節點內設備均衡和節目熱點智能分布。

1.3 系統部署方案

系統采用分布式部署方式，部署的設備包括匯總分析節點、數據采集節點。采集節點部署在CDN節點出口，需要將用戶請求流量鏡像到采集節點，所有的采集節點需要保證到匯總分析節點的網絡連通性。

2 智能分析調度系統實現應用

2.1 采集分析模塊的實現

2.1.1 基于DPDK技術的流量采集識別

基于DPDK開發模塊完成數據流量的采集識別工作，首先經過內核初始化包括EAL環境抽象層初始化、定時器設施啟動、網卡硬件初始化、然后在每個網卡隊列上設置環形緩沖區用于存儲報文，同時在CPU邏輯核上啟動一個線程，并分配的網卡隊列用以接收數據包。

在收到數據包之后，需要對數據包進行拆包處理，過程如圖2所示。

圖2 數據包拆封過程

對拆封后的數據包解析后獲得CMSID:點播/直播、STBID:機頂盒串號、URL:請求播放地址等信息，根據信息內容進入大數據分析系統進行分析處理。

2.1.2 基于大數據分析技術的實時分析

基于JStorm框架搭建一個Topology，用于實現 TF-IDF算法，并支持 DRPC 遠程調用實現所需處理流程，來進行數據分析。

首先創建Trident Topology，然后定義一個 document流，從消息隊列獲取文檔流，接著定義一個 term 流，用來對document 流中的文檔進行分詞，然后投影出所需的字段。接著創建StateFactory對象，用于保持與HBase d_rt表的持久化存儲之間狀態，之后創建TridenState對象，用來持久化和保持訪問文檔數，最后借助DRPC實現實時計算，對外提單詞重要度TF-IDF的查詢服務。

JStorm的運行分為本地模式和分布式模式，本地模式適合調試和開發，分布式模式能保證高性能，Topology將任務交給Nimbus，然后Nimbus將代碼分發給各個節點。

2.2 智能調度模塊的實現

在調度周期的開始，獲得每個節點的狀態信息，例如節點的服務質量、負載能力和鏈路狀態，而后對所有區域進行遍歷。將各個節點的狀態進行健康與非健康分類，在非健康狀態下的原有節點，流量調度算法會將原有節點中的全部流量調配出去，調配目標為備選節點，在調配到備選節點過程中，調度算法會根據備選節點狀態進行是否全部流量調度，如果節點狀態良好，則將部分流量分配到良好的節點。否則，報警。

圖3 某地市實施智能調度前服務器帶寬利用率

圖4 某地市實施智能調度后服務器帶寬利用率

2.3 智能分析調度系統的應用

該系統已在陜西移動十地市全面部署，大幅度提升運維工作效率，使得原本手動調度難以均衡的流量實現了智能均衡。

以某地市為例，該地市有兩個節點，實施智能調度前峰值負載率偏離度9%；均值負載率偏離度7%，實施智能之后，峰值負載率最大偏離度偏離度<3%，均值負載率最大偏離度<1%。

3 結束語

采用大數據分析系統結合DPDK技術，優化現有“以人為主”的調度方式向“智能化調”轉變，實時分析各地市CDN服務器質量，結合智能調度系統，實現了地市間、節點間CDN設備負載自動俊航，解決了傳統運維方式的弊端。