基于網絡資源樹及信息熵的智慧家庭業務感知劣化定位方案

明萌，時宇，鄭潤含，馮云喜

（中國電信集團有限公司，北京 100020）

0 引言

自2013 年以來，憑借“互聯網+”的風潮，國內外各大運營商紛紛借助寬帶運營與家庭互聯網產業鏈，積極發展智慧家庭業務，在推進人民家庭生活的智慧化、信息化方面做著嘗試與轉變。傳統的寬帶業務是智慧家庭業務的基礎，IPTV 以光寬帶為接入方式，向用戶提供家庭娛樂/信息化一體化服務、視頻通話/智能家居/智能音箱等新興業務。天翼看家通過“光寬+4G/5G”網絡接入，依托云化開放的智慧家庭平臺，為客戶提供解決家庭視頻安防需求的“云+網+平臺+應用+服務”型產品。天翼看家與傳統寬帶+IPTV 業務共同構建了更為豐富多彩的智慧家庭生態圈。

當前，對IPTV 故障定位的研究方法較多，包括EPG（electronic program guide）響應故障定位[1]、視頻質量故障定位[2]、網絡系統故障定位[3]等，對家庭寬帶和其他智慧家庭產品的故障定位方法較少。文獻[3]設計實現了一種大數據環境下的IPTV故障定位系統，采用相關性算法與聚類算法結合的方式篩選用戶關鍵績效指標（key performance index，KPI）中的代表性指標，建立質差用戶篩選模型得到質差用戶。文獻[4]主要采用視頻平均意見得分（video mean opinion score，VMOS）評價用戶觀看視頻業務體驗。文獻[5]通過遍歷獲取的故障樹，對各非根節點對應的故障原因進行檢測，并從中定位導致所述待定位故障現象的故障原因。文獻[6]介紹了基于主動探測技術家庭寬帶運維質量監測手段。以上文獻大多基于網元KPI 進行故障定位，缺少對感知群障的定界、定段、定位。

本文提出了基于網絡資源樹及信息熵的智慧家庭業務感知監測及感知劣化定位方案，定義了統一的智慧家庭業務感知指標體系，提供故障精準定界、定段、定位方案，旨在解決智慧家庭業務端到端環節較多、群障及單用戶故障人工定位困難的問題。

1 需求分析

隨著智慧家庭業務的快速發展，接入網[8]、承載網和骨干網等端到端網絡的規模也在不斷擴大，故障運維難度也逐漸增大。當用戶感知發生劣化時，如何精準快速地定位故障原因已成為運維方面的重大挑戰。目前，產業界對家庭寬帶、IPTV、天翼看家等智慧家庭業務的感知質量評估側重于網絡質量，主要是在用戶主動投訴或維護人員定期或不定期地對設備進行測試方面，需要耗費一定的人力和物力。而對用戶端到端感知的監測和感知劣化定位手段相對缺乏，主要存在以下3 點困難。

· 缺少統一的智慧家庭業務感知指標體系，數據存在廠商、型號、設備的壁壘。傳統的用戶感知評估模式通過調查問卷等方式判斷用戶感知，但是隨著智慧家庭業務的快速發展，傳統用戶服務已無法滿足用戶感知提升的需求。為了科學、量化地評估用戶感知并精準定位質差原因，需要建立統一的智慧家庭業務感知指標體系。終端存在多廠商、多型號的數據“壁壘”，需要定義統一的體驗質量（quality of experience，QoE）[9]、關鍵質量指標（key quality indicator，KQI）[10]和KPI[11]，包括IPTV 視頻感知、家庭寬帶感知和天翼看家使用感知的QoE 模型，基于業務和應用層的KQI 和網元KPI，建立統一的端到端精準定位方法。

· 缺乏主動預防群障手段，無法預先發現群障隱患。傳統網絡的維護方法只能在故障發生后才開始維護，不能滿足智慧家庭群障預警、預防的需求。為了更好地提升用戶使用智慧家庭業務的感知，先于用戶發現故障并進行預見性維護可以減少用戶投訴。

· 群障定段/定界、根因分析、單用戶判障困難。傳統的質量監測方法中網絡性能指標與用戶感知不對應，維護人員在處理用戶感知劣化等故障時，較難判斷真實的故障點，這導致群障和單用戶等故障維護困難。

本文通過定義統一的智慧家庭業務感知指標體系，提供預見性維護和故障的精準定界、定段、定位方案，解決群障和單用戶判障困難等問題。

2 智慧家庭業務感知質量監測及劣化定位架構

本文融合云、網、端到端資源數據、終端探針側數據、媒資信息及各類告警性能等，進行實時采集、匯聚及關聯挖掘分析。在用戶終端部署質量監測探針，覆蓋多渠道采集來源，打破傳統質量監測探針無法適配不同廠商終端的限制；定義統一的視頻感知優良率、寬帶網頁訪問優良率等感知算法，結合性能數據進行關聯分析，解決了傳統的質量監測方法中網絡性能指標與用戶感知不對應、用戶體驗難以準確定量和定位等問題。針對感知數據量大的特點，本文提出解耦化的分模塊處理架構，主要依托Spark 大數據計算平臺基于多項大數據技術組合，采用“Flume[12]+Kafka[13]+SparkStreaming[14-16]+Redis[17]+MongoDB[18]+ES[19]+MySQL[20]”的技術框架，通過設計邏輯統一、物理分散的“分省前置模塊+中心處理模塊”的數據采集處理架構，適用于智慧家庭業務感知群障告警實時分析、非實時隱患優化、單用戶問題定位等多種生產維護需求。

2.1 感知數據采集與指標體系定義

本文采取在用戶終端部署質量監測探針的方式，監測不同播放行為下的實際用戶業務體驗，經現網測試應用，該方式能靈敏、準確地感知用戶的實際體驗。針對寬帶業務，通過家庭網絡質量插件主動獲取用戶家庭網絡設備信息、無線信息、異常信息等關鍵指標，通過寬帶質量主動撥測探針插件模擬用戶行為，獲取瀏覽網頁、觀看視頻、玩游戲時業務感知體驗優良率。針對IPTV 業務，通過部署機頂盒軟探針，從芯片解碼層面感知用戶卡頓，獲取用戶的播放行為數據。針對視頻監控類業務，在手機App 采用埋點方式上報用戶行為數據。

基于探針獲取的感知數據，本文定義了一整套智慧家庭業務感知指標體系。針對各類業務特點，定義了光寬、IPTV、視頻監控業務的主要感知指標，智慧家庭業務感知指標體系如圖1 所示。其中，網頁訪問、視頻、游戲均屬于傳統光寬業務。針對每一類業務，選取關鍵的感知指標，根據重要程度賦予相應權重，可以達到客觀、統一評價各類業務感知的目的。

圖1 智慧家庭業務感知指標體系

2.2 性能數據采集

性能數據主要通過設備網管進行各省分布式采集，本方案根據不同智慧家庭業務特點，主要選取設備端口利用率、CRC 誤碼率、CPU 利用率等KPI，構建感知劣化問題定位的KPI 模型。光寬網頁訪問業務KPI 模型示例如圖2 所示，當發生光寬網頁訪問業務感知劣化問題時，可以通過KPI模型實現端到端定位能力。

圖2 光寬網頁訪問業務KPI 模型示例

2.3 系統架構

本方案采用Spark 分布式計算框架作為核心引擎，實現各種復雜的業務邏輯，對大規模數據進行快速的處理。在實踐中通過對Spark 任務進行多種的性能調優，包括代碼優化、算子調優、參數調優、shuffle 調優以及數據傾斜調優等，實現所有Spark實時作業的執行時間都在5 min 以內，且系統持續穩定運行，運行無時延。以單質量模塊為例，實時計算每分鐘每個用戶的質量信息，每分鐘用戶話單合計約1 500 萬條（15 GB 左右）。算子優化及參數調整后，Spark 在2～3 min 完成計算，比優化前效率提升了5 倍，有效支撐了業務數據的實時處理。

智慧家庭業務感知質量監測及劣化定位架構如圖3 所示，共解耦為5 個模塊：數據采集、數據轉發、數據清洗及分析、數據存儲和頁面顯示/數據共享。其中，數據清洗及分析模塊是系統的核心模塊。首先，對采集的探針數據、性能數據、端到端資源數據進行數據清洗、關聯、抽取，得到單個用戶的基本信息、行為、感知指標數據，該數據一方面輸出到Elasticsearch 分布式集群支撐單用戶查詢需求；一方面輸出至多維分析模塊，按不同時間維度、不同區域、不同內容分發網絡（content delivery network，CDN）節點等各維度進行收斂匯聚，生成多維結果數據，支撐實時監測及報表分析需求。告警模塊對不同維度計算、分析、預測產生的數據進行監控，生成標準的告警數據，并對數據記錄進行判斷，將未達到優良率閾值的記錄判定為告警，在分析得出告警定位結果后，通過Web 頁面進行展示，并發送至綜合告警系統，實現告警工單的及時派發。

圖3 智慧家庭業務感知質量監測及劣化定位架構

3 感知劣化定位

本文針對網絡告警關聯復雜度高的問題，提出“信息熵”屬性，將各層級設備下掛設備質差率分布均衡程度映射成信息熵，構建端到端特征庫，對各層級信息增益及同級平行節點信息熵進行關聯運算，實現感知劣化問題的精確定段。基于定段結果，結合網絡性能數據和用戶感知數據，通過關聯分析實現接入網設備告警的根因定位。

3.1 端到端收斂

智慧家庭業務端到端環節較復雜，傳統光寬業務，主要涉及家庭網絡、接入網、城域網、骨干網、互聯網數據中心（Internet data center，IDC）/服務提供商（service provider，SP）等；IPTV 業務涉及電子節目指南（electrical program guide，EPG）/CDN、節目源等；視頻監控類業務涉及視頻監控能力平臺及服務節點。關聯第1.1 節的感知數據與用戶資源拓撲數據、節目資源數據等，并定義感知優良率指標為：感知優良率=感知優良用戶數/總播放（或使用業務）用戶數，其中感知優良用戶具體定義可參考第1.1 節的感知指標。智慧家庭業務端到端拓撲結構如圖4 所示，包含從家庭網絡至骨干網的各個段落設備IP 地址、設備性能等數據，讀取網絡設備拓撲結構信息和感知優良率指標構造出網絡資源樹。

圖4 智慧家庭業務端到端拓撲結構

對各環節進行逐段收斂匯聚，即可得出各環節感知優良率。各環節感知優良率互相關聯，感知劣化通常同時發生在多個環節。例如，當某節目源質量劣化時，觀看該節目的用戶感知劣化，用戶所在的光線路終端（optical line terminal，OLT）、寬帶接入服務器（broadband remote access server，BRAS）等設備感知指標均發生劣化。因此，當單用戶或者某環節感知劣化超限時，無法直接定位故障原因。針對此問題，本文進一步提出了第3.2 節中的定段算法，當單用戶出現故障時，支持一鍵診斷，根據感知劣化情況收斂至某一環節，以實現感知劣化問題的精準定段。當群障發生時，根據第3.2 節中的定段算法，定位故障原因。

3.2 基于信息熵的感知劣化定段

感知劣化定段即對每個設備節點，按照感知優良率指標計算信息熵，并在上下層的節點進行推理定界并定段。讀取網絡設備拓撲結構信息和感知優良率指標，構造網絡設備樹，即節點為各網絡設備，父節點為同一鏈路上游的高層級網絡設備，子節點為同一鏈路下游的低層級網絡設備。同時每個節點包含設備ID、感知優良率、層次編號、下掛子節點等屬性。使用網絡設備樹結構儲存數據的優點是在海量設備中查找指定節點速度更快，并為推理模塊中對存在告警的節點鏈路進行遞歸推理做鋪墊。

遍歷每個網絡設備節點，初始化“信息熵”屬性，并先對其所有子節點的感知優良率進行分箱編碼操作，再計算信息熵，更新“信息熵”屬性，信息熵計算式為：

如果某網絡設備節點的信息熵很小，說明子節點的感知優良率集中落入某一分箱編碼，否則子節點的感知優良率可能分布較為分散。實際應用中，若某一設備下掛的眾多下聯口質差均衡，則該設備的信息熵偏小，就會將群障告警定段歸為該設備；反之，若該設備下掛的下聯口設備出現質差不均衡，則信息熵偏大，就會將質差設備定段到下聯質差設備，其中信息熵閾值分別為0.65、0.4。

例如，查看OLT上聯BRAS的信息熵情況如下。

· 當BRAS 的信息熵存在＜0.4 時，認為該故障點發生在BRAS 設備及其以上網絡層。

· 當BRAS 的信息熵都＞0.65 時，認為該故障點發生在BRAS 下聯的OLT 或OLT 連接BRAS 的鏈路。

· 其他條件無法判斷，不做歸并定段處理。

基于信息熵的感知劣化定段示意圖如圖5 所示，設網絡設備樹中的最高設備層級編號為0，最低為3，向上推斷閾值為a，向下推斷閾值為b，對每個網絡設備節點按照以下邏輯進行遞歸推理。

圖5 基于信息熵的感知劣化定段示意圖

如果該節點層級編號為0，且存在告警，若該節點的信息熵＜a，則推斷故障發生在本節點；若該節點的信息熵＞b，則推斷故障發生在下游節點。如果該節點存在告警，且不是最高層級，如節點的信息熵＜a，則查看父節點的推斷結果，若父節點推斷為下游，則判定為本節點故障，若父節點判斷為上游或是父節點本身，判斷故障位置參見父節點的定段結果；如該節點的信息熵＞b，推斷故障發生在下游節點。

對告警進行定段處理，如果某設備故障告警定段于上游設備，且上游設備存在告警，同時上游設備定段在本節點或者上游，則刪除本條告警。如果某網絡設備告警故障定段于下游，則刪除下游的所有告警。

本文實現了告警定段到具體的網絡設備，通過在整條鏈路上進行遞歸推斷，能夠具體確定網絡層級和編號。對于所有存在網絡層級拓撲結構的設備故障定段場景，只需要確定信息熵計算依賴的用戶體驗指標以及上下推斷的信息熵閾值即可復用。

3.3 結合性能數據的精確定位

為進一步實現感知劣化定位，需要基于網絡設備性能類、終端性能類數據等進行大數據建模，通過網絡設備性能數據與設備感知優良率的關聯分析，找到造成設備質差的性能閾值，從而實現感知告警的根因定位。

例如，若某感知告警定段至OLT，基于設備性能與用戶感知關聯對OLT 故障進行根因定位。首先，對單個OLT 歷史時間內端口流量利用率與設備下的感知優良率（即卡頓且傳輸流（transport stream，TS）丟包用戶占比）趨勢做關聯分析，發現OLT 上聯口端口流量利用率（端口流量利用率為端口所用流量占端口總帶寬的比例）與TS丟包率過高且卡頓用戶占比過高有強相關性，OLT TS 丟包卡頓率與端口流入流量利用率如圖6所示。為找出端口流入流量利用率的閾值，進一步針對5 min 400 萬條OLT 質差清單統計不同TS丟包卡頓率閾值下故障設備的占比情況。TS 丟包卡頓＞5%占比隨端口流量利用率分布變化如圖7可示，當端口利用率超過70%，故障設備的占比開始顯著上升。同理可分析得到OLT 感知優良率與端口利用率、CRC 誤碼率和CPU 利用率等的關聯關系。

圖6 OLT TS 丟包卡頓率與端口流入流量利用率

圖7 TS 丟包卡頓＞5%占比隨端口流量利用率分布變化

當感知劣化定段至某具體段落，根據分析所得的關鍵性能指標與感知劣化的關聯關系，可定位到某一個或幾個具體性能指標。

4 結束語

本文提出了一種基于網絡資源樹及信息熵的智慧家庭業務感知監測及感知劣化定位方案，實現了智慧家庭業務感知劣化類故障的定界、定段、定位，解決了智慧家庭業務端到端環節較多、群障及單用戶故障人工定位困難的問題。同時，該方案也適用于所有存在網絡層級拓撲結構的感知劣化定位場景，在確定基于信息熵計算的用戶體驗指標以及信息熵閾值情況下，即可復用本文提出的定位方案，具有良好的可擴展性。