機器學習在大視頻運維中的應用

屠要峰+吉鋒+文韜

摘要：通過對中興通訊大視頻運維系統整體架構和關鍵模塊的介紹，以及機器學習技術在大視頻運維系統中端到端異常檢測、根因分析與故障預測等場景的具體應用的分析，并結合硬盤故障預測的實例，認為隨著人工智能在運維領域的應用發展，從基于規則的自動化運維轉向基于機器學習的智能運維必然成為趨勢。中興通訊適時采用了機器學習方法來提取歷史巡檢數據中蘊含的故障特征，并構建集成預測模型來提升大視頻運維的精度和效率，目前取得了較好的效果。

關鍵詞： 大視頻；大數據；機器學習；人工智能

隨著移動互聯網和寬帶網絡的快速發展，視頻業務以廣泛的受眾、高頻次的使用、較高的付費意愿，已經具備成為“殺手應用”的潛質。越來越多的電信運營商將視頻業務視為發展的新機遇，并作為與寬帶、語音并列的基礎業務。據Conviva用戶視頻報告的數據，35%的用戶把視頻觀看體驗作為選擇視頻服務的首要條件[1]。因此，運維保障成為視頻業務的關鍵。

當前視頻業務發展已進入“大內容”“大網絡”“大數據”“大生態”的大視頻時代。業務形態多樣，包括交互式網絡電視（IPTV）、基于互聯網應用服務（OTT）的TV、移動視頻等；組網復雜，視頻在多屏之間的無縫銜接、碼率格式適配等需求對網絡提出了更高的要求；數據多樣性大大增加，需要從視頻碼流、終端播放器、內容分發網絡（CDN）、業務平臺、網絡設備等各個環節獲取數據，既有結構化數據，又有半結構化、非結構化數據；數據實時性要求大大提高，傳統網管采集數據的粒度是5 min，而大視頻業務要求秒級的數據采集和分析，數據量和計算量增加了百倍。

這些都對傳統的運維模式和技術方案帶來很大的挑戰。如何在大視頻背景下客觀評價和度量終端用戶的體驗質量，如何界定視頻業務系統故障和網絡故障，如何快速診斷網絡中的故障并提前發現網絡隱患，如何發掘視頻業務運營和利潤的增長點，成為各大運營商對大視頻業務運維的關注重點。

1 大視頻智能運維系統的架構及關鍵技術

在原有運維技術手段基礎上，進一步依托大數據及人工智能技術，對大視頻業務系統產生的各類信息進行匯聚、分析、統計、預測等，中興通訊形成了智能化的大視頻運維系統，其系統架構如圖1所示。

大視頻運維系統有以下幾個部分組成：

（1）數據源。數據源主要指大視頻業務智能運維所需要采集的數據，包括終端的播放記錄、關鍵績效指標（KPI）數據；接入網絡的用戶寬帶信息、資源拓撲數據；CDN的錯誤日志、告警、鏈路狀態、碼流信息等；IPTV業務賬戶、頻道/節目信息等。

（2）數據采集及預處理。數據采集層主要是Kafka、文件傳輸協議（FTP）、超文本傳輸協議（HTTP）等用于數據采集的組件；數據預處理是指對各種異構日志數據進行解析、轉換、清洗、規約等操作，主要完成數據使用前的必要處理及數據質量保證。

（3）數據分析處理。數據分析處理主要包括流式計算處理框架Spark、離線批處理MR框架、人工智能計算框架、數據存儲及檢索引擎等。業務組件包括批處理、數據實時分析、機器學習等模塊。批處理模塊主要是對時效性要求不高的業務模塊的處理及數據的離線分析，包含但不限于故障及異常的根源分析、故障及特定規則閾值的動態預測、事件的依賴分析及關聯分析、異常及重要時序模式發現、多事件的自動分類等；數據實時處理主要是對于時效性要求較高的安全事件進行監測控制、異常檢測與定位、可能引發嚴重故障的預警、對已知問題的實時智能決策等；機器學習模塊包括離線的機器學習訓練平臺、算法框架和模型。

（4）業務應用層。業務應用層主要提供智能業務監測控制、端到端故障定界定位、用戶體驗感知、統計分析與報表等主要業務場景的分析及應用。

大視頻運維系統涉及的關鍵技術包括：

（1）大數據技術。該技術可以構建基于大數據的處理平臺，實現數據的采集、匯聚、建模、分析與呈現。

（2）探針技術。該技術可以實現全網探針部署，包括機頂盒探針、直播源探針、CDN探針、無線探針、固網視頻探針等，通過探針技術實現全面的視頻質量實時監測控制以及數據采集。

（3）視頻質量分析指標。該指標以用戶體驗為依據建立視頻質量評估體系，對視頻清晰度、流暢度、卡頓等多項用戶體驗質量（QoE）指標進行分析。

（4）人工智能技術。機器學習本身有很多成熟的算法和系統，以及大量的優秀的開源工具。如果成功地將機器學習應用到運維之中，還需要3個方面的支持：數據、標注的數據和應用[2]。大視頻系統本身具有海量的日志，包括從終端、網絡、業務系統多方面的數據，在大數據系統中做優化存儲；標注的數據是指日常運維工作會產生標注的數據，比如定位一次現網事件后，運維工程師會記錄下過程，這個過程會反饋到系統之中，反過來提升運維水平；應用指運維工程師是智能運維系統的用戶，用戶使用過程發現的問題可以對智能系統的優化起正向反饋作用。

2 人工智能技術在大視頻運維系統中的應用

2.1 基于人工智能的端到端智能運維

傳統電信網絡、業務系統的運維模式通常是在故障發生后，運維、開發人員被動地進行人工故障的定位與修復。技術專家通過分析系統日志，依據事先制訂的系統運行保障規則、策略和依賴模型，判斷故障發生的原因并進行修復。這一過程不僅工作量巨大，操作繁瑣，代價高昂，容易出錯，且不能滿足持續、快速變化的復雜系統環境需求。

大視頻業務系統的故障定界定位尤其復雜且耗時耗力，原因在于：大視頻系統中網元眾多且業務流程復雜，如包括IPTV管理系統、電子節目菜單（EPG）、CDN、機頂盒、直播源編碼器等眾多網元，發現問題需要各個網元一起定位排查，對人員技能的要求很高。大視頻系統對網絡要求比較高，機頂盒經過光網絡單元（ONU）、光線路終端（OLT）、寬帶遠程接入服務器（BRAS）、核心路由器（CR）等，從接入設備、承載設備到CDN服務器，中間任何一個網絡設備出現丟包、抖動等問題都會導致用戶的觀看體驗受影響，對這種卡頓分析是一個大難題。隨著視頻業務的快速發展和業務量不斷增長，如何快速定位問題，降低運維門檻變得越來越迫切。

端到端智能運維系統就是利用大數據采集分析、人工智能與機器學習等技術提升系統運維智能化能力，從智能化的故障定位、智能化的根因分析機制入手，覆蓋從被動式事后根源追溯到主動式事中實時監測控制及事前提前預判的各種業務場景（如圖2所示），提供從數據收集分析，故障預判到定位，再到故障自動修復的端到端保障能力。

面向歷史的事后追溯主要有歷史故障根因分析、系統瓶頸分析、業務熱點分析等；面向實時的事中告警主要有異常監測、異常告警、事件關聯關系挖掘、實時故障根因分析等；面向未來的事前預判主要有故障預測、容量預測、趨勢預測、熱點預測等。其中，事后追溯更多面向離線、非實時的運維故障分析，事中告警和事前預判更多面向實時或準實時的運維故障檢測、分析及預測。

機器學習技術在端到端的智能運維系統中有幾個應用點。

（1）日志預處理模塊

預處理的核心問題是將半結構、非結構化的日志轉換為結構化的事件對象。事件被定義為一種現實世界系統狀態的體現，通常涉及到系統狀態的改變。本質上，事件是時序的且經常以日志的方式進行存儲，例如：業務事務日志、股票交易日志、傳感器日志、計算系統日志、HTTP請求、數據庫查詢和網絡流量數據等。捕獲這些事件體現了隨著時間變化的系統狀態和系統行為以及它們之間的時序關系。事件對象可以簡單定義為： Event={時間戳，事件類型，<屬性1：屬性值1，屬性2：屬性值2 …>}。事件挖掘是一系列從歷史事件和日志數據中自動、高效地獲取有價值知識的技術，正確提取事件才能后續從時間、空間等多角度挖掘事件之間的關聯、依賴等關系。將文本日志集轉換成系統事件的典型技術方案包括：基于日志解析器、基于分類和基于聚類的方法。

最為直接的解決方案是采用日志解析器，該方法為每一種特定的系統日志實現對應的日志解析器，每種類型的日志采用正規表達式或預定義模板進行抽取。這種方式需要用戶了解系統日志，一個日志解析器難以適配不同格式的多種系統日志，需要大量的人力來開發定制的日志解析器軟件。從機器學習輔助人工完成日志解析的角度，可以采用分類或聚類的方式。

日志分類方法是一種直接從日志數據中識別事件類型的方法，它通過分類器模型將一條條日志消息劃分成若干個預定義的事件類型，如圖3所示。

一種簡單的分類方法是為每一個事件類型預先定義一種對應的正則表達式模式（如前所述的解析器或稱為過濾器）；另一種更為通用的日志消息分類方法是基于機器學習分類模型的方法，即用戶提供一些標記過的日志消息，每個消息的事件類型已被明確標注；然后，機器學習算法根據標記的數據建立一個分類模型，利用這個模型對新的日志消息進行分類。雖然這種方式帶來一定的泛化性，其主要問題在于需要大量的帶標記日志消息，需要一定數據積累與人力消耗。

另外一種基于聚類的方法，不需要大量人力且適用于多種系統日志，雖并非十分準確，但可以應用于能夠容忍一些錯誤或噪音事件的事件挖掘應用中。日志消息聚類采用無監督方法將日志劃分為各種類型事件，因為日志消息聚類并不要求準備一系列標記過的訓練數據，所以這種方法更加實用。業界典型的日志聚類方式包括基于日志消息簽名[3]和基于樹狀結構的聚類[4]等算法。

在實際應用場景中，需要根據業務的復雜度和數據積累情況，綜合選擇日志預處理解決方案：準確性要求非常高的場景需要使用專業日志解析器；而分類、聚類的機器學習方式更適合容忍一些錯誤或噪音事件的事件挖掘應用。

（2）日志離線分析模塊

日志離線分析的核心問題是通過機器學習算法發現事件之間的關聯、依賴關系。離線分析負責從歷史日志數據中獲得事件間關聯性和依賴性知識并構建知識庫。事件挖掘綜合利用數據挖掘、機器學習、人工智能等相關技術去發現事件之間的隱藏模式、未來的趨勢等關系。分析人員可以利用已發現的事件模式對未來事件的行為作預測，同時挖掘出的事件依賴關系也可以用于系統故障的診斷，幫助運維人員找出問題的根因，達到解決問題的目的。

事件的關聯分析，本質上根據日志文件中的每個消息事件的時間戳，發現時序事件之間的關聯性。我們重點挖掘兩種類型的相關性：基于時序連續值數據的相關性和基于離散事件數據的相關性。以大視頻系統為例：中央處理器（CPU）使用率、內存使用情況、磁盤讀寫數據量、網絡接收或發送數據量都可以表示為時間序列的連續值；而應用程序服務器上請求和應答序列被視作事件數據，因為每個數據項的值都是屬于某個類別的離散值，例如：CPU使用率的時序圖與磁盤讀寫數據量時序圖（如橫軸時間、縱軸數值的可視化表示）就會有很強的相關性；網絡異常事件與應用程序服務器上請求和應答異常事件，通過離散事件數據分布圖（橫軸時間、縱軸事件類型的可視化展示）分析就存在一定相關性，如兩類事件基本在同一時間點同時出現，具備一定的關聯性。

事件之間存在關聯性，不一定表明事件之間一定存在依賴或因果關系，比如事件A和B具備相關性，并不代表A引發B或B引發A，因此需要基于關聯關系基礎上進一步挖掘相互依賴關系。所謂事件依賴分析，發現類似A→B的依賴關系，最終形成一個事件依賴的動態概率模型圖。如圖4所示，A、B、C對應于大視頻運維中不同事件，通過基于時間窗的事件依賴算法[5]挖掘出各種故障事件之間的依賴并形成相應的依賴圖。

總之，離線分析主要是通過機器學習算法形成關聯、依賴的規則或概率圖模型，另外還包括利用歷史時序故障數據進行傳統機器學習特征工程建模或深度學習端到端的時序建模，為接下來的在線實時故障分析、定位與預測等提供支撐。

（3）實時分析模塊

實時分析模塊負責實時處理新產生的日志數據并根據離線分析獲得的知識模型完成在線運維的管理操作。典型的實時分析技術主要有異常檢測、故障根因分析、故障預判和問題決策等。

對于實時的異常檢測，可選擇的方案有兩種：基于監督學習和基于無監督的方案。前者利用基于離線訓練出來的檢測模型進行判斷，這種方式不如后者使用普遍。

故障預判更多的是基于歷史的數據進行分析建模，如下文即將講述的基于Smart硬盤故障預測示例。

問題決策則更為全面，對前述檢測出的異常，預判即將要出現的故障以及定位已知故障的原因，進行高層的資源調度，或發出設備替換的決策指令，最終避免可能出現的故障，自動修復已知的故障（若可以修復）或者發出告警通知運維人員進行人工修復。

（4）智能故障定位及根源分析

故障智能定位是模擬人工排查故障的流程，對可疑的故障檢查點進行逐一排查，通過采集各業務模塊的告警、性能指標、錯誤和異常日志，組織生成故障定位的基礎事件數據，針對故障現象配置對應的檢查點及處理建議。

在故障定位時，從故障現象出發，通過中序遍歷方式遍歷整個故障樹。前一個節點的出參是后一個節點的入參，檢查點調用應用程序編程接口（API）檢查本節點的故障原因是否存在，通過API來分別從各種網元獲取對應現象的證據信息，直至分析到葉子節點。然后將所有滿足條件的節點進行回歸，根據權重返回現象的原因。遍歷結束后綜合各個節點的檢查結果形成本次故障定位的診斷結論。

在用戶報障時可能對故障產生的時間、觸發的位置、觀看的節目等信息記憶模糊不清。在故障定位過程中首先需要從用戶的行為記錄里篩選出故障記錄，這個篩選的過程采用前述的日志聚類算法，對影響用戶感知的KPI進行聚類，對聚類結果根據預定的規則或分類器判斷出屬于故障類的記錄。如果有多條故障記錄，任選一條故障記錄進行定位。除通過算法篩選故障記錄外，另提供人工輔助篩選功能提高準確性。

智能化的根因分析，主要根據前期分析出來的事件依賴概率圖模型，建立基于歷史故障定位及處理經驗集的專家知識庫，利用機器學習的理論與技術，在多維變量間因果關系做出權重的動態調整，調整各個檢查點的權重。故障定位方法較之前的傳統方法具有更精確的錯誤定位效果和更顯著的定位效率。

2.2 基于人工智能的硬盤故障預測實例

當前大視頻運維過程中遇到的難題之一就是CDN故障硬盤的置換。為了規避軟硬件風險，提升數據中心管理效率，制訂合理的數據備份遷移計劃，業界各大主流IT企業均展開針對硬盤故障預測的研究工作。研究者認為：在此預測技術的支撐下，可以極大地提升服務/存儲系統的整體可用性。我們接下來將列舉一個基于機器學習實現的CDN硬盤故障預判的實例。

當前，自我監測分析和報告技術（SMART）已經成為工業領域中硬盤驅動狀態監測和故障預警技術的事實標準[6]。研究表明：硬盤的一些屬性值如溫度、讀取錯誤率等，和硬盤是否發生故障有一定的關系。如果被檢測的屬性值超過預先設定的一個閾值，則會發出警報。然而，硬盤制造商估計，這種基于閾值的算法只能取得3%～10%的故障預測準確率和低預警率[7]。學術界和工業界在采用機器學習方法提升SMART硬盤故障預測精度方面的工作由來已久，但受限于數據集規模，現有方法取得的預測模型效果不佳。近年來，隨著越來越多廠商的關注，基于SMART巡檢數據的硬盤故障預測研究有了很好的數據支撐，一方面體現在硬盤規?？焖僭鲩L，另一方面體現在采樣工作正規化。在以上高質量數據支撐下，基于SMART巡檢數據的故障預測水平得到了顯著提升。

我們在大視頻運維中基于SMART數據進行硬盤故障預測，采用了基于旋轉森林的集成預測模型方案，基本流程如圖5所示。

將SMART掃描數據集按照局點和硬盤型號進行細分，每個局點每個硬盤型號的數據分別建立預測模型，每個預測模型的構建過程為：

（1）特征工程。特征工程是決定預測效果的關鍵步驟。我們不但需要考慮觀測點當時的SMART取值，也需要考慮該SMART取值的歷史變化趨勢、震蕩幅度、跳變頻率等因素，主要策略包括取高價值屬性和衍生時序特征。取高價值屬性，即采用“數據驅動和領域知識相結合”的策略，一方面和相關硬件專家交流，聽取他們的領域指導意見；另一方面，從故障硬盤的歷史SMART記錄集出發，找出“故障硬盤和健康硬盤在該屬性上統計性質存在不一致”的SMART屬性。專家知識和數據驅動結果都作為特征工程結論的一部分，寧多勿少。衍生時序特征，即在找出具有提示性效果的高價值SMART屬性后，對其時序特征做進一步衍生、調整。以上兩種特征工程策略相互補充，共同組成了模型訓練需要的特征空間。

（2）模型訓練。模型選擇和訓練、優化是構造預測模型的直接步驟，由于基于SMART記錄集做硬盤預測是一個高維分類問題，同時正負數據嚴重不平衡，采用線性分類模型往往沒有很好結果，因此考慮采用構造非線性模型來解決問題，主要分兩大步驟：重新平衡正負樣本和非線性建模。重新平衡正負樣本，即采用“過采樣+降采樣”結合的策略，對于負樣本（健康硬盤），考慮采用聚類方法提取聚類質心，將質心附近的樣本按比例提取作為該聚類的代表，從而實現降采樣，而聚類算法和聚類質量評價準則需要根據實際數據分布來決定；對于正樣本（故障硬盤），考慮采用過采樣方法來提升正樣本數據分布。以上降采樣和過采樣策略結合，把正負樣本的比率從1：50重構到1：5以內，重構訓練集。非線性建模，即利用旋轉森林技術對以上訓練集進行降維，并選擇核方法、神經網絡來構造分類超平面，擇優選擇其中有代表性的模型，然后再將這些模型利用層疊泛化技術組合形成最后的預測模型。

（3）模型評估。模型評估即將模型訓練階段生成的模型，在測試集上進行測試，重點關注預測準確率和故障覆蓋率（召回率），直到選出符合要求的模型。

（4）模型上線。模型上線即將通過模型評估的最終模型部署到現網環境后，每次SMART掃描得到的新樣本均需要輸入本模型，得到“未來一段時間該硬盤是否發生故障”的預測結果。

我們在Backblaze數據集（2016年Q1—Q2）[8]上選取了某型號希捷硬盤的SMART掃描記錄做驗證，其中時間跨度為6個月182天，數據粒度為每天掃描，涉及到11 890塊硬盤（連續3天掃描找不到則視為故障盤，這種盤共242塊），共2 118 925條掃描記錄。按照7：3的大致比例劃分訓練集和測試集：測試集共3 560塊硬盤（故障盤共83塊），共634 950條掃描記錄。

我們采用如表1所示的SMART基礎屬性來進行建模，共有12個基礎屬性。

考慮到SMART屬性前后變化趨勢也可能昭示著后續硬盤故障，因此我們在以上基礎屬性上衍生了時序率屬性，包括每個基礎采集之前9天內的相對變化率。

將以上基本SMART屬性和衍生屬性融合，作為SMART故障預測的特征參與模型構建。我們采用的子分類器如表2所示，共4類18個。

隨著旋轉森林特征子集分塊參數的變化，生成的子分類器對故障的預測能力也在不斷調整，最終生成 不同分塊參數對應的模型在同一測試集下不同的預測效果（如圖6所示）。當旋轉森林特征子集分塊參數為6時，能夠取得98.8%的最高覆蓋率，同時達到5.75%的誤報率；當旋轉森林特征子集分塊參數為5時，能夠取得3.6%的最低誤報率，同時達到97.6%的覆蓋率。

此外，在當前測試中可以發現：絕大部分故障在預報30天內可以被證實，圖7是預警提前天數的分布累計情況。

綜上所述，基于SMART的故障預測技術在當前智能運維領域已經有了長足的進步和發展，中興通訊在大視頻運維中也適時采用了機器學習方法來提取歷史巡檢數據中蘊含的故障特征，并構建集成預測模型來提升大視頻運維的精度和效率。從當前Backblaze數據集的測試情況來看，也取得了較好的效果。

在當前工作的基礎上，我們后續將進一步提升人工智能在大視頻運維中的落地效果，包括采用半監督學習來提高模型的數據利用率，采用遷移學習來加速模型在新局點的訓練部署進度，使用強化學習來優化大視頻運維的策略和流程等。

3 結束語

信息通信技術（ICT）時代，無論對于運營商網絡還是業務系統的運維支撐，都需要加速與人工智能技術的落地實踐，提供高度自動化和智能化的運維解決方案。人工智能、機器學習技術在大視頻運維的智能化提升重點體現在運維模式從被動式事后分析轉為積極主動預測、分析及決策。隨著人工智能技術的加速發展，大視頻運維與人工智能技術的結合會越來越緊密，大視頻運維技術將朝著更加智能化的方向演進，實現更加自動化和精準的故障預測和排查，主動發現業務系統中的故障或薄弱環節并加以修復。在實現智能運維基礎上，通過對視頻業務使用者的行為分析、家庭及用戶畫像等一系列的建模分析，充分挖掘海量數據的價值，衍生出新的業務形態，實現智能化的運營系統，為運營商創造新的商機。

參考文獻

[1] 黃珂，李銳，姜春鶴.基于大數據的視頻體驗保障[J]. 中興通訊技術（簡訊）， 2017 （3）： 22-25

[2] 基于機器學習的智能運維[EB/OL].（2017-04-22）[2017-06-25].https：//zhuanlan.zhihu.com/p/26216857

[3] TANG L， LI， T， PERNG C S. LogSig： Generating System Events from Raw Textual Logs[C]//In Proceedings ACM International Conference on Information and knowledge Management. UK：ACM， 2011：785-794

[4] TANG L， LI T. LogTree： A Framework for Generating System Events from Raw Textual Logs[C]//In Proceedings of IEEE International Conference on Data Mining （ICDM）. USA：IEEE， 2010：491-500

[5] LUO C， LOU J G， LIN Q W， et al. Correlating Events with Time Series for Incident Diagnosis[C]//In Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. USA：ACM， 2014： 1583-1592

[6] HAMERLY G， ELKAN C. Bayesian Approaches to Failure Prediction for Disk Drives[EB/OL].[2017-06-28]. http：//cseweb.ucsd.edu/～elkan/smart.pdf ICML

[7] ECKART B， CHEN X， HE X， et al. Failure Prediction Models for Proactive Fault Tolerance within Storage Systems[C]//Modeling， Analysis and Simulation of Computers and Telecommunication Systems 2008， IEEE International Symposium on. USA： IEEE， 2008. DOI：10.1109/MASCOT.2008.4770560

[8] ECKART B， CHEN X， HE X， et al. Failure Prediction Models for Proactive Fault Tolerance within Storage Systems[J]. IEEE International Symposium on Modeling， 2009，1（3）：1-8. DOI：10.1109/MASCOT.2008.4770560

[9] Hard Drive Reliability Statistics [EB/OL].[2017-06-28].https：//www.backblaze.com/b2/hard-drive-test-data.html