淺談智慧中臺AIOPS實施運維經(jīng)驗

孫一凱

中臺是由阿里在2015年提出的"大前臺，小中臺"戰(zhàn)略中延伸出來的概念，靈感源于芬蘭的一家游戲公司，近些年來，企業(yè)內(nèi)部都開始建設(shè)各個中臺，目的是為了幫忙企業(yè)更好支撐業(yè)務(wù)的開展，達(dá)到事半功倍的效果。本文旨在談?wù)撝腔壑信_在企業(yè)IT支撐系統(tǒng)運維過程中的建設(shè)和維護(hù)的經(jīng)驗，并淺顯易懂的闡明智慧中臺在IT系統(tǒng)中發(fā)揮的重要作用。

一、背景和目標(biāo)

隨著企業(yè)業(yè)務(wù)發(fā)展，應(yīng)用系統(tǒng)規(guī)模日益擴(kuò)大，涉及組件及架構(gòu)的復(fù)雜度劇增，對于系統(tǒng)深度管理、智能運維的需求也日益劇增。

目前企業(yè)業(yè)務(wù)支撐系統(tǒng)的運維管理隨著業(yè)務(wù)的蓬勃發(fā)展，多種傳統(tǒng)運維模式下痛點問題逐漸凸顯，主要體現(xiàn)在監(jiān)控運維工具繁多，監(jiān)控覆蓋較全面，產(chǎn)生了海量監(jiān)控運維數(shù)據(jù)，但缺乏綜合分析能力;傳統(tǒng)運維模式缺乏智能化手段，對生產(chǎn)各類數(shù)據(jù)的價值挖掘能力有限;運維編排工具局限于人為運維操作，缺乏智能化聯(lián)動能力。

深度解析智慧中臺AIOPS場景，切實落地健康度評分、根因分析、容量評估、故障預(yù)測四大AIOPS場景，同時在完成這四大AIOPS場景的基礎(chǔ)上，還聯(lián)動本地運維管理平臺，實現(xiàn)AIOPS智能分析結(jié)果驅(qū)動運維操作，進(jìn)一步落地智能故障自愈、智能容量擴(kuò)縮容、智能巡檢、智能分析歸檔等智能運維實施場景。

二、思路及方案

（一）智慧中臺AIOPS建設(shè)思路

智能中臺AIOPS的本地化建設(shè)，同時結(jié)合數(shù)據(jù)統(tǒng)一集成及自動化運維實現(xiàn)智能運維的實施方案，為AIOPS場景的順利實施及能力拓展提供助力。整體智能化運維解決方案主要涉及三大部分，分別是數(shù)據(jù)集成、AIOPS智能分析、運維聯(lián)動執(zhí)行，分別解決生產(chǎn)海量數(shù)據(jù)的統(tǒng)一集成、海量數(shù)據(jù)的智能化分析價值挖掘、AIOPS分析價值導(dǎo)向運維執(zhí)行。

（二）建設(shè)方案

企業(yè)智慧中臺AIOPS實施主要分為三部分，完整覆蓋數(shù)據(jù)集成、AIOPS場景建設(shè)和運維聯(lián)動能力建設(shè)，將智慧中臺AIOPS場景深度契合企業(yè)運維環(huán)境，結(jié)合數(shù)據(jù)集成工具，為AIOPS場景提供良好、規(guī)范、優(yōu)質(zhì)的數(shù)據(jù)基座，結(jié)合運維編排組件聯(lián)動執(zhí)行，進(jìn)一步提升AIOPS場景對實際生產(chǎn)運維的價值體現(xiàn)。

1.海量生產(chǎn)數(shù)據(jù)統(tǒng)一集成

實現(xiàn)對生產(chǎn)上各類生產(chǎn)數(shù)據(jù)的集成，支持多種數(shù)據(jù)源集成，包括關(guān)系型數(shù)據(jù)庫 Oracle、Mysql、SQLServer、DB2 等，結(jié)構(gòu)化文件 TXT、CSV、Excel、XML等，NoSQL 數(shù)據(jù)庫 Hadoop、HBase、MongoDB 等。提供內(nèi)置豐富的數(shù)據(jù)校驗、清洗和轉(zhuǎn)換插件，屏蔽層次技術(shù)實現(xiàn)細(xì)節(jié)，用戶只需要梳理業(yè)務(wù)數(shù)據(jù)，通過圖形化界面快速定義數(shù)據(jù)處理邏輯，即可完成整個數(shù)據(jù)集成的過程。

提供數(shù)據(jù)集成及預(yù)處理作業(yè)流程編排，以及作業(yè)任務(wù)單調(diào)度、監(jiān)控、查看等功能，輕松圖形化管理數(shù)據(jù)處理作業(yè)。

2.智能化分析

結(jié)合大數(shù)據(jù)架構(gòu)和智能算法模型進(jìn)一步完善智能分析能力，結(jié)合生產(chǎn)需求及集團(tuán)規(guī)范，實現(xiàn)系統(tǒng)健康度評分、故障預(yù)測、根因分析、容量評估、告警收斂、應(yīng)用服務(wù)自愈、異常檢測等場景：結(jié)合多類型海量運維監(jiān)控日志數(shù)據(jù)，提供多數(shù)據(jù)指標(biāo)綜合分析，適配各類數(shù)據(jù)。

提供有監(jiān)督學(xué)習(xí)，提取生產(chǎn)數(shù)據(jù)，進(jìn)行指定指標(biāo)數(shù)據(jù)或業(yè)務(wù)數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)，得到相應(yīng)指標(biāo)或業(yè)務(wù)數(shù)據(jù)的準(zhǔn)確分析結(jié)果。

提供無監(jiān)督學(xué)習(xí)能力，針對生產(chǎn)數(shù)據(jù)進(jìn)行海量數(shù)據(jù)的聚類分析，挖掘異常模式，進(jìn)一步結(jié)合有監(jiān)督分析結(jié)果，提升智能分析的精確性和及時性。

3.自動化聯(lián)動

自愈、智能巡檢、智能重啟等能力，提升運維操作的智能化、敏捷化、精準(zhǔn)化。

三、組織開展及落地舉措

通過對數(shù)據(jù)集成及預(yù)處理組件實現(xiàn)生產(chǎn)各類運維、監(jiān)控數(shù)據(jù)的統(tǒng)一集成、預(yù)處理，將處理后的規(guī)范化的數(shù)據(jù)，上報至AIOPS場景，結(jié)合機(jī)器學(xué)習(xí)實現(xiàn)具體AIOPS場景智能化分析，落地AIOPS能力，并結(jié)合智能分析結(jié)果，驅(qū)動運維作業(yè)執(zhí)行，進(jìn)一步實現(xiàn)智能化與自動化的結(jié)合，綜合提升智能化運維能力建設(shè)。

（一）數(shù)據(jù)集成及預(yù)處理

數(shù)據(jù)集成組件支持抽取和加載各種常見的數(shù)據(jù)源，如：關(guān)系型數(shù)據(jù)庫Oracle、Mysql、SQL Server、DB2等，結(jié)構(gòu)化文件TXT、CSV、Excel、XML等，NoSQL數(shù)據(jù)庫Hadoop、HBase、MongoDB等，內(nèi)置了豐富的數(shù)據(jù)校驗、清洗和轉(zhuǎn)換插件，屏蔽了層次技術(shù)實現(xiàn)細(xì)節(jié)，用戶只需要梳理業(yè)務(wù)數(shù)據(jù)，通過圖形化界面快速定義數(shù)據(jù)處理邏輯，即可完成整個數(shù)據(jù)集成的過程。

本次部署，對于主機(jī)指標(biāo)數(shù)據(jù)、數(shù)據(jù)庫指標(biāo)數(shù)據(jù)、日志數(shù)據(jù)等主要來自現(xiàn)有的數(shù)據(jù)納管中心，分別是以數(shù)據(jù)庫表查詢及Kafka消費形式進(jìn)行數(shù)據(jù)集成。應(yīng)用性能數(shù)據(jù)來源于WebGate，也是通過消費Kafka形式進(jìn)行數(shù)據(jù)集成。

（二）AIOPS智能分析

企業(yè)深度解析自身運維現(xiàn)狀，包括生產(chǎn)數(shù)據(jù)形態(tài)及運維痛點，依托于大數(shù)據(jù)為底座，結(jié)合數(shù)據(jù)集成組件，統(tǒng)一集成生產(chǎn)各類數(shù)據(jù)。組件機(jī)器學(xué)習(xí)平臺，集優(yōu)秀成熟智能算法，結(jié)合智慧中臺先進(jìn)AIOPS場景建設(shè)理念，完成本省AIOPS平臺研發(fā)及建設(shè)。

平臺以大數(shù)據(jù)為數(shù)據(jù)承載，結(jié)合有監(jiān)督和無監(jiān)督學(xué)習(xí)，構(gòu)建智慧中臺四大AIOPS場景落地建設(shè)。

1.健康度評分

健康度評分模型，采用豐富的指標(biāo)，分別以三個維度進(jìn)行指標(biāo)的分類，分別為支撐平臺、應(yīng)用組件、系統(tǒng)指標(biāo)。支撐平臺主要為主機(jī)層面的性能指標(biāo)、應(yīng)用組件為應(yīng)用系統(tǒng)層面的性能指標(biāo)，系統(tǒng)指標(biāo)主要為應(yīng)用系統(tǒng)TPS和日志相關(guān)數(shù)據(jù)。

采用基于Drain的日志聚類算法、Apriori/FP-growth關(guān)聯(lián)規(guī)則算法，綜合各類數(shù)據(jù)的分析，進(jìn)行系統(tǒng)各指標(biāo)的打分，以及系統(tǒng)整體打分。實時掌握系統(tǒng)健康度情況，并結(jié)合次模型能力，可運用于生產(chǎn)系統(tǒng)日常巡檢、維護(hù)質(zhì)量分析、維護(hù)人員工作考評基準(zhǔn)等。結(jié)合運維聯(lián)動可進(jìn)一步實現(xiàn)對系統(tǒng)健康度低的，自動觸發(fā)執(zhí)行預(yù)定義的運維作業(yè)進(jìn)行系統(tǒng)性能提升。

2.根因分析

根因分析通過對海量告警數(shù)據(jù)進(jìn)行AI的深度挖掘，結(jié)合Apriori/FP-growth算法及SBD算法，進(jìn)行關(guān)聯(lián)性分析，通過AI算法分析系統(tǒng)告警之間的關(guān)聯(lián)關(guān)系，對自動分析的AI規(guī)則，可支持人工進(jìn)一步的打標(biāo)處理。實現(xiàn)無監(jiān)督和有監(jiān)督的靈活結(jié)合，綜合提高根因規(guī)則的準(zhǔn)確性。通過根因分析，可輕松定位故障根因，在海量告警和繁雜噪音數(shù)據(jù)里面，定位故障根因，為運維人員提供便利、高效、高準(zhǔn)確率的故障定位能力。

3.容量評估

容量評估實現(xiàn)對主機(jī)的CPU、內(nèi)存、存儲的歷史數(shù)據(jù)分析，結(jié)合auto_arima、xgboost、holt-winter、LinearRegression等算法，提供關(guān)聯(lián)預(yù)測與單指標(biāo)趨勢預(yù)測，結(jié)合相應(yīng)的評估任務(wù)，可靈活定義預(yù)測的周期，如小時、天、周、月等，且支持具體的周期數(shù)，如預(yù)測3天。后臺AIOPS模型會根據(jù)容量評估任務(wù)的預(yù)測周期時間，智能分析10倍預(yù)測周期時長的歷史數(shù)據(jù)，目前定位10：1的比例，亦可按需進(jìn)行調(diào)整。

通過對指標(biāo)歷史數(shù)據(jù)的智能分析，結(jié)合相應(yīng)的評估周期任務(wù)，以及模型對于特定節(jié)假日的特殊處理，如月末月初、企業(yè)營銷活動、法定節(jié)假日等，綜合分析提高對容量評估的準(zhǔn)確性。

4.故障預(yù)測

故障預(yù)測是結(jié)合根因分析模型所分析到的關(guān)聯(lián)關(guān)系拓?fù)洌鶕?jù)因果關(guān)系，實時檢測系統(tǒng)各類指標(biāo)數(shù)據(jù)，結(jié)合趨勢預(yù)測（auto_arima、holt-winter）算法，通過對前序事件的實時檢測，從而進(jìn)行后序事件的預(yù)測，實現(xiàn)對故障的預(yù)測效果。

故障預(yù)測支持對前序事件的發(fā)生時間以及故障預(yù)測的發(fā)生時間展示，幫助運維人員輕松了解AIOPS預(yù)測到的故障及發(fā)生時間，為后續(xù)的故障自愈、預(yù)處理提供支撐。

（三）智能運維聯(lián)動

1.運維編排組件

運維編排組件主要實現(xiàn)圖形化靈活的作業(yè)編排能力，支持組件拖拽形式編排，作業(yè)步驟之間的串/并行、條件判斷亦可靈活定義。每個步驟都可以靈活定義執(zhí)行目標(biāo)、執(zhí)行內(nèi)容、執(zhí)行輸出等，亦可支持變量性質(zhì)實現(xiàn)整體作業(yè)執(zhí)行目標(biāo)執(zhí)行過程中定義的需求。結(jié)合作業(yè)審批、歷史作業(yè)回溯、權(quán)限管理等功能，完成生產(chǎn)各類自動化運維操作的集中納管、效率提升、提效節(jié)能的作用。

2.智能運維聯(lián)動

智能運維聯(lián)動主要是結(jié)合健康度評分、容量評估、故障預(yù)測模型的AIOPS智能分析結(jié)果，進(jìn)行聯(lián)動相應(yīng)預(yù)定義的運維作業(yè)，實現(xiàn)AIOPS模型分析結(jié)果智能驅(qū)動運維作業(yè)執(zhí)行的效果。進(jìn)而實現(xiàn)系統(tǒng)亞健康性能自檢提升、容量異常自動擴(kuò)縮容、預(yù)測故障進(jìn)行自愈等智能運維場景的實現(xiàn)。

緊密結(jié)合AIOPS智能分析能力與自動化運維能力，實現(xiàn)智能運維，為生產(chǎn)維護(hù)提速增效，降低人工定位、操作的時延影響，整體提高系統(tǒng)的穩(wěn)定性、可用性和用戶滿意度。

四、工作成效

企業(yè)順利完成智慧中臺AIOPS能力本地化建設(shè)，并結(jié)合數(shù)據(jù)集成及運維聯(lián)動組件，實現(xiàn)完善全面的智能運維解決方案，目前已接入了多套企業(yè)級日常運營支撐系統(tǒng)，并對各個系統(tǒng)日常運行所產(chǎn)生的各類數(shù)據(jù)進(jìn)行集中集成，預(yù)處理后結(jié)合機(jī)器學(xué)習(xí)，與具體的算法模型進(jìn)行測算演進(jìn)，綜合分析得到準(zhǔn)確的分析結(jié)果，并結(jié)合具體的場景，完成運維作業(yè)的聯(lián)動，實現(xiàn)深度智能運維能力的建設(shè)。

通過智能運維系統(tǒng)切實提升系統(tǒng)日常運維效率，以及產(chǎn)能提升，主要體現(xiàn)在以下幾個方面：

（一）提升數(shù)據(jù)集成能力

通過數(shù)據(jù)集成組件，統(tǒng)一系統(tǒng)各類數(shù)據(jù)，打通數(shù)據(jù)壁壘，挖掘不同數(shù)據(jù)之間的相關(guān)性價值，從數(shù)據(jù)維度提升綜合分析能力。為后續(xù)的AIOPS智能綜合分析提供數(shù)據(jù)支撐。數(shù)據(jù)集成組件圖形化構(gòu)建數(shù)據(jù)預(yù)處理流程，在線配置數(shù)據(jù)接入定時任務(wù)，輕松解決系統(tǒng)各類數(shù)據(jù)的實時接入、轉(zhuǎn)換、封裝、上報全流程工作。

（二）AI智能分析能力

通過提供機(jī)器學(xué)習(xí)能力，并靈活結(jié)合各類智能算法及模型，通過對生產(chǎn)運維監(jiān)控產(chǎn)生的海量數(shù)據(jù)進(jìn)行測算分析，結(jié)合運維經(jīng)驗，調(diào)優(yōu)模型，進(jìn)一步提升智能分析的精確度和可靠性。完成系統(tǒng)健康度評分、故障預(yù)測、根因分析、容量評估等場景的落地實現(xiàn)。與生產(chǎn)系統(tǒng)運維流程相結(jié)合，切實提升運維質(zhì)量和效率。

系統(tǒng)健康度評分：完成接入系統(tǒng)健康度評分，實時綜合評分，結(jié)合生產(chǎn)系統(tǒng)管理體系，對系統(tǒng)維護(hù)質(zhì)量、運行質(zhì)量進(jìn)行量化考評，轉(zhuǎn)化系統(tǒng)分析方式，提高監(jiān)控、管理、總結(jié)、匯報等生產(chǎn)工作質(zhì)量和效率。

目前企業(yè)接入系統(tǒng)，結(jié)合各類實時數(shù)據(jù)，每5分鐘進(jìn)行健康度整體評分，并提供大屏實時展示，輕松掌握系統(tǒng)實時運行健康狀態(tài)，減少系統(tǒng)巡檢、分析壓力，提升系統(tǒng)異常處理時效。

故障預(yù)測：以海量歷史數(shù)據(jù)為計算基礎(chǔ)，提供指定時間（小時、天、周、月）的預(yù)測能力，以此增加有效告警，提供故障自愈能力。

目前結(jié)合多個生產(chǎn)系統(tǒng)歷史數(shù)據(jù)，實時預(yù)測故障，平均每日預(yù)測近50個故障，為運維人員提供有效的故障預(yù)警及預(yù)處理，提升系統(tǒng)整體穩(wěn)定性。

根因分析：結(jié)合生產(chǎn)系統(tǒng)海量歷史數(shù)據(jù)，建立關(guān)聯(lián)性拓?fù)洌骄吭虏杉?00多個因子，分析300多個事件根因，減少200余次的無效告警。

容量評估：結(jié)合生產(chǎn)系統(tǒng)海量歷史數(shù)據(jù)，建立動態(tài)閾值，結(jié)合智能預(yù)測算法，為系統(tǒng)提供定期（小時、天、周、月）容量預(yù)測服務(wù)，助力生產(chǎn)系統(tǒng)各類場景的容量評估和優(yōu)化，包括秒殺、活動、月末月初出賬、法定節(jié)假日等業(yè)務(wù)突增場景。

目前配置預(yù)測任務(wù)，平均每日預(yù)測20次左右容量不足及冗余情況，助力生產(chǎn)系統(tǒng)容量合理調(diào)整規(guī)劃。

（三）智能與運維聯(lián)動能力

通過智能分析與運維操作的聯(lián)動，進(jìn)一步提升智能分析結(jié)果的價值，結(jié)合運維操作，實現(xiàn)更靈活智能的運維需求。實現(xiàn)故障自愈、智能巡檢、故障預(yù)測聯(lián)動故障恢復(fù)等運維場景落地，觸發(fā)故障預(yù)測及預(yù)處理實踐，降低業(yè)務(wù)系統(tǒng)故障率。

整體而言，截止目前已累計覆蓋10余種核心系統(tǒng)的智能運維工作，日處理數(shù)據(jù)量達(dá)100G，為電子渠道系統(tǒng)提供容量規(guī)劃，累計節(jié)省176萬投資。通過智能場景建設(shè)，觸發(fā)自動巡檢、主動故障干預(yù)，降低15%左右的告警數(shù)量，每月減少33萬的人力成本，助力降本增效工作開展。

五、應(yīng)用建議

本次實施方案綜合了大數(shù)據(jù)架構(gòu)、數(shù)據(jù)集成、數(shù)據(jù)預(yù)處理、智能AI分析、運維操作聯(lián)動方案的特性，提供針對海量數(shù)據(jù)的實時分析，結(jié)合AI智能算法與模型，實現(xiàn)各類AIOPS場景的落地，并結(jié)合運維作業(yè)組件，實現(xiàn)運維聯(lián)動，進(jìn)一步提升智能分析產(chǎn)出價值，以及智能化運維的實施，助力運維模式從自動化運維向智能化運維轉(zhuǎn)型，進(jìn)一步降低人員維護(hù)成本，提高系統(tǒng)可用性。

（一）應(yīng)用普適性

本方案采用分布式集群架構(gòu)，具備高可用能力，具備了適用面廣泛、快速規(guī)模部署、模型通用性強(qiáng)等特點，利于全網(wǎng)推廣與借鑒。

1. 適應(yīng)面廣泛

數(shù)據(jù)集成組件適配各類數(shù)據(jù)源，無需用戶大量定制化改造，只需配置相應(yīng)的采集渠道，即可實現(xiàn)數(shù)據(jù)的統(tǒng)一集成，結(jié)合數(shù)據(jù)處理組件的模塊，圖形化編排數(shù)據(jù)預(yù)處理作業(yè)，可實現(xiàn)數(shù)據(jù)的預(yù)處理操作，供后續(xù)大數(shù)據(jù)分析及智能分析使用，具備優(yōu)良的可推廣性。

2. 快速規(guī)模部署

采用分布式集群架構(gòu)，支持快速部署，具備良好的擴(kuò)展性，基于大數(shù)據(jù)存儲，實時流式分析，具備龐大的計算分析能力。核心組件提供容器化部署方案，可靈活快速擴(kuò)容。支持根據(jù)現(xiàn)場環(huán)境及需求，靈活調(diào)整集群部署量級及架構(gòu)。

3. AI能力固化

平臺提供AIOPS常見的算法及模型固化，并提供模型測算和訓(xùn)練功能，用戶可根據(jù)現(xiàn)場數(shù)據(jù)及業(yè)務(wù)場景，進(jìn)一步進(jìn)行模型測算和調(diào)優(yōu)即可完成相應(yīng)aiops場景的落地實現(xiàn)。

4. 智能運維聯(lián)動

智能分析聯(lián)動運維作業(yè)，實現(xiàn)深度智能運維。可根據(jù)用戶現(xiàn)場已有的運維操作平臺或者智能分析平臺進(jìn)行接口對接，實現(xiàn)相應(yīng)能力集成。