淺談可視化大數據運維平臺在企業中的應用

董繼宏 仲兆桉

摘 要 隨著企業IT架構的不斷擴展，服務器、存儲設備的數量越來越多，網絡也變得更加復雜，特別是分支機構眾多的大型企業，這種情況更加突出明顯。為了保障良好的用戶體驗和數據時效性，運維工作變得越來越艱巨。雖然運維工作已經借助相應的自動化監控工具，但IT監控系統每分鐘要進行上萬個數據采集，對采集的海量數據進行處理和分析才是對IT運維工作最大的挑戰。

關鍵詞 運維;通信;大數據;可視化

引言

隨著通信業務的發展，信息支撐工作對IT運維提出了更高的要求，傳統的管理方法和手段中，管理系統是滯后的分立式管理系統，不同管理產品（系統）管理不同IT設施，傳統上有管網絡設備的，有管機房環境的，有管IP地址的，有管主機服務器的，有管數據庫、中間件的等。各管一攤、各自為政，隨著系統的復雜化，各自獨立的“分立”系統必然導致“推卸責任式”的管理，原因是多個孤立的系統所造成的信息“孤島”和信息“煙囪”，已經無法滿足復雜IT系統的管理要求。

1可視化大數據運維平臺的基本概念

大數據可視化運維是創新的IT管理手段，主要指在借助于圖形化手段，清晰有效地傳達與溝通信息，提供直觀、實時、高效和友好的可視化監控系統界面，將各設備的現狀清晰展現，并形成一個有機的整體，高效應對突發事件，智慧制定網絡布局決策[1]。

2可視化運維大數據平臺的結構

運維大數據可視化與信息圖形、信息可視化、科學可視化以及統計圖形密切相關。當前，在研究、教學和開發領域，數據可視化仍是一個極為活躍而又關鍵的方面?！斑\維大數據可視化”這條術語實現了成熟的科學可視化領域與較年輕的信息可視化領域的統一。

運維大數據可視化平臺主要有三個層面組成：分別是數據采集層、信息數據處理層、業務展示層。如圖1所示。

（1）數據采集層。完成信息源設備的數據采集工作，把各個類型的設備被管對象都進行業務建模。

（2）信息數據處理層。是整個系統的數據中心，完成了被管對象的集中存儲、查詢。網管的一些通用功能也在數據處理層完成，比如告警、智能運維、歷史記錄基礎數字技術。

（3）業務展示層。完成數據的整合展現，被管對象的錄入功能。根據業務會被劃分成各個APP，各個APP 之間相對獨立便于維護和擴展[2]。

3可視化大數據運維平臺的優勢

（1）平臺能夠實現目前企業對網絡系統、應用系統的屬地化管理原則，實現信息網絡綜合監測管理模式。對重要的應用系統和網絡核心環節能夠實現全面的檢測和狀態管理。

（2）對包括網絡環境、主機系統在內的各種設備和應用進行跨廠家、跨平臺的統一管理;提供快速的故障告警信息。

（3）從安全方面分析，全部數據都是通過加密方式上傳到總部統一查看，如果網絡傳輸使用的是互聯網線路也不會出現信息被竊取的情況。

（4）從管理方面分析，所有數據匯總后可以集中發送告警、集中設置設備的閥值和參數、集中生成報表，報表中可以看到全網設備總體的使用情況，不需要手工匯總。

（5）從使用方面分析，相關運維人員可以直觀地從管理平臺監控部分看到所負責IT基礎資源的當前運行狀態和服務狀態，通過監控運維系統量化工作，使運維工作高效、快捷。

4在煤炭行業中的應用

以上所說的是廣義概念上的“可視化大數據運維平臺”，那么“可視化大數據運維平臺”在企業中具體是如何應用的？能給企業帶來什么？下面以北塔軟件公司的“可視化大數據運維平臺”為例具體說明。

在企業中，通信系統由多種設備構成，包括：傳輸、網絡、存儲、交換、視頻會議和監控等設備，設備管理系統各自獨立，各自獨立的系統必然導致“推卸責任式”的管理，原因是多個孤立的系統所造成的信息“孤島”和信息“煙囪”，已經無法滿足復雜IT系統的管理要求。

4.1 技術概念

（1）BTSO2.5.5sp1采用平臺化設計，以DGO（Data Gather Ocean）為基礎，和告警、報表、智能運維、license共同構成強大的功能平臺;具體資源的管理作為基于平臺的管理功能，具備以接口為中心的設計模式。如圖2所示。

（2）系統提供強大的擴展能力，支持管理能力的自由擴展：

1）采集平臺支持用戶個性化采集程序的快速兼容，實現管理指標的快速擴展;

2）采集服務器支持無縫擴展，支持多個采集器同時部署;

3）支持管理策略的快速擴展，實現用戶管理方式落地;

4）支持用戶個性化報表的快速擴展，實現各種具備企業特征的報表數據和展現方式[3]。

4.2 管理范圍

4.3 系統特點

北塔軟件的BTSO系統以自動學習、自動分析、自動運維詮釋智能運維的運維方法。

（1）自動學習：實現用戶環境數據的學習，結合內置檢測指標體系，建立具有用戶特征的常態健康標準。

（2）自動分析：實時監控用戶各項運維指標，結合指標變化特征，通過諸如單指標越界比例、多指標組合判斷、歷史趨勢變化等方法自動判斷數據異常情況，主動提醒。

（3）自動運維：提供處置方案的提醒，用戶處置程序的調用等多種方案，實現異常問題的及時處理和運維。

4.4 日常管理

運維軟件7*24小時在后臺運行，運維人員無須長期打開軟件前臺。

（1）常用應用狀態監控

提供業務應用系統監控和集成跳轉功能，為用戶提供全局業務監控視圖，支持以不同顏色代表系統的實時狀態，同時可以點擊打開該應用的界面。如圖3所示。

（2）故障管理

BTSO提供智能管理對越界異常進行檢測，以越界頻率為判斷方式，通過智能分析、判斷，輔助異常處理，而告警觸發，需要人工介入流程處理，盡快“撲滅”現場故障是首要的，分析原因是其次的。

系統提供了靈活的告警設置、精確的告警檢測、多樣告警推送方式、簡單的告警經驗積累方式，實現用戶有效及時得到故障信息。

1）系統告警規則實現快速設置，支持用戶實現快速規模化設置告警規則：

①提供按照指標進行告警資源的批量設置。

②提供以IP段方式預先設置告警規則，只要新對象符合IP范圍，自動啟動告警規則。

③提供不同監控時段的設置，提供工作時間和非工作時間的不同監控周期設置。

④支持多種告警通知方式，包括短信、郵件等內置通知方式。

2）系統提供靈活的告警查詢方式：

①可通過告警檢測指標進行統一查詢，實現指標統一分析。

②可通過IP地址查詢IP上的所有告警規則。

3）系統即時發送告警信息：

①系統以5個等級區別不同的告警重要度。

②支持最短60秒響應周期，可根據不同業務要求進行調整告警響應周期。

③支持短信、郵件、數據庫、syslog等多種標準方式輸出。

（3）分析故障歷史提高運維成效

對于故障的處理需要即時、快速;但當故障處理完成后，更需要對以往發生的故障進行回顧分析，找出故障規律，并采取進一步優化方案，避免下一次故障的產生。如圖4所示。

同時告警的處理一定程度上也是IT運維成效的體現，管理上可以通過對告警解決時間和告警時長的角度，作為運維工作的一個考核項目;系統需要提供及時的故障分析報表。如圖5所示。

（4）報表與分析

BTSO提供無壓縮的數據存儲機制，支持長達1年以上無壓縮數據存儲。提供詳盡的歷史趨勢分析功能，支持1年期數據的智能展現。如圖6所示。

1）支持最大5個不同類型指標，進行同步分析;

2）支持不同指標單位數據的增長趨勢分析，可手工調準顯示比例;

3）支持1天、3天、1周、1月、3月數據的快速切換;

（5）智能拓撲

系統采用北塔先進的且得到近5000個現場驗證的發現算法，智能發現網絡設備和設備間的真實線路，準確而快速地完成拓撲的構建。

網絡拓撲能清晰展現網絡的關系，自動布局;并能提供“圓形”“樹形”多種拓撲展現方式，便于用戶根據業務關系快速調整到用戶需要的展現方式，同時將管理對象的實時性能和告警信息通過圖標的不同狀態展現給用戶。如圖7所示。

針對業務承載的主機，系統同樣提供了系統拓撲，不僅提供全局狀態監控界面，同時也講拓撲圖作為全局分析工具，實現對于管理對象增長趨勢的全域分析，包含對全域設備的CPU業務應用情況的分析，整體智能分析業務上一段時間內使用的整體趨勢變化，以紅、黃、綠作為不同區段的顯示，使用戶能清晰辨識歷史增長異常。

（6）智能基線

智慧運維平臺能根據歷史記錄自動生成基線，并可按照業務變化規律，形成以日基線、周基線的數據對比，一旦實時數據大于基線比對點一定范圍，即生成智維事件，便于分析;當出現多次越界后，系統主動通知用戶，提示運維風險。如圖8所示。

（7）智能策略

智慧運維平臺引入策略管理概念，架構上為策略提供各個功能的調用接口，方便地實現軟件各種處理邏輯的協同處置;方便實現用戶對于管理方法的落地。

策略分為觸發、分析、處置三個部分，通過全面的智能運維監控，實現對于各項關鍵節點的智維，包含單點、多點觸發;多單指標歷史記錄分析、多指標對比分析等方式，實現合理結論的分析，以提示、告警通知、自動報表的各項輸出方式給出用戶最終處置建議。

系統預置多款智能策略，實現全面檢測、智能判斷、全面分析;包含對所有智維規則的普世策略，越界次數警示;包含對CPU負載過高的深入分析策略，可實現一站式，異常進程的分析識別[4]。

5智慧運維給用戶的價值

5.1 落實等級化管理

管理上劃分優先級是被普遍認可的方式，優先級劃分能實現管理投入的合理分配，對于運維管理同樣適用，通過對資源按照所在業務重要度區分其對應的管理等級，比如關乎生產系統的資源劃分成一級，內部辦公系統相關資源劃分成二級設備;對于一級設備意味著更為密集的數據采集和更低的閾值，對于異常更為敏感，故障處理上要求更為嚴格，后期的管理數據統計需要單獨列項統計。

5.2 落實管理經驗積累

智慧運維平臺提供處置知識管理，通過對用戶日常故障處置方法的收集，經驗積累，自動反饋到相同故障的處置過程中;通過系統提供的智能策略機制，將用戶對于某些異常分析的人工方式自動化，通過人工智能找到具體的異常進程，關閉該進程或者卸載相關軟件，同時對于該進程的設定預警，達到事前預警;通過策略體制調用系統的各項零散功能，將用戶問題分析方式，快速自動化。

5.3 從數據挖掘實現隱患分析

智慧運維平臺提供了強大的歷史記錄能力，可以實現45萬KPI的指標數據不壓縮存儲1年;同時提供詳盡靈活的數據分析工具，可以實現單設備1年、1季度、1月、1周整體趨勢分析，從歷史層面分析出業務運行規律，方便發現業務運行異常;使用歷史記錄作為檢測閾值，實現更為合理的業務使用情況監控;提供整體高低負載分析，實現整體回顧，合理評價。

6引入可視化大數據運維平臺的意義

可視化大數據運維平臺系統能夠很好地滿足企業信息網絡系統管理的實際需求，具備良好的實用性，能夠提供強大的故障監測和故障信息處理平臺;平臺可實現目前企業對網絡系統、應用系統的屬地化管理原則，實現信息網絡綜合監測管理模式;根據各級管理運行管理范圍和責任劃分實際情況，靈活定義和界定檢測管理的邊界，根據實際需求選擇和定義對相關檢測信息的顯示形式和統計方法;對重要的應用系統和網絡核心環節能夠實現全面的檢測和狀態管理，可以從安全方面、管理方面和使用方面做到對企業IT基礎資源的統一監控展現，具體如下。

從安全方面分析，全部數據都是通過加密方式上傳到總部統一查看，如果網絡傳輸使用的是互聯網線路也不會出現信息被竊取的情況。

從管理方面分析，所有數據匯總后可以集中發送告警、集中設置設備的閥值和參數、集中生成報表，報表中可以看到全網設備總體的使用情況，不需要手工匯總。

從使用方面分析，相關運維人員可以直觀地從管理平臺監控部分看到所負責IT基礎資源的當前運行狀態和服務狀態，通過監控運維系統量化工作，使運維工作高效、快捷。

7可視化大數據運維平臺的發展前景

在目前這個 IT 技術大發展的時代，各行業越來倚重 IT 作為生產平臺，各種新技術運用使業務運行更便捷的同時，也給業務 IT系統的運維部門帶來巨大挑戰。

可視化大數據運維平臺根據 IT 運維部門的運維情況，不斷摸索最佳方式，形成了一些具有企業特色運維方式，逐漸形成了一些具有企業特色運維經驗和問題分析方式，提高效率，降低運維成本，解決了運維部門無法將管理論轉化成最佳生產力的問題，實現用戶管理效率的最大化提升。

8結束語

可視化大數據運維平臺的最終目的是，消除數據孤島，快速接入各種企業數據源，提供數據存儲、處理及分析預測服務，在同一個平臺界面中整合分析業務健康及IT性能問題。通過標準化組件及可擴展框架隨心定制監控大屏，進行數據的多維度實時展現，迅速實現業務分析、趨勢判斷與決策響應。無須技術背景即可快速實現“自助式”數據分析，分析結果生成只需1小時，滿足用戶對大數據分析的多樣化需求。

參考文獻

[1] 李寒箬，夏榮. 淺談大數據分析在網絡運維中的應用[J]. 經營管理者，2016（36）：338.

[2] 嚴彬元，王皓然，周琳妍.淺談大數據分析在電網運維日志采集分析中的應用[J].信息周刊，2018（27）：493.

[3] 單康康，王佶，常曉潔，等. 基于大數據的校園網海量日志分析平臺研究[J]. 信息通信，2017（3）：154-155.

[4] 周平，馬斌，韓冰，等. 基于大數據平臺的日志分析預警技術研究[J]. 電腦知識與技術，2016，12（32）：266-268.

作者簡介

董繼宏，男，陜西省神木縣人;畢業院校：西安電子科技大學，專業：電子技術與微機應用，學歷：大專，現就職單位：神東煤炭集團公司信息管理中心，研究方向：通信。

仲兆桉，男，內蒙古呼和浩特市人;畢業院校：內蒙古大學，專業：電子技術，學歷：大專，現就職單位：內蒙古華強通訊科技有限公司，研究方向：通信。