大數(shù)據平臺的自動化運維及監(jiān)控技術分析

南方電網科學研究院有限責任公司 中國南方電網有限責任公司 曹鐵男 李 昊 喇 元

近年來，我國信息技術不斷發(fā)展，已經進入了智能化時代，大數(shù)據是一種新型的數(shù)據處理技術，能夠對大量的數(shù)據進行整合、分析，并且挖掘出其中有價值的信息。目前，大數(shù)據平臺在各個領域中都得到了廣泛的應用，其中在自動化運維和監(jiān)控技術領域取得了良好的效果，本文對基于大數(shù)據平臺的自動化運維及監(jiān)控技術進行了討論。

大數(shù)據技術是基于信息技術的基礎上誕生出一種新型數(shù)據技術，在信息爆炸性增長的今天，具有很大應用空間。對于企業(yè)經營和人們生活中產生的海量數(shù)據，如果進行有效整合與分析，可以創(chuàng)造更多的商業(yè)價值，更好為企業(yè)和人們所服務。應用大數(shù)據技術，各企業(yè)的自動化運維及監(jiān)控水平將會有巨大的提升，對此進行深入討論與研究具有重要意義。

1 自動化運維技術概述及大數(shù)據平臺的應用優(yōu)勢

一個企業(yè)經營與發(fā)展離不開對系統(tǒng)的運營維護，運維工作對企業(yè)發(fā)展戰(zhàn)略的制定、經營管理重心的選擇有著重要作用，是管理層做出重大抉擇的重要依據，也是系統(tǒng)穩(wěn)定運行的重要保障。運維工作較為復雜，工作量巨大，尤其是互聯(lián)網企業(yè)，系統(tǒng)24h運轉，數(shù)據規(guī)模龐大，涉及各個領域，且相互之前存在影響，需要投入大量的人力、物力。自動化運維可以將IT運維工作中日常性的、重復性的、程序性的工作自動化，將人工執(zhí)行轉化為系統(tǒng)自動化執(zhí)行，并對各項數(shù)據進行整合和邏輯分析，總結出發(fā)展趨勢，為企業(yè)提供更好的幫助?；诖髷?shù)據平臺的自動化運維，結合了大數(shù)據技術的整合、分析能力，使IT運維工作得到了升華。自動化運維應用大數(shù)據技術能夠提高運維流程的可控性，滿足企業(yè)的個性化需求，讓企業(yè)決策層能夠更加清晰、直觀的看到公司的業(yè)務流程，加強他們對公司的把握能力。同時，大數(shù)據平臺下的自動化運維也能提高運維工作的透明度，有助于系統(tǒng)版本的疊加，更能清晰的分辨出其中的問題，為優(yōu)化提供方便。自動化運維與大數(shù)據平臺相結合，還能減少人為因素造成的失誤，加強信息傳遞、處理的速度，提高運維工作的整體效率。另外結合監(jiān)控技術，充分發(fā)揮大數(shù)據技術的優(yōu)點，還能對數(shù)據和工作記錄進行實時記錄和跟蹤，做到及時預警、及時應對，讓運維工作更加輕松、靈活。

2 大數(shù)據平臺的自動化運維技術分析

2.1 自動化運維功能設計

自動化運維技術要為企業(yè)服務，要為企業(yè)提供便利，切實提高企業(yè)的管理效率和管理水平。自動化運維功能要對企業(yè)運營管理中的各項數(shù)據進行檢測，并整合到一起，要將運維對象具體化，以多種形式直觀的展示出來。自動化運維系統(tǒng)要將不同的功能設置好后，根據運維目標的特點和形式，利用細化技術，將自動化運維系統(tǒng)分成不同的功能區(qū)域。常規(guī)的功能區(qū)一般包括尋常管理區(qū)、運維監(jiān)控區(qū)、設備管理區(qū)、知識庫管理區(qū)、第三方平臺接入區(qū)和信息管理中心。巡察管理區(qū)要采用填寫表格的模式，值班人員在工作期間要將數(shù)據監(jiān)控結果和系統(tǒng)維護記錄填寫在表格中，并進行存檔，方便下一波次工作人員的交接。運維監(jiān)控區(qū)要采用可視化技術，將數(shù)據以表格、圖像的形式呈現(xiàn)出來，并且要通過大數(shù)據技術進行整合和分析，將數(shù)據的變化趨勢和變化規(guī)律體現(xiàn)出來。設備管理區(qū)要能查詢整個服務器和分支系統(tǒng)的數(shù)據信息，要實現(xiàn)平臺集中化，流程細分化。知識庫管理區(qū)是針對運維對象，將可能用到的各類技術知識、操作流程、注意事項進行歸檔，以方便工作人員隨時調閱，迅速掌握工作情況，縮短熟悉時間。第三方平臺接入區(qū)要根據運維對象的發(fā)展和管理狀態(tài)，在平臺上建設簡單的配置，可以通過通用接口接入到大數(shù)據平臺。信息管理中心要以企業(yè)的自制條款、規(guī)定為依托，將運維對象的各項信息整合在一起，從而實現(xiàn)全局信息處理。

2.2 數(shù)據質量管理體系

自動化運維需要管理不同系統(tǒng)、多層鏈路關系中的數(shù)據，非常復雜，且要保證數(shù)據信息的完整性、唯一性、真實性、準確性、合法性、及時性，需要與大數(shù)據平臺相結合，建立數(shù)據質量監(jiān)控管理平臺。數(shù)據質量管理平臺要以系統(tǒng)定義為標準，對系統(tǒng)采集的數(shù)據進行重新整合和管理，統(tǒng)一校對、統(tǒng)一處理，保證數(shù)據信息的一致性。數(shù)據質量管理體系要實現(xiàn)數(shù)據集中化管理，要滿足多系統(tǒng)的數(shù)據處理需求，提供標準的數(shù)據接口，供各個分支系統(tǒng)調用，實現(xiàn)數(shù)據共享，提高數(shù)據傳遞的速度和完整性，實現(xiàn)基礎數(shù)據的統(tǒng)一管理。數(shù)據質量管理體系與大數(shù)據平臺相結合，能建立智能算法程序，實現(xiàn)自動化處理。通過智能算法程序，可以科學設定基礎指標閥值和預警規(guī)則，對自動化運維平臺采集到的數(shù)據信息，進行多個維度的比對和分析，條件處理一系列自動化計算操作，根據運維對象的特性和狀態(tài)，生成多種形式的圖表。并且要根據程序設定的數(shù)據鏈路狀態(tài)條件，獲取數(shù)據鏈路性能狀態(tài)值，實時監(jiān)控系統(tǒng)運行情況，并及時發(fā)出異常狀態(tài)警告。

2.3 數(shù)據優(yōu)化，深度挖掘

基于大數(shù)據平臺，自動化運維技術能實現(xiàn)數(shù)據優(yōu)化，提升數(shù)據價值。自動化運維平臺在采集、儲存系統(tǒng)運行過程中產生的各項數(shù)據后，能對這些數(shù)據進行深度整合，去除掉其中的無用數(shù)據，深入挖掘其中有價值的規(guī)律和趨勢，來提高企業(yè)營銷、運營工作的效率，加強監(jiān)管水平，從而節(jié)省企業(yè)運營成本?；诖髷?shù)據平臺的自動化運維技術能分析事故發(fā)生時間與用戶反映時間的關系，提高企業(yè)的應急處理能力。也能分析各類故障類型與監(jiān)控測量指標間的關系，和數(shù)據異常與系統(tǒng)運行時間的關系，幫助企業(yè)有效預防系統(tǒng)風險，更好的對系統(tǒng)進行維護。基于大數(shù)據的自動化運維技術還能通過對各種使用場景的分析，提高系統(tǒng)的適用范圍。

3 大數(shù)據平臺的自動化監(jiān)控技術分析

自動化監(jiān)控技術是保證系統(tǒng)數(shù)據完整性、真實性、及時性的重要條件。企業(yè)的運營管理數(shù)據存在巨大的商業(yè)價值，在信息技術和網絡技術格外發(fā)達的今天，經常會有不法分子通過各種信息化手段竊取企業(yè)或個人的數(shù)據信息，甚至破壞整個系統(tǒng)。因此在重要數(shù)據的傳輸過程中，不僅要采取必要的加密保護措施，還要對整個傳遞過程實時監(jiān)控，保證能第一時間發(fā)現(xiàn)數(shù)據傳遞過程中的異常，并對異常數(shù)據進行追蹤和定位，保證數(shù)據安全。大數(shù)據平臺能夠實現(xiàn)監(jiān)控數(shù)據的可視化，將數(shù)據傳遞情況直觀的表達出來，還能夠擴大監(jiān)控的覆蓋范圍，分析數(shù)據的實時狀態(tài)，從而對整個傳遞過程進行監(jiān)控。大數(shù)據平臺還能解決數(shù)據監(jiān)控系統(tǒng)的冗余問題，傳統(tǒng)的監(jiān)控技術信息處理過程復雜，信息傳遞效率慢，消耗時間長，存在大量的無效數(shù)據，會造成數(shù)據失真等問題。大數(shù)據平臺的深度整合能力，可以有效去除無效數(shù)據，提高監(jiān)控數(shù)據處理的準確性。對于視頻數(shù)據，大數(shù)據平臺能通過技術處理，提高視頻的分辨率。另外，大數(shù)據平臺能有效提高監(jiān)控系統(tǒng)的數(shù)據處理能力，可以將不同類型的數(shù)據分流到各個子系統(tǒng)中，縮減數(shù)據處理步驟，提高處理效率。除此之外，基于大數(shù)據平臺的監(jiān)控系統(tǒng)能降低投入成本，可以發(fā)揮每個監(jiān)控設備的最大作用，提高監(jiān)控設備的利用率，并且有助于監(jiān)控設備的維護和管理，提高使用壽命。

結論：隨著我國信息技術不斷發(fā)展，人們的生活和工作模式發(fā)生了巨大的變化，其中大數(shù)據技術就被廣泛用在企業(yè)的運維管理之中。基于大數(shù)據技術的自動化運維及監(jiān)控技術，能有效提高企業(yè)的運營管理水平，提高運維工作的靈活度、可視度，加強信息流通的速度與準確性，減少人為因素造成的失誤，最大程度保護數(shù)據安全，具有廣闊的應用前景。