大數據平臺的自動化運維及監控技術分析

南方電網科學研究院有限責任公司 中國南方電網有限責任公司 曹鐵男 李 昊 喇 元

近年來，我國信息技術不斷發展，已經進入了智能化時代，大數據是一種新型的數據處理技術，能夠對大量的數據進行整合、分析，并且挖掘出其中有價值的信息。目前，大數據平臺在各個領域中都得到了廣泛的應用，其中在自動化運維和監控技術領域取得了良好的效果，本文對基于大數據平臺的自動化運維及監控技術進行了討論。

大數據技術是基于信息技術的基礎上誕生出一種新型數據技術，在信息爆炸性增長的今天，具有很大應用空間。對于企業經營和人們生活中產生的海量數據，如果進行有效整合與分析，可以創造更多的商業價值，更好為企業和人們所服務。應用大數據技術，各企業的自動化運維及監控水平將會有巨大的提升，對此進行深入討論與研究具有重要意義。

1 自動化運維技術概述及大數據平臺的應用優勢

一個企業經營與發展離不開對系統的運營維護，運維工作對企業發展戰略的制定、經營管理重心的選擇有著重要作用，是管理層做出重大抉擇的重要依據，也是系統穩定運行的重要保障。運維工作較為復雜，工作量巨大，尤其是互聯網企業，系統24h運轉，數據規模龐大，涉及各個領域，且相互之前存在影響，需要投入大量的人力、物力。自動化運維可以將IT運維工作中日常性的、重復性的、程序性的工作自動化，將人工執行轉化為系統自動化執行，并對各項數據進行整合和邏輯分析，總結出發展趨勢，為企業提供更好的幫助。基于大數據平臺的自動化運維，結合了大數據技術的整合、分析能力，使IT運維工作得到了升華。自動化運維應用大數據技術能夠提高運維流程的可控性，滿足企業的個性化需求，讓企業決策層能夠更加清晰、直觀的看到公司的業務流程，加強他們對公司的把握能力。同時，大數據平臺下的自動化運維也能提高運維工作的透明度，有助于系統版本的疊加，更能清晰的分辨出其中的問題，為優化提供方便。自動化運維與大數據平臺相結合，還能減少人為因素造成的失誤，加強信息傳遞、處理的速度，提高運維工作的整體效率。另外結合監控技術，充分發揮大數據技術的優點，還能對數據和工作記錄進行實時記錄和跟蹤，做到及時預警、及時應對，讓運維工作更加輕松、靈活。

2 大數據平臺的自動化運維技術分析

2.1 自動化運維功能設計

自動化運維技術要為企業服務，要為企業提供便利，切實提高企業的管理效率和管理水平。自動化運維功能要對企業運營管理中的各項數據進行檢測，并整合到一起，要將運維對象具體化，以多種形式直觀的展示出來。自動化運維系統要將不同的功能設置好后，根據運維目標的特點和形式，利用細化技術，將自動化運維系統分成不同的功能區域。常規的功能區一般包括尋常管理區、運維監控區、設備管理區、知識庫管理區、第三方平臺接入區和信息管理中心。巡察管理區要采用填寫表格的模式，值班人員在工作期間要將數據監控結果和系統維護記錄填寫在表格中，并進行存檔，方便下一波次工作人員的交接。運維監控區要采用可視化技術，將數據以表格、圖像的形式呈現出來，并且要通過大數據技術進行整合和分析，將數據的變化趨勢和變化規律體現出來。設備管理區要能查詢整個服務器和分支系統的數據信息，要實現平臺集中化，流程細分化。知識庫管理區是針對運維對象，將可能用到的各類技術知識、操作流程、注意事項進行歸檔，以方便工作人員隨時調閱，迅速掌握工作情況，縮短熟悉時間。第三方平臺接入區要根據運維對象的發展和管理狀態，在平臺上建設簡單的配置，可以通過通用接口接入到大數據平臺。信息管理中心要以企業的自制條款、規定為依托，將運維對象的各項信息整合在一起，從而實現全局信息處理。

2.2 數據質量管理體系

自動化運維需要管理不同系統、多層鏈路關系中的數據，非常復雜，且要保證數據信息的完整性、唯一性、真實性、準確性、合法性、及時性，需要與大數據平臺相結合，建立數據質量監控管理平臺。數據質量管理平臺要以系統定義為標準，對系統采集的數據進行重新整合和管理，統一校對、統一處理，保證數據信息的一致性。數據質量管理體系要實現數據集中化管理，要滿足多系統的數據處理需求，提供標準的數據接口，供各個分支系統調用，實現數據共享，提高數據傳遞的速度和完整性，實現基礎數據的統一管理。數據質量管理體系與大數據平臺相結合，能建立智能算法程序，實現自動化處理。通過智能算法程序，可以科學設定基礎指標閥值和預警規則，對自動化運維平臺采集到的數據信息，進行多個維度的比對和分析，條件處理一系列自動化計算操作，根據運維對象的特性和狀態，生成多種形式的圖表。并且要根據程序設定的數據鏈路狀態條件，獲取數據鏈路性能狀態值，實時監控系統運行情況，并及時發出異常狀態警告。

2.3 數據優化，深度挖掘

基于大數據平臺，自動化運維技術能實現數據優化，提升數據價值。自動化運維平臺在采集、儲存系統運行過程中產生的各項數據后，能對這些數據進行深度整合，去除掉其中的無用數據，深入挖掘其中有價值的規律和趨勢，來提高企業營銷、運營工作的效率，加強監管水平，從而節省企業運營成本。基于大數據平臺的自動化運維技術能分析事故發生時間與用戶反映時間的關系，提高企業的應急處理能力。也能分析各類故障類型與監控測量指標間的關系，和數據異常與系統運行時間的關系，幫助企業有效預防系統風險，更好的對系統進行維護。基于大數據的自動化運維技術還能通過對各種使用場景的分析，提高系統的適用范圍。

3 大數據平臺的自動化監控技術分析

自動化監控技術是保證系統數據完整性、真實性、及時性的重要條件。企業的運營管理數據存在巨大的商業價值，在信息技術和網絡技術格外發達的今天，經常會有不法分子通過各種信息化手段竊取企業或個人的數據信息，甚至破壞整個系統。因此在重要數據的傳輸過程中，不僅要采取必要的加密保護措施，還要對整個傳遞過程實時監控，保證能第一時間發現數據傳遞過程中的異常，并對異常數據進行追蹤和定位，保證數據安全。大數據平臺能夠實現監控數據的可視化，將數據傳遞情況直觀的表達出來，還能夠擴大監控的覆蓋范圍，分析數據的實時狀態，從而對整個傳遞過程進行監控。大數據平臺還能解決數據監控系統的冗余問題，傳統的監控技術信息處理過程復雜，信息傳遞效率慢，消耗時間長，存在大量的無效數據，會造成數據失真等問題。大數據平臺的深度整合能力，可以有效去除無效數據，提高監控數據處理的準確性。對于視頻數據，大數據平臺能通過技術處理，提高視頻的分辨率。另外，大數據平臺能有效提高監控系統的數據處理能力，可以將不同類型的數據分流到各個子系統中，縮減數據處理步驟，提高處理效率。除此之外，基于大數據平臺的監控系統能降低投入成本，可以發揮每個監控設備的最大作用，提高監控設備的利用率，并且有助于監控設備的維護和管理，提高使用壽命。

結論：隨著我國信息技術不斷發展，人們的生活和工作模式發生了巨大的變化，其中大數據技術就被廣泛用在企業的運維管理之中。基于大數據技術的自動化運維及監控技術，能有效提高企業的運營管理水平，提高運維工作的靈活度、可視度，加強信息流通的速度與準確性，減少人為因素造成的失誤，最大程度保護數據安全，具有廣闊的應用前景。