基于大數據環境下智能日志分析平臺運維方案研究

趙川 陳飛

【摘?要】智能日志分析平臺在實際運行期間，會受多種因素影響而發生故障，系統運維在海量數據離散環境下面臨諸多問題和挑戰。傳統運維方式由于不能全面實現監控，導致缺乏有效預警，也不能對故障進行準確定位，系統信息缺乏安全保障。為了有效提升智能日志分析平臺運維效果，有必要以大數據環境為基礎，創新優化智能日志分析平臺運維方案，更加充分的發揮智能日志分析平臺功能和作用。

【關鍵詞】大數據;智能日志分析平臺;運維方案

一、前言

智能日志分析平臺是以大數據各種分析需求為基礎研發的應用平臺，該平臺在實際使用期間經常發生各種故障，若運用傳統運維方式很難獲得良好的運維效果。因此，有必要探究基于大數據環境下的智能日志分析平臺運維方案，滿足大數據環境對該平臺運維提出的要求，切實提升運維水平和質量。

二、大數據的內涵

大數據也叫巨量資料，它在具備新時期現代化處理模式基礎上，可擁有更突出流程優化能力、決策力以及洞察力的多樣化、高增長率、海量信息資產[1]。在云時代背景下，數據加快了膨脹速度，基數越來越多。海量數據對社會多個領域均產生直接影響，越來越多的領域和人均認識到大數據在現代社會發展中所發揮的重要作用，并積極的通過大數據實現相關領域建設和發展。

三、智能日志分析平臺概述

智能日志分析平臺是以大數據為基礎，以其分析需求研發的應用平臺，主要是通過大數據分析技術實時的處理數據中心各種日志數據，對業務分析、運維監控、安全審計等需求加以滿足。作為一種大數據分析平臺，能夠對各種日志數據實現實時分析，在海量數據處理方面具有突出優勢，具備數據采集、數據檢索、數據清理、統計模型、分析大數據等多項能力[2]。平臺具有明顯的開放性，能夠對各種環境下涉及到的數據加以采集，并通過圖形化報表將大數據分析及處理結果輸出。此平臺對實時化搜索引擎加以利用，可以解析多種來源、多種規格類型的日志數據，并進行統一化管理和采集，智能化的處理和分析搜索結果，直接形成可視化、直觀化圖形報表，使大數據具備更高業務價值。

四、智能日志分析平臺的運維特點

1、集中全面的采集和管理日志數據。

在實際運維期間，對來自業務應用、服務器、操作系統以及網絡設備等來源日志數據進行匯聚，統一化構建日志管理平臺。可以對多種類型日志實現多源化、實時化采集，對全量日志數據可實現集中存儲，不僅可以對實時數據進行動態運維監控，還可以歷史數據為基礎進行趨勢分析和軌跡分析。

2、高效、快速、實時的搜索引擎

流處理架構具有超高性能，不論哪種數據量均可以秒級速率對分析結果加以反饋，確保問題及時處理。對多種復雜數據來源實現詳盡、有序的解析，快速的對日志數據進行結構化處理，在快速查詢功能支持基礎上，推動搜索統計工作的實現。另外，可以自定義形式快速查詢，比如快速字段表格、布爾檢索、時間過濾、字段過濾等方式。搜索應用具有靈活性和高效性，能夠直接實現共享和保存，可自動生成圖表向儀表盤中添加，可向第三方系統集成。

3、可視化圖表及其報告非常豐富

能夠呈現出多樣化圖表，并可以自定義形式定制儀表盤，像柱狀圖、地理分布圖、折線圖等。可對原圖標元素進行自定義，滿足大多數用戶可視化要求。動態圖表具有可搜索性，同時可提供多種統計模型和方法，對數據進行多維度呈現。

4、可實現智能化監控告警與實時管理

告警管理界面屬于概覽形式，能夠快速獲得任務類型、指定時間段內報警頻率、告警事件等信息，實現高效、便捷的管理。能夠支持多種類型報警形式，對業務數據實現實時監控，有突發狀況時可通過郵件或系統發出告警信息。監控告警具有突出的智能化特點，可靈活自動的實施計劃任務和告警策略，并可動態記錄報警詳情，為后續追溯奠定基礎，加快問題定位速度。

五、大數據環境下智能日志分析平臺運維方案

在大數據環境下制定智能化日志分析平臺運維方案，要以客戶運維目標為基礎，合理、科學、有效的規劃智能運維方案，并按照重要業務實際運維指標，預測和分析模型日志數據總量等差異化要求，系統規劃應用場景。整個日志分析平臺按照事前、中、后的順序路線規劃智能運維方案，具體方案中主要包含5個部分：①日志采集和處理。在日志采集環節，主要包含了來自業務應用、操作系統、網絡設備、服務器等日志數據，還有以數據庫形式、文本日志形式等多種形態日志數據，以及調試數據、業務數據、性能數據等差異化種類日志數據。在數據處理中，可對常見日志既往模板實現自動化解析，同時可對復雜日志正則解析相關方式加以解析，對日志支持智能化分類，字段內容可實現機器學習，對不規則狀態下歷史日志數據實現有效清洗處理[3]。在數據存儲環節，可以通過索引模式進行存儲，其后臺存儲架構能夠按照不同模塊，微服務化的向分布式集群節點當中部署，保證整個數據平臺蘊含良好的可拓展性。采集和處理日志環節具有突出開放性，對多種來源對應日志數據實現有效支持，并可把原始數據、告警數據、分析后數據以及清洗后數據等多維度數據向其他平臺當中傳輸。②實時運維。運維期間可以實時的對海量日志數據加以采集，并對海量日志數據實現秒級別處理和存儲。同時還能實時的支持檢索工作快速定位故障，快速對關鍵業務指標實現建模，并實現快速統計和快速分析。另外，還可實時的對關鍵字數值以及事件發出告警;③自動化運維。能夠適應多個常規類型IP運維場景，能對預警模塊實現自動化導入，并自動化的進行運維和分析。不同日志數據按照業務之間存在的關聯，可自動化的實現關聯分析，以此對數據中心分層形式架構背景中數據分散相關問題實現有效解決，同步可以對業務相關環節有無異常出現進行自動分析;④智能化運維。實際運維階段，可以對海量日志數據開展價值分析，并對數據進行驅動運營分析，在確保業務具有突出性能和可用性基礎上，數據中心要為業務提供有效服務，比如用戶行為分析、營銷數據分析等服務。運維環節要對人工智能以及機器學習等現代新型方式加以運用，不僅可以對運維指標實現模塊穩定度分析等聚類分析，還可實現精準營銷客戶分群等運營分析，同時還可實現磁盤容量預測等趨勢預測，為后續決策和規劃奠定基礎;⑤行業定制性運營。可以對行業領域相關問題實現大數據分析，并以大數據平臺為基礎，按照一定目標對定制化方案提供支持。

六、結束語

智能日志分析平臺在實際使用期間，海量離散數據一定程度上增加了數據挖掘和業務分析難度，若再不能及時有效的分析和預警性能、安全和容量，將導致平臺頻發故障。因此，平臺運行管理中，要基于大數據環境創新優化智能日志分析平臺運維方案，切實提升運維效率和水平，充分發揮平臺功能與作用，在此基礎上為大數據技術發展提供有力支持。

參考文獻：

[1] 杜時勇.基于大數據的城軌信號系統線網智能運維平臺研究[J].都市快軌交通，2019（3）：63-63.

[2] 李莉.日志易 利用人工智能從日志分析中尋求機會[J].創業邦，2018（1）：57-57.

[3] 鮮征征，葉嘉祥.一種改進的ELK日志采集與分析系統[J].軟件導刊，2019（8）：21-21.

作者簡介：

趙川（1981-），男，漢族，云南陸良，高級工程師，碩士;研究方向：電力系統調度自動化

（作者單位：云南電力調度控制中心）