一種網絡日志自動化采集及分析工具設計

邵云蛟++占曉云++宮政

【摘 要】電力信息網絡規模日漸擴大，網絡中的設備也不斷增多，網絡運行日志數據量急劇增大。目前安慶供電公司日志查看、分析主要依賴運維人員手動進入設備完成，整個分析過程自動化程度較低，本文依據電力信息網運行維護業務對日志采集分析的基本要求，設計了一種基于syslog日志協議的信息網各類網絡設備日志的自動化采集與基礎日志分析查詢工具，并通過方案在項目中的應用，驗證了方案的有效性。

【關鍵詞】移動應用 數據同步 數據交換

引言

電力信息網絡規模日漸擴大，網絡中的設備也不斷增多，這些設備在運行過程中會產生大量的事件信息[1]，事件信息中包括了豐富的運行狀態、用戶操作、潛在安全告警等數據，通過對日志的及時有效分析可幫助網絡運維人員及時掌握整個網絡運行狀態、潛在的安全風險，并采用相應的處理措施[2]。

目前安慶供電公司日志查看、分析主要依賴運維人員手動進入設備完成，整個分析過程自動化程度較低，同時不能主動發現設備存在的潛在故障及安全風險[3]，進行網絡日志采集和分析是開展信息通信運維狀態檢修的有效手段，通過日志采集和分析，可以同時獲得設備運行狀態、設備使用狀態、設備安全狀態、設備效能狀態，故而建立這樣一套工具是非常必要。

1 方案設計與實現

1.1 需求分析

安慶供電公司網絡日志自動化采集及分析管理系統用戶對象主要是信通公司網絡運維人員。網絡日志自動化采集及分析管理系統主要需求有：如表1所示。

1.2 技術路線

網絡設備在運行過程中因為不同的運行工況、網絡環境產生的日志類型、日志內容十分豐富；日志的采集及存儲是網絡設備日志分析的基礎，為此工具本以實現日志的標準化采集、存儲為基礎目標，并實現基于關鍵字的網絡行為分析；在此基礎上積累一定數據量的運行日志，并實現一系列各類高級分析方法和應用。工具主要包括日志采集、日志格式化存儲、日志分析、 日志安全事件監測規則庫建立、日志查詢展現及日志報表等模塊的需求分析和系統設計工作，其中，需求分析分需求調研、需求梳理和需求確認三個階段，系統設計包括功能設計、數據庫設計、安全防護設計、運行環境設計和可視化設計等。系統邏輯架構如下圖所示。網絡日志自動化采集與分析系統由前臺Web管理和后臺日志自動化采集及分析后臺兩部分組成，運維人員通過Web管理平臺對系統進行初始化設置，對臺賬、日志、告警等進行查詢和管理；網絡日志自動化采集與分析系統實現對交換機、路由器、主機、IDS、防火墻等網絡設備的日志數據采集，對采集的數據進行分析。發現網絡設備的故障以及網絡潛在隱患，精確定位網絡的故障所在。

系統完全由軟件來實現，部署簡單，無需更改網絡配置，無需安裝客戶端，不影響網絡的正常運行。其中管理平臺采用Web架構，部署在應用服務器中，網絡設備日志自動化采集與分析系統部署在Linux系統服務器，以輪詢服務和多線程方式運行。如圖1所示。

系統基礎數據庫采用MySQL數據庫 ，存儲網絡設備基礎臺帳信息、初始化配置信息、日志記錄等。

1.3 基于正則表達關鍵字的安全策略處理

不同廠家、不同類型的交換機針對同一安全事件具有不同的表達，同時安全事件和時間、設備IP、端口等信息存在一定的關聯，是一個動態的數據，為了更好的匹配出存在風險的行日志，基于正則表達式對行日志進行過濾，避免基于單純的關鍵字匹配存在的局限性。

同時安全策略可以有多個關鍵字形成的邏輯關系組成一套完整的過濾策略，邏輯關系支持包含、排斥兩種。

參考文獻：

[1]王偉，彭勤科.主機日志分析及其在入侵檢測中的應用[J].計算機工程與應用，2002，38（13）：35-37.

[2]姜傳菊.網絡日志分析在網絡安全中的作用[J].現代圖書情報技術，2004，20（12）：58-60.

[3]陳文，鄧韻東.電網網絡系統運行日志分析[J].云南電力技術，2011，39（5）：60-61.