基于大數據的日志分析平臺在銀行中的研究與實現

◆王參參 姜青云 李 彤

?

基于大數據的日志分析平臺在銀行中的研究與實現

◆王參參1姜青云1李 彤2

（1. 山東省農村信用社聯合社 山東 250014；2. 萊陽農商銀行 山東 265200）

在銀行的業務發展和系統日常運維過程中，日志是業務發展趨勢參考和定位解決問題重要的突破口。如何能夠有效地對操作系統、數據庫、中間件、網絡、安全設備及應用系統的日志進行收集、集中存儲管理和分析成為當前各大銀行研究的重要課題。本文首先介紹了日志分析與審計的意義，詳細說明了多源日志采集的協議和方式及功能要求設計，最后介紹了銀行日志分析平臺的硬件架構設計。

大數據；日志分析；多源日志

0 前言

日志是系統日常運行、安全審計、取證及入侵檢測的重要資源，日志在系統及網絡安全的作用至關重要[1]。銀行數據中心是整個銀行系統的核心，成千上萬臺的操作系統、數據庫、中間件、網絡設備、存儲設備以及成百上千的應用系統，這些設備和系統每天產生的日志數據本身量大、分布分散、格式多樣，銀行人員對這些海量的、分散的日志數據無法進行有效分析，無法對已發生的已知威脅和未知威脅檢測發現，缺乏有效的調查取證和追蹤溯源能力。

2009年銀監會發布《商業銀行信息科技風險管理指引》、2012年中國人民銀行發布《金融行業信息系統信息安全等級保護實施指引》、2017年《中華人民共和國網絡安全法》頒布，在這些指引、法律以及監管部門的要求中都明確提出，銀行業金融部門必須對系統日志進行集中保存，同時對運行日志和審計數據進行分析，以便及時發現異常行為，并根據風險等級不同確定保存期限等。

日志分析平臺是一種作用于整個信息管理體系的，以整體監控和審計為目標的，可為銀行提供預警和客觀決策依據信息安全保障系統。

1 日志分析與審計意義

隨著信息科技的不斷發展，銀行應用系統及各種IT資源設備急速增長，各類設備產生的日志也呈現指數增長，由于日志分布在各自設備上且日志格式不同，單個分析日志文件比較困難，且意義不大。通過統一的日志分析平臺將日志進行統一收集、標準化處理、過濾與歸并、關聯與分析等操作，按照不同級別進行告警提示，從而為運維人員及時發現當前應用系統所發生的異常情況提供方便，有效實現全網的事件查詢與預警、資產安全評估、安全狀況統計分析、入侵檢測等。同時對保障日志數據的安全性具有重要意義，也為事后審計提供數據支撐，大大降低人員的工作量，減少人力工作存在的不確定因素。

日志大數據分析是反映趨勢的、是動態的、可預測的，所以它需要更多的事件、情報以及大量的歷史數據才可以完成。

2 多源日志數據采集

日志數據包括結構化和非結構化的數據，主要來源于操作系統、數據庫、中間件、網絡設備、安全設備、應用系統等。日志采集協議主要包括syslog、SNMP、FTP、SFTP、JDBC、專用API等。如圖1，日志數據被主動采集到平臺后，經過處理，能夠將來自各廠商的設備、系統中的各種報文、資源信息標準化處理，形成平臺內的統一格式，并由平臺進行格式化后的存儲、分析[2]。日志分析平臺可以對映射處理為統一格式的數據進行分析，主要提供日志數據的分類、關聯、聚類、回歸等大數據處理。

圖1 日志分析平臺數據采集流程圖

3 功能設計

采用基于大數據的日志分析平臺，滿足日志數據采集需求的同時，還應該具備高性能和靈活可擴展的要求[3]，采用多任務分布式技術對海量日志數據進行深入挖掘，通過建立科學的數據分析模型，既能實現對實時日志數據的分析和預警以達到事中監控的目的[4]，又可以對海量歷史數據進行關聯與分析以達到事后審計與查詢的目的。

在全網范圍日志分析平臺分為兩級系統架構，由總行的一級中心平臺和位于地市級的二級分行數據采集節點組成。

在兩級網絡架構中，總行的一級平臺具有管理、實體和樞紐功能，為全網日志分析結果提供支撐和保障，實現全網日志信息的交換和管理。二級分行（地市）日志分析系統具有管理和實體功能，為本地市提供日志管理和采集功能，以及網絡完全保障。地市級日志分析系統與省級分析系統通過接口相聯，實現數據交換，二者相互協作配合，即解決因日志規模過大造成的省級系統計算資源過載和網絡堵塞等問題，又進一步實現全省的信息共享。

總行數據中心的部署日志分析平臺，主要功能為日志收集、歸并、日志快速檢索及定位、數據挖掘分析、事件管理及告警、統計報表、日志數據集中存儲等；分行數據中心部署的日志分析平臺，主要功能為日志收集、發送、事件查詢、統計報表、數據挖掘分析等。

4 硬件架構設計

基于大數據的日志分析平臺主要解決日志數據的存儲和數據分析問題，平臺依賴于各類安全引擎的數據，同時也提供對外數據訪問接口與數據分析接口。

圖2 大數據日志分析平臺硬件架構圖

如圖2，大數據日志分析平臺部署在總行數據中心，包括平臺管理、實時處理、離線處理、深度智能感知引擎以及任務分發模塊。日志數據采集器部署在各地市分行數據中心，將采集到的數據通過互聯網或者內網發送到Agent代理中心，Agent代理中心將數據放入消息中間件進行緩存；大數據服務平臺從消息中心中取數據，一份數據進行保存，另一份數據進行實時處理；平臺管理負責集群存儲資源和計算資源的管理，供離線處理系統和實時處理系統資源的使用。

5 結束語

基于大數據技術的日志分析平臺，采用基于IT系統全量日志的大數據分布式采集、分布式存儲、結構化、海量數據搜索等技術。實現配置簡單、功能強大、容易使用的日志分析平臺，通過對日志集中存儲和實時索引，實現搜索、分析和監控告警等功能，達到業務實時監控、異常原因定位、日志數據統計分析及安全與合規審計。研究的難點在于：

（1）日志源設備眾多，產生的日志類型種類繁多，因此，需要研究對收集到的日志進行標準化處理，以便后續的分析。

（2）由于采用總行-分行兩級體系建設，涉及到的數據中心眾多，且各中心設備資產種類較多，在進行日志傳輸的過程中為防止因較大日志量的傳輸造成對業務系統的影響，需要研究對日志的去重及壓縮傳輸。

隨著監管部門的要求以及銀行自身的需求，對日志的收集及分析要求越來越高，且分析挖掘后得到的信息越來越有價值，對銀行的業務發展和系統的安全穩定運行帶來積極作用。

[1]任凱，鄧武，俞琰.基于大數據技術的網絡日志分析系統研究[J].現代電子技術，2016.

[2]周平，馬斌，韓冰等.基于大數據平臺的日志分析預警技術研究[J].電腦知識與技術，2016.

[3]周航，畢永軍.日志分析技術在IT運維管理中的應用[J].金融電子化，2017.

[4]胡翔，張曉敏.基于大數據審計的信息安全日志分析方法[J].金融電子化，2015.