大數據支持下的網絡日志分析技術研究

陳斌

【摘 要】文章從大數據背景下網絡日志的特點分析入手，論述了大數據支持下的網絡日志分析技術。期望通過本文的研究能夠對提高計算機網絡系統的安全性有所幫助。

【關鍵詞】大數據;網絡;日志分析

中圖分類號： F270;TP311.13 文獻標識碼： A 文章編號： 2095-2457（2019）36-0019-002

DOI：10.19694/j.cnki.issn2095-2457.2019.36.008

Research on Network log Analysis Technology Supported by Big Data

CHEN Bin

（Guangdong Institute of construction technology， Guangzhou Guangdong 510440， China）

【Abstract】Based on the analysis of the characteristics of network log in the background of big data， this paper discusses the analysis technology of network log supported by big data. It is hoped that the research in this paper can help to improve the security of computer network system.

【Key words】Big data; Network; Log analysis

在計算機網絡系統中，存儲著大量的日志數據，如操作系統日志、入侵檢測系統日志、防火墻日志、審計日志等等，這些日志對于保障計算機網絡的安全運行具有重要作用。隨著大數據時代的正式開啟，使得日志數據呈幾何數倍增，從而對日志分析提出更高的要求。為此，探尋一種智能化、高效化的網絡日志分析技術顯得尤為必要。借此，下面就大數據支持下的網絡日志分析技術展開研究。

1 大數據背景下網絡日志的特點

日志歸屬于數據信息的范疇，具體是指描述用戶使用計算機時，對各種應用程序進行操作后，以時間為順序，記錄的操作結果的集合。一個日志文件通常都是由多條日志記錄所構成，其中每條記錄描述的系統事件均為獨立事件。隨著大數據時代的正式開啟，使網絡日志呈現出如下特點。

1.1 數據量大

在大數據環境下，計算機網絡系統中的相關設備運行時，均會產生大量的日志，這些日志需要結合說明文檔，才能了解其中的具體內容，所以想要通過人工的方式對日志進行分析非常困難。不僅如此，海量的數據信息在一定程度上給日志存儲與安全保護帶來較大的難度。

1.2 多源異構

在大數據環境下，計算機網絡系統中的日志信息來源非常廣泛，由于這些日志信息來自于類型各不相同的設備，從而使得日志數據具有多源異構的特點。設備不同，產生的日志格式也不相同，由此給日志的收集與處理增添了一定的難度，尤其是操作系統日志和入侵檢測系統日志。

1.3 相互關聯

針對計算機網絡系統的惡意攻擊通常都是由若干個階段構成，其中的每個階段均會產生出內容不同的日志數據，從這個角度來看，日志數據之間存在著相互關聯的特性。以遠程登錄為例，整個過程會被以下日志所記錄：操作系統日志、防火墻日志以及審計日志。

1.4 易受攻擊

在計算機網絡系統中，日志主要是為網絡管理人員服務，正因如此，對日志進行設計時，只考慮了管理方面的便捷性，卻并未充分考慮日志本身的安全性，從而使得日志數據很容易受到惡意攻擊。例如，黑客通過對系統注冊表或是Syslog配置文件的修改，能夠停止日志進程，這樣便可阻止日志對系統中的安全事件進行記錄，由此會導致計算機網絡的安全性大幅度降低。此外，部分日志數據生成之后，會被存儲在安全性較低的目錄下，這部分日志成為黑客的主要攻擊對象。

2 大數據支持下的網絡日志分析技術

2.1 網絡日志分析技術

1）離線分析。日志中存儲著海量的數據信息，為對這部分數據進行深度挖掘和分析，并追溯后臺的操作記錄，需要對日志數據進行長期、持續地存儲，這一目標可以借助Hadoop來實現。Hadoop是Apache軟件基金會開發的一套分布式基礎架構，它實現了一個分布式文件系統，即HDFS，該系統最為突出的特點是容錯性高，可在低廉的硬件上進行部署。因HDFS能夠提供高吞吐量對應用程序中的相關數據進行訪問，從而使其在超大數據集的應用程序中具有良好的適用性。在網絡日志分析中，可將不需要實時分析的數據存儲在HDFS中，然后借助相應的編程模型，如Map Reduce等，便可對日志數據進行挖掘和分析。Hadoop不但為非實時分析的日志數據提供了解決方案，還為實時展示的日志數據提供了解決方案，即HBase，這是一個具有分布式特點的面向列的開源數據庫，它是Hadoop的子項目之一，可用于非結構數據的存儲。HBase能夠對數據表進行自動分區，由此可實現海量數據的存儲。

離線日志分析具有如下特征：能夠批量對數據進行獲取及傳輸，可在預先設定好的周期內，對批量數據進行計算和展示。比較常見的離線日志分析方法有聚類分析法、序列分析法、關聯分析法等。不同的方法具有不同的用途，如關聯分析法能夠發現數據集中存在的因果結構，據此可對事物中某些屬性的規律進行描述;序列分析法在預防網絡安全中的效果比較顯著。

2）實時日志分析技術。對于部分應用程序而言，需要分析實時日志數據，如網絡負載、流量、磁盤占用情況等等，此時可以采用以下數據分析工具：

（1）Flume。這是一個可用性和可靠性非常高的海量日志采集系統，其具有分布式的特征，除了能夠對日志進行實時采集之外，還能對日志數據進行聚合及傳輸。Flume支持在日志系統中定制各類數據發送方，由此可對相關的數據進行收集。

（2）Kafka。這是一個由Apache軟件基金會開發的開源流處理平臺，其能夠對網絡中的數據流進行處理，這些數據可以通過處理日志和日志聚合來進行解決。借助Kafka，可對實時數據進行存儲。

實時日志的具體分析過程如下：

Step1：通過Flume對計算機網絡系統中的日志文件進行監聽，并對每條日志中的信息進行實時抓取;

Step2：Flume抓取到日志信息之后，可直接存儲到Kafka當中，然后借助分布式計算對這些信息進行處理;

Step3：通過自定義的方式，對日志進行分析，并將結果輸出到緩存數據庫當中，由應用程序對這部分數據進行讀取和顯示。

2.2 網絡日志分析系統的構建

為進一步提高網絡日志分析效率，可在大數據的支持下，構建網絡日志分析系統，該系統由以下幾個層次組成：

（1）數據采集層。該層的核心是日志采集服務器，可實現日志記錄的接收與存儲。對于一些比較小的文件，服務器會自動將之合并成大文件，然后傳給數據存儲層。出于安全性方面的考慮，決定采用Syslog服務器對日志數據進行實時采集，該服務器使用的是UDP傳輸協議，端口為默認端口，可將接收到的日志數據直接寫入相應的文件系統當中。

（2）數據存儲層。該層主要負責對日志數據及相關的分析結果進行存儲，采用的是分布式存儲方式，其底層系統為HDFS，配備海量的存儲空間，能夠對非結構化數據進行持久性存儲。

（3）業務層。該層的核心是日志分析程序，負責解決日志的統計分析問題，具體的功能可以按照分析需求自行定制。

（4）數據顯示層。該層的主要作用是對業務層處理后的結果進行再處理，然后顯示在界面上。由于業務層處理完的數據會存儲在底層的HDFS當中，因此，需要通過顯示層對這部分數據進行提取，經分析轉換之后，以圖表、文字等形式，顯示在頁面上。

3 結論

綜上所述，網絡日志分析對于保障計算機網絡系統的安全性具有重要的現實意義。在大數據環境下，日志數據不斷增多，由此增大了日志分析的難度，為有效解決這一問題，可以采用離線和實時兩種日志分析技術，并在大數據技術的支持下，構建網絡日志分析系統，借此來對海量的日志數據進行分析。未來一段時期，應當加大對網絡日志分析技術的研究力度，除對現有的技術進行不斷優化之外，還應開發一些新的技術，從而使其更好地為日志分析服務。

【參考文獻】

[1]楊立鵬，張仰森，張雯，王建，曾健榮.基于Storm實時流式計算框架的網絡日志分析方法[J].計算機科學，2019（9）：102-105.

[2]徐航.數據清洗方法分析及其在網絡日志數據處理中的應用[D].華中科技大學，2017（5）：64-66.

[3]向永謙，李欣，滿建文.基于網絡日志進行大數據分析的安全感知[J].自動化博覽，2018（6）：75-77.

[4]顏偉，李俊青.基于Python網絡日志分析系統研究與實現[J].曲阜師范大學學報（自然科學版），2017（10）：102-106.

[5]張建東.基于大數據技術的日志分析體系結構的研究[J].現代計算機（專業版），2018（3）：45-47.