基于Spark的網絡日志分析系統設計與實現

汪小霞

摘 要：當下，互聯網技術已經廣泛地應用于企業辦公系統。企業在需要對業務進行處理時，對互聯網有著較高的需求。在利用網絡技術的基礎上，工作人員可以有效地借助飛快的信息傳播速度，降低工作的成本，同時也可以進一步提升辦公的整體效能。因此，文章針對Spark的網絡日志，進行系統設計、分析以及闡述，以此為相關領域的研究人員提供參考。

關鍵詞：Spark;網絡日志;系統構建;邏輯處理;網頁展示

0? ? 引言

現階段，大多數用戶以及行業都在使用互聯網技術，但卻沒有良好的信息安全意識。而當下的網絡環境也越發復雜和危險，使得信息安全風險管理工作日漸成為企業日常風險管理的重要內容。企業需要有效地分析以及處理網絡日志，以此充分保障企業不會受到網絡威脅。本研究為整個系統的優化以及維護提供一定的數據參考。

1? ? 網絡環境

在互聯網發展的背景下，網絡應用于政務辦公系統中。各行各業不斷地利用網絡，確保能夠獲得更多的信息以及數據。這使得辦公事務也可以順利地利用互聯網實現高效率的工作。一項調查顯示，我國四成以上企業員工在辦公的過程中，使用網絡的時間與工作未產生必然的聯系，甚至是訪問一些惡意的網站，因此影響了工作效率。企業在未來的發展過程中，須改進網絡日志方面的分析系統，保障在運用互聯網的過程中，有著較高的安全性。

2? ? 基于Spark的網絡日志分析系統的設計

2.1? Spark

Spark是UC Berkeley AMP lab研發的一種開源集群計算框架，并使用Scala，是基于Hadoop所實現的一種分布式的文件系統類型。最開始研發的目的是為了有效地在一個開源軟件平臺上進行工具的執行，但是最后經過長期的研發，形成了一個較為完整的系統類型。Spark可以有效地提供內存集群計算的效果。在數據信息的處理過程中，其可以將一些中間輸出以及結果完整地保留在內存中，不需要再次進行讀寫處理。這種信息處理方式可以有效地順應機器的學習，同時也可以有效地進行數據方面的深度挖掘。而在進行迭代計算的過程中，相較于Hadoop，Spark有著更高的效率性[1]。

2.2? 總體結構

2.2.1? 節點層

節點層的設計處于最底層。它是由多種機器節點構成的互聯集群環境，同時也是現階段網絡日志在分析系統中的一種物理層。

2.2.2? 任務管理模塊

任務管理模塊主要是針對不同的Spark集群任務，所開展的管理調度。而在系統進行配置方面的管理過程中，設計人員還可以有效地實現人物配置、任務狀態監控以及任務調度。系統在使用的過程中，能夠有效地定時執行每日任務。而該模塊還包含兩個不同的部門，由Spark框架以及分布式管理系統構成。

2.2.3? Spark

Spark是一種基于MapReduce的并行計算框架，但是與MapReduce不同的是，在使用的過程中，其產生的計算結果可以保存在內存中，以此就可以在計算的過程中有效降低延遲性，進一步提升交互效果。另一方面，設計人員還需要在Spark的使用過程中，實現更加廣泛的數據集操作，保障數據庫、流處理以及圖計算滿足各種方面的需求。雖然Spark是一種較為獨立的項目，但是依然可以在設計的過程中，實現與分布式文件系統共同運作。同時，也可以直接在HDFS上利用YARN，在MapReduce上一同進行作業[2]。

2.2.4? HDFS

HDFS是一種分布式文件系統，主要為計算機存儲功能提供一定的底層支持。在設計的過程中，HDFS可以有效地作用于一些廉價的硬件上，并且可以有著較高的容錯性，另一方面，還可以成為一個較為流行的海量數據存儲。

2.2.5? 日志采集模塊

該模塊主要是為了能夠對上游的一些帶解析的日志數據位置進行詳細的解析，以此在自動收集的過程中，對于企業的內部網絡進行Squid服務器的日志數據分析。在全部收集之后，使用者便可以對數據進行預處理，之后依據數據的實際要求，進行加工。在處理的過程中，日志采集模塊可以實現對于數據的一致性、完整性、丟失性等方面的操作。而子模塊還可以針對性地篩選日志數據，將數據轉換成可以分析的數據形式，之后將其采集到日志數據中。Spark進行集群節點方面的儲存。

2.2.6? 邏輯處理模塊

該模塊主要與Spark進行集群方面的交互。而對于用戶而言，該模塊可以有效地在網頁端進行相應的操作，之后對業務數據進行查詢，對HQL進行語句方面的定制。

2.2.7? 網頁展示模塊

該系統主要基于Web。在查詢之后，該模塊就可以返回到結果數據，之后對不同的搜索進行分析，保障在分析的過程中，能夠形成信息數量較多的網頁。

3? ? 基于Spark的網絡日志分析系統的實現

在上述的結構設計下，為了檢驗系統的合理性，設計人員可以進行研究和分析。

3.1? 系統部署

如圖1所示，本系統的實現，需要依靠CICS交易服務器、Hive數據倉庫、客戶端、Liberty服務器、Spark集群，對腳本進行上傳，對日志進行存儲、提取與分析、生成報告等。

3.2? 任務調度

Spark分析模塊是Scheduler最重要的核心組成部分，需要在應用的過程中，運用Hadoop MapReduce。而在資源管理以及調度的過程中，Spark使用的方式基本上基于YARN。這種資源調度器可以有效地在使用的過程中，起到資源調度分配的作用。在不同的應用當中，它都能夠實現任務調度器的作用，以此對于任務進行調度以及協調。對于這種上層資源調度而言，應用內部的任務調度較為獨立[3]。

3.3? 用戶需求數據分析

在實現的過程中，首先基于用戶的實際需求，將請求的數據進行分析以及計算，之后再將分析的結果進行返回。返回基本上可以分為圖片以及純數據這兩種不同的類型。在使用的過程中，工作人員有效地利用getData進行數據信息的調用以及分析。在前臺的信息處理過程中，技術人員可以有效地利用前臺調用JFreeChart工具，進行相應的分析。

在現階段的發展過程中，Spark已經成為十分熱門的一種開源項目，并廣泛地應用到各種企業中。在研究中，該技術也能夠起到十分有效的作用，足以幫助企業在日常的網絡日志的管理過程中，實現安全性以及質量性的管理目標。另外，這項技術還可以定期優化以及改進。

3.4? 日志處理

為確保基于Spark的網絡日志分析系統能夠有效實現，工作人員對日志進行處理非常重要，具體方法如下：（1）日志上傳：系統中日志的上傳方式包括兩種：手動與自動。手動上傳需要依靠CICS交易服務器的部署功能，自動上傳則需要依靠Web來實現。（2）日志處理：工作人員可通過日志分析系統對日志進行處理，利用系統部署中的Spark集群功能進行計算，并實現對不同節點日志的分析，經分析后的數據可被返回并自動匯總，以備使用。

4? ? 結語

綜上所述，文章主要基于Spark的構建，分析了企業網絡日志分析技術。為了進一步提升企業的網絡安全性，技術人員還需要在日后的發展過程中，對網絡系統的進行優化。

[參考文獻]

[1]李言飛，張鵬，戚曉鵬，等.中國疾病預防控制信息系統網絡日志大數據分析[J].中國衛生信息管理，2018（6）：625-628.

[2]李亞紅，胡前忠.分布式網絡日志分析系統的設計與實現[J].信息與電腦（理論版），2018（21）：163-165.

[3]張揚.基于大數據技術的網絡日志分析系統[J].電子技術與軟件工程，2018（17）：175.

（編輯 王永超）