基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)安全可視化管理系統(tǒng)的研究

李斌

摘要：隨著社會(huì)經(jīng)濟(jì)水平的不斷提高和信息時(shí)代的不斷發(fā)展，計(jì)算機(jī)網(wǎng)絡(luò)在社會(huì)的各個(gè)領(lǐng)域中得到廣泛的應(yīng)用和普及，給人們的生活方式、學(xué)習(xí)方式和工作方式帶來(lái)方便的同時(shí)，卻引發(fā)了一系列的網(wǎng)絡(luò)安全問(wèn)題，在這樣的背景下，網(wǎng)絡(luò)安全可視化管理系統(tǒng)應(yīng)運(yùn)而生，為保證網(wǎng)絡(luò)信息的安全性和真實(shí)性，促進(jìn)網(wǎng)絡(luò)的健康、可持續(xù)發(fā)展發(fā)揮出重要作用。該系統(tǒng)成功應(yīng)用了數(shù)據(jù)挖掘技術(shù)，極大提高對(duì)海量數(shù)據(jù)的收集、分析和處理效果。因此，在數(shù)據(jù)挖掘技術(shù)的應(yīng)用背景下，加強(qiáng)對(duì)網(wǎng)絡(luò)安全可視化管理系統(tǒng)的設(shè)計(jì)與應(yīng)用顯得尤為重要。基于以上情況，本文首先在介紹日志分析中數(shù)據(jù)挖掘算法的基礎(chǔ)上，從系統(tǒng)框架設(shè)計(jì)、開(kāi)發(fā)環(huán)境兩個(gè)方面入手，分析了系統(tǒng)整體框架設(shè)計(jì);其次，從數(shù)據(jù)導(dǎo)入與存儲(chǔ)模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)分析模塊、可視化模塊四方面入手，研究了系統(tǒng)功能設(shè)計(jì);最后，探討了系統(tǒng)在Tcpflow日志分析中的具體應(yīng)用。希望通過(guò)這次研究，為相關(guān)軟件開(kāi)發(fā)人員提供有效的借鑒和參考。

關(guān)鍵詞：數(shù)據(jù)挖掘;網(wǎng)絡(luò)安全;可視化管理系統(tǒng)

中圖分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）13-0033-03

最近幾年，在我國(guó)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展和普及下，各種病毒入侵、黑客攻擊等網(wǎng)絡(luò)攻擊事件屢見(jiàn)不鮮，這無(wú)疑增加了個(gè)人或企業(yè)重要信息數(shù)據(jù)的安全風(fēng)險(xiǎn)，甚至因重要信息泄露或者丟失給個(gè)人或企業(yè)帶來(lái)巨大的經(jīng)濟(jì)損失。而網(wǎng)絡(luò)安全可視化管理系統(tǒng)的出現(xiàn)和應(yīng)用為快速判斷和分析網(wǎng)絡(luò)數(shù)據(jù)，提高網(wǎng)絡(luò)入侵檢測(cè)的準(zhǔn)確度，確保網(wǎng)絡(luò)系統(tǒng)運(yùn)行的穩(wěn)定性和安全性產(chǎn)生了積極的影響，因此，在數(shù)據(jù)挖掘技術(shù)的應(yīng)用背景下，如何科學(xué)設(shè)計(jì)與應(yīng)用網(wǎng)絡(luò)安全可視化管理系統(tǒng)是軟件開(kāi)發(fā)人員必須思考和解決的問(wèn)題。

1日志分析中用到的數(shù)據(jù)挖掘算法

數(shù)據(jù)挖掘算法內(nèi)部包含有大量的模型和算法，這些算法在使用的過(guò)程中，不存在任何沖突問(wèn)題，均能實(shí)現(xiàn)對(duì)各種問(wèn)題的解決，因此，對(duì)于軟件開(kāi)發(fā)人員而言，加強(qiáng)對(duì)不同類型算法的了解和認(rèn)識(shí)是很有必要的。

2系統(tǒng)整體框架設(shè)計(jì)

為了保證系統(tǒng)性能的穩(wěn)定性和可靠性，系統(tǒng)在具體的框架設(shè)計(jì)中，使用的結(jié)構(gòu)主要以服務(wù)器—客戶端為主，其中，客戶端主要用于對(duì)用戶所瀏覽網(wǎng)頁(yè)的渲染[1]，同時(shí)，客戶端在對(duì)網(wǎng)頁(yè)進(jìn)行渲染的過(guò)程中，主要用到了SVG和Echarts相關(guān)技術(shù);服務(wù)器端主要用于對(duì)數(shù)據(jù)的獲取、修改、存儲(chǔ)，以達(dá)到科學(xué)設(shè)計(jì)可視化組件的目的。

2.1系統(tǒng)框架設(shè)計(jì)

在數(shù)據(jù)挖掘技術(shù)的應(yīng)用背景下，為了提高系統(tǒng)的運(yùn)行性能，軟件開(kāi)發(fā)人員要充分利用可視化框架，通過(guò)將Hadoop系統(tǒng)部署到Linux服務(wù)器上，以達(dá)到存儲(chǔ)和管理海量數(shù)據(jù)的目的。同時(shí)，還要在原有數(shù)據(jù)處理層的基礎(chǔ)上，設(shè)計(jì)可視化層，便于可視化層利用Echarts相關(guān)技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的快速獲取和渲染[2]。系統(tǒng)主要由以下七層組成：1）數(shù)據(jù)預(yù)處理層。該層主要用于對(duì)源數(shù)據(jù)的清洗處理，確保無(wú)用數(shù)據(jù)、失效數(shù)據(jù)的清除，以提高可用數(shù)據(jù)的干凈性。2）數(shù)據(jù)導(dǎo)入層。該層在具體的應(yīng)用中，主要利用HDFS實(shí)現(xiàn)對(duì)MySQL數(shù)據(jù)庫(kù)內(nèi)部重要數(shù)據(jù)的導(dǎo)入和存儲(chǔ)。3）數(shù)據(jù)存儲(chǔ)層。該層在具體的應(yīng)用中，可以將系統(tǒng)所需要的數(shù)據(jù)全部存儲(chǔ)在HDFS中。4）數(shù)據(jù)管理層。該層在具體的應(yīng)用中，主要采用Hive管理的方式，將系統(tǒng)所需要的數(shù)學(xué)全部輸出到相應(yīng)的管理層。5）數(shù)據(jù)服務(wù)層。該層在具體的應(yīng)用中，主要針對(duì)數(shù)據(jù)分析需求，通過(guò)利用數(shù)據(jù)挖掘技術(shù)，實(shí)現(xiàn)對(duì)所有數(shù)據(jù)的分析和挖掘。6）數(shù)據(jù)應(yīng)用層。該層在具體的應(yīng)用中，通過(guò)利用關(guān)系型數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)進(jìn)行導(dǎo)入和存儲(chǔ)處理。7）可視化層。該層在具體的應(yīng)用中，能夠根據(jù)用戶的個(gè)性化需求，將用戶需要的頁(yè)面渲染并呈現(xiàn)在客戶端，以達(dá)到可視化效果。

2.2開(kāi)發(fā)環(huán)境

3系統(tǒng)功能設(shè)計(jì)

3.1數(shù)據(jù)導(dǎo)入與存儲(chǔ)模塊

該模塊在具體的設(shè)計(jì)中，需要充分利用Sqoop工具，采用存儲(chǔ)海量數(shù)據(jù)的方式，將MySQL數(shù)據(jù)庫(kù)內(nèi)部的數(shù)據(jù)導(dǎo)入并存儲(chǔ)到Hive數(shù)據(jù)倉(cāng)庫(kù)中。Sqoop工具主要用于對(duì)數(shù)據(jù)的轉(zhuǎn)移和導(dǎo)入操作，為提高數(shù)據(jù)導(dǎo)入和存儲(chǔ)的安全性發(fā)揮出重要作用。同時(shí)，通過(guò)利用Sqoop工具，將最終的數(shù)據(jù)分析結(jié)果，導(dǎo)入到MySQL數(shù)據(jù)庫(kù)中，便于其他客戶端進(jìn)行調(diào)用和使用，從而極大地提高了數(shù)據(jù)的利用率。此外，Sqoop工具在具體的使用中，主要采用了技術(shù)整合的方式，實(shí)現(xiàn)對(duì)各種的數(shù)據(jù)的批處理操作，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)容錯(cuò)性的全面提高。因此，在對(duì)該模塊進(jìn)行設(shè)計(jì)的過(guò)程中，軟件開(kāi)發(fā)人員要重視對(duì)Sqoop工具的使用，確保數(shù)據(jù)導(dǎo)入和存儲(chǔ)的高效性和安全性[3]。

3.2數(shù)據(jù)預(yù)處理模塊

該模塊主要是指用戶在對(duì)數(shù)據(jù)進(jìn)行計(jì)算之前，要針對(duì)數(shù)據(jù)計(jì)算實(shí)際情況，從數(shù)據(jù)審計(jì)、數(shù)據(jù)清洗和數(shù)據(jù)集成三個(gè)方面入手，完成對(duì)原始數(shù)據(jù)的分析和處理，以達(dá)到提高數(shù)據(jù)計(jì)算精確度的目的，確保數(shù)據(jù)形態(tài)能夠與算法需求相符合，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)計(jì)算復(fù)雜度和降低，為進(jìn)一步提高數(shù)據(jù)計(jì)算的效率和效果打下堅(jiān)實(shí)的基礎(chǔ)。數(shù)據(jù)預(yù)處理方法如圖1所示：

3.3數(shù)據(jù)分析模塊

數(shù)據(jù)分析模塊作為系統(tǒng)的核心功能模塊，其設(shè)計(jì)得是否合理直接影響了整個(gè)系統(tǒng)的運(yùn)行性能，因此，為了確保系統(tǒng)能夠可靠、穩(wěn)定、安全地運(yùn)行，軟件開(kāi)發(fā)人員要重視對(duì)該模塊的設(shè)計(jì)與實(shí)現(xiàn)。首先，要嚴(yán)格按照系統(tǒng)層級(jí)相關(guān)標(biāo)準(zhǔn)和要求，將該功能模塊劃分為數(shù)據(jù)服務(wù)層中，然后，將該功能模塊的整個(gè)處理流程劃分為以下兩個(gè)步驟：分別為配置文件的讀取。和Hive查詢?nèi)蝿?wù)的執(zhí)行，通過(guò)完成這兩步操作，可以實(shí)現(xiàn)對(duì)數(shù)據(jù)分析模塊的科學(xué)設(shè)計(jì)與實(shí)現(xiàn)，為進(jìn)一步提高數(shù)據(jù)分析效率和效果創(chuàng)造了良好的條件[4]。

3.4可視化模塊

為了保證可視化模塊設(shè)計(jì)的科學(xué)性和合理性，軟件開(kāi)發(fā)人員要充分利用微服務(wù)架構(gòu)的應(yīng)用優(yōu)勢(shì)，采用同步調(diào)用的方式，為用戶提供可視化服務(wù)功能?？梢暬K在具體的設(shè)計(jì)中涉及SpringMVC的搭建[8]、Bootstrap布局、可視化工具的引入以及可視化組件的設(shè)計(jì)與實(shí)現(xiàn)。

3.4.1SpringMVC

在對(duì)SpringMVC進(jìn)行搭建的過(guò)程中，軟件開(kāi)發(fā)人員要利用MVC設(shè)計(jì)思想，通過(guò)參考和借鑒優(yōu)秀的Web框架，以實(shí)現(xiàn)對(duì)系統(tǒng)可視化功能模塊的科學(xué)設(shè)計(jì)與開(kāi)發(fā)。在這個(gè)過(guò)程中，首先，軟件開(kāi)發(fā)人員要采用MVC注解的方式，利用控制器對(duì)相關(guān)數(shù)據(jù)進(jìn)行處理，無(wú)須進(jìn)行接口的搭建和優(yōu)化，以達(dá)到提高數(shù)據(jù)處理效率和效果的目的。同時(shí)，還要將組件結(jié)構(gòu)應(yīng)用于SpringMVC的搭建中，不斷優(yōu)化和完善SpringMVC功能，同時(shí)，還要利用視圖解析器，針對(duì)MVC框架的使用需求，完成對(duì)相關(guān)信息的配置，以實(shí)現(xiàn)對(duì)SpringMVC的成功搭建。

3.4.2Bootstrap布局

為了提高系統(tǒng)可視化效果，為用戶帶來(lái)良好的視覺(jué)體驗(yàn)，軟件開(kāi)發(fā)人員要重視對(duì)Bootstrap的科學(xué)布局，提高網(wǎng)頁(yè)的簡(jiǎn)潔性和美觀性，本系統(tǒng)前端頁(yè)面在具體的設(shè)計(jì)和開(kāi)發(fā)中，主要用到了Bootstrap3.0框架，該框架作為一種體積小的常用前端框架之一，具有強(qiáng)大的響應(yīng)式柵格功能、多樣化的css樣式、大量的組件和各種官方插件，能夠與JQuery框架進(jìn)行完美結(jié)合，實(shí)現(xiàn)對(duì)各種頁(yè)面的快速開(kāi)發(fā)，極大地提高了軟件開(kāi)發(fā)人員的開(kāi)發(fā)效率和效果。因此，通過(guò)將Bootstrap3.0框架應(yīng)用于本系統(tǒng)的可視化界面開(kāi)發(fā)中，可以得到Bootstrap彈出框，該彈出框主要利用各種小覆蓋層[9]，實(shí)現(xiàn)對(duì)元素相關(guān)信息的存放。

3.4.3引入可視化工具

可視化模塊在具體的設(shè)計(jì)與開(kāi)發(fā)中，所用到的可視化工具主要有兩種，分別是Echart可視化工具和D3可視化工具。其中，Echarts可視化工具在運(yùn)用的過(guò)程中，首先，要根據(jù)實(shí)際開(kāi)發(fā)需求，創(chuàng)建一個(gè)具有一定高度和寬度的DOM容器，以實(shí)現(xiàn)對(duì)繪圖區(qū)域的定義，在此基礎(chǔ)上，將Echarts可視化工具引入到DOM容器中，接著，采用加載模塊的方式，利用回調(diào)函數(shù)，實(shí)現(xiàn)對(duì)各種相關(guān)組件的創(chuàng)建和開(kāi)發(fā)，同時(shí)，還要利用mapotions對(duì)象對(duì)各種組件的屬性進(jìn)行設(shè)置。此外，還要通過(guò)使用JQuery Ajax請(qǐng)求數(shù)據(jù)接口的方式，向服務(wù)器端發(fā)送Ajax請(qǐng)求，從而獲取客戶端需要的可視化數(shù)據(jù)模型，然后，對(duì)數(shù)據(jù)模塊進(jìn)行解析處理，并將最終解析的結(jié)果存儲(chǔ)于potion對(duì)象中，以實(shí)現(xiàn)對(duì)可視化模塊的設(shè)計(jì)和開(kāi)發(fā)。D3可視化工具在運(yùn)用的過(guò)程中，可以采用統(tǒng)一接口的方式，設(shè)計(jì)出滿足用戶使用需求的圖形，為此，軟件開(kāi)發(fā)人員要從以下幾個(gè)方面入手，充分發(fā)揮D3可視化工具的應(yīng)用優(yōu)勢(shì)：1）初始數(shù)據(jù)的確定。在這一環(huán)節(jié)中，軟件開(kāi)發(fā)人員要完成對(duì)各種節(jié)點(diǎn)數(shù)組的定義以及Sip地址范圍的明確;2）數(shù)據(jù)轉(zhuǎn)換操作。在這一環(huán)節(jié)中，軟件開(kāi)發(fā)人員要確保所有數(shù)據(jù)格式和類型保持一致;3）圖形繪制。在這一環(huán)節(jié)中，軟件開(kāi)發(fā)人員通過(guò)利用線段生成器，根據(jù)實(shí)際開(kāi)發(fā)需求，完成對(duì)各種圖形的快速繪制?？梢暬M件生成流程如圖2所示。

4系統(tǒng)在Tcpflow日志分析中的具體應(yīng)用

在數(shù)據(jù)挖掘技術(shù)的應(yīng)用背景下，為了充分發(fā)揮和利用網(wǎng)絡(luò)安全可視化管理系統(tǒng)的應(yīng)用價(jià)值，現(xiàn)將該系統(tǒng)應(yīng)用于Tcpflow日志分析中，以達(dá)到檢驗(yàn)系統(tǒng)穩(wěn)定性和可靠性的目的。在應(yīng)用該系統(tǒng)的過(guò)程中，首先，要將客戶端與服務(wù)器端之間建立起有效的連接，完成對(duì)相關(guān)網(wǎng)絡(luò)結(jié)構(gòu)的搭建，同時(shí)，還要嚴(yán)格按照相關(guān)服務(wù)器使用相關(guān)標(biāo)準(zhǔn)和要求，對(duì)服務(wù)器進(jìn)行分類，在此基礎(chǔ)上，采用識(shí)別網(wǎng)絡(luò)的方式，對(duì)網(wǎng)絡(luò)出現(xiàn)的異常點(diǎn)進(jìn)行分析和檢測(cè)，避免因病毒入侵、網(wǎng)絡(luò)黑客攻擊而造成重要網(wǎng)絡(luò)信息數(shù)據(jù)的丟失、泄露，以達(dá)到保護(hù)網(wǎng)絡(luò)重要信息數(shù)據(jù)的目的，從而為用戶帶來(lái)良好的使用體驗(yàn)。

5結(jié)束語(yǔ)

綜上所述，在數(shù)據(jù)挖掘技術(shù)的應(yīng)用背景下，網(wǎng)絡(luò)安全可視化管理系統(tǒng)在開(kāi)發(fā)和應(yīng)用方面取得了很大的突破和創(chuàng)新，該系統(tǒng)不僅功能強(qiáng)大，通用性強(qiáng)，具有良好的用戶體驗(yàn)，還在網(wǎng)絡(luò)入侵檢測(cè)領(lǐng)域中取得了顯著的應(yīng)用效果，因此，深受廣大用戶的青睞和喜愛(ài)。為了方便后期系統(tǒng)的維護(hù)和升級(jí)，需要相關(guān)軟件開(kāi)發(fā)人員再接再厲，用更加優(yōu)雅的代碼擴(kuò)充更多適用的功能，從而為促進(jìn)網(wǎng)絡(luò)安全可視化管理系統(tǒng)的健康、可持續(xù)發(fā)展，提高其應(yīng)用價(jià)值和應(yīng)用前景提供有力的保障。

參考文獻(xiàn)：

[1] 劉蘭，李之棠，李家春，等.基于異構(gòu)系統(tǒng)的統(tǒng)一網(wǎng)絡(luò)安全監(jiān)控體系模型[J].小型微型計(jì)算機(jī)系統(tǒng)，2006，27（9）：1682-1686.

[2] 張晶.一種基于網(wǎng)絡(luò)安全的大數(shù)據(jù)安全分析平臺(tái)系統(tǒng)[P]. CN201910280131.2， 2019-07-05.

[3] 陳成.網(wǎng)絡(luò)安全態(tài)勢(shì)感知可視化平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京郵電大學(xué)，2017.

[4] 劉緒崇，雷衛(wèi)軍，曾小軍等.一個(gè)基于OLAM的可視化數(shù)據(jù)挖掘系統(tǒng)原型[J].計(jì)算機(jī)工程與設(shè)計(jì)，2004，25（7）：1185-1187.

【通聯(lián)編輯：張薇】