基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為檢測平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

一、引言

近幾年，隨著大數(shù)據(jù)和人工智能技術(shù)的不斷發(fā)展，全球數(shù)據(jù)的交互活動(dòng)變得越來越頻繁，計(jì)算機(jī)已經(jīng)成為人們生活中不可割舍的一部分。在全球網(wǎng)絡(luò)信息高速發(fā)展的時(shí)代背景下，網(wǎng)絡(luò)安全問題得到了廣泛的關(guān)注；國家互聯(lián)網(wǎng)應(yīng)急中心每周都會(huì)發(fā)布國家信息安全流動(dòng)共享平臺(tái)（CNVD）周報(bào)，在2024年的第五期報(bào)告中，國家互聯(lián)網(wǎng)應(yīng)急中心收集整理了信息安全漏洞409個(gè)，其中高危漏洞177個(gè)、中危漏洞225個(gè)、低危漏洞7個(gè)。漏洞平均分值為6.60，國家信息安全流動(dòng)共享平臺(tái)（CNVD）接到的涉及黨政機(jī)關(guān)和企事業(yè)單位的事件型漏洞總數(shù)13040個(gè)，與上期（12980個(gè)）環(huán)比增加0.5%。可以看出，在網(wǎng)絡(luò)環(huán)境中，隨著網(wǎng)絡(luò)安全數(shù)據(jù)量越來越大，網(wǎng)絡(luò)攻擊的形勢也變得越來越嚴(yán)峻，面對這種形勢，如何加強(qiáng)對網(wǎng)絡(luò)異常行為的檢測成為控制保護(hù)網(wǎng)絡(luò)安全的關(guān)鍵措施。基于此，本文針對網(wǎng)絡(luò)異常行為檢測平臺(tái)的設(shè)計(jì)展開研究，詳細(xì)分析如下。

二、大數(shù)據(jù)下網(wǎng)絡(luò)異常行為檢測平臺(tái)的設(shè)計(jì)

大數(shù)據(jù)下網(wǎng)絡(luò)異常行為的檢測是一種綜合性的活動(dòng)內(nèi)容，檢測需要收集安全數(shù)據(jù)、做好數(shù)據(jù)處理、數(shù)據(jù)儲(chǔ)存并挖掘有關(guān)異常數(shù)據(jù)，從而達(dá)到檢測的目的。在使用大數(shù)據(jù)工作開展網(wǎng)絡(luò)異常行為的檢測過程中，必須明確清楚數(shù)據(jù)集成和數(shù)據(jù)高容量處理的問題，只有完善相關(guān)的問題，才能夠更好地做好平臺(tái)的設(shè)計(jì)和平臺(tái)的應(yīng)用。

（一）平臺(tái)架構(gòu)

1.平臺(tái)簡易架構(gòu)

根據(jù)上文的研究分析，在網(wǎng)絡(luò)異常行為檢測平臺(tái)的設(shè)計(jì)中，可以將平臺(tái)的總體架構(gòu)分為六個(gè)層面，分別為數(shù)據(jù)源層、數(shù)據(jù)收集層、數(shù)據(jù)管道層、實(shí)時(shí)計(jì)算層、數(shù)據(jù)儲(chǔ)存層、數(shù)據(jù)分析層。

2.詳細(xì)架構(gòu)分析

（1）數(shù)據(jù)源層：數(shù)據(jù)源層是網(wǎng)絡(luò)異常行為檢測平臺(tái)的重要層級(jí)，是數(shù)據(jù)處理的基礎(chǔ)層級(jí)，包含有網(wǎng)絡(luò)數(shù)據(jù)流數(shù)據(jù)以及防火墻系統(tǒng)日志數(shù)據(jù)等；在網(wǎng)絡(luò)異常行為的檢測平臺(tái)中，數(shù)據(jù)源層主要是提供數(shù)據(jù)來源的層級(jí)，通過不同的數(shù)據(jù)源層進(jìn)入系統(tǒng)的數(shù)據(jù)會(huì)有不同的作用；其中，網(wǎng)絡(luò)數(shù)據(jù)流數(shù)據(jù)是數(shù)據(jù)源層中最為重要的數(shù)據(jù)內(nèi)容。

（2）數(shù)據(jù)收集層：在數(shù)據(jù)收集層中，不同的數(shù)據(jù)應(yīng)該采用不同的接入收集方案，從而更好地保障數(shù)據(jù)介入的可靠性。比如說，在網(wǎng)絡(luò)設(shè)備上，通過網(wǎng)絡(luò)數(shù)據(jù)流，可以使用網(wǎng)絡(luò)抓包工具，實(shí)現(xiàn)對數(shù)據(jù)的收集以及對數(shù)據(jù)的處理。

（3）數(shù)據(jù)管道層：數(shù)據(jù)管道層是連接數(shù)據(jù)收集層和實(shí)時(shí)計(jì)算層的關(guān)鍵，數(shù)據(jù)管道實(shí)際的作用就是為在數(shù)據(jù)收集層所收集到的數(shù)據(jù)做一個(gè)緩沖，在這些數(shù)據(jù)進(jìn)入到實(shí)時(shí)計(jì)算層之前，進(jìn)行緩沖；因?yàn)閿?shù)據(jù)內(nèi)容一旦過大，就會(huì)導(dǎo)致系統(tǒng)平臺(tái)出現(xiàn)一定的處理問題，很難確保數(shù)據(jù)的整體處理效果，所以就需要一個(gè)緩沖層，緩沖層可以有效地提高數(shù)據(jù)傳輸?shù)目煽啃裕苊庥捎跀?shù)據(jù)內(nèi)容過大導(dǎo)致數(shù)據(jù)傳輸過程中丟失數(shù)據(jù)的問題發(fā)生。在系統(tǒng)中，數(shù)據(jù)管道層會(huì)應(yīng)用“Kafka”（分布式消息系統(tǒng)）作為處理數(shù)據(jù)緩沖的工具，在數(shù)據(jù)收集層中收集到的數(shù)據(jù)會(huì)經(jīng)過“Kafka”（分布式消息系統(tǒng)），寫入“Kafka集群”中，匯總數(shù)據(jù)以后，就會(huì)經(jīng)過“Filnk”（流式處理器）進(jìn)行處理解讀，更好地確保數(shù)據(jù)的安全與可靠。

（4）實(shí)時(shí)計(jì)算層：實(shí)時(shí)計(jì)算層在網(wǎng)絡(luò)異常行為檢測平臺(tái)中起到了核心的作用。這一層主要依賴于高性能的流式處理器引擎"——Filnk。它具備高可靠性、高容錯(cuò)性的特性，確保了數(shù)據(jù)處理的穩(wěn)定性和準(zhǔn)確性。實(shí)時(shí)計(jì)算層的功能多樣，涵蓋了數(shù)據(jù)反序列化服務(wù)、特征處理服務(wù)、TCP會(huì)話重組服務(wù)、統(tǒng)計(jì)分析服務(wù)、數(shù)據(jù)入庫服務(wù)以及告警服務(wù)等多個(gè)方面。

（5）數(shù)據(jù)儲(chǔ)存層：數(shù)據(jù)儲(chǔ)存層本質(zhì)上是通過多個(gè)數(shù)據(jù)儲(chǔ)存集群所組成的，數(shù)據(jù)儲(chǔ)存層提供了大數(shù)據(jù)網(wǎng)絡(luò)異常行為檢測的重要服務(wù)功能，分別是：基于HDFS分布式文件系統(tǒng)服務(wù)、基于HBase的分布式數(shù)據(jù)庫、基于Elasticsearch全文檢索服務(wù)。在數(shù)據(jù)儲(chǔ)存層中，利用這些大數(shù)據(jù)儲(chǔ)存服務(wù)，可以構(gòu)建一個(gè)高容量、高吞吐的海量數(shù)據(jù)儲(chǔ)存體系，其中基于HDFS的分布式文件系統(tǒng)服務(wù)是數(shù)據(jù)儲(chǔ)存層的重要組成部分。HDFS作為Hadoop生態(tài)系統(tǒng)中的核心組件，具有高可靠性、高擴(kuò)展性和高效能的特點(diǎn)。它通過將數(shù)據(jù)分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，實(shí)現(xiàn)了數(shù)據(jù)的分布式存儲(chǔ)和并行處理。這不僅提高了數(shù)據(jù)的存儲(chǔ)容量和可靠性，還為后續(xù)的數(shù)據(jù)分析和處理提供了高效的數(shù)據(jù)訪問接口。

（6）數(shù)據(jù)分析層：數(shù)據(jù)分析層是分析數(shù)據(jù)的關(guān)鍵層級(jí)，對于網(wǎng)絡(luò)異常行為平臺(tái)的檢測有非常重要的作用。主要任務(wù)是構(gòu)建高效的網(wǎng)絡(luò)異常行為檢測模型，這個(gè)模型能夠?qū)崟r(shí)地監(jiān)控網(wǎng)絡(luò)流量，識(shí)別異常行為，并及時(shí)發(fā)出警報(bào)，以防止?jié)撛诘木W(wǎng)絡(luò)攻擊或數(shù)據(jù)泄露。

（二）平臺(tái)系統(tǒng)的硬件設(shè)計(jì)

1.Hadoop的運(yùn)用原理

Hadoop系統(tǒng)是一種廣泛使用的云計(jì)算平臺(tái)，它采用了map/reduce分布式計(jì)算模型，可以將大數(shù)據(jù)問題分解為多個(gè)小的任務(wù)，并在多個(gè)節(jié)點(diǎn)上并行處理，從而大大提高了數(shù)據(jù)處理效率。

本研究將針對Hadoop系統(tǒng)的作業(yè)原理進(jìn)行優(yōu)化設(shè)計(jì)，旨在進(jìn)一步提高大數(shù)據(jù)處理的效率和精度。通過深入分析map/reduce分布式計(jì)算模式的工作原理，我們將探索如何更好地利用云計(jì)算資源，優(yōu)化數(shù)據(jù)處理的流程，從而實(shí)現(xiàn)對大數(shù)據(jù)的高效、準(zhǔn)確處理。

Hadoop系統(tǒng)會(huì)將大數(shù)據(jù)網(wǎng)絡(luò)中的異常數(shù)據(jù)檢測任務(wù)進(jìn)行分類，分別分成不同的“子任務(wù)”，每一種不同的子任務(wù)，分別使用一個(gè)節(jié)點(diǎn)，最后會(huì)將檢測的結(jié)果上傳到數(shù)據(jù)庫管理的節(jié)點(diǎn)中，將所有的子任務(wù)的節(jié)點(diǎn)匯集以后，就會(huì)最終形成整體的檢測結(jié)果。

2.系統(tǒng)控制模塊的設(shè)計(jì)

在本研究中，我們選擇SDN控制器作為網(wǎng)絡(luò)異常行為檢測平臺(tái)的主要控制設(shè)備。網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)則由“計(jì)算端”與“控制端”銜接組合形成，計(jì)算端與控制端的銜接接口就是網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)，在平臺(tái)的整體工作中，計(jì)算端的主要作用是將系統(tǒng)的控制算法傳遞提供給總控制器，也就是“SDN控制器”，而控制端則可以與SDN控制器一起為網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)服務(wù)，形成控制點(diǎn)。

3.系統(tǒng)檢測模塊的設(shè)計(jì)

在大數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)異常風(fēng)險(xiǎn)檢測的系統(tǒng)中，檢測模塊的設(shè)計(jì)是非常重要的，在本研究設(shè)計(jì)中，檢測模塊由儲(chǔ)存端和預(yù)處理端構(gòu)成；儲(chǔ)存端的主要功能是負(fù)責(zé)對大量數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。它采用了先進(jìn)的存儲(chǔ)技術(shù)，確保數(shù)據(jù)的安全性和完整性。同時(shí)，儲(chǔ)存端還具備強(qiáng)大的數(shù)據(jù)檢索和分析能力，能夠快速定位異常數(shù)據(jù)，為后續(xù)的異常風(fēng)險(xiǎn)檢測提供有力支持。預(yù)處理端則負(fù)責(zé)對原始數(shù)據(jù)進(jìn)行清洗、篩選和整合。通過這一環(huán)節(jié)，我們可以去除無效和冗余數(shù)據(jù)，提高數(shù)據(jù)的質(zhì)量和準(zhǔn)確性。此外，預(yù)處理端還具備數(shù)據(jù)分類和標(biāo)簽化功能，有助于不同類型的數(shù)據(jù)進(jìn)行有針對性地分析和處理。

（三）網(wǎng)絡(luò)異常風(fēng)險(xiǎn)的檢測

1.最小二乘支持向量機(jī)

在傳統(tǒng)的網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)異常風(fēng)險(xiǎn)檢測活動(dòng)中，一般采用支持向量機(jī)對這些異常風(fēng)險(xiǎn)進(jìn)行檢測和分析，這種方式的建模時(shí)間比較長，同時(shí)分析異常風(fēng)險(xiǎn)活動(dòng)的效率比較低，存在較大的缺陷，因此需要加以優(yōu)化。對此，本研究在相關(guān)理論的研究基礎(chǔ)上，提出了在網(wǎng)絡(luò)異常風(fēng)險(xiǎn)檢測中應(yīng)用“最小二乘支持向量機(jī)”的方式進(jìn)行檢測，并針對傳統(tǒng)的網(wǎng)絡(luò)異常風(fēng)險(xiǎn)檢測技術(shù)進(jìn)行了改進(jìn)。具體來說，在研究中，我們將傳統(tǒng)的網(wǎng)絡(luò)異常檢測向量機(jī)中的不等約束轉(zhuǎn)化成為等式約束；通過這一改變，很好地將整個(gè)網(wǎng)絡(luò)異常風(fēng)險(xiǎn)檢測平臺(tái)實(shí)現(xiàn)了簡化，并很好地降低了計(jì)算中可能會(huì)出現(xiàn)的一些復(fù)雜情況，并有效的提高了網(wǎng)絡(luò)異常風(fēng)險(xiǎn)的檢測效率和質(zhì)量。

2.網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)異常風(fēng)險(xiǎn)監(jiān)測模型

本文所研究的平臺(tái)是基于最小二乘向量機(jī)的平臺(tái)模型，具體來說，異常風(fēng)險(xiǎn)檢測的流程如下：

首先，我們實(shí)時(shí)收集網(wǎng)絡(luò)中的大數(shù)據(jù)信息，并特別關(guān)注那些可能表明網(wǎng)絡(luò)入侵的數(shù)據(jù)，這些數(shù)據(jù)就是網(wǎng)絡(luò)數(shù)據(jù)平臺(tái)中，可能會(huì)造成風(fēng)險(xiǎn)的相關(guān)標(biāo)志數(shù)據(jù)。其次，在原始的網(wǎng)絡(luò)數(shù)據(jù)中，我們也將一些風(fēng)險(xiǎn)異常的數(shù)據(jù)篩選了出來，縮小了數(shù)據(jù)的范圍，從而可以很好地加快最小二乘支持向量機(jī)的學(xué)習(xí)速度。這一步的作用就是提高模型的效率和精度，使其更能夠快速準(zhǔn)確地檢測出異常風(fēng)險(xiǎn)。再者，將異常風(fēng)險(xiǎn)相關(guān)的數(shù)據(jù)集劃分為多個(gè)子樣本集。這種分治策略使得我們可以對各個(gè)子集進(jìn)行單獨(dú)建模，提高了模型的適應(yīng)性和泛化能力。繼而，采集子樣本，并利用最小二乘支持向量機(jī)建模，建模完成以后，設(shè)定合適的樣本進(jìn)行檢測以獲得最佳的模型性能。在每個(gè)節(jié)點(diǎn)上，我們將訓(xùn)練樣本輸入到最小二乘支持向量機(jī)中進(jìn)行訓(xùn)練。

三、實(shí)驗(yàn)分析

上文筆者針對大數(shù)據(jù)網(wǎng)絡(luò)異常行為檢測的平臺(tái)進(jìn)行了設(shè)計(jì)，從平臺(tái)的不同層面以及平臺(tái)的硬件、模塊設(shè)計(jì)等方面詳細(xì)介紹了平臺(tái)的設(shè)計(jì)思路。下文，筆者將對本文中的平臺(tái)與WBT系統(tǒng)和網(wǎng)絡(luò)仿真技術(shù)系統(tǒng)進(jìn)行對比實(shí)驗(yàn)，從而驗(yàn)證本文研究的平臺(tái)在大數(shù)據(jù)網(wǎng)絡(luò)背景下檢測異常行為的性能。

在實(shí)驗(yàn)中，筆者在同一網(wǎng)絡(luò)的大數(shù)據(jù)庫中實(shí)施異常風(fēng)險(xiǎn)的數(shù)據(jù)檢測，檢測到的異常風(fēng)險(xiǎn)數(shù)據(jù)與其系統(tǒng)的檢測性能呈現(xiàn)正比，檢測獲取的三種系統(tǒng)檢測性能對比結(jié)果統(tǒng)計(jì)如下圖1所示：

圖1"三種系統(tǒng)檢測性能的對比統(tǒng)計(jì)圖

從圖1中，可以看出WBT系統(tǒng)的檢測性能相對比較差，應(yīng)用性能也比較低下，而網(wǎng)絡(luò)仿真技術(shù)系統(tǒng)在檢測時(shí)間為120s前的檢測性能都比較優(yōu)越。

四、結(jié)語

綜上所述，本文主要研究提出設(shè)計(jì)了一個(gè)網(wǎng)絡(luò)異常行為檢測的平臺(tái)，并詳細(xì)介紹了該平臺(tái)的架構(gòu)組成，包括安全數(shù)據(jù)的數(shù)據(jù)源層、數(shù)據(jù)管道層、數(shù)據(jù)接入層等等。本研究活動(dòng)所設(shè)計(jì)的平臺(tái)提供了一個(gè)網(wǎng)絡(luò)異常行為的有效檢測和識(shí)別的功能，并針對系統(tǒng)的硬件設(shè)計(jì)以及網(wǎng)絡(luò)異常風(fēng)險(xiǎn)的檢測模型的建立進(jìn)行了詳細(xì)的介紹和分析，最后通過實(shí)驗(yàn)研究發(fā)現(xiàn)本文所研究設(shè)計(jì)的平臺(tái)具有較好的性能，能夠?yàn)榘踩藛T提供一個(gè)較好的檢測手段，是一種行之有效的網(wǎng)絡(luò)異常行為檢測的平臺(tái)。

（作者單位：華能山東石島灣核電有限公司）