探究基于網(wǎng)絡流量元數(shù)據(jù)的安全大數(shù)據(jù)

侯璇 劉慶慶

摘要：本文針對網(wǎng)絡流量元數(shù)據(jù)背景下的信息安全問題，基于流量分析對大數(shù)據(jù)安全平臺進行了設計，分析網(wǎng)絡流量元數(shù)據(jù)分發(fā)平臺，設計元數(shù)據(jù)管理模型;構(gòu)建大數(shù)據(jù)服務平臺，對大數(shù)據(jù)進行分析，識別活動數(shù)據(jù)，并檢測網(wǎng)絡攻擊和異常流量。在實踐中，可以使用元數(shù)據(jù)來實現(xiàn)標準化的數(shù)據(jù)操作，并滿足合適的粒度數(shù)據(jù)服務的需求，從而實現(xiàn)大數(shù)據(jù)安全平臺，并對其進行推廣，實現(xiàn)信息安全共享。

關鍵詞：數(shù)據(jù)安全;大數(shù)據(jù);網(wǎng)絡流量元數(shù)據(jù)

一、引言

在諸如大數(shù)據(jù)和物聯(lián)網(wǎng)之類的IT技術(shù)不斷發(fā)展的過程中，許多行業(yè)都沉迷于數(shù)據(jù)，其存儲消耗大量資源。在受數(shù)據(jù)限制的未來發(fā)展中，數(shù)據(jù)總量不斷增加，大數(shù)據(jù)時代已掀起一場空前的革命。大數(shù)據(jù)被廣泛用于互聯(lián)網(wǎng)和傳統(tǒng)商業(yè)領域，并且可以執(zhí)行諸如預測購物行為和挖掘客戶等功能。2013年，美國的Prism事件引起了世界各國的關注。美國政府的機密信息是通過網(wǎng)絡通信傳遞的，盡管美國政府表示，這種行為主要是為了確保國家網(wǎng)絡的安全和采取反恐行動的需要，但是全世界的人們都迫切想要了解大數(shù)據(jù)技術(shù)中的網(wǎng)絡流量元數(shù)據(jù)機密性漏洞。這樣，每個國家逐步加強自己的信息安全保護體系。大型數(shù)據(jù)目錄的管理是通過元數(shù)據(jù)開發(fā)數(shù)據(jù)服務來實現(xiàn)的，該技術(shù)解決了傳統(tǒng)的數(shù)據(jù)存儲和管理問題。這樣，可以更好地共享和存儲信息。

二、網(wǎng)絡流量元數(shù)據(jù)的過濾平臺

大數(shù)據(jù)是現(xiàn)代社會發(fā)展的核心技術(shù)，大數(shù)據(jù)的來源是高價值的，太小的大數(shù)據(jù)集無法充分反映網(wǎng)絡數(shù)據(jù)分析的情況，這是不可能的。使用驗證獲得良好的反饋在專業(yè)分析的基礎上，網(wǎng)絡流量傳輸平臺具有靈活性，可以在交換機端口級實現(xiàn)網(wǎng)絡流量的仿真，并符合傳輸源監(jiān)控系統(tǒng)的要求。網(wǎng)絡數(shù)據(jù)，例如緩存加速器，病毒入侵檢測系統(tǒng)和應用程序?qū)颖O(jiān)視系統(tǒng)，例如不同的業(yè)務系統(tǒng)進程。在網(wǎng)絡流量仿真過程中，根據(jù)ACL訪問控制列表實現(xiàn)簡單的協(xié)議流量過濾過程，以加載流量傳輸平臺業(yè)務系統(tǒng)。網(wǎng)絡掉線這樣，網(wǎng)絡可以實現(xiàn)高負荷和低負荷鏈路流量的多次轉(zhuǎn)換，從而可以多次均衡負荷，提高數(shù)據(jù)傳輸平臺數(shù)據(jù)的整體處理能力。網(wǎng)絡另外，利用開關堆疊技術(shù)來改善上述工作效果，可以擴大斷裂的數(shù)量。

骨干節(jié)點路由器為傳統(tǒng)的骨干網(wǎng)安全審計提供NeteFlow輸出數(shù)據(jù)。監(jiān)視系統(tǒng)識別全職歷史數(shù)據(jù)和挖掘數(shù)據(jù)，檢測網(wǎng)絡流系統(tǒng)中的異常并查找問題。元數(shù)據(jù)的安全性是通過數(shù)據(jù)的統(tǒng)計效果來實現(xiàn)的，例如DDoS類型的泛洪攻擊。這樣，在存儲和收集元數(shù)據(jù)之前，需要對給定端口和DNS進行大型網(wǎng)絡掃描，并開放遞歸NTP來查詢網(wǎng)絡流量分發(fā)平臺中流量放大攻擊的不良事件，并與流數(shù)據(jù)源結(jié)合以及時接收警告。那就對了為了滿足網(wǎng)絡流量目標的需求，使用分布式網(wǎng)絡體系結(jié)構(gòu)來創(chuàng)建開源庫和開源軟件，從而可以實現(xiàn)元數(shù)據(jù)提取過程。通過高速網(wǎng)絡傳輸數(shù)據(jù)時，元數(shù)據(jù)將被提取并存儲在文件中。例如，來自“安全性分析”模型的HTTP類型元數(shù)據(jù)文件為實際用戶生成網(wǎng)絡流量元數(shù)據(jù)。

今天有大量的網(wǎng)絡流量元數(shù)據(jù)可供使用。如果將所有網(wǎng)絡流量都用作元數(shù)據(jù)，那么總共就有五種記錄和計算網(wǎng)絡流量的信息。每月的流量將超過數(shù)百億個序列，從而收集元數(shù)據(jù)。安全的開采和儲存受到一定壓力。

三、大數(shù)據(jù)交流平臺

幾個不同的信息源就像孤島，集中化和確保數(shù)據(jù)安全性是研究的重點。為了打破數(shù)據(jù)障礙并釋放數(shù)據(jù)的價值，請使用元數(shù)據(jù)管理技術(shù)構(gòu)建元數(shù)據(jù)管理平臺，收集元數(shù)據(jù)并還原、更改和檢索，實現(xiàn)數(shù)據(jù)提取、轉(zhuǎn)換和加載。基于元數(shù)據(jù)共同驅(qū)動數(shù)據(jù)模型管理、質(zhì)量管理和標準管理可實現(xiàn)電子數(shù)據(jù)目錄的創(chuàng)建，從而創(chuàng)建統(tǒng)一的外部數(shù)據(jù)服務。

數(shù)據(jù)中心資源存儲在集成的ETL過程中，例如企業(yè)管理系統(tǒng)和盡??職調(diào)查。在此過程中收集元數(shù)據(jù)，并檢查元數(shù)據(jù)以實現(xiàn)目錄生成。第三方應用程序可以使用元數(shù)據(jù)管理平臺檢索元數(shù)據(jù)和數(shù)據(jù)服務，以實現(xiàn)數(shù)據(jù)服務請求的創(chuàng)建和對數(shù)據(jù)的訪問。應用程序使用自助服務和自動數(shù)據(jù)。獲取數(shù)據(jù)可以打破數(shù)據(jù)障礙，并使數(shù)據(jù)服務器成為真正的大數(shù)據(jù)環(huán)境。它充分展示了信息的價值。

四、基于挖掘和關聯(lián)的大數(shù)據(jù)分析

初始統(tǒng)計分析的目標是將混合的大數(shù)據(jù)轉(zhuǎn)換為小數(shù)據(jù)，以用于以后的安全分析。在此分析階段，重要的是盡快在IP上創(chuàng)建和創(chuàng)建黑名單。使用白名單機制，您可以在早期階段優(yōu)化網(wǎng)絡流量，選擇對安全分析沒有意義的大量數(shù)據(jù)，以減少存儲壓力和以后的分析;使用黑名單機制，您可以專注于區(qū)域定位，跟蹤更改和發(fā)展趨勢進行更詳細、更深入的安全審核。

對于嚴重的安全漏洞，大數(shù)據(jù)分析可以快速提供安全警告和大規(guī)模安全評估。近年來，一波漏洞。 ApacheStruts2它具有廣泛的影響，在大學網(wǎng)絡上有數(shù)十個使用此Java框架的應用程序信息系統(tǒng)。如何從數(shù)以千計的網(wǎng)站中快速找到Struts2開發(fā)框架的用法，在元數(shù)據(jù)中搜索某些URL特征字段，通過HIVE訪問HTTP并使用shell腳本進行分析，您將在半小時內(nèi)得到正確的響應。通過將Python腳本與一系列與POC相關的漏洞結(jié)合使用，您可以快速掃描這些網(wǎng)站并確定有多少受返回結(jié)果的影響。

對于許多使用網(wǎng)站進行DDoS的Web后門和DDoS特洛伊木馬，觸發(fā)元數(shù)據(jù)的某些字段中的特征也很明顯，可以通過一組算法及時進行檢索。挖掘通過相關性分析，我們可以找出哪些人以及何時插入了這些特洛伊木馬，以及網(wǎng)站上可能存在哪些類型的漏洞導致被利用，并給出了答案。深入分析安全事件發(fā)生后，攻擊者有意刪除了主機上的許多入侵痕跡。但是網(wǎng)絡流量元數(shù)據(jù)仍會記錄當時發(fā)生的每個細節(jié)。成功的滲透必須伴隨著大規(guī)模爬網(wǎng)行為，并且元數(shù)據(jù)數(shù)據(jù)集中顯示了多次失敗的掃描和攻擊嘗試。無論您走到哪里，都將留下不同類型的元數(shù)據(jù)的痕跡，從而提供直接，完整和準確的信息以跟蹤所有安全事件的詳細信息。盡管攻擊者經(jīng)常更改其IP地址，但這會增加跟蹤的難度，只要他們的行為保持不變，就仍可以通過長期分析來發(fā)現(xiàn)它。即使事件修復后安全應急響應處于活動狀態(tài)，它也會實時阻止所有攻擊。但這也是非常有價值的，如果沒有積累足夠的元數(shù)據(jù)，用戶可能仍然對以前的攻擊一無所知，很難避免再次發(fā)生。

當今高度可持續(xù)的威脅攻擊不只是不僅使用HTTP協(xié)議，而且使用SSL加密和其他類型的隱藏隧道進行通信。盡管高校以強大的進攻資源和不對稱的防御能力面對APT攻擊的能力有限。但是，基于存儲在IP流中的長期元數(shù)據(jù)和一些核心應用程序?qū)訁f(xié)議的深入分析，在最初的攻擊中沒有遺漏任何線索。發(fā)現(xiàn)成為可能，協(xié)調(diào)資源以減少損失并跟蹤和恢復攻擊歷史，處理APT是當前業(yè)界的共識。

五、基于大數(shù)據(jù)的網(wǎng)絡流量元數(shù)據(jù)分析

數(shù)據(jù)分析使用大數(shù)據(jù)分析和數(shù)據(jù)挖掘技術(shù)從根本上聚合收集的流數(shù)據(jù)，并與專家知識庫集成以創(chuàng)建針對目標問題的分析模型。

（一）活躍數(shù)據(jù)判斷

資產(chǎn)數(shù)據(jù)是風險管理過程的基礎。管理者提供的資產(chǎn)列表目前還不是最及時，最準確的，需要流量來識別網(wǎng)絡中的活動資產(chǎn)并使其成為管理資產(chǎn)的一種手段。性能分析五個部分，確定哪些設備打開了高風險的遠程桌面端口和端口80，并將它們與管理器的資產(chǎn)列表結(jié)合在一起，以了解哪些設備是新添加到網(wǎng)絡中的，哪些是原本有的用于監(jiān)視和識別未來風險。

（二）攻擊檢測

網(wǎng)絡攻擊是通過在攻擊過程中隱藏的網(wǎng)絡漏洞和安全漏洞對網(wǎng)絡數(shù)據(jù)的攻擊。傳統(tǒng)的網(wǎng)絡攻擊檢測工具在網(wǎng)絡攻擊復雜度不斷提高的過程中，使用改進的特征庫來識別網(wǎng)絡攻擊，傳統(tǒng)的網(wǎng)絡攻擊檢測工具無法滿足攻擊者的需求。有使用大數(shù)據(jù)流量分析和識別攻擊，以提高對新型網(wǎng)絡攻擊的檢測能力;使用聚類分析，從檢測模型分類中檢測異常。異常情況下，相對較高的特征限制能力是有監(jiān)督的機器學習過程，而監(jiān)管信息是抽象的特征維度。分類通過其指導作用來控制數(shù)據(jù)，并在攻擊過程中起重要作用。

隨機森林算法是一種經(jīng)典的分類方案，它是基于大數(shù)據(jù)環(huán)境的優(yōu)秀分類器，該算法本身評估變量在分類過程中的重要性。該算法沒有太多的數(shù)據(jù)相關性，它避免了過多的問題并為不平衡的采樣點平衡了誤差。因此，根據(jù)分類，使用隨機森林算法進行異常檢測。生成具有多個決策樹的隨機森林。森林中的所有決策樹都做出決策后，隨機森林算法會對所有決策結(jié)果進行計數(shù)和求和，以得出最終決策。

（三）流量異常監(jiān)測

由于網(wǎng)絡流量幾乎相同，因此隨著時間的推移它將遵循該功能。即使網(wǎng)絡流量隨時間增加，曲線仍是自相似的，有關流量的長期統(tǒng)計數(shù)據(jù)也可以顯示自相似。在正常情況下，使用理想的網(wǎng)絡流量描述曲線描述，可以使用統(tǒng)計方法對大型網(wǎng)絡流量進行數(shù)學建模。在任何時候都可以使用流量曲線與正常流量曲線進行比較，以分析流量是否異常，當異常流量達到指定標準時，將成為異常模式。

六、結(jié)語

在數(shù)據(jù)時代的背景下，基于網(wǎng)絡流量元數(shù)據(jù)分析安全大數(shù)據(jù)是一個非常重要的主題，如何合理地使用大數(shù)據(jù)分析平臺來提高分析的質(zhì)量和效率。數(shù)據(jù)是相關技術(shù)人員的關注重點，對于確保重要數(shù)據(jù)的安全性至關重要。如何使用大型數(shù)據(jù)平臺自動檢測漏洞并分析不同類型數(shù)據(jù)的相關性需要進行分析。深入本文的研究表明，使用有針對性的策略可以維護網(wǎng)絡空間的公正性和公平性，減少手動分析干預的水平，并實現(xiàn)可視化。

參考文獻：

[1]劉皓天，陳楓，吳振勇，等.基于DTU的充電樁電氣安全大數(shù)據(jù)管控平臺研究[J].微處理機，2020（4）：53-56.

[2]汪偉忠，張國寶.基于Fuzzy-ISM的生產(chǎn)安全大數(shù)據(jù)共享行為模型構(gòu)建[J].情報雜志，2018（9）：167-172，147.

[3]江欣國.關于中國道路交通安全大數(shù)據(jù)發(fā)展與應用的若干建議[J].中國發(fā)展，2018（1）：88-89.

[4]張丁.試析基于網(wǎng)絡流量元數(shù)據(jù)的安全大數(shù)據(jù)分析[J].數(shù)字通信世界，2016（11）：263-264.

武漢商貿(mào)職業(yè)學院侯璇劉慶慶