大數據下的網絡安全態勢感知系統研究

摘要：該研究旨在構建和完善大數據環境下的網絡安全態勢感知系統。通過分析系統平臺架構和技術架構，研究了系統在安全防御、威脅情報獲取與共享、資產狀態持續監測等方面的設計與實現。研究結果表明，系統通過集成多種安全技術和大數據分析方法，顯著提升了異常檢測和攻擊鏈分析的準確性和響應速度。研究成果對于提升企業網絡安全防護能力，及時應對和處理潛在威脅具有重要意義，未來將繼續優化系統功能，深化大數據與人工智能技術的融合。

關鍵詞：大數據；網絡安全；態勢感知；系統平臺

中圖分類號：TN915.08" 文獻標志碼：A

作者簡介：盧毅（2003— ），男，本科；研究方向：大數據。

0" 引言

在當前網絡安全環境下，隨著網絡攻擊的復雜性和頻率不斷增加，傳統的安全防護措施已經難以應對新型威脅。大數據技術的迅猛發展為網絡安全態勢感知提供了新的解決方案。本研究旨在探索和構建基于大數據的網絡安全態勢感知系統，通過整合多種數據源和先進的分析技術，實現對網絡安全態勢的全面監控和及時響應。研究的主要目標是提高安全事件的檢測準確率和響應速度，提供全面的安全態勢分析，幫助企業有效防御各種網絡威脅，為提升整體網絡安全水平提供理論和實踐支持。

1" 網絡安全態勢感知系統技術架構

1.1" 系統平臺架構

在大數據網絡安全態勢感知系統平臺架構如圖1所示，該平臺架構分為安全管理層、智能分析層、安全數據中心層、數據提取層和全網安全信息來源5個層次。安全管理層負責用戶指揮、動態感知、安全洞察、態勢分析、決策管理和系統運維管理等功能。智能分析層包括宏觀態勢分析、脆弱性分析、風險感知、入侵檢測、行為分析、威脅情報分析、情境分析和數據挖掘。安全數據中心層提供日志存儲計算、數據流處理、全量數據分析、離線計算、模型訓練、標簽挖掘、知識圖譜等功能［1］。數據提取層負責日志與流量解析、數據清洗、日志存儲、流量數據存儲、脫敏和特征提取等工作。全網安全信息來源包括防火墻、入侵檢測和防御系統（IDS/IPS）、Web應用防火墻（WAF）、郵件網關、終端防護平臺（EPP）、數據泄露防護（DLP）、統一威脅管理（UTM）、安全信息與事件管理（SIEM）、威脅情報平臺（TIP）等［2］。以上設備和系統提供網絡流量、日志、行為數據等多種安全數據來源。

1.2" DBSCAN聚類算法研究

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一種基于密度的聚類算法，適用于處理含噪聲和形狀不規則的數據集［3］。DBSCAN通過定義高密度區域中的數據點為簇，低密度區域中的數據點為噪聲點，從而進行有效的聚類分析。DBSCAN通過ε（epsilon）和MinPts這2個關鍵參數來定義數據點的鄰域。具體而言，DBSCAN聚類算法首先定義每個數據點的ε-鄰域，然后識別核心點，即在其ε-鄰域內至少包含MinPts個點；接著，從核心點開始，將在其ε-鄰域內的所有點標記為同一個簇并遞歸處理這些鄰域點，直至所有點被處理。其中，在某個核心點ε-鄰域內的非核心點被標記為邊界點，而不屬于任何簇的點被標記為噪聲點。

DBSCAN的核心計算公式包括距離計算公式，如式（1）所示。

dist（di，dj）=∑nk=1（dik-djk）2（1）

其中，dik和djk分別為數據點di和dj在第k維的坐標。

ε-鄰域定義為：

N（di）={dj∈D｜dist（di，dj）≤}（2）

核心點條件為：

|N（di）|≥MinPts（3）

在網絡安全態勢感知系統中，DBSCAN被廣泛應用于異常檢測和入侵檢測，通過對網絡流量數據和日志數據進行聚類分析，識別異常行為和潛在威脅［4］。在應用過程中，首先采集網絡數據包并提取相關屬性，然后對數據進行標準化處理，應用DBSCAN進行聚類分析，識別出異常數據點，最后生成預警信息和安全報告，輔助安全管理人員決策。通過應用DBSCAN算法，網絡安全態勢感知系統能夠更精準地檢測異常行為和潛在威脅，為企業提供更全面的安全防護能力。DBSCAN算法在處理帶有噪聲和形狀不規則的數據集方面表現出色，能夠自動識別簇的數量，適用于復雜多變的網絡環境。在網絡流量分析中，DBSCAN算法可以發現異常流量模式；在日志分析中，DBSCAN算法可以識別出異常登錄行為和可疑活動軌跡，從而顯著提升網絡安全防護水平［5］。

2" 系統功能設計及實現

2.1" 威脅情報獲取與共享功能設計及實現

通過整合系統多種數據源，包括外部威脅情報源（如開源情報、商業情報服務、社區共享情報等）和內部威脅情報源（如企業內部安全設備、應用系統、用戶行為等），本文采取主動采集和被動接收2種方式，從各類數據源獲取威脅情報并對其進行預處理，包括數據清洗、格式轉換和去重等，以確保數據質量和一致性。系統利用大數據分析技術和機器學習算法，對采集的威脅情報進行深度分析，通過協議還原、沙箱行為分析、用戶行為分析、動態域名分析和惡意程序特征匹配等技術，及時發現和識別安全威脅。威脅情報融合與共享平臺支持不同安全設備和系統之間的情報共享，通過融合與關聯分析，生成綜合性的安全態勢報告，幫助企業安全管理人員快速了解當前的安全狀況［6］。威脅情報獲取共享如圖2所示。

2.2" 持續監測資產狀態功能設計及實現

系統通過被動探測（如NetFlow、流量分析）和主動探測（如端口掃描、服務掃描）結合代理深度探測和第三方數據（如CMDB、日志等），實現對網絡中所有資產的全面發現與識別。通過對采集的資產數據進行合并、去重、補全，生成完整的資產視圖。系統將各類數據源的信息進行融合，分析資產組成、分類和標記化，確保資產信息的準確性和完整性。資產管理模塊提供資產預備案管理、資產維護、安全配置管理、資產地圖和資產報表等功能，能夠對資產進行分組、分類和分域管理，支持多維度和多標準的資產視圖展示。系統提供7×24h的實時監測，通過周期性掃描和實時感知技術，及時發現新增資產、變化資產和資產脆弱性，結合多種協議探測技術和豐富的資產指紋庫，精確識別資產類型、版本和開放服務。

系統通過分布式數據采集引擎，實時收集來自不同探測手段和數據源的資產信息，采用Kafka和Flume等技術進行數據流處理，確保數據的高效傳輸和處理。利用Hadoop、NoSQL數據庫和關系型數據庫對海量資產數據進行存儲和管理，確保數據的高可用性和安全性。系統集成多種智能分析模塊，通過實時分析和批量分析，能夠識別異常行為和潛在威脅并生成相應的預警信息。系統的持續監測資產狀態功能實現的整體流程如圖3所示。

3" 系統測試

3.1" 惡意域名及DNS隱蔽信道檢測

DNS隱蔽信道是一種利用DNS協議進行數據傳輸的技術，攻擊者將敏感數據編碼到DNS查詢請求中并將其傳輸到外部服務器，從而繞過傳統的安全防護措施。為應對這種威脅，本系統采用了多種先進技術進行檢測，包括短文本分類和特異度評分算法，同時還利用Hadoop和NoSQL數據庫，對海量DNS日志數據進行存儲和管理，確保數據的高可用性和安全性。智能分析模塊通過機器學習算法和行為分析技術，對異常域名請求進行深度分析，識別潛在的惡意行為。UI與可視化層將檢測結果轉化為易于理解的圖表和報告，幫助安全管理人員實時監控和分析DNS隱蔽信道活動。系統設計了自動化響應機制，一旦檢測到惡意域名或DNS隱蔽信道，立即生成告警并通知相關安全人員，采取相應的阻斷和防護措施。

在系統測試完成后，研究人員發現對惡意域名的檢測率提升了35%，利用特異度評分算法，系統對DNS隱蔽信道的識別準確率達到90%以上，自動化響應機制將平均響應時間從10min縮短至3min，有效提升了安全事件的處理效率。系統檢測惡意域名及DNS隱蔽信道的可視化如圖4所示。

3.2" 攻擊鏈分析檢測

攻擊鏈分析檢測方法包括數據采集、數據預處理、攻擊階段劃分、線索日志篩選和攻擊鏈構建。在系統實施測試中，數據表明系統在攻擊鏈分析檢測方面表現優異。通過多種分析技術結合，系統對攻擊鏈的識別率提升了40%，對復雜攻擊行為的檢測精度達到85%以上，自動化響應機制將平均響應時間從15min縮短至5min，有效提升了安全事件的處理效率。

4" 結語

本研究通過構建大數據網絡安全態勢感知系統，詳細分析了其技術架構、功能設計及實際應用情況。系統技術架構包括數據攝取、存儲、治理、監測分析、指揮調度以及可視化層，綜合利用大數據分析和機器學習算法，實現了對網絡安全態勢的實時監測與深度分析。在功能設計方面，系統集成了安全防御、威脅

參考文獻

［1］李澤慧，徐沛東，鄔陽，等.基于大數據的網絡安全態勢感知平臺應用研究［J］.計算機應用與軟件，2023（7）：337-341.

［2］謝志奇.基于大數據分析的網絡安全態勢感知系統設計與應用［J］.網絡安全和信息化，2023（10）：115-118.

［3］方一程.大數據環境下的網絡安全態勢感知與技術研究［J］.網絡安全技術與應用，2023（8）：21-23.

［4］張人杰.大數據態勢感知系統在網絡安全管理中的應用［J］.電子技術，2023（5）：198-199.

［5］謝東剛，呂連.基于大數據的高職院校網絡安全態勢感知系統探析［J］.電腦知識與技術，2023（27）：77-79.

［6］王可陽.基于大數據技術的網絡安全態勢感知研究［J］.科學與信息化，2023（11）：46-48.

（編輯" 王雪芬）

Research on network security situation awareness system under big data

LU" Yi

（College of Computer Science and Technology，Hubei University of Science and Technology，

Xianning 437100， China）

Abstract： This study aims to construct and improve a network security situation awareness system in the big data environment. By analyzing the system platform architecture and technical architecture， the design and implementation of the system in security defense， threat intelligence acquisition and sharing， and continuous monitoring of asset status are studied. The research results indicate that the system significantly improves the accuracy and response speed of anomaly detection and attack chain analysis by integrating multiple security technologies and big data analysis methods. The research results are of great significance for enhancing the network security protection capabilities of enterprises， timely responding to and dealing with potential threats. The optimization of the system functions will be continued， and the integration of big data and artificial intelligence technology will be deepened in the future.

Key words： big data; network security; situation awareness; system platform