通信數據中的異常模式挖掘及其在網絡安全中的應用

孫劍鋼，曾晨煌

（杭州百恒網絡科技有限公司，浙江 杭州 310000）

0 引 言

隨著信息技術的飛速發展，通信數據的規模和復雜性急劇增大，呈現出爆炸式增長的趨勢。大規模的數據傳輸和存儲變得日益普遍，帶來了前所未有的挑戰和機遇。然而隨著數據價值的不斷提升，社會各界對通信數據安全的需求也日益凸顯，因為數據已成為惡意行為和網絡攻擊的主要目標。本研究旨在深入探討通信數據中的異常模式挖掘技術，以提高對潛在威脅的識別和應對能力。

1 通信數據異常模式挖掘技術實現

1.1 數據采集

實時數據流采集是通過監控網絡通信即時捕獲數據包的方法。其借助Apache Flink 這一強大的流處理引擎，能夠實現高效、可擴展的實時數據處理。

第一步，需要安裝并配置Apache Flink 環境，包括下載并解壓Apache Flink 發行版、設置必要的環境變量（如JAVA_HOME 和FLINK_HOME 等）。完成環境配置后，啟動Flink 集群以實現分布式處理，或以單機模式進行簡單的測試和開發。

第二步，使用Flink DataStream API 來設置實時數據源，以明確數據處理流程。設置數據源的目的是實時監聽網絡通信數據。借助Flink 提供的SourceFunction 接口自定義數據源，捕獲并發送網絡通信中的數據包。該數據源會持續監聽網絡通信，不斷將新數據包注入Flink 的數據流。因此，實時數據流能夠持續更新，始終包含從網絡中捕獲的最新通信數據。

1.2 數據存儲

文章選用MySQL 作為存儲后端，以可靠地保存歷史通信數據。第一步，創建一個數據庫，取名為CommunicationDataDB，用于承載通信數據。第二步，在這個數據庫中創建一張表，命名為NetworkPackets，以存儲捕獲的通信數據，具體內容如表1 所示。

表1 NetworkPackets 具體內容

1.3 數據預處理

1.3.1 數據清洗

數據清洗的主要目的是處理異常值、噪聲和錯誤數據，以確保清洗后的數據集質量可靠，為后續分析提供準確的數據基礎[1]。異常值處理指識別并處理異常值。這些異常值可能偏離數據的正常分布，對分析產生負面影響，通常采用統計方法或基于閾值的方法來識別異常值。數據中存在的噪聲會影響對真實模式的識別，因此需要采用適當的方法對噪聲進行平滑或過濾，如使用濾波器或平均值等技術，以有效地減少噪聲影響。錯誤數據包括重復、不一致或超出合理范圍的數值，通過識別這些錯誤并進行相應的修正，可以確保數據的準確性。

1.3.2 缺失值處理

缺失值處理是確保數據集完整性和準確性的關鍵，包括識別缺失值、選擇填充策略、執行填充操作等步驟。識別缺失值的目的是了解數據集中哪些屬性存在信息缺失，進而為選擇適當的填充策略奠定基礎。填充策略的選擇要充分考慮數據的特點和缺失值的分布情況，如中位數、眾數、均值等填充策略。其中均值填充是一種常用的填充策略，適用于數值型數據。

1.3.3 數據標準化

數據標準化旨在消除不同屬性的尺度差異，使數據具有相似的尺度范圍，從而有助于模型更準確地理解和處理數據。數據標準化可以簡化數據分析過程，提高模型的性能和準確性。進行數據標準化前，需要統計分析數據的屬性，如計算每個屬性的均值和標準差，均值用于度量數據集的中心位置，而標準差則表示數據的分散程度。利用計算得到的均值和標準差對各屬性的數據值進行標準化處理，公式為

式中：x為原始數據值；x′為標準化后的數據值；μ為屬性的均值；σ為屬性的標準差。

1.4 異常模式檢測算法設計

異常模式檢測算法有多種類型，如支持向量機、概率模型、深度學習模型等。文章選用正態分布為概率模型，并進行異常模式檢測。這是因為正態分布符合中心極限定理，適用于描述復雜數據中多個隨機因素的綜合影響。此外，正態分布的參數估計相對簡單，只需對常規數據進行統計分析即可得到均值和標準差，為模型的構建提供了極大的便利。更重要的是，正態分布的計算效率高，無須復雜的訓練過程，因此能夠滿足實時性要求[2-3]。

使用正態分布作為概率模型進行異常模式檢測時，需要完成數據準備、計算正態分布參數、計算概率密度函數、設置閾值以及異常檢測等步驟。

1.4.1 數據準備

在進行異常模式檢測前，需要進行數據準備。一方面，需要收集具有代表性的數據，這些數據應涵蓋正常情況和可能存在的異常情況，可以來自實際系統的日志、傳感器數據或網絡流量等各種渠道。另一方面，需要對收集的數據進行整理和清洗，處理缺失值、異常值和錯誤數據，確保數據質量和一致性。

標記正常數據和異常數據是重要步驟，可以通過已知的異常情況或專家判斷來完成標注工作。此外，對數據集進行合理分割也是必不可少的，通常會將大部分數據用于模型的訓練，而剩余的小部分數據則用于評估模型的性能[4]。在分割數據時，要確保測試集和訓練集都包含正常和異常數據，以確保模型訓練和評估的全面性和準確性。

1.4.2 計算正態分布參數

計算正態分布參數，即計算每個屬性的均值和標準差。計算參數的關鍵代碼為

將這段程序導入NumPy 庫，并將其命名為np，計算并存儲正常數據集normal_data 的均值和標準差。

1.4.3 計算概率密度函數

對于每個數據點x，使用正態分布的概率密度函數來計算其屬于正態分布的概率。概率密度函數的計算公式為

用軟件編程實現概率密度公式函數的程序為

對于一個數據點x，在給定均值mean 和標準差std_dev 的條件下，計算該數據點屬于正態分布的概率密度值。在異常模式檢測中，可以將該概率密度值與設定的閾值進行比較，從而判斷數據點是否異常。

1.4.4 設置閾值

通過觀察正常數據的概率密度分布，可以設置一個閾值，當數據點超出這個閾值時，就將其視為異常值。該過程可以通過分析正常數據的概率密度分布來完成。文章選用正態分布的均值和標準差來計算這一閾值。異常點通常被定義為距離均值一定數量標準差的點，這個數量一般在2 到3 之間。

1.4.5 異常檢測

計算每個數據點x的概率密度，如果概率密度低于設定的閾值，則將該數據點標記為異常值，用程序表示為

這段代碼設定了一個閾值，該閾值是一個需要根據具體數據分布和應用場景進行調整的超參數。在概率密度函數中，如果數據點的概率密度低于該閾值，則數據點將被判定為異常值。

2 通信數據異常檢測應用

2.1 網絡安全加強

通過部署實時監測系統，利用異常檢測技術對網絡通信數據進行深入分析，使系統能夠實現對網絡流量的實時監測與防御。如果系統檢測到異常流量模式，則表明存在潛在的網絡威脅，如惡意軟件或網絡攻擊。在這種情況下，系統可以立即觸發警報，通知網絡管理員并采取相應的阻止措施，防范潛在威脅，確保網絡整體的安全性[5]。

此外，利用異常檢測技術可以對用戶和設備的通信行為進行深入分析。這種行為分析不僅能夠識別異常的登錄模式（如異地登錄或非正常時間登錄），還能檢測到頻繁的登錄失敗、大量的數據下載等異常行為，及時發現可能的網絡入侵現象。通過實時分析通信數據，系統能夠迅速識別可能存在的威脅，為網絡管理員提供有力支持，以加強系統對潛在攻擊的防御能力。

2.2 實時威脅檢測

系統通過實時監控通信數據流并進行流量分析，能夠檢測出異常模式，如異常的大數據包傳輸或頻繁的連接請求等異常情況。這種實時監測能夠幫助系統迅速發現潛在的網絡攻擊，如拒絕服務攻擊（Denial of Service，DoS）或大規模數據傳輸攻擊。一旦檢測到異常模式，系統會立即發出警報，并通知網絡管理員進行及時響應。借助此流量分析，網絡安全團隊能夠更加有效地保護網絡，使其免受各類網絡威脅的侵害。

追蹤不尋常活動是利用異常檢測手段來監測和識別網絡中的異常行為，包括突然變化的數據傳輸模式、未經授權的訪問行為、潛在的內部威脅等。通過實時追蹤這些異常活動，系統能夠在問題發展初期就識別出潛在問題，并采取適當的措施。對于可能的內部威脅，如員工的異常數據訪問行為，系統也能及時發現并展開調查，以確保企業內部網絡的安全性。

3 結 論

文章深入探討了通信數據中異常模式挖掘的技術實現，選用正態分布作為異常檢測的概率模型，并研究了該技術在網絡安全領域的應用。同時，詳細闡述了數據采集、預處理和異常模式檢測算法，建立了一個完整的異常模式挖掘系統。本研究為異常模式挖掘技術在網絡安全中的應用提供了參考和支持，對推動網絡安全領域的實際應用具有積極意義。