一種互聯網宏觀流量異常檢測方法

摘要：網絡流量異常指網絡中流量不規則地顯著變化。網絡短暫擁塞、分布式拒絕服務攻擊、大范圍掃描等本地事件或者網絡路由異常等全局事件都能夠引起網絡的異常。網絡異常的檢測和分析對于網絡安全應急響應部門非常重要，但是宏觀流量異常檢測需要從大量高維的富含噪聲的數據中提取和解釋異常模式，因此變得很困難。文章提出一種分析網絡異常的通用方法，該方法運用主成分分析手段將高維空間劃分為對應正常和異常網絡行為的子空間，并將流量向量影射在正常子空間中，使用基于距離的度量來檢測宏觀網絡流量異常事件。

關鍵詞：主成分分析；流量分析；異常檢測

Abstract: Network traffic anomalies and significant changes in the network traffic are unusual. The reason for network anomalies are local security events such as network flashing， Distributed Denial of Service (DDoS) and large-scale network scanning， as well as global security events such as anomalies in routing. It is very important for Computer Security Incident Response Teams (CSIRTs) to detect and analyze network anomalies. Anomalies are detected from large amounts of high-dimensional noise-rich data， which， because of their huge number， make anomaly detection very difficult. This paper proposes a general method based on Principal Component Analysis (PCA) to analyze network anomalies. The method divides the traffic matrix into normal subspace and anomalous subspace， maps the traffic vector into normal subspace， gets the distance from detected vector to average normal vector， and detects anomalies based on that distance.

Key words:principal component analysis; traffic analysis; anomaly detection

公共互聯網正在社會生活的各個領域發揮著越來越重要的作用，與此同時，由互聯網的開放性和應用系統的復雜性所帶來的安全風險也隨之增多。2006年，國家計算機網絡應急技術處理協調中心(CNCERT/CC)共接收26 476件非掃描類網絡安全事件報告，與2005年相比增加2倍，超過2003—2005年3年的總和。2006年，CNCERT/CC利用部署的863-917網絡安全監測平臺，抽樣監測發現中國大陸地區約4.5萬個IP地址的主機被植入木馬，與2005年同期相比增加1倍；約有1千多萬個IP地址的主機被植入僵尸程序，被境外約1.6萬個主機進行控制。

黑客利用木馬、僵尸網絡等技術操縱數萬甚至上百萬臺被入侵的計算機，釋放惡意代碼、發送垃圾郵件，并實施分布式拒絕服務攻擊，這對包括骨干網在內的整個互聯網網絡帶來嚴重的威脅。由數萬臺機器同時發起的分布式拒絕服務攻擊能夠在短時間內耗盡城域網甚至骨干網的帶寬，從而造成局部的互聯網崩潰。由于政府、金融、證券、能源、海關等重要信息系統的諸多業務依賴互聯網開展，互聯網骨干網絡的崩潰不僅會帶來巨額的商業損失，還會嚴重威脅國家安全。據不完全統計，2001年7月19日爆發的紅色代碼蠕蟲病毒造成的損失估計超過20億美元；2001年9月18日爆發的Nimda蠕蟲病毒造成的經濟損失超過26億美元；2003年1月爆發的SQL Slammer蠕蟲病毒造成經濟損失超過12億美元。

針對目前互聯網宏觀網絡安全需求，本文研究并提出一種宏觀網絡流量異常檢測方法，能夠在骨干網絡層面對流量異常進行分析，在大規模安全事件爆發時進行快速有效的監測，從而為網絡防御贏得時間。

1 網絡流量異常檢測研究現狀

在骨干網絡層面進行宏觀網絡流量異常檢測時，巨大流量的實時處理和未知攻擊的檢測給傳統入侵檢測技術帶來了很大的挑戰。在流量異常檢測方面，國內外的學術機構和企業不斷探討并提出了多種檢測方法[1]。

經典的流量監測方法是基于閾值基線的檢測方法，這種方法通過對歷史數據的分析建立正常的參考基線范圍，一旦超出此范圍就判斷為異常，它的特點是簡單、計算復雜度小，適用于實時檢測，然而它作為一種實用的檢測手段時，需要結合網絡流量的特點進行修正和改進。另一種常用的方法是基于統計的檢測，如一般似然比(GLR)檢測方法[2]，它考慮兩個相鄰的時間窗口以及由這兩個窗口構成的合并窗口，每個窗口都用自回歸模型擬合，并計算各窗口序列殘差的聯合似然比，然后與某個預先設定的閾值T 進行比較，當超過閾值T 時，則窗口邊界被認定為異常點。這種檢測方法對于流量的突變檢測比較有效，但是由于它的閾值不是自動選取，并且當異常持續長度超過窗口長度時，該方法將出現部分失效。統計學模型在流量異常檢測中具有廣闊的研究前景，不同的統計學建模方式能夠產生不同的檢測方法。

最近有許多學者研究了基于變換域進行流量異常檢測的方法[3]?；谧儞Q域的方法通常將時域的流量信號變換到頻域或者小波域，然后依據變換后的空間特征進行異常監測。P. Barford等人[4]將小波分析理論運用于流量異常檢測，并給出了基于其理論的4類異常結果，但該方法的計算過于復雜，不適于在高速骨干網上進行實時檢測。

Lakhina等人[5-6]利用主成分分析方法(PCA)，將源和目標之間的數據流高維結構空間進行PCA分解，歸結到3個主成分上，以3個新的復合變量來重構網絡流的特征，并以此發展出一套檢測方法。此外還有一些其他的監測方法[7]，例如基于Markov模型的網絡狀態轉換概率檢測方法，將每種類型的事件定義為系統狀態，通過過程轉換模型來描述所預測的正常的網絡特征，當到來的流量特征與期望特征產生偏差時進行報警。又如LERAD檢測[8]，它是基于網絡安全特征的檢測，這種方法通過學習得到流量屬性之間的正常的關聯規則，然后建立正常的規則集，在實際檢測中對流量進行規則匹配，對違反規則的流量進行告警。這種方法能夠對發生異常的地址進行定位，并對異常的程度進行量化。但學習需要大量正常模式下的純凈數據，這在實際的網絡中并不容易實現。

隨著宏觀網絡異常流量檢測成為網絡安全的技術熱點，一些廠商紛紛推出了電信級的異常流量檢測產品，如Arbor公司的Peakflow、GenieNRM公司的GenieNTG 2100、NetScout公司的nGenius等。國外一些研究機構在政府資助下，開始部署宏觀網絡異常監測的項目，并取得了較好的成績，如美國研究機構CERT建立了SiLK和AirCERT項目，澳大利亞啟動了NMAC流量監測系統等項目。

針對宏觀網絡異常流量監測的需要，CNCERT/CC部署運行863-917網絡安全監測平臺，采用分布式的架構，能夠通過多點對骨干網絡實現流量監測，通過分析協議、地址、端口、包長、流量、時序等信息，達到對中國互聯網宏觀運行狀態的監測。本文基于863-917網絡安全監測平臺獲取流量信息，構成監測矩陣，矩陣的行向量由源地址數量、目的地址數量、傳輸控制協議(TCP)字節數、TCP報文數、數據報協議(UDP)字節數、UDP報文數、其他流量字節數、其他流量報文書、WEB流量字節數、WEB流量報文數、TOP10個源IP占總字節比例、TOP10個源IP占總報文數比例、TOP10個目的IP占總字節數比例、TOP10個目的IP占總報文數比例14個部分組成，系統每5分鐘產生一個行向量，觀測窗口為6小時，從而形成了一個72×14的數量矩陣。由于在這14個觀測向量之間存在著一定的相關性，這使得利用較少的變量反映原來變量的信息成為可能。本項目采用了主成份分析法對觀測數據進行數據降維和特征提取，下面對該算法的工作原理進行介紹。

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。