一種互聯(lián)網(wǎng)宏觀流量異常檢測方法

摘要：網(wǎng)絡流量異常指網(wǎng)絡中流量不規(guī)則地顯著變化。網(wǎng)絡短暫擁塞、分布式拒絕服務攻擊、大范圍掃描等本地事件或者網(wǎng)絡路由異常等全局事件都能夠引起網(wǎng)絡的異常。網(wǎng)絡異常的檢測和分析對于網(wǎng)絡安全應急響應部門非常重要，但是宏觀流量異常檢測需要從大量高維的富含噪聲的數(shù)據(jù)中提取和解釋異常模式，因此變得很困難。文章提出一種分析網(wǎng)絡異常的通用方法，該方法運用主成分分析手段將高維空間劃分為對應正常和異常網(wǎng)絡行為的子空間，并將流量向量影射在正常子空間中，使用基于距離的度量來檢測宏觀網(wǎng)絡流量異常事件。

關鍵詞：主成分分析；流量分析；異常檢測

Abstract: Network traffic anomalies and significant changes in the network traffic are unusual. The reason for network anomalies are local security events such as network flashing， Distributed Denial of Service (DDoS) and large-scale network scanning， as well as global security events such as anomalies in routing. It is very important for Computer Security Incident Response Teams (CSIRTs) to detect and analyze network anomalies. Anomalies are detected from large amounts of high-dimensional noise-rich data， which， because of their huge number， make anomaly detection very difficult. This paper proposes a general method based on Principal Component Analysis (PCA) to analyze network anomalies. The method divides the traffic matrix into normal subspace and anomalous subspace， maps the traffic vector into normal subspace， gets the distance from detected vector to average normal vector， and detects anomalies based on that distance.

Key words:principal component analysis; traffic analysis; anomaly detection

公共互聯(lián)網(wǎng)正在社會生活的各個領域發(fā)揮著越來越重要的作用，與此同時，由互聯(lián)網(wǎng)的開放性和應用系統(tǒng)的復雜性所帶來的安全風險也隨之增多。2006年，國家計算機網(wǎng)絡應急技術(shù)處理協(xié)調(diào)中心(CNCERT/CC)共接收26 476件非掃描類網(wǎng)絡安全事件報告，與2005年相比增加2倍，超過2003—2005年3年的總和。2006年，CNCERT/CC利用部署的863-917網(wǎng)絡安全監(jiān)測平臺，抽樣監(jiān)測發(fā)現(xiàn)中國大陸地區(qū)約4.5萬個IP地址的主機被植入木馬，與2005年同期相比增加1倍；約有1千多萬個IP地址的主機被植入僵尸程序，被境外約1.6萬個主機進行控制。

黑客利用木馬、僵尸網(wǎng)絡等技術(shù)操縱數(shù)萬甚至上百萬臺被入侵的計算機，釋放惡意代碼、發(fā)送垃圾郵件，并實施分布式拒絕服務攻擊，這對包括骨干網(wǎng)在內(nèi)的整個互聯(lián)網(wǎng)網(wǎng)絡帶來嚴重的威脅。由數(shù)萬臺機器同時發(fā)起的分布式拒絕服務攻擊能夠在短時間內(nèi)耗盡城域網(wǎng)甚至骨干網(wǎng)的帶寬，從而造成局部的互聯(lián)網(wǎng)崩潰。由于政府、金融、證券、能源、海關等重要信息系統(tǒng)的諸多業(yè)務依賴互聯(lián)網(wǎng)開展，互聯(lián)網(wǎng)骨干網(wǎng)絡的崩潰不僅會帶來巨額的商業(yè)損失，還會嚴重威脅國家安全。據(jù)不完全統(tǒng)計，2001年7月19日爆發(fā)的紅色代碼蠕蟲病毒造成的損失估計超過20億美元；2001年9月18日爆發(fā)的Nimda蠕蟲病毒造成的經(jīng)濟損失超過26億美元；2003年1月爆發(fā)的SQL Slammer蠕蟲病毒造成經(jīng)濟損失超過12億美元。

針對目前互聯(lián)網(wǎng)宏觀網(wǎng)絡安全需求，本文研究并提出一種宏觀網(wǎng)絡流量異常檢測方法，能夠在骨干網(wǎng)絡層面對流量異常進行分析，在大規(guī)模安全事件爆發(fā)時進行快速有效的監(jiān)測，從而為網(wǎng)絡防御贏得時間。

1 網(wǎng)絡流量異常檢測研究現(xiàn)狀

在骨干網(wǎng)絡層面進行宏觀網(wǎng)絡流量異常檢測時，巨大流量的實時處理和未知攻擊的檢測給傳統(tǒng)入侵檢測技術(shù)帶來了很大的挑戰(zhàn)。在流量異常檢測方面，國內(nèi)外的學術(shù)機構(gòu)和企業(yè)不斷探討并提出了多種檢測方法[1]。

經(jīng)典的流量監(jiān)測方法是基于閾值基線的檢測方法，這種方法通過對歷史數(shù)據(jù)的分析建立正常的參考基線范圍，一旦超出此范圍就判斷為異常，它的特點是簡單、計算復雜度小，適用于實時檢測，然而它作為一種實用的檢測手段時，需要結(jié)合網(wǎng)絡流量的特點進行修正和改進。另一種常用的方法是基于統(tǒng)計的檢測，如一般似然比(GLR)檢測方法[2]，它考慮兩個相鄰的時間窗口以及由這兩個窗口構(gòu)成的合并窗口，每個窗口都用自回歸模型擬合，并計算各窗口序列殘差的聯(lián)合似然比，然后與某個預先設定的閾值T 進行比較，當超過閾值T 時，則窗口邊界被認定為異常點。這種檢測方法對于流量的突變檢測比較有效，但是由于它的閾值不是自動選取，并且當異常持續(xù)長度超過窗口長度時，該方法將出現(xiàn)部分失效。統(tǒng)計學模型在流量異常檢測中具有廣闊的研究前景，不同的統(tǒng)計學建模方式能夠產(chǎn)生不同的檢測方法。

最近有許多學者研究了基于變換域進行流量異常檢測的方法[3]?；谧儞Q域的方法通常將時域的流量信號變換到頻域或者小波域，然后依據(jù)變換后的空間特征進行異常監(jiān)測。P. Barford等人[4]將小波分析理論運用于流量異常檢測，并給出了基于其理論的4類異常結(jié)果，但該方法的計算過于復雜，不適于在高速骨干網(wǎng)上進行實時檢測。

Lakhina等人[5-6]利用主成分分析方法(PCA)，將源和目標之間的數(shù)據(jù)流高維結(jié)構(gòu)空間進行PCA分解，歸結(jié)到3個主成分上，以3個新的復合變量來重構(gòu)網(wǎng)絡流的特征，并以此發(fā)展出一套檢測方法。此外還有一些其他的監(jiān)測方法[7]，例如基于Markov模型的網(wǎng)絡狀態(tài)轉(zhuǎn)換概率檢測方法，將每種類型的事件定義為系統(tǒng)狀態(tài)，通過過程轉(zhuǎn)換模型來描述所預測的正常的網(wǎng)絡特征，當?shù)絹淼牧髁刻卣髋c期望特征產(chǎn)生偏差時進行報警。又如LERAD檢測[8]，它是基于網(wǎng)絡安全特征的檢測，這種方法通過學習得到流量屬性之間的正常的關聯(lián)規(guī)則，然后建立正常的規(guī)則集，在實際檢測中對流量進行規(guī)則匹配，對違反規(guī)則的流量進行告警。這種方法能夠?qū)Πl(fā)生異常的地址進行定位，并對異常的程度進行量化。但學習需要大量正常模式下的純凈數(shù)據(jù)，這在實際的網(wǎng)絡中并不容易實現(xiàn)。

隨著宏觀網(wǎng)絡異常流量檢測成為網(wǎng)絡安全的技術(shù)熱點，一些廠商紛紛推出了電信級的異常流量檢測產(chǎn)品，如Arbor公司的Peakflow、GenieNRM公司的GenieNTG 2100、NetScout公司的nGenius等。國外一些研究機構(gòu)在政府資助下，開始部署宏觀網(wǎng)絡異常監(jiān)測的項目，并取得了較好的成績，如美國研究機構(gòu)CERT建立了SiLK和AirCERT項目，澳大利亞啟動了NMAC流量監(jiān)測系統(tǒng)等項目。

針對宏觀網(wǎng)絡異常流量監(jiān)測的需要，CNCERT/CC部署運行863-917網(wǎng)絡安全監(jiān)測平臺，采用分布式的架構(gòu)，能夠通過多點對骨干網(wǎng)絡實現(xiàn)流量監(jiān)測，通過分析協(xié)議、地址、端口、包長、流量、時序等信息，達到對中國互聯(lián)網(wǎng)宏觀運行狀態(tài)的監(jiān)測。本文基于863-917網(wǎng)絡安全監(jiān)測平臺獲取流量信息，構(gòu)成監(jiān)測矩陣，矩陣的行向量由源地址數(shù)量、目的地址數(shù)量、傳輸控制協(xié)議(TCP)字節(jié)數(shù)、TCP報文數(shù)、數(shù)據(jù)報協(xié)議(UDP)字節(jié)數(shù)、UDP報文數(shù)、其他流量字節(jié)數(shù)、其他流量報文書、WEB流量字節(jié)數(shù)、WEB流量報文數(shù)、TOP10個源IP占總字節(jié)比例、TOP10個源IP占總報文數(shù)比例、TOP10個目的IP占總字節(jié)數(shù)比例、TOP10個目的IP占總報文數(shù)比例14個部分組成，系統(tǒng)每5分鐘產(chǎn)生一個行向量，觀測窗口為6小時，從而形成了一個72×14的數(shù)量矩陣。由于在這14個觀測向量之間存在著一定的相關性，這使得利用較少的變量反映原來變量的信息成為可能。本項目采用了主成份分析法對觀測數(shù)據(jù)進行數(shù)據(jù)降維和特征提取，下面對該算法的工作原理進行介紹。

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。