數(shù)據(jù)挖掘在IDS中的應(yīng)用

入侵檢測系統(tǒng)是一種檢測網(wǎng)絡(luò)入侵行為的工具，然而現(xiàn)在的入侵檢測系統(tǒng)內(nèi)部的知識庫中的入侵模式正常模式和異常模式往往不能很好地反應(yīng)入侵行為的特征，所以有時(shí)候經(jīng)常出現(xiàn)漏報(bào)或誤報(bào)的情況，另外系統(tǒng)提取的用戶行為特征有時(shí)候也不能正確地反映用戶的實(shí)際行為特征。針對這一情況詳細(xì)討論了數(shù)據(jù)挖掘技術(shù)在入侵檢測系統(tǒng)中的應(yīng)用，提出了采用數(shù)據(jù)挖掘技術(shù)的入侵檢測系統(tǒng)的結(jié)構(gòu)模型。

目前，隨著互聯(lián)網(wǎng)的迅猛發(fā)展，構(gòu)成網(wǎng)絡(luò)和信息安全的主要威脅攻擊方式也越來越多，例如：數(shù)據(jù)和人為的攻擊，以及物理攻擊等。盡管針對這些攻擊的方式有提出一些防衛(wèi)性的技術(shù)，例如：防火墻技術(shù)和安全路由器技術(shù)等。但是無法從根本上對入侵進(jìn)行完全的阻止。為了實(shí)現(xiàn)網(wǎng)絡(luò)中安全風(fēng)險(xiǎn)警告的及時(shí)響應(yīng)，本文通過簡要介紹數(shù)據(jù)挖掘技術(shù)和網(wǎng)絡(luò)入侵檢測，對數(shù)據(jù)挖掘技術(shù)的入侵檢測系統(tǒng)模型進(jìn)行詳細(xì)分析，并闡述了數(shù)據(jù)挖掘技術(shù)在網(wǎng)絡(luò)入侵檢測中的應(yīng)用。

一.網(wǎng)絡(luò)入侵的常規(guī)模式和方法

針對當(dāng)前網(wǎng)絡(luò)安全態(tài)勢分析與預(yù)測存在的上述問題，將數(shù)據(jù)挖掘方法引入到網(wǎng)絡(luò)安全態(tài)勢分析與預(yù)測中，以全面，客觀反映網(wǎng)絡(luò)安全態(tài)勢趨勢。鑒于大規(guī)模網(wǎng)絡(luò)安全事件（如DoS、DDoS、蠕蟲僵尸網(wǎng)絡(luò)）的爆發(fā)會在網(wǎng)絡(luò)流量上有所反映，本文的態(tài)勢分析與預(yù)測的數(shù)據(jù)來源為網(wǎng)絡(luò)流量，這與當(dāng)前基于日志審計(jì)數(shù)據(jù)、網(wǎng)絡(luò)拓?fù)鋽?shù)據(jù)的評估與預(yù)測方法相比，具有較高的實(shí)時(shí)性。本文主要研究網(wǎng)絡(luò)安全態(tài)勢評估與預(yù)測方法。在網(wǎng)絡(luò)安全態(tài)勢評估方面，本文通過對網(wǎng)絡(luò)流量的頻繁模式挖掘，形成基于關(guān)聯(lián)規(guī)則的分類規(guī)則，依靠分類規(guī)則實(shí)現(xiàn)對網(wǎng)絡(luò)正常流量與異常流量的分類，通過對正常流量與異常流量的融合，形成對網(wǎng)絡(luò)安全態(tài)勢的評估值。

基于關(guān)聯(lián)分析的入侵檢測。通過挖掘事務(wù)集中滿足給定支持度和信任度的項(xiàng)集，產(chǎn)生關(guān)聯(lián)規(guī)則，找出隱藏在數(shù)據(jù)間的相互關(guān)系。對于網(wǎng)絡(luò)連接，關(guān)聯(lián)規(guī)則描述每個(gè)連接記錄中的特征屬性之間的關(guān)系，即一個(gè)事件中的屬性之間的關(guān)系。每條記錄包括：開始時(shí)間，連接時(shí)間長度，源II）地址，目的IP地址，源端口，目的端口，傳送字節(jié)數(shù)，TCP/IP連接狀態(tài)標(biāo)志等，挖掘的任務(wù)是用關(guān)聯(lián)規(guī)則來描述系統(tǒng)的模式。同樣，對于主機(jī)的審計(jì)數(shù)據(jù)，也可使用關(guān)聯(lián)挖掘算法。

基于序列分析的入侵檢測。序列分析與關(guān)聯(lián)分析相似，但它側(cè)重于分析數(shù)據(jù)間的前后次序（因果）關(guān)系。序列挖掘的主要步驟包括：排序、大數(shù)據(jù)項(xiàng)生成、轉(zhuǎn)換、發(fā)掘序列模式等。序列模式挖掘在異常檢測中的應(yīng)用，主要是通過對用戶命令序列分析，建立用戶行為概貌，任何對特定用戶行為模式的偏離，都被視為用戶行為異常。通過在大量的數(shù)據(jù)中進(jìn)行序列分析，可以發(fā)現(xiàn)審計(jì)記錄之間的相關(guān)性，提取入侵行為之間的序列模式，也就是滿足指定的最小支持度要求的頻繁大序列，即該序列模式不被任何其它序列所包含。

基于數(shù)據(jù)分類的入侵檢測。在入侵檢測中，收集用戶或程序足夠正常的和異常的審計(jì)數(shù)據(jù)，然后應(yīng)用一個(gè)分類算法訓(xùn)練分類器，將一個(gè)數(shù)據(jù)項(xiàng)映射到給定的某一個(gè)類別中，從而可以標(biāo)識或預(yù)測屬于正常類型或異常類型。Ripper是由W Cohen提出來的一種用于入侵檢測的分類規(guī)則生成算法，對于對包含大量噪聲數(shù)據(jù)的數(shù)據(jù)集具有很好的性能，而且其規(guī)則優(yōu)化模塊可以循環(huán)調(diào)用，從而進(jìn)一步提高了分類的準(zhǔn)確性。通常，數(shù)據(jù)分類用于輔助入侵檢測中的其它數(shù)據(jù)挖掘方法，進(jìn)行預(yù)處理或后續(xù)處理。

4）基于聚類分析的入侵檢測

聚類分析是指對于物理或抽象對象，根據(jù)一定的分類規(guī)則進(jìn)行合理地劃分，確定每個(gè)對象所在類別的過程。通過聚類分析，使得同一類內(nèi)的數(shù)據(jù)具有較高的相似性，而不同類之間的數(shù)據(jù)差別較大。該文原載于中國社會科學(xué)院文獻(xiàn)信息中心主辦的《環(huán)球市場信息導(dǎo)報(bào)》雜志http：//www.ems86.com總第526期2013年第43期-----轉(zhuǎn)載須注名來源與分類不同，聚類分析輸入的是一組未分類記錄，并且這些記錄應(yīng)分成幾類事先也不知道。利用聚類算法檢測入侵不需要訓(xùn)練數(shù)據(jù)，只需要帶有各種屬性的數(shù)據(jù)記錄。通過計(jì)算不同記錄的屬性差別，把類似的記錄聚集在一起，然后利用距離等來判斷哪些足異常記錄（攻擊數(shù)據(jù)）。高能等人提出了一種基于數(shù)據(jù)挖掘的拒絕服務(wù)攻擊檢測技術(shù)，先利用關(guān)聯(lián)算法從原始網(wǎng)絡(luò)數(shù)據(jù)中提取流量特征，然后利用K.means聚類算法自適應(yīng)地產(chǎn)生檢測模型，依靠和兩種算法實(shí)現(xiàn)實(shí)時(shí)地、自動地、有效地檢測DoS攻擊口。

基于證據(jù)理論的異常檢測。一種網(wǎng)絡(luò)異常檢測方法。該方法能夠融合多個(gè)特征對網(wǎng)絡(luò)流量進(jìn)行綜合評判，有效地降低了誤報(bào)率和漏報(bào)率，并引入自適應(yīng)機(jī)制，以保證在實(shí)時(shí)動態(tài)變化的網(wǎng)絡(luò)中的檢測準(zhǔn)確度。

數(shù)據(jù)挖掘的數(shù)據(jù)分析過程可以概括為3個(gè)步驟

數(shù)據(jù)準(zhǔn)備 在這個(gè)階段 將從操作環(huán)境中提取并集成數(shù)據(jù)解決語義二義問題；消除臟數(shù)據(jù)等 然后對數(shù)據(jù)進(jìn)行選擇和預(yù)分析 在IDS中將用戶的歷史行為數(shù)據(jù)和當(dāng)前操作數(shù)據(jù)進(jìn)行集成并刪除一些無用的數(shù)據(jù)和預(yù)處理以被用于數(shù)據(jù)挖掘；挖掘在這個(gè)階段里綜合利用前面提到的4數(shù)據(jù)挖掘方法分析經(jīng)過預(yù)處理的數(shù) 據(jù)從中提取有關(guān)特征和規(guī)則；表達(dá)數(shù)據(jù)挖掘?qū)@取的特征和規(guī)則以便于理解和觀察的方式反映給系統(tǒng)在入侵檢測系統(tǒng)中通過數(shù)據(jù)挖掘發(fā)現(xiàn)了有關(guān)的特征和規(guī)則后 再根據(jù)這些特征和規(guī)則將用戶的異常模式和正常模式定義出來然后存儲在知識庫中另外系統(tǒng)還對當(dāng)前的用戶行為數(shù)據(jù)進(jìn)行挖掘后找出特征和規(guī)則然后以一定的方式表達(dá)出來 系統(tǒng)將它與知識庫中的模式進(jìn)行匹配檢測；評價(jià)可以對數(shù)據(jù)挖掘后所提取的網(wǎng)絡(luò)安全異常模式或正常模式進(jìn)行評價(jià)如果能夠有效地檢測出入侵行為就說明它是成功的否則就可以重復(fù)執(zhí)行上述過程直至得出滿意的結(jié)果為止

二.數(shù)據(jù)樣本的獲取和特征研究的挖掘方法

數(shù)據(jù)采集： 收集用戶歷史行為數(shù)據(jù)進(jìn)行特征提取，用于構(gòu)造入侵行為模式，知識庫收集系統(tǒng)中的各種審計(jì)數(shù)據(jù)或網(wǎng)絡(luò)數(shù)據(jù)用于被檢測；數(shù)據(jù)集成： 將采集到的數(shù)據(jù)進(jìn)行集成與預(yù)處理，以便為下一步的數(shù)據(jù)挖掘準(zhǔn)備數(shù)據(jù)；數(shù)據(jù)挖掘： 采用數(shù)據(jù)挖掘技術(shù)從系統(tǒng)有關(guān)數(shù)據(jù)中提取有關(guān)行為特征和規(guī)則，從而用于建立網(wǎng)絡(luò)安全異常模式或正常模式；知識庫： 知識庫中存有系統(tǒng)需要的異常模式或正常模式，入侵檢測系統(tǒng)將用戶的行為特征與其進(jìn)行比較判斷，從而可以判斷出用戶的行為是否是入侵行為；特征提取： 采用類似于數(shù)據(jù)挖掘的技術(shù)從當(dāng)前用戶的行為數(shù)據(jù)中提取當(dāng)前用戶行為特征；入侵檢測：系統(tǒng)根據(jù)一定的算法從知識庫中提取出相關(guān)規(guī)則數(shù)據(jù)對當(dāng)前用戶行為特征進(jìn)行入侵檢測，根據(jù)檢測的結(jié)果作出相應(yīng)的行動，如果屬于入侵行為，則系統(tǒng)作出報(bào)警并采取一定措施防止入侵留下入侵證據(jù)，如果屬于正常行為則系統(tǒng)繼續(xù)對用戶行為進(jìn)行監(jiān)測。

本文根據(jù)數(shù)據(jù)挖掘和入侵檢測系統(tǒng)的特征將兩者結(jié)合在一起提出了應(yīng)用數(shù)據(jù)挖掘技術(shù)的入侵檢測系統(tǒng)結(jié)構(gòu)模型，根據(jù)這一結(jié)構(gòu)模型設(shè)計(jì)的入侵檢測系統(tǒng)在提取入侵模式和用戶行為特征方面的準(zhǔn)確性比不用數(shù)據(jù)挖掘技術(shù)的IDS有了一定的提高，從而提高了IDS檢測入侵行為的能力。

（作者單位：江蘇省南京郵電大學(xué)）