基于多ａｇｅｎｔ與ｐｒｏｘｙ技術(shù)的日志提取分析系統(tǒng)設(shè)計

摘要:提出了一個新的agent模型，并以該模型為基礎(chǔ)，設(shè)計了一個基于multi－agent與proxy技術(shù)的日志提取分析系統(tǒng)模型;同時詳細(xì)分析了該系統(tǒng)的總體結(jié)構(gòu)模型#65380;主要模塊設(shè)計以及采用多種安全機(jī)制來保證日志信息完整性和一致性。

關(guān)鍵詞:多主體模型; Syslog格式; 日志分析; 聚類

中圖分類號:TP393.08文獻(xiàn)標(biāo)志碼:A

文章編號:1001－3695(2008)02－0619－03

0引言

計算機(jī)系統(tǒng)#65380;各種網(wǎng)絡(luò)設(shè)備以及應(yīng)用服務(wù)在運行過程中均會產(chǎn)生大量的日志信息。這些日志信息記錄著系統(tǒng)及網(wǎng)絡(luò)發(fā)生的各種事件及其運行狀況，具有極高的價值，是取證審計的重要依據(jù)。然而，日志信息增長速度極快，管理員很難在有限的時間內(nèi)在眾多的日志數(shù)據(jù)中找到有用的信息。另外，日志記錄著訪問者的痕跡，通過分析日志信息可以發(fā)現(xiàn)入侵攻擊證據(jù)。不過，入侵者也十分清楚存在這樣的問題，所以他們通常會設(shè)法修改#65380;刪除日志信息以掩蓋他們的犯罪事實，從而避免系統(tǒng)管理員和專業(yè)人員的追蹤#65380;審計和取證。為了有效利用系統(tǒng)和網(wǎng)絡(luò)的日志信息，需要建立一個綜合系統(tǒng)對各種日志數(shù)據(jù)進(jìn)行統(tǒng)一提取和管理，為管理員提供一個便捷#65380;高效#65380;直觀的管理平臺，實現(xiàn)主動#65380;全面#65380;有效的綜合分析。

筆者在參加安全綜合審計的日志采集與取證分析技術(shù)#65380;網(wǎng)絡(luò)審計與取證技術(shù)的研究與開發(fā)課題的基礎(chǔ)上，根據(jù)系統(tǒng)的實時性#65380;交互性及智能性等需求，在分析agent理論模型及相關(guān)研究的基礎(chǔ)上，提出了一個適合本系統(tǒng)需要的新的agent模型，并以該agent模型為基礎(chǔ)在設(shè)計了一個日志提取分析系統(tǒng)模型。同時，本文也提出了SSL協(xié)議#65380;MD5校驗技術(shù)及驗證碼等多種安全機(jī)制來保證日志數(shù)據(jù)完整性和一致性。在日志數(shù)據(jù)分析方面本文采用了數(shù)據(jù)挖掘中的聚類方法來實現(xiàn)。

1相關(guān)技術(shù)

1.1Agent技術(shù)

目前，學(xué)術(shù)界對agent的概念仍然沒有一個統(tǒng)一的#65380;確定的定義。軟件agent研究者一般認(rèn)為軟件agent是指能在特定的環(huán)境下無須人工干預(yù)和監(jiān)督而自主完成某項任務(wù)的計算實體[1]，并能與其他agent進(jìn)行必要的交互。同樣，agent模型也沒有一個統(tǒng)一#65380;具體的定義，一般都是根據(jù)項目的實際需求來設(shè)計的。因此，本文以Bratman的agent理論模型[2]為基礎(chǔ)，根據(jù)取證綜合審計項目的實時性#65380;交互性及智能性等特點，提出一個新的agent模型，如圖1所示。日志提取分析系統(tǒng)中所使用的各個功能agent均以該agent模型為基礎(chǔ)設(shè)計出來。

Agent的工作過程:首先，agent通過采集器獲取數(shù)據(jù)源，把數(shù)據(jù)傳遞給分析器;分析器根據(jù)知識庫的經(jīng)驗和規(guī)則進(jìn)行分析;然后決策模塊根據(jù)分析結(jié)果和知識庫中的規(guī)則作出決策;最后由響應(yīng)模塊來執(zhí)行決策指令。另外，agent還可以通過安全通信接口與其他agent進(jìn)行通信交換信息，由協(xié)作分析模塊對不同來源的數(shù)據(jù)源進(jìn)行協(xié)調(diào)分析。

1.2多agent技術(shù)

多agent技術(shù)主要針對物理和地理上分散，又要通過通信交換信息，相互協(xié)調(diào)的系統(tǒng)，而研究一系列自治的agent之間如何通過協(xié)商#65380;規(guī)劃共同完成某個特定的任務(wù)[1，2]。多agent技術(shù)具有在分布計算環(huán)境下進(jìn)行有效的協(xié)同工作的特點，而這個特點恰好是本文取證綜合審計項目所需要的。因此，本文提出一個日志提取分析系統(tǒng)的多agent模型，以實現(xiàn)對計算機(jī)系統(tǒng)和網(wǎng)絡(luò)中各種類型日志的提取#65380;傳輸并進(jìn)行有效分析。

1.3Proxy技術(shù)

Proxy[3]的本質(zhì)也是一種agent，它可以為其他agent提供服務(wù)，并代理其他agent處理某種工作。不過，其在交換信息#65380;協(xié)調(diào)等方面具有更強(qiáng)的能力。本文將該技術(shù)應(yīng)用于系統(tǒng)中間層部件，這樣既減輕了終端agent的負(fù)擔(dān)，又可以避免后臺服務(wù)器遭到攻擊。

2日志記錄格式化

日志提取分析系統(tǒng)作為取證綜合審計系統(tǒng)的子系統(tǒng)，需要處理各種類型的日志，包括主機(jī)操作系統(tǒng)日志#65380;網(wǎng)絡(luò)設(shè)備日志#65380;數(shù)據(jù)庫日志以及典型應(yīng)用系統(tǒng)日志。這些審計源的日志都有各自的格式，如果按它們原有的格式進(jìn)行傳輸和存儲，不但不利于后續(xù)的日志分析和取證工作，而且直接傳輸還存在許多安全性問題。因此，本文提出一種日志記錄格式，如圖2所示，并對各種日志進(jìn)行統(tǒng)一格式化。為了便于說明，本文稱該日志格式為系統(tǒng)標(biāo)準(zhǔn)日志格式。

1)類別碼由于日志類型較多，為了便于后續(xù)分析，將日志記錄的第一個字段設(shè)置為類別碼字段，用于識別日志所屬的類別，由8位二進(jìn)制組成，每位的意義如表1所示。

2)標(biāo)準(zhǔn)Syslog[4，5]格式Syslog是在UNIX平臺下提出的，其格式比較簡單，主要由時間戳#65380;日志來源和日志描述三個部分組成。其中:時間戳包括日期和時間;日志來源包括IP地址#65380;產(chǎn)生該日志的進(jìn)程名以及優(yōu)先級;描述字段并沒有一個標(biāo)準(zhǔn)的定義，格式比較自由。本文按照不同類型的日志，根據(jù)實際需求在該字段上進(jìn)一步細(xì)化，將需要提取的內(nèi)容加入到該字段中。

3)驗證碼一般是軟件所安裝設(shè)備的網(wǎng)卡MAC地址，用于驗證日志記錄是否是授權(quán)設(shè)備發(fā)送的。

3系統(tǒng)總體結(jié)構(gòu)設(shè)計

3.1系統(tǒng)總體結(jié)構(gòu)模型

日志提取分析系統(tǒng)體系總體結(jié)構(gòu)設(shè)計如圖3所示，主要由日志提取agent#65380;proxy代理服務(wù)器和日志分析agent組成。

1)日志提取agent負(fù)責(zé)提取操作系統(tǒng)#65380;網(wǎng)絡(luò)設(shè)備#65380;數(shù)據(jù)庫及應(yīng)用系統(tǒng)的日志信息。它可以由多個agent協(xié)同操作來共同完成日志提取工作。其中，黑板就是用于各個agent之間的通信，協(xié)調(diào)任務(wù)進(jìn)度和范圍，以避免重復(fù)操作和死鎖。日志提取agent與proxy代理服務(wù)器之間的通信使用TCP協(xié)議，并通過SSL(secure socket layer，安全套接層)協(xié)議進(jìn)行加密和認(rèn)證。SSL協(xié)議是一個介于TCP層與應(yīng)用層之間的安全協(xié)議，能夠有效防止日志數(shù)據(jù)被竊聽，保證數(shù)據(jù)傳輸?shù)陌踩浴?/p>

2)Proxy代理服務(wù)器負(fù)責(zé)接收日志提取agent發(fā)送來的日志數(shù)據(jù)，并對日志數(shù)據(jù)進(jìn)行驗證，然后將驗證通過的日志數(shù)據(jù)存儲到數(shù)據(jù)庫服務(wù)器中。原始日志數(shù)據(jù)是重要法律依據(jù)。本系統(tǒng)日志數(shù)據(jù)采用備份存儲，設(shè)置兩個數(shù)據(jù)庫來存儲，即證據(jù)數(shù)據(jù)庫和日志分析數(shù)據(jù)庫。證據(jù)數(shù)據(jù)庫中的日志數(shù)據(jù)是取證的法律依據(jù)，因此，使用MD5簽名和校驗來保證日志數(shù)據(jù)的完整性和可靠性。這樣當(dāng)這些日志數(shù)據(jù)作為證據(jù)提交時，可以通過進(jìn)行MD5校驗可以知道該數(shù)據(jù)是否被修改過。日志分析數(shù)據(jù)庫中的日志數(shù)據(jù)是日志分析agent的數(shù)據(jù)源，為了減少系統(tǒng)開銷，這里直接采用ADO技術(shù)來實現(xiàn)數(shù)據(jù)存儲。

3)日志分析agent負(fù)責(zé)讀取日志數(shù)據(jù)庫中的日志數(shù)據(jù)，根據(jù)規(guī)則庫中的規(guī)則進(jìn)行分析，并將分析結(jié)果呈現(xiàn)給用戶;同時將系統(tǒng)和網(wǎng)絡(luò)異常#65380;入侵等信息反饋給proxy代理服務(wù)器，再由proxy代理服務(wù)器反饋給終端用戶。

3.2日志提取agent設(shè)計

日志提取agent主要負(fù)責(zé)獲取各種類型的日志數(shù)據(jù)，并進(jìn)行相應(yīng)的處理，然后將日志數(shù)據(jù)發(fā)送給proxy代理服務(wù)器。主要由六個模塊組成，如圖4所示。

1)日志獲取模塊主要負(fù)責(zé)讀取主機(jī)操作系統(tǒng)日志#65380;網(wǎng)絡(luò)設(shè)備日志#65380;數(shù)據(jù)庫日志以及典型應(yīng)用系統(tǒng)日志。首先，模塊讀取配置文件中的信息并對軟件進(jìn)行初始化，這些初始化信息包括獲取的日志類型#65380;軟件觸發(fā)的時間間隔以及通信設(shè)置等信息。由于不同類型的日志，其存儲格式和存儲方式等均有各自的特點，必須根據(jù)日志類型采取相應(yīng)的方法才能進(jìn)行日志采集。例如，Windows系列的操作系統(tǒng)日志可以通過調(diào)用API函數(shù)來采集日志;數(shù)據(jù)庫的日志采集則可以通過讀取日志文件進(jìn)行分析，分離有效的數(shù)據(jù);網(wǎng)絡(luò)設(shè)備的日志可以通過執(zhí)行相關(guān)的命令來獲取。

2)日志解析模塊主要負(fù)責(zé)將所采集的日志轉(zhuǎn)換成前面所介紹的系統(tǒng)標(biāo)準(zhǔn)的日志格式。系統(tǒng)標(biāo)準(zhǔn)日志格式的主體是標(biāo)準(zhǔn)Syslog格式，系統(tǒng)所要采集的日志中除了Linux和Solaris的日志是標(biāo)準(zhǔn)的Syslog格式外，其他日志都是有各自的格式。首先要分析日志的內(nèi)容，提取需要的信息;然后再按標(biāo)準(zhǔn)的Syslog格式組織數(shù)據(jù);接著，根據(jù)日志類型按表1生成一個8位的二進(jìn)制類別碼，并獲取軟件所安裝的設(shè)備網(wǎng)卡MAC地址作為驗證碼。

3)日志分析模塊主要負(fù)責(zé)日志數(shù)據(jù)的本地分析。首先，對日志數(shù)據(jù)進(jìn)行完整性和一致性檢查，判斷日志是否被刪除或修改。主要判斷依據(jù)[6]如下:日志中事件發(fā)生的時間與前后事件發(fā)生時間不相符合的;定期發(fā)生的事件缺少或多出的;定期生成的日志文件缺少或多出的;在服務(wù)器運行后已生成，還未到指定的刪除期限，但是文件不存在的。然后，根據(jù)本地知識庫中的信息，對日志數(shù)據(jù)進(jìn)行分析。一旦發(fā)現(xiàn)異常情況，就根據(jù)知識庫中的規(guī)則作出決策，提交命令給控制模塊。另外，分析模塊還可以接收其他agent提供的信息，并與當(dāng)前日志信息進(jìn)行協(xié)作分析。

4)日志加工模塊主要負(fù)責(zé)日志數(shù)據(jù)的加密與壓縮。為了避免在傳輸過程中遭到攻擊者監(jiān)聽，甚至修改#65380;破壞傳輸中的日志數(shù)據(jù)，采用加密算法對日志數(shù)據(jù)進(jìn)行加密。另外，為了減少數(shù)據(jù)傳輸量，采用算術(shù)編碼(arithmetic coding)算法[7]來壓縮日志數(shù)據(jù)，壓縮算法的具體實現(xiàn)將在后續(xù)文章中介紹。該模塊可以根據(jù)用戶的設(shè)置來決定是否執(zhí)行。比如，日志采集時間間隔較短，這樣日志數(shù)據(jù)量就不會很大，這個時候就可以考慮不要對日志數(shù)據(jù)進(jìn)行壓縮。

5)通信模塊主要負(fù)責(zé)日志提取agent和proxy代理服務(wù)器之間的信息交換。它通過socket來實現(xiàn)發(fā)送日志數(shù)據(jù)以及接收來自代理服務(wù)器的控制信息。另外，agent之間的信息交換也通過該模塊實現(xiàn)。

6)控制模塊主要根據(jù)控制信息對設(shè)備進(jìn)行相關(guān)控制。該模塊接收分析模塊的操作命令，然后作出相關(guān)的處理，如切斷網(wǎng)絡(luò)#65380;強(qiáng)制關(guān)閉計算機(jī)等。另外，還可以接收來自通信模塊的日志分析agent發(fā)出的全局分析指令，并作相應(yīng)處理。

3.3Proxy代理服務(wù)器功能設(shè)計

Proxy代理服務(wù)器主要負(fù)責(zé)接收日志提取agent發(fā)送來的日志數(shù)據(jù)，并將驗證通過的數(shù)據(jù)輸入日志數(shù)據(jù)庫。主要由五個模塊組成。

1)日志接收模塊主要負(fù)責(zé)接收經(jīng)過認(rèn)證的日志提取agent發(fā)送的日志信息。本文在前面已經(jīng)提過日志提取agent與proxy代理服務(wù)器之間通信使用TCP和SSL協(xié)議，這樣保證接收的日志信息是經(jīng)過認(rèn)證的日志提取agent發(fā)送的。

2)日志加工模塊該模塊與日志提取agent的加工模塊是相對應(yīng)的，負(fù)責(zé)對日志信息進(jìn)行解密和解壓縮。同樣，該模塊可以根據(jù)設(shè)置來決定是否執(zhí)行。

3)日志驗證模塊為了避免攻擊者取得已認(rèn)證的日志提取agent，并通過攻擊機(jī)發(fā)送大量的虛假日志信息，同時避免數(shù)據(jù)庫服務(wù)器接收到虛假的日志信息，該模塊通過驗證日志信息中驗證字段的網(wǎng)卡MAC地址來判斷日志信息是否是筆者所要提取的設(shè)備發(fā)送來的，如果不是就直接刪除。這樣可以過濾掉攻擊者發(fā)送的虛假日志信息。

4)數(shù)據(jù)入庫模塊該模塊將驗證通過的日志數(shù)據(jù)存儲到證據(jù)數(shù)據(jù)庫和日志分析數(shù)據(jù)庫。

5)通信模塊主要負(fù)責(zé)日志提取agent和proxy代理服務(wù)器間及proxy代理服務(wù)器與日志分析agent間的信息交換。

3.4日志分析agent功能設(shè)計

日志分析agent通過讀取日志分析數(shù)據(jù)庫中的日志數(shù)據(jù)，并根據(jù)規(guī)則庫中的信息進(jìn)行分析，得出結(jié)論。由全局分析模塊#65380;報告生成模塊以及通信模塊組成。

全局分析模塊是日志分析agent的主體，也是整個系統(tǒng)的關(guān)鍵部分，它關(guān)系到能否在最短的時間內(nèi)發(fā)現(xiàn)系統(tǒng)和網(wǎng)絡(luò)的異常情況，作出處理決策，保證系統(tǒng)和網(wǎng)絡(luò)安全。本文采用數(shù)據(jù)挖掘中的聚類方法對日志數(shù)據(jù)進(jìn)行分析。

聚類[8]就是將物理或抽象對象的集合分組成由類似的對象組成的多個類的過程。由聚類生成的簇是一組數(shù)據(jù)對象的集合，這些對象與同一簇中的對象彼此相似，與其他簇中的對象相異。聚類分析通過獲得數(shù)據(jù)分布的情況，將數(shù)據(jù)對象分組成為多個簇，觀察每個簇的特點，集中對特定的某些簇作出進(jìn)一步的分析[8]。本文通過相似性和距離函數(shù)對日志數(shù)據(jù)進(jìn)行聚類分析，主要包括以下兩個方面:

本文通過上述聚類分析方法對日志分析數(shù)據(jù)庫中大量日志數(shù)據(jù)進(jìn)行分析，找出系統(tǒng)和網(wǎng)絡(luò)中的異常情況，并及時反饋分析結(jié)果，作出決策，從而保障系統(tǒng)和網(wǎng)絡(luò)安全。

4結(jié)束語計算機(jī)系統(tǒng)和網(wǎng)絡(luò)日志是系統(tǒng)順利運行的重要保障，具有相當(dāng)高的價值。本文提出的日志提取分析系統(tǒng)模型可以自動收集#65380;過濾#65380;檢查和分析系統(tǒng)和網(wǎng)絡(luò)中各種類型日志，從大量的日志信息中獲取有用的信息，及時反饋系統(tǒng)的運行狀況，保證系統(tǒng)正常運行。另外，原始日志數(shù)據(jù)是計算機(jī)犯罪的重要證據(jù)，系統(tǒng)采集#65380;存儲以及聚類分析的數(shù)字證據(jù)是法庭審判的重要法律依據(jù)，為網(wǎng)絡(luò)系統(tǒng)運行提供法律保護(hù)，具有重要的社會意義。

參考文獻(xiàn):

[1]JENNINGS N R. On agent－based software engineering[J]. Artificial Intelligence，2000，177(2):227－296.

[2]BRATMAN M E. Intentions， plants and practical reason[M].Cambridge:Harvard University Press，1987.

[3]TANG Yong－ping， DANIELS T E. A simple framework for distributed forensics[C]//Proc of Distributed Computing Systems Workshops. 2005: 163－169.

[4]KENT K. Guide to computer security log management[EB/OL].[2006]. http://csrc.nist.gov /publications/nistpubs/800－92/SP800－92.pdf.

[5]STEARLEY J. Towards informatic analysis of Syslogs cluster computing[C]//Proc of IEEE International Conference on Cluster Computing.2004:309－318.

[6]方航鋒，汪海航.日志提取分析系統(tǒng)的設(shè)計和實現(xiàn)[J].計算機(jī)工程，2005，31(14): 108－109，118.

[7]SAN A，CAMPOS E.Arithmetic coding[EB/OL].[2005]. http://www.arturocampos. com / ac_arithmetic.html.

[8]HAN Jia－wei，KAMBER M.Data mining:concept and techniques[M].范明，孟小峰，譯.北京:機(jī)械工業(yè)出版社，2001:223－236.

[9]楊澤明.計算機(jī)與網(wǎng)絡(luò)取證系統(tǒng)的研究與實現(xiàn)[D].北京:中國科學(xué)院高能物理研究所，2004:20－23.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文”