基于模糊場(chǎng)景關(guān)聯(lián)分析的技術(shù)研究與實(shí)踐

曲光學(xué)

摘要：文章針對(duì)海量多源異構(gòu)安全日志分析問(wèn)題，提出了一種基于模糊場(chǎng)景的關(guān)聯(lián)分析方法。這種方法打破傳統(tǒng)安全告警日志關(guān)聯(lián)分析技術(shù)中常采用的構(gòu)建固定攻擊場(chǎng)景的方式。它采用聚類(lèi)算法對(duì)多源異構(gòu)告警日志進(jìn)行聚合，綜合考慮告警事件的數(shù)據(jù)來(lái)源、數(shù)量和事件等級(jí)，對(duì)每部分進(jìn)行權(quán)重的累加，計(jì)算出與源IP對(duì)應(yīng)的事件疑似度。文章介紹了模糊場(chǎng)景關(guān)聯(lián)分析方法的架構(gòu)原理、技術(shù)實(shí)現(xiàn)，并通過(guò)實(shí)例加以說(shuō)明，對(duì)所提出的方法進(jìn)行驗(yàn)證。結(jié)果表明該方法和應(yīng)用是可行和有效的。

關(guān)鍵詞：安全日志；多源異構(gòu)日志；模糊場(chǎng)景關(guān)聯(lián)分析；聚類(lèi)分析；疑似度

隨著網(wǎng)絡(luò)應(yīng)用的迅速發(fā)展，安全管理問(wèn)題日益繁雜。企業(yè)單位采用各種網(wǎng)絡(luò)安全設(shè)備，如防火墻、入侵檢測(cè)系統(tǒng)、病毒木馬檢測(cè)系統(tǒng)、行為審計(jì)系統(tǒng)、漏洞掃描器等，節(jié)點(diǎn)分散，數(shù)量品牌多，產(chǎn)品差異大，各安全設(shè)備功能相對(duì)獨(dú)立，告警日志多。例如連續(xù)運(yùn)行的入侵檢測(cè)系統(tǒng)報(bào)警量常常達(dá)到G數(shù)量級(jí)。據(jù)統(tǒng)計(jì)，其中約有99%以上是無(wú)關(guān)報(bào)警。傳統(tǒng)對(duì)各種告警日志進(jìn)行單獨(dú)分析和處理的方法，由于忽略各種類(lèi)型日志之間的相關(guān)性，使其分析結(jié)果無(wú)法準(zhǔn)確地反映網(wǎng)絡(luò)系統(tǒng)的安全狀況，管理員湮沒(méi)在大量告警中，很難了解系統(tǒng)的安全威脅狀況，無(wú)法在海量日志中快速定位有價(jià)值的安全威脅，也不能及時(shí)采取有效的響應(yīng)措施。因此，針對(duì)這種多源異構(gòu)告警日志的模糊場(chǎng)景關(guān)聯(lián)分析具有重要的實(shí)用價(jià)值和研究意義。

近年來(lái)，國(guó)內(nèi)外研究人員從不同角度對(duì)多源異構(gòu)日志進(jìn)行研究，并取得一定的成果。Asif-Iqba等提出了一種異構(gòu)日志事件過(guò)濾的方法，利用聚類(lèi)算法過(guò)濾冗余的日志事件，最后對(duì)日志事件進(jìn)行聚合，從而有利于多源日志事件關(guān)聯(lián)分析；Robiah等提出了一種基于異構(gòu)日志的入侵報(bào)警關(guān)聯(lián)分析方法；文獻(xiàn)通過(guò)對(duì)日志文件的交集進(jìn)行分析來(lái)發(fā)現(xiàn)用戶(hù)的惡意行為，從而提高系統(tǒng)的安全性，但該方法只能對(duì)防火墻日志與應(yīng)用系統(tǒng)日志進(jìn)行分析；文章提出了一種日志關(guān)聯(lián)分析模型，通過(guò)對(duì)不同來(lái)源的日志文件進(jìn)行采集、過(guò)濾、規(guī)范化以及關(guān)聯(lián)分析，重構(gòu)攻擊序列。

以上方法為多源異構(gòu)日志分析工作提供了可行的解決思路，為日志分析模型及算法奠定了良好的基礎(chǔ)，但也普遍存在分析數(shù)據(jù)源不夠廣泛、分析技術(shù)單一等問(wèn)題。為此，本文提出了一種包含聚合分析、統(tǒng)計(jì)分析和關(guān)聯(lián)分析在內(nèi)的模糊場(chǎng)景關(guān)聯(lián)分析方法，旨在解決從海量信息安全報(bào)警日志中快速準(zhǔn)確關(guān)聯(lián)分析出最有威脅攻擊行為的問(wèn)題，輔助管理員對(duì)事件進(jìn)行深度分析和準(zhǔn)確處理，實(shí)現(xiàn)海量異構(gòu)安全報(bào)警的高效關(guān)聯(lián)分析及處置，以減少網(wǎng)絡(luò)攻擊威脅對(duì)信息系統(tǒng)所造成的影響。

1系統(tǒng)架構(gòu)

本文所使用的模糊場(chǎng)景關(guān)聯(lián)分析是對(duì)各類(lèi)安全設(shè)備告警日志數(shù)據(jù)的深入挖掘和分析，該算法應(yīng)用在某單位安全運(yùn)維一體化管控系統(tǒng)的核心關(guān)聯(lián)分析引擎中。模糊場(chǎng)景關(guān)聯(lián)分析算法依靠?jī)?nèi)存數(shù)據(jù)庫(kù)的高效率特點(diǎn)，將格式化后的安全告警日志實(shí)時(shí)保存在內(nèi)存中進(jìn)行周期性快速比對(duì)分析，依據(jù)攻擊源和目的IP地址聚合后攻擊行為的次數(shù)、類(lèi)型、攻擊手段、事件名稱(chēng)等關(guān)鍵要素進(jìn)行不同分析，基于越多次數(shù)、越多類(lèi)型、越多攻擊手段其作為攻擊源和攻擊目標(biāo)的疑似度就越高的基本分析原則，為每個(gè)攻擊來(lái)源和目的IP地址進(jìn)行實(shí)時(shí)疑似度統(tǒng)計(jì)分析，管理員不再根據(jù)安全告警原始日志的接收順序進(jìn)行分析處置，而是依據(jù)攻擊行為疑似度高低優(yōu)先處理最具安全威脅的攻擊者或攻擊目標(biāo)IP地址。

2海量異構(gòu)安全日志關(guān)聯(lián)分析原理

在面對(duì)大量安全告警信息進(jìn)行關(guān)聯(lián)處理中，傳統(tǒng)分析引擎依照順序規(guī)則判定安全報(bào)警的生成，按照一個(gè)既定的告警事件分析順序依次判斷，最終根據(jù)提前明確預(yù)定義規(guī)則生成安全報(bào)警。但在實(shí)際關(guān)聯(lián)分析過(guò)程中，過(guò)于教科書(shū)樣式的分析規(guī)則在現(xiàn)實(shí)關(guān)聯(lián)分析中，由于受安全產(chǎn)品的部署和檢測(cè)效能限制，往往無(wú)法保證百分之百地提供真實(shí)、有效的安全告警讓分析引擎正確執(zhí)行命中。為了實(shí)現(xiàn)針對(duì)全網(wǎng)真實(shí)環(huán)境下部署策略各不相同的安全設(shè)備所觸發(fā)安全告警數(shù)據(jù)的有效分析，本文設(shè)計(jì)引入模糊化場(chǎng)景分析規(guī)則，其具體設(shè)計(jì)步驟為：以單一日志分析后的來(lái)源和目的IP地址作為關(guān)鍵索引，在一個(gè)有效的時(shí)間窗口中不斷聚合告警日志中每次攻擊的來(lái)源和目的分別相同的IP地址，在時(shí)間窗口中不斷累積攻擊源和攻擊目標(biāo)IP所對(duì)應(yīng)的安全事件的名稱(chēng)、級(jí)別、對(duì)端IP這些信息成為關(guān)聯(lián)分析的輸入條件。最終基于這些輸入數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析后，形成一個(gè)不斷變化的疑似度閾值，當(dāng)閾值達(dá)到提前設(shè)置的數(shù)值時(shí)，算法就趨于認(rèn)同該來(lái)源或者目的IP地址有可能是一個(gè)真實(shí)的攻擊來(lái)源或者攻擊目標(biāo)。

3整體架構(gòu)

為了使模糊場(chǎng)景關(guān)聯(lián)分析算法保持高效的實(shí)時(shí)比對(duì)分析，系統(tǒng)架構(gòu)采用流式數(shù)據(jù)處理引擎、內(nèi)存數(shù)據(jù)庫(kù)和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)混合構(gòu)建完成，將1天24小時(shí)即86400秒內(nèi)采集到的海量日志全部放入內(nèi)存數(shù)據(jù)庫(kù)中進(jìn)行實(shí)時(shí)比對(duì)分析，流式數(shù)據(jù)處理引擎負(fù)責(zé)格式化處理各類(lèi)實(shí)時(shí)安全告警日志數(shù)據(jù)，流式引擎處理格式化后的日志數(shù)據(jù)放入內(nèi)存數(shù)據(jù)庫(kù)，相對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)更適合大量數(shù)據(jù)的匹配分析。所有分析出來(lái)的安全告警數(shù)據(jù)以及對(duì)應(yīng)原始告警數(shù)據(jù)日志放入關(guān)系型數(shù)據(jù)庫(kù)中進(jìn)行保存。

4技術(shù)實(shí)現(xiàn)

4.1模糊關(guān)聯(lián)場(chǎng)景分析方法

模糊場(chǎng)景關(guān)聯(lián)分析是對(duì)安全運(yùn)維一體化系統(tǒng)中匯集的安全告警原始日志數(shù)據(jù)的分析和挖掘。該方法主要是通過(guò)模糊關(guān)聯(lián)分析算法，對(duì)當(dāng)前和歷史的安全告警和日志數(shù)據(jù)的計(jì)算，發(fā)現(xiàn)系統(tǒng)中告警威脅的攻擊者和被攻擊者疑似度（疑似度的值為0～1之間，用來(lái)表示攻擊者和被攻擊者的疑似程度，越接近1表明攻擊者和被攻擊者的確定程度越大）。

通過(guò)對(duì)安全告警產(chǎn)生過(guò)程的深入分析，認(rèn)為有4種安全告警對(duì)于疑似度的計(jì)算可以產(chǎn)生不同影響。

第1種：未符合聚合策略被忽略的安全告警。由于某些高級(jí)持續(xù)性威脅（APT）的告警會(huì)有意識(shí)地調(diào)整攻擊頻率，系統(tǒng)中單一的聚合策略并不能生成告警。

第2種：已處理生成安全事件的安全告警。對(duì)于己生成安全事件的告警，這些攻擊源和攻擊目標(biāo)是管理員需要持續(xù)關(guān)注的。

第3種：管理員手動(dòng)操作忽略的安全告警。由于管理員并不能輕松根據(jù)上報(bào)的安全告警分析出它們之間的關(guān)聯(lián)關(guān)系，所以往往對(duì)這些告警采用忽略處理，進(jìn)而錯(cuò)過(guò)徹底發(fā)現(xiàn)攻擊的最佳時(shí)機(jī)。

第4種：系統(tǒng)中狀態(tài)為未處理的安全告警。系統(tǒng)中未處理的安全告警是管理員最關(guān)注的。

以上是模糊場(chǎng)景關(guān)聯(lián)分析方法的四大數(shù)據(jù)來(lái)源（見(jiàn)圖1）。

對(duì)于每一種安全告警中都存在著攻擊源和攻擊目標(biāo)，在安全告警事件中，源IP即攻擊源，目的IP即攻擊目標(biāo)。模糊場(chǎng)景關(guān)聯(lián)分析方法根據(jù)4個(gè)數(shù)據(jù)源計(jì)算出每個(gè)源IP和目的IP的疑似度（見(jiàn)圖2）。

通過(guò)對(duì)模糊場(chǎng)景關(guān)聯(lián)分析的數(shù)據(jù)源的分析，每種數(shù)據(jù)源都是由安全告警組成，每個(gè)安全告警又是由多個(gè)原始的告警聚合產(chǎn)生，對(duì)于安全告警的聚合數(shù)量、告警等級(jí)是直接影響計(jì)算疑似度的2個(gè)重要參數(shù)（見(jiàn)圖3）。

4.2模糊場(chǎng)景算法組成

模糊場(chǎng)景關(guān)聯(lián)分析方法中有4個(gè)數(shù)據(jù)來(lái)源、2個(gè)維度和2個(gè)參數(shù)。模糊場(chǎng)景關(guān)聯(lián)分析主要是攻擊源和攻擊目標(biāo)疑似度的計(jì)算模型（見(jiàn)圖4）。

由于4個(gè)數(shù)據(jù)源產(chǎn)生的安全告警的影響是不同的，己處理生成安全事件的安全告警最高，系統(tǒng)中狀態(tài)為未處理的安全告警次之，由于未符合聚合策略被忽略的安全告警和管理員手動(dòng)忽略的安全告警均屬于忽略狀態(tài)的告警，所以此類(lèi)告警影響最低。

其對(duì)應(yīng)在計(jì)算方法中的權(quán)值也是依次降低。影響劃分如下：

己處理生成安全事件的安全告警權(quán)重>系統(tǒng)中狀態(tài)為未處理的安全告警權(quán)重>未符合聚合策略被忽略的安全告警和系統(tǒng)運(yùn)維人員手動(dòng)忽略的安全告警權(quán)重。

數(shù)據(jù)源的權(quán)重Ts范圍為1～100，4種數(shù)據(jù)源的權(quán)重如表1所示（表中數(shù)據(jù)為假設(shè)數(shù)據(jù)）。

對(duì)于模糊場(chǎng)景關(guān)聯(lián)分析方法中告警數(shù)量，每種數(shù)據(jù)源提供的數(shù)量是不同的，為了避免數(shù)據(jù)量對(duì)計(jì)算結(jié)果誤導(dǎo)性影響，告警數(shù)量的權(quán)重采用非線性的計(jì)算方式獲得，具體計(jì)算公式如下所示：

Tc=a*th（X/Fn）

Tc表示報(bào)警數(shù)量的權(quán)重，x表示告警數(shù)量。a是控制權(quán)重的變化趨勢(shì)，a值越大表明_rc的值越大。th（）為雙曲正切函數(shù)，使用雙曲正切函數(shù)能保證數(shù)量的大小變化對(duì)權(quán)重值影響不成比例。Fn為調(diào)整系數(shù)，是一個(gè)常量值，更能符合Tc的變化趨勢(shì)。

模糊場(chǎng)景關(guān)聯(lián)分析方法告警等級(jí)權(quán)重Td也是計(jì)算方法中重要的參數(shù)，安全告警一共分為3個(gè)等級(jí)：高、中、低。告警等級(jí)的權(quán)重范圍為1～10，由于低等級(jí)的安全告警對(duì)于疑似度的影響較小，系統(tǒng)默認(rèn)定義低級(jí)別安全報(bào)警的權(quán)值為1。其中安全告警等級(jí)的權(quán)重如表2所示（表中高中級(jí)數(shù)據(jù)為假設(shè)數(shù)據(jù)）。

事件疑似度是由數(shù)據(jù)源種類(lèi)、安全告警數(shù)量和安全報(bào)警等級(jí)決定的，具體計(jì)算公式如下所示：

其中，DoubtC表示源IP（或目的IP）為攻擊源（或攻擊目的）的疑似度。n表示時(shí)間范圍內(nèi)參加計(jì)算的安全報(bào)警數(shù)量。Ts表示每種數(shù)據(jù)源的權(quán)重。Tc表示通過(guò)安全告警聚合的數(shù)量計(jì)算出的數(shù)量權(quán)重。Td代表安全告警等級(jí)的權(quán)重。Fa為疑似度調(diào)整系數(shù)，是一個(gè)常量值，F(xiàn)a的設(shè)置是將疑似度作整體調(diào)整的人性化設(shè)計(jì)，更能符合用戶(hù)對(duì)于疑似度的感念意識(shí)。疑似度計(jì)算使用雙曲正切函數(shù)y=th（X）=（e∧x-e∧（-X））/（e∧x+e∧、（-x）），如圖5所示，在雙曲正切函數(shù)中，不論數(shù)值有多大（如：疑似度原值可以是無(wú)限大），最終計(jì)算出的結(jié)果都是在0～1之間的，而其他函數(shù)則沒(méi)有此性質(zhì)。疑似度計(jì)算公式中利用雙曲正切函數(shù)的分值限制將疑似度值控制在0～100%之間。

模糊場(chǎng)景關(guān)聯(lián)分析算法實(shí)例（此數(shù)據(jù)為測(cè)試算法數(shù)據(jù)）：

（1）時(shí)間范圍10分鐘，取源IP為192.168.10.1的10條數(shù)據(jù)為例。

（2）數(shù)量權(quán)重計(jì)算公式中的Fn值為200，a系數(shù)值為10。

（3）安全報(bào)警等級(jí)權(quán)值高中低分別為：Td=6，Td=4，Td=1。

（4）疑似度計(jì)算公式中的Fa值為1000。

具體如表3所示。

Doubtc=th（9982.400/1000）=0.7609

則時(shí)間范圍10分鐘，源IP；為192.168.10.1的攻擊者疑似度為76.09%。

5應(yīng)用效果

模糊場(chǎng)景關(guān)聯(lián)分析算法作為安全運(yùn)維一體化管控系統(tǒng)的核心日志分析處置功能引擎，已經(jīng)成功部署在某單位并在安全日志關(guān)聯(lián)分析處置中發(fā)揮了實(shí)際功效價(jià)值。該引擎自從上線后，平均每天關(guān)聯(lián)分析接近370萬(wàn)條不同廠家品牌規(guī)格的安全日志數(shù)據(jù)，通過(guò)對(duì)安全日志分析處置，每天可以穩(wěn)定針對(duì)20～30個(gè)重點(diǎn)攻擊源和攻擊目標(biāo)IP地址進(jìn)行高威脅疑似度預(yù)警，及時(shí)通知管理員進(jìn)行研判分析處置。管理員可以直接在系統(tǒng)界面中查看相關(guān)疑似度統(tǒng)計(jì)分析數(shù)據(jù)以及對(duì)應(yīng)的原始日志主數(shù)據(jù)，進(jìn)行運(yùn)維流程處理。模糊場(chǎng)景關(guān)聯(lián)分析算法應(yīng)用后，日常安全運(yùn)維人員不必每天再面對(duì)大量滾動(dòng)更新的安全日志而束手無(wú)策，系統(tǒng)成為安全運(yùn)維團(tuán)隊(duì)日常工作的重要支撐工具。

6結(jié)語(yǔ)

綜上所述，傳統(tǒng)安全告警日志關(guān)聯(lián)分析技術(shù)中經(jīng)常采用構(gòu)建固定攻擊場(chǎng)景的方式進(jìn)行關(guān)聯(lián)分析，為攻擊行為建立嚴(yán)格的發(fā)展順序，只有按照?qǐng)鼍耙?guī)定的步驟進(jìn)行的告警日志才能夠被檢測(cè)分析。這種明確的場(chǎng)景規(guī)則存在較大的局限性，在實(shí)際應(yīng)用中一方面攻擊場(chǎng)景不可能全部枚舉出來(lái)，另一方面攻擊行為隱蔽性越來(lái)越強(qiáng)，攻擊者為了繞過(guò)安全設(shè)備的防守，采取各種各樣的方式，攻擊步驟不斷變化，一旦攻擊步驟變了，而監(jiān)控系統(tǒng)仍然按照原先設(shè)定的場(chǎng)景進(jìn)行匹配，則此次關(guān)聯(lián)分析對(duì)于攻擊的識(shí)別是失敗的。本文提出的安全告警日志模糊場(chǎng)景關(guān)聯(lián)分析的技術(shù)架構(gòu)，跳出了傳統(tǒng)分析規(guī)則的局限，不再針對(duì)一系列攻擊行為進(jìn)行預(yù)先場(chǎng)景描述，而是綜合考慮告警事件的數(shù)據(jù)來(lái)源、數(shù)量和事件等級(jí)，對(duì)每部分進(jìn)行權(quán)重的累加，最終得到某個(gè)源IP（目的IP）是攻擊威脅（被攻擊威脅對(duì)象）的疑似度。該規(guī)則更加簡(jiǎn)單易用，無(wú)需頻繁升級(jí)調(diào)整，同時(shí)也更加符合實(shí)際工作中安全告警日志數(shù)據(jù)的結(jié)構(gòu)特點(diǎn)，增強(qiáng)了安全運(yùn)維系統(tǒng)針對(duì)大型網(wǎng)絡(luò)中各類(lèi)安全攻擊威脅預(yù)警的及時(shí)性和準(zhǔn)確性。