新一代日志分析系統(tǒng)為企業(yè)運(yùn)維減負(fù)

趙明

伴隨著大數(shù)據(jù)時(shí)代的到來，啟明星辰于2015年12月25日正式對外發(fā)布了面向企業(yè)級客戶、融合大數(shù)據(jù)技術(shù)的泰合新一代日志分析與審計(jì)平臺（以下簡稱TSOC-SA3），以滿足需要分析天量安全日志的政企客戶的需求。該平臺結(jié)合當(dāng)前主流的大數(shù)據(jù)技術(shù)，并采用具有自主知識產(chǎn)權(quán)的分布式非關(guān)系型數(shù)據(jù)庫（CupidDB）技術(shù)，有效處理日志大數(shù)據(jù)問題，開啟安全管理的SOC3.0時(shí)代。

TSOC-SA3基于分布式節(jié)點(diǎn)計(jì)算機(jī)制，使用自主知識產(chǎn)權(quán)的非關(guān)系型數(shù)據(jù)庫CupidDB，具有高可靠性的分布式、全文索引、實(shí)時(shí)格式化數(shù)據(jù)搜索和原始數(shù)據(jù)關(guān)鍵字搜索等功能。系統(tǒng)融合多種信息安全技術(shù)和管理理念，充分實(shí)現(xiàn)組織、管理、技術(shù)三個(gè)體系的合理調(diào)配，幫助用戶進(jìn)行基于日志的綜合審計(jì)和日志全生命周期管理，從而最大化地保障網(wǎng)絡(luò)、主機(jī)和應(yīng)用系統(tǒng)安全機(jī)制的有效性。

融合大數(shù)據(jù)技術(shù)的日志管理技術(shù)架構(gòu)

系統(tǒng)采用了國內(nèi)領(lǐng)先的高性能日志采集范式化技術(shù)、大數(shù)據(jù)分布式存儲與索引、流式集中事件及情境關(guān)聯(lián)分析，從產(chǎn)品技術(shù)架構(gòu)的層面，進(jìn)行了系統(tǒng)性的設(shè)計(jì)，使系統(tǒng)真正成為一款能夠支撐持續(xù)海量日志管理的系統(tǒng)。

第一，日志采集層面使用了異步通信、高速緩存、日志范式化流水線和消息中間件技術(shù)，對海量異構(gòu)日志進(jìn)行持續(xù)不斷高速的采集，使用戶能夠采集并預(yù)處理網(wǎng)絡(luò)中大規(guī)模審計(jì)對象的日志。

第二，日志存儲方面，針對大數(shù)據(jù)日志，系統(tǒng)采用了具有自主知識產(chǎn)權(quán)的分布式非關(guān)系型數(shù)據(jù)庫CupidDB從根本上消除了使用傳統(tǒng)關(guān)系型數(shù)據(jù)庫的日志審計(jì)系統(tǒng)的性能瓶頸，彌補(bǔ)了數(shù)據(jù)存儲、數(shù)據(jù)索引、數(shù)據(jù)搜索和數(shù)據(jù)備份的不足，使日志審計(jì)系統(tǒng)真正邁向了大數(shù)據(jù)時(shí)代。對數(shù)據(jù)進(jìn)行分片和副本，將分片和副本保存在不同的分布式節(jié)點(diǎn)上，同時(shí)對數(shù)據(jù)進(jìn)行全文索引，通過分布式節(jié)點(diǎn)的增加實(shí)現(xiàn)對TB/PB級日志數(shù)據(jù)的保存，并可將數(shù)據(jù)以文件系統(tǒng)方式保存在各節(jié)點(diǎn)上，實(shí)現(xiàn)了存儲和分析的水平彈性擴(kuò)展，滿足用戶存儲長期日志數(shù)據(jù)的要求。

第三，日志分析層面包括實(shí)時(shí)流式分析、交互式分析、全文檢索、歷史數(shù)據(jù)回放、批處理分析等多種先進(jìn)技術(shù)。

第四，流式分析采用內(nèi)存實(shí)時(shí)計(jì)算、復(fù)雜事件處理（Complex Event Process，CEP）技術(shù)結(jié)合日志相關(guān)的各類情境數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)控和關(guān)聯(lián)分析，幫助用戶及時(shí)發(fā)現(xiàn)安全異常，快速關(guān)聯(lián)出安全隱患。

第五，歷史數(shù)據(jù)回放提供了歷史數(shù)據(jù)檢測的功能，方便安全審計(jì)員對保存在系統(tǒng)中的海量數(shù)據(jù)進(jìn)行回放，通過高速回放技術(shù)為用戶重現(xiàn)歷史安全場景。

第六，批處理分析使用了數(shù)據(jù)抽取、數(shù)據(jù)聚合等技術(shù)，能夠?qū)B級日志快速生成報(bào)表，滿足安全審計(jì)員生成各類安全日報(bào)、周報(bào)和月報(bào)等需求。

靈活強(qiáng)大的交互式查詢

系統(tǒng)使用了大數(shù)據(jù)交互式查詢技術(shù)，滿足安全審計(jì)員的日常工作需要。安全審計(jì)員可以通過自定義的儀表盤同日志審計(jì)所存儲的所有日志進(jìn)行交互，實(shí)時(shí)查詢數(shù)據(jù)，查詢時(shí)間縮短到秒級。系統(tǒng)支持任意嵌套查詢，并可隨意回退，通過儀表板可視化處理數(shù)據(jù)，真正做到所見即所查。系統(tǒng)可將查詢條件保存為策略，支持策略的導(dǎo)入導(dǎo)出，供后期使用，為安全審計(jì)員工作提供便利。安全審計(jì)員通過儀表板可任意選擇需要顯示的字段和信息，并可對查詢結(jié)果隨時(shí)進(jìn)行統(tǒng)計(jì)分析、可視化分析，包括地理定位、多維分析、TopN分析，支持關(guān)鍵字和正則表達(dá)式的全文檢索。系統(tǒng)的交互式分析功能為安全審計(jì)和分析人員在進(jìn)行安全事件調(diào)查和威脅分析時(shí)提供了一個(gè)強(qiáng)有力的武器。

混合式檢索技術(shù)

系統(tǒng)提供混合檢索技術(shù)，其特點(diǎn)就是不僅提供了基于范式化后的格式數(shù)據(jù)內(nèi)容的實(shí)時(shí)關(guān)聯(lián)分析和統(tǒng)計(jì)報(bào)表，同時(shí)還提供強(qiáng)大的全文搜索功能。混合式檢索技術(shù)包括通過對范化后的字段值進(jìn)行全部日志記錄的搜索，其功能基本等同于傳統(tǒng)關(guān)系庫中的SQL查詢，查詢出包含搜索值的所有的日志記錄，并分行顯示。同時(shí)，系統(tǒng)支持全文檢索技術(shù)，它不局限于幾種或幾十種固定的字段，不需要指定數(shù)據(jù)的格式，可以結(jié)合時(shí)間與關(guān)鍵詞進(jìn)行搜索，實(shí)時(shí)展現(xiàn)搜索結(jié)果，并對關(guān)鍵字進(jìn)行高亮顯示。全文檢索在使用上就和Google一樣直觀易用，用戶可以輸入關(guān)鍵詞或正則表達(dá)式進(jìn)行任意搜索，提供即時(shí)的在線查詢。混合式檢索技術(shù)使系統(tǒng)在事件檢索上做到了靈活與高效。

威脅情報(bào)采集與利用

隨著信息技術(shù)的不斷發(fā)展和應(yīng)用，攻擊變得越來越隱蔽和難以發(fā)現(xiàn)，諸如APT之類的攻擊很難被發(fā)現(xiàn)和防止，層出不窮的數(shù)據(jù)泄露事件和攻擊對組織的聲譽(yù)和財(cái)產(chǎn)乃至國家安全造成了十分惡劣的影響。大多數(shù)組織沒有足夠的人員、時(shí)間、資金和精力來應(yīng)對威脅。因此，威脅情報(bào)在頻繁受到攻擊的高風(fēng)險(xiǎn)的重點(diǎn)行業(yè)大型企業(yè)和政府事業(yè)單位中，將會明顯提升關(guān)聯(lián)分析的準(zhǔn)確性和目標(biāo)性，幫助組織有效發(fā)現(xiàn)隱藏的威脅。

因此，系統(tǒng)集成了威脅情報(bào)的功能，可提供通過導(dǎo)入或者主動(dòng)自動(dòng)抓取的方式獲取內(nèi)外部相關(guān)威脅情報(bào)信息并利用于關(guān)聯(lián)分析和實(shí)時(shí)監(jiān)測。用戶可根據(jù)自己的需要和行業(yè)特點(diǎn)通過系統(tǒng)從公開的網(wǎng)絡(luò)威脅情報(bào)源和自己的情報(bào)來源獲取情報(bào)并將其保存入系統(tǒng)威脅情報(bào)庫，針對安全事件進(jìn)行關(guān)聯(lián)分析，幫助安全管理人員彌補(bǔ)傳統(tǒng)安全防護(hù)體系架構(gòu)針對APT等新興攻擊應(yīng)對乏力的缺陷。

合規(guī)管理與分析

系統(tǒng)不僅是一個(gè)檢測外部入侵攻擊的高級分析工具，還是一個(gè)基于日志進(jìn)行合規(guī)審計(jì)的強(qiáng)有力工具。考慮國家制定的信息系統(tǒng)等級保護(hù)制度對用戶網(wǎng)絡(luò)安全建設(shè)的重要性，系統(tǒng)為了幫助用戶更好完成等級保護(hù)建設(shè)，內(nèi)置等級保護(hù)自查功能。該功能包含等保定級、等保備案、等保測評、歷史回查、評分歸檔和完整的等級保護(hù)調(diào)查模板等，并以可視化方式幫助用戶及時(shí)了解全網(wǎng)等級保護(hù)建設(shè)情況。

此外，系統(tǒng)還基于等保、PCI、27001、SOX等合規(guī)性要求內(nèi)置了大量合規(guī)分析場景，用戶可以通過豐富的合規(guī)分析策略對全網(wǎng)的安全事件進(jìn)行全方位、多視角、大跨度、細(xì)粒度的實(shí)時(shí)監(jiān)測、分析、查詢、調(diào)查、追溯，動(dòng)態(tài)了解系統(tǒng)的合規(guī)情況，為用戶合規(guī)性建設(shè)提供有效支撐。