新一代日志分析系統為企業運維減負

伴隨著大數據時代的到來，啟明星辰正式對外發布了面向企業級客戶、融合大數據技術的泰合新一代日志分析與審計平臺（以下簡稱TSOC-SA3），以滿足需要分析海量安全日志的政企客戶的需求。該平臺結合當前主流的大數據技術，并采用具有自主知識產權的分布式非關系型數據庫（CupidDB）技術，有效處理日志大數據問題，開啟安全管理的SOC3.0時代。

TSOC-SA3基于分布式節點計算機制，使用自主知識產權的非關系型數據庫CupidDB，具有高可靠性的分布式、全文索引、實時格式化數據搜索和原始數據關鍵字搜索等功能。系統融合多種信息安全技術和管理理念，充分實現組織、管理、技術三個體系的合理調配，幫助用戶進行基于日志的綜合審計和日志全生命周期管理，從而最大化地保障網絡、主機和應用系統安全機制的有效性。

融合大數據技術的日志管理技術架構

系統采用了國內領先的高性能日志采集范式化技術、大數據分布式存儲與索引、流式集中事件及情境關聯分析，從產品技術架構的層面，進行了系統性的設計，使系統真正成為一款能夠支撐持續海量日志管理的系統。

第一，日志采集層面使用了異步通信、高速緩存、日志范式化流水線和消息中間件技術，對海量異構日志進行持續不斷高速的采集，使用戶能夠采集并預處理網絡中大規模審計對象的日志。

第二，日志存儲方面，針對大數據日志，系統采用了具有自主知識產權的分布式非關系型數據庫CupidDB從根本上消除了使用傳統關系型數據庫的日志審計系統的性能瓶頸，彌補了數據存儲、數據索引、數據搜索和數據備份的不足，使日志審計系統真正邁向了大數據時代。對數據進行分片和副本，將分片和副本保存在不同的分布式節點上，同時對數據進行全文索引，通過分布式節點的增加實現對TB/PB級日志數據的保存，并可將數據以文件系統方式保存在各節點上，實現了存儲和分析的水平彈性擴展，滿足用戶存儲長期日志數據的要求。

第三，日志分析層面包括實時流式分析、交互式分析、全文檢索、歷史數據回放、批處理分析等多種先進技術。

第四，流式分析采用內存實時計算、復雜事件處理（Complex Event Process，CEP）技術結合日志相關的各類情境數據進行實時監控和關聯分析，幫助用戶及時發現安全異常，快速關聯出安全隱患。

第五，歷史數據回放提供了歷史數據檢測的功能，方便安全審計員對保存在系統中的海量數據進行回放，通過高速回放技術為用戶重現歷史安全場景。

第六，批處理分析使用了數據抽取、數據聚合等技術，能夠對TB級日志快速生成報表，滿足安全審計員生成各類安全日報、周報和月報等需求。

靈活強大的交互式查詢

系統使用了大數據交互式查詢技術，滿足安全審計員的日常工作需要。安全審計員可以通過自定義的儀表盤同日志審計所存儲的所有日志進行交互，實時查詢數據，查詢時間縮短到秒級。系統支持任意嵌套查詢，并可隨意回退，通過儀表板可視化處理數據，真正做到所見即所查。系統可將查詢條件保存為策略，支持策略的導入導出，供后期使用，為安全審計員工作提供便利。安全審計員通過儀表板可任意選擇需要顯示的字段和信息，并可對查詢結果隨時進行統計分析、可視化分析，包括地理定位、多維分析、TopN分析，支持關鍵字和正則表達式的全文檢索。系統的交互式分析功能為安全審計和分析人員在進行安全事件調查和威脅分析時提供了一個強有力的武器。

混合式檢索技術

系統提供混合檢索技術，其特點就是不僅提供了基于范式化后的格式數據內容的實時關聯分析和統計報表，同時還提供強大的全文搜索功能。混合式檢索技術包括通過對范化后的字段值進行全部日志記錄的搜索，其功能基本等同于傳統關系庫中的SQL查詢，查詢出包含搜索值的所有的日志記錄，并分行顯示。同時，系統支持全文檢索技術，它不局限于幾種或幾十種固定的字段，不需要指定數據的格式，可以結合時間與關鍵詞進行搜索，實時展現搜索結果，并對關鍵字進行高亮顯示。全文檢索在使用上就和Google一樣直觀易用，用戶可以輸入關鍵詞或正則表達式進行任意搜索，提供即時的在線查詢。混合式檢索技術使系統在事件檢索上做到了靈活與高效。

威脅情報采集與利用

隨著信息技術的不斷發展和應用，攻擊變得越來越隱蔽和難以發現，諸如APT之類的攻擊很難被發現和防止，層出不窮的數據泄露事件和攻擊對組織的聲譽和財產乃至國家安全造成了十分惡劣的影響。大多數組織沒有足夠的人員、時間、資金和精力來應對威脅。因此，威脅情報在頻繁受到攻擊的高風險的重點行業大型企業和政府事業單位中，將會明顯提升關聯分析的準確性和目標性，幫助組織有效發現隱藏的威脅。

因此，系統集成了威脅情報的功能，可提供通過導入或者主動自動抓取的方式獲取內外部相關威脅情報信息并利用于關聯分析和實時監測。用戶可根據自己的需要和行業特點通過系統從公開的網絡威脅情報源和自己的情報來源獲取情報并將其保存入系統威脅情報庫，針對安全事件進行關聯分析，幫助安全管理人員彌補傳統安全防護體系架構針對APT等新興攻擊應對乏力的缺陷。

合規管理與分析

系統不僅是一個檢測外部入侵攻擊的高級分析工具，還是一個基于日志進行合規審計的強有力工具。考慮國家制定的信息系統等級保護制度對用戶網絡安全建設的重要性，系統為了幫助用戶更好完成等級保護建設，內置等級保護自查功能。該功能包含等保定級、等保備案、等保測評、歷史回查、評分歸檔和完整的等級保護調查模板等，并以可視化方式幫助用戶及時了解全網等級保護建設情況。

此外，系統還基于等保、PCI、27001、SOX等合規性要求內置了大量合規分析場景，用戶可以通過豐富的合規分析策略對全網的安全事件進行全方位、多視角、大跨度、細粒度的實時監測、分析、查詢、調查、追溯，動態了解系統的合規情況，為用戶合規性建設提供有效支撐。