廣電網絡安全日志大數據分析的探索與實踐

文/朱益中

引言

目前，廣電網絡的監播監測，傳統DVB方面已比較到位，新媒體方面也日趨完善。但隨著網絡應用規模和復雜度的不斷提高，網絡中傳輸的數據量急劇上升，網絡攻防對抗日趨激烈，企業內部新的安全問題開始顯現，復雜的網絡環境讓安全工作無從下手，攻擊者即便是大搖大擺地出入企業的敏感數據區域也無人知曉，投入了大量資金建設的安全防御體系可能成為擺設；傳統安全技術對APT（高級持續性威脅）無能為力，無論是在安全威脅的檢測、發現還是響應、溯源等方面都存在嚴重不足。要解決這些新的安全問題，企業亟須使用新的技術手段來掌控全局的安全態勢，從而優化安全運營過程，將企業網絡的安全風險控制在合理的區間。《中華人民共和國網絡安全法》出臺后，對日志留存提出了強制要求，如何監督各地做好網絡安全日制留存和收集，并對這些日志開展統一的分析，是企業在新的安全形勢下提升安全能力的新契機。

我們的網絡和系統在運行的每一個狀況信息都使用文字的方式記錄下來，稱之為日志，可以理解為這是普通人在虛擬世界的行為的記錄和投影。日志的類型很多，包括系統日志、應用日志、操作行為日志和數據庫日志等，每條日志都記載著時間戳、相關設備名稱、使用者及操作行為等相關的描述，將這些日志統一收集起來進行分析，一是可以監控全網日常運行狀態，分析問題、追查錯誤根源、糾正錯誤；二是能夠快速分析整個應用針對最終用戶的服務質量；三是分析出安全風險和入侵攻擊，及時干預，解除威脅。

網絡安全日志大數據分析系統是基于大量網絡和系統日志，專用于安全風險和入侵攻擊分析的系統，系統主要由數據采集、關聯分析、態勢感知和可視化呈現四個模塊組成:（1）數據采集模塊將來自全網幾千臺設備的日志進行規則化處理，這幾千臺設備可能是數十個廠商的產品，類型有防火墻、堡壘機、入侵檢測等十幾種，即使是同一廠商的防火墻，由于生產年代不同，日志格式也可能迥異，要識別這些設備的日志格式，將有效信息入庫存儲是整個大數據分析系統的基礎；（2）關聯分析引擎是這個系統的發動機，大數據就如同一座亟待開發的金礦，僅僅存儲起來是沒有價值的，優秀的分析引擎使用先進的搜索技術，可以迅速感知到異常行為和黑客入侵；（3）態勢感知模塊是基于威脅情報的輔助手段，將互聯網上已知的犯罪手段和特征輸入到系統中，讓關聯分析引擎擁有靈敏的嗅覺；（4）可視化模塊要呈現的信息，絕不是簡單的IP地址和非專業人士看不懂的告警信息，要能夠呈現入侵的源和路徑，并將關聯的資產、部門、人員名稱都顯示出來。

圖1 系統架構設計圖

最終我們的目標是希望這個基于威脅情報和日志的系統，能夠對安全大數據進行快速、自動化數據分析，全方位監測、發現威脅和異常、快速處置與響應，并針對安全事件進行深入調查。系統通過可視化分析技術將企業總體安全態勢進行整體呈現，使安全管理人員和運維人員能夠實時掌握安全態勢狀況，主動發現安全威脅并及時處理，保障業務的順暢運行。

網絡安全日志大數據分析系統的雛形研發完成后，我們選取了一家在全國廣電網絡公司中技術實力領先的企業--浙江華數共同開展探索和實踐。在實踐過程中，通過對各地廣電網絡公司播出、傳輸等環節和系統的廣泛調研，以及和系統研發人員的深入交流，我們提升了以下三個方面的能力，并解決了一個廣電特色的日志采集難題。

1.“全方位、立體化”保證數據分析的全面性

在實踐中我們發現，網絡的物理出入口并不是攻擊者進入到網絡的唯一途徑，因此，單純依靠安全設備串行防護以及安全設備日志統計是不足以發現高級風險，從這一點上來說，我們把PC、智能終端、企業員工、應用軟件、企業對外開放的網絡服務的全終端采集；從匯聚層交換、核心層交換以及接入層交換的全流量數據采集；從系統級別日志、數據日志、安全設備日志、告警日志的全日志采集。通過三種方式實現“全方位”的能力。

其次，要充分利用云端的安全資源，在新的安全防御體系中，云端的安全資源是整個安全防御的核心，威脅情報和大數據的利用和關聯分析，這些數據給未知威脅發現和APT攻擊檢測提供了完全真實網絡環境下的大量數據支撐，通過全貌特征“跟蹤”攻擊者，持續的發現未知威脅，最終確保發現的未知威脅的準確性，進而實現和完善了數據分析的全面性，提高預警發現的能力。

2.威脅情報數據分類分級和合并管理

威脅情報是基于證據、有關已知或新型威脅或危害的知識，結合公司內部的組織中安全人員不同角色，可提供精準決策參考。但如何實現自動化和設備化處理這些情報，并借助威脅情報數據推動攻擊行為分析和溯源查詢是個難題。

在系統設計時，首先我們把威脅情報分類分級；其次是將威脅情報數據格式化統一，并且將威脅情報可直接和本地大數據搜索關鍵詞進行匹配和引用，具備上述基礎后才可以對網絡攻擊行為分析和溯源查詢，結合搜索技術的數據分析系統可將索引以多個分片和多個副本的形式存儲于分布式系統當中，既可提高檢索性能，又能保證威脅數據的可靠性和準確性。而且其默認使用的內存索引方式可以保證系統對近期錄入的數據做到近乎實時的查詢，對于存儲于硬盤的TB級數據也可做到秒級查詢，對全部數據進行數據碰撞和本地風險分析，用來實現基于威脅情報數據推動的攻擊行為分析和溯源查詢。

3.采用大數據處理技術來提高系統效率

系統的關聯分析核心技術是基于大數據搜索的大數據預警監測分析技術，提升數據查找能力是關鍵點，在之前傳統的方案中，對于本地數據的處理往往采用SQL等關系型數據庫。這種設計在該項目的當前數據量的處理性能需要下無法滿足系統的搜索數據和數據關聯。因此，本系統引入大數據搜索技術，將該技術平滑融合到大數據預警監測分析及防御系統中，創新性地采用搜索引擎技術作為本地數據存儲和檢索核心技術，采用JSON格式作為引擎的輸入輸出格式，在實際測試中發現這樣可極大提高檢索性能，實現了TB級的數據快速搜索能力，同時，相比傳統架構也能夠降低大量接口上的開發量。

這個技術對于省級廣電網絡規模的日志的大數據分析挖掘起到了架構基礎的作用，從而實現了對大數據快速存儲、提取、分析工作，滿足了系統在數據處理及分析階段的實時、高效、并發、可靠的要求，同時也提升了預警監測發現的時間效率，為本地的大規模數據保存、攻擊證據留存和查詢、實時關聯分析提供堅實的技術保障。

這套系統可通過省公司控制中心進行遠程配置和權限受理，系統整體部署成本低，具有良好的可擴展性，大大減小各地分公司推廣部署的技術難度，避免了傳統安全方案需要多次上線的安全風險和硬件成本，還降低了資源消耗以及運維成本。在系統部署過程中，我們還解決了一個廣電特色的日志采集難題，廣電DVB直播網絡實際是多個獨立小局域網組成的，這些小網的IP地址還可能是重復的，如何在不破壞原有的隔離、不改變原來的IP地址的情況下，保持各局域網的相對獨立又要把日志收集上來，是一個巨大的挑戰。

圖2 典型的地市前端部署拓撲圖

只有打破圍墻式的防御體系，將這些安全孤島整合起來，打通數據間的隔閡，形成企業或組織的全面數字安全感知體系，才能真正實現安全威脅的積極防御和有效應對。在缺乏總局指導性的操作規范的情況下，我們和華數一起做了大膽的探索，創新的通過防火墻將這些局域網連起來，使得網絡之間繼續保持隔離，但都能給日志收集服務器傳送日志，并將日志的源地址都自動轉換為規劃好的新地址段。

結語

系統目前已穩定運行將近一年，從實際效果和應用情況來看，原先沒有這套系統時，省公司安全工程師在日常安全管理可謂是無所事事，完全看不到各地的情況，只能被動地對安全事件進行響應。系統建成后，提供了一整套“事前預警+事中防護+事后服務”的全省預警監測分析及防御解決手段，借助橫向拓展的大數據能力和分析能力，實現了廣泛維度的海量數據采集、處理、展現，并將綜合檢測的結果與快速響應處置及深入的調查分析進行結合，形成安全事件處置閉環，極大地提升了安全運維的有效性，保障業務順暢運行。