基于流式處理架構(gòu)的日志采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

邵旭東，樊志杰，，張敬鋒，曹志威，周明富，熊已興，張 林

(1.公安部第三研究所 信息安全技術(shù)部，上海 200031；2.安徽省公安廳 科技信息化處，合肥 230061；3.上海辰銳信息科技有限公司 研發(fā)中心，上海 200031)

0 引言

隨著世界范圍內(nèi)圍繞信息的獲取、使用、控制的斗爭愈演愈烈，全球網(wǎng)絡(luò)攻擊、網(wǎng)絡(luò)竊密和網(wǎng)絡(luò)犯罪等問題日漸突出，網(wǎng)絡(luò)安全問題已經(jīng)成為與政治安全、經(jīng)濟(jì)安全、文化安全同等重要，事關(guān)國家安全的重大戰(zhàn)略要害問題。泛政府行業(yè)大數(shù)據(jù)中心一旦發(fā)生安全問題，造成系統(tǒng)崩潰、網(wǎng)絡(luò)癱瘓、病毒爆發(fā)或重要數(shù)據(jù)丟失、泄漏，勢必導(dǎo)致災(zāi)難性后果，給泛政務(wù)業(yè)務(wù)系統(tǒng)正常運(yùn)轉(zhuǎn)、甚至國家信息體系完整性帶來重大損失。為此，亟需建立以數(shù)據(jù)安全為核心的大數(shù)據(jù)安全保障體系，建立先進(jìn)的安全運(yùn)行管理平臺(tái)、專業(yè)的安全技術(shù)團(tuán)隊(duì)、全面的安全策略以及高效的運(yùn)行管理機(jī)制來保護(hù)大數(shù)據(jù)的安全。

安全運(yùn)行管理平臺(tái)匯聚的安全信息包括數(shù)據(jù)服務(wù)、應(yīng)用、云平臺(tái)、終端、邊界、網(wǎng)絡(luò)和安全保障設(shè)施等系統(tǒng)運(yùn)行記錄、操作日志、告警信息，各類系統(tǒng)運(yùn)行信息格式不一、支持的傳輸協(xié)議種類繁多，因此需尋求技術(shù)手段，對各類異構(gòu)的數(shù)據(jù)源進(jìn)行統(tǒng)一采集和預(yù)處理，通過標(biāo)準(zhǔn)協(xié)議上報(bào)至安全運(yùn)行管理平臺(tái)[1-5]。

當(dāng)前，行業(yè)內(nèi)存在集中監(jiān)管與審計(jì)系統(tǒng)，該系統(tǒng)為了保障泛政府行業(yè)信息安全，對接入泛政府行業(yè)內(nèi)網(wǎng)的業(yè)務(wù)和用戶進(jìn)行監(jiān)控，一旦發(fā)現(xiàn)安全隱患或攻擊行為，立刻采取措施，保障泛政府行業(yè)內(nèi)網(wǎng)的安全。該系統(tǒng)支持對以TBSG可信邊界接入網(wǎng)關(guān)為隔離設(shè)備的邊界接入平臺(tái)、通過VPN網(wǎng)關(guān)接入的移動(dòng)接入平臺(tái)、通過視頻接入專用設(shè)備的視頻接入平臺(tái)和以單向光閘為隔離設(shè)備的公網(wǎng)接入平臺(tái)等多種類型平臺(tái)上的通用網(wǎng)絡(luò)設(shè)備、通用安全設(shè)備和專用安全設(shè)備的監(jiān)控，以及設(shè)備狀態(tài)、業(yè)務(wù)流量和用戶訪問日志等信息的采集，使得泛政府行業(yè)建設(shè)單位的管理人員可以方便地對接入平臺(tái)進(jìn)行管理，保證接入平臺(tái)安全穩(wěn)定地運(yùn)行。但是該系統(tǒng)也存在一些不足之處，無法滿足大數(shù)據(jù)安全體系下的監(jiān)管要求，具體來說，存在的主要問題包括：

1)支持的協(xié)議類型較少，只支持SNMP和SYSLOG等少數(shù)日志采集協(xié)議，且擴(kuò)展難度大；

2)系統(tǒng)將采集到的數(shù)據(jù)首先保存在關(guān)系數(shù)據(jù)庫中，上報(bào)數(shù)據(jù)到其他平臺(tái)時(shí)需要再次從數(shù)據(jù)庫中讀取、解析，時(shí)延大、執(zhí)行效率低；

3)采集的日志只支持上報(bào)到單一的平臺(tái)上，數(shù)據(jù)上報(bào)協(xié)議固定。為了支持多平臺(tái)、多協(xié)議格式上報(bào)，擴(kuò)展難度大；

4)系統(tǒng)為采用模塊化的設(shè)計(jì)，模塊之間耦合大，不方便擴(kuò)展功能。

鑒于此，本文提出統(tǒng)一日志采集技術(shù)并研制系統(tǒng)，可解決集中監(jiān)管與審計(jì)系統(tǒng)存在的不足：

1)采用標(biāo)準(zhǔn)化接口和插件技術(shù)，可靈活支持各種日志采集協(xié)議和數(shù)據(jù)上報(bào)協(xié)議，實(shí)現(xiàn)系統(tǒng)整體架構(gòu)的高度穩(wěn)定性和可擴(kuò)展性；

2)采用基于消息隊(duì)列的流式處理架構(gòu)，實(shí)現(xiàn)日志采集、日志處理、日志上報(bào)等各個(gè)環(huán)節(jié)的解耦，并支持靈活的功能擴(kuò)展；

3)通過消息隊(duì)列的流量削峰保證了日志傳輸?shù)目煽啃裕?/p>

4)根據(jù)日志流量特征，系統(tǒng)支持動(dòng)態(tài)調(diào)整消費(fèi)組規(guī)模，滿足系統(tǒng)的高性能要求。

1 系統(tǒng)結(jié)構(gòu)及原理

本文研制的統(tǒng)一日志采集系統(tǒng)，軟件層面可以分為數(shù)據(jù)面與控制面兩個(gè)部分，如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

數(shù)據(jù)面主要包括數(shù)據(jù)采集、數(shù)據(jù)發(fā)布、數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)上報(bào)等功能，這些功能之間通過消息隊(duì)列實(shí)現(xiàn)模塊功能解耦和數(shù)據(jù)流式處理，方便功能的擴(kuò)展。

控制面主要包括日志源管理、策略管理、Agent管理、系統(tǒng)管理等功能，實(shí)現(xiàn)對數(shù)據(jù)面功能的策略配置與管控。

2 系統(tǒng)軟件設(shè)計(jì)

本文所設(shè)計(jì)的統(tǒng)一日志采集系統(tǒng)主要由日志采集、數(shù)據(jù)上報(bào)、數(shù)據(jù)管理、系統(tǒng)管理、策略管理、Agent管理、日志源管理模塊和日志采集代理(Agent)子系統(tǒng)組成[6-10]，如圖2所示。

圖2 軟件框架圖

日志采集模塊通過各種采集協(xié)議實(shí)現(xiàn)對各種數(shù)據(jù)源的日志采集功能。

數(shù)據(jù)上報(bào)模塊支持通過kafka、消息隊(duì)列、SFTP、FTP等協(xié)議將日志上報(bào)到各類平臺(tái)。

數(shù)據(jù)管理模塊實(shí)現(xiàn)日志數(shù)據(jù)的本地存儲(chǔ)和查詢功能。

圖3 日志采集模塊結(jié)構(gòu)圖

系統(tǒng)管理模塊實(shí)現(xiàn)系統(tǒng)登錄、用戶角色管理、權(quán)限管理、版本管理、備份恢復(fù)等功能。

策略管理模塊實(shí)現(xiàn)日志采集策略的增刪改查、同步等功能。

Agent管理模塊實(shí)現(xiàn)Agent策略配置、Agent狀態(tài)監(jiān)控等功能。日志采集代理(Agent)可部署在Windows或Linux系統(tǒng)中，實(shí)現(xiàn)特定日志數(shù)據(jù)的采集上報(bào)，并接受統(tǒng)一日志采集系統(tǒng)的集中管理(如：策略配置、狀態(tài)管理等)。

日志源管理模塊實(shí)現(xiàn)日志源類型和采集協(xié)議管理以及日志源自動(dòng)發(fā)現(xiàn)等功能。

2.1 日志采集

日志采集模塊由任務(wù)管理、任務(wù)調(diào)度、采集器和過濾器等組成，日志采集流程如圖3所示。

任務(wù)管理模塊負(fù)責(zé)生成采集任務(wù)，根據(jù)系統(tǒng)配置的日志源、日志采集策略和清洗策略，創(chuàng)建相應(yīng)的采集器和過濾器，放到任務(wù)隊(duì)列中等待執(zhí)行。

任務(wù)調(diào)度模塊負(fù)責(zé)讀取采集任務(wù)隊(duì)列，分配工作線程，調(diào)用采集器完成相應(yīng)類型日志的采集，采集器通過調(diào)用過濾器完成日志數(shù)據(jù)的清洗，清洗后的日志數(shù)據(jù)按照主題發(fā)布到日志隊(duì)列中。

采集器根據(jù)采集方式不同可以分為主動(dòng)采集和被動(dòng)采集。主動(dòng)采集主要包括FTP、SFTP、SNMP Get、WMI、ODBC/JDBC等協(xié)議的日志采集。被動(dòng)采集主要包括SYSLOG、HTTP、SNMP Trap等協(xié)議的日志采集。

對于主動(dòng)日志采集是通過周期輪詢的方式實(shí)現(xiàn)日志的采集，任務(wù)管理模塊負(fù)責(zé)周期生成日志采集任務(wù)，并寫入采集任務(wù)隊(duì)列，等待任務(wù)調(diào)度模塊調(diào)度執(zhí)行。

對于被動(dòng)日志采集，采集器采用監(jiān)聽服務(wù)，實(shí)現(xiàn)日志數(shù)據(jù)的持續(xù)接收，處理流程如圖4所示。

圖4 被動(dòng)采集流程圖

過濾器負(fù)責(zé)根據(jù)系統(tǒng)配置的數(shù)據(jù)清洗策略對采集器獲取到的日志數(shù)據(jù)進(jìn)行過濾處理。根據(jù)不同的日志源類型和數(shù)據(jù)清洗策略，系統(tǒng)可實(shí)現(xiàn)多種類型的過濾器，多個(gè)過濾器可以通過組合模式形成新的過濾器。

本系統(tǒng)通過制定標(biāo)準(zhǔn)化的采集器接口和過濾器接口，對于各種數(shù)據(jù)源和日志類型，按照標(biāo)準(zhǔn)接口實(shí)現(xiàn)各類采集器和過濾器，并以插件的方式注入系統(tǒng)中，實(shí)現(xiàn)日志采集系統(tǒng)整體架構(gòu)的穩(wěn)定性和可擴(kuò)展性，靈活支持項(xiàng)目的各種實(shí)際需求，如圖5所示。

圖5 采集器和過濾器插件工作原理

2.2 日志數(shù)據(jù)發(fā)布

采集器通過各種采集協(xié)議采集到原始日志后，經(jīng)過清洗、轉(zhuǎn)換等處理后按照主題發(fā)布到日志隊(duì)列中。

主題可采用如下格式：<日志源類型>.<協(xié)議類型>.<日志級別>.<日志源IP>，方便數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)上報(bào)等模塊按需進(jìn)行訂閱。

2.3 數(shù)據(jù)上報(bào)

數(shù)據(jù)上報(bào)模塊支持通過kafka、MQ、SFTP、FTP等協(xié)議將日志上報(bào)到安全運(yùn)行管理平臺(tái)。

本系統(tǒng)通過制定標(biāo)準(zhǔn)化的數(shù)據(jù)上報(bào)引擎接口，對于各種上報(bào)協(xié)議方式，按照標(biāo)準(zhǔn)接口實(shí)現(xiàn)各類數(shù)據(jù)上報(bào)引擎，并以插件的方式注入系統(tǒng)中，實(shí)現(xiàn)日志采集系統(tǒng)整體架構(gòu)的穩(wěn)定性和可擴(kuò)展性，如圖6所示。

圖6 數(shù)據(jù)上報(bào)引擎工作原理

數(shù)據(jù)上報(bào)模塊根據(jù)系統(tǒng)配置策略，加載指定的數(shù)據(jù)上報(bào)引擎，并創(chuàng)建獨(dú)立的工作線程，按照主題從日志隊(duì)列中訂閱日志消息，將日志數(shù)據(jù)上報(bào)到安全運(yùn)行管理平臺(tái)。

系統(tǒng)通過監(jiān)測隊(duì)列中的積壓消息數(shù)，動(dòng)態(tài)調(diào)整工作線程數(shù)，實(shí)現(xiàn)日志消息傳輸?shù)牡脱舆t和可靠性。

對于MQ、kafka等協(xié)議上報(bào)方式，當(dāng)接收端異常無法上報(bào)時(shí)，系統(tǒng)將產(chǎn)生告警日志，如果故障未恢復(fù)且RabbitMQ中的積壓消息達(dá)到配置的最大門限值，為了防止內(nèi)存耗盡，影響系統(tǒng)的整體性能和運(yùn)行穩(wěn)定性，系統(tǒng)將啟動(dòng)本地緩存機(jī)制，將日志接收并保存到本地文件中。

在上報(bào)故障期間，上報(bào)線程定期嘗試將收到的新數(shù)據(jù)發(fā)送到MQ或kafka，以檢測其是否恢復(fù)故障，如果未恢復(fù)，則繼續(xù)保存到本地文件中。

如果檢測到接收端故障恢復(fù)，數(shù)據(jù)上報(bào)正常，則原上報(bào)線程將接收的新數(shù)據(jù)直接上報(bào)給MQ、kafka。同時(shí)啟動(dòng)獨(dú)立的線程負(fù)責(zé)讀取保存在本地緩存中的日志信息并上報(bào)，上報(bào)成功后刪除本地緩存文件。

對于FTP、SFTP等協(xié)議的處理方式，采集日志數(shù)據(jù)后先保存到本地文件中，然后通過另外的上傳線程負(fù)責(zé)將本地文件上傳到FTP服務(wù)器上。

2.4 數(shù)據(jù)管理

數(shù)據(jù)管理模塊負(fù)責(zé)實(shí)現(xiàn)日志消息的本地存儲(chǔ)、歸檔和檢索等功能。

數(shù)據(jù)管理模塊按照主題訂閱日志，從日志隊(duì)列中獲取日志數(shù)據(jù)進(jìn)行本地存儲(chǔ)或者保存到全文搜索引擎中。

2.4.1 日志存儲(chǔ)

對于日志存儲(chǔ)，日志文件可按照年、月、日分級存儲(chǔ)，即目錄結(jié)構(gòu)為：<根目錄><年><月><日><日志文件>，這樣既方便查找日志文件，又避免同一級目錄下文件數(shù)過多，影響查詢速度。

日志存儲(chǔ)模塊執(zhí)行流程如下所示：

1)查詢數(shù)據(jù)表獲取系統(tǒng)配置的所有已使能的日志存儲(chǔ)策略；

2)對于每條存儲(chǔ)策略，創(chuàng)建一個(gè)線程，線程函數(shù)的執(zhí)行邏輯如下：

(1)根據(jù)配置的訂閱主題信息，依次訂閱這些主題的日志消息；

(2)接收日志消息并保存日志到系統(tǒng)配置的文件存儲(chǔ)路徑下；

(3)根據(jù)系統(tǒng)配置的文件切割策略，完成日志文件的切割。

2.4.2 日志歸檔

日志歸檔模塊根據(jù)系統(tǒng)配置的策略，將歷史日志文件壓縮后歸檔。歸檔日志可根據(jù)系統(tǒng)配置的保存時(shí)間定期清理。

日志歸檔模塊執(zhí)行流程如下：

1)啟動(dòng)周期定時(shí)器，每天在指定時(shí)間(如：凌晨3點(diǎn))觸發(fā)歸檔操作；

2)歸檔步驟如下：

(1)查詢數(shù)據(jù)表，獲取系統(tǒng)配置的所有已使用的日志存儲(chǔ)策略；

(2)遍歷每條日志存儲(chǔ)策略，執(zhí)行如下流程：

圖7 日志歸檔流程圖

2.4.3 日志查詢

日志查詢模塊通過訂閱機(jī)制，獲取日志數(shù)據(jù)保存到全文搜索引擎中，用于支持本地?cái)?shù)據(jù)查詢功能。

日志查詢模塊可根據(jù)系統(tǒng)配置的策略，定期清除過期數(shù)據(jù)。對于已過期的日志，系統(tǒng)提供日志文件下載功能。

日志查詢模塊執(zhí)行流程如下：

1)查詢數(shù)據(jù)表獲取系統(tǒng)配置的所有已使能的日志查詢策略；

2)對于每條策略，創(chuàng)建一個(gè)線程，線程執(zhí)行邏輯如下：

(1)根據(jù)配置的訂閱主題信息，依次訂閱這些主題的日志消息；

(2)接收日志消息并保存日志到全文搜索引擎中，并制定相應(yīng)參數(shù)，實(shí)現(xiàn)過期日志的自動(dòng)刪除功能。

2.5 策略管理

提供日志源、數(shù)據(jù)上報(bào)策略、日志存儲(chǔ)策略和日志歸檔策略等管理功能，將配置信息保存到MySQL數(shù)據(jù)庫，然后發(fā)布配置更新消息到RabbitMQ消息隊(duì)列中，日志采集、數(shù)據(jù)上報(bào)和數(shù)據(jù)管理等模塊通過訂閱相應(yīng)的配置更新消息，并按照新策略執(zhí)行，流程如圖8所示。

圖8 策略管理模塊結(jié)構(gòu)圖

2.6 系統(tǒng)管理

系統(tǒng)管理模塊提供用戶管理、角色管理、系統(tǒng)登錄、版本管理、備份恢復(fù)、系統(tǒng)狀態(tài)監(jiān)控等功能。

2.6.1 用戶管理

用戶管理主要完成用戶的查詢、新增、修改、刪除、導(dǎo)入、登錄IP限制和授權(quán)等操作。

2.6.2 角色管理

角色管理主要完成角色的查詢、新增、修改、刪除和授權(quán)等操作。

2.6.3 系統(tǒng)登錄

平臺(tái)提供登錄頁面，支持使用數(shù)字證書或用戶名密碼方式登錄系統(tǒng)，平臺(tái)提供配置方法，可以選擇支持其中的一種或兩種方式登錄系統(tǒng)。為了提高系統(tǒng)的安全性，使用用戶名密碼登錄時(shí)，支持字符驗(yàn)證碼或手機(jī)短信動(dòng)態(tài)驗(yàn)證碼，使用哪種方式支持可配置。

用戶登錄流程如下：

圖9 用戶登錄流程圖

1)用戶打開登錄頁面，向服務(wù)器請求一個(gè)驗(yàn)證碼圖片；

2)服務(wù)器生成一個(gè)隨機(jī)驗(yàn)證碼圖片返回，并將驗(yàn)證碼保存到用戶Session中；

3)用戶在瀏覽器中輸入用戶名、密碼和驗(yàn)證碼信息，并點(diǎn)擊登錄按鈕；

4)服務(wù)器驗(yàn)證收到的用戶名、密碼和驗(yàn)證碼是否正確，如果不正確提示登錄失敗并返回登錄頁面；等保測試下如果用戶連續(xù)登錄失敗達(dá)到一定次數(shù)后，應(yīng)鎖定賬戶，記錄安全審計(jì)事件；

5)如果當(dāng)前為等保測試狀態(tài)且設(shè)置了密碼的最長使用期限，則判斷密碼是否過期，如果密碼過期則跳轉(zhuǎn)到用戶密碼修改頁面；否則表示登錄成功，跳轉(zhuǎn)到首頁。

2.6.4 版本管理

提供系統(tǒng)版本升級功能，為了簡化升級流程，最大程度支持向下兼容，系統(tǒng)對軟件部署和升級方式做如下約束：

1)只能從低版本升級到更高版本，支持跨版本升級，任何高版本升級包都能夠升級低版本；

2)除了用到的一些系統(tǒng)級的配置文件，軟件安裝部署后要求其所有的程序文件、數(shù)據(jù)文件和配置文件等都在同一個(gè)根目錄下，根目錄下可以包含子目錄。

系統(tǒng)升級流程如圖10所示。

2.6.5 備份恢復(fù)

系統(tǒng)備份主要包括配置文件、數(shù)據(jù)文件和數(shù)據(jù)庫的備份，其中對于數(shù)據(jù)庫備份目前先實(shí)現(xiàn)全量備份。

備份時(shí)可以選擇備份的內(nèi)容：配置文件、數(shù)據(jù)文件和/或數(shù)據(jù)庫，如果輸入的備份密碼為空，則表示備份包不做加密。

系統(tǒng)備份的執(zhí)行流程如圖11所示。

圖10 系統(tǒng)升級流程圖

圖11 系統(tǒng)備份流程圖

2.6.6 系統(tǒng)狀態(tài)監(jiān)控

系統(tǒng)狀態(tài)監(jiān)控模塊通過向設(shè)備狀態(tài)獲取線程訂閱的方式，獲取服務(wù)器的CPU、內(nèi)存、磁盤利用率以及各個(gè)網(wǎng)卡接口的數(shù)據(jù)流量等信息，經(jīng)過處理后保存到數(shù)據(jù)庫中。

以圖表的形式展現(xiàn)服務(wù)器的內(nèi)存、磁盤、CPU占用率以及網(wǎng)絡(luò)接口流量信息。在首頁和性能監(jiān)控頁面中都可以查看設(shè)備的狀態(tài)，首頁由于展示區(qū)域有限應(yīng)以緊湊的形式進(jìn)行展示，對于性能監(jiān)控頁面可以詳細(xì)地分開展示設(shè)備的各種狀態(tài)。

2.7 日志源管理

日志源管理模塊負(fù)責(zé)管理維護(hù)各類日志源屬性信息(如：系統(tǒng)名稱、IP地址、采集協(xié)議、認(rèn)證憑據(jù)、日志源類型等)，并實(shí)現(xiàn)日志源自動(dòng)發(fā)現(xiàn)功能。

系統(tǒng)支持日志源自動(dòng)發(fā)現(xiàn)功能。一旦被監(jiān)控設(shè)備或系統(tǒng)有信息發(fā)送到統(tǒng)一日志采集系統(tǒng)，系統(tǒng)會(huì)根據(jù)信息類型和發(fā)送端IP地址等進(jìn)行匹配，一旦發(fā)現(xiàn)新的IP地址在監(jiān)控范圍內(nèi)，且監(jiān)控設(shè)備數(shù)量不超過授權(quán)許可數(shù)量時(shí)，自動(dòng)產(chǎn)生不同類型的新設(shè)備。新發(fā)現(xiàn)的IP如果發(fā)送的是Agent代理發(fā)送的事件信息，系統(tǒng)會(huì)自動(dòng)生成一個(gè)主機(jī)類型日志源；新發(fā)現(xiàn)的IP如果發(fā)送的是其他類型信息，系統(tǒng)會(huì)自動(dòng)生成一個(gè)未分類新日志源，需要管理員定義日志源信息。

3 系統(tǒng)主要功能

本文所研究統(tǒng)一日志采集系統(tǒng)的主要功能模塊包括：日志信息采集、數(shù)據(jù)管理、數(shù)據(jù)上報(bào)、Agent管理、日志源管理等功能[11-15]。

3.1 日志采集功能

支持各種數(shù)據(jù)源的運(yùn)行信息和日志數(shù)據(jù)采集，按數(shù)據(jù)請求方向分為主動(dòng)采集和被動(dòng)采集兩類。

主動(dòng)采集：由統(tǒng)一日志采集系統(tǒng)主動(dòng)向日志數(shù)據(jù)源請求獲取日志數(shù)據(jù)，日志源設(shè)備被動(dòng)響應(yīng)請求回應(yīng)數(shù)據(jù)，采集協(xié)議包括SFTP、SNMP Get、WMI、HTTPS等。

被動(dòng)采集：統(tǒng)一日志采集系統(tǒng)支持特定協(xié)議監(jiān)聽，被動(dòng)等待日志數(shù)據(jù)源傳入數(shù)據(jù)，支持的采集協(xié)議有SYSLOG、HTTPS、SNMP Trap等。

系統(tǒng)支持的主要采集協(xié)議參見表1。

3.2 數(shù)據(jù)管理功能

支持采集的數(shù)據(jù)本地分類存儲(chǔ)，提供全文查詢和文件檢索。提供數(shù)據(jù)清洗、壓縮、歸檔等數(shù)據(jù)管理維護(hù)功能。

3.3 數(shù)據(jù)上報(bào)功能

支持通過kafaka、消息隊(duì)列、SFTP、FTP等協(xié)議將數(shù)據(jù)上報(bào)到安全數(shù)據(jù)系統(tǒng)、安全審計(jì)中心等外部日志分析處理平臺(tái)。

3.3.1 本地緩存

在上報(bào)故障期間，上報(bào)線程應(yīng)定期嘗試將收到的新數(shù)據(jù)發(fā)送到MQ、kafka，以檢測其是否恢復(fù)故障，如果未恢復(fù)，則繼續(xù)保存到本地文件中。

表1 采集協(xié)議

如果檢測到接收端故障恢復(fù)，數(shù)據(jù)上報(bào)正常，則原上報(bào)線程將接收的新數(shù)據(jù)直接上報(bào)給MQ、kafka。同時(shí)啟動(dòng)獨(dú)立的線程負(fù)責(zé)讀取保存在本地緩存中的日志信息并上報(bào)，上報(bào)成功后刪除本地緩存文件。

3.3.2 跨邊界級聯(lián)

在跨各類邊界進(jìn)行日志信息采集時(shí)，邊界外側(cè)部署一套統(tǒng)一日志采集系統(tǒng)1，采集各類設(shè)備運(yùn)行日志信息，通過FTP協(xié)議將采集的數(shù)據(jù)通過邊界設(shè)備傳到邊界內(nèi)測，該功能同屬數(shù)據(jù)上報(bào)模塊，只需要新增一個(gè)FTP級聯(lián)上報(bào)協(xié)議；邊界內(nèi)側(cè)部署另一套統(tǒng)一日志采集系統(tǒng)2，通過FTP協(xié)議采集外側(cè)傳入的文件并解析處理，該功能同屬日志采集模塊，只需要新增一個(gè)FTP級聯(lián)數(shù)據(jù)采集協(xié)議。

3.4 策略管理功能

支持?jǐn)?shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)上報(bào)等策略的配置管理。

3.5 日志源管理

支持對各類日志源信息(日志源類型、系統(tǒng)名稱、系統(tǒng)品牌、系統(tǒng)型號、軟件版本、IPv4地址、IPv6地址、MAC地址、采集協(xié)議、協(xié)議版本、認(rèn)證憑證)的增加、刪除、修改、查詢、導(dǎo)入、導(dǎo)出等功能，支持日志源自動(dòng)發(fā)現(xiàn)。

3.6 Agent管理

設(shè)置Agent配置策略，包括系統(tǒng)的基本參數(shù)，如：日志采集間隔、本地日志保存時(shí)間、文件大小設(shè)置、系統(tǒng)登錄密碼、卸載密碼等參數(shù)，服務(wù)設(shè)置了相關(guān)參數(shù)后，主機(jī)Agent自動(dòng)同步該參數(shù)。

監(jiān)控各主機(jī)Agent信息及運(yùn)行狀態(tài)，提供Agent管理操作日志、各模塊的啟停等運(yùn)行信息查詢、導(dǎo)出、歸檔等操作。

4 實(shí)施方式與應(yīng)用案例

4.1 實(shí)施方式

日志采集、數(shù)據(jù)管理、數(shù)據(jù)上報(bào)和策略管理作為獨(dú)立的模塊進(jìn)行部署。此外，系統(tǒng)還需要部署RabbitMQ、ElasticSearch和MySQL[16-19]。統(tǒng)一日志采集系統(tǒng)部署框架如圖12所示。

圖12 統(tǒng)一日志采集系統(tǒng)部署圖

圖12中的箭頭表示它們之間的數(shù)據(jù)流向。日志采集模塊從MySQL數(shù)據(jù)庫中讀取日志源、采集策略、清洗策略等配置信息，完成日志的采集后發(fā)布到RabbitMQ消息隊(duì)列中。

數(shù)據(jù)上報(bào)模塊從MySQL數(shù)據(jù)庫中讀取上報(bào)策略信息，然后從RabbitMQ消息隊(duì)列中訂閱指定主題的日志消息，按照相應(yīng)協(xié)議完成日志上報(bào)。

數(shù)據(jù)管理模塊從MySQL數(shù)據(jù)庫中讀取日志查詢、日志存儲(chǔ)和日志歸檔等策略信息，從RabbitMQ消息隊(duì)列中訂閱指定主題的日志消息，將日志數(shù)據(jù)保存到ElasticSearch全文搜索引擎或本地文件中，并對本地存儲(chǔ)的日志文件進(jìn)行歸檔處理。

策略管理模塊負(fù)責(zé)完成日志源管理、數(shù)據(jù)上報(bào)策略配置、日志存儲(chǔ)和日志歸檔策略配置等，將配置信息保存到MySQL數(shù)據(jù)庫。系統(tǒng)管理模塊通過查詢ElasticSearch全文搜索引擎提供日志數(shù)據(jù)的查詢功能。

4.2 應(yīng)用案例

本文所設(shè)計(jì)系統(tǒng)已在多地泛政府行業(yè)部門進(jìn)行實(shí)際驗(yàn)證，用于泛政府行業(yè)信息內(nèi)網(wǎng)和新一代移動(dòng)警務(wù)平臺(tái)中應(yīng)用、云平臺(tái)、終端、邊界、網(wǎng)絡(luò)、安全基礎(chǔ)設(shè)施的全面日志采集，具體方案如下：

圖13 某省泛政府行業(yè)信息網(wǎng)統(tǒng)一日志采集系統(tǒng)部署拓?fù)?/p>

圖14 某省移動(dòng)警務(wù)平臺(tái)統(tǒng)一日志采集系統(tǒng)部署拓?fù)?/p>

4.2.1 新一代泛政府行業(yè)信息網(wǎng)部署

如圖13所示，某省泛政府行業(yè)信息網(wǎng)按業(yè)務(wù)功能劃分為用戶接入和數(shù)據(jù)接入兩大子網(wǎng)，以及子網(wǎng)和外部網(wǎng)絡(luò)之間的用戶訪問和數(shù)據(jù)交換通道，為實(shí)現(xiàn)全面日志采集，需要在三個(gè)不同網(wǎng)域分別部署一套統(tǒng)一日志采集系統(tǒng)。其中數(shù)據(jù)中心采用云化部署模式，采集數(shù)據(jù)中心內(nèi)主機(jī)、網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志；用戶接入?yún)^(qū)采用軟硬一體部署模式，采集用戶接入?yún)^(qū)內(nèi)終端、網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志；安全訪問與數(shù)據(jù)交換通道采用軟硬一體部署模式，采集網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志[20-22]。

4.2.2 新一代移動(dòng)警務(wù)平臺(tái)部署

如圖14所示，某省新一移動(dòng)警務(wù)平臺(tái)按業(yè)務(wù)功能劃分移動(dòng)互聯(lián)網(wǎng)服務(wù)子平臺(tái)(I區(qū))、聯(lián)網(wǎng)服務(wù)子平臺(tái)(II區(qū))、泛政府行業(yè)信息網(wǎng)服務(wù)子平臺(tái)(III區(qū))，以及移動(dòng)安全接入子平臺(tái)、移動(dòng)互聯(lián)網(wǎng)隔離交換區(qū)。為實(shí)現(xiàn)全過程日志采集，需要在三個(gè)不同子區(qū)域分別部署一套統(tǒng)一日志采集系統(tǒng)，均采用軟硬一體化部署模式。其中I區(qū)統(tǒng)一采集系統(tǒng)負(fù)責(zé)，采集I區(qū)內(nèi)主機(jī)、網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志；II區(qū)統(tǒng)一日志采集系統(tǒng)負(fù)責(zé)采集II區(qū)內(nèi)終端、網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志，同時(shí)采集兩個(gè)隔離交換區(qū)內(nèi)安全設(shè)備日志；III區(qū)統(tǒng)一日志采集III區(qū)內(nèi)網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志[23-25]。

5 結(jié)束語

當(dāng)前，全國泛政府行業(yè)均以習(xí)近平總書記“以安全保發(fā)展、以發(fā)展促安全”新時(shí)代網(wǎng)絡(luò)安全思想為指引，牢固確立以人民為中心的發(fā)展思想，全面貫徹總體國家安全觀，全面實(shí)施泛政府行業(yè)大數(shù)據(jù)戰(zhàn)略，堅(jiān)持大數(shù)據(jù)建設(shè)應(yīng)用與安全防護(hù)同步規(guī)劃實(shí)施，加快構(gòu)建大數(shù)據(jù)安全保障體系。本文提出的統(tǒng)一日志采集系統(tǒng)，采用標(biāo)準(zhǔn)化接口和插件技術(shù)，全面提升泛政府行業(yè)大數(shù)據(jù)安全運(yùn)行管理平臺(tái)中日志采集的穩(wěn)定性和可擴(kuò)展性。同時(shí)，采用基于消息隊(duì)列的流式處理架構(gòu)，實(shí)現(xiàn)日志采集、日志處理、日志上報(bào)等各個(gè)環(huán)節(jié)的解耦，并支持靈活的功能擴(kuò)展；通過消息隊(duì)列的流量削峰，保證日志傳輸?shù)目煽啃裕行Ы鉀Q不同網(wǎng)域間海量日志數(shù)據(jù)的統(tǒng)一采集，進(jìn)而為安全運(yùn)行管理平臺(tái)提供數(shù)據(jù)支撐、安全分析和智能決策。