安全管理平臺中基于云計算的日志分析系統設計

陳 潔,于永剛,劉明恒,潘盛合,徐克付

(1.中國移動(深圳)有限公司,廣東深圳518048;2.中國科學院信息工程研究所,北京100093)

安全管理平臺中基于云計算的日志分析系統設計

陳 潔1,于永剛1,劉明恒1,潘盛合1,徐克付2

(1.中國移動(深圳)有限公司,廣東深圳518048;2.中國科學院信息工程研究所,北京100093)

安全管理平臺(SMP)是實現安全管理工作常態化運行的技術支撐平臺,在實際應用中需要實時處理來自安全設備所產生的海量日志信息。為解決現有SMP中海量日志查詢效率低下的問題,設計基于云計算的SMP日志存儲分析系統。基于Hive的任務轉化模式,利用Hadoop架構的分布式文件系統和MapReduce并行編程模型,實現海量SMP日志的有效存儲與查詢。實驗結果表明,與基于關系數據的多表關聯查詢方法相比,該系統使得SMP日志的平均查詢效率提高約90%,并能加快SMP集中管控的整體響應速度。

安全管理平臺;云計算;Hadoop架構;海量日志;并行處理

1 概述

安全管理平臺(Security Management Platform, SMP)是企業內部為了實現安全資產的全網管控,而開發的集中式安全管理與控制平臺。集中管控的設備包括網絡設備、安全設備、主機等多種設備類型,通過對這些設備資產所產生的日志信息進行分析,進而保障企業信息安全。傳統的SMP日志收集分析平臺一般是基于關系數據的多表關聯查詢數據庫,海量數據分析工作在單個服務器上串行處理,查詢效率很低。隨著SMP所管控設備資產以及日志內容的增加,每天產生的日志量呈指數級增長。在如此大規模日志數據存儲條件下,如何實現高效的數據存儲、查詢都面臨著新的挑戰。

云計算是處理海量數據的一種有效手段[1],在很多領域都得到了廣泛應用[2]。為解決SMP海量日志查詢性能低下的問題,本文設計云計算環境下的SMP日志存儲分析系統,在研究云計算理論基礎上[3],引入Hadoop分布式系統基礎架構,構建基于Hadoop并行處理的海量日志分析系統。云計算環境下的Hadoop架構具有強大的數據處理能力,其特有的分布式文件系統(Hadoop Distributed File System,HDFS)以及并行編程模型MapReduce為海量數據的有效存儲提供了技術支持[4],并為SMP海量日志分析平臺提供了解決方案。

2 云計算環境下的SMP日志分析系統

云計算[5]是IT技術發展的新趨勢,目前受到學術界和工業界的廣泛關注[6]。云計算基本原理是利用非本地或遠程服務集群為互聯網用戶提供服務[7],使得用戶可以將資源切換到需要的應用上,根據需要訪問計算機和存儲系統[8]。相比傳統的單機計算環境,云環境可以有效地利用分布式集群的龐大計算資源滿足海量數據管理對計算資源和存儲資源的需求[9],具有易于維護、易于擴展和易于管理等特性[10]。面對快速增長的數據規模,云計算技術能夠快速調整并分配所需資源以適應數據的快速膨脹[11];同時能夠提供具有彈性的、組織松散的存儲模式以及建立在這種存儲模式之上的可配置分布式并行計算資源[12]。云計算技術的應用正逐漸成為海量數據管理任務的新趨勢[13]。

2.1 Hadoop云計算架構

Hadoop[14]是一個分布式系統基礎架構,由Apache基金開發,它提供了在分布式計算環境下所需要的可靠性、可擴展軟件,是目前實現并行化云計算的一個主流方式。Hadoop框架主要由HDFS和MapReduce[15]兩部分構成,其固有的特定結構可以將分布式應用部署到大型廉價集群上,非常適合海量數據的高效存儲與管理。

HDFS是一個高度容錯的分布式文件系統,在實際運用中可以提供高吞吐量的數據訪問,適合超大數據集的應用程序。

HDFS架構如圖1所示,HDFS內部機制是將一個文件分割成一個或多個Block,這些Block被存儲在一組Dadanode中,Datanode在Namenode的指揮下進行Block的創建、刪除和復制,同時確定Block與數據節點的映射。典型的部署方式是由一臺專門的機器來運行一個Namenode,集群中的其他機器各運行一個Datanode實例。

圖1 HDFS架構

MapReduce作為并行處理海量數據集的軟件框架,其概念和處理框架在很多領域都得到了廣泛應用[16]。MapReduce由多個Map和Reduce操作組成,其基本思想可以描述為按一定映射規則將輸入的＜key,value＞對轉換成另一個＜key,value＞對輸出[17]。圖2說明了用MapReduce處理大數據的過程,其核心計算過程是將大數據集分解為成百上千的小數據集,每個數據集分別由集群中的一個節點進行處理并生成中間結果,然后這些中間結果又由大量節點進行合并,形成最終結果。輸入數據使用并行處理中的計算機集群分區方法,這也是處理海量數據的理想方法。

圖2 基于MapReduce的數據簡化

2.2 基于Hadoop的SMP日志分析系統

為加強企業全網安全集中管理,提升企業全網安全時間響應能力,建設響應迅速的高性能信息安全管理平臺已成為企業一項非常重要而緊迫的任務。在這種背景需求下,將云計算引入到企業安全管理平臺(SMP)中是企業信息化安全管理建設的重要內容。

根據預算,SMP接入57臺設備,每天產生的日志量最多可達到一億條,這個數字將隨著SMP所納入的安全設備的增加以及日志量的聚集,呈現急速增長的趨勢。隨著分析功能需求的擴展,日志形式會逐漸呈現多樣化,例如有些日志數據將會呈現半結構化的特性。這些半結構化數據與關系型數據庫并不能很好地匹配,而且由于其海量性,在單一機器上處理需要很長時間,因此對SMP海量日志數據進行有效處理非常困難。

Hadoop的HDFS是具有高可靠性和高擴展性的分布式文件系統,可以提供海量的文件存儲能力,而Hadoop所包含的另一個核心框架MapReduce實現了并行處理的編程框架,使得程序分布到集群上并發執行。因此,Hadoop的2個核心模塊能夠方便地實現數據分發、負載均衡以及以容錯的方式并行處理大量數據,在實際應用中非常適合SMP海量數據的有效存儲與管理。雖然Hbase高性能數據庫也適合分布式處理的應用,但目前本文系統只考慮海量日志高效的查詢分析功能,暫時不需要更復雜的操作場景,選擇Hadoop的HDFS+MapReduce架構更適合系統應用的個性化需求。

SMP系統的主要設備類型包括主機、網絡設備、安全設備、數據庫、中間件等11種類型,涵蓋設備336臺,日志記錄包括所有用戶的操作行為及操作結果,每天產生的日志可達到6億條。為了快速進行海量日志的存儲與查詢,設計基于Hadoop的SMP日志分析系統框架如圖3所示。其中,Hive將任務轉化為MapReduce可以處理的形式,便于Map-Reduce的應用。

圖3 基于Hadoop的SMP日志分析系統框架

SMP日志分析系統主要包括4個模塊:日志采集模塊,查詢分析模塊,存儲處理模塊,結果輸出模塊。

SMP所管控的設備每天都會產生大量日志,而系統所設計的采集模塊可以將所有的日志傳送到日志接收節點上,接收節點將日志導入到Hive中方便進行后續日志分發及分布式處理。將Hive模塊部署在Hadoop集群中的Master節點上。

日志采集模塊收集海量日志后,當執行日志分析查詢時,查詢分析模塊可以將日志數據進行結構映射,接收用戶發出的查詢請求來提供大規模的查詢分析功能。

利用Hadoop典型的HDFS+MapReduce處理模型,存儲處理模塊負責將日志傳輸進入HDFS,進行日志分布式存儲,同時執行由Hive提交的MapReduce任務,這時Namenode開始初始化創建任務對象,根據劃分信息分別創建Map和Reduce任務。初始化完成后,Namenode采用調度算法為每個Datanode分配計算任務,當所有任務完成后, Namenode標記任務為成功狀態,將報告發給Hive,這時完成所有日志的分布式存儲與分發處理。

最后查詢用戶可以通過結果輸出模塊將查詢請求提交到Hive,Hive返回所有的日志查詢結果,Hive與結果輸出模塊為一個相互交互的過程。

通過4個模塊的交互過程,完成SMP所有日志的分布式存儲與分發過程。基于Hadoop的SMP日志分析系統框架可以并發處理SMP所產生的海量日志,加快整體的SMP海量日志的查詢速度,提高SMP在企業中的運行性能。

3 實驗結果與性能分析

在云環境中,測試利用Hadoop并行計算思想處理SMP安全設備海量日志的查詢性能,選擇基于傳統關系數據的Oracle多表關聯查詢方法作為結果對比的基準方法,驗證本文系統的有效性。

3.1 實驗環境與數據集

實驗環境配置如下:基于CDH4構建一個集群云環境,全部機器配置為CentOS6.2,內存16 GB,磁盤空間200 GB。Vmhdmaster和Vmhdmaster-sec分別為一主一備Master節點,Vmhbasemaster和Vmhdmanager分別為2個不同功能的管理節點, Vmhdzkp01為Zookeeper節點,剩下10個為數據節點。各計算節點的配置及其在集群中的角色如表1所示。

實驗數據集來源于SMP所產生的海量日志,主要包括主機、網絡設備、安全設備、數據庫、中間件等11種設備類型所產生的所有操作記錄日志,日志記錄字段包括操作時間、操作用戶名、客戶端IP、操作內容、操作結果,每條日志大小分別3 KB左右。在實驗中,分別設置在查詢日志數目為1×106～10× 106條的條件下,本文Hadoop方法與Oracle方法所需查詢時間作為實驗結果進行性能對比。

表1 實驗所使用的集群環境

3.2 實驗結果

將查詢數設置為1×106條開始進行實驗,在多組實驗中,逐漸增加查詢數目,直到查詢數為10×106條,設置查詢數增長步長為1×106條,以此測試在不同查詢數條件下,2種方法所需查詢時間,如圖4所示,可以看出,隨著查詢數的增加,基準方法所需要的查詢時間趨于指數級增長,其數據量的急劇增長給整個查詢性能帶來很大影響,表現為圖4中較大斜率曲線的變化趨勢;基于Hadoop方法的查詢性能隨著查詢數據量的急劇增加,所需的查詢時間變化趨于直線,性能穩定。

圖4 查詢時間與查詢數的關系

在不同查詢數目下,2種方法所需的查詢時間如表2所示,可以看出,基于Oracle方法的查詢時間遠大于基于Hadoop的方法。當查詢數(n)為1×106條時,測試時間達到90 s,而Hadoop方法卻只需8 s,性能提升率為91%;當查詢數增加至10×106條時, Oracle方法查詢時間急速增加到1000 s,而Hadoop方法只需30 s,性能提升率達到98%。

表2 查詢時間測試結果s

比較數據量的增長幅度對查詢性能的影響,選擇查詢數分別為1×106,2×106,10×106的測試數據, 2種方法在不同數據增長比例的情況下,查詢時間變化情況如表3所示。當查詢數從1×106～2×106的數據量變化時,這時數據量的增長率為50%,Oracle方法與Hadoop方法查詢時間分別提高25%和20%,性能差異度為5%;而當數據量增長率達到90%時,也即查詢數從1×106急劇變化到10×106條的情況下, Oracle方法與Hadoop方法查詢時間分別提升了95%和73%,性能差異度達到20%,結果說明在數據量急劇增長的情況下,基于Hadoop的方法相比Oracle方法查詢時間性能提升幅度更大,在這種情況下,說明基本Hadoop的方法更適合海量數據處理。

表3 不同數據增長比例下查詢時間的提升率比較

圖5描述了分別在1×106和2×106查詢數情況下的查詢時間比較,可以得出,在2種不同查詢數的條件下,基于Hadoop的查詢性能遠優于Oracle方法。查詢數從1×106～2×106的增長過程中, Hadoop方法查詢時間增加幅度較小,而Oracle方法的查詢時間增加幅度較大,說明Hadoop方法在查詢數目急劇增長的情況下,查詢時間增長幅度卻不大,基于Hadoop方法的日志分析系統在查詢時具有更強的魯棒性和穩定性。

圖5 不同查詢數下的查詢時間對比

4 結束語

本文在研究云計算理論的基礎上,基于Hadoop并行處理框架設計一種新的SMP海量日志分析系統,有效解決了SMP海量日志查詢效率不高的問題。實驗結果表明,在云計算環境下,基于Hadoop框架的查詢性能相比基準方法提升90%以上,在提高查詢性能的基礎上,進一步提高了SMP平臺在實際應用中系統整體響應速度。考慮到云計算的產生背景和技術特點,其面臨的安全問題會越來越突出,因此,下一步將研究海量日志分析在云計算應用環境下的信息安全問題。

[1] 孟必平,王騰蛟,李紅燕.分片位圖索引:一種適用于云數據管理的輔助索引機制[J].計算機學報,2012, 35(11):2307-2313.

[2] 賈興華,張云勇,陳清金.基于云計算的上網記錄查詢分析系統[J].電信技術,2011,(10):27-30.

[3] 羅軍舟,金嘉暉,送愛波.云計算:體系架構與關鍵技術[J].通信學報,2011,32(7):3-21.

[4] Hayes B.Cloud Computing[J].Communications of the ACM,2008,51(7):9-11.

[5] Popa L,Yu M.Cloud Police:Taking Access Control Out of the Network[C]//Proceedings of the 9th ACM SIGCOMM Workshop on Hot Topics in Networks. New York,USA:ACM Press,2010:1-6.

[6] 俞能海,郝 卓,徐甲甲.云安全研究進展綜述[J].電子學報,2013,41(2):371-381.

[7] 劉振鵬,張 寧,卞昭玲.云計算技術在檔案館中的應用探討[J].蘭臺世界,2010,(16):17-19.

[8] 蔣鴻玲,邵秀麗,李耀芳.基于MapReduce的僵尸網絡在線監測算法[J].電子與信息學報,2013,35(7): 1732-1738.

[9] Dash D,Kantere V,Ailamaki A.An Economic Model for Self-tuned Cloud Caching[C]//Proceedings of the 25th International Conference on Data Engineering. New York,USA:IEEE Computer Society,2009:1687-1693.

[10] 馮登國,張 敏,張 妍.云計算安全研究[J].軟件學報,2011,22(1):71-83.

[11] 張大朋,蔡 克,張 敏.云計算數據安全支撐平臺架構研究[J].計算機研究與發展,2011,48(增刊): 261-267.

[12] Michael A,Armando F,Rean G,et al.A View of Cloud Computing[J].Communications of the ACM,2010, 53(4):50-58.

[13] Borthakur D.TheHadoopDistributedFileSystem: Architecture and Design[C]//Proceedings of the 26th Symposium on Mass Storage Systems and Technologies. Washington D.C.,USA:IEEE Computer Society,2010: 1-10.

[14] Ghemawat D J.MapReduce:Simplified Data Processing on Large Clusters[J].Communications of the ACM, 2008,51(1):137-149.

[15] 黎建輝,劉 勇,王衛華.MapReduce計算模型下的化合物LC-MS鑒定[J].計算機科學與探索,2011, 5(12):1094-1104.

[16] 蔣鴻玲,邵秀麗,李耀芳.基于MapReduce的僵尸網絡在線監測算法[J].電子與信息學報,2013,35(7): 1732-1738.

[17] 張桂剛,李 超,張 勇.一種基于海量信息處理的云存儲模型研究[J].計算機研究與發展,2012,49(增刊): 32-36.

編輯 陸燕菲

Design of Log Analysis System Based on Cloud Computing in Security Management Platform

CHEN Jie1,YU Yonggang1,LIU Mingheng1,PAN Shenghe1,XU Kefu2
(1.China Mobile(Shenzhen)Co.,Ltd.,Shenzhen 518048,China;2.Institute of Information Engineering, Chinese Academy of Sciences,Beijing100093,China)

With the development of cloud computing,massive data can be very easy to be stored and managed.Security Management Platform(SMP)is a support platform which realizes security management normalized operation.In a real application,this platform needs to process the massive information which generates from security device in real time. Considering the problem of low query efficiency,an efficient log analysis system based on the cloud computing for SMP is presented.It introduces the Hadoop distributed system infrastructure,and in the meantime,based on the study of transformation mission of the Hive,Hadoop Distributed File System(HDFS)and MapReduce are applied to effective storage and query of massive log.Experimental results show that,using proposed system can obtain a general increase in the query performance by about 90%compared with the existing Oracle storage method,and it can also further improve response speed of the SMP.

SecurityManagementPlatform(SMP);cloudcomputing;Hadooparchitecture;massivelog; parallel processing

陳 潔,于永剛,劉明恒,等.安全管理平臺中基于云計算的日志分析系統設計[J].計算機工程, 2015,41(2):21-25.

英文引用格式:Chen Jie,Yu Yonggang,Liu Mingheng,et al.Design of Log Analysis System Based on Cloud Computing in Security Management Platform[J].Computer Engineering,2015,41(2):21-25.

1000-3428(2015)02-0021-05

:A

:TP311

10.3969/j.issn.1000-3428.2015.02.005

國家自然科學基金資助項目(61003295)。

陳 潔(1982-),女,工程師、博士,主研方向:信息安全,大數據分析,云計算;于永剛、劉明恒、潘盛合,工程師;徐克付,副研究員。

2014-03-05

:2014-07-18E-mail:chenxg58@126.com