基于Hadoop的網站入侵檢測與分析系統設計

張曉明， 王玉鑫， 王 廣， 張戈彤， 武瑞江

(北京石油化工學院 信息工程學院 計算機系，北京 102617)

?

基于Hadoop的網站入侵檢測與分析系統設計

張曉明， 王玉鑫， 王 廣， 張戈彤， 武瑞江

(北京石油化工學院 信息工程學院 計算機系，北京 102617)

基于大規模數據的入侵檢測分析具有重要的研究意義和實用性。針對現有系統的仿真和離線分析不足，設計和實現一套真實的網站入侵檢測綜合分析系統，能夠將入侵檢測系統和大數據分析系統結合起來。通過網絡構建和軟件設計，可以完成真實網站的入侵檢測、數據存儲、數據清洗和數據挖掘等功能。通過定時和主動兩種方式，系統將入侵檢測數據傳輸到數據庫中，然后導入到Hadoop系統中。設計了人機交互軟件，能夠完成Hadoop系統和Mahout技術的大數據分析。實驗結果表明，該系統能夠快速完成隨機森林模型的構建和測試，獲得了滿意的檢測效果。

入侵檢測； Hadoop； 大數據； Mahout； 分類； 隨機森林

0 引 言

隨著網絡攻防技術的發展，網站安全的防護要求越來越高，單一的入侵檢測系統(Intrusion Detection System, IDS)已不能完全滿足這種需要。例如，文獻[1] 設計了一種IDS測試的實驗系統，能夠開展網絡流量仿真和攻擊仿真，并完成了包捕獲率和檢測率的實驗。文獻[2]提出了基于 Snort 的入侵檢測實驗方案，在實驗室搭建了實驗環境。但是，文中采用的集線器設備已很少使用，而且Snort軟件是基于規則匹配的，在復雜攻擊方面難以防范。目前的主要發展方向之一是利用大規模數據資源，通過數據挖掘算法找出規律，形成更為有效的入侵規則，從而為入侵預測提供依據。文獻[3]采用Snort和異常檢測相結合的方法，但測試數據有限。文獻[4]基于隨機森林算法和One-R方法結合，提高了檢測率。文獻[5]將傳統的Apriori關聯規則算法移植于Hadoop云平臺中，使之適應于云平臺的入侵檢測系統，結果表明：經過優化后的Hadoop云平臺IDS具有較好的檢測效果。文獻[6]基于Hadoop系統開展了模糊關聯規則分析，通過與傳統的Apriori算法比較，驗證了基于云計算的優越性。不過，這三篇文獻的仿真數據都是來自于KDD-CUP99[7-8]的評測數據集，缺少網絡實證過程。文獻[9]針對大規模網絡安全態勢分析中報警關聯的需要，提出了海量報警日志的多維關聯規則挖掘算法，制定了一種有利于理解安全事件的關聯規則模板，能夠在最小支持度較低時，完成大規模報警日志的挖掘任務；并進行了報警的時間序列規則挖掘，發現復雜攻擊事件中的攻擊模式。其測試數據來自于評測數據集LLS DDOS 1．O和自定義的一組大規模報警日志。文獻[10]設計了一種入侵檢測的實驗系統，實現對網絡嗅探和端口掃描兩種類型的入侵進行檢測。針對網絡中的嗅探攻擊，利用 WinPcap 網絡開發包，實現基于ARP 報文探測的嗅探攻擊的演示。此外，實驗系統還針對網絡中的 TCP 端口掃描攻擊，利用 Libnids 網絡開發包，實現了基于統計閾值檢測法的 TCP 端口掃描攻擊的演示。該系統僅能滿足實驗教學的數據采集和展示需要。文獻[11]通過Hadoop搭建了基于云的WEB服務器曰志檢測系統,提高攻擊檢測性能,同時將檢測結果和Snort告警進行融合,提高攻擊告警的準確性,結果表明融合后的系統提高了告警的準確性，但該文沒有給出具體實驗數據信息。文獻[12]構建了一個包含20個計算節點的云平臺，通過隨機森林算法的改進設計，驗證了云計算的分類效率。文獻[13-14]基于Apache Mahout/Hadoop架構[15]，分別研究了在線邏輯回歸分類和K-均值聚類方法的應用效果，測試數據仍然是KDD-CUP99。

為了解決大規模入侵檢測和在線數據分析問題，本文設計了一個基于Hadoop平臺的網站入侵檢測實驗系統，該系統采集的數據具有實時性。針對一定周期內的數據，可以采用多種數據挖掘算法進行入侵檢測或預測。下面，具體闡述該系統的設計要點、關鍵技術、實驗方法和效果。

1 系統設計

本系統監測的是真實的WEB服務器，運行我校大學生科研訓練項目管理和信息發布系統，面向全校師生的項目申報、運行、結題和發布用。為此，要求系統實時和可靠。一旦發生問題，能夠及時通告管理員。為了預防復雜的網絡攻擊，需要采用大數據技術進行深入分析。

1.1 系統功能設計

整個系統包括了實時監測、數據ETL、和Hadoop大數據分析共三大部分，其系統功能框圖如圖1所示。

圖1 監測系統功能框圖

通過IDS實時獲得可疑數據，并自動保存在日志文件中。然后，通過專用程序定時將日志文件遠程傳輸到MySQL數據管理系統中。接著是數據ETL，指數據抽取、清洗和轉換，根據分析需要進行數據編碼、格式調整和數據過濾等處理，形成格式化的文本文件。進一步，文本文件傳輸到Hadoop文件系統中存儲，便于數據挖掘處理，并形成可視化分析結果。

1.2 系統拓撲結構設計

監測系統綜合了外網和內網兩部分，通過路由器進行安全訪問。系統拓撲圖如圖2所示。

圖2 Web監測系統的網絡拓撲圖

圖2中，IDS控制臺可以通過采集的數據來監測Web服務器，顯示數據有列表、圖形等方式，并自動備份到數據文件中。表1列出了網絡地址設置的詳細信息。

云計算服務器負責大規模數據處理與分析，主要由4臺刀片服務器組成，每個服務器的基本配置是：CPU1個(64 b，4核，主頻2.8 GHz)，內存32 GB，SATA硬盤2 TB，千兆以太網卡2個。通過千兆交換機連接，安裝配置了Centos 6.5和Hadoop 2.6操作系統。其中1臺作為Master節點，另3臺為計算計算節點。此外，單獨1臺服務器作為數據庫存儲用，安裝了MySQL數據庫管理系統。

2 系統關鍵技術

2.1 Hadoop系統的數據挖掘技術

基于Hadoop的生態系統，能夠實現大數據的機器學習、可視化分析和查詢等功能。其中的Apache Mahout就是針對大規模數據集的可伸縮的機器學習算法，該算法運行在Hadoop平臺下，通過MapReduce模式實現。Mahout的API函數主要有：

表1 系統設備IP地址分配表

● 基于協同過濾的Taste相關API: org.apache.mahout.cf.taste

● 聚類：org.apache.mahout.clustering

● 分類：org.apache.mahout.classifier

● 頻繁模式：org.apache.mahout.fpm

● 數學計算相關算法：org.apache.mahout.math

● 向量計算相關算法：org.apache.mahout.vectorizer

針對網站IDS的數據特點，采用隨機森林算法。隨機森林是一個包含多個決策樹的分類器，并且其輸出的類別是由個別樹輸出的類別的眾數而定。隨機森林既可以處理屬性為離散值的量，比如ID3算法，也可以處理屬性為連續值的量，比如C4.5算法。另外，隨機森林還可以用來進行無監督學習聚類和異常點檢測。

隨機森林具有很多優點：能夠處理很高維度的數據，并且不用做特征選擇；訓練速度快；在訓練過程中，能夠檢測到特征間的互相影響；實現比較簡單，且容易做成并行化方法；在訓練完后，它能夠給出哪些特征比較重要。

2.2 系統遠程管理技術

通過Java編程，設計與實現了系統遠程管理功能：

(1)通過SSH遠程連接云計算服務器Hadoop系統，執行shell命令；

(2)執行shell命令將數據整合后的IDS檢測數據上傳至HDFS；

(3)通過shell指令執行隨機森林算法，生成決策樹，并輸出結果，提供決策信息。

下面描述上傳文件情況，其軟件界面如圖3所示。

圖3 系統遠程管理界面

圖中為上傳文件123.txt至Hadoop系統的test文件夾，點擊“上傳”按鈕后完成上傳。在“命令”窗口，輸入shell的ls命令，點擊“執行“按鈕”就能夠查看test文件夾內的內容。

3 實驗分析

3.1 實驗數據預處理

訓練和測試數據來自于設計的IDS監測系統，涵蓋了將近1個月的近萬條數據，針對真實網站進行入侵檢測。選擇2/3數據集用于訓練，其它用于測試。經過適當預處理，有關IP地址、端口號和日期等數據做了一定的調整。既避免信息泄露，又符合隨機森林分類算法的要求。每行數據共有25列，其中，第1列為序號，第2列為使用的訪問的協議，最后1列是系統狀態[normal, anomaly],分別表示為正常和異常。

3.2 建模過程

基于Hadoop 2.6和mahout-0.10環境，采用隨機森林分類算法進行數據分析。

主要執行步驟如下：

(1)上傳測試數據文件trainIds.txt，生成描述文件。

Hadoop jar mahout-examples-0.10.0-job.jar org.apache.mahout.classifier.df.tools.Describe-p testIDS/trainIds.txt-f testIDS/trainIds.info-d I C 23 N L

(2)建立森林模型。

hadoop jar mahout-examples-0.10.0-job.jar org.apache.mahout.classifier.df.mapreduce.BuildForest-d testIDS/testIds.txt-ds testIDS/trainIds.info-sl 3-ms 3-p-t 5-o IdsOut0607

建立的決策樹如圖4所示。

圖4 查看決策樹

(3)測試模型。

hadoop jar mahout-examples-0.10.0-job.jar org.apache.mahout.classifier.df.mapreduce.TestForest-i testIDS/testIds.txt-ds testIDS/trainIds.info-m IdsOut0607-mr-a-o idsOut0607

測試過程和分類結果如圖5所示。可見，總體檢測率達到98.5%。從混淆矩陣結果看，正常狀態的誤報率僅為7/590=1.2%，異常狀態的誤報率為2/30=6.7%。

圖5 隨機森林模型的測試結果

4 結 語

針對真實網站的入侵檢測需要，設計和實現了一套大數據采集和分析實驗系統，能夠自動獲取IDS日志信息并遠程傳輸到云計算服務器中。通過Hadoop系統和Mahout技術，利用隨機森林算法進行入侵檢測日志數據分析。結果表明，建立的決策樹模型具有很高的檢測率和較低的誤報率。系統具有一定的通用性，可以為其他類似系統提供參考。今后，將增加網站運行的日志信息分析，通過綜合多種數據源，進一步提高檢測的可靠性。

[1] 何增穎, 陳建銳. 入侵檢測系統測試實驗設計與實現[J]. 實驗室研究與探索, 2010,29(3): 80-82.

[2] 張旭珍, 黃成玉,張志波. 基于 Snort 的入侵檢測系統教學實驗設計與實現[J]. 實驗室研究與探索, 2014,33(4):159-163.

[3] 高 崢,陳蜀宇,李國勇. 混合入侵檢測系統的研究[J]. 計算機技術與發展,2010,20(6):148-151.

[4] 王 翔,胡學鋼,楊秋潔.基于One_R的改進隨機森林入侵檢測模型研究[J].合肥工業大學學報(自然科學版)，2015,38(5):627-630.

[5] 陳 真. Hadoop云平臺的入侵檢測系統優化設計[J]. 西安工業大學學報,2012,32(9):716-722.

[6] 魏德志. 基于云計算的模糊規則挖掘算法在入侵檢測中的應用[J]. 吉林師范大學學報, 2012(1):115-118.

[7] ACM KDD CUP [Online]. www.sigkdd.org/ kdd-cup-1999-computer-network-intrusion-detection..

[8] 張新有,曾華燊,賈 磊. 入侵檢測數據集 KDD CUP99 研究[J]. 計算機工程與設計. 2010,31(22): 4809-4812.

[9] 孫藝峻, 張宏莉,何 慧.大規模網絡安全態勢分析中的報警關聯規則挖掘[C]//2007年全國網絡與信息安全研討會論文集，2007.

[10] 孫國梓.一種入侵檢測實驗系統的設計與實現[J]. 計算機教育, 2010(6):154-157.

[11] 劉建軍.基于Hadoop的WEB入侵檢測分析[C]//2014第十九屆全國青年通信學術年會論文集，2014.

[12] 許 旻.高維數據下基于云平臺的隨機森林算法的研究與實現[J]. 科技通報,2014,30(6):222-224.

[13] Mohammed Nazim Feroz,Susan Mengel.Examination of Data, Rule Generation and Detection of Phishing URLs using Online Logistic Regression[C]//2014 IEEE International Conference on Big Data, 2014.

[14] Jakrarin Therdphapiyanak,Krerk Piromsopa. An analysis of suitable parameters for efficiently applying K-means clustering to large TCPdump data set using Hadoop framework[C]//2013 10thInt Conf on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology(ECTI-CON). 2013.

[15] overview-Apache mahout-Apache software foundation [Online].https://cwiki.apache.org/confluence/display/MAHOUT/Overview.

Hadoop-based System Design for Website Intrusion Detection and Analysis

ZHANGXiao-ming,WANGYu-xin,WANGGuang,ZHANGGe-tong,WURui-jiang

(Department of Computer, College of Information Engineering,Beijing Institute of Petrochemical Technology, Beijing 102617, China)

It is very important and practical to make data analysis for intrusion detection based on large scale data. For the current system problem in simulation and off-line analysis, a system is proposed to complete intrusion detection and analysis for true website. The system is integrated with two subsystems of intrusion detection and large data analysis. Through network construction and software design, the system achieves functions of intrusion detection, data storage, data cleaning and data mining for true website. With two kinds of modes of timing and active management, the data can be transmitted to the database and Hadoop system online in the system. By means of the designed software, it can make large data analysis under Hadoop system and Mahout technology. Experimental results show that the system can quickly establish the random forest model. It can achieve good detection effects.

intrusion detection; Hadoop; large data; Mahout; classification; random forest

2015-10-29

2015年度國家級大學生創新創業計劃項目(2015J00137)；北京石油化工學院優秀責任教授資助項目(BIPT-POPME-2015)；北京石油化工學院重點教改項目(ZD20140302)

張曉明(1968-)，男，江西寧都人，博士，教授，主要研究方向為網絡計算和大數據技術。E-mail: zhangxiaoming@bipt.edu.cn

TP 393.08；TP 181

A

1006-7167(2016)04-0125-04