大數據環境下入侵檢測系統概述

葛釗成　彭凱

摘要：入侵檢測系統（IntrusionDetection System，IDS）為網絡空間安全做出重大貢獻。然而隨著大數據時代的到來，IDS暴露出效率低下、理念落后等系統性不足。本文結合大數據特征及傳統IDS技術的不足，針對性地概述了分布式入侵檢測系統（DistrictedIntrusionDetection System，DIDS），并在基本概念、系統分類和性能特點等方面對其做出重點解釋。最后從深度學習、廣度融合等角度展望了入侵檢測技術的未來發展。

關鍵詞：入侵檢測；IDS；DIDS；大數據

中圖分類號：TP393.08 文獻標識碼：A DOI：10.3969/j.issn.1003 6970.2016.05.014

本文著錄格式：葛釗成，彭

凱.大數據環境下入侵檢測系統概述.軟件，2016，37（5）：54-59

0.引言

自20世紀60年代以來，計算機網絡發展速度呈幾何式增長，信息化概念在金融、軍事、醫療等各領域都得到迅速的普及。正是這一廣泛存在的共性問題，使攻擊者可以利用流量分析、篡改信息、惡意程序、拒絕服務攻擊等方式尋找網絡系統的漏洞。并加以利用。也正是基于這樣的背景，傳統的入侵檢測系統（Intrusion Detection System，IDS）得以迅速發展并廣泛普及。

然而隨著信息化的不斷深入，網絡技術的融合性、開放性、交互性都在以一個前所未有的速度發展。這就直接導致了數據量的迅速膨脹。正如數據科學家Viktor Mayer在《Big Data》中所論，“大數據時代已經是可以被看見的未來”。作為信息時代的升級版，大數據時代具有著獨特而又鮮明的特色。而在這條“信息高速公路”上，傳統的IDS已經暴露出對未知入侵方法的漏報率較高、對大流量通信的檢測效率較低等多種缺陷。傳統技術已不能適應快速更新的應用需求。因此研究分布式入侵檢測系統（Districted Intrusion Detection System，DIDS），對于大數據環境下的信息安全防護體系而言很有必要。

本文結合大數據時代的信息特征及其引發的變化，具體解析了傳統IDS的技術缺陷，并進一步分析了DIDS概念。然后從基層架構、拓撲模式以及平臺性質三個角度論述DIDS的分類，并引出DIDS時效性、獨立性、可靠性、靈活性等優勢。最后結合實際應用需求，從深度學習、廣度融合等多個角度分析入侵檢測系統的發展方向。

1.大數據背景

大數據是指在有限時間內無法用常規工具進行捕捉、管理和分析的數據集合，是只有在新型處理模式下才能具備更強的決策力、洞察力和流程優化能力的海量、多樣和高增長率的信息資產。自概念提出以來，大數據已迅速成為繼互聯網、物聯網之后的又一里程碑式技術。從最早應用大數據的麥肯錫公司，到推進大數據商業化的IBM、亞馬遜、谷歌等公司，再到近年不斷提出相關戰略要求的各國政府，大數據儼然成為金融、零售、服務、軍事等各行業新的發展引擎，并為社會各界產生了巨大的產業價值。

大數據與早期的互聯網相比有較為鮮明的特色，其中由IBM最早提出的“4V”已被業界普遍接受——Volume（海量規模）、Velocity（高速流轉）、Variety（多樣類型）和Value（低價值比）。基于這些前所未有的信息特征，大數據時代體現出以全體取代樣本、以混雜取代精準、以相關取代因果的理念轉變。這也為現代的生活、工作和思維帶來了顛覆性的變革。

在面臨大數據的發展機遇的同時，社會各界也接受到前所未有的挑戰，其中當然也包括信息安全領域。傳統的安全體系受到了大數據的極大沖擊。大數據安全問題對個人、企業乃至國家都造成了多方面的影響。

1.1數據成為戰略資源，安全問題凸顯

“數據是未來的石油和黃金”。大數據環境下，世間萬物包括文字、機器甚至生命體都可以被量化。無論是傳統企業數據，機器傳感數據還是社交行為數據，都被視為新一代的戰略資源。

然而，正是數據的重要性使其成為了大量不法分子的重點攻擊對象，越來越多的黑客試圖竊取數據以獲取非法利益。而大數據集中化、高透明、大規模的特點也增加了信息泄漏風險和安全防護難度。因此，大數據環境下的信息安全是目前亟待解決的關鍵難題。

1.2基于大數據技術的入侵攻擊盛行

在大數據技術席卷全球并為社會各界創造眾多生活便利和巨大經濟效益的同時，也存在著一部分不法分子濫用大數據技術以獲取非法利益的惡意行為。

大數據技術是一種通過對海量數據的分析、挖掘和整合，獲取具有前瞻性和決策性的信息的技術架構。首先，黑客可以直接利用大數據技術處理商務郵件、社交網絡等個人及企業信息。除此之外，黑客更傾向于間接利用大數據技術，發動以數據為載體的入侵攻擊，尤其是拒絕服務攻擊（Denial ofService，DOS）以及高級持續性攻擊（Advanced Persistent Threat，APT）。通過將攻擊隱藏在海量數據之中，不僅能利用“低價值比”的特點以大幅降低被檢測的概率，還可以在被整合的同時直接入侵系統核心。正是目標廣泛、精確制導、隱蔽性高、破壞性強的特點，使得基于大數據技術的入侵攻擊對當代信息安全防護體系構成了極大的威脅。

1.3缺乏有效的監管制度和法律法規

鑒于大數據與傳統互聯網技術的顯著區別，舊時的規章制度已無法適應新興的大數據領域。對于數據這一新型財產，目前市場上缺少有效的監管制度，數據的收集、發布和存儲都缺乏規范性。而且由于缺乏相應的法律法規，個人、企業和國家的信息安全利益（包括隱私權，使用權、知識產權等）都得不到應有的保障。所以完善制度、推進立法的工作迫在眉睫。

2.傳統IDS的缺陷

經過數十年的發展，IDS已經成為一項較為成熟且成功的安全防護技術。以snort為代表的IDS為近年的網絡信息安全做出了杰出的貢獻。然而隨著信息化的深入以及大數據的到來，傳統技術受到了眾多新科技的沖擊，進而也暴露出了以下幾個致命性問題

（1）模式匹配算法是幾乎所有IDS產品的核心技術之一，基于AC、BM、MWM等匹配算法的誤用檢測可以使IDS具備對廣泛存在、特征明顯的已知攻擊的被動式檢測，并推動形成初級安全防護體系。但是，隨著人侵技術的復雜化、綜合化和大規模化，現代攻擊越來越傾向于將多種已知入侵技術整合一體，形成某種未知的入侵技術。而由于本質性的缺陷，模式匹配算法對此類APT攻擊的檢出率極低。

（2）對于未知攻擊，傳統IDS通常采取基于“偏離值”和“用戶行為”的異常檢測進行主動防護。統計模型、貝葉斯推理、聚類分析等檢測形式以及DB、Dnk、DTlk等優秀算法可以彌補模式匹配的不足，使系統對未知攻擊有了一定的檢測能力。然而在實際環境中，異常與攻擊并非高度符合。異常但非攻擊行為會對傳統IDS造成較高的誤保率，非異常但攻擊行為則會對其造成較高的漏報率。兩個關鍵性能的不穩定性極大影響傳統IDS的工作效率。同時，現實數據的高度復雜性也是限制傳統技術的一大瓶頸。

（3）傳統IDS基本都采用集中式的CIDF模型，傳統技術主要基于對日志文件、審計數據的遍歷掃描以及對網絡流量數據包的過濾分析以實現全面的保護。圖1給出這一經典的IDS結構，主要包括事件產生器、事件分析器、事件數據庫和響應單元四部分，

而隨著大數據時代的來臨，高速傳輸和海量數據成為信息的基本特性。首先，以往的集中式結構使IDS在收集、分析、響應等階段存在不可避免的時滯性，不能對高速傳輸數據進行及時處理。其次，傳統技術過度依賴于單機性能。單臺計算機的分析能力非常有限，難以充分應對海量數據。綜上，傳統IDS的功能優勢正在消退，它已無法實現對系統的全方位的實時檢測。

3.DIDS基本概念

針對大數據特征以及傳統IDS的不足，本文在由Jai Sundar教授等人首創的AFFID系統的基礎上，提出了一種基于自治終端的分布式入侵檢測系統。如圖2所示，該系統主要包括自治終端（autonomous agent）、收發器（transeeiver）和控制器（monitor）三部分。

自治終端大量分布于各主機內網絡接口、日志文件等脆弱點和檢測關鍵點。其具備獨立的運行能力、通信能力以及有限的入侵檢測能力（檢測、分析、響應）。當自治終端檢測到攻擊后，它能將完整的分析處理數據傳送給收發器，同時也會接收來自收發器的信息與指令。

收發器是連接自治終端與控制器的橋梁。一方面它不斷收集由主機內各自治終端發出的數據，另一方面它能分析所得信息并得出入侵消除、終端過載等結果，然后再將分析結果報送至控制器。

控制器是該DIDS模型的最高層模塊，其兩大功能分別是實時通信和協同調度。當某臺主機遭遇大規模的高級攻擊時，該主機上的控制器可以通過內部的通信機制與DIDS系統內其他各主機的控制器相連，盡可能地整合并共享所需資源。然后根據收發器的分析結果，通過基于遺傳算法和任務復制的調度機制，在短時間內快速強化受攻擊主機的分析處理能力。

4.DIDS系統分類

傳統的IDS主要以信息來源和檢測技術作為分類標準。為體現分布式系統的結構特點并突出DIDS優勢，本文從基層架構、拓撲模式以及平臺性質三個角度對DIDS進行分類并加以詳細介紹。

根據基層架構的區別，DIDS分為同構式和異構式兩種。

（1）同構式DIDS是指各個處理節點在功能特性，物理結構上保持高度一致的系統。結構較為簡單的同構系統在小范圍內具有很高的流通性，并且有效提高了并行計算能力。不過同構系統的結構特點限制了DIDS的檢測性能，高度一致的處理節點功能較為單一，無法應對大型、復雜的高級攻擊。而且相似的結構體系更易遭受網絡入侵。目前同構式DIDS主要用于個人和小型企業的安全防護體系。

（2）與同構式系統恰好相反，異構式DIDS中各處理節點的功能特性和物理結構可以存在一定差異。正是基于各節點的差異性，異構式DIDS可以根據檢測需求，充分整合各節點的優勢部分，取長補短，以滿足多樣化的應用需求。然而該類系統關于兼容性的技術問題仍有待解決，如何實現大量的不同設備在同一系統下的實時交互是異構式DIDS的關鍵突破點。異構式DIDS通常規模較大，常用于大型企業的安全防護體系。

根據拓撲模式的區別，DIDS分為P2P模式和層次模式兩種。

（1）P2P模式的DIDS可采用網狀連接結構，而且網絡中的每個節點都近似一個完整的微型檢測系統，其不僅具備檢測、分析、響應功能，還同時擁有控制模塊，通信模塊和數據庫。各節點相互獨立又相互連接，可通過網絡實現資源共享和協同工作。該模式的優點在于處理速度快，各節點可通過網絡鏈路直接通信，大幅減少時間開銷，提高了檢測效率。于此同時，P2P模式的缺點也很明顯。該模式對各節點的配置要求較高，不僅要具備完整的入侵檢測功能，同時還要擁有支持控制、通信等硬件模塊，使得搭建和維護的成本大幅提高。而且較高的技術難度也是P2P模式暫時無法普及的重要原因。

（2）層級模式的DIDS由控制層、通信層、處理層和數據庫構成。其與P2P模式的差別在于處理層的終端設備只具備一定的入侵檢測功能，而控制和通信則由控制層和通信層單獨負責。這樣的好處在于各層級分工明確，便于后期的管理和維護，同時它對處理終端的要求不高，主要在于軟件功能。而層級模式的主要缺點是控制層和通信層負載能力有限，若同時受到多點攻擊則很可能導致整個系統的崩潰。除此之外，層級模式的處理速度相對較慢，大部分的指令都必須通過控制層和通信層才能到達終端。這一缺陷在面對APT攻擊時尤為致命。

根據平臺性質的區別，DIDS分為本地平臺和云平臺兩種。

（1）作為互聯網產業的傳統工作模式，本地化平臺是指用戶直接控制的網絡設備，例如手機、計算機等。本地平臺具有讀寫速度快，獨立運行，安全性高的特點，目前大部分的互聯網產品也都是建立于本地化平臺之上。然而隨著互聯網技術的發展，特別是大數據時代的到來，性能有限、成本高昂、靈活性差的本地平臺逐漸無法適應廣泛的市場需求。但憑借著長久的發展歷史以及成熟的應用技術，本地化平臺仍然保持著極高的普及率和市場占有率。

（2）作為一項新興技術，云是指虛擬化的互聯網資源平臺。作為提供商，亞馬遜、谷歌以及國內的阿里巴巴、華為等企業建立包含大型數據中心，整合數以萬計的計算機的資源和計算能力以搭建云端平臺。作為用戶，DIDS可以利用云端平臺搭建入侵檢測系統，并通過控制臺或Open API等技術收集、分析所獲數據從而做出快速的有效響應。

云技術具有按需分配、管理簡易、價格低廉、多點備份、實時下載、并行運算等優勢，尤其是其超大規模的計算能力以及海量存儲能力使DIDS支持神經網絡、自主學習等先進技術，進而從容應對日益趨向大型化、復雜化和綜合化的入侵攻擊。這非常符合如今大數據時代的信息特征和應用需求。然而云技術也存在過度依賴網絡的缺陷，而且目前云端的安全問題仍是阻礙其發展的一大瓶頸。

5.DIDS性能特點

為適應接踵而來的信息安全挑戰，DIDS在設計之初便有著更先進的設計理念以及更高的預定目標。與傳統IDS相比，DIDS主要具有高效、獨立、可靠和靈活四大優勢。

第一，作為入侵檢測系統的關鍵指標，檢測效率是DIDS的核心優勢之一。DIDS可以實現對全體數據而不僅是隨機樣本的實時檢測。無論是對本地文件的遍歷掃描還是對網絡數據包的過濾分析，系統都能保持較高的檢測速度和較低的漏報率。另外，強大的計算能力使其支持相關性分析，自模擬學習以及大數據分析等復雜策略，極大提高了DIDS的檢測效率。

第二，當某個節點遭受入侵時，DIDS可以充分整合內部資源，通過預置算法實時調度其它閑置節點，并以協同工作的形式應對入侵行為。這樣的工作模式改善了傳統IDS過度依賴單機性能的缺陷。不僅降低了處理節點的入網標準，還使系統避免出現因超負荷工作而導致無效檢測甚至宕機的情況，體現出較強的魯棒性。

第三，DIDS在可靠性方面具有較大的優勢。可靠性則主要分為兩點。一方面，DIDS具有一定的容錯性。鑒于分布式的結構優勢，局部故障并不影響整個系統的正常工作。另一方面，DIDS還支持實時備份功能。各節點的數據信息會被完整拷貝并存儲于于若干個相鄰節點中，并通過時鐘機制不斷更新。

第四，靈活性是DIDS較傳統IDS的一大特色。DIDS可以在不中斷正常工作的前提下，用簡便的技術增添節點或修改結構，以適應不斷變化的外部環境。另外，當某一節點負荷過載時，按需分配的機制可以通過靈活的資源調度暫時加強該點的處理能力。而當入侵行為消失后，資源各歸其位，系統又恢復原態。這一模式體現了DIDS的高度靈活性。

盡管DIDS與傳統技術相比有著突出的優勢，而且在目前初步的實際檢測中也卓有成效。但DIDS在穩定性、安全性和技術復雜性等方面有需要改進之處，只有不斷改善缺陷，這一新型安全防護體系才能得到廣泛的普及

首先，據上述概念介紹，DIDS以分布式節點為基礎，且高度依賴于網絡通信。而節點的高自由度和不確定性以及網絡傳輸的不確定性導致DIDS故障率較高，極大影響其對目標系統的實時保護。同時DIDS自身的技術復雜性也會導致較高的系統出錯率。

其次，系統安全性不高。DIDS的正常工作立足于大量自由、開放的處理節點，而非單一、封閉的節點。這導致DIDS中各節點顯得較為脆弱，其自身對DOS、APT等尖端攻擊的抵抗能力相當有限。而且系統規模越大，目標就越明顯，受攻擊的概率也就越高。

最后，雖然目前市場中已有DIDS產品，但真正大規模的DIDS仍在研發中，各節點間的資源調度、實時共享和協同工作等復雜技術的穩定性問題仍有待攻克。除此之外，如何結合不斷更新的信息特征，并實現對大數據的有效安全防護也是DIDS廣泛應用的攔路虎。

6.發展趨勢

傳統的集中式IDS在發展之初體現出巨大優勢。但如今面臨新時代的挑戰，這一經典技術的結構性缺陷暴露無遺。作為對傳統IDS的改進，DIDS先進的設計理念使其具備高效、獨立、可靠、靈活等多重優勢，這保證DIDS能在高速傳輸、海量數據的網絡環境中實現對目標系統的有效保護。

（1）面對日益復雜的入侵技術以及大數據引發的挑戰，現代入侵分析策略的分析局限性和滯后性使其顯得力不從心。針對于此，高度智能的機器學習能力是提高檢測率，降低誤報率和漏報率的最佳方法。結合神經網絡、數據挖掘、關聯性分析、人工免疫等前端技術，未來的入侵檢測系統應能在已有的數據基礎之上，通過模擬惡意入侵，不斷獲取新的知識和技能，進而提高其自適應能力。由此可見，智能化的深度學習是IDS未來發展的必經之路。

（2）作為專項網絡安全防護技術，IDS的設計目標有一定的局限性，缺乏廣度防護能力。這就要求它必須與防火墻、殺毒軟件、加，解密等技術相融合，形成較為全面的廣度防護網。只有推進多技術協同工作才能真正實現對系統全方位、多層次的有效保護。因此融合型IDS將成為未來信息安全防護體系的主導。

（3）目前入侵檢測技術正在蓬勃發展，但國內外尚沒有一個相關的標準，也沒有一個國際組織對此負責。然而沒有統一的標準和公共的平臺，一門學科或是一項技術將無法健康發展，所以入侵檢測技術的標準化和組織化工作迫在眉睫。