基于進程行為的異常檢測研究綜述

收稿日期：2008-01-10；修回日期：2008-03-13

基金項目：國家“973”計劃資助項目（2003CB314804）；江蘇省網絡與信息安全重點實驗室資助項目（BM2003201）

作者簡介：孫美鳳(1970-)，女，江蘇泰州人，副教授，博士，主要研究方向為網絡安全；黃飛(1983-)，男，江蘇徐州人，碩士研究生，主要研究方向為入侵檢測（huangfeihong@126.com）；殷新春(1962-)，男，江蘇姜堰人，教授，博士，主要研究方向為并行與分布計算、信息安全；龔儉(1957-)，男，上海人，教授，博導，博士，主要研究方向為網絡安全、網絡行為學.

（1揚州大學 信息工程學院， 江蘇 揚州 225009；2.東南大學 計算機科學與工程學院， 南京210096）

摘 要：基于進程行為的異常檢測技術具有較好的檢測效果，有望成為異常檢測實用化的突破口。從看待正常的角度以及建模方法兩方面對該領域研究進展進行總結，對主要方法的誤差特性和檢測復雜性進行分析，對后續研究工作具有參考意義。

關鍵詞：進程行為；異常檢測；入侵檢測

中圖分類號：TP309

文獻標志碼：A

文章編號：1001-3695(2008)10-2885-04

Anomaly detection research based on program behavior: a survey

SUN Mei-feng¹， HUANG Fei¹， YIN Xin-chun¹， GONG Jian²

(1College of Information Engineering， Yangzhou University， Yangzhou Jiangsu 225009， China; 2.College of Computer Science Enginee-ring， Southeast University， Nanjing 210096， China)

Abstract:Because of good detection effects in practice， anomaly detection based on program behavior is expected to become the starting point for practical. This paper not only summarized the research progress of this field in two aspects: the angle of looking at normal and the methods of making models， but also analyzed error characteristics and complexity of main methods. This paper was worth referring to the future research.

Key words：program behavior; anomaly detection; intrusion detection

入侵檢測是指識別惡意破壞計算機或網絡系統安全行為的過程，對計算機或網絡系統中的若干關鍵信息進行收集、分析，從中發現網絡或系統中是否有違反安全策略的行為和被攻擊的跡象[1]。根據事先定義的入侵行為或正常行為，入侵檢測是分為濫用檢測和異常檢測。濫用檢測是指事先定義入侵行為（特征），檢測時將被監測系統的實際狀態或用戶的實際行為與入侵特征進行匹配，并根據匹配結果判斷入侵是否出現。其優點是誤報率低且結論明確；缺點是無法發現未知的入侵行為。異常檢測是指事先定義系統的正常行為模式，當系統當前行為與正常行為的差異超出指定的閾值，就進行入侵報警。其優點是可以發現未知的入侵行為；缺點是誤報率高，目前還未能進入實用階段。

由于入侵的發展和更新頻率越來越快，人們對能夠及時捕捉新入侵的異常檢測技術有著迫切的需求。在各種各樣的異常檢測方法中，Forrest等人提出的基于特權進程在運行中發出的系統調用建立正常行為模型的方法引人矚目[2]。系統調用是程序代碼中確定了的，盡管運行中會因環境的不同選擇不同的分支，但系統調用序列總體來說相對穩定；并且研究也表明大量針對服務器的攻擊會導致系統調用的變化，因此以系統調用序列為監測主體在實踐中具有較好的檢測效果，有望成為異常檢測實用化的突破口，同時也是入侵檢測領域最活躍的研究點之一。例如，Forrest等人采用固定長度的系統調用短序列集作為模型進行異常檢測[2]；文獻[3~7]提出采用可變長度的短序列建立正常模型；文獻[8，9]分別利用Markov（馬爾可夫）鏈和隱Markov鏈為進程行為建模等方法。本文將對此研究領域涉及的技術和方法進行詳細的介紹和討論，以明確研究現狀和未來方向。

總的來說，異常檢測方法涉及兩個問題：a）為正常行為建模；b）比較系統當前行為和正常行為模型，判斷當前行為是否異常。如何比較依賴于模型，因此異常檢測方法的關鍵是建立準確的正常行為模型。進一步地，這依賴于：a）用做定義正常的訓練數據的生成方法；b）建模方法，即用什么樣的數學方法描述系統調用序列并計算異常度。本文即從以上兩方面展開。

1 訓練數據的生成方法

合法行為是指程序代碼給定的行為集；正常行為是運行環境作用于程序的結果，是合法行為的子集。隨著環境不同，同一個程序可能表現出不同的正常行為模式。合法行為和正常行為的關系如圖1所示。

為了得到進程在特定環境下的正常行為數據，最直接的方法就是將進程置于實際的應用環境中運行并收集它們發出的系統調用序列。問題是實際環境的狀態是動態變化和不可控的，人們無法保證其中不存在入侵行為。因此訓練數據與正常行為集完全重合的理想情形在實現上不可行，各種訓練方法得到的正常行為集都存在誤差。目前主要方法有動態模擬、靜態分析和多副本比較等，它們代表著不同的誤差特性。

1）動態模擬

文獻[2]在一個隔絕的模擬正常環境中收集系統調用序列，并基于它建立正常行為模型。但是模擬的正常環境畢竟不等于實際運行的正常環境，兩者的差異必然導致正常行為定義的誤差，最終導致漏報和誤報。如圖1所示，模擬環境A和運行環境B的正常行為集相交，所有屬于A但不屬于B的行為對應于漏報，所有屬于B但不屬于A的行為對應于誤報。

該方法實現簡單，在Linux系統下只需要采用LKM機制先收集到系統運行時所有進程發出的系統調用；然后將所需要監控的進程系統調用分離出來即可。動態模擬是早期基于進程行為的異常檢測研究主要采取的方法，如文獻[2~11]都采用這種方法收集數據。

2）靜態分析

D.Wagner等人[12，13]利用編譯器對程序的二進制代碼進行分析，從中抽取系統調用，并將這些系統調用的順序關系描述成系統調用控制流圖(實質上是一個非確定性有限狀態自動機)；然后截取進程運行中發出的系統調用來驅動這個自動機改變狀態。如果某個調用導致自動機所有路徑都被堵塞，就可以判斷為異常。該方法被稱為基于規范的異常檢測方法。

與動態模擬方法相比，靜態分析的方法刻畫的是進程的合法行為而不是正常行為。由于所有正常行為都是合法行為，該方法不會產生誤報。同時，這種方法能夠獲取更多的程序信息，如系統調用所處的程序狀態，使得進程行為模型更為準確，從而減少漏報。因此，靜態分析方法在實踐中取得了較好的檢測效果，特別適合于各種通過內存溢出引入惡意代碼達到攻擊目的的入侵。但是無論如何，這種方法無法識別合法但異常的行為。由于是靜態分析，無法觀測到程序動態執行時才能有的現象，如與其他程序的互動等。

3）多副本比較

Gao De-bin等人[14，15]以實際環境中進程副本的行為作為參考點進行異常檢測，本文稱之為基于多副本比較的方法。在該方法中，同時運行多個進程副本，副本與被測進程具有相同或相似的功能，也許是同一軟件在不同平臺下的版本，所有送往被測進程的請求被同時送往這些副本。由于運行環境相同，它們應給出相近的響應并且系統調用序列相近；當進程與其副本間行為有偏差時，表明進程受到攻擊。與前面的兩種方法相比，由于被測進程及其副本處在相同的外界環境下，避免了因環境不同而導致的誤差，該方法定義的正常行為最符合實際情形。文獻[14]中的實驗表明用該方法構造的檢測模型具有較低的誤報率，并且能夠很好地檢測出模仿攻擊。但是，使用這種方法需要同時運行進程的副本，增加了資源消耗。

2 建模方法

得到正常行為的系統調用序列后即可建立正常行為模型，即采用某種方法描述收集到的系統調用軌跡，盡可能少地丟失原序列中的信息，同時又能保證處理的有效性。

2. 1 短序列列舉

1）定長序列 Forrest等人[2]提出時延嵌入序列(TIDE)方法列舉出現在訓練數據中所有惟一的、長度為K的短序列來構造進程正常行為輪廓的數據庫。具體方法是用長度為K的窗口通過訓練期間收集到的每個系統調用軌跡，一次滑動一個系統調用，當窗口內的短序列為首次出現時，將其添加到輪廓數據庫中。檢測時，同樣用長度為K的窗口滑過進程的當前系統調用序列，并將窗口內的短序列和輪廓數據庫中的短序列依次進行比較，如在數據庫中搜索不到則稱為不匹配。任何一次不匹配都說明該序列沒有包括在進程的正常行為輪廓數據庫中，它可能是異常行為。通過計數不匹配的次數，求出不匹配次數占數據庫中總序列的比率，如超出設定閾值，則進程行為異常。在文獻[10]中論證了局部區域的不匹配數目有時也能夠較好地表征異常行為，進而提出了改進的STIDE方法，把出現在局部區域的不匹配數目作為一種異常行為的度量，這樣能夠適應在線檢測的需要。Warrender等人[9]對STIDE方法進行改進，提出了帶（頻率）門限的STIDE方法，即t-STIDE。 考慮系統調用序列的出現概率，檢測時將訓練中出現概率小于一定閾值的序列從序列庫中忽略掉。

總的來說，定長序列的模式庫容易構造。但是模式長度的確定受到兩個相互矛盾的條件制約：a）從精度的角度，人們期望使用長模式，模式越長，模式與入侵生成的事件序列相匹配的可能性越小；b）從復雜性的角度，人們期望使用短模式，隨著長度的增加，模式庫的規模將成指數倍增長。目前，該問題還沒有很好的解決辦法。

2）變長序列 為了兼顧長模式帶來的精度以及短模式帶來的計算有效性，Debar等人[3]首次提出采用變長系統調用序列作為模式。同時，與定長模式相比，變長模式更符合模式的實際情形。例如，FTP服務器進程受用戶命令驅動，每個命令對應一個系統調用序列，隨著用戶命令的不斷執行，這些系統調用序列將在進程的系統調用軌跡中頻繁出現。顯然，在這種情形下，作為模式的應是與每個用戶命令對應的系統調用序列，其長度依賴于命令。變長模式的觀點在提出后得到了研究者的積極響應，隨后出現了各種變長序列模式發現算法[4~7]。

文獻[4]通過構造后綴樹的方法提取變長模式；Eskin等人[5]在Lee等人[11]工作的基礎上提出了基于變長時間窗的方法提取變長序列；Wespi等人[7]則采用Teiresias算法發現進程系統調用的變長模式，該算法性能較好，與輸出是線性關系。在模式提取時，先用Teiresias算法產生最大模式，再經過模式的約簡生成變長模式庫，檢測時采用前向預測的算法匹配序列，計算不匹配的次數，當次數大于閾值時即判斷為入侵。

2. 2 狀態變遷法

1）Markov鏈模型

利用Markov鏈描述系統調用序列基于兩個假定[9]：a)在時間t+1的狀態概率分布依賴于時間t的狀態，而不依賴于時間t之前的狀態；b)從t到t+1的狀態變遷與時間無關。

將系統調用看做狀態，則得到進程行為的Markov鏈模型λ=(Φ，π，P)。其中：Φ={C1，C2，…，Ci，…，Cn}表示狀態集合；π為初始狀態分布；P=|pCi，Cj|n×n表示狀態轉移概率矩陣，元素pCi，Cj表示系統在t時刻處于狀態Ci，t+1時刻處于狀態Cj的概率。當給定進程的系統調用軌跡，通過計算每個系統調用在軌跡中的出現頻率得到初始狀態分布；通過計算每個狀態Cj在Ci下的條件概率得到狀態轉移矩陣，即pCi，Cj=NCi，Cj/NCi。其中：NCi，Cj表示狀態Ci和Cj相鄰出現的次數；NCi表示狀態Ci出現的次數。

檢測時，根據Markov鏈模型容易計算當前系統調用序列的概率P(Ci，…，Ci+m)=πCi∏m-1j=0pCi+j ，Ci+j+1。該概率值越大，說明事件序列越正常；反之，序列是異常的可能性越大。

以Markov鏈作為進程行為模型的優點是只需存儲初始狀態分布及狀態轉移矩陣，由于狀態數少，節省存儲空間；同時模型簡單、計算量小。本質上，一階Markov鏈模型只刻畫了相鄰兩個系統調用的關聯信息，不能反映系統調用軌跡的有關高階信息。例如，假定系統調用軌跡中頻繁出現的“ab”“bc”，但沒有出現連續的“abc”，可是按照Markov鏈模型計算得到的“abc”出現概率卻極有可能在正常閾值以內。因此Markov鏈模型精確度不高。

2）隱Markov模型 Warrender等人[9]在1999年引入Markov模型檢測入侵。Markov模型是一個雙重隨機過程，即內含一個不可見的(隱藏的)從屬隨機過程的隨機過程，此不可見的從屬隨機過程只能通過另一套產生觀察序列的隨機過程觀察得到。

隱Markov模型記為λ=(X，O，A，B，π)。其中：X={q1，…，qN}為狀態值的有限集合；O={v1，…，vM}為觀察值的有限集合；A={aij}，aij=p{Xt+1=qj|Xt=qi}為狀態轉移概率；B={bik}，bik=p(Ot=vk|Xt=qi)為觀察值輸出概率；π={πi}，πi=p(X1=qi)為初始狀態分布。使用Baum-Welch算法可以得到隱Markov模型的參數，進而構造隱Markov模型。

檢測時，對于觀察值序列O使用前向遞推算法計算其在隱Markov模型λ下出現的概率P(O|λ)，該概率值越大，說明事件序列越正常；反之，序列是異常的可能性越大。

與Markov鏈模型相比，隱Markov模型更精確，訓練過程比較耗時間，大約需要O(TS²)。其中：T為系統調用的長度；S是系統狀態的個數。但其存儲要求也較高，需要保留的中間值為T(2S+1)個浮點值。對隱Markov模型的詳細描述參見文獻[16]。

2. 3 基于神經網絡的方法

神經網絡具有自組織和自學習能力，在入侵檢測領域也有應用。例如文獻[17]使用一種再生的神經網絡來學習審計數據中的時間序列；文獻[18]提出使用BP神經網絡建立時間序列的預測模型。基于系統調用的檢測方法提出后，Ghosh等人[19]利用神經網絡學習程序軌跡中的局部模式，這種方法比以前的方法更精確、簡潔。

訓練得到的神經網絡還可以隨著應用的進行不斷調整主體的特征模式，使得特征輪廓具有自適應特性。這個輪廓對于一些偶然發生但仍屬于正常范圍的特征量和未知入侵行為的變異都可以作出正確反映，降低了系統虛警率，更加適應網絡環境的千變萬化。神經網絡本身就可以將所描述的行為特征“記憶”下來，因此不需要另外的存儲空間來存儲特征數據庫。

選擇神經網絡的目的就是要利用它的自學習性，使得系統在數據不完整和易變的情況下仍然能得到一個全面的特征輪廓。算法的選擇與網絡功能設計息息相關。運用神經網絡進行入侵檢測典型的方法是多層前饋網絡(multilayer feedforward neural networks， MFNN)的反向傳播(back propagation， BP)學習算法。

2. 4 基于數據挖掘的方法

數據挖掘是一項通用的知識發現技術，其目的是從海量數據中提取出隱藏的規律性知識。Lee等人將數據挖掘技術引入到入侵檢測領域[20~22]，用于從審計數據中自動獲取進程的行為模式。Lee等人利用改進的RIPPER算法挖掘進程行為的規則以進行異常檢測[20，21]；在文獻[22]中用改進的Apriori算法從訓練序列中挖掘模式，建立模型來檢測入侵。

數據挖掘的優點在于處理大量數據的能力與進行數據關聯分析的能力。但是對于實時入侵檢測，這種方法還需要加以改進，需要開發出有效的數據挖掘算法和相應的體系。因此，基于數據挖掘的檢測算法將會在入侵預警方面發揮優勢。

2. 5 其他建模方法

其他建模方法還有基于支持向量機[23]、基于貝葉斯推理[24]、基于貝葉斯網絡[25]、基于貝葉斯聚類[26]等。隨著入侵的發展變化，單獨使用一種建模方法已經無法滿足檢測的要求。文獻[27]將定長序列與隱Markov模型相結合；文獻[28]將變長序列與隱Markov模型相結合，得到更為精確的模型。

3 結束語

通過分析進程行為來進行入侵檢測不僅準確性高、誤警率低，而且穩定性好，有望成為異常檢測技術實用化的突破口，是目前國際上研究的熱點。目前大部分方法只是處于實驗階段，其有效性有待進一步驗證。將多種方法結合以提高模型的準確性是目前的趨勢。

參考文獻：

[1]DENNING D E. An intrusion-detection model[J]. IEEE Trans on Software Engineering， 1987， SE-13(2):222-232.

[2]FORREST S， HOFMEYR S A， SOMAYAJI A， et al. A sense of self for UNIX processes[C]//Proc of IEEE Symposium on Security and Privacy. Washington DC: IEEE Computer Society，1996: 120-128.

[3]DEBAR H， DACIER M， NASSEHI M， et al. Fixed vs.variable-length patterns for detecting suspicious process behavior[C]//QUISQUATER J， DESWARTE Y， MEADOWS C. Proc of the 5th European Symposium on Research in Computer Security. London: Springer-Verlag， 1998: 1-15.

[4]MARCEAU C. Characterizing the behavior of a program using multiple length n-grams[C]//Proc of the New Security Paradigms Workshop. New York: ACM Press， 2000: 68-74.

[5]ESKIN E， LEE W， STOLFO S J. Modeling system calls for intrusion detection with dynamic window sizes[C]//Proc of DARPA Information Survivability Conference Exposition Ⅱ. Washington DC: IEEE Compu-ter Society， 2001:165-175.

[6]BRAZMA A， JONASSEN I， EIDHAMMER I， et al. Approaches to the automatic discovery of patterns in biosequences[R]. Bengen: University of Bengen， 1995.

[7]WESPI A， DACIER M， DEBAR H. Intrusion detection using variable-length audit trail pattern[C]//Proc of the 3rd International Workshop on the Recent Advances in Intrusion Detection. London: Sprin-ger-Verlag， 2000: 110-129.

[8]YE Nong. A Markov chain model of temporal behavior for anomaly detection[C]//Proc of IEEE Systems， Man， and Cybernetics Information Assurance and Security Workshop. New York: IEEE Compu-ter Society，2000:171-174.

[9]WARRENDER C， FORREST S， PEARLMUTTER B. Detecting intrusion using system calls: alternative data models[C]//Proc of IEEE Symposium on Security and Privacy. Washington DC: IEEE Computer Society， 1999:133-145.

[10]HOFMEYR S A， FORREST S， SOMAYAJI A. Intrusion detection using sequence of system calls[J]. Journal of Computer Security， 1998， 6(3): 151-180.

[11]LEE W， STOLFO S J， CHAN P K. Learning patterns from UNIX process execution traces for intrusion detection[C]//Proc of AAAI Workshop on AI Approaches to Fraud Detection and Risk Management. Providence: AAAI Press， 1997:191-197.

[12]WAGNER D， DEAN D. Intrusion detection via static analysis[C]//Proc of IEEE Symposium on Security and Privacy. Washington DC: IEEE Computer Society， 2001: 156-168.

[13]LAM L C， HIUEH T C. Automatic extraction of accurate application-specific sandboxing policy[C]//Proc of the 7th International Symposium on Recent Advances in Intrusion Detection. Berlin: Springer， 2004: 1-20.

[14]GAO De-bin， REITER M K， SONG D. Behavioral distance for intrusion detection[C]//Proc of the 8th International Symposium on Recent Advances in Intrusion Detection. Berlin: Springer， 2005: 63-81.

[15]GAO De-bin， REITER M K， SONG D. Behavioral distance measurement using hidden Markov models[C]//Proc of the 9th International Symposium， on Recent Advances in Intrusion Detection. Berlin: Springer， 2006:19-40.

[16]RABINER L R. A tutorial on hidden Markov models and selected applications in speech recognition[J]. Proceedings of the IEEE， 1989，77(2):257-286.

[17]DEBAR H， BECKER M， SIBONI D. A neural network component for an intrusion detection system[C]//Proc of IEEE Symposium on Security and Privacy. Washington DC: IEEE Computer Society， 1992: 256-266.

[18]GENT C R， SHEPPARD C P. Predicting time series by a fully corrected neural network trained by back propagation [J]. Computing and Control Engineering Journal， 1992， 12(5): 123-127.

[19]GHOSH A K， SCHWARTZBARD A， SCHZTZ M. Learning program behavior profiles for intrusion detection[C]//Proc of the 1st USENIX Workshop on Intrusion Detection and Network Monitoring. Berkeley: USENIX Association， 1999:9-12.

[20]LEE W， STOLFO S J. Data mining approaches for intrusion detection[C]//Proc of the 7th USENIX Workshop on Security Symposium. Berkeley: USENIX Association， 1998: 26-29.

[21]LEE W， STOLFO S J， MOK K W. Mining audit data to build intrusion detection models[C]//Proc of the 4th International Conference on Knowledge Discovery and Data Mining. New York: AAAI Press， 1998:212-225.

[22]LEE W， STOLFO S J， MOK K W. A data mining framework for building intrusion detection models[C]//Proc of IEEE Symposium on Security and Privacy. Washington DC: IEEE Computer Society，1999:120-132.

[23]ESKIN E， ARNOLD A， PRERAU M， et al. A geometric framework for unsupervised anomaly detection: detecting intrusions in unlabeled data[M]//BARBARA D， JAJODIA S. Applications of Data Mining in Computer Security. Boston: Kluwer Academic Publishers， 2002: 78-99.

[24]LUNT T F， TAMARU A， GILHAM F， et al. A real-time intrusion detection expert system (IDES)[R]. Menlo Park: Computer Science Laboratory， SRI International， 1992.

[25]VALDES A， SKINNER K. Adaptive model-based monitoring for cyber attack detection[C]//Proc of the 3rd International Symposium on Recent Advances in Intrusion Detection. Berlin: Springer， 2000: 80-92.

[26]KUMAR S. Classification and detection of computer intrusions[D]. Chicago : Purdue University， 1995.

[27]RAMAN C V， ATUL N. A hybrid method to intrusion detection systems using HMM[C]//Proc of the 2nd International Conforence on Distributed， Computing Internet Technology. Berlin: Springer， 2005:389-396.

[28]林果園， 郭山清， 黃皓，等. 基于動態行為和特征模式的異常檢測模型[J]. 計算機學報， 2006， 29(9): 1553-1560.

[29]劉雪飛， 馬恒太， 張秉權， 等. 基于系統調用的異常入侵檢測研究[J]. 計算機工程與應用， 2004， 40(17): 40-43.