面向不穩定日志的一致性異常檢測方法

摘要：系統日志被用作系統異常檢測的主要數據源.現有的日志異常檢測方法主要利用從歷史日志中提取的日志事件數據構建檢測模型，即假設日志數據隨時間的推移其分布規律具有穩定性.然而，在實踐中，日志數據往往包含以前未出現過的事件或序列.這種不穩定性有兩種來源：1）日志發生了概念漂移;2）日志處理過程中引入了噪聲.為緩解日志中出現的不穩定問題，設計了基于置信度協同多種算法的異常檢測模型EBCAD（Ensemble-Based Conformal Anomaly Detection）.首先，用統計量p值度量日志之間的不一致性，選擇多個合適的集成算法作為不一致性度量函數計算不一致性得分進行協同檢測;然后，設計了基于置信度的更新機制來緩解日志不穩定問題，將新日志的不一致性得分添加到已有得分集，更新日志異常檢測的經驗;最后，根據協同檢測得到的置信度與預設置信水平大小來判斷不穩定日志是否異常.實驗結果表明，在HDFS日志數據集中，當不穩定數據注入率從5%增加到20%時，EBCAD 模型的F₁值僅從0.996降低到0.985;在BGL_100K日志數據集中，當不穩定數據注入率從5% 增加到20%時，EBCAD的F₁值僅從0.71降低到0.613.證明EBCAD在不穩定日志中可以有效檢測到異常.

關鍵詞：異常檢測;日志分析;不穩定日志;置信度;不一致性度量;更新

中圖分類號：TP391文獻標志碼：A

Conformal Anomaly Detection Method for Unstable Logs

LIU Chunbo LIANG Mengmeng HOU Jingwen GU Zhaojun WANG Zhi3

（1. Information Security Evaluation Center，Civil Aviation University of China，Tianjin 300300，China;

2. College of Computer Science and Technology，Civil Aviation University of China，Tianjin 300300，China;

3. College of Cyber Science，Nankai University，Tianjin 300350，China）

Abstract：System logs are used as the primary data source for system anomaly detection. Existing log anomaly detection methods mainly use log event data extracted from historical logs to build detection models，that is，the distribution of log data is assumed to be stable over time. However，in practice，log data often contains events or sequences that have not occurred before. The instability comes from two sources：1）conceptual drift occurs in logs;2）noise is introduced during log processing. In order to alleviate the problem of instability in logs，an anomaly detection model called Ensemble-Based Conformal Anomaly Detection （EBCAD）based on confidence degree and multiple algorithms is designed. Firstly，the p-value statistics are used to measure the non-conformity between logs，and multiple appropriate ensemble algorithms are selected as the non-conformity measure functions to calculate the non- conformal scores for collaborative detection. Then，an update mechanism based on confidence is designed to alleviate the problem of log instability. By adding scores of new logs into existing sets，the experiences of log anomaly detection are updated. Finally，according to the confidence degree and the preset significance level obtained by collaborative detection，the unstable log is judged to be abnormal. The experimental results show that when the unstable data injection rate increases from 5% to 20% in HDFS log data set，the F₁-score of EBCAD model only decreases from 0.996 to 0.985. In the BGL_100K log data set，when the unstable data injection rate increases from 5% to 20%，the F₁-score of EBCAD decreases only from 0.71 to 0.613. This proves that EBCAD can effectively detect anomalies in unstable logs.

Key words：anomaly detection;log analysis;unstable log;confidence;non-conformity measure;update

日志數據詳細記錄了系統的所有狀態和行為，特別是在大規模分布式系統和工業物聯網（IIoT）中.管理員可以從大規模日志數據中發現和識別系統異常[1]，跟蹤系統行為[2]，防御惡意攻擊[3]基于日志的異常檢測[4-6]將幫助管理員快速定位和解決事故問題，構建安全可信的系統.但傳統方法往往使用關鍵字搜索或正則表達式匹配，這往往需要領域知識，人工檢查效率低.因此，高效、實時的基于日志的異常檢測算法具有一定的理論和實際應用價值.

但是，概念漂移或模型老化[7]往往會出現在動態變化和不穩定的環境中.有些系統需要7×24小時運行來支持廣泛的智能應用程序和在線服務.各種各樣的運行程序將生成比以前更復雜和可變的日志.如果以往日志訓練的模型、超平面或分類器等概念不隨日志數據的分布而變化，這些算法就不能正確識別異常事件.因此，基于日志的異常檢測算法面臨著不穩定問題，表現為在系統劇烈變化環境下的精度降低現象.根據Zhang等人[8]的分析結果，日志數據不穩定的原因主要來自兩個方面：1）日志語句受軟件升級和外部環境影響而自然發生的變化，即概念漂移;2）日志數據在采集和解析過程中所引入的噪聲.

盡管許多算法在實際環境中取得了良好的性能，如支持向量機[9]（Support Vector Machine，SVM）、樸素貝葉斯[10]（Naive Bayes，NB）、決策樹[11]（Decision Tree，DT）、隨機森林[12]（Random Forest，RF）等.但在處理不穩定日志時仍面臨許多挑戰，為應對不穩定問題，它們經常使用周期性的再訓練，但這往往需要領域知識且效率低下，并不能解決問題.這些算法以粗粒度檢測異常，而不考慮同類型日志數據的差異或日志數據之間的不一致性;另外日志訓練出來的模型、超平面、分類器等概念不隨日志數據的分布而變化，缺乏動態更新以前經驗的機制.

為減少日志不穩定問題對基于日志的異常檢測算法的干擾，本文設計了一個基于置信度的動態日志多算法協同異常檢測模型EBCAD（Ensemble-Based Conformal Anomaly Detection）.它使用多種學習算法進行協同檢測.首先，設計了集成多種算法的不一致性度量模塊，計算統計值p值;其次，構建了基于置信水平的預測集，通過動態調整置信水平來標記一個可信標簽;然后，將包含標簽、不一致性得分和待檢測日志置信度的結果反饋到包含相應標簽的得分集中，作為已有的經驗來計算后續檢測中的p值;最后，根據協同檢測得到的置信度與預設顯著性水平大小來判斷不穩定日志的新樣本是否異常.

本文的結構如下：首先介紹了日志中的不穩定問題，其次對模型EBCAD進行了詳細介紹，然后展示了實驗結果并對其進行了分析，最后對論文進行了總結.

1問題描述

1.1日志不穩定問題

1.1.1日志的概念漂移

隨著軟件升級和外部環境變化，一些舊的日志事件將會發生部分變化或者不復存在.圖1給出了微軟在線服務系統日志事件的變化[8].

場景1：原始日志事件后面增加“for bindingId”作為補充說明.

場景2：原始日志事件前面添加關鍵字“MiniMerge”，說明程序執行階段.

1.1.2日志處理過程中產生的噪聲

在日志數據的采集過程中，不可避免地會引入一定程度的噪聲，例如由于網絡錯誤、系統吞吐量有限、存儲不足等問題導致日志丟失、重復或混亂現象發生而引入噪聲.另一種重要的噪聲來源是日志解析.不準確的日志解析會影響異常檢測模型[13]的性能.He等人[14]、Zhu等人[15]對SLCT[16]、IPLoM[17]、LKE[18]、LogSig[19]等常用的日志解析器進行了評估，指出現有的日志解析器如LogSig存在處理某些數據集時不夠準確的問題.He等人[14]還指出解析過程中4%的錯誤甚至會導致異常檢測的性能下降一個數量級，這是因為異常檢測分類器對一些關鍵事件較為敏感，但日志解析器對這些關鍵事件進行了錯誤解析.圖2顯示了微軟在線服務系統日志解析過程中出現錯誤的案例[8].

場景1：與真實日志事件相比，日志解析器遺漏了關鍵字”resize”.

場景2：日志解析器錯誤地將參數“rtc”作為日志事件的關鍵字.

1.2現存算法面臨挑戰

動態日志隨著時間的推移而變化，僅僅基于以前的檢測模型很難做出準確的決策.這就要求檢測模型可以根據動態日志進行動態調整.然而，以往基于日志的異常檢測算法（SVM、LR、DT等）的決策往往僅分析新日志是正常的還是異常的，而不考慮算法是如何確定選擇的，忽略了新日志和已有日志的不一致性.例如支持向量機通常忽略了測試對象距離超平面的距離，僅僅根據在超平面的哪一側做決策.統計評估則利用這個距離檢測待測對象的不一致性并用來判斷是否屬于別的類.此外，統計評估還告訴我們，與同一類中的舊日志相比，已提交的新日志是如何屬于某個類的，以及與同一事件中的其他日志相比，新日志是屬于正常事件還是異常事件.然而，基于概率的傳統度量，如準確率、召回率和F₁不能評估分類器的決策，只能表明一個新日志屬于正常事件或異常事件的可能性有多大.

幸運的是，Vovk等人[20]基于統計評估的一致性預測（Conformal Predictor，CP）理論，可以利用以前的經驗來確定新的預測的精確置信水平.因此，我們將使用這種方法將新日志和歷史日志聯系起來，并根據數據分布的變化更新以前的經驗.在一致性預測[21]中，我們可以得到一個統計量p值，它可以用來計算置信度，并指導算法進行決策或評估.它還可以輸出具有可信度和置信度的二分類預測，或給出固定置信度下的預測集.通過將之前的數據引入決策中，可以有效減少數據分布變化引起的數據集不穩定問題.

2模型框架

在本節中，我們將詳細描述EBCAD的每個步驟.如圖3所示，EBCAD主要包括三個步驟：數據預處理、不一致性度量、異常檢測.我們首先將非結構化原始日志預處理為結構化特征矩陣.在置信度的指導下，我們選擇多個集成算法來組成不一致性度量模塊，這里選擇的集成算法分別是AdaBoost和RF，分別記為CP-AB和CP-RF.最后，我們調整顯著性水平，將檢測到的日志序列標記為一個標簽同時附加置信度，并反饋給相應的類作為后續檢測的經驗.

2.1數據預處理

日志數據預處理的詳細過程見圖4.

2.1.1日志數據

現代大型系統通過日志來記錄系統的運行情況，每條日志包含無結構化的數據，例如時間戳、日志優先級、系統組件和日志序列.通常，日志消息用一組字段記錄特定的系統事件.從Amazon EC2平臺的日志中提取了8行日志（圖4），為了便于表示，這里省略了一些字段.

2.1.2日志解析

日志是無結構的，包含自由文本.日志解析的目的就是提取一組事件模板，從而可以結構化原始日志.每一條日志消息被解析為一個事件模板（常量部分）和一些具體的參數（變量部分），正如圖4所展示的那樣，第一條日志消息被解析為事件模板“Event 1”：PacketResponder * for blocking * terminating.對于自動化日志解析器的有效性，可以用解析準確率[22]來評估，即成功解析的日志事件在全部日志消息中所占比例.解析后，每個日志消息都有一個事件模板，該事件模板對應于同一模板的一組消息.當且僅當日志消息的事件模板與真實數據對應的日志消息組相同時，日志消息被認為正確解析.例如，一個日志序列是[E E E3]，如果經過日志解析后變為[E E E2]，那么解析正確率即為1/3.經過比較，本文采用Drain作為日志解析器，因為在13種常見的日志解析器中，Drain的解析準確率最高[15].盡管Drain也會引入不同程度的噪聲，但是本文提出的EBCAD模型可以緩解因解析器不夠準確帶來的日志不穩定問題.

2.1.3特征向量提取

這個步驟的主要目的是從日志事件中提取有價值的特征，這些特征可以提供給異常檢測模型.特征提取的輸入為日志解析步驟中生成的日志事件，輸出為事件計數矩陣.在每個日志序列中，將每個日志事件的發生次數計數到日志解析器中，以形成事件計數向量.例如，如果事件計數向量為[0，0，" 0，0，0]，則意味著在這個日志序列中，事件3發生了兩次，事件4發生了三次.最后，構造全部的事件計數向量構成事件計數矩陣A，其中序列A_ij記錄了事件j在第i個日志序列中發生的次數.

2.2一致性預測

2.2.1不一致性度量

不一致性度量模塊是一個接口和算法獨立的模塊，在顯著性水平的指導下，使用適當的算法作為不一致性度量，計算不一致性分數.通過一致性預測，我們將得到一個統計量p值.與概率不同的是，p值是基于具有相同標簽的所有分數計算的.p值越大，則新日志與具有相同標簽的舊日志的一致性越高.許多先前得分較低的日志將證明新的日志更接近這個類.因此，我們可以檢測新的日志消息是否異常，并獲得一個有置信度的標簽.

不一致性度量模塊作為EBCAD的核心，可以利用以往的經驗來確定新的預測的精確置信水平，并考慮以往數據與檢測數據之間的關系，而不考慮算法的內部細節和實現.我們首先選擇多種算法的評分函數作為不一致性度量來計算不一致性得分.評分函數記為：

式中：l^*代表新的日志消息，D代表數據集中的訓練集，L代表具有相同標簽的一組日志.

我們使用公式（1）來計算所有日志的不一致性得分.對于日志訓練數據集，每種算法將得到兩個不一致性得分集：正常得分集和異常得分集.對于日志檢測序列，也將通過每種算法獲得一個檢測日志得分.然后，根據公式（2）和公式（3）計算p值.將訓練序列集合記為K，日志解析算法產生的日志事件模板集合記為T，新日志的p值是K中至少與T中其他日志不相同的日志的比例.新日志的p值的計算公式記為：

為了減少算法的分類錯誤，選擇多個合適的算法組成這個模塊，根據真實的標簽將訓練日志事件分為正常日志事件和異常日志事件，然后我們得到兩個得分集和兩個p值.最后，為緩解日志中出現的不穩定問題，我們將檢測錯誤的測試日志序列的p值對應的得分作為后續檢驗的已有經驗，將其添加到對應的正常得分集或異常得分集中去，作為反饋機制.這將避免算法在不穩定環境中持續造成錯誤決策.

2.2.2點預測的置信度和可信度

一致性預測框架提供了兩個關鍵的指標：置信度和可信度.如上所述，測試對象x_n嘗試每個可能的標簽y_c∈y（y={正常，異常}）作為x_n的標簽，然后計算p值.最后選擇具有最大的p值對應標簽作為檢測對象x_n的標簽.

檢測標簽將由置信度（confidence）和可信度（credibility）來衡量.置信度定義為1減去第二大的p值，而可信度定義為最大的p值.直觀地說，高置信度表明，檢測標簽的所有其他候選者都是不可能的.低可信度意味著最大的p值很小，所以測試實例不是訓練集產生的分布.注意，如果數據集是獨立同分布的，可信度不會很低.

四種可能的結果如下：1）高可信度-高置信度.這是最好的情況，該算法能夠正確識別一個樣本對應一個類，并且只對應一個類.2）高可信度-低置信度.測試樣本很相似，屬于兩個或兩個以上的類.3）低可信度-高置信度.算法不能準確將測試樣本與數據集現存類別的任何一個類別聯系起來.4）低可信度-低置信度.算法給測試樣本檢測一個標簽，但它似乎與另一個標簽更相似.

2.3異常檢測

我們將使用p值來計算可信度，即對應標簽的p值，置信度就是1減去第二大的p值，偽代碼如算法1 所示.

算法1

輸入：訓練集{（x y₁），…，（x_n- y_n-1）}，測試實例x_n和一個給定的顯著性水平ε.

輸出：測試實例x_n的標簽以及置信度.

1）用訓練集{（x y₁），…，（x_n- y_n-1）}訓練集成分類器AdaBoost和隨機森林.

2）分別計算訓練集中正常樣本與異常樣本的{（x y₁），…，（x_l，y_l）}中的不一致性得分α α …，α_n-1.注意：α_i，i= …，n-1是步驟1）中集成學習后分類器的不一致性度量函數結果.

3）初始化檢測集合Γ^ε為空.

4）對每一個測試日志序列X，分別計算正常和異常的p值，即p_N和p_A.

5）比較p_N和p_A的大小，可信度取二者中較大的，置信度為1減去二者中較小的.如果置信度大于給定置信水平，待測樣本的標簽即為p值較大值對應的標簽，否則，待測樣本的標簽即為p值較小值對應的標簽.

6）將待測樣本的標簽以及置信度添加到檢測集合Γ^ε中.

7）根據真實標簽將檢測錯誤樣本對應的不一致性得分添加到對應的不一致性得分集合中，作為后續檢測經驗.

8）判斷待測樣本序列是否檢測完畢，如果沒有，轉到步驟4）;如果完畢，則輸出檢測集合Γ^ε.

3實驗及分析

3.1實驗設計

3.1.1數據集

HDFS數據集：HDFS數據集是一種常用的基于日志的異常檢測基準[23-24].它是通過在超過200個Amazon的EC2節點上運行基于Hadoop的MapReduce作業生成的，并由Hadoop領域專家進行標記.29個日志事件共產生24 396 061條日志消息.這些日志消息根據其block_id形成不同的日志序列，其中約2.9%表示系統異常.我們從原始HDFS數據集隨機收集6 000個正常日志序列和6 000個異常日志序列作為訓練集.

BGL_100K數據集：BGL數據包含100 000條日志信息，由勞倫斯利弗莫爾國家實驗室（LLNL）[25]的BlueGene/L超級計算機系統記錄.與HDFS數據不同，BGL日志沒有記錄每個作業執行的標識符.因此，我們必須使用固定窗口或滑動窗口將日志切片為日志序列，然后提取相應的事件計數向量.但是窗口的數量取決于所選的窗口大小和步長.在BGL_ 100K數據中，有2 613條日志消息被標記為失敗，如果一個日志序列中存在任何失敗日志，則該日志序列被標記為異常.

合成日志數據集：為了顯示EBCAD處理不穩定日志數據方法的有效性，我們基于原始HDFS和BGL_100K數據集創建了不穩定的測試數據集.我們主要模擬一種日志不穩定性，如圖5所示，根據Zhang等人[8]在實證研究中獲得的經驗，合成不穩定的日志數據.合成日志數據可以反映真實日志的不穩定特征.

不穩定日志序列：在日志演變或收集過程中，日志序列可能會發生變化.為了模擬不穩定的日志序列，從原始日志序列中隨機移除一些不重要的日志事件（它們不影響相應的異常狀態標簽）.隨機選擇一個不重要的日志事件，并在一個日志序列中重復幾次，將這些合成的不穩定日志序列按一定比例注入原始日志數據中.

為合成具有不穩定性的數據集，隨機從原始HDFS數據集中收集51 000個日志序列，其中包含50 000條正常和1 000條異常，異常百分比是2%，接近原始HDFS數據集的異常比例.隨機從原始BGL 數據集中收集100 000個日志序列，其中包含97 387 條正常和2 613條異常，異常百分比也是2%左右.將不穩定的日志序列注入其中，并創建一個測試集，表1和表2分別總結了合成的不穩定HDFS和BGL_ 100K數據集情況.

實驗在下列平臺進行：Inte（R）Core（TM）i7- 6700 CPU @3.40GHz 3.41 GHz，16.0 GB RAM，Windows 操作系統.

3.1.2評估指標

實驗評價采用基于混淆矩陣的二級評價指標：準確率（Accuracy）、精度（Precision）、召回率（Recall）和調和平均數（F₁）值.這些指標被用來評價算法異常檢測的有效性.

如上所示，Precision表示所報告的異常中正確的百分比，Recall表示所檢測到的真實異常的百分比，F₁表示Precision和Recall的調和平均值.

為了評估混淆矩陣中的真陽性（TP）、真陰性（TN）、假陽性（FP）和假陰性（FN）指標，采用馬修斯相關系數（MCC）.

3.2最佳置信水平的確定

本節我們探究不同置信水平下，EBCAD各指標的性能（圖6、圖7），從而確定最優的置信水平來繼續接下來的實驗.在圖6（2）中，F₁、MCC等隨著置信水平的增加而緩慢提高，在置信水平為0.995～1之間取得最大值，圖6（b）詳細描述了置信水平在0.995～1之間時，F₁、MCC等指標在HDFS數據集上的變化過程.可以觀察到，當置信水平為0.997的時候，F₁、MCC等指標的值達到最大.所以，對HDFS日志數據集我們將置信水平設置為0.997.

在圖7（a）中，當置信水平在0.5～0.9之間時，F₁、MCC等指標值隨著置信水平的增加而增加;當置信水平在0.85～1之間時，F₁、MCC等的指標值達到最大.圖7（b）詳細描述了置信水平在0.85～1之間時，F₁、MCC等指標在BGL_100K數據集上的變化過程.可以觀察到，當置信水平為0.92時，F₁、MCC等指標的值達到最大，所以，在BGL_100K數據集上，我們將置信水平設置為0.92.

3.3不穩定日志數據集實驗

3.3.1EBCAD的有效性

我們分別在原始HDFS和BGL_100K上訓練EBCAD，然后把訓練好的模型在合成的測試集（注入率，即不穩定日志序列注入的比例，分別為5%、10%、15%、20%）上測試.我們將EBCAD與傳統的單一決策分類器（LR、SVM、NB、CP）以及Zhang等人[8]提出的LogRobust（簡寫為LogR）進行了對比，實驗結果如表3和表4所示.在這里CP的底層算法有四種，

分別對應LR、DT、SVM、NB，我們只取達到最好效果的一種，具體達到的效果在3.3.2節中有所體現.在表3和表4中，可以看到EBCAD表現最好.即使在較高的不穩定比例20%的情況下，EBCAD依然能保持比較高的準確率.例如，當注入率為20%時，即20% 的原始日志序列被替換為人工合成的日志序列，EBCAD依然能保持穩健性.原因在于，一方面，在HDFS日志數據集上，EBCAD是在置信水平為0.997 下（即預測錯誤的概率不超過0.3%）的多模型協同檢測;在BGL_100K數據集上，EBCAD是在置信水平為0.92下的多模型協同檢測.一方面，相比于傳統的單一決策，EBCAD的決策過程是采用多個單一決策分類器數次迭代后產生的不一致性得分，這使得度量日志不一致性的統計量p值更精確，從而使異常檢測結果更準確，也因此緩解了單一決策分類器容易出現各種錯誤的問題.另一方面，EBCAD能夠將檢測錯誤的不穩定日志得分添加到之前的得分集合中，更新日志異常檢測的經驗，從而更好地適應不穩定環境.然而，傳統的單一分類器對以前未見過的日志序列無法重新學習，不能適應日志動態變化的環境，因此難以得到滿意的結果.

3.3.2集成學習的有效性

為探究集成學習對一致性異常檢測的影響，圖8 詳細記錄了在不穩定比例不同的數據集中，無集成學習與有集成學習條件下一致性異常檢測的結果.

從圖8（a）中我們看到，在不穩定比例分別為5%、10%、15%、20%的情況下，無集成學習的一致性預測中，CP-LR的F₁值最高，但EBCAD的F₁值高于CP-LR.從圖8（b）中看到，所有分類器的F₁值隨著不穩定比例數據的提高而呈下降趨勢.在無集成學習的一致性預測中，CP-NB的F₁值最高，但EBCAD的F₁值平均高出CP-NB 10%左右，達到了比較好的效果.

3.4穩定日志數據集實驗

HDFS數據集是在從未修改的Hadoop系統[26]中收集的，BGL數據來自勞倫斯利弗莫爾國家實驗室（LLNL）[25]BlueGene/L超級計算機系統記錄，所以它們在源代碼中沒有日志序列的變化.另外，HDFS數據集和BGL_100K數據集的所有日志事件都是直接從源代碼中識別出來的，可以排除解析錯誤等處理噪聲的影響，原始的HDFS日志和BGL_100K都是穩定的數據集.我們應用EBCAD在原始的HDFS數據集和BGL_100K上，依然采用表1所示的訓練集.將原始HDFS數據集中剩余的日志序列作為測試集，測試集共包含51 000條日志消息，其中1 000條表示異常行為.將原始BGL_100K數據集中剩余的日志序列作為測試集，測試集共包含40 000條日志消息，其中1 045條表示異常行為.

在HDFS數據集上的實驗結果如圖9所示，可以看到相比傳統分類器LR、DT、SVM、NB，EBCAD的F 1 和MCC值都更高.傳統分類器的Recall雖然都很高，但是它們的F1和MCC值沒有EBCAD高.

在BGL_100K數據集上的實驗結果如圖10所示，可以看到在傳統分類器中表現最好的是NB.與NB相比，EBCAD的F₁和MCC值明顯要高.

實驗結果表明，EBCAD不僅可以有效地應用于不穩定的日志數據集，而且可以有效地應用于穩定的日志數據集.

4結論

多年來，人們提出了許多基于日志數據的異常檢測方法來自動識別大規模軟件系統中的異常[26-28]，然而，現有的方法無法處理日志數據的不穩定性.為應對不穩定問題，傳統方法經常使用周期性的再訓練方法，但這往往需要領域知識且效率低下，并不能真正解決問題.傳統算法以粗粒度檢測異常，而不考慮同類型日志數據的差異或日志數據之間的不一致性.為此，本文提出了一種新的應對不穩定日志的異常檢測方法——EBCAD.它將新的日志和訓練日志數據集聯系起來，并將其作為以前的經驗用于不穩定日志中的決策.EBCAD選擇多個合適的算法，根據可信度共同做出決策，而不是僅依賴于單個算法做出決策.該方法在HDFS和BGL_100K兩個日志數據集上得到了良好的結果，并且在準確率、召回率、F₁和MCC等指標上都取得了更好的性能，驗證了EBCAD算法的有效性.

參考文獻

[1] MAKANJU A，ZINCIR-HEYWOOD A N，MILIOS E E. Fast entropy based alert detection in super computer logs [C]//2010 International Conference on Dependable Systems and Networks Workshops （DSN-W）. Chicago：IEEE，2010：52-58.

[2] OPREA A，LI Z，YEN T F，et al. Detection of early-stage enterprise infection by mining large-scale log data [C]//2015 45th Annual IEEE/IFIP International Conference on Dependable Systems and Networks. Rio de Janeiro，Brazil：IEEE，2015 ：45-56.

[3] XU W，HUANG L，FOX A，et al. Detecting large-scale system problems by mining console logs[ C]//Proceedings of the ACM SIGOPS 22nd Symposium on Operating Systems Principles - SOSP ，09. New York：ACM Press，2009：117-132.

[4]AHMED M，NASER MAHMOOD A，HU J K. A survey of net work anomaly detection techniques [J]. Journal of Network and Computer Applications ，2016，60：19-31.

[5] LIU C B，REN Y T，LIANG M M，et al. Detecting overlapping data in system logs based on ensemble learning method[J].Wire- less Communications and Mobile Computing，2020，2020：1-8.

[6]顧兆軍，任怡彤，劉春波，等.基于一致性預測算法的內網日志檢測模型[J].信息網絡安全，2020，20（3）：45-50.

GU Z J，REN Y T，LIU C B，et al Intranet log anomaly detection model based on conformal prediction[J] Netinfo Security，2020，20⑶：45-50.（In Chinese）

[7] JORDANEY R，SHARAD K，DASH SK，et al. Transcend ：detecting concept drift in malware classification models [C]//26th {USENIX} Security Symposium. 2017：625-642.

[8] ZHANG X，XU Y，LIN Q W，et al. Robust log-based anomaly detection on unstable log data[C]//Proceedings of the 2019 27th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering New York：ACM，2019：807-817.

[9]JOACHIMS T. Making large-scale SVM learning practical [R]. 1998.DOI：10.1162/153244302760200704.

[10] RISH I. An empirical study of the naive Bayes classifier[ C]//Proceedings of IJCAI 2001 Workshop on Empirical Methods in Artificial Intelligence. Seattle，USA：Morgan Kaufmann，2001：41-46.

[11] SAFAVIAN S R，LANDGREBE D. A survey of decision tree classifier methodology[J] IEEE Transactions on Systems，Man，and Cybernetics，199 21（3）：660-674.

[12] RAZAVI B，BEHZAD R. RF microelectronics [M]. New York：Prentice Hall，2012.

[13] XIE X S，WANG Z，XIAO X H，et al. A confidence-guided evaluation for log parsers inner quality[J]. Mobile Networks and Applications ，202 26（4）：1638-1649.

[14] HE P J，ZHU J M，HE S L，et al An evaluation study on log parsing and its use in log mining[C]//2016 46th Annual IEEE/IFIP International Conference on Dependable Systems and Networks （DSN）. Toulouse，France：IEEE，2016：654-661.

[15] ZHU J M，HE S L，LIU J Y，et al Tools and benchmarks for automated log parsing[C]//2019 IEEE/ACM 41st International Conference on Software Engineering：Software Engineering in Practice （ICSE-SEIP）. Montreal，QC，Canada：IEEE，2019：121-130.

[16] VAARANDI R A data clustering algorithm for mining patterns from event logs[ C]//Proceedings of the 3rd IEEE Workshop on IP Operations amp; Management （IPOM 2003）.Kansas City，MO，USA：IEEE，2003：119-126.

[17] MAKANJU A，ZINCIR-HEYWOOD A N，MILIOS E E. A light-weight algorithm for message type extraction in system application logs[J]. IEEE Transactions on Knowledge and Data Engineering，201 24（11）：1921-1936.

[18] FU Q，LOU J G，WANG Y，et al. Execution anomaly detection in distributed systems through unstructured log analysis [C]//2009 Ninth IEEE International Conference on Data Mining. Miami Beach，FL，USA：IEEE，2009：149-158.

[19] TANG L，LI T，PERNG C S.LogSig：generating system events from raw textual logs [C]//Proceedings of the 20th ACM International Conference on Information and Knowledge Management- CIKM′11. New York：ACM Press，2011：785-794.

[20] VOVK V，FEDOROVA V，NOURETDINOV I，et al. Criteria of efficiency for conformal prediction[C]//Conformal and Probabilistic Prediction with Applications. 2016：23-39. DOI：10.1007/978- 3-319-33395-3_2.

[21] REN Y T，GU Z J，WANG Z，et al.System log detection model based onconformal prediction[J].Electronics，2020，9（2）：232.

[22] DU M，LI F F.Spell：streaming parsing of system event logs[C]// 2016 IEEE 16th International Conference on Data Mining （ICDM）.Barcelona，Spain：IEEE，2016：859-864.

[23] BREIER J，BRANISOVA J. Anomaly detection from log files using data mining techniques[C]//Information Science and Applications，2015：449-457. DOI：10.1007/978-3-662-46578-3_53.

[24] XU W. System problem detection by mining console logs[D]. Berkeley：University of California at Berkeley，2010.

[25] OLINER A，STEARLEY J.What supercomputers say：a study of five system logs[C]//37th Annual IEEE/IFIP International Conference on Dependable Systems and Networks （DSN，07）. Edinburgh，UK：IEEE，2007：575-584.

[26] XU W，HUANG L，FOX A，et al.Detecting large-scale system problems by mining console logs[C]//Proceedings of the ACM SIGOPS 22nd Symposium on Operating Systems Principles-SOSP′09. New York：ACM Press，2009：117-132.

[27]賈統，李影，吳中海.基于日志數據的分布式軟件系統故障診斷綜述[J].軟件學報，2020，31（7）：1997-2018.

JIA T，LI Y，WU Z H.Survey of state-of-the-art log-based failure diagnosis[J].Journal of Software，2020，31（7）：1997-2018 .（In Chinese）

[28] LIU C B，PAN L L，GU Z J，et al.Valid probabilistic anomaly detection models for system logs[J].Wireless Communications and Mobile Computing，2020，2020：1-12.