基于主機日志的惡意登錄異常檢測方法

王偉

摘要：高級持續性威脅通常會利用網絡中的橫向移動來造成傷害。事實上，橫向移動占攻擊時間的 80% 以上。攻擊者通常使用竊取的憑據進行橫向移動。然而，目前的檢測方法更關注惡意用戶和主機，而不是表明惡意登錄的異常日志條目，無法有效檢測橫向移動。文章提出了一種惡意登錄檢測方法，主要針對竊取憑據的攻擊。細粒度方法采用時間神經網絡嵌入來學習主機跳躍表示。日志條目中學習到的主機向量和初始化的屬性向量被輸入具有登錄特征提取的注意力機制的長短期記憶中，從而確定登錄是不是惡意的。實驗結果表明，文章提出的方法優于幾種基線檢測模型。

關鍵詞：主機日志；惡意登錄；異常檢測

中圖分類號：TP399文獻標志碼：A

0 引言

機器學習和數據挖掘算法在入侵檢測系統設計中起著重要作用。在入侵檢測系統中，只要網絡中的活動序列與已知的攻擊簽名相匹配，就會檢測到系統中的攻擊。另外，在異常檢測方法中，可以基于系統狀態轉換與其正常狀態的顯著差異來識別系統中的異常狀態［1］。

1 相關概念與技術理論基礎

1.1 惡意登錄攻擊分析

異常登錄檢測是構建安全可信系統的關鍵一步。當登錄記錄中出現新用戶時，傳統方法判斷登錄發生了異常行為，但實際上，第一個登錄主體可能是攻擊者以外的新員工。高級持續性威脅（APTs）一直是大量研究的焦點通常表現為對特定目標的持續有效攻擊［2］。攻擊者通常會破壞主機，并采用隱藏策略進入睡眠狀態。橫向移動是攻擊的下一個關鍵且耗時的階段，會嘗試逐步移動到網絡中的其他機器并進行控制。因此，惡意登錄檢測對于對抗高級持續威脅至關重要。

1.2 惡意登錄檢測方法概述

惡意登錄檢測方法在描述用戶和主機之間交互的通信圖中建模登錄。然而，這些方法主要關注日志條目的部分屬性（例如登錄關系），以識別惡意用戶和主機，這是一種相對粗粒度的檢測策略。其他橫向移動檢測技術利用機器學習可以獲得更好的結果，然而，大多數技術都受到模型可解釋性的限制。此外，還有一些細粒度的檢測方法，包括主機表示學習和日志文件特征提取。主機表示學習使用時間神經網絡嵌入模型來學習初始主機向量，使主機登錄關系轉換為主機向量［3］。

1.3 深度學習理論基礎

最近，深度學習是一種廣泛使用的技術，可應用于入侵檢測系統以檢測惡意網絡流量。深度學習模型檢測效率的核心是基于數據集的質量訓練模型。本研究提出了一個帶有深度學習模型的檢測框架，使用由惡意和正常流量構建的數據集。用于提供惡意登錄異常檢測方法，以檢測網絡流量異常。這項研究的重大挑戰是將提取的特征用于訓練各種攻擊的模型，以區分異常流量和常規流量。數據集 ISOT-CID 網絡流量部分用于訓練 ML 模型。筆者添加了一些重要的列功能，并且批準該功能在訓練階段支持 ML 模型。ISOT-CID 數據集流量部分包含兩類特征，一類特征是從網絡流量中提取的，另一類特征是在特定時間間隔內計算的。筆者還展示了一個添加到數據集的新列特征，并證實它可以提高檢測質量。

2 基于實體嵌入的日志向量化表示方法

2.1 實體嵌入算法思想

在一般的基于日志的異常檢測系統中，網絡、設備和主機日志都被一起用來分析和檢測異常。然而，不斷增加的日志量仍然是異常檢測工具面臨的主要挑戰之一。本文提出了一種基于主機的日志分析系統，該系統可以在不使用網絡日志的情況下檢測異常，以減少體積并顯示基于主機的日志的重要性，使解析器從Sysmon日志中解析和提取特征，并對數據執行檢測。經過兩次廣泛的體積縮減步驟后，有價值的信息得以成功保留。周超［3］提出了一個異常檢測系統，并在多達 55 000 個事件和超過100萬條日志消息的不同數據集上執行。系統使用保存的日志可以輕松地檢測攻擊和惡意活動。

模型不能直接理解文本或圖像數據，要在機器學習或深度學習中建立任何模型，最終級別的數據必須是數字形式。向量化或詞嵌入是將文本數據轉換為數值向量的過程，被用來構建各種機器學習模型［4］。

2.2 基于實體嵌入的日志向量化表示方法

日志分為日志鍵和日志參數。為了理解和生成文本，NLP 驅動的系統必須能夠識別單詞、語法和大量的語言細微差別。為了彌合差距，NLP 專家開發了一種詞嵌入技術，可以將詞轉換成相應的數字表示。轉換后，NLP 算法可以輕松處理文本信息。詞嵌入將詞映射為實數值向量，通過標記序列（或句子）中的每個單詞并將它們轉換為向量空間來實現。詞嵌入旨在捕捉文本序列中詞的語義，將相似的數字表示分配給具有相似含義的單詞。TF-IDF 是一種機器學習（ML）算法，它基于尋找文本中單詞相關性的統計度量，文本可以是文檔或各種文檔（語料庫）的形式。TF-IDF是兩個指標的組合：詞頻 （TF）和逆文檔頻率（IDF）。TF 的計算方法是將單詞（i）的出現次數除以文檔（j）中單詞的總數 （N）。隨著 NLP 的進步，詞嵌入技術也在進步。許多 NLP 任務不需要高級嵌入技術，詞嵌入技術的選擇必須基于實驗和特定任務的要求。

3 基于神經網絡的惡意登錄異常檢測方法

3.1 注意力機制原理

注意力機制的興起使得惡意登錄異常檢測能力獲得了比較高的準確率。同時，小波變換和粒子群優化算法用于優化和改變決策樹模型，以提高模型的性能。根據后驗概率最大化進行分類判斷，得到了較好的結果。在 KDD 數據集中，二進制精度可以顯著提高到 99.6%～99.8% ，同時將誤報減少到 0.5%。

3.2 長短時記憶網絡

長短時記憶網絡使用神經網絡來檢測惡意流量。研究結果發現，較深的網絡比淺層神經網絡能更準確地檢測惡意流量。同時，一些研究人員使用卷積神經網絡（Convolutional Neural Networks， CNN）作為特征提取［5］。多CNN融合模型非常適合在NSL-KDD數據集上提供高精度、低復雜度的分類方法。

3.3 基于注意機制的LSTM惡意登錄異常檢測模型

異常檢測已成為多個領域的重要問題。本文提出了一種基于長短期記憶 （Long Short-Term Memory，LSTM）網絡檢測時間序列異常的新方法。在對正常數據進行訓練后，網絡用于預測時間序列中感興趣的步驟。預測值和觀測值之間的差異被計算為預測誤差。然后，筆者使用分位數函數的核估計計算閾值，該閾值用于確定異常觀察。

4 基于主機日志的惡意登錄異常檢測方法研究

4.1 系統架構

防御的一個重要組成部分是惡意登錄異常檢測方法，它分析跨越防御邊界的網絡流量并尋找正在進行惡意活動的證據。當檢測到此類活動時，會發出警報，然后由網絡管理員進行分析，確定損壞的范圍，并進行修復。

惡意登錄異常檢測方法可以根據不同的標準進行分類：位置（在主機、有線網絡或無線網絡上）、檢測方法（簽名匹配、異常檢測或狀態協議分析）或能力（簡單檢測或主動攻擊預防）。

基于異常的檢測通過建立正常行為的統計模型，并檢測與它的所有偏差來減少人工。基于異常的檢測能夠檢測新的、以前未知的攻擊，前提是它們的統計行為與正常流量的統計行為不同。基于異常的檢測方法雖然在概念上很有吸引力，但是通常具有很高的誤報率，尚未被廣泛采用。

4.2 日志解析器原理

日志分為日志鍵和日志參數。首先，要把兩者分開，把日志解析成結構。解析日志的完整過程如下：

Input： log input

Output： sequence output

（1）Initialization （， ， ）

（2）Store to

（3）Read by STREAM

（4）Traverse the to find the largest common subsequence

（5）ifthen

（6）GOTO

（7）else

（8）GOTO

（9）end if

（10）Initialize the line of log into the list

（11）Update the line log

（12）Update the template

（13）GOTO

基于異常的惡意登錄異常檢測方法的誤報分為兩類：非結構化誤報和結構化誤報。非結構化誤報本質上是由網絡流量的隨機性引起的隨機噪聲，而結構化誤報是由持續但不同的少數行為引起的。

通過時間平滑異常值來降低非結構化誤報率，會導致發生在不同時間的相似異常獲得相似的異常分數。該方法使用兩種不同的惡意登錄異常檢測方法進行評估，評估證明在兩種情況下，惡意登錄異常檢測準確性均有所提高。因此，可以將日志執行順序視為一個多分類問題。日志鍵的總數是一定的，將其視為K。在訓練階段，輸入典型的日志執行序列生成多分類器模型。在測試階段，輸入最近的日志鍵的歷史，輸出一個日志鍵的概率分布。當序列預測結果與實際結果誤差較大時，可以認為日志異常。

4.3 處理特征提取

為了開發異常檢測模型，包括角色分類模型，本文提取了一些特征。每個日志條目代表一個用戶的單個事務。為了分析用戶活動，每個用戶的日志被合并到一個特定的時期。企業的每一項活動都將代表難以單獨分析的無意義數據點。但是，通過觀察企業在特定時間段內的幾次活動，可以更輕松地執行異常檢測任務。將日志數據處理成24小時的塊，以便一個實例代表用戶在一天內的累積活動。結果，從原始日志中提取了25 151個實例，其中，24 223個被認為是正常的、585個被認為是非惡意異常、343個被標記為惡意。因此，在日志中，惡意數據代表一天內至少有一次惡意日志訪問的所有實例，正常數據表示對日志的所有訪問都是合法的所有實例，非惡意異常數據表示至少有一次異常日志訪問但沒有惡意的實例，然后將這些實例轉化為惡意訪問檢測的特征。

4.3.1 日志鍵編碼

由于日志是由程序的代碼或進程輸出的，代碼是恒定的，所以輸出日志的類型也是恒定的，數量往往不大。因此，對于log key，直接使用序號進行編碼。

4.3.2 日志參數編碼

與日志類型不同，參數值不是由模板生成的，而是在系統運行過程中根據實際情況動態生成的，因此往往具有很大的不確定性。參數值的字符串類型會很多種，在很多情況下，直接使用簡單的整數置換碼會導致線性長度過大。

4.4 異常檢測方案

對于惡意訪問檢測，包括精確度、召回率和F-measures在內的多種測量被確定并用于評估性能。LSTM核心單元函數流程描述如下。

Input： input sequence

Output： prediction

（1）while BatchNotFinished do

（2）InitializeParameters（， ， ， ）

（3）Connect the previous hidden state with the current input

（4）Put the into forget layer， DELETE irrelevant data

（5）Create a candidate layer using cell state

（6）input layer， decide candidate layer data

（7）Calculate the vector using forget， candidate and input layers

（8）Calculate the current output

（9）Update the new hidden state

（10）end while

（11）Output the prediction

LSTM的第一步是從細胞狀態中選擇要放棄的信息。這個決定是由稱為“遺忘門層”的S形網絡層做出的。對于細胞狀態中的每個數字，輸出值介于0和1之間，1表示“完全接受”，0表示“完全忽略”。通常，自動惡意行為檢測用作過濾器以縮小數據范圍，供進一步手動調查。在這種情況下，高召回率是首選，這樣大部分實際的惡意訪問都不會被遺漏。但是，如果將使用自動惡意行為檢測的結果作為最終決策而不需要進一步的人工調查，則高精度優于高召回率。通過使用高精度的方法，幾乎所有被禁止的訪問都是惡意的；相反，如果使用高召回率的算法作為最終決策者，可能會禁止一些被誤認為是欺詐的合法訪問。惡意行為檢測主要用于在進一步人工調查之前的決策支持系統。

5 結語

為了解決社交網絡服務器的安全問題，本文提出了一種惡意登錄檢測方法，主要針對竊取憑證的攻擊。特征提取部分采用了LSTM神經網絡，使得惡意登錄異常檢測方法能夠更好地提取隱藏在日志中的特征信息，以達到更好的檢測效果。惡意登錄檢測方法包括主機表示學習和日志文件特征提取。主機表示學習使用時間神經網絡嵌入模型來學習初始主機向量，使主機登錄關系轉換為主機向量。主向量和其他屬性的初始表達式是日志特征提取的輸入。特征提取模型使用長短期記憶和額外的注意機制來學習日志輸入向量，該機制增強了關于重要屬性的信息提取。日志向量隨后被輸入一個多層感知器，該感知器將它們分類為惡意或良性。受文本分類研究的啟發，文章采用長短時記憶來學習屬性信息并提取日志文件的含義。與僅僅檢測惡意主機和用戶不同，每個日志條目都被分析并分類為惡意或非惡意，從而支持細粒度檢測。注意機制強調了模型的重要屬性，加強了模型的可解釋性。此外，由于惡意登錄發生在主機之間，因此考慮使用時間圖嵌入來學習首選的主機表示并將其集成到日志向量中。實驗結果表明，該惡意登錄檢測方法的誤報率僅為0.002%，優于幾種最先進的檢測模型。

參考文獻

［1］李信強.結合時間和語意信息的異常日志檢測方法研究［D］.成都：電子科技大學，2022.

［2］牛旭.面向軟件演化的日志質量增強技術研究［D］.長沙：國防科技大學，2019.

［3］周超.面向云服務的日志處理系統關鍵技術研發［D］.西安：西安電子科技大學，2020.

［4］杜海森.基于并發完備日志的過程挖掘［D］.青島：山東科技大學，2019.

［5］吳其.復合型日志模版提取方法的研究與實現［D］.北京：北京郵電大學，2020.

（編輯 王雪芬）