一種基于混合微調策略的虛擬機異常檢測器增強方法

摘要：虛擬機異常檢測器在現實場景中面臨訓練數據樣本稀疏的問題，為了實現稀疏樣本條件下的虛擬機異常精準檢測，提出了一種基于混合微調策略的虛擬機檢測增強方法。首先，利用大語言模型，基于提示工程，對收集的虛擬機逃逸樣本進行提升工程，得到增強的樣本。其次，采用LoRA和PreFix混合微調策略對收集的虛擬機逃逸樣本進行提升工程，得到增強的樣本。再次，利用增強樣本對預訓練大模型ChatGLM進行微調，生成一種專用于生成虛擬機逃逸數據的模型。最后，利用專用模型生成的樣本擴充數據集，增強基于學習的虛擬機異常檢測器。通過實驗驗證，該方法顯著提升了虛擬機逃逸檢測的準確性，并降低了誤報率。

關鍵詞：異常檢測虛擬機微調策略樣本增強

中圖分類號：TP393文獻標識碼：A文章編號：2096-4706（2023）00-0000-00

AnEnhancedMethodforVirtualMachineAnomalyDetectorsBasedonHybridFine-TuningStrategy

DINGRui

KunlunDigitalTechnologyCo.，Ltd，Beijing，100026China

Abstract：Virtualmachineanomalydetectorsarefacedwiththeproblemofsparsetrainingdatasamplesinrealisticscenarios.Toaddresstheissueofaccuratedetectionofvirtualmachineanomaliesundersuchsparsesampleconditions，avirtualmachinedetectionenhancementmethodbasedonahybridfine-tuningstrategyisproposedinthisarticle.Firstly，byusingalargelanguagemodelandbasedonpromptengineering，thecollectedvirtualmachine（VM）escapesamplesareupgraded，andtheenhancedsamplesareobtained..Secondly，ahybridfine-tuningstrategycombiningLoRAandPreFixisareusedtoenhancethecollectedVMescapesamplesandobtainenhancedsamples.Subsequently，theenhancedsamplesareutilizedtofine-tunethepre-trainedlargemodel，ChatGLM，therebycreatingadedicatedmodelforgeneratingVMescapedata.Finally，thegeneratedsamplesfromthededicatedmodelareleveragedtoaugmentthedatasetandimprovetheperformanceofthelearning-basedVManomalydetector.ExperimentalvalidationdemonstratesthatthismethodachievessignificantimprovementsinVMescapedetectionaccuracywhileeffectivelyreducingthefalsealarmrate.

KeyWords：Anomalydetection;VM;Fine-tuningstrategies;Sampleenhancement

虛擬化技術，作為一種重要的計算范式，已經在云計算、數據中心、企業網絡等領域得到廣泛應用。它通過將物理資源（如處理器、內存和存儲）抽象為虛擬實例，使得多個虛擬機能夠在同一物理服務器上同時運行，從而提高了資源利用率和靈活性[1]。虛擬化技術的發展不僅推動了云計算的興起，也為企業提供了更高效、可擴展和靈活的計算環境。然而，隨著虛擬化技術的廣泛應用，虛擬機安全問題日益引起關注。攻擊者利用各種手段，如虛擬機逃逸、側信道攻擊、惡意代碼注入等，試圖獲取虛擬機內部的敏感信息、控制虛擬化環境或破壞其正常運行，這些攻擊手段對云計算、數據中心等關鍵領域的安全性和可靠性構成了嚴重威脅[2-4]，因此，保護虛擬機安全變得至關重要。有效的虛擬機安全機制能夠防止虛擬機逃逸和其他惡意攻擊，確保虛擬化環境的完整性和保密性，這不僅對云服務提供商和企業用戶來說是一項重要任務，也對整個云計算生態系統的可信性和可靠性產生了深遠影響。

盡管已經有一些虛擬機安全機制和技術被提出和應用，但現有的防御手段仍然存在一定的局限性。攻擊者不斷改進和演化他們的攻擊手段，新的攻擊特征使得基于特征的檢測器發生概念漂移，從而無法有效地發現安全威脅[5-7]。為了解決訓練樣本稀疏和質量低下問題，本文提出了一種基于混合微調策略的虛擬機檢測器增強方法，以改善虛擬機逃逸檢測的準確性和魯棒性。通過充分利用深度學習和預訓練大模型的優勢，本方法能夠提高虛擬機檢測器對新型逃逸技術的識別能力，并降低誤報率。綜上，本文主要貢獻如下。

（1）針對虛擬機逃逸檢測任務在現實場景面臨的訓練樣本缺失問題，提出了一種基于混合微調策略的樣本增強方案，增強的數據能夠有效改善基于深度學習的檢測器概念漂移問題。

（2）通過大量實驗分析，證明了本方法可以有效地增強虛擬機檢測器性能，同時討論了不同微調策略的性能表現。

1基于混合微調策略的虛擬機檢測器增強方法

1.1基于提示工程的原始樣本增強

本節內容的目標是利用大語言模型強大的文本生成能力，基于提示工程擴充原始訓練樣本，從而為后續的預訓練模型微調提供數據支撐。包含的步驟有：收集并處理真實虛擬機逃逸相關數據，基于多輪對話提示，引導ChatGPT模型生成高質量的擴充數據。本文所有參數符號及意義如表1所示。

1.1.1數據采集與處理

基于機器學習的虛擬機異常檢測器在工作中通常需要進行系統數據的采集和預處理。下面介紹本文的數據處理流程。

（1）數據采集：利用Linux性能事件采集工具ebpf收集虛擬機運行時的系統數據，這些數據包括虛擬機的性能指標（如CPU利用率、內存使用量、磁盤讀寫速度等）、網絡流量數據和系統日志；（2）數據清洗與預處理：采集到的原始數據通常需要進行清洗和預處理，以便后續的特征提取和模型訓練，包括均值插補法處理缺失值、標準方差理異常值、數據平滑去除噪聲、歸一化等操作。

本文所提方法框架示意圖如圖1所示。通過收集進程生命周期數據和進程性能事件數據，得到原始的訓練數據集如下：

1.1.2基于提示工程的數據增強

由于系統調用等數據經過word2sec向量化處理后，可以將訓練樣本擴充，可以視為文本增強任務。本文使用ChatGPT——一個基于GPT的最先進大語言生成模型來增強原始數據。具體地，對于原始訓練樣本，具有m個token，預訓練的優化目標可表示如下：

經過構造的多輪對話提示，本文利用ChatGPT得到擴充后的樣本集。對話例子為：輸入的數據樣本為（P1，N1），請輸出更多的語義相近的（Pi，Ni）。

1.2基于混合微調策略的數據增強

混合微調策略（JointFine-TuningStrategy）是指在自然語言處理（Naturallanguageprocessing，NLP）中使用預訓練語言模型的過程中將預訓練模型與任務特定的數據同時進行微調，這種策略將預訓練模型與任務相關的數據合并在一起，通過端到端的微調來優化整個模型。其好處有：（1）任務自適應能力提升；（2）減少數據需求；（3）加速訓練收斂；（4）提升模型性能。因此，混合微調策略可以在預訓練模型的基礎上通過使用任務特定的數據進行微調，充分發揮預訓練模型的優勢，提升模型的適應性和性能。

1.2.1前綴微調

前綴微調（PrefixFine-Tune）技術包括通過在輸入詞前構建一組特定任務的虛擬詞組作為前綴來微調語言模型（LargeLanguageModel，LLM）的參數。這個過程可以描述為：（1）將數據集的80%分成訓練樣本、20%分成測試樣本；（2）使用訓練樣本對ChatGLM進行前綴調優訓練，并保存訓練后的前綴參數權重；（3）使用測試樣本評估前綴調整后ChatGLM的文本生成性能，并優化模型超參數，模型超參數設置如下：Pre-SequenceLength=128，LearningRate=2e-2，BatchSize=16，epochs=5，MaxSourceLength=128，MaxTargetLength=256。

1.2.2低秩適應微調

低秩適應微調（LoRAFine-Tune）方法是一種參數效率高的微調技術，它假定任務適應過程中模型的參數變化表現出低秩特征。同樣，其模型設置為：Pre-SequenceLength=128，LearningRate=1e-4，epochs=10，MaxSourceLength=128，MaxTargetLength=256。

因此，本文基于兩種微調方法的優點構建的聯合微調方法如下。（1）將最優前綴參數權重與預訓練生成模型ChatGLM結合使用，存儲為ChatGLM-Prefix模型。（2）基于相同的訓練集，使用LoRA方法進一步完善ChatGLM-Prefix模型。（3）將ChatGLM-Prefix模型與LoRA參數權重相結合，得到ChatGLM-Prefix-LoRA模型（）。經過上述步驟后，基于ChatGLM-Prefix-LoRA并將作為輸入，我們可以得到最終的擴展數據集。

1.3基于增強樣本的虛擬機異常檢測器增強

本文使用增強后的數據集作為輸入樣本，在其他參數設置不變的情況下，重新訓練已有的基于機器學習的虛擬機異常檢測器。具體流程為：使用已有的檢測器作為基礎模型，加載它的權重和結構；凍結部分參數，添加新的連接層；定義損失函數，并不斷訓練策略調整。

2實驗與分析

2.1實驗設置

本文選擇的檢測器如下表2所示，具體地，檢測器D1[8]和D2[9]都是基于LSTM構建神經網絡，檢測器D3[10]利用系統調用增強檢測模型的可解釋性。使用這些檢測器對應的數據集作為原始訓練樣本完成數據增強。

2.2虛擬機異常檢測器增強的有效性驗證

為了評估數據集對檢測性能的影響，我們實施并比較了3種有代表性的無監督基線方法，包括最先進的異常檢測技術。如表3所示，實驗結果表明，與所有基線方法相比，增強型檢測器在準確度（ACC）、精確度（PRE）和F1指標（F1）方面表現出明顯的優勢，同時召回率（REC）略低。

2.3混合微調策略性能比較

為了評估聯合微調方法的有效性，本文使用Bleu和Rouge指標來評估微調模型的性能。其中，Bleu指標通過測量生成文本與參考文本之間匹配的n個詞組的數量來評估文本生成的準確性。具體來說，它計算加權后的4-grams累計得分，Bleu-4分數越高，說明生成文本的質量越好。Rouge指標是一種基于召回率的評估方法，用于評估文本生成的質量，與Bleu類似，它通過計算生成文本和參考文本之間重疊n-grams的數量，用和參考文本之間重疊的n-grams數量來量化生成質量。本研究采用的Rouge指標包括Rouge-1、Rouge-2和Rouge-L，Rouge分數越高，表明文本生成質量越好。實驗結果如表4所示。

實驗表明，與未進行任何微調的ChatGLM相比，使用前綴和LoRA的微調模型在僅添加小參數的情況下測試樣本的Bleu和Rouge指標得分明顯更高。此外，ChatGLM-Prefix模型的Bleu分數比ChatGLM-LoRA模型高出約3%，但與此同時，其Rouge分數卻比ChatGLM-LoRA模型低了約10%。

通過聯合微調訓練的ChatGLM-Prefix-LoRA模型進一步提高了測試樣本的Bleu和Rouge指標得分。具體來說，與ChatGLM-LoRA模型相比，該模型Bleu和Rouge得分分別提高了約5%；與ChatGLM-Prefix模型相比，該模型的Bleu得分提高了約2%，Rouge得分提高了約10%-15%；與未進行任何微調的ChatGLM相比，該模型的Bleu和Rouge得分分別提高了約15%～20%。實驗結果證明了基于前綴和LoRA的ChatGLM聯合微調訓練方法在數據集構建任務中的有效性和優越性。

3結語

本文提出了一種基于混合微調策略的虛擬機檢測增強方法，旨在應對虛擬機異常檢測器在現實場景中面臨的訓練數據樣本稀疏問題。實驗表明，通過該方法，可以在稀疏樣本條件下對虛擬機異常檢測器的增強，從而實現虛擬異常環境的精準檢測。

參考文獻

[1]邢凌凱，張健.基于HPC的虛擬化平臺異常檢測技術研究與實現[J].信息網絡安全，2023，23（10）：64-69.

[2]文高陽，許博陽，張聰慧.虛擬化技術在云安全中的隔離與保護[J].信息與電腦（理論版），2023，35（18）：193-195.

[3]蒲江，陳海燕，田楠.虛擬化環境安全淺析[J].網絡安全技術與應用，2023（3）：4-6.

[4]張娟，劉瑤，劉芳伶.基于角色的云環境下虛擬機安全訪問控制策略[J].通信技術，2021，54（9）：2214-2219.

[5]孫海波，溫鴻翔，王竹珺，等.云計算安全威脅及防護研究[J].中國新通信，2021，23（5）：149-151.

[6]呂宗平，梁婷婷，顧兆軍，等.概念漂移下的系統日志在線異常檢測模型[J].計算機應用與軟件，2023，40（10）：314-321.

[7]陳志強，韓萌，李慕航，等.數據流概念漂移處理方法研究綜述[J].計算機科學，2022，49（9）：14-32.

[8]WANGYL，WANGQX，CHENXS，etal.Containerguard：Areal-timeattackdetectionsystemincontainer-basedbigdataplatform[J]，IEEETransactionsonIndustrialInformatics，2022，18（5）：3327–3336.

[9]WANGYL，CHENXS，WANGQX，etal.Unsupervisedanomalydetectionforcontainercloudviabilstm-basedvariationalautoencoder[C]//ICASSP2022-2022IEEEInternationalConferenceonAcoustics，SpeechandSignalProcessing（ICASSP）.IEEE，2022：3024–3028.

[10]KARNRR，KUDVAP，HUANGH，etal.Cryptominingdetectionincontainercloudsusingsystemcallsandexplainablemachinelearning[J].IEEETransactionsonParallelandDistributedSystems，2021，32（3）：674.