劉紫萱 吳魏
摘要:隨著加密流量技術(shù)的快速發(fā)展,越來越多網(wǎng)絡(luò)攻擊行為利用加密偽裝逃脫檢測。針對加密惡意流量檢測問題,文章對現(xiàn)有的基于機器學(xué)習(xí)的密文惡意流量分類方法進行了梳理,討論了這些方法的分類效果和優(yōu)缺點,總結(jié)了現(xiàn)有方法的不足.為密文惡意流量智能分類技術(shù)的發(fā)展提供了一定的借鑒。
關(guān)鍵詞:密文惡意流量分類;機器學(xué)習(xí);加密偽裝
中圖法分類號:TP393 文獻標(biāo)識碼:A
1 引言
近年來,學(xué)術(shù)界和工業(yè)界常用的惡意流量分類技術(shù)主要分為以下幾種。一是使用端口號進行流量檢測,這種方法比較簡單,但是隨著新的應(yīng)用程序不斷涌現(xiàn),使用者可使用熟知端口號掩蓋或使用非注冊端口號,從而導(dǎo)致該方法檢測性能顯著下降。二是基于深度報文檢測的惡意流量分類方法分類準(zhǔn)確率高,但是特征提取難度大,且難以處理加密流量。這些傳統(tǒng)的流量分類方法在加密流量廣泛應(yīng)用的情況下,檢測性能受到了較大的影響。
隨著機器學(xué)習(xí)的快速發(fā)展,出現(xiàn)了基于機器學(xué)習(xí)的惡意流量分類方法,其分類準(zhǔn)確率較高且能夠處理加密流量。目前,常用于惡意流量分類的機器學(xué)習(xí)算法有隨機森林、k 近鄰、決策樹、邏輯回歸等。
然而,這些基于機器學(xué)習(xí)的惡意流量分類方法對輸入模型的特征有較大的依賴性,其性能優(yōu)劣受到特征提取和特征工程的限制,從而影響了該類方法在實際場景下的適用性。針對上述惡意流量分類方法存在的不足,本文對現(xiàn)有的基于機器學(xué)習(xí)的密文惡意流量分類方法進行了梳理,討論了不同方法的效果和優(yōu)缺點,并總結(jié)了現(xiàn)有方法的不足。
2 基于機器學(xué)習(xí)的密文惡意流量分類
近年來,機器學(xué)習(xí)被廣泛應(yīng)用于多個領(lǐng)域,如計算機視覺、自然語言處理等。此外,研究人員在網(wǎng)絡(luò)安全領(lǐng)域也將機器學(xué)習(xí)技術(shù)應(yīng)用于網(wǎng)絡(luò)流量分類等任務(wù)中,以達到實現(xiàn)自動化流量分類的目的。目前,常用于流量分類的機器學(xué)習(xí)算法有隨機森林、k 近鄰、決策樹、邏輯回歸算法等。下文將對使用上述算法實現(xiàn)密文惡意流量分類的文獻進行總結(jié)和梳理。
2.1 基于隨機森林的密文流量分類方法
在密文惡意流量分類研究中,隨機森林(RandomForest)是常用的一種機器學(xué)習(xí)方法,在流量分類方面有比較具體的體現(xiàn),而且它還可以用于流量特征的選擇,可以選擇出流量重要特征,以提高流量分類的準(zhǔn)確率。
文獻[1]對10 種基于機器學(xué)習(xí)的加密惡意流量檢測算法進行了對比分析,包括隨機森林、k 近鄰、線性回歸等算法,設(shè)計了一種基于機器學(xué)習(xí)的加密惡意流量檢測技術(shù)的通用框架,同時對高頻出現(xiàn)的特征進行總結(jié),進一步優(yōu)化了統(tǒng)計特征集(FOS 特征集),提出了基于隨機森林算法和FOS 特征集組合的檢測模型。
文獻[2]針對加密惡意軟件流量問題,在以文獻標(biāo)準(zhǔn)特征集中22 個常見特征和專家專為加密網(wǎng)絡(luò)會話定制的319 個增強特征為特征集的基礎(chǔ)上,對比了用于加密惡意軟件流量分類的6 種常見的機器學(xué)習(xí)算法,包括隨機森林、決策樹、支持向量機等算法,得出隨機森林集成方法優(yōu)于其他5 種算法。
為解決網(wǎng)絡(luò)入侵檢測中數(shù)據(jù)不平衡的多分類問題,周杰英等[3] 提出了一種融合隨機森林模型進行特征轉(zhuǎn)換、使用梯度提升決策樹模型進行分類的入侵檢測模型框架RF?GBDT,其具有預(yù)測精度較高、收斂速度較快以及泛化性能好的特點,可以較好地解決網(wǎng)絡(luò)入侵檢測中數(shù)據(jù)不平衡的多分類問題。
文獻[4]針對高維數(shù)據(jù)限制算法泛化能力從而影響網(wǎng)絡(luò)入侵檢測能力的問題,提出了一種新的基于包裝的特征選擇算法,即禁忌搜索?隨機森林(TS?RF),其中禁忌搜索進行特征搜索與選擇,隨機森林作為學(xué)習(xí)方法。該算法不僅提高了分類器精度,而且將特征空間減少了60%以上,降低了模型的計算復(fù)雜性。
文獻[5]針對傳統(tǒng)基于深度包分析的加密惡意流量檢測方法帶來的精度下降和實時性不足等問題,提出了一種結(jié)合多特征的加密惡意流量檢測方法,而且通過對比隨機森林、邏輯回歸、決策樹等4 種機器學(xué)習(xí)算法,得出分類效果最好的是隨機森林算法的結(jié)論。
2.2 基于k 近鄰的密文流量分類方法
在流量分類領(lǐng)域中,還有一種機器學(xué)習(xí)方法被頻繁使用,那就是k 近鄰節(jié)點算法(kNN)。它同隨機森林算法一樣,常用于分類任務(wù),在流量分類任務(wù)中發(fā)揮著重要的作用。該算法的思路簡單直觀:若要判斷一個樣本所屬的類別,只需確定在特征空間中與它最鄰近的k 個樣本大多數(shù)所屬的類別,則該樣本也屬于這一類別。簡而言之,該方法在分類決策上只依據(jù)最近鄰的k 個樣本的類別來決定待分類的樣本所屬類別。
文獻[6]針對基于傳統(tǒng)復(fù)雜特征的惡意流量檢測方法檢測率日益降低的問題,提出了一種使用TCP /IP 數(shù)據(jù)包側(cè)信道特征的惡意流量檢測方法,該方法的主要優(yōu)點是:可以使用較少的特征集和較少的數(shù)據(jù)集同時,在較短的時間內(nèi)完成惡意流量檢測。在此基礎(chǔ)上,研究人員還對比了包括k 近鄰、支持向量機、邏輯回歸等在內(nèi)的7 種機器學(xué)習(xí)算法,發(fā)現(xiàn)k 近鄰算法的性能較好,其提供了一種基于TCP / IP 數(shù)據(jù)包側(cè)信道特征與k 近鄰算法的惡意流量檢測方法新思路。
2.3 基于決策樹的密文流量分類方法
除了上文提到的基于隨機森林和k 近鄰算法的密文惡意流量分類方法,目前還有許多其他機器學(xué)習(xí)方法可以實現(xiàn)密文惡意流量分類,雖然這些機器學(xué)習(xí)方法少見,但是分類結(jié)果也有意想不到的準(zhǔn)確率。決策樹就是代表方法之一,它是基于Boosting 框架的主流集成算法,也是隨機森林的基本組成,包括XGBoost和LightGBM。
文獻[7]針對流量加密影響惡意流量特征分析從而影響檢測效果的問題,對比了使用XGBoost、隨機森林、支持向量機3 種機器學(xué)習(xí)算法區(qū)分惡意加密http流量和良性加密流量的性能,得出XGBoost 性能較優(yōu)的結(jié)論,同時驗證了基于模型自身選擇特征優(yōu)于基于人為專家選擇特征,最終提出了在不解密流量的情況下密文惡意流量分類方法,即基于模型自身選擇特征的XGBoost 密文惡意流量分類算法。
文獻[8]針對流量數(shù)據(jù)不平衡并且深度神經(jīng)網(wǎng)絡(luò)檢測方法的訓(xùn)練和檢測時間較長等問題,提出了一種基于自適應(yīng)合成(ADASYN)過采樣技術(shù)和LightGBM的網(wǎng)絡(luò)入侵檢測系統(tǒng),其中ADASYN 過采樣技術(shù)增加了少數(shù)攻擊樣本,以解決由于訓(xùn)練數(shù)據(jù)不平衡導(dǎo)致的少數(shù)攻擊檢測率低的問題。LightGBM 集成模型進一步降低了系統(tǒng)的時間復(fù)雜度,同時確保了檢測的準(zhǔn)確性。
2.4 基于邏輯回歸的密文流量分類方法
邏輯回歸是一個分類模型,廣泛應(yīng)用于各個領(lǐng)域,包括機器學(xué)習(xí)、醫(yī)學(xué)和社會科學(xué)。其最為突出的特點就是模型簡單和模型的可解釋性強。邏輯回歸的優(yōu)點在于實現(xiàn)簡單、易于理解,同時計算代價低、速度快、存儲資源低,但是也存在缺點,如易欠擬合、分類精度不高等。
文獻[9]針對TLS 協(xié)議為傳統(tǒng)網(wǎng)絡(luò)入侵檢測方法帶來的新挑戰(zhàn)進行了詳細分析,對18 個惡意軟件家族和企業(yè)應(yīng)用在TLS 協(xié)議中的使用進行了深入研究,發(fā)現(xiàn)企業(yè)應(yīng)用通常使用較新版本的TLS 協(xié)議,而惡意軟件一般使用較老版本的TLS 協(xié)議和較弱的密碼參數(shù)。基于此,本文提出了一種基于傳統(tǒng)特征與TLS 特征結(jié)合的L1 邏輯回歸密文惡意流量分類方法。
文獻[10]針對加密惡意流量包含的威脅給網(wǎng)絡(luò)入侵檢測帶來挑戰(zhàn)這一問題,在沙盒中自收集的數(shù)據(jù)集上,通過對比實驗證明了上下文流數(shù)據(jù)可用于流量分類并且有較好的效果,證明了L1 邏輯回歸分類器的準(zhǔn)確性。最終提出了基于TLS 握手元數(shù)據(jù)和上下文流等特征與L1 邏輯回歸分類器相結(jié)合的監(jiān)督機器學(xué)習(xí)流量分類方法。
目前,基于機器學(xué)習(xí)的惡意流量分類方法仍存在一定的局限性。例如,流量數(shù)據(jù)集不平衡和流量特征代表性不足影響了分類器的準(zhǔn)確性,以及當(dāng)前基于機器學(xué)習(xí)的流量檢測方法無法有效應(yīng)對未知網(wǎng)絡(luò)攻擊檢測。這些問題影響了密文惡意流量智能檢測技術(shù)的發(fā)展,應(yīng)著重加以解決。
3 結(jié)束語
本文對現(xiàn)有的基于機器學(xué)習(xí)的密文惡意流量分類方法進行了梳理和總結(jié),討論了不同機器學(xué)習(xí)算法,如隨機森林、k 近鄰等算法的分類效果和優(yōu)缺點,總結(jié)了現(xiàn)有惡意流量分類方法存在的不足,如流量數(shù)據(jù)非均衡、分類特征代表性不足、未知網(wǎng)絡(luò)攻擊檢測難等,進而為該領(lǐng)域技術(shù)的發(fā)展提供了一定的參考和借鑒。
參考文獻:
[1] WANG Z,FOK K W,THING V L L. Machine learning forencrypted malicious traffic detection: Approaches, datasetsand comparative study[J].Computers & Security,2022,113:102542.
[2] ANDERSON B,MCGREW D.Machine learning for encryptedmalware traffic classification:accounting for noisy labels andnon?stationarity[C]∥Proceedings of the 23rd ACM SIGKDDInternational Conference on knowledge discovery and datamining,2017:1723?1732.
[3] 周杰英,賀鵬飛,邱榮發(fā),等.融合隨機森林和梯度提升樹的入侵檢測研究[J].軟件學(xué)報,2021,32(10):3254?3265.
[4] NAZIR A,KHAN R A. A novel combinatorial optimizationbased feature selection method for network intrusion detection[J].Computers & Security,2021,102:102164.
[5] 李慧慧,張士庚,宋虹,等.結(jié)合多特征識別的惡意加密流量檢測方法[J].信息安全學(xué)報,2021,6(2):129?142.
[6] STERGIOPOULOS G, TALAVARI A, BITSIKAS E, et al.Automatic detection of various malicious traffic using sidechannel features on TCP packets[C]∥European Symposiumon Research in Computer Security, 2018:346?362.
[7] SHEKHAWAT A S,TROIA F D,STAMP M.Feature analysisof encrypted malicious traffic [ J]. Expert Systems WithApplications,2019,125:130?141.
[8] LIU J M,GAO Y B,HU F J.A fast network intrusion detectionsystem using adaptive synthetic oversampling and LightGBM[J].Computers & Security,2021,106:33?48.
[9] ANDERSON B,PAUL S,MCGREW D.Deciphering malwaresuse of TLS (without decryption) [J]. Journal of ComputerVirology and Hacking Techniques,2018,14(3):195?211.
[10] ANDERSON B,MCGREW D.Identifying encrypted malwaretraffic with contextual flow data[C] ∥ Proceedings of the2016 ACM workshop on artificial intelligence and security,2016:35?46.
作者簡介:劉紫萱(2001—),本科,研究方向:計算機技術(shù)。