999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

惡意軟件檢測和分類可視化技術綜述

2023-11-28 02:27:40王金偉陳正嘉謝雪羅向陽馬賓
網絡與信息安全學報 2023年5期
關鍵詞:可視化分類特征

王金偉,陳正嘉,謝雪,羅向陽,馬賓

惡意軟件檢測和分類可視化技術綜述

王金偉1,2,3,陳正嘉1,2,謝雪4,5,羅向陽6,馬賓7

(1. 南京信息工程大學數字取證教育部工程研究中心,江蘇 南京 210044;2. 南京信息工程大學計算機學院,江蘇 南京 210044;3. 數學工程與先進計算國家重點實驗室,河南 鄭州 450001;4. 中國科學技術大學網絡空間安全學院,安徽 合肥 230031;5. 中國航天系統科學與工程研究院,北京 100048;6. 信息工程大學,河南 鄭州 450001;7. 齊魯工業大學網絡空間安全學院,山東 濟南 250353)

隨著科技的不斷發展,惡意軟件及其變種的種類不斷增多,已經成為網絡安全的一個巨大挑戰。這些惡意軟件采用了多樣的技術手段,以欺騙或規避傳統檢測方法,從而使得傳統非可視化檢測技術不再適用。近年來,數據可視化作為一種強有力的惡意軟件檢測和分類手段引起了學術界的廣泛關注。通過以圖像的方式呈現惡意軟件的核心特征,這類方法能夠顯著提高惡意軟件的檢測和分類準確率,從而在網絡安全領域具有廣闊的研究前景。綜述惡意軟件檢測領域的傳統非可視化檢測技術與可視化檢測技術。介紹了惡意軟件檢測的傳統非可視化方式,包括靜態檢測、動態檢測、混合檢測;重點對一些常見的惡意軟件可視化方法進行了調研和綜合評述,主要包括可視化結合機器學習與可視化結合深度學習兩大方向,這兩種方法在惡意軟件檢測和分類中各有優勢和特點,因此在選擇檢測和分類方法時,需要綜合考慮多個因素,包括數據集大小、計算資源和時間限制、模型準確度以及實現復雜度等;對目前檢測技術所面臨的問題進行了總結,并對未來的發展方向進一步展望。

機器學習;深度學習;數據可視化;惡意軟件檢測和分類

0 引言

惡意軟件是指以某種方式對用戶或計算機造成破壞的任何軟件,又被稱為惡意代碼。作為一種有害的可執行程序,它們嚴重影響著網絡系統的安全,并引起了廣泛關注。根據功能,惡意軟件可以分為木馬、病毒、蠕蟲、間諜軟件以及廣告軟件等多種類型;根據平臺,惡意軟件可以分為Windows、Linux或安卓(Android)系統軟件,本文主要介紹Windows惡意軟件。除了功能和平臺之外,惡意軟件及其變體還可以根據家族進行分類。同一家族的惡意軟件及其變體必須具有類似的二進制模式,這些模式在檢測惡意軟件變體和分類家族方面具有非常大的幫助。

隨著自動化生成工具和惡意軟件混淆技術的廣泛使用,惡意軟件及其變體的數量與種類不斷增加。惡意軟件混淆技術主要包括包裝、變形和虛擬技術,被廣泛用于逃避殺毒軟件的檢測。由此大量新的惡意代碼生成,它們的入侵方式以及傳播方式不斷變化,對網絡環境產生了巨大威脅,受影響的用戶數量和檢測到的惡意軟件的數量都呈指數級增長,惡意軟件分析師面臨巨大挑戰。根據2020年國家互聯網應急中心《網絡安全信息與動態周報》第16期,一周內我國境內感染網絡病毒的主機數量約為54.8萬臺[1]。

因此,如何從惡意代碼中提取更加有效且穩定的特征,從而提高惡意代碼檢測和分類準確率與效率引起了人們深入的思考和研究。為應對不斷增長的惡意代碼數據集,越來越多的自動檢測和分類方法被應用,包括隨機森林、決策樹、支持向量機等機器學習方法以及卷積神經網絡(CNN,convolutional neural network)、循環神經網絡(RNN,recurrent neural network)等深度學習方法。這些方法的應用大大提高了惡意代碼的檢測效率和準確率,成為惡意軟件分析師的重要工具。

傳統非可視化惡意軟件檢測和分類方法主要可以分為靜態代碼分析和動態代碼分析兩種技術。靜態代碼分析技術不需要執行代碼,能夠快速獲取惡意軟件的語法和語義信息。通常使用專業交互式反匯編器(IDA Pro, interactive disassember professional)等反匯編工具進行逆向分析,提取的靜態特征包括字節序列、控制流圖和字符串簽名等。相比之下,動態代碼分析技術通過在虛擬環境中執行代碼來獲取惡意軟件的行為報告,包括函數調用監測、功能參數分析、信息流跟蹤、指令跟蹤和動態可視化分析等,需要使用自動化工具如CW沙箱(cyber warfare sandbox)、Anubis、TTAnalyzer、Ether和ThreatExpert等來實現。兩種技術都有其優缺點。靜態代碼分析技術覆蓋范圍較大,但在面對混淆和加殼代碼時可能會漏檢。相比之下,動態代碼分析技術更加有效且準確,但需要付出時間和空間成本。

近年來,可視化方法(將惡意代碼轉化為圖像形式展示),作為一種新興的惡意軟件檢測和分類技術備受關注。通過可視化方法,可以發現惡意軟件圖像中包含著豐富的信息。同一類別的惡意家族的可視化圖像通常具有相似性,而不同家族的可視化圖像之間則有較大的差異。此外,大多數惡意代碼變體是使用自動化技術或重用一些重要的模塊來生成的,因此它們在二進制代碼中具有一些相似之處。相對于傳統的惡意軟件分類方法,可視化方法可以加速惡意軟件分類的過程,滿足大數據計算、專家系統反饋和認知復雜性等方面的需求,從而能夠更加有效地檢測和分類惡意軟件。

本文對惡意軟件檢測和分類可視化技術進行全方面的綜述,簡述了傳統非可視化惡意軟件檢測技術,包括靜態檢測、動態檢測和混合檢測3個方面;介紹了可視化技術在惡意軟件檢測與分類領域的應用,主要從機器學習、深度學習和其他可視化方法3個角度進行闡述,這一新興領域的研究為惡意軟件的檢測和分類提供了新的思路和方法,有望成為未來惡意軟件檢測技術中不可或缺的一部分;對當前檢測技術問題進行了總結與展望。

1 傳統非可視化惡意軟件檢測技術

本節將對傳統非可視化惡意軟件檢測技術進行綜述。針對惡意軟件程序實際運行,本文將傳統惡意軟件檢測技術分為靜態檢測技術、動態檢測技術和混合檢測技術3類。

1.1 靜態檢測技術

靜態檢測技術是在對二進制代碼不運行的情況下對其分析,從而檢測出代碼特性進行分類的方法,如何提取準確有效的靜態特征是這種檢測技術的重點。該技術不需要對代碼運行,因此靜態檢測時間和空間成本較小,效率較高,可以對代碼特性進行全面的分析。

常用的靜態特征包括API調用序列、N-Gram提取字節序列特征、文件結構信息、操作碼頻率分布、調用函數、字符串簽名和控制流圖等。此外,靜態檢測技術可以使用許多工具,如IDA Pro等反匯編工具可用于逆向分析惡意可執行文件,提供更有效的信息;而LordPE內存轉儲工具可以在系統內存中獲取受保護的代碼,對于分析有更大的幫助。

(1)基于API調用序列進行靜態分析

在惡意軟件檢測和分類中,API調用序列常作為一個重要的靜態特征被使用,它能夠反映出軟件特定的行為順序。通過分析程序所有的系統API調用,能夠初步了解程序的作用,或者至少能夠判斷程序是否為惡意軟件。

Iwamoto等[2]在其研究中提取了API序列,并使用基于特征提取的層次聚類分析方法對其處理。作者將API序列轉化為函數調用圖,并對其進行縮放。該方法考慮了API之間的調用關系,使得它們更具有區別性。

Imran等[3]提出了一種基于相似度的分類方法。作者提取API序列來訓練隱馬爾可夫模型(HMM, hidden Markov model),進而評估訓練序列和測試序列之間的相似性,并通過計算相關性得分對惡意軟件進行分類。該方法可以有效地利用API序列信息,但訓練HMM模型需要大量的計算開銷。

Hardy等[4]則從可執行文件中提取API調用序列,并將其加入堆疊式自動編碼器(SAE, stacked auto encoder)深度學習架構模型中,該模型采用了無監督預訓練和監督反向傳播算法進行惡意軟件檢測和分類。

(2)基于N-Gram提取字節序列特征進行靜態分析

除了API調用序列,使用N-Gram方法提取惡意代碼的字節序列特征也是一種重要的靜態分析,該方法的具體步驟為將原始字節序列使用一個長度為的滑動窗口提取子序列的特征。需要注意的是,如果值過小,可能會影響惡意軟件的全局性;如果值過大,可能會影響特征之間的相關性。因此,在選擇值時需要進行權衡和調整,以獲得最佳的檢測效果。

Schultz等[5]提出了一種在Windows平臺下使用N-Gram算法提取靜態特征的方法,并選取了3種不同類型的特征進行分析。第一種是從PE文件的動態鏈接庫中提取的特征,第二種是提取可執行文件中的可打印文本字符串,第三種是從可執行文件中提取的N-Gram字節序列。這些特征可以通過機器學習算法進行訓練和分類。該方法是一種有效的惡意軟件檢測方法。

2004年,Kolter等[6]使用N-Gram算法提取收集到的惡意軟件特征,并評估了樸素貝葉斯、決策樹、支持向量機等歸納方法。結果顯示,增強決策樹的表現優于其他方法。在此基礎上,Kolter等[7]在2006年進行了進一步實驗,通過選取不同N-Gram中的值來確定最佳值以實現最高的檢測率,從而對收集到的惡意軟件進行檢測和分類。

Kang等[8]從分解的文件中提取了操作碼,并利用N-gram方法將其組織為特征向量,以此來進行惡意軟件分類。此外,他們比較了不同操作碼長度對分類精度的影響。實驗結果表明,操作碼是惡意軟件分類的有效特征,并且短操作碼長度具有更好的分類性能。

在某些情況下,N-Gram提取的特征過于單一,可能會導致檢測效率較低。為了提高檢測精度,考慮將N-Gram特征與其他特征進行結合,或使用不同的值提取特征來進行學習。之后,使用一種集成學習將多個分類器的結果進行組合,從而獲得更準確的最終結果。這種方法可以在惡意軟件檢測任務中獲得更高的精度和更好的性能。

(3)其他靜態分析方法

除此之外,動態鏈接庫、函數長度、PE文件頭、可變長指令序列、函數調用圖細粒度分類、可閱讀字符串和熵等信息都能夠當作靜態特征進行使用。

Tian等[9]使用函數長度作為靜態特征,通過測量代碼中函數的字節數來衡量。作者基于此提出了一種用于木馬分類的方法。實驗結果表明,在識別惡意軟件家族的靜態特征方面,函數長度及其頻率具有重要作用。如果與其他特征相結合,可以更有利于惡意軟件的分類。

Siddiqui等[10]選取可變長度指令序列作為特征,通過可變長度指令序列中包含的信息進行分析,使用機器學習中的決策樹和隨機森林機器來檢測蠕蟲并且進行分類,其中數據預處理過程如圖1所示。

圖1 數據預處理過程

Figure 1 Data preprocessing process

Kong等[11]提出了一個用于自動分類惡意軟件的通用框架,該框架基于惡意軟件的豐富結構信息。該框架分為3個步驟:第一步,利用函數調用圖的細粒度特征提取惡意軟件樣本的特征;第二步,基于距離度量評估樣本之間的相似度;第三步,對樣本進行聚類。在完成這3個步驟之后,利用分類器從樣本之間的距離中進行訓練和分類。

Baysa等[12]采用二維矩陣進行惡意軟件比較,但該方法的計算成本較高。該方法將結構熵技術應用于變異檢測問題,即通過分析文件的結構熵來實現相似性比較。該方法包括文件分割和序列比較兩個階段。在文件分割階段,作者使用熵測量和小波分析對文件進行分割;在序列比較階段,作者通過計算在第一階段獲得的片段序列之間的距離來衡量文件對的相似性。

Li等[13]提出了一個純粹基于靜態特征的分類器,選取的樣本特征為文件頭、熵、動態鏈接庫(DLL, dynamic link library)等信息,經過實驗發現,針對自動規避攻擊,該分類器具有很好的魯棒性。

Kumar等[14]對PE頭的原始值與派生值進行了組合,還比較了所提出的集成特征集與原始特征集,通過實驗證明了基于前者訓練出的分類器能夠憑借較高的準確度與較少的成本對惡意軟件進行檢測和分類。

在惡意代碼檢測領域,靜態分析已經得到廣泛的應用和發展。它可以全面地對惡意代碼進行分析,捕獲語法和語義信息。相對于動態分析,靜態分析的時間復雜度和空間復雜度較低,速度快,效率高,適用于大規模數據集。然而,隨著惡意代碼混淆技術和反檢測技術的不斷發展,基于靜態分析的檢測方法已經不能完全檢測出惡意代碼,易受到加密技術的干擾。因此,動態檢測和混合檢測方法逐漸受到重視和研究。

1.2 動態檢測技術

惡意軟件動態分析是指讓惡意軟件樣本在受控環境(如模擬器、仿真器、虛擬機和沙箱)中執行,并對其運行時的行為進行監控和分析。目前,自動化工具如Norman Sandbox、CWSandbox、Anubis、TTAnalyzer、Ether和ThreatExpert等已經在動態分析領域廣泛使用。通過使用這些工具進行分析,可以獲得惡意代碼樣本的分析報告,并提供更有效的特征以用于惡意代碼分類。

Firdausi等[15]首先使用了Anubis自動化工具在沙箱中對惡意代碼進行動態行為分析,并將得到的分析報告轉化為稀疏向量模型;然后選用了近鄰、樸素貝葉斯、決策樹和支持向量機這4種分類器算法對惡意樣本進行分類。實驗結果表明,J48決策樹算法的分類效果優于其他分類器算法。

Zolkipli等[16]提出了一種基于動態方法的惡意軟件分類框架,該框架包括行為識別和惡意軟件分類兩個階段,作者在CWSandbox和Anubis自動化工具上運行每個惡意軟件樣本,并收集與行為相關的報告。該方法的缺點在于需要人工參與動態分析惡意軟件的行為,導致效率低。

Rieck等[17]提出了一個用于惡意軟件行為監控的框架,在沙箱環境中監控每個惡意軟件樣本的行為,并將這些行為映射到向量空間中,然后對具有相似行為的新型惡意樣本進行了聚類。

Anderson等[18]提出了一種基于指令執行軌跡的惡意軟件檢測方法,該方法使用動態分析技術收集目標可執行文件的指令軌跡,并將其構建為圖;利用圖核機制構造計算跟蹤圖之間的相似性,再使用支持向量機進行分類。然而,該方法在實際應用中的計算復雜度較高。

Kim等[19]提出了一種快速識別和檢測惡意代碼的算法,同時能夠快速響應網絡入侵。該算法的核心思想是采用序列對比算法對API調用序列進行動態分析。

陳佳捷等[20]提出了一種結合惡意代碼動態行為和雙向門循環單元的惡意軟件檢測方法。該方法使用Cuckoo沙箱對惡意代碼進行行為分析,從API調用序列和行為信息兩個角度提取和融合特征,并將雙向門循環單元應用于惡意軟件檢測。實驗結果表明,該方法能夠獲取更加豐富的行為信息,且相比雙向長短時記憶(BiLSTM, bidirectional long short-term memory)網絡等,性能更為優越。

相比靜態分析,動態分析在惡意代碼檢測中更加有效,擁有更高的準確率,而且無須對惡意代碼進行解包和反匯編操作。對于加殼以及混淆的惡意代碼樣本漏檢率會進一步降低。然而,動態分析的時間和空間成本會增加。此外,動態分析無法對惡意代碼進行全面的監控和分析,缺乏全局認識,只能監控和分析惡意代碼程序的一條執行路徑,需要一定的跟蹤時長才能取得有效結果。

1.3 混合檢測技術

針對進行了加殼操作的惡意代碼,直接對其應用靜態特征檢測不太適用,因為難以對其進行反匯編操作。雖然將這些加殼的惡意代碼放在虛擬環境中檢測可以一定程度上觀察到它們的隱藏行為,但是這種動態檢測方式實用性不高,耗時長。因此,針對加殼的惡意軟件,可以結合動態分析和靜態分析兩種方式進行檢測。首先,使用動態分析對加殼的惡意軟件進行去殼操作,然后通過靜態分析檢測去殼后的惡意軟件,從而可以獲得更加豐富的惡意代碼特性。這種方式不僅可以提高檢測的效率,還可以提高檢測的準確率。

Islam等[21]在惡意代碼分類中,將3個特征向量進行了集成。這3個特征向量分別為函數長度頻率、可打印字符串信息矢量化和從日志文件中提取的API特性。其中,前兩個為靜態特征,后一個為動態特征。將這3個特征向量進行組合后,使用分類器進行訓練,以實現惡意代碼的分類。

Santos等[22]提出了一種結合靜態特征和動態特征的惡意代碼檢測器。該檢測器使用操作碼頻率作為靜態特征,并選擇執行程序的軌跡信息作為動態特征,通過將這兩種特征進行結合,提高了惡意代碼檢測器的性能。

金炳初等[23]提出了一種惡意軟件檢測和分類方法,該方法包含靜態簽名、樣本灰度圖等靜態特征以及行為路徑樹動態特征。該方法首先通過爬蟲抓取大量惡意樣本的簽名,并使用ClamAV進行檢測;其次,對于未檢測出的惡意樣本,將其轉化為灰度圖進行分類;最后,利用行為路徑樹動態特征對于之前仍檢測失敗的樣本進行惡意軟件分類。

陳志鋒等[24]提出了一種內核惡意代碼檢測方法,該方法基于數據特征創建了內核數據對象訪問模型,并采用靜態分析和動態分析相結合的方法對惡意代碼進行識別。在靜態分析階段,該方法通過對惡意代碼進行反匯編獲取代碼特征,以構建內核數據對象訪問模型。在動態分析階段,該方法運行惡意代碼并監測其內核數據對象的訪問行為,與模型進行匹配以實現內核惡意代碼的檢測。該方法可以有效地識別和阻止內核惡意代碼的攻擊行為。

表1 傳統惡意軟件檢測的相關文獻

混合檢測作為一種惡意軟件檢測方法,結合了靜態檢測的快速和高效以及動態檢測的準確性,但其需要大量的資源,對于規模較大的數據集,其復雜度和工作量會相應增加。對于混合檢測方法而言,何時對加殼的惡意軟件進行去殼操作是一個關鍵問題,值得進一步深入研究。

傳統惡意軟件檢測的相關文獻如表1所示,其中“—”表示文獻中沒有明確提及。考慮到本文的研究重點以及非可視化相關文獻的發表時間較早,很多文獻使用的數據集已經過時并已被市面上新的數據集所取代,表1中未呈現非可視化相關文獻的分類準確率。后文會展示可視化相關文獻的分類準確率,這樣做的目的是聚焦于介紹新的數據集和研究成果,為讀者提供更加實用和現代化的信息。

在現有的分析方法中,仍以靜態分析和動態分析使用居多。如上所述,靜態分析是指對程序可執行文件進行分析而不執行程序。在靜態分析中,通常使用的特征包括操作碼頻率分布、字節序列N-Gram、控制流程圖等。靜態分析比動態分析更快、更高效,因為它具有結構屬性相關的信息優勢,如字節簽名序列和文件內容中的異常。而動態分析是指在一個安全和受控的環境中觀察程序的運行狀態,通常是分析行為信息,如網絡活動、系統調用、文件操作和注冊表修改記錄。這種方法能夠準確反映程序的行為特征,不受加密、壓縮、變形等方面的影響。但是,這種方法需要花費時間調試程序和跟蹤與記錄程序的運行過程。因此,動態分析通常比靜態分析效率低得多。此外,動態分析在運行環境中也受到一些限制。靜態分析和動態分析有各自的優缺點,但考慮到動態分析所需的時間和資源,靜態分析更適合于分析大量的惡意軟件。

為了方便讀者理解,對傳統非可視化惡意軟件檢測進行文獻邏輯圖整理,如圖2所示。

圖2 對傳統非可視化惡意軟件檢測進行文獻邏輯圖整理

Figure 2 Traditional non-visual malware detection for literature logic diagram arrangement

2 惡意軟件可視化技術研究

盡管惡意軟件不斷演變和變化,但是將其轉化為可視化圖像后,相較于傳統非可視化方法,具有更優越的檢測和分類效果。惡意軟件圖像中蘊含了豐富的信息,同類惡意家族的可視化圖像具有相似性,而不同類家族的可視化圖像之間則有明顯差異。此外,大部分惡意代碼變體是使用自動化技術或重用重要模塊生成的,因此它們在二進制代碼中存在一些相似之處。基于以上特點,研究學者采用兩種主流方式開展惡意軟件可視化研究:一種主流方式是從圖像的紋理或結構等方面入手,提取特征并結合機器學習進行惡意軟件的檢測和分類;另一種主流方式是使用深度學習自動提取特征進行學習,可以有效對抗混淆技術。除了常見的灰度圖像,為了獲取更加豐富的特征,許多學者將惡意軟件可視化為彩色圖像。此外,還有一些基于可視化的方法,雖未使用機器學習或深度學習,但同樣可對惡意軟件進行有效檢測。

2.1 基于機器學習的惡意軟件可視化檢測

當前,針對基于機器學習的惡意軟件可視化檢測方法展開了廣泛而深入的研究,該研究方向的重心在于提取出具有良好分類效果且不易受到干擾的可視化特征。在特征提取的基礎上,利用多種分類器進行圖像分類,進而實現惡意軟件的分類。通常采用的方法是利用機器學習方法對提取出的圖片全局圖像結構張量(GIST, gobal image structure tensor)特征進行學習和分類,或者將GIST特征作為全局特征與LBP、SIFT或者DSIFT等局部特征相結合,再運用機器學習方法進行分類。通過將分類效果最好的特征與分類器結合,可以實現對惡意軟件更為準確和高效的分類。

Nataraj等[25]的研究開啟了結合可視化技術的惡意軟件檢測和分類的新興領域。該研究首先將惡意軟件.text區塊的二進制數據通過Nataraj矢量化技術轉化為灰度圖像,并基于GIST[26-28]對轉化后的灰度圖特征進行提取,然后運用KNN(-nearest neighbor)算法對提取的特征進行分類。此外,在文獻[29]中,研究者表明使用圖像處理的二進制紋理分析技術可以更快速地對惡意軟件進行分類。然而,紋理分析方法具有較大的計算開銷,因此在處理大量的惡意軟件時存在問題。

Nataraj提出了一種針對惡意代碼的矢量化方法,該方法選取的編碼量一般為全部PE文件或其中包含可執行代碼的.text節。具體而言,對于給定的二進制文件,可以將其切割成長度為8 bit的子序列,每個子序列可以通過二進制轉換為[0,255]范圍內的數值。基于這種思想,惡意代碼文件可以被視為在[0,255]范圍內的灰度圖像。為了處理不同大小的惡意代碼文件,研究人員提出將圖像的寬度設置為固定值,高度根據文件大小進行調整,從而將惡意代碼轉換為長條狀的灰度圖像,Nataraj的矢量化如圖3所示。

圖3 Nataraj的矢量化

Figure 3 Vectorization of Nataraj

圖4 3層多分類器聯合框架示意

Figure 4 Three-layer multi-classifier joint framework

劉亞姝等[30]解決了文獻[25]在某些相似度比較高的惡意代碼家族上分類精確度不高的問題。作者首先將惡意代碼根據文獻[25]中Nataraj矢量化方法轉化為灰度圖,之后選取GIST作為全局特征,LBP或者DSIFT作為局部特征進行融合。實驗結果表明,該方法更具穩定性和適用性,并且分類準確率得到了顯著提高。

劉亮等[31]針對現有技術提取特征單一的缺點,提出了一種基于多特征的惡意軟件分類方法。該方法首先對字節碼圖像進行處理,提取GIST作為全局特征和SIFT作為局部特征,再將這兩種特征融合并使用隨機森林進行訓練;其次,對操作碼圖像提取像素特征和文本特征進行融合,并使用XGBoost進行訓練,此外,還提取了灰度共生矩陣并使用支持向量機進行訓練;最后,將這3部分分類器的輸出通過聯合層進行加權投票得出聯合輸出。3層多分類器聯合框架示意如圖4所示。實驗結果表明,該方法的分類準確率明顯優于單一特征提取的方法。

Naeem等[32]提出了一種名為LGMP的特征提取方法,該方法包括3個步驟:首先,采用DSIFT方法提取局部特征并進行選擇;其次,提取GIST作為全局特征;最后,通過高斯權重集成局部和全局特征得到LGMP特征。

除了GIST特征之外,基于紋理以及操作碼N-Gram提取特征等,也是惡意軟件分類中常用的特征提取方法。這些特征可以結合多種其他特征進行組合,以進一步提高檢測和分類的準確性。

Liu等[33]研發了一種基于機器學習的惡意軟件分析系統,該系統由3個主要組成部分構成:首先是數據處理模塊,該模塊利用操作碼N-Gram和導入函數對灰度圖像進行特征提取;其次是決策模塊,負責對惡意軟件進行分類和識別可疑惡意軟件;最后是檢測模塊,該模塊使用SNN聚類算法來發現新的惡意軟件家族。

Fu等[34]提出了一種將惡意軟件可視化為RGB彩色圖像的方法,并利用熵、字節值和相對大小來表征惡意軟件。作者將這3個特征分別轉化為RGB三通道表示,基于熵、字節值和相對大小的彩色圖片可視化方法如圖5所示。在特征提取方面,作者選擇了GLCM和顏色矩作為全局特征,同時為了增強模型的魯棒性,提取了部分字節碼序列作為局部特征,并使用隨機森林、近鄰和支持向量機對惡意軟件進行分類。

圖5 基于熵、字節值和相對大小的彩色圖片可視化方法

Figure 5 Color image visualization method based on entropy, byte value and relative size

郎大鵬等[35]提出了一種融合三組特征的惡意軟件檢測和分類算法。該算法首先將惡意代碼源文件和反匯編文件使用文獻[25]中Nataraj矢量化方法轉化為灰度圖;然后提取灰度圖的GIST特征和GLCM特征,此外,使用3-Gram算法提取操作碼序列,并采用改進型增益算法提取操作碼特征;最后,將這3組特征進行不同的組合與分類,并利用隨機森林算法進行學習。多特征融合的惡意代碼分類算法如圖6所示。

李劭杰等[36]提出了一種基于多特征并結合隨機森林的惡意代碼檢測方法。該方法選取的特征包括N-Gram算法提取的文本特征、從灰度圖中提取的紋理特征GLCM以及灰度直方圖提取的顏色特征作為全局特征。3種特征相結合后,利用隨機森林算法對代碼進行檢測。

Figure 6 Malicious code classification algorithm based on multi-feature fusion

除了前文提到的方法,結合機器學習進行惡意代碼檢測的可視化技術還可以應用其他的特征提取方法,如熱圖、小波、Gabor特征、方向梯度直方圖HOG特征以及區段特征等。

Anderson等[37]提出了一種利用熱圖展示惡意軟件內核使用情況的方法。該方法在每個不同視圖上使用相似性度量來表示內核,然后使用多個內核進行學習,找到數據源的加權組合,從而在支持向量機分類器中實現最佳的分類精度。

盧喜東等[38]提出了一種基于方向梯度直方圖的惡意代碼分類方法:首先,將惡意代碼轉化為灰度圖并對其進行大小歸一化處理;然后,使用方向梯度直方圖提取灰度圖的特征,這些特征被認為是惡意代碼的本質特征;最后,使用深度森林算法對惡意代碼進行分類。

Kancherla等[39]提出了基于可視化的方法進行惡意軟件檢測。該方法首先將可執行文件轉化為灰度圖像,將其命名為"字節圖";隨后,從這一圖像中提取低層次的特征,包括基于強度和紋理的特征;最后,采用支持向量機作為惡意軟件檢測的工具,并利用上一步提取的特征進行分類和檢測。

惡意軟件可視化結合機器學習的相關文獻如表2所示,其中“?”表示文獻中沒有明確提及。

表2 惡意軟件可視化結合機器學習的相關文獻

根據表2的結果,可以探究不同特征和模型對機器學習方法分類準確率的影響。從表2可以看出,在特征選擇方面,操作碼和GIST相關的特征顯示出相對較高的分類準確率;在模型選擇方面,隨機森林和支持向量機是在惡意軟件檢測和分類問題中較為高效的機器學習模型;此外,多方面多角度的特征合理結合比單一特征產生更好的分類效果。這進一步強調了特征和模型的選擇對于分類準確率的重要性。在惡意軟件檢測領域,研究人員通常會測試多種特征提取方法,包括基于靜態分析和動態分析的特征提取方法,并測試不同的機器學習模型,以獲得更高的分類準確率。在進行特征和模型的選擇時,必須考慮數據集大小、特征質量和可解釋性、模型準確率和計算效率等多個因素。因此,在選擇特征和模型時,需要進行全面的分析和評估,以獲得最佳的惡意軟件檢測和分類方法。

近年來,機器學習結合可視化的方法在惡意軟件檢測領域得到了快速發展,但仍有多個方面可以進一步完善。第一,目前的方法通常將整個惡意代碼圖像作為處理對象,而未來可以考慮將惡意代碼圖像分成多個區段進行處理。第二,在提取多特征時,應確保特征相互獨立,盡量消除重疊的部分。第三,目前在特征融合方面,靜態特征融合居多,未來可探索融合行為特征等動態特征。第四,對于加密或打包的惡意軟件,需要開發有效的解壓和解密方法以進行可視化研究。第五,可視化技術用于PE文件的研究更為廣泛,因為PE文件結構清晰統一、含有豐富信息,而一些非PE文件結構較為復雜,無法有效提取本地特征,因此未來對于非PE文件的可視化研究需要更多探索。第六,目前的方法在提取復雜的惡意軟件圖像特征時需要高計算成本,如GIST、SURF、DSIFT、LBP和GLCM等,而且這些特征提取技術在處理大規模數據集時效率較低。因此,未來需要研究如何降低特征提取成本,從原始二進制數據中提取適當的信息,提高惡意軟件檢測的準確率。

2.2 基于深度學習的惡意軟件可視化檢測

將惡意軟件可視化與深度學習相結合,以實現對惡意軟件的分類和檢測,是一種主流方法。

目前,深度學習技術,如卷積神經網絡和循環神經網絡等,已經成為廣泛研究的熱點。這些技術能夠自動學習數據集中的特征,并實現高效的分類和檢測。因此,基于深度學習的惡意代碼檢測得到了較快發展。其中,常用的方法是將惡意代碼轉換為灰度圖或彩色圖,并將其輸入深度學習模型中進行學習和分類。

2015年,Davis等[40]提出了一種基于反匯編的惡意代碼矢量化方法。該方法使用反匯編的十六進制機器碼作為編碼源,將每個十六進制數字轉換為4 bit的二進制數字,并將其填充到64 bit中。由于二進制數字只有0或1,因此將每個二進制位乘以255后,可以得到像素灰度值0或255。使用該方法轉換后的灰度圖中,每行都對應著一條機器碼,具有很好的可視化解釋性。

軒勃娜等[41]提出了一種基于改進CNN的惡意軟件RGB可視化分類方法,可抵御惡意軟件變種和混淆,首先,通過基于RGB圖像的特征表示方法,強化了惡意軟件的語義關系,生成更富紋理信息的圖像,深挖了惡意代碼原始與變種的關系;其次,利用坐標注意力模塊擴展空間信息,應對惡意軟件的加密和混淆問題;最后,借助空洞空間金字塔池化改進CNN模型,克服圖像尺寸歸一化引起的信息損失和冗余。

Cui等[42]在文獻[25]的基礎上進行了改進,使用蝙蝠算法結合卷積神經網絡的方法解決了不同惡意代碼家族之間的數據不均衡問題,并應用深度學習進行分類和學習,避免了過擬合問題。

Kalash等[43]首先將惡意軟件的二進制文件轉換為灰度圖像,然后訓練了一個卷積神經網絡來對其進行分類。之后,作者在Malimg和Big2015兩個數據集上進行了測試,結果顯示其準確率分別達到了98.52%和98.99%。

田志成等[44]提出了一種PE文件格式的惡意代碼對抗樣本檢測方法,旨在應對在程序功能無關區域進行添加或修改的對抗樣本攻擊。該方法利用模型解釋技術提取端到端的惡意代碼檢測模型的決策依據作為特征,并借助異常檢測方法來準確識別這些對抗樣本。值得注意的是,該方法作為一種附加模塊無須對原始模型進行修改。相對其他防御方法,如對抗訓練等,該方法表現出更高的效率和更強的泛化能力,可有效應對多種對抗樣本攻擊。

王博等[45]在惡意代碼檢測領域提出了一種新的方法,將每個二進制比特串切割成長度為8 bit的子串,并將每連續3個子串分別對應RGB通道。這種方法可以對任意長度的惡意代碼進行處理,并將其轉換為圖像數據,基于序列分割的彩色圖片可視化方法如圖7所示。相較于文獻[42],該方法的準確率提高了1.66%。然而,該方法所設計的CNN結構參數量較大,且采用的數據集樣本量過少,未能完全體現所設計CNN結構的優勢。未來需要更多的研究來驗證該方法的性能和可靠性。

圖7 基于序列分割的彩色圖片可視化方法

Figure 7 Color image visualization method based on sequence segmentation

Chu等[46]通過灰度圖轉化技術將惡意代碼同源分類問題轉化為圖像分類問題,利用基于惡意軟件可視化圖像的卷積神經網絡構建分類器,并在Big2015數據集上進行了驗證。實驗結果表明,該分類器的分類精度高達98.6%。

Vasan等[47]采用了文獻[25]中的Nataraj矢量化方法將惡意軟件轉化為二維數組,隨后添加了彩色映射以生成彩色圖片,并利用調整過后的VGG16網絡模型對其進行檢測和分類。該方法對于混淆的惡意軟件及其變種具有很高的效率和實用性。

針對文獻[45]中模型數量過多的問題,蔣考林等[48]提出了一種與其將惡意代碼可視化為彩色圖像類似的方法,但不同之處在于在末尾數量不足的情況下使用0進行填充,并使用Alexnet進行訓練和分類。相比文獻[45],文獻[48]方法分類準確率提高了1.8%。

除了前述方法,許多文獻在結合可視化和卷積神經網絡的基礎上,引入了創新點。例如,一些作者使用Simhash或Minhash算法生成特征圖像,以達到更好的分類效果。

Ni等[49]提出了一種MCSC(multi-characteristic simhashing code)算法,用于提取惡意代碼特征。該算法結合了操作碼序列和局部敏感哈希技術,通過獲取惡意代碼反匯編后匯編指令中的操作碼序列進行特征提取,將每個惡意代碼編碼為相同長度的二進制Simhash值,隨后,將Simhash值的每個二進制位轉換為像素值(0轉換為0,1轉換為255),從而得到惡意軟件的圖像。在該過程中,采用了多哈希、主塊選擇和雙線性插值等技術來提高算法性能。

Sun等[50]提出了一種結合惡意代碼靜態分析、RNN和CNN的方法,旨在利用時序特征與原始代碼信息的關聯性來提高惡意代碼分析的魯棒性。該方法首先將原始代碼與RNN預測碼進行融合,并使用Minhash算法生成特征圖像;然后,利用訓練好的CNN對特征圖像進行分類,實現惡意代碼的檢測和分類。

陳小寒等[51]的研究既考慮了惡意軟件的原始信息,又考慮了其與時序特征相關聯的能力,通過二者的有機結合獲得了更加豐富、可用于分類的信息。該研究首先從匯編代碼中提取操作碼序列,并采用Simhash算法將每段惡意代碼映射為64 bit哈希值;其次,基于Simhash值映射的灰度圖像可視化方法(如圖8所示),將哈希值映射為一個坐標,通過對每個坐標出現的次數進行灰度值調整,生成惡意軟件的灰度圖像;隨后,研究者利用雙向遞歸神經網絡處理灰度圖像,得到預測碼,同時,對預測碼進行上述操作;最后,將原始代碼與預測碼特征圖像結合,利用CNN對圖像進行分類,取得了出色的分類效果。值得注意的是,該研究中所設計的CNN結構參數量較大,但作者對數據集進行了充分的實驗設計和驗證,從而保證了分類效果的可靠性和可復現性。

圖8 基于Simhash值映射的灰度圖像可視化方法

Figure 8 Gray image visualization method based on Simhash value mapping

也有一些研究者將深度學習和熵值或熵圖相結合,用于惡意軟件的檢測和分類。

Gibert等[52]提出了一種針對惡意程序的檢測和分類方法,將程序內容表示為一個熵流,其中每個值都描述了在文件中特定位置的一小塊代碼的熵量;隨后,應用小波變換來描述熵能的變化,并且利用深度學習方法從熵值的流表示的可執行文件中找到區別模式,以實現對惡意軟件的檢測和分類。實驗結果表明,該方法取得了良好的效果。

Xiao等[53]提出了一種將惡意代碼樣本轉換為基于結構熵的熵圖的方法,采用深度卷積神經網絡作為特征提取器,自動從熵圖中提取共享模式,并使用支持向量機對惡意代碼進行檢測和分類。實驗結果表明,將深度卷積神經網絡與熵圖結合可以提供更好的惡意軟件家族識別模式,熵圖比灰度圖更具代表性,可以更好地表現核心家族信息。基于結構熵計算與熵圖的惡意軟件可視化方法如圖9所示。

圖9 基于結構熵計算與熵圖的惡意軟件可視化方法

Figure 9 Malware visualization method based on structural entropy calculation and entropy graph

除此之外,還有一些研究者將深度學習與惡意軟件的灰度圖紋理特征、操作碼頻率、空間填充曲線、注意力圖以及匯編指令的詞向量等結合,以實現惡意軟件的分類和學習。

Yan等[54]提出了一種新的惡意代碼檢測方法MalNet,其首先生成惡意代碼灰度圖像,并同時利用IDA工具對操作碼序列進行提取;隨后使用CNN和長短時記憶(LSTM, long short-term memory)網絡分別從灰度圖和操作碼序列中進行學習和分類,檢測準確率達到了99.88%,分類準確率達到了99.36%。該方法通過將深度學習應用于灰度圖像和操作碼序列,取得了極高的檢測和分類準確率。

喬延臣等[55]在惡意軟件檢測中采用了一種基于匯編代碼的方法。作者首先獲取了惡意軟件的匯編代碼,并使用Word2Vec算法得到詞向量;接下來按照Top100的順序,排列每個樣本上計算出的匯編指令詞向量,將每個樣本轉換為維度為100的矩陣。通過歸一化操作,將每個矩陣轉換為灰度圖像,并使用CNN進行分類。實驗結果表明該方法可以有效地對惡意代碼進行分類。

Yakura等[56]提出了一種新的惡意軟件分析方法,該方法利用帶有注意力機制的CNN處理惡意軟件轉化后的圖像,計算出注意力圖并提取具有代表性的惡意家族字節序列。實驗結果表明,該方法能夠提取有用的惡意家族信息,為人工分析提供幫助。

Zhao等[57]提出了一種基于灰度圖像和紋理分割的惡意代碼分類框架,通過將惡意軟件的信息反映在新的紋理特征圖像空間中,實現了對惡意代碼的分類。為適應該框架,作者還提出了一種專門設計的CNN進行學習和分類。

任卓君等[58]在對文獻[61]分析的基礎上,針對樣本數量較少、缺乏普適性的問題,提出了一種基于操作碼頻率的惡意軟件可視化檢測分類方法。該方法首先從反匯編的惡意樣本中提取操作碼字符序列;然后對其進行采樣與轉換;接著利用設計的色譜標記樣本集中出現數量最多的前15種操作碼,按照空間填充曲線遍歷RGB顏色空間的順序進行填充,使得相同顏色的操作碼聚集在一起。基于操作碼頻率的惡意代碼可視化分析方法如圖10所示。通過這種方式,惡意軟件信息被轉換為具有代表性的可視化結果,可視化結果中同族相似,異族相異,具有很好的分類效果。

Ren等[59]提出了一種基于惡意軟件二進制序列的可視化分析方法,該方法包括歸一化、映射、學習與分類3個步驟。在第一個步驟中,通過填充不同的顏色來區分可顯示字符和不可顯示字符,分別使用綠色、黑色、白色、紫色標記可顯示字符、字節值為0的字符、字節值為255的字符和其他字節。在第二個步驟中,采用6種空間填充曲線對惡意軟件進行可視化。在第三個步驟中,使用VGG19卷積神經網絡進行學習和分類。

圖10 基于操作碼頻率的惡意代碼可視化分析方法

Figure 10 Visual analysis method of malicious code based on opcode frequency

圖11 基于區段的彩色圖片可視化方法

Figure 11 Color image visualization method based on segment

王潤正等[60]使用反匯編工具提取惡意代碼中的不同區塊數據,然后對代碼段和數據段進行分離并進行可視化操作。由于各個區塊所代表的惡意代碼信息不同,使用該方法可以更直觀地表現出不同惡意家族之間的差異性。基于區段的彩色圖片可視化方法如圖11所示,實驗結果表明,采用該方法可以進一步提高惡意代碼分類的準確性。

Pinhero等[61]進行了一系列實驗,結合惡意軟件可視化和深度學習分類,提出了一種新方法,通過對不同維度的可執行文件進行視覺圖像分析,評估了經過微調的CNN模型在惡意軟件識別上的性能。實驗結果表明,使用彩色視覺圖像和馬爾可夫圖像可以取得最佳結果。此外,應用Gabor濾波器提取紋理特征和熵圖像進一步改進了分類準確性,最佳的CNN模型在多個實驗中展現出較高的F-measure值。未來將考慮擴展數據集和研究多模態圖像分類器的性能。

Anandhi等[62]將惡意軟件可視化為馬爾可夫圖像,并利用Gabor濾波器提取紋理特征。作者通過構建VGG-3和DenseNet模型,并對DenseNet進行微調,實現了實時惡意軟件檢測和分類。在實驗評估中,作者發現DenseNet分別以99.94%和98.98%的準確率識別了Malimg和BIG2015樣本。此外,與現有方法相比,作者提出的方法在根據預測時間、1分數和準確性進行校準的惡意軟件文件分類方面表現出更好的性能。

Huang等[63]提出了一種惡意軟件檢測方法。該方法結合了惡意軟件可視化技術和卷積神經網絡,并采用混合可視化的方式進行靜態和動態分析。作者通過Cuckoo Sandbox生成的行為分析報告,將樣本的靜態特征和動態信息轉換為可視化圖像,并在此基礎上訓練檢測模型。實驗結果表明,混合可視化方法在惡意軟件檢測方面具有較好的性能,優于僅使用靜態分析的檢測方法。

Moussas等[64]提出一種基于兩級人工神經網絡(ANN)的新型惡意軟件檢測系統,解決了將現有惡意軟件可視化為圖像的變體的識別問題。研究人員從數據集中提取了關鍵的圖像特征,并用這些特征訓練了ANN模型。該模型能夠檢測和分類數據集中的其他樣本,并通過第二級ANN對產生混淆的惡意軟件家族進行分類。所提出的兩級ANN方法在簡潔性、準確性和速度方面表現出色,易于實施且運行速度快。因此,該方法可應用于防病毒軟件、智能防火墻、Web應用等領域。

Darem等[65]提出了一種半監督方法,結合深度學習、特征工程、圖像轉換和處理技術,用于檢測混淆惡意軟件。在檢測混淆惡意軟件方面,作者所提出的方法達到了99.12%的檢測準確率,顯著優于其他方法。

Conti等[66]提出了一種基于GEM圖像的深度學習方法,該方法更適用于較淺的卷積神經網絡(CNN)架構,以提高訓練和分類效率。作者通過結合灰度矩陣圖像、GLCM紋理特征、馬爾可夫圖像和熵圖像,提出了一種新穎的惡意軟件可視化方式,同時與現有的CNN架構兼容。實驗表明,結合GEM圖像格式和淺層CNN架構,在傳統的惡意軟件分類問題上取得了有競爭力的結果,并優于現有的少樣本惡意軟件分類研究。

Falana等[67]提出了一種基于深度卷積神經網絡和深度生成對抗神經網絡的集成技術(Mal-Detect),用于分析、檢測和分類惡意軟件。Mal-Detect將惡意軟件和良性文件轉換為RGB圖像,并利用深度生成對抗神經網絡生成新的惡意軟件圖像,然后對生成的惡意軟件圖像、原始惡意軟件和良性文件圖像進行預處理,使用深度卷積神經網絡訓練數據集并提取關鍵特征。作者對Mal-Detect在3個基準數據集(MaleVis、Mallmg和Virushare)上進行了評估,結果顯示其平均準確率為96.77%。這些結果表明,Mal-Detect可用于檢測各類惡意軟件。

Chaganti等[68]提出了一個名為EfficientNetB1的框架,用于對惡意軟件家族進行分類。作者通過評估3種不同類型的惡意軟件圖像表示的性能,并對所提模型的網絡參數進行有效縮放來對其進行評估。此外,作者對基于CNN的預訓練模型進行了廣泛的性能評估,比較了它們在惡意軟件家族分類中的模型性能和計算效率。研究結果表明,使用具有固定圖像寬度的字節級表示的惡意軟件獲得了比使用文件大小和基于字節編碼的圖像寬度選擇表示的惡意軟件更好的性能。

Mallik等[69]提出了一種基于卷積循環的惡意軟件分類技術。該方法通過將惡意軟件樣本轉換為灰度圖像,并利用卷積神經網絡捕捉結構相似性,能夠有效地對惡意軟件進行分類。隨后,作者通過堆疊的BiLSTM層處理提取的特征,通過合并BiLSTM層和VGG16層生成的輸出,對惡意軟件樣本進行最終的惡意軟件家族分類。

表3 惡意軟件可視化結合深度學習的相關文獻

Chauhan等[70]提出了一種惡意軟件分類方法,該方法利用不同顏色模式(包括RGB、HSV、灰度和BGR)將惡意軟件文件轉化為圖像,以更清晰地展現其中的模式,用于圖像分類。綜合評估分類準確性、結果一致性、召回率、1得分和精確度等指標的結果表明,該方法具備使惡意軟件分類更加高效的潛力。惡意軟件可視化結合深度學習的相關文獻如表3如所示,其中,“?”表示文獻中沒有明確的提及。

深度學習結合可視化方法在惡意軟件檢測與分類方面表現出準確率高的特點。然而,目前仍存在以下需要進一步發展的方面。第一,圖片提取的特征中大部分仍為靜態特征,為應對混淆樣本與加殼樣本,可以考慮添加一些動態特征。第二,某些深度學習算法中設計的模型結構參數量過大,因此下一步需要對模型進行優化,減少參數量。第三,基于生成對抗網絡(GAN,generative adversarial network)的數據增強技術在圖像領域獲得了廣泛應用,可以考慮在惡意代碼可視化圖像上利用GAN進行圖像增強,并將其與深度學習算法相結合,以提高分類效果。針對數據集分布不均衡的問題,嘗試使用GAN解決該問題,以增強模型的泛化能力,提高惡意軟件檢測的準確率。最后,針對彩色圖像,可以考慮將3個不同類型的信息分別轉換為RGB三通道,進行彩色圖片可視化,以進一步提高分類效果。

圖12 對惡意軟件可視化檢測進行文獻邏輯圖整理

Figure 12 Visual detection of malware for literature logic diagram arrangement

針對相同的惡意軟件灰度圖,機器學習方法和深度學習方法各具特色和優勢。機器學習方法主要依靠手工特征提取和分類器,而深度學習方法則通過多層神經網絡學習數據的抽象表示。機器學習方法具有簡單易懂、容易實現的優點,適用于小數據集,但因為需要人工選擇特征和分類器,可能無法發現數據的潛在模式。在可視化結合機器學習方法中,可視化有助于分析和理解惡意軟件的特征和行為,并提高模型的可解釋性。通過可視化,研究人員可以直觀地觀察惡意軟件在不同特征空間中的分布,從而優化特征選擇、提取和分類器構建。深度學習方法無須手動進行特征提取和選擇,從而更好地適應不同的數據分布和任務,具有更好的泛化能力和分類準確率。但深度學習方法需要更大的計算資源和訓練時間,也需要更多的數據來支持模型訓練。在可視化結合深度學習方法中,可視化不僅可以提高模型的可解釋性,還有助于理解深度學習模型的工作原理和決策過程。綜上所述,可視化結合機器學習方法和可視化結合深度學習方法各有優勢和特點,選擇惡意軟件檢測方法時應根據具體應用場景和需求綜合考慮數據集大小、計算資源和時間限制、模型準確度和實現復雜度等因素。

為了方便讀者理解,對惡意軟件可視化檢測進行文獻邏輯圖整理,如圖12所示。

2.3 其他可視化方法

除了使用機器學習和深度學習方法進行惡意軟件檢測外,還有一些學者使用其他可視化方法進行惡意軟件檢測。

Han等[71]提出了一種新的可視化分析方法,通過將惡意軟件的二進制信息轉換為圖像矩陣進行分析。該方法分為3個步驟:首先從二進制文件中提取二進制信息;接著生成將二進制信息記錄為RGB彩色像素的圖像矩陣;最后計算它們中的相似性,以便檢測和分類惡意代碼。此外,作者還使用Simhash和djb2函數計算像素點的坐標值。在文獻[72]中,Han等在文獻[25]Nataraj向量化的基礎上增加了熵圖,使用熵圖的特征進一步提升惡意軟件圖像分類的效果,對原本圖像紋理特征提取方法和相似度衡量方案提供了一個新的思路。具體步驟為:將PE二進制文件作為輸入轉化為位圖圖像,并計算位圖每一行的熵值,基于熵值生成熵圖,最后將位圖圖像和熵圖作為惡意軟件的特征存儲在數據庫中,通過計算熵圖的相似性,利用這些特征對惡意軟件進行檢測和分類。

此外,Paturi等[73]提出了一種利用可視化技術表達分層聚類的方法。他們使用標準化壓縮距離來度量惡意軟件程序之間的代碼相似性,并通過相似度度量計算生成相似度得分矩陣,從而確定正在檢查的代碼或二進制文件是否屬于特定的惡意軟件家族;接著使用層次聚類將惡意軟件家族分成集群,并進行可視化展示。

韓曉光等[74]提出了一種基于圖像分析和灰度圖檢測的惡意軟件檢測方法。該方法首先將惡意軟件轉換為灰度圖像,然后采用紋理分割算法對灰度圖像進行分塊,接著使用灰度共生矩陣算法提取灰度圖像分塊后的紋理特征,并基于此建立紋理特征索引結構進行惡意軟件檢測。

3 結束語

本文全面闡述與分析了惡意代碼檢測技術,特別關注了可視化領域的最新發展:在傳統非可視化檢測方面,本文從靜態、動態和混合檢測3個方面進行了概述;在可視化檢測方面,從可視化結合機器學習、可視化結合深度學習和單獨使用可視化3個角度進行了研究和綜述。本文總結了當前惡意代碼檢測技術所面臨的問題,并提出了幾個未來探究的方向。

第一,現有的可視化方法仍然以灰度圖和圖像相似性紋理為基礎,對于字節分布相對均勻的惡意代碼并不適用,需要進一步探索新的可視化方法。

第二,目前可視化結合深度學習的惡意軟件檢測方法,還是以卷積神經網絡和循環神經網絡為主,使用圖卷積神經網絡和生成對抗網絡進行惡意代碼檢測的方法較少,因此可以考慮提出一種將惡意代碼可視化、圖卷積神經網絡和生成對抗網絡相結合的檢測方法。

第三,將惡意代碼可視化為彩色圖像后結合機器學習或深度學習進行惡意軟件檢測分類的研究仍然較少,彩色圖像擁有3個通道,能反映惡意代碼更加豐富的特性信息,進而對檢測和分類有更好的效果,因此可以多嘗試新的方法將惡意代碼可視化為彩色圖后進行分類。

第四,在對惡意代碼可視化為彩色圖片時,可以考慮RGB三通道分別代表3個不同類型的信息,如R通道代表灰度圖,G通道代表字符信息,B通道代表文件頭信息。

第五,在目前對惡意代碼可視化為彩色圖的方法中,PE文件居多,而非PE文件由于結構較為復雜,無法有效提取本地特征,因此需要對其可視化方法進行進一步的研究。

第六,分類模型中選取的特征仍以全局特征居多,從而導致分類模型對復雜的惡意軟件的檢測結果不夠穩定,只能應用于少量具有標記圖像特征的惡意樣本,因此可以考慮更多結合全局特征與局部特征的方法,提高模型的魯棒性。此外,有些特征提取方法需要高昂的計算成本,如GIST、SURF、DSIFT、LBP和GLCM等,尤其是在大規模數據集上的應用效率較低。因此,如何通過更有效的方式降低特征提取的成本,以從原始的二進制數據中提取更豐富的信息,值得進一步探討。

[1] 國家互聯網應急中心. 網絡安全信息與動態周報[EB].

National Internet Emergency Center. Network security information and dynamic weekly report[EB].

[2] IWAMOTO K, WASAKI K. Malware classification based on extracted API sequences using static analysis[C]//Proceedings of the Asian Internet Engineeering Conference. 2012: 31-38.

[3] IMRAN M, AFZAL M T, QADIR M A. Similarity-based malware classification using hidden Markov model[C]//2015 Fourth International Conference on Cyber Security, Cyber Warfare, and Digital Forensic (CyberSec). 2015: 129-134.

[4] HARDY W, CHEN L, HOU S, et al. DL4MD: a deep learning framework for intelligent malware detection[C]//Proceedings of the International Conference on Data Science (ICDATA). The Steering Committee of The World Congress in Computer Science, Computer Engineering and Applied Computing (WorldComp). 2016: 61.

[5] SCHULTZ M G, ESKIN E, ZADOK F, et al. Data mining methods for detection of new malicious executables[C]//Proceedings 2001 IEEE Symposium on Security and Privacy ( S&P 2001). 2000: 38-49.

[6] KOLTER J Z, MALOOF M A. Learning to detect malicious executables in the wild[C]//Proceedings of the 10th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2004: 470-478.

[7] KOLTER J Z, MALOOF M A. Learning to detect and classify malicious executables in the wild[J]. Journal of Machine Learning Research, 2006, 7(12).

[8] KANG B J, YERIMA S Y, MC-LAUGHLIN K, et al. N-opcode analysis for android malware classification and categorization[C]//2016 International Conference on Cyber Security and Protection of Digital Services (Cyber Security). 2016: 1-7.

[9] TIAN R, BATTEN L M, VERSTEEG S C. Function length as a tool for malware classification[C]//2008 3rd International Conference on Malicious and Unwanted Software (MALWARE). 2008: 69-76.

[10] SIDDIQUI M, WANG M C, LEE J. Detecting internet worms using data mining techniques[J]. Journal of Systemics, Cybernetics and Informatics, 2009, 6(6): 48-53.

[11] KONG D, YAN G. Discriminant malware distance learning on structural information for automated malware classification[C]//Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data mining. 2013: 1357-1365.

[12] BAYSA D, LOW R M, STAMP M. Structural entropy and metamorphic malware[J]. Journal of Computer Virology and Hacking Techniques, 2013, 9(4): 179-192.

[13] LI B, ROUNDY K, GATES C, et al. Large-scale identification of malicious singleton files[C]//Proceedings of the Seventh ACM on Conference on Data and Application Security and Privacy. 2017: 227-238.

[14] KUMAR A, KUPPUSAMY K S, AGHILA G. A learning model to detect maliciousness of portable executable using integrated feature set[J]. Journal of King Saud University-Computer and Information Sciences, 2019, 31(2): 252-265.

[15] FIRDAUSI I, ERWIN A, NUGROHO A S. Analysis of machine learning techniques used in behavior-based malware detection[C]//2010 2nd International Conference on Advances in Computing, Control, and Telecommunication Technologies. 2010: 201-203.

[16] ZOLKIPLI M F, JANTAN A. An approach for malware behavior identification and classification[C]//2011 3rd International Conference on Computer Research and Development. 2011: 191-194.

[17] RIECK K, TRINIUS P, WILLEMS C, et al. Automatic analysis of malware behavior using machine learning[J]. Journal of Computer Security, 2011, 19(4): 639-668.

[18] ANDERSON B, QUIST D, NEIL J, et al. Graph-based malware detection using dynamic analysis[J]. Journal in Computer Virology, 2011, 7(4): 247-258.

[19] KIM H, KIM J, KIM Y, et al. Improvement of malware detection and classification using API call sequence alignment and visualization[J]. Cluster Computing, 2019, 22(1): 921-929.

[20] 陳佳捷, 彭伯莊, 吳佩澤. 基于動態行為和機器學習的惡意代碼檢測方法[J]. 計算機工程, 2021, 47(3): 166-173.

CHEN J J, PENG B Z, WU P Z. Malicious code detection method based on dynamic behavior and machine learning[J]. Computer Engineering, 2021, 47(3): 166-173.

[21] ISLAM R, TIAN R, BATTEN L M, et al. Classification of malware based on integrated static and dynamic features[J]. Journal of Network and Computer Applications, 2013, 36(2): 646-656.

[22] SANTOS I, DEVESA J, BREZO F, et al. Opem: a static-dynamic approach for machine-learning-based malware detection[C]//International Joint Conference CISIS’12-ICEUTE′ 12-SOCO′ 12, 2013: 271-280.

[23] 金炳初. 基于多特征的惡意軟件分類方法[D]. 太原: 太原理工大學, 2020.

JIN B C. Malware classification method based on multiple features[D]. Taiyuan: Taiyuan University of Technology, 2020.

[24] 陳志鋒, 李清寶, 張平, 等. 基于數據特征的內核惡意軟件檢測[J]. 軟件學報, 2016, 27(12): 3172-3191.

CHEN Z F, LI Q B, ZHANG P, et al. Kernel malware detection based on data features[J]. Journal of Software, 2016, 27(12): 3172-3191.

[25] NATARAJ L, KARTHIKEYAN S, JACOB G, et al. Malware images: visualization and automatic classification[C]//Proceedings of the 8th International Symposium on Visualization for Cyber Security. 2011: 1-7.

[26] TORRALBA A, MURPHY K P, FREEMAN W T, et al. Context-based vision system for place and object recognition[C]//IEEE International Conference on Computer Vision. 2003: 273-273.

[27] OLIVA A, TORRALBA A. Modeling the shape of the scene: a holistic representation of the spatial envelope[J]. International Journal of Computer Vision, 2001, 42(3): 145-175.

[28] SIAGIAN C, ITTI L. Rapid biologically-inspired scene classification using features shared with visual attention[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(2): 300-312.

[29] NATARAJ L, YEGNESWARAN V, PORRAS P, et al. A comparative assessment of malware classification using binary texture analysis and dynamic analysis[C]//Proceedings of the 4th ACM Workshop on Security and Artificial Intelligence. 2011: 21-30.

[30] 劉亞姝, 王志海, 嚴寒冰, 等. 抗混淆的惡意代碼圖像紋理特征描述方法[J]. 通信學報, 2018, 39(11): 44-53.

LIU Y S, WANG Z H, YAN H B, et al. Anti-obfuscation malicious code image texture feature description method[J]. Journal on Communications, 2018, 39(11): 44-53.

[31] 劉亮, 劉露平, 何帥, 等. 一種基于多特征的惡意代碼家族靜態標注方法[J]. 信息安全研究, 2018, 4(4): 322-328.

LIU L, LIU L P, HE S, et al. A static labeling method for malware family based on multiple features[J]. Journal of Information Security Research, 2018, 4(4): 322-328.

[32] NAEEM H, GUO B, NAEEM M R, et al. Identification of malicious code variants based on image visualization[J]. Computers & Electrical Engineering, 2019, 76: 225-237.

[33] LIU L, WANG B, YU B, et al. Automatic malware classification and new malware detection using machine learning[J]. Frontiers of Information Technology & Electronic Engineering, 2017, 18(9): 1336-1347.

[34] FU J, XUE J, WANG Y, et al. Malware visualization for fine-grained classification[J]. IEEE Access, 2018, 6: 14510-14523.

[35] 郎大鵬, 丁巍, 姜昊辰, 等. 基于多特征融合的惡意代碼分類算法[J]. 計算機應用, 2019, 39(8): 2333-2338.

LANG D P, DING W, JIANG H C, et al. Malware classification algorithm based on multi-feature fusion[J]. Journal of Computer Applications, 2019, 39(8): 2333-2338.

[36] 李劭杰, 王晨, 史崯. 基于多特征隨機森林的惡意代碼檢測[J]. 計算機應用與軟件, 2020, 37(10): 328-333.

LI S J, WANG C, SHI Y. Malware detection based on random forest with multiple features[J]. Computer Applications and Software, 2020, 37(10): 328-333.

[37] ANDERSON B, STORLIE C, LANE T. Improving malware classification: bridging the static/dynamic gap[C]//Proceedings of the 5th ACM Workshop on Security and Artificial Intelligence. 2012: 3-14.

[38] 盧喜東, 段哲民, 錢葉魁, 等. 一種基于深度森林的惡意代碼分類方法[J]. 軟件學報, 2020, 31(5): 1454-1464.

LU X D, DUAN Z M, QIAN Y K, et al. A deep forest-based malware classification method[J]. Journal of Software, 2020, 31(5): 1454-1464.

[39] KANCHERLA K, MUKKAMALA S. Image visualization based malware detection[C]//2013 IEEE Symposium on Computational Intelligence in Cyber Security (CICS). 2013: 40-44.

[40] DAVIS A, WOLFF M. Deep learning on disassembly data[J]. BlackHat USA, 2015.

[41] 軒勃娜, 李進. 基于改進CNN的惡意軟件分類方法[J].電子學報, 2023, 51(5): 1187-1197.

XUAN B N, LI J. Malware classification method based on improved CNN[J]. Acta Electronica Sinica, 2023, 51(5): 1187-1197.

[42] CUI Z, XUE F, CAI X, et al. Detection of malicious code variants based on deep learning[J]. IEEE Transactions on Industrial Informatics, 2018, 14(7): 3187-3196.

[43] KALASH M, ROCHAN M, MOHAMMED N, et al. Malware classification with deep convolutional neural networks[C]//2018 9th IFIP International Conference on New Technologies, Mobility and Security (NTMS). 2018: 1-5.

[44] 田志成, 張偉哲, 喬延臣, 等. 基于模型解釋的PE文件對抗性惡意代碼檢測[J]. 軟件學報, 2023, 34(4): 1926-1943.

TIAN Z C, ZHANG W Z, QIAO Y C, et al. Adversarial malicious code detection for PE files based on model interpretation[J]. Journal of Software, 2023, 34(4): 1926-1943.

[45] 王博, 蔡弘昊, 蘇旸. 基于VGGNet的惡意代碼變種分類[J]. 計算機應用, 2020, 40(1): 162-167.

WANG B, CAI H H, SU Y. Malware variant classification based on VGGNet[J]. Journal of Computer Applications, 2020, 40(1): 162-167.

[46] CHU Q, LIU G, ZHU X. Visualization feature and CNN based homology classification of malicious code[J]. Chinese Journal of Electronics, 2020, 29(1): 154-160.

[47] VASAN D, ALAZAB M, WASSAN S, et al. IMCFN: image-based malware classification using fine-tuned convolutional neural network architecture[J]. Computer Networks, 2020, 171: 107138.

[48] 蔣考林, 白瑋, 張磊, 等. 基于多通道圖像深度學習的惡意代碼檢測[J]. 計算機應用, 2021, 41(4): 1142-1147.

JIANG K L, BAI W, ZHANG L, CHEN J, et al. Malware detection based on multi-channel image deep learning[J]. Journal of Computer Applications, 2021, 41(4): 1142-1147.

[49] NI S, QIAN Q, ZHANG R. Malware identification using visualization images and deep learning[J]. Computers & Security, 2018, 77: 871-885.

[50] SUN G, QIAN Q. Deep learning and visualization for identifying malware families[J]. IEEE Transactions on Dependable and Secure Computing, 2018, 18(1): 283-295.

[51] 陳小寒, 魏書寧, 覃正澤. 基于深度學習可視化的惡意軟件家族分類[J]. 計算機工程與應用, 2021, 57(22): 131-138.

Chen X H, Wei S N, Qin Z Z. Malware family classification based on deep learning visualization[J]. Computer Engineering and Applications, 2021, 57(22): 131-138.

[52] GIBERT D, MATEU C, PLANES J, et al. Classification of malware by using structural entropy on convolutional neural networks[C]// Proceedings of the AAAI Conference on Artificial Intelligence. 2018: 32.

[53] XIAO G, LI J, CHEN Y, et al. MalFCS: an effective malware classification framework with automated feature extraction based on deep convolutional neural networks[J]. Journal of Parallel and Distributed Computing, 2020, 141: 49-58.

[54] YAN J, QI Y, RAO Q. Detecting malware with an ensemble method based on deep neural network[J]. Security and Communication Networks, 2018, 2018.

[55] 喬延臣, 姜青山, 古亮, 等. 基于匯編指令詞向量與卷積神經網絡的惡意代碼分類方法研究[J]. 信息網絡安全, 2019(4): 20-28.

QIAO Y C, JIANG Q S, GU L, et al. Research on malicious code classification method based on assembly instruction word vector and convolutional neural network[J]. Information Network Security, 2019(4): 20-28.

[56] YAKURA H, SHINOZAKI S, NISHIMURA R, et al. Neural malware analysis with attention mechanism[J]. Computers & Security, 2019, 87: 101592.

[57] ZHAO Y, XU C, BO B, et al. Maldeep: a deep learning classification framework against malware variants based on texture visualization[J]. Security and Communication Networks, 2019.

[58] 任卓君, 陳光, 盧文科. 惡意軟件的操作碼可視化方法研究[J]. 計算機工程與應用, 2021, 57(18): 130-134.

REN Z J, CHEN G, LU W K. Research on opcode visualization method for malware[J]. Computer Engineering and Applications, 2021, 57(18): 130-134.

[59] REN Z, BAI T. Malware visualization based on deep learning[C]//2021 14th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI). 2021: 1-5.

[60] 王潤正, 高見, 仝鑫, 等融合注意力機制的惡意代碼家族分類研究[J]. 計算機科學與探索, 2021, 15(5): 881-892.

WANG R Z, GAO J, TONG X, et al. Research on malware family classification with attention mechanism fusion[J]. Journal of Frontiers of Computer Science and Technology, 2021, 15(5): 881-892.

[61] PINHERO A, ANUPAMA M L, VINOD P, et al. Malware detection employed by visualization and deep neural network[J]. Computers & Security, 2021, 105: 102247.

[62] ANANDHI V, VINOD P, MENON V G. Malware visualization and detection using DenseNets[J]. Personal and Ubiquitous Computing, 2021: 1-17.

[63] HUANG X, MA L, YANG W, et al. A method for windows malware detection based on deep learning[J]. Journal of Signal Processing Systems, 2021, 93: 265-273.

[64] MOUSSAS V, ANDREATOS A. Malware detection based on code visualization and two-level classification[J]. Information, 2021, 12(3): 118.

[65] DAREM A, ABAWAJY J, MAKKAR A, et al. Visualization and deep-learning-based malware variant detection using OpCode-level features[J]. Future Generation Computer Systems, 2021, 125: 314-323.

[66] CONTI M, KHANDHAR S, VINOD P. A few-shot malware classification approach for unknown family recognition using malware feature visualization[J]. Computers & Security, 2022, 122: 102887.

[67] FALANA O J, SODIYA A S, ONASHOGA S A, et al. Mal-detect: an intelligent visualization approach for malware detection[J]. Journal of King Saud University-Computer and Information Sciences, 2022, 34(5): 1968-1983.

[68] CHAGANTI R, RAVI V, PHAM T D. Image-based malware representation approach with efficient net convolutional neural networks for effective malware classification[J]. Journal of Information Security and Applications, 2022, 69: 103306.

[69] MALLIK A, KHETARPAL A, KUMAR S. ConRec: malware classification using convolutional recurrence[J]. Journal of Computer Virology and Hacking Techniques, 2022, 18(4): 297-313.

[70] CHAUHAN D, SINGH H, HOODA H, et al. Classification of malware using visualization techniques[C]//International Conference on Innovative Computing and Communications (ICICC 2022). 2022: 739-750.

[71] HAN K S, LIM J H, IM E G. Malware analysis method using visualization of binary files[M]//Proceedings of the 2013 Research in Adaptive and Convergent Systems. 2013: 317-321.

[72] HAN K S, LIM J H, KANG B, et al. Malware analysis using visualized images and entropy graphs[J]. International Journal of Information Security, 2015, 14(1): 1-14.

[73] PATURI A, CHERUKURI M, DONAHUE J, et al. Mobile malware visual analytics and similarities of attack toolkits (malware gene analysis)[C]//2013 International Conference on Collaboration Technologies and Systems (CTS). 2013: 149-154.

[74] 韓曉光. 惡意代碼檢測關鍵技術研究[D]. 北京: 北京科技大學, 2015.

HAN X G. Research on key techniques for malicious code detection[D]. Beijing: University of Science and Technology Beijing, 2015.

Review of malware detection and classification visualization techniques

WANG Jinwei1,2,3, CHEN Zhengjia1,2, XIE Xue4,5, LUO Xiangyang6, MA Bin7

1. Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology, Nanjing 210044, China 2. Department of Computer, Nanjing University of Information Science and Technology, Nanjing 210044, China 3. State Key Laboratory of Mathematical Engineering and Advanced Computing, Zhengzhou 450001, China 4. University of Science and Technology of China, Hefei 230031, China 5. China Aerospace Academy of Systems Science and Engineering, Beijing 100048, China 6. Information Engineering University, Zhengzhou 450001, China 7. School of Cyberspace Security, Qilu University of Technology, Jinan 250353, China)

With the rapid advancement of technology, network security faces a significant challenge due to the proliferation of malicious software and its variants. These malicious software use various technical tactics to deceive or bypass traditional detection methods, rendering conventional non-visual detection techniques inadequate. In recent years, data visualization has gained considerable attention in the academic community as a powerful approach for detecting and classifying malicious software. By visually representing the key features of malicious software, these methods greatly enhance the accuracy of malware detection and classification, opening up extensive research opportunities in the field of cyber security. An overview of traditional non-visual detection techniques and visualization-based methods were provided in the realm of malicious software detection. Traditional non-visual approaches for malicious software detection, including static analysis, dynamic analysis, and hybrid techniques, were introduced. Subsequently, a comprehensive survey and evaluation of prominent contemporary visualization-based methods for detecting malicious software were undertaken. This primarily encompasses encompassed the integration of visualization with machine learning and visualization combined with deep learning, each of which exhibits distinct advantages and characteristics within the domain of malware detection and classification. Consequently, the holistic consideration of several factors, such as dataset size, computational resources, time constraints, model accuracy, and implementation complexity, is necessary for the selection of detection and classification methods. In conclusion, the challenges currently faced by detection technologies are summarized, and a forward-looking perspective on future research directions in the field is provided.

machine learning, deep learning, data visualization, malware detection and classification

The National Natural Science Foundation of China (62072250, 62172435, U1804263, U20B2065, 61872203, 71802110, 61802212), The Leading Talents Program of Scientific and Technological Innovation in Henan Province (214200510019), The Jiangsu Natural Science Foundation (BK20200750), The Open Fund of the Key Laboratory of Network Space Situation Awareness (HNTS2022002), The Graduate Student Research and Practice Innovation Program of Jiangsu Province (KYCX200974), The Open Project of Guangdong Provincial Key Laboratory of Information Security Technology (2020B1212060078), The Open Research Fund of Shandong Provincial Key Laboratory of Computer Networks (SDKLCN-2022-05)

王金偉, 陳正嘉, 謝雪, 等. 惡意軟件檢測和分類可視化技術綜述[J]. 網絡與信息安全學報, 2023, 9(5): 1-20.

TP309

A

10.11959/j.issn.2096?109x.2023064

王金偉(1978?),男,內蒙古呼倫貝爾人,博士,南京信息工程大學教授、博士生導師,主要研究方向為多媒體版權保護、多媒體取證、多媒體加密和數據認證。

陳正嘉(1999?),男,江蘇徐州人,南京信息工程大學碩士生,主要研究方向為網絡安全、信息安全、惡意軟件檢測。

謝雪(1989?),男,吉林長春人,中國科學技術大學博士生,主要研究方向為網絡安全、多媒體取證。

羅向陽(1978?),男,湖北荊門人,信息工程大學教授、博士生導師,主要研究方向為圖像隱寫和隱寫分析技術。

馬賓(1973?),男,山東濟寧人,齊魯工業大學教授、博士生導師,主要研究方向為可逆信息隱藏、多媒體取證、隱寫與隱寫分析。

2022?03?13;

2023?08?10

謝雪,xuexie2008@163.com

國家自然科學基金(62072250, 62172435,U1804263,U20B2065,61872203,71802110,61802212);中原科技創新領軍人才項目(214200510019);江蘇省自然科學基金(BK20200750);河南省網絡空間態勢感知重點實驗室開放基金(HNTS2022002);江蘇省研究生研究與實踐創新項目(KYCX200974);廣東省信息安全技術重點實驗室開放項目(2020B1212060078);山東省計算機網絡重點實驗室開放課題基金(SDKLCN-2022-05)

WANG J W, CHEN Z J, XIE X, et al. Review of malware detection and classification visualization techniques[J]. Chinese Journal of Network and Information Security, 2023, 9(5): 1-20.

猜你喜歡
可視化分類特征
基于CiteSpace的足三里穴研究可視化分析
基于Power BI的油田注水運行動態分析與可視化展示
云南化工(2021年8期)2021-12-21 06:37:54
分類算一算
基于CGAL和OpenGL的海底地形三維可視化
如何表達“特征”
“融評”:黨媒評論的可視化創新
傳媒評論(2019年4期)2019-07-13 05:49:14
不忠誠的四個特征
當代陜西(2019年10期)2019-06-03 10:12:04
分類討論求坐標
數據分析中的分類討論
教你一招:數的分類
主站蜘蛛池模板: 国产在线观看一区精品| 国产综合另类小说色区色噜噜 | 一级毛片在线播放| 色综合国产| 在线欧美国产| 91偷拍一区| 国产小视频网站| 亚洲人精品亚洲人成在线| 欧美成a人片在线观看| 无套av在线| 亚洲欧洲自拍拍偷午夜色无码| 国产麻豆另类AV| 一级毛片在线免费看| 久久中文电影| 国产精品永久在线| 亚洲愉拍一区二区精品| 精品一区二区三区自慰喷水| 亚洲成AV人手机在线观看网站| 免费高清毛片| 青草午夜精品视频在线观看| 精品自拍视频在线观看| 日韩欧美国产三级| 成年av福利永久免费观看| 久久国产毛片| 欧美色图久久| 国产精品区视频中文字幕| 91成人免费观看| 为你提供最新久久精品久久综合| 日韩在线视频网站| 热九九精品| 一级毛片视频免费| 熟妇无码人妻| 国产免费看久久久| 婷婷丁香在线观看| 538国产视频| 999在线免费视频| 国产国语一级毛片| 亚洲香蕉久久| 91福利免费| 极品性荡少妇一区二区色欲 | 国产在线高清一级毛片| 996免费视频国产在线播放| 国产情精品嫩草影院88av| 久久国产精品电影| 亚洲色图狠狠干| 成人午夜福利视频| 日本91视频| 国产一级一级毛片永久| 国产精品综合色区在线观看| 亚洲日韩欧美在线观看| 国产精品真实对白精彩久久| 欧美日韩中文国产| 色欲不卡无码一区二区| 91精选国产大片| 国产午夜精品鲁丝片| 欧美一级在线看| 精品久久人人爽人人玩人人妻| 精品日韩亚洲欧美高清a| 色综合国产| 亚洲精品视频在线观看视频| 国产91丝袜| 日本精品视频一区二区| 成人夜夜嗨| 99在线视频网站| 欧美日韩精品综合在线一区| 久久伊人色| 国产精品香蕉在线观看不卡| 国产成人综合日韩精品无码首页| 又爽又大又黄a级毛片在线视频 | 免费一级全黄少妇性色生活片| 国产精品视频第一专区| 久久国产高潮流白浆免费观看| 精品少妇人妻无码久久| 99ri精品视频在线观看播放| 美女高潮全身流白浆福利区| 亚洲精品桃花岛av在线| 欧美激情二区三区| 亚洲欧美综合精品久久成人网| 精品国产Av电影无码久久久| 91成人在线免费视频| 成人亚洲国产| 一区二区三区高清视频国产女人|