基于改進SOINN算法的惡意軟件增量檢測方法

張斌，李立勛，董書琴

基于改進SOINN算法的惡意軟件增量檢測方法

張斌1,2，李立勛1,2，董書琴1,2

（1. 信息工程大學，河南 鄭州 450001；2. 河南省信息安全重點實驗室，河南 鄭州 450001）

針對基于批量學習的惡意軟件檢測方法存在檢測模型動態更新困難、運算存儲開銷大的問題，將改進的SOINN算法與有監督分類器有機結合，利用SOINN算法的增量學習特性賦予惡意軟件檢測模型動態更新能力，有效降低運算存儲開銷。首先對SOINN算法進行改進：在SOINN算法競爭學習周期內，根據全排列思想搜索所有樣本輸入次序下神經元的權重調節量，計算所有權重調節量的平均值作為神經元最終權重調節量，避免不同樣本輸入次序影響訓練所得神經網絡的穩定性，使所得神經網絡更能反映原始數據本質特征，從而提高神經網絡針對惡意軟件檢測的精度。然后采用非負矩陣分解和Z-score歸一化對數據進行預處理，將惡意軟件行為特征向量從高維高數量級轉換至低維低數量級，在提高檢測速度的同時有效降低高數量級維度對特征學習的不利影響，進一步提高檢測準確性。實驗結果表明，所提方法支持檢測模型動態更新，對未知新樣本的檢測準確率顯著高于傳統檢測方法，且運算存儲開銷更小。

SOINN算法；惡意軟件檢測；神經網絡；增量學習；入侵檢測

1 引言

惡意軟件是對懷有惡意目的或完成惡意功能軟件的統稱，對信息系統危害巨大[1]。提高惡意軟件的檢測率有助于及時采取防御措施降低和消除惡意軟件危害。隨著網絡攻擊技術的發展，惡意軟件入侵方式日益復雜、攻擊行為愈加隱蔽，給惡意軟件檢測帶來嚴峻挑戰。

目前，惡意軟件檢測方法目前主要包括靜態分析和動態分析。靜態分析方法利用反編譯等技術提取惡意軟件的代碼特征，再利用特征匹配等方式進行檢測，部署簡便且檢測速度快，如控制流分析[2]、信息流分析[3]、操作碼分析[4]等。但隨著攻擊者在編碼時越來越多地應用代碼混淆、信息隱藏等手段，導致大量指令和函數被錯誤反編譯，靜態分析準確性有所降低。動態分析方法是指在虛擬環境中運行惡意軟件實體，監控并分析其在運行過程中表現出的行為（如文件操作、網絡通信等）來實施檢測[5-6]，對于檢測采用代碼混淆等技術的惡意軟件更具優勢，主要包含以下兩類方法：一類是基于行為序列分析的方法，通過監控并分析正常行為序列與異常行為序列的差異實施檢測，如基于系統調用屬性序列的檢測[7]、基于shell命令序列的檢測[8]和基于內核數據特征序列的檢測[9]等，此類方法普遍面臨行為序列長度選擇問題，序列長度選擇過短可能增加誤檢率，過長又可能增加漏檢率；另一類是基于行為特征學習的方法，利用特征工程構建惡意軟件行為特征向量并據此訓練有監督分類模型實施檢測，能夠避免行為序列長度選擇問題且具有較高準確率[10-11]，但是此類方法普遍以批量學習方式訓練檢測模型，存在模型更新困難和運算存儲開銷大的不足[12]。

自組織增量式神經網絡[13]（SOINN，self-organizing incremental neural network）是一種無監督聚類算法，通過對新樣本的增量學習支持神經網絡動態更新，而且增量學習時可自動保存已學知識避免再次學習歷史樣本，從而降低學習過程中的存儲和運算開銷。因此，本文將SOINN算法與有監督分類模型相結合，實現惡意軟件檢測模型的動態更新并降低運算存儲開銷。但是將SOINN算法引入惡意軟件檢測領域必須解決兩個問題：一是SOINN算法對樣本輸入次序敏感，即同一樣本集以不同次序訓練SOINN可能會得出完全不同的神經網絡，這將影響惡意軟件檢測精度；二是SOINN算法基于距離度量樣本相似度并實施聚類，在處理惡意軟件行為特征這種高維高數量級數據時運行速度較慢，且偏向于以高數量級維度區分樣本而忽略低數量級維度對樣本區分的作用，從而影響特征學習的準確性。

為解決上述問題，主要工作如下。

1) 提出WM-SOINN（SOINN with weight modification）算法，在SOINN競爭學習周期內，利用全排列思想搜索所有樣本輸入次序下神經元的權重調節量，計算所有權重調節量的平均值作為神經元最終權重調節量，避免個別樣本輸入次序影響訓練所得神經網絡的穩定性，使所得神經網絡更能反映原始數據本質特征，從而提高將神經網絡應用于后續惡意軟件檢測的精度。

2) 采用非負矩陣分解[14]（NMF，nonnegative matrix factor）和Z-score[15]歸一化方法處理訓練數據，對惡意軟件行為特征實施降維和數據標準化，在提高檢測速度的同時降低高數量級維度對特征學習的不利影響，進一步提高WM-SOINN準確性。

3) 提出基于WM-SOINN的惡意軟件增量檢測方法，將具有增量更新特性的WM-SOINN與具有高準確率的有監督分類器有機結合，在保證高準確率情況下實現檢測模型動態更新，并有效降低運算和存儲開銷。

2 改進SOINN算法

2.1 SOINN算法

SOINN屬于在線學習的競爭型神經網絡，與傳統神經網絡算法相比，SOINN可以學習新樣本包含的特征，并有效保留已有學習成果，實現神經網絡動態更新。同時，SOINN采用基于原型聚類的無監督學習思想，輸出的神經網絡可以反映原始數據特征，而SOINN的神經元動態調整和網絡去噪機制可以保證神經網絡的規模遠小于原始數據，因此具有良好的數據壓縮特性，用于增量學習時可以有效降低存儲和運算開銷。SOINN算法的主要步驟如下[13]。

否則

6) 更新獲勝神經元權重。

算法最后輸出神經元集合和連接關系集合。

2.2 WM-SOINN算法

SOINN算法以順序學習的方式處理輸入樣本，而學習率是神經元獲勝次數的函數而非一個定值，因此當樣本以不同次序訓練SOINN時，獲勝神經元被增量調整的權重也不相同，進而導致同一樣本集以不同次序訓練SOINN得出不同結果。為降低SOINN對輸入數據次序的敏感性，提出神經元權重修正方法：在每個競爭學習周期內，記憶對神經元實施過權重調整的所有樣本，基于全排列思想搜索這些樣本在不同輸入次序下對神經元權重的調節量，計算所有權重調節量的平均值作為該競爭學習周期結束時神經元的最終權重調節量。根據以上思路，提出WM-SOINN算法如下。

Step5 判斷學習周期是否結束，是則繼續執行Step6，否則返回Step2。

Step6中的神經元權重修正詳細方法如下。

3 惡意軟件增量檢測方法

3.1 惡意軟件行為特征向量構建

惡意軟件主要通過調用操作系統提供的應用編程接口（API，application programming interface）實現文件訪問、網絡通信等行為，因此可以通過記錄API調用情況監控惡意軟件行為。為逃避殺毒軟件查殺和安全人員分析，惡意軟件通常將自身的惡意行為分散到多個不同的進程實施。這些分散執行的進程主要包含兩類：①惡意軟件主進程創建的子進程；②惡意軟件通過代碼注入技術注入的受害進程（通常是系統進程和殺毒軟件白名單進程，如svchost.exe和excel.exe）。同時監控主進程、子進程和被注入進程的API調用情況，更有利于發現復雜、隱蔽的惡意軟件。

根據監控到的API調用情況構建惡意軟件行為特征向量，流程如圖1所示。

Step1 在虛擬環境中執行待監測樣本，防止惡意樣本對真實系統造成破壞。

Step2 利用API監控工具監控主進程、子進程和注入進程的API調用情況。

Step3 根據監控結果構建行為特征向量，其中，API（為正整數）字段取值為自然數，表示第種API的調用次數，Child和Injected字段取值為布爾類型，分別表示是否創建子進程和是否有注入進程。

圖1 惡意軟件行為特征向量構建流程

3.2 數據降維與標準化

惡意軟件種類繁多、功能各異，利用特征工程構建的惡意軟件行為特征向量往往維度過高，且不同維度的取值存在數量級差異。為提高WM-SOINN對惡意軟件行為特征向量的處理速度和特征學習的準確性，設計惡意軟件行為特征向量預處理算法，通過數據降維提升WM-SOINN運算速度，再實施數據標準化減小訓練數據不同維度的數量級差異，進而提高WM-SOINN準確性。

API調用頻數具有非負性，因此惡意軟件行為特征向量構成的特征空間矩陣也具有非負性，而NMF可通過矩陣分解實現降維，并且降維得到的低維矩陣仍然具有非負性，與原矩陣物理含義相符，便于理解和解釋。在降維之后利用Z-score方法實施數據標準化，使矩陣各維度平均值為0、標準差為1，有效減少數據不同維度存在的數量級差異。

惡意軟件行為特征向量預處理算法步驟如下。

3.3 基于WM-SOINN的惡意軟件增量檢測

WM-SOINN屬于無監督聚類學習算法，直接用于惡意軟件檢測需要人為設定檢測閾值，通過判斷待測樣本與神經元的距離是否大于檢測閾值而得出結論。這種檢測方法存在兩點不足：一是檢測閾值的設定存在很強主觀性，閾值過大會增加漏檢率，過小又會增加誤檢率；二是惡意軟件與正常軟件在特征空間的重合度極高，這種基于距離閾值實施檢測的精度有限。

將WM-SOINN與有監督分類模型結合實施惡意軟件檢測，可以避免人為設定檢測閾值帶來的主觀性，同時利用有監督學習提高檢測精度。方法的基本思想是通過WM-SOINN分類別學習惡意軟件與正常軟件樣本，將學習所得的神經元用于訓練有監督分類模型實施檢測，再利用檢測結果對神經網絡和檢測模型實施增量更新。具體步驟如下。

Step1 對初始帶標簽樣本集進行降維和標準化處理，根據正負標簽劃分為正常訓練樣本-samples與惡意訓練樣本-samples。

Step2 利用WM-SOINN分別學習-samples和-samples得到正常樣本的神經網絡-WM- SOINN和惡意樣本的神經網絡-WM-SOINN。

4 實驗

實驗主要驗證WM-SOINN與常用有監督分類器結合后的檢測性能、算法運算效率和增量學習能力。

4.1 實驗環境與數據集

在Windows平臺上利用Python 3.6.4進行實驗，編程工具為PyCharm，CPU為Intel i5-6300HQ，內存為8 GB。實驗數據集為機器學習數據倉庫UCI中的“Dynamic Features of Virus Share Executables Data Set”，該數據集包含107 888個軟件樣本的動態行為特征，被廣泛應用于惡意軟件動態分析領域。數據集中的每一條樣本記錄均有484個特征維度，其中第一個維度表示樣本的評分（0~1.0，評分越高表示樣本的危害越大），其余483個維度對應樣本的動態行為特征。

隨機選取20 000個評分高于0.75的樣本作為惡意樣本，10 000個評分低于0.25的樣本作為正常樣本，去除非API冗余特征后再經過NMF降維和Z-score標準化，最終得到30 000個實驗樣本。

采用下列指標進行評價。

TP (true positive)：被正確判定為惡意的惡意樣本數。

FP (false positive)：被錯誤判定為惡意的正常樣本數。

TN (true negative)：被正確判定為正常的正常樣本數。

FN (false negative)：被錯誤判定為正常的惡意樣本數。

FPR (false positive rate)：假陽性率，即被錯誤判定的正常樣本占所有正常樣本的比例。

Precision：查準率，在所有被判定為惡意的樣本中真實的惡意樣本所占的比例。

Accuracy：準確率，所有被準確判定的樣本占樣本總量的比例。

其中，Precision和Accuracy可以代表算法的準確性，值越大表明算法越準確；FPR可以代表算法的誤檢率，值越小代表算法造成的誤判越少。

4.2 檢測性能

由表1可知，原始的SVM、NB和RF中準確性最高的是RF，其Precision和Accuracy超過0.99、FPR小于0.01；其次是SVM，其Precision不低于0.92、Accuracy不低于0.93、FPR不超過0.08；效果較差的是NB，其Precision和Accuracy不超過0.92、FPR超過0.08。與經典-Means算法相比，SOINN和WM-SOINN能夠自動確定聚類數目，減少人為設定聚類數目導致的誤差，并且檢測性能普遍優于經典的-Means算法。在批量學習時，SOINN和WM-SOINN與SVM、RF結合之后只對分類器的準確性和誤檢率造成了極小的影響，以RF為例，其Precision不低于0.986、Accuracy不低于0.988、FPR不超過0.014。實驗結果還表明，WM-SOINN與分類器結合后的Precision和Accuracy高于SOINN與分類器結合后的同類指標，而FPR也更低，證明WM-SOINN訓練得出的神經網絡更加穩定，輸出的神經元也更能代表原始樣本，神經元權重修正方法有效。

表1 算法惡意軟件檢測性能對比

4.3 運算效率

圖2 算法運行時間對比

由圖2可知，對于同等規模數據集，增加了神經元權重修改操作的WM-SOINN與原始SOINN的運行時間基本相等，證明WM-SOINN不會造成更大的時間開銷。此外，無論SOINN還是WM-SOINN，其運行時間均隨著數據集規模的增加而近似線性增加，與時間復雜度分析結果相吻合。

下面以SOINN、WM-SOINN與RF結合為例比較算法在增量學習時的空間開銷，分別選取規模為1 000、3 000、5 000、7 000、10 000的數據集進行實驗，結果如圖3所示。其中Sample-stored表示增量學習需要存儲的樣本數，也是神經網絡輸出神經元的數目，值越小表示需要的存儲空間越少；Max-nodes表示RF中決策樹的最大節點數，Max-depth表示RF中決策樹的最大深度，在檢測率相同的前提下，Max-nodes和Max-depth越小表示檢測模型需要的存儲空間越小，同時表明檢測模型的泛化能力越強，可以避免出現過擬合。

從Sample-stored指標可知，如果直接利用RF進行增量學習，則單次學習完成后需要存儲所有樣本，而與SOINN或WM-SOINN結合之后，只需要存儲神經網絡學習所得的極少量神經元即可進行后續增量學習。從圖3(a)可以看出，對于同一數據集，在樣本分布均勻的情況下，神經網絡學習所得的神經元數目是相對穩定的，并不會因數據集規模的擴大而大量增加，甚至可能減少。并且對于本實驗所用數據集，當數據集規模大于104時，數據壓縮比率超過0.99。由表1可知RF、WM-SOINN-RF具有同等檢測性能，SOINN-RF檢測性能略差，但是通過比較Max-nodes和Max-depth指標可以看出，經過SOINN或WM-SOINN壓縮數據后再訓練得到的RF，與利用原始數據直接訓練得到的RF相比具有更小的規模，Max-nodes平均減少78.5%，Max-depth平均減少63.4%。比較SOINN-RF和WM-SOINN-RF的Sample-stored指標可以發現兩者具有同等的數據壓縮能力，而4.2節實驗已經表明WM-SOINN- RF的檢測性能更優。上述結論表明本文方法可以顯著降低訓練數據和檢測模型的存儲開銷。

4.4 增量學習能力

表2 算法增量學習性能

5 結束語

本文將SOINN引入惡意軟件檢測領域并進行改進，將改進后的WM-SOINN算法與有監督分類器結合構建惡意軟件增量檢測模型，在保證檢測精度的同時實現檢測模型的動態更新，并能顯著減少運算和存儲開銷，為惡意軟件檢測提供了新的解決方法。從檢測性能、運算效率和增量學習能力3個角度進行實驗分析，證明了所提方法的有效性。下一步將研究WM-SOINN算法與其他分類器相結合的方法，提高算法的適應性。

[1] 劉劍, 蘇璞睿, 楊珉,等. 軟件與網絡安全研究綜述[J]. 軟件學報, 2018(1): 42-68.

LIU J, SU P R, YANG M, et al. Software and cyber security—a survey[J]. Journal of Software, 2018(1): 42-68.

[2] SONG F, TOUILI T. Efficient malware detection using model-checking[C]//FM: Formal Methods. 2012: 418-433.

[3] YIN H, SONG D. Privacy-breaching behavior analysis[M]. Automatic Malware Analysis. 2013: 27-42.

[4] TODERICI A H, STAMP M. Chi-squared distance and metamorphic virus detection[J]. Journal in Computer Virology, 2013, 9(1): 1-14.

[5] EGELE M, SCHOLTE T, KIRDA E, et al. A survey on automated dynamic malware-analysis techniques and tools[J]. ACM Computing Surveys, 2008, 44(2): 1-42.

[6] 陳志鋒, 李清寶, 張平, 等. 基于聚類分析的內核惡意軟件特征選擇[J]. 電子與信息學報, 2015, 37(12): 2821-2829.

CHEN Z F, LI Q B, ZHANG P, et al. Signature selection for kernel malware based on cluster analysis[J]. Journal of Electronics & Information Technology, 2015, 37(12): 2821-2829.

[7] 李珍, 田俊峰, 楊曉暉. 基于系統調用屬性的程序行為監控[J]. 計算機研究與發展, 2012, 49(8): 1676-1684.

LI Z, TIAN J F, YANG X H. Program behavior monitoring based on system call attributes[J]. Journal of Computer Research and Development, 2012, 49(8): 1676-1684.

[8] 田新廣, 段洣毅, 程學旗. 基于shell命令和多重行為模式挖掘的用戶偽裝攻擊檢測[J]. 計算機學報, 2010, 33(4): 697-705.

TIAN X G, DUAN M Y, CHENG X Q. Masquerade detection based on shell commands and multiple behavior pattern mining[J]. Chinese Journal of Computers, 2010, 33(4): 697-705.

[9] 陳志鋒, 李清寶, 張平, 等. 基于數據特征的內核惡意軟件檢測[J].軟件學報, 2016, 27(12): 3172-3191.

CHEN Z F, LI Q B, ZHANG P, et al. Data characteristics-based kernel malware detection[J]. Journal of Software, 2016, 27(12): 3172-3191.

[10] GREENGARD S. Cyber security gets smart[J]. Communications of the ACM, 2016, 59(5): 29-31

[11] SADEGHI A, BAGHERI H, GARCIA J. A taxonomy and qualitative comparison of program analysis techniques for security assessment of android software[J]. IEEE Transactions on Software Engineering, 2016.

[12] 楊雅輝, 黃海珍, 沈晴霓, 等. 基于增量式GHSOM神經網絡模型的入侵檢測研究[J]. 計算機學報, 2014(5): 1216-1224.

YANG Y H, HUANG H Z, SHEN Q N, et al. Research on intrusion detection based on incremental GHSOM[J]. Chinese Journal of Computers, 2014(5): 1216-1224.

[13] 邱天宇, 申富饒, 趙金熙. 自組織增量學習神經網絡綜述[J]. 軟件學報, 2016, 27(9): 2230-2247.

QIU T Y, SHEN F R, ZHAO J X. Review of self-organizing incremental neural network[J]. Journal of Software, 2016, 27(9): 2230-2247.

[14] LEE D D, SEUNG H S. Learning the parts of objects by non-negative matrix factorization[J]. Nature, 1999, 401(6755): 788-791.

[15] WANG W, ZHANG X, GOMBAULT S, et al. Attribute normalization in network intrusion detection[C]//International Symposium on Pervasive Systems, Algorithms, and Networks. 2010: 448-453.

Malware detection approach based on improved SOINN

ZHANG Bin1,2, LI Lixun1,2, DONG Shuqin1,2

1. Information and Engineering University, Zhengzhou 450001, China; 2. Key Laboratory of Information Security of Henan Province, Zhengzhou 450001, China

To deal with the problems of dynamic update of detection model and high computation costs in malware detection model based on batch learning, a novel malware detection approach is proposed by combing SOINN and supervised classifiers, to reduce computation costs and enable the detection model to update dynamically with the assistance of SOINN′s incremental learning characteristic. Firstly, the improved SOINN was given. According to the whole alignment algorithm, search the adjusted weights of neurons under all input sequences in the learning cycle and then calculate the average value of all adjusted weights as the final result, to avoid SOINN′s stability under different input sequences and representativeness of original data, therefore improve malware detection accuracy. Then a data preprocessing algorithm was proposed based on nonnegative matrix factor and Z-score normalization to transfer the malware behavior feature vector from high dimension and high order to low dimension and low order, to speed up and avoid overfitting and further improve detection accuracy. The results of experiments show that proposed approach supports dynamic updating of detection model and has a significantly higher accuracy of detecting unknown new samples and lower computation costs than tradition methods.

SOINN algorithm, malware detection, neural network, incremental learning, intrusion detection

s: Henan Province Foundation and Frontier Technology Research Project (No. 2014302903); New Research Direction Cultivation Fund for Information Engineering University (No. 2016604703)

TP393.08

A

10.11959/j.issn.2096?109x.2019059

張斌（1969? ），男，河南南陽人，信息工程大學教授、博士生導師，主要研究方向為網絡空間安全。

李立勛（1994? ），男，四川都江堰人，信息工程大學碩士生，主要研究方向為動態目標防御。

董書琴（1990? ），男，河北邢臺人，信息工程大學博士生，主要研究方向為網絡安全態勢感知。

2019?01?08；

2019?03?20

董書琴，dongshuqin377@126.com

河南省基礎與前沿技術研究計劃基金資助項目（No. 2014302903）；信息工程大學新興科研方向培育基金資助項目（No. 2016604703）

論文引用格式：張斌, 李立勛, 董書琴. 基于改進SOINN算法的惡意軟件增量檢測方法[J]. 網絡與信息安全學報, 2019, 5(6): 21-30.

ZHANG B, LI L X, DONG S Q, et al. Malware detection approach based on improved SOINN[J]. Chinese Journal of Network and Information Security, 2019, 5(6): 21-30.