基于N-Gram與加權分類器集成的惡意代碼檢測

，

(浙江工業大學 計算機科學與技術學院，浙江 杭州 310023)

基于N-Gram與加權分類器集成的惡意代碼檢測

王衛紅，朱雨辰

(浙江工業大學 計算機科學與技術學院，浙江 杭州 310023)

提出網頁惡意腳本代碼的監測系統，將惡意腳本用V8引擎編譯成機器碼，用變長N-Gram模型對其進行數據處理，提取特征形成樣本訓練集.分別與隨機森林、邏輯回歸及樸素貝葉斯等分類器組合創建分類模型.研究將多個經過訓練集訓練的分類模型集成，提出加權分類器集成的方式，每個分類器設定不同權值.通過實驗分析，試驗多種分類器組合，并通過訓練集找出最優權值分配.通過比較單個分類器和其他集成方式，結果證明訓練過的加權集成分類器的方式能更準確地檢測網頁存在惡意行為的代碼，有較高的準確率.

惡意代碼；N-Gram；機器學習

隨著Web應用的發展，計算機和網絡的覆蓋面越來愈大，網絡在人們的生活中也成為越來越重要的一部分.它改善了人們的衣食住行，人們享受著網絡帶來的便利，也對網絡產生越來越多的依賴.截至2016年6月，中國的網民數量已經達到7.10億，上半年增加了2 132萬人，增長率為3.1%.我國網絡的普及率達到51.7%，與全球平均相比，高出3.1個百分點，和亞洲平均水平相較，超過8.1個百分點，與2015年底相比提高1.3個百分點[1].人們越來越習慣網上支付，享受著線上支付的便捷.同時，在線教育、在線政務服務以及其他線上的服務越來越多.然而不法分子在網絡的飛速發展中看到了可乘之機.許多不法分子利用不法手段破壞網絡安全，謀取經濟利益，而網站上存在的漏洞成為了他們攻擊的目標，網絡的飛速發展也為他們提供良好的溫床.黑客使用各種類型攻擊計算機和通信設施.啟動這些攻擊的常見方法是通過惡意軟件(惡意軟件)，例如蠕蟲、病毒和特洛伊木馬，它們在傳播時可能對私人用戶、商業公司和政府造成嚴重損害.啟動這些攻擊的常見方法是通過惡意網站，惡意網站的代碼往往包含病毒、蠕蟲或者特洛伊木馬.反病毒供應商每天都面臨大量(數千)可疑文件.這些文件從各種來源收集，包括專用蜜罐，第三方提供程序或者用戶提交的報告文件.高效并且有效地檢查大量的文件是一個龐大的工程.對于信息安全，越來越多企業和甚至國家開始重視，特別是對惡意代碼的檢測的研究，已經成為了信息安全研究的重點.

從行為分析的角度來看，現在的檢測方式大致分為靜態檢測和動態檢測.再根據分析過程中是否考慮惡意代碼的程序語義可以把惡意代碼分析方法分成基于代碼特征的分析方法、基于代碼語義的分析方法、外部觀察法和跟蹤調試法四種.基于代碼特征的分析方法[2]和基于代碼語義的分析方法是常用的靜態檢測方法，而提取網頁特征，基于數據挖掘和機器學習的檢測技術也是當前研究的熱點.對于網頁惡意代碼的檢測可以看成是對網頁代碼的分類，屬于惡意還是非惡意.惡意代碼檢測就是利用機器學習對代碼進行分類.動態檢測[3]主要是外部觀察法和跟蹤調試法.基于蜜罐技術[4]是現在常用的動態檢測的方法，蜜罐顧名思義，就像是一個蜂蜜罐子，就像一個陷阱一樣引誘黑客來攻擊，然后記錄下黑客的行為，和對方的重要信息.研究人員通常會故意留下漏洞，但一切情況都處于掌握之中.蜜罐有服務器端蜜罐和客戶端蜜罐兩種.前者部署在服務器上等待黑客的攻擊，并且記錄下黑客的信息.后者模仿客戶訪問網站等客戶端行為，主動出擊獲取惡意行為的信息.動態的檢測方法能詳細地記錄信息，但是檢測速度較慢，并且部署麻煩.

1 相關工作

靜態分析的檢測方法是現在惡意代碼檢測的熱點.付壘朋等針對混淆代碼進行處理，先提取腳本的混淆特征，用c4.5決策樹分析腳本并且接觸混淆[5].徐青等分析大量網頁惡意代碼，根據url重定向、攻擊過程、混淆和基本統計四個方面提取特征，采用多種機器學習的分類方法進行檢測[6].李道豐等針對跨站腳本漏洞、ActiveX空間漏洞和WebShellcode方面使用行為語義分析的方式，對惡意代碼進行檢測[7].Shabtai等提出針對Opcode[8]用N-Gram提取特征，然后用機器學習的分類方法進行檢測[9].

在機器學習分類方法上，樸素貝葉斯是當前常見的分類器.隨機森林分類器是當前惡意代碼檢測中較熱的算法.賀鳴等分析多種特征選擇的方法及ALOFT等改進特征選擇，還分析了加權、避免平滑等樸素貝葉斯算法改進[10].盧曉勇等提出對訓練集使用采樣技術形成多個子訓練集，然后訓練出多個隨機森林分類器進行集成[11].

根據以上研究，提出了使用V8引擎將JavaScript代碼編譯成機器碼，使用混合N-Gram提取特征值，并集成多種機器學習分類器，實現加權集成分類器惡意代碼檢測[12-15].

2 研究方法

2.1 系統模型

如圖1所示，研究分三部分：第一部分惡意代碼單個分類模型和集成分類模型的訓練，第二部分加權集成分類模型訓練，第三部分惡意代碼分類測試.

訓練集分成兩類：第一類，從malware.com上下載的惡意腳本代碼，和用爬蟲軟件從惡意網站獲取惡意代碼，第二類從github下載正常網頁代碼，和用爬蟲軟件從正常安全網站獲取正常代碼.

圖1 分類器加權集成模型建立流程圖Fig.1 Classifier weighted ensemble model flowchart

2.2 變長N-Gram特征提取

N-Gram是大詞匯連續語音識別中常用的一種語言模型，該模型認為，第N個詞的出現與其他任何詞都不相關，只與前面N-1個詞有關.這些概率可以通過直接從語料中統計N個詞同時出現的次數得到.常用的是二元的Bi-Gram和三元的Tri-Gram.

使用常用的Bi-Gram對惡意代碼的樣本進行處理，將樣本代碼處理成一個個連續的單詞{word1，word2，word3，word4，word5}，經過Bi-Gram處理后，變成特征值{[word1，word2]，[word2，word3]，[word3，word4]，[word4，word5]}.對所有樣本處理后，獲取所有的特征值，并對每個樣本的出現的特征值數量進行統計：

輸入：訓練集樣本代碼train_file

測試集樣本代碼test_file

輸出：訓練集特征文件trainIns_file

測試集特征文件testIns_file

For each train_file

讀取代碼所出現的所有單詞，并統計相鄰的兩個出現的個數.

While每個樣本

End

混淆是在惡意代碼中常出現的技術.被混淆的惡意代碼無法簡單的使用N-Gram來提取特征.這里使用V8引擎將JavaScript代碼編譯成本地機器碼.V8是Google Chrome瀏覽器內置的JavaScript腳本引擎.它在設計之初就以高效地執行大型的java script應用程序為目的.V8的性能提升主要來自三個關鍵部分：快速屬性訪問、動態機器碼生成和高效的垃圾收集.這里利用的就是V8引擎動態機器碼的生成.V8引擎通過就是編譯的方式將JavaScript代碼編譯成機器碼，不會產生中間碼.對編譯后的機器碼用N-Gram來提取特征可以有效地避免混淆的干擾.

固定長度的N-Gram提取特征，容易將有意義的序列分開.這里利用信息增益來混合Bi-Gram和Tri-Gram的方式提取特征來避免這個問題，其表達式為

統計訓練集出現的所有特征值的頻率，各選取TOP500作為特征值.在對每個樣本進行特征值統計時，原本一個個連續的單詞{word1，word2，word3，word4，word5}，經過Bi-Gram處理或者Tri-Gram處理后，變成特征值{[word1，word2]，[word2，word3]，[word3，word4]，[word4，word5]}或者{[word1，word2，word3]，[word2，word3，word4]，[word3，word4，word5]，[word4，word5，word6]}.現在比較[word1，word2]與[word1，word2，word3]，當兩者都為特征值時，比較兩者的信息增益，信息增益較高的特征值加一，另一個特征值不變.同理，比較[word2，word3]和[word2，word3，word4]，直到統計完所有樣本，如圖2所示.

圖2 變長N-Gram提取混淆代碼特征流程圖Fig.1 Variable length N-Gram extract obfuscation code feature flowchart

2.3 分類器

分類簡單的理解就是將一個未分類的樣本分到幾個已知的類別.分類主要分兩部分：第一部分，利用已知分類的樣本，抽象出它的特征，分析并且建立模型，即用訓練集來訓練分類器；第二部分，則是用訓練好的分類器對未知的樣本，根據他們的特質，進行分類.所以分類器是分類中的關鍵.

樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設的分類方法.樸素貝葉斯分類是一種十分簡單的分類算法，樸素是指特征條件獨立，即為基于貝葉斯定理的特征條件獨立的分類算法.貝葉斯定理為

式中：p(y|x)為在x發生的條件下，y發生的概率；p(x|y)為在y發生的條件下，x發生的概率.

證明設a={a1,a2,a3,…,am}為一個待分類項，而每個a為x的一個特征屬性.

有類別集合y={y1,y2,y3,…,ym}

計算p(y1|x),p(y2|x),p(y3|x),…,p(yn|x)

如果p(yk|x)=max{p(y1|x),p(y2|x),p(y3|x),…,p(yn|x)}

則x∈yk

對于樸素貝葉斯算法可以理解為對于要分類的樣本，求該樣本出現的條件下各個類別出現的概率，概率最高的分類就是該樣本的分類.

隨機森林算法是惡意代碼檢測中常用的分類算法.隨機森林，就是用隨機的方式建立一個包含多棵決策樹的森林.由訓練集集訓練隨機森林，隨機地創建每一顆隨機樹，每棵樹之間沒有關聯.對于一個待分類的樣本，由森林中的每一棵決策樹分對其進行分類，根據輸出的類別的眾數來分類，簡單地說，就是哪一類被樹最多的選擇，這一類就是該樣本的分類.

隨機森林通過隨機有放回的抽取訓練集的樣本，然后隨機選取一定數量的特征，用完全分裂的方式建立出決策樹.每棵樹的分類能力都不強，但是有很強的多樣性.每一個樹在窄領域的分類能力都很強，因為每棵樹都是由少量特征值訓練出來的，然后多棵在不同領域有很強分類能力的樹組合起來，對一個樣本進行分類，從各自的角度對他進行分類，最后被選擇更多的分類，就是該樣本的分類.

2.4 集成分類器

單個分類器有各自的優劣，也有不同的分類準確率.集成分類器就是同時使用多個訓練好的分類器，結合各自的優點，對測試集進行分類，準確率往往高于使用單個分類器.用專家投票系統對三個分類器進行集成.分別用訓練集對三個分類器單獨進行訓練，然后對測試集進行測試.三個訓練好的分類器分別對單個樣本進行分類，計算出該樣本分類的分布律.每個分類器分別根據分布律投票，投票數最高的分類為該樣本的分類：

輸入：訓練集特征文件trainIns_file

使用的分類器集合Classifier[]

測試集特征文件testIns_file

輸出：樣本的分類結果

For each Classifier[]

Classifier.Build(trainIns_file)

end

For each testIns_file

For each Classifier[]

Probs[]=Classifier.distrubution(trainIns_file)

End

For each Classifier[]

If Probs[1]>Probs[2]

Vote[1]++

Else

Vote[2]++

投票數最高的為該樣本分類

End

基于專家投票的分類器集成是最簡單的集成方式，可以將多個分類器集成，結合各自的優點使得分類效果更好.但是專家投票的方式也有一個問題，因為對測試的樣本分類時，每個分類器分別對其進行分類，并對分類結果投票，所以每個分類器給出的結果都是1.但實際上，每個分類器在分類時，給出的結果并不是1，因為并不是百分百確定.當某些樣本很難分辨時，實際給出的結果可能兩者都很接近0.5，所以這樣的誤差就很大.為了解決這個問題，提出了根據分類的概率來集成分類器.同時，因為每個分類器的分類效果并不同，為了解決每個分類器貢獻相同的問題，又引入權值.每個分類器的權值相加為1，通過訓練獲得最好的權值分配組合，得到最終分類模型，如圖3所示.

對單個樣本分類的過程很簡單.分別用訓練集對三個分類器單獨進行訓練，然后對測試集進行測試.對每個分類器設有不同的權值，三個訓練好的分類器分別對單個樣本進行分類，計算出該樣本分類的分布律.將每個分類器計算出來的分布律乘以各自的權值，獲取最終概率，根據最終概率獲得分類：

輸入：訓練集特征文件trainIns_file

使用的分類器集合Classifier[]

測試集特征文件testIns_file

輸出：樣本的分類結果

For each Classifier[]

Classifier.Build(trainIns_file)

end

For each testIns_file

For each Classifier[]

Probs[]=Classifier.distrubution(trainIns_file)

End

For each Classifier[]

ReProbs[]=ReProbs[]+Probs[]*Weight

End

For each ReProbs[]

ReProbs[i]=max(ReProbs[])

i為分類結果

圖3 加權分類器集成訓練過程Fig.3 Weighted classifier ensemble training process

2.5 機器學習的評估標準

在機器學習中如果分類只要有兩類，那么：True positives(TP)為本身是正例并且也被分類器劃分成正；False positives(FP)為本身是負例但是被分類器劃分成正；False negatives(FN)為本身是正例但是被分類器劃分成負；True negatives(TN)為本身是負例并且也被分類器劃分成負.

精確率是機器學習重要評估標準.精確率是指被分為正的樣本里本身的確為正的概率，即

準確率(Accuracy)為

精確率(Precision)和準確率(Accuracy)是不一樣的.而召回率也是重要的評估標準，它表示的是本身為正例的樣本有多少被正確分類了，即

3 實驗與分析

實驗數據分兩部分：惡意腳本代碼從Walmare等網站下載樣本，爬蟲軟件從惡意網站獲取；正常腳本代碼從GitHub下載，爬蟲軟件從安全網站獲取.

使用的機器學習工具為Weka.Weka的全名是懷卡托智能分析環境(Waikato environment for knowledge analysis).Weka是一個可視化的機器學習工具，能更加便捷明了地對數據進行處理、分類和聚類等，并且也集合了大量的機器學習算法.

將所有樣本用V8引擎編譯成機器碼，機器碼包含變量名，存儲地址等無意義的干擾項，排除這些干擾，僅對機器碼的操作指令使用Bi-Gram和Tri-Gram統計訓練集出現的所有特征值的頻率，各選取TOP500作為特征值.根據信息增益對每個樣本進行混合N-Gram統計，獲得訓練集.

使用常用的分類器單獨對樣本進行機器學習，采取的是10fold訓練，即將樣本分成十份，九份用于訓練，剩下一份用于測試.實驗結果表明：單個分類器中隨機森林的精確率最高，效果最好，邏輯回歸的效果最差，如表1所示.

表1 單個分類器分類準確率Table 1 Classification accuracy of single classifier %

如表2所示，選擇隨機森林、隨機樹和樸素貝葉斯等與隨機森林、隨機樹以及邏輯回歸為組合進行專家投票集成.實驗發現集成分類器的準確率，召回率都低于隨機森林.隨機森林分類器因為兩個隨機性的引入，使得隨機森林不容易陷入過擬合，具有很好的抗噪聲能力，多棵樹的專家決策使其分類作用遠遠強于其他分類器，而一人一票的專家投票使得所有分類器貢獻相同，分類效果反而變差，所以引入權重來提高集成效果.

表2 不同分類器專家投票集成Table 2 Classifier expert voting integration %

所以引入權值，對分類效果最好的三個分類器隨機森林、隨機樹和樸素貝葉斯進行加權集成.使用測試集將最小單位設為0.01進行試驗，實驗結果表明在以最小單位為0.01的權值組合中，0.08，0.9，0.02的組合的分類準確率最高，即隨機森林的權值為0.8，隨機樹的權值為0.03，樸素貝葉斯的權值為0.17，準確率也達到了0.957，如表3所示.由表3可以看出：權值的引入，避免了所有分類器貢獻相同的弊端，使隨機森林分類器在分類過程中占主要作用，同時發揮了集成分類器使分類器功能互補的作用，提高了分類效果.

表3 隨機森林、隨機樹和樸素貝葉斯加權集成Table 3 Random forest, random tree, naive Bayesian weighted ensemble %

雖然引入權值來集成分類器效果上有所提升，但可以看到在這三個分類器組合中，隨機樹的權值分配非常的低，在分類過程中的貢獻非常的小.Weka工具中的隨機樹分類器和決策樹類似，但和決策樹相比，隨機樹并不選取所有屬性，會隨機選擇若干屬性構建樹.在weka的實現中，隨機樹分類器，設置要選取的屬性數量k，對屬性無放回的抽樣，再根據信息增益選擇分裂節點，構建樹.這個方式和隨機森林中的單棵樹的構建方式非常類似.所以在集成的時候，隨機樹的作用被隨機森林覆蓋，并不能更好的提升集成分類的效果.

所以將隨機樹的分類器替換成邏輯回歸分類器重新進行實驗.也先將最小單位設置為0.01.邏輯回歸的權值為0.12，隨機森林的為0.78，隨機樹的權值為0.1時，精確率最高，達到0.96，如表4所示.

表4 隨機森林、樸素貝葉斯和邏輯回歸加權集成Table 4 Random forest, naive Bayes, logistics weighted ensemble %

如圖4所示，實驗發現：樸素貝葉斯、隨機森林和邏輯回歸這三個模型的加權組合精確率.邏輯回歸可用于概率預測，也可用于分類，經常被用于根據模型，預測在不同的自變量情況下，發生某病或某種情況的概率有多大，并且邏輯回歸不像樸素貝葉斯一樣需要滿足條件獨立假設.但每個特征的貢獻是獨立計算的，即邏輯回歸是不會自動幫你聯合不同的特征產生新特征的.同時因為引入權重，合理的分配了三個算法的貢獻，使得分類效果提高.

圖4 加權集成和隨機森林ROC曲線對比圖Fig.4 Weighted ensemble and random forest ROC curve comparison chart

將這個訓練好的模型用于實際檢測.火眼和VirusTotal是常用的在線檢測的網站.用戶提交待檢測文件或者網址，火眼是通過動態檢測，VirusTotal主要是通過靜態檢測.分別從兩個網站下載150個樣本，并且自己用爬蟲軟件從網上隨機獲取300份樣本代碼.將這200份樣本分別通過加權分類器集成模型、火眼和Payload security檢測.可以發現：通過集成加權模型檢測檢測率高于Payload security的靜態檢測，接近于火眼的動態檢測，如表5所示.

表5分類器加權集成、火眼和Payloadsecurity對比結果

Table5Classifierweightedensemble,fireeye,payloadsecuritycomparisonresults個

4 結 論

提出了一種對網頁惡意腳本代碼的靜態監測系統，并將惡意腳本用V8編譯成機器碼.用變長N-Gram模型進行數據處理，提取特征形成樣本訓練集.使用訓練集對隨機森林、邏輯回歸、樸素貝葉斯和隨機樹分類器進行訓練創建分類模型，并將其集成.實驗比較了單個分類器、多個分類器普通集成和多個分類器加權集成，發現加權集成的方式能有效地提高分類準確率.同時通過實驗，找到了最佳的分類器組合和最佳的權值組合.

[1] 中國互聯網信息中心.CNNIC發布第38次《中國互聯網絡發展狀況統計報告》[J].信息網絡安全，2016(8):89.

[2] 黃建軍，梁彬.基于植入特征的網頁惡意代碼檢測[J].清華大學學報(自然科學版)，2009(S2):2208-2214.

[3] ALAM S, HORSPOOL R N, TRAORE I, et al. A framework for metamorphic malware analysis and real-time detection[J]. Computers & security，2015，48:212-233.

[4] 諸葛建偉，唐勇，韓心慧，等.蜜罐技術研究與應用進展[J].軟件學報，2013(4):825-842.

[5] 付壘朋，張瀚，霍路陽.基于多類特征的JavaScript惡意腳本檢測算法[J].模式識別與人工智能，2015(12):1110-1118.

[6] 徐青，朱焱，唐壽洪.分析多類特征和欺詐技術檢測JavaScript惡意代碼[J].計算機應用與軟件，2015(7):293-296.

[7] 李道豐，黃凡玲，劉水祥，等.基于行為語義分析的Web惡意代碼檢測機制研究[J].計算機科學，2016(8):110-113.

[8] SANTOS I, BREZO F, BRINGAS PG, et al. Opcode sequences as representation of executables for data-mining-based unknown malware detection[J]. Information sciences，2013，231(9):64-82.

[9] SHABTAI A, MOSKOVITCH R, FEHER C, et al. Detecting unknown malicious code by applying classification techniques on OpCode patterns[J]. Security informatics december,2012(1)：1-22.

[10] ALAM S, SOGUKPINAR I, TRAORE I, et al. Sliding window and control flow weight for metamorphic malware detection[J].

Journal of computer virology and hacking techniques，2015，11(2):75-88.

[11] 賀鳴，孫建軍，成穎.基于樸素貝葉斯的文本分類研究綜述[J].情報科學，2016(7):147-154.

[12] 盧曉勇，陳木生.基于隨機森林和欠采樣集成的垃圾網頁檢測[J].計算機應用，2016(3):731-734.

[13] 林冬茂.基于“寫”操作的Web安全防護系統的研究[J].浙江工業大學學報，2012，40(2):201-204.

[14] 嚴萍，史旦旦，錢能.計算機信息安全交換系統的設計[J].浙江工業大學學報，2004，32(4):23-27.

[15] 周夢麟，張森.一種基于自然語言理解的Web挖掘模型[J].浙江工業大學學報，2004，32(1):97-100.

ThemaliciousscriptcodedetectionbasedonN-Gramandweightedclassifierintegration

WANG Weihong, ZHU Yuchen

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

This paper proposes a static monitoring system for detecting malicious script code. In this system, malicious script code is compiled into machine code with V8 engines and theN-Gram model is used to process the machine code and the features are extracted to form the sample training set. The classification model is created by combining with random forest, logistic regression, Naive Bayes classifier respectively. In this paper, classification models which are trained in multiple training sets are integrated and a way of weighted classifier integration is proposed. Each classifier is set a different weights. Through experimental analysis, a variety of classifiers are combined and tested, and the optimal weight is found through the training set. assignment. By comparing the individual classifier and other integrated approach, the results show that the trained weighted classifiers can be more accurate to detect malicious codeand have higher accuracy.

malicious script;N-Gram; machine learning

2017-02-20

王衛紅(1969—)，男，浙江臨海人，教授，研究方向為空間信息服務和網絡信息安全，E-mail: wwh@zjut.edu.cn.

TP301

A

1006-4303(2017)06-0604-06

(責任編輯：陳石平)