網頁內容鏈接層次語義樹的惡意網頁檢測方法

陳本剛，宋禮鵬

中北大學 大數據學院 大數據與網絡安全研究所，太原030051

1 引言

攻擊者通過網絡釣魚、垃圾郵件投放和惡意下載等方式欺詐用戶，這些活動會在用戶不知情的情況下訪問攻擊者提供的網頁以達到攻擊目的，這些網頁被稱為惡意網頁[1]。為了避免用戶訪問惡意網頁，及時有效地檢測出惡意網頁非常重要。

Ma J 等人[2]提出了基于URL 特征的大規模在線學習檢測惡意網頁方法，在平衡數據集上實現高達99%的分類準確度。李夢玉等人[3]提出了基于URL 的高斯混合聚類惡意網頁檢測方法，達到了較高的準確度。但以上方法都未考慮攻擊者利用縮短服務隱藏攻擊意圖的問題。縮短服務是將長URL 映射為短URL 的服務，訪問短鏈接即可重定向到原始的URL。被縮短后的URL不再具有原始URL 常見的特征，使得基于URL 特征相關特征失效，攻擊者利用縮短服務隱藏攻擊意圖，從而導致僅依賴URL特征的學習方法。

目前存在許多針對惡意網頁檢測的研究方法，如黑名單[4]和啟發式方法[5]，隨數據規模擴大和時效性要求提升，傳統方法面臨無法檢測出新出現威脅的問題。因此，研究者提出機器學習的檢測方法。樸楊鶴然等人[6]提出一種基于stacking 的惡意網頁集成檢測方法，獲得了98.12%的高準確率。但未考慮實際惡意網頁檢測任務的高度類別不均衡問題，在惡意遠小于良性網頁數量的不均衡數據集上，簡單將所有網頁都預測為良性的分類器能達到很高的準確率。簡單的優化分類準確率以及僅用準確率作為評價指標不適用于實際的惡意網頁檢測任務。

為了解決上述問題，本文提出了一種融合網頁內容層次語義樹特征的成本敏感學習的檢測方法，考慮到URL縮短服務導致被縮短后的URL不再具有原始URL特征，通過構建網頁內容鏈接層次語義樹，并提取相應特征，這類特征在縮短服務前后具有不可變性，不受URL 縮短服務的影響，解決了利用URL 縮短服務導致檢測失效的問題。通過優化兩種成本敏感度量的目標函數，并構建成本敏感學習模型，解決惡意網頁檢測任務中數據類別不均衡問題。實驗表明，與現有方法相比在檢測性能和效率上都有所提升。

2 惡意網頁檢測方法

融合網頁內容層次語義樹特征的成本敏感學習惡意網頁檢測方法框架如圖1 所示。在問題分析模塊中給出了惡意網頁檢測中存在的兩類問題：利用縮短服務躲避檢測、惡意和良性數據類別不均衡。在解決方案模塊中分別從特征工程角度和學習模型角度解決了上述兩個問題。

URL縮短服務使得被縮短后的URL不再具有原始URL 常見的特征，導致僅依賴于URL 特征的檢測方法失效，攻擊者可利用URL 縮短服務的這類特性躲避檢測。針對這一問題，從特征工程角度，構建網頁內容鏈接層次語義樹并提取相關特征，與網頁其他相關特征一并歸類為結構、語義和統計特征，確保在URL縮短時部分特征仍然有效。

在學習模型的構建過程中，常規的監督學習方法不適用于數據類別不均衡的惡意網頁檢測任務。針對這一問題，從學習模型的角度，通過優化兩類成本敏感的目標函數，提升惡意網頁的誤判代價，解決了簡單將所有網頁判定為良性網頁即可獲取高準確率的問題。

基于上述相關特征和所構建的成本敏感學習模型組成了融合網頁內容層次語義樹特征的成本敏感學習惡意網頁檢測方法。使用帶標簽數據集訓練模型，分別在帶標簽和不帶標簽的測試數據上評估了方法的性能。

2.1 惡意網頁特征提取

針對縮短服務導致僅基于URL特征的惡意網頁檢測方法失效的問題，惡意網頁特征從URL（如圖2）和HTML 源文件中提取相關特征。并對網頁內容中的超鏈接及相應的錨文本進行語義分析，并對網頁內容中的超鏈接及相應的錨文本進行語義分析，構建層次語義樹描述網頁中的超鏈接行為。受到相關工作[7]的啟發，共提取了513維均屬于輕量級靜態特征，不依賴于預先計算、先驗知識以及特定自然語言，只需從單條原始數據中提取特征向量，擺脫了傳統方法需要上下文信息的特征，適用于在線學習檢測任務，且不損失檢測準確性。

圖1 融合網頁內容鏈接層次語義樹特征的成本敏感學習檢測方法框架

圖2 特征提取URL源

便于惡意網頁特征的特征選擇和貢獻度分析，從惡意網頁目標、行為表現以及屬性的角度，將特征歸類為結構特征、語義特征和統計特征，特征值的類型包括離散型（binary）、比值型（rational）、整型（integer）和向量型（vector），并對部分特征的領域知識和相關因素統計分析和描述。從特征貢獻度的角度分析這三類特征，并根據貢獻度進行特征選擇，所提出的特征具有較強的辨識度，其中語義類特征的貢獻度相對高于統計特征和結構特征，特征預處理和貢獻度分析的具體過程在3.2節中。

2.1.1 結構特征

結構特征側重于提取原始數據中的結構信息，包含URL、HTML 源文件以及源文件中的JS 片段的結構特征。結構特征中的包含IP地址、查詢鍵值對數、JS最長字符串長為新增加的特征。部分結構特征的列舉如表1和領域知識的分析如下。

（#1）URL長度。攻擊者使用長URL隱藏地址欄的可疑部分。目前無可靠URL長度閾值區分惡意和良性網頁，文獻[8]中給出良性長度為75，但未給出證明。為了確保特征的準確性，計算數據集中的良性和惡意的URL 長度的均值。分析得出，若URL 的長度小于或等于54，則被歸為良性，若大于74，則URL 被歸為惡意。其中URL長度大于等于54的實例有1 220個，占48.8%。

（#2）包含IP 地址。若用IP 地址替代URL 中的域名，例如http：//125.98.3.123/fake.html，則幾乎可確定該網頁試圖竊取個人信息。統計數據集顯示，570個URL使用IP地址作為域名。

（#3）查詢的鍵值對數。URL 可分解成通用格式如圖2，包括協議、域名、路徑、query和fragment，其中query由鍵值對組成。攻擊者可能修改任意一個部分以發起攻擊。當前特征主要關注惡意修改query部分的攻擊的執行情況。

表1 部分結構特征的描述

（#4）JS片段占HTML文件比。JS腳本相對于HTML源文件總體的大小。源文件中JS 腳本越多，實際可見內容越少，執行越多，更易用JS發起攻擊。

（#5）JS最長字符串長。惡意JS通常使用混淆隱藏攻擊意圖。混淆JS 代碼通常包含長字符串，它表示編碼或者加密，用于像eval 函數的參數。有很長（例如超過350個字符[9]）的字符串的腳本更有可能被混淆。圖3的混淆代碼中包含814個字符，計算最長字符串大小。

圖3 混淆的JS代碼

2.1.2 語義特征

側重于從惡意網頁領域知識的語義角度提取特征，包括對URL、HTML 源文件以及JS 片段進行語義分析提取的特征。另外，受DOM結構樹的啟發，對超鏈接及錨文本進行語義分析，分析鏈接關系來描述超鏈接跳轉行為。語義特征中的URL使用縮短服務和層次語義樹新增加的特征。部分特征的詳細描述如表2。

表2 部分語義特征的描述

（#1）使用縮短服務。攻擊者通常使用縮短服務隱藏URL 中的攻擊意圖，長的URL 通過縮短服務映射到短地址，是通過短域名的“HTTP重定向”實現的，該域名鏈接到長URL 的網頁。例如，http：//portal.hud.ac.uk/可縮短為bit.ly/19DXSk4，通過特定域名后綴判定。

（#2）使用”-”分割增加域名前后綴。下劃線符號很少用于合法網址。網絡釣魚者傾向于將“-”分隔的前綴或后綴添加到域名中，給用戶一種合法網頁的視覺欺騙。例如http：//www.Confirme-paypal.com/。

（#3）URL子域名和多重子域名。假設有以下鏈接：http：//www.nuc.edu.cn/students/。域名可能包括頂級域名，edu.cn稱為二級域，“nuc”是實際域名。先從URL中去掉（www.），刪除頂級域名（如果存在），計算剩余的點數。若大于1，則URL為可疑，因為有一個子域。但是，如果點大于2，則將其歸類為惡意，因為有多個子域。否則，若URL無子域，則為良性。

圖4 網頁鏈接層次語義樹

（#4）網頁內容鏈接的層次語義樹特征。對數據集的超鏈接及其錨文本進行語義分析，發現惡意網頁多個鏈接指向同一外域，對錨文本語義拆分后提取關鍵詞發現同一批字符同時出現的概率高。通過構建網頁鏈接層次語義樹，描述網頁的超鏈接的跳轉行為：（1）先提取網頁中的所有超鏈接以及相應的錨文本；（2）鏈接及其錨文本作為語義樹的節點，鏈接如圖4的層次結構的語義解析；（3）利用鏈接的層次結構將多個節點構造成語義樹，從語義樹提取特征。語義樹每節點為一個三元組，定義為集合{URL|(x,y,z)}，其中x y z 參數分別表示鏈接層次字符、鏈接對應的錨文本、鏈接頻次，例如圖4中的/password/節點取值為{URL|（“/password/”，“重設密碼”，11）}。以URL 作為根節點，提取語義樹的相關特征，例如圖4中鏈接層次語義樹的特征向量（樹深，樹寬，總節點數，葉節點數，子樹數，子樹深，外域子樹數）的取值為（4，15，22，15，6，2，5）。結合這類特征以及網頁內容相關特征，可解決縮短服務導致地址欄URL特征失效的問題。

2.1.3 統計特征

側重于統計分布特征，描述統計分布規律，如URL的域名部分的n-gram 字符頻率分布，HTML 源文件和JS片段的信息熵等，其中域名1-gram為新增加的特征，如表3所示。

表3 部分統計特征的描述

（#1）域名1-gram。用N-gram[10]模型對域名提取字符序列特征，N-gram 假設序列中第N 個字符只與其前的N-1 個字符有關，與其他字符無關。1-gram表示每個字符獨立，提取域名的字符頻率分布。正常域名都會偏向選取可讀性好的字母或拼音組合，抽象成數學語言，即為英文的元音字母的比例較高。而惡意網頁域名這方面特性不明顯。

（#2）HTML 熵值。熵值是信息內容不確定性的指標，被用來分析不同文本的字符分布，一般惡意網頁比良性網頁具有更小的熵值。

（#3）JS熵值。與HTML-熵值的計算方式類似。混淆代碼包含重復字串，所以混淆JS 代碼一般具有比正常JS 代碼更低的熵值，統計表明混淆JS 代碼的熵值小于1.2，而正常JS代碼為1.2～2.1。

2.2 成本敏感學習

2.2.1 成本敏感學習方法

圖5 成本敏感學習的流程

成本敏感學習的惡意網頁檢測流程如圖5，對訓練數據提取第2.1 節中的結構、語義和統計特征，在3.2 節中分析其貢獻度并證明有效性。訓練成本敏感及其他學習模型，在帶標簽數據和不帶標簽測試集中評估各模型的性能，訓練好的模型用來檢測新出現的網頁。該檢測方法分別從特征工程和模型構建的角度解決了實際的惡意網頁檢測任務中出現的縮短服務及數據類別不均衡問題。

實際的惡意網頁檢測任務中，惡意網頁數量遠小于良性網頁的數據不均衡問題極其嚴重，使得模型偏向于預測為良性網頁或者出現簡單將所有網頁都預測為良性的分類器能達到很高的準確率的情況。與常見的有監督學習相比，成本敏感學習更適用于實際的惡意網頁檢測任務。針對惡意網頁數據類別不均衡問題設計算法時必須考慮不同類別實例的誤報代價，在目標函數的構建過程中，通過優化兩個成本度量解決不均衡問題。并引入擴展性好的在線學習，可隨網頁的到達頻繁更新有效應對新出現的威脅；通過主動學習在傳入網頁的分類置信度低或正確預測存在高度不確定性時才會主動查詢標簽，節省了大量數據的標注成本。基于成本敏感學習惡意網頁檢測流程如圖5。方法旨在解決兩個問題：（1）分類器必須決定何時該查詢傳入網頁實例的標簽；（2）如何有效地更新分類器。探索主動學習解決第一個問題，研究成本敏感的在線學習策略解決第二個問題。

2.2.2 成本敏感度量的定義

使用xt∈?d表示第t 輪傳入網頁特征向量，wt∈?d是前t-1 訓練樣本學習得到的模型。使用=sign(wt?xt)表示t 輪實例的預測結果， ||wt?xt表示預測置信度。 xt相應實例的真實標簽為yt∈{ }-1,+1 ，若，則模型誤判。

假設網頁集合(x1,y1),(x2,y2),…,(xT,yT) 訓練惡意網頁在線檢測模型，其中標簽yt的顯示取決于該網頁是否需要查詢標簽。訓練過程中，常規的監督學習方法優化準確率，對數據集類別不均衡的惡意網頁檢測任務不適用。因此優化更合適的性能指標，如敏感度（sensitivity）和特異性（specificity）的線性加權，即：

其中，0 ≤ηp,ηn≤1 分別為惡意和良性實例的正確識別的權重參數，且ηp+ηn=1，其中sensitivity 為所有惡意網頁中被正確識別的比例，specificity 為所有良性網頁中被正確識別的比例。當ηp=ηn=1/2 時，sum 為平衡精度。sum 越大，模型性能越好。另一合適的評價指標為模型錯分總代價cost，即：

其中，Mp和Mn分別為正樣本和負樣本的誤判數量，0 ≤cp,cn≤1 分別為惡意和良性實例的誤判代價參數，且cp+cn=1。cost 越小，模型性能越好。

2.2.3 成本敏感學習算法

通過優化上述的sum 和cost 兩個成本敏感度量[11]，構建在線惡意網頁檢測模型。介紹算法之前，需要證明嵌入成本敏感度量的目標函數。為了解決成本敏感分類問題，優化目標sum 最大化或cost 最小化等價于以下目標函數最小化：

其中，ρ 為成本敏感因子，當ρ=ηpTn/ηnTp時，上述目標函數最小化表示sum最大化。當ρ=cp/cn時，上述目標函數的最小化表示cost 最小化。||(s)為指標函數，滿足條件s 時值為1 否則為0，其他變量描述如2.2.2 節。兩類成本敏感度量的目標函數的證明過程如下：

其中，Tp和Tn分別為訓練集中惡意網頁的數量和良性網頁的數量，其他變量的描述如2.2.2節，上述需要優化的目標函數為非凸函數，轉化為凸優化問題，改進后的hinge損失為：

在線學習原始目標函數如下：

算法中懲罰系數C 和偏差系數ρ 設置為C=ρ=Tn/Tp，sum 優化目標中的正確識別權重參數以及cost優化目標中的誤判代價參數設置為ηp=cp=Tn/(Tp+Tn)，ηn=cp=Tp/(Tp+Tn)，為了保證訓練初期需要更多的訓練實例，采樣因子δ 的初始設置為0.5。算法描述如下：

算法 成本敏感在線主動學習

輸入懲罰系數C，偏差系數ρ 和采樣因子δ。

初始化w1=0

for t=1,2,…,T do

傳入網頁實例xt∈?d

if Zt=1 then

查詢標簽yt∈{ }

-1,+1

wt+1=wt+τtytxt

else

wt+1=wt+τtytxts.t.τt=0

end if

end for

3 實驗

3.1 實驗數據

訓練模型所用數據集包含帶標簽的網頁4萬條，惡意與良性網頁的比例為78.8∶1。測試實際模型泛化能力的數據集包含不帶標簽網頁25萬條。數據集中的一部分為2017 網絡信息安全對抗賽[14]，均為真實的URL及其網頁源代碼，一部分來自于Phishtank[15]發布的惡意網頁黑名單，還有一部分是從Alexa中收集到的良性網頁。

3.2 貢獻度分析

第2 章中提取的惡意網頁檢測相關特征共513 維，所有特征均為靜態輕量級特征。將這些特征歸類為結構、語義和統計三類，做特征選擇和貢獻度的分析，尤其對新提出的鏈接層次語義特征貢獻度進行分析，特征選擇流程如圖6。

圖6 特征處理流程圖

使用feature_important[16]對特征選擇之后的114 個特征做貢獻度分析，計算并平均每個特征的基尼雜質的減少，根據此值排序特征的貢獻度。貢獻度top20 的特征如表4，分數為每個特征對分類的貢獻度。結果顯示，新提出的鏈接層次語義樹特征貢獻度分數相對較高。語義類特征的貢獻度相對高于統計特征和結構特征。

3.3 分類器

測試提取的特征和成本敏感在線主動學習方法在惡意網頁檢測任務中的有效性，考慮了SVM、RF和XGBoost 算法。使用默認的參數配置這些分類器，詳細介紹這些分類器超出本文范圍，成本敏感在線主動學習方法也在第2章中詳細介紹過，所以僅提供簡介如下：

表4 特征貢獻度top20

RF：使用多個決策樹訓練一個非概率分類器，多數投票預測類別。

SVM：訓練幾何間隔最大化的最優分類超平面，通過核函數解決線性不可分問題。

XGBoost：梯度提升決策樹的一種變體，引入正則項防過擬合，對損失函數二階泰勒展開使目標函數更精確收斂到全局最優。使用可并行近似直方圖算法，高效生成候選分割點。

成本敏感在線主動學習：構建優化兩類成本敏感度量目標函數。訓練過程中，對每個傳入的實例采用主動學習判斷是否查詢標簽，然后決定是否用該實例更新模型。不僅適用于類別不均衡數據集，且模型只需一定數量的訓練數據即可達到使用所有訓練樣本的常規監督學習的性能，更適用于解決惡意網頁檢測任務。

3.4 評估

評估本文方法和現有方法的效率和性能，從訓練數據集中提取上述特征向量，訓練上述四個分類器。在帶標記的數據集中，對各分類器的性能和效率進行了評估。另外，測試模型實際泛化能力，訓練好的分類器在25萬條無標簽數據集中檢測惡意網頁。

3.4.1 帶標簽數據集上的評估

評估分類器在帶標簽測試數據集上分類效率和性能，避免在訓練集測試集的隨機分區中可能引入錯誤，采用10折交叉驗證策略訓練上述分類器。考慮到數據集類別不均衡對準確率的影響，除了accur（準確率），表5中還引入了sens（sensitivity，靈敏度）、spec（specificity，特異性）及query（訓練所需數據占訓練集的比例）和time（預測耗時）等評價指標，計算公式如下：

表5 各學習方法的性能對比

其中TP FP TN FN 分別表示真正、假正、真負、假負網頁數。除了time 和query，以上評價指標值越大則分類器性能越好。

各學習方法在帶標簽數據集表現如表5，使用特征選擇后的114 維特征訓練分類器。上述各分類器整體分類準確率超過了94%。

成本敏感指標最好的分類器為成本敏感在線主動學習，其靈敏度為97.9%，特異性為96.7%，本文方法在靈敏度和特異性上均優于其他監督學習方法。通過主動學習，僅使用21.4%訓練數據的分類器，即可達到較好檢測性能，能在保持檢測效果的同時節省大量數據標注成本。

為了對比減少訓練數據對其他監督學習方法性能的影響，正負樣本分層隨機選取訓練數據中的21.4%，訓練SVM、RF 和XGBoost 模型，在帶標簽的數據集表現如表6，顯示減少訓練數據會極大地降低其他有監督學習模型的性能。

表6 各學習方法的性能對比（隨機選取21.4%訓練數據） %

3.4.2 無標簽數據集上的評估

評估上述分類器從無標簽數據集中檢測惡意的網頁的實際泛化能力，使用主流反病毒工具VirusTotal 和人驗證方式做進一步驗證。人工驗證方法為從攻擊者角度進行，先找出該網頁的仿制對象，再采用人工對比確認其是否為惡意網頁。實驗結果如表7 所示，其中malicious 為分類器檢測為惡意的網頁數，rest 為未被VirusTotal所驗證出網頁數，manual為rest中被人工驗證為惡意網頁數，即VirusTotal所漏報的惡意網頁。

表7 各學習方法在25萬條無標簽數據集的表現

如表7顯示，本文方法從25萬條無標簽數據中檢測出875個惡意網頁，VirusTotal僅驗證其中470個為惡意網頁，人工驗證剩余的405 條中的386 為惡意網頁。結果顯示本文方法優于反病毒工具VirusTotal和常規監督學習方法。

3.4.3 評估集成為惡意檢測插件的潛力

目前存在瀏覽器插件的惡意網頁檢測方法，為了評估本文方法作為瀏覽器插件的在線實時檢測器的潛力，分析惡意網頁檢測中每一步的耗時。網頁特征向量提取耗時與分類器的預測耗時總和為單個網頁的檢測時間，表5 中最差的分類器SVM 平均單個網頁預測耗時只需要0.006 ms，相比于網頁特征向量提取耗時，預測耗時可忽略不計。平均每個網頁的特征向量提取耗時78 ms 可作為集成為瀏覽器插件檢測惡意網頁的真實時間開銷。

4 結束語

本文提出的網頁鏈接層次語義樹特征可有效解決URL縮短服務帶來的威脅，與常規監督學習方法相比成本敏感在線學習解決了惡意網頁檢測任務中數據類別不均衡問題。本文方法在惡意網頁檢測中優于主流的反病毒工具VirusTotal。未來研究中將嘗試成本敏感多分類惡意檢測方法和基于瀏覽器插件的惡意網頁檢測的集成。