基于數據包特征的加密流量分類

楊彥召, 丁 杰, 仇 晶, 張光華

(1. 中汽智創科技有限公司， 江蘇 南京 211100; 2. 廣州大學 網絡空間先進技術研究院， 廣東 廣州 510006; 3.河北科技大學 信息科學與工程學院, 河北 石家莊 050091)

流量分類是一種將網絡流量劃分為相應類別的任務，在網絡入侵檢測系統 (NIDS) 等許多軟件程序中具有至關重要的應用。它可用于識別網絡中惡意軟件產生的流量，從而幫助防火墻識別惡意連接入侵。惡意軟件可以定義為旨在破壞計算機系統的程序，它是當今信息安全的最大威脅[1]。流量分類已經被研究了20年，早期網絡傳輸的數據包多為明文和基于端口的數據包，因此，深度數據包檢測(DPI)技術被廣泛采用。加密流量是一種對原始數據報文加密后，在網絡上進行信息傳輸的技術。隨著網絡的發展，加密流量方法受到大范圍推廣，過去依賴明文內容的流量分類方法使用率不斷下降。

加密旨在保護網絡通信的安全性和隱蔽性，但這種隱蔽性往往被攻擊者用于隱藏和部署惡意代碼、遠程命令控制或者造成數據泄露。因此，如何在不解密數據包的情況下對加密流量進行分類成為網絡空間安全研究的主要問題。

網絡上主要采用TLS協議對流量加密。TLS協議保障了互聯網安全通信，其在2個通信的應用程序之間進行握手，從而建立起可靠的加密通信信道。由于傳統基于端口的方法以及深度包檢測技術對流量分類時依賴明文數據，因此，這些方法在加密流量面前失去作用。這也導致了利用機器學習對加密流量進行分類的方法逐漸引起了大多數學者的關注。機器學習算法已被證明是處理加密流量分類任務最合適的方法。它以時間序列和統計數據為特征，既可以對未加密流量進行分類，也可以通過對加密流量的加密協議進行分析以實現流量分類的目的[2]。

思科提供了一種基于對 TLS 握手元數據和2個上下文流深入分析的方法來識別加密流量中的威脅[3]。TLS協議在握手協議階段，雙方發送的數據仍然是以明文的形式進行傳輸，直到加密通信信道建立為止。鑒于此，本文的目標是設計一種流量分類方法，避免解密數據包的隱私信息，充分利用網絡流量的元數據。正常流量的通信行為與惡意軟件的通信行為存在很大差異。這種差異可以反映在與 TLS、證書或流元數據相關的幾個參數中[4]，是能夠實現高精度的流量分類系統的理論基礎。

傳統的機器學習模型選取的特征基于流或者會話。流是指具有相同源 IP 地址和目標 IP 地址的網絡流量。與之相對，會話是指具有相同源 IP 地址和目標 IP 地址但可以相互交換的雙向網絡流量。網絡流量中解析的特征包括數據包信息(包長度)、TLS信息、DNS信息或可用于流量分類的HTTP信息。傳統的機器學習算法通過對流或會話上的數據包進行一系列的計算，得到上下行數據包數和上下行字節數的統計數據。

通常來說，客戶端和服務器之間的通信流量中只有部分數據包涉及數據交互。也就是說，即使是惡意流量，也不是所有的數據包行為都是惡意的。而正常的流量偶爾也會產生行為異常的數據包。本研究認為流量中數據包的正常行為和惡意行為的比例也是對加密流量進行分類的重要依據，之前的研究中都忽略了流量包行為對加密流量分類效果的影響。本研究提出的基于數據包的流量分類方法可以發現這個缺陷并解決這個問題。因此，本研究主要的貢獻總結如下：

(1)提出了一種以數據包為分類特征的加密流量分類方法，使用流或者會話作為訓練特征將忽略數據包行為對分類的影響。

(2)支持多版本TLS協議。隨著網絡的發展，加密協議也在不斷迭代，如TLS1.3協議自2018年提出以來得到廣泛應用。考慮到加密協議的升級，提出了一種新的特征選擇方法。

(3)通過與現有的加密流量檢測模型對比，實驗結果表明，提出的模型具有良好的流量分類能力，分類準確率達到99.96%。

本文的其余部分安排如下： 第二節介紹了相關工作；第三節描述了使用的數據特征和算法；第四節概述了使用的數據集以及實驗結果；第五節給出了結論和下一步工作計劃。

1 相關工作

加密流量檢測是流量分類研究領域的一個重要研究方向，同時也是網絡安全領域的基礎組成部分。網絡流量的爆發式增長使安全監控系統承受著巨大的壓力。傳統的基于DPI技術的流量識別方法可以準確識別未加密的電信流量，但無法有效識別加密流量。Sen等[5]分析了基于端口和深度包檢測方法的局限性，并強調了統計的優點。隨著TLS加密協議的出現和應用，這些傳統方法逐漸失去了原有的優勢，識別準確率急劇下降。不過得益于此，基于端口和深度包檢測方法的局限性促進了流量分類研究的發展，并推動了使用機器學習方法來處理加密流量的趨勢。

機器學習算法相比傳統流量分類方法具有更多的優點。比如，機器學習算法能夠處理加密流量分類，同時具備了很高的準確率。除此之外，機器學習算法能夠適應復雜多變的網絡環境，識別未知的樣本類別。因此，它可以對不斷升級的加密協議和新興的網絡應用進行分類[6]。基于機器學習的加密流量檢測方法通過對數據流元數據的統計分析，構建加密流量的統計屬性組合作為指紋，對加密流量進行分類識別。現有的研究主要分為基于規則的加密流量檢測和基于機器學習的加密流量檢測方法。

1.1 基于規則的流量檢測

基于規則的加密流量檢測主要利用加密流量的數據包字段或字段組合特征(如排序或固定模式)作為指紋進行規則匹配。Kim等[7]提出了一種從加密的流量有效載荷數據中自動生成服務簽名的新方法。使用證書交換過程中的證書頒發信息字段對服務進行簽名，并構建證書、會話ID和IP地址應關系列表，以匹配流量的類別。

建立映射表是基于規則的加密流量檢測的常用方法。Shbair等[8]將服務器名稱指示(SNI)與IP對應的域名信息進行比較，依靠可信的DNS服務來驗證真實目標服務器與聲明的SNI值的一致性，從而監控HTTPs流量。Husák等[9]通過分析TLS握手數據中支持的密碼套件列表和來自HTTP頭的用戶代理來構建密碼套件列表和字典，以識別加密通信的客戶端。Papadogiannake等[10]提出了一種模式語言，通過定期匹配固定的加密模式(例如相關數據包的出現頻率或數據包的位置)來識別加密流量的類型。

一般來說，基于規則的方法需要對字段特征進行人工過濾，匹配提取的規則對加密流量進行分類。這種方法具有輕量快速且容易構建的優點，但缺點在于需要人工篩選特征字段，僅可以對已知類別的流量構造映射表進行對應匹配，容易被攻擊者采用數據包相關字段拼接或偽造的方法繞過，具有很高的誤報率。

1.2 基于機器學習的加密流量檢測

基于機器學習的加密流量檢測方法(對數據流元數據進行統計分析)與基于規則的流量分類方法不同，基于機器學習算法通過構造加密流量的特征矩陣，搭建機器學習模型進行分類。機器學習算法構建的特征矩陣各不相同。Bilge等[11]使用 NetFlow 和外部信譽評分對僵尸網絡流量進行分類。他們的檢測模型也可以應用于加密惡意網絡流量的檢測，但該模型沒有使用與 TLS 數據相關的特征。

機器學習算法采用的特征更多來源于網絡流量的原始特征。Panchenkoa等[12]基于數據包大小，通過統計和計算變換衍生后的特征，對加密攻擊流量執行網站指紋識別。Wurzinger 等[13]通過分析數據包的大小和數據包發送到達時間來檢測惡意流量。流量包數據流統計也可以作為識別加密流量惡意軟件類別特征的模型。Mcgrew等[14]使用入站字節數、出站字節數、入站數據包數、出站數據包數、源端口號和目的端口號以及數據流的持續時間作為特征。

除了流(Flow)，會話(Session)也是一個常見的選擇。流和會話都是一個流量單位，流量單位可以分為五元組(源IP、源端口、目的IP、目的端口和傳輸層協議)。不同之處在于流是一個方向，會話的源 IP 和目標 IP 是可以互相交換的[15]。Anderson等[16]提出了一種通過檢測與加密流量相關的 DNS 和 HTTP 中的關鍵信息來判斷加密惡意流量的方法，使用的特征數據包括完整的TLS握手包和與TLS握手包相同的服務端和客戶端5分鐘窗口內的 DNS和 HTTP信息。

Prasse等[17]從 HTTPS 日志中提取基于數據流的特征，然后對其進行擴展，生成的特征包括端口熱編碼值、流持續時長、包時間間隔以及發送和接收的數據包字節數。但是在最新版本的TLS1.3協議中，證書握手數據已經被加密，無法獲取證書信息。

除了傳統機器學習，很多研究人員也將深度學習模型對特征的自適應學習能力研究逐步遷移到加密流量檢測研究中。Wang等[18]將PCAP格式的流量文件進行特征篩選融合，裁剪頭部前784字節大小的數據作為數字矩陣，構建CNN模型從而識別流量的類別。

Razaei等[19]使用了基于半監督的一維卷積神經網絡來分類谷歌的5個應用，這個模型使用的整個流的數據特征中包含了大量的無標簽數據，學習到的權重傳遞給了一個新的模型，伴隨著少部分的標記數據一起作為訓練數據重新被訓練來完成對應用軟件的分類。這篇論文展示了使用標記的時間序列作為特征的可能性，而不是以往采用前N個數據包作為訓練樣本的方法，優點在于分析高帶寬的網絡應用時具有更高可用性。

基于機器學習的加密流量檢測方法可以根據不同的應用場景調整相應的特征結構，但這種方法依賴于專業的人員來分析和構建特征矩陣，非常依賴知識和經驗。基于深度學習方法的輸入不需要人工構建，可以自動化提取特征，但存在考慮信息不全面，僅能針對單一任務分類的缺點。

上面提到的論文大部分都將數據包作為流量分類的一個特征，但是他們并沒有進一步分析數據包行為是否是惡意的，從而忽略了數據包行為對于流量分類的影響。此外，TLS 1.3 加密協議的提出和應用是網絡空間安全和性能方面的重大進步。雖然主流瀏覽器還沒有默認開啟，但是使用TLS1.3協議對傳輸消息進行加密已經成為一種趨勢。

2 基于數據包的加密流量分類系統

基于以上原因，本文提出了一種基于數據包粒度的流量分類方法，認為機器學習常用的特征可以分為時空特征、頭部特征、負載特征和統計特征。是否將數據包的性質作為流量分類的特征是基于數據包方法的重要依據，也是本研究的方法與以往研究的最大區別。下面介紹流量分類的特點和模型的組成部分。

2.1 特征表示

目前的流量分類方法至少使用時空特征、頭部特征、負載特征和統計特征中的一個或多個類別。

(1)時空特征一般指網絡流量傳輸過程中正常發送的數據包時間和空間屬性。數據包的時間屬性有數據包發送時間和包間時延等。數據包的空間特征包括數據包長度、數據包發送方向和數據包個數等[20]。

(2)頭部特征，包括流量五元組、DNS和HTTP信息。DNS 包括DNS 域名、返回碼、DNS 地址和 TTL生存期。除此之外，還可以從 DNS 中提取其他特征，比如網站的受訪問歡迎度排名(如網站Alexa排名)以及網站域名的長度以及字符分布規律(如域名的高斯分布)。HTTP是使用最廣泛的協議，常用于web瀏覽器和SMTP郵件服務中，能夠提取出的特征包括HTTP協議類型、請求方式、狀態碼以及Content-Type字段等。

(3)負載特征，是指封裝在流數據上的內容，例如加密協議。在建立安全的加密通信信道之前，客戶端和服務端必須交換數據報文以確認對方身份信息，這一過程通常被稱為加密協議的握手階段。在TLS協議中，客戶端和服務端需要交換彼此支持的密碼套件從而選擇一種合適的加密算法、加密數據報文。為了認證客戶端和服務端的身份，服務端會發送證書給客戶端，驗證通信雙方的身份。值得一提的是，目前對加密流量的研究大多基于TLS1.2協議，而TLS1.3已經開始流行。相比于TLS1.2協議而言，TLS1.3協議在握手過程發送的報文以及握手次數更少，也給加密流量分類任務帶來更多挑戰。TLS1.2和TLS1.3協議的區別見圖1。

(4)統計特征，可以從流量中獲取。單個數據包具有3個屬性：字節數、傳輸方向和包間延遲。根據數據包本身的屬性，可以計算得到平均包長、最大包長、平均包間時延等屬性。根據客戶端和服務端發送數據的來源可以簡單定義流量的方向，上行流量為客戶端發送給服務端的流量，下行流量為客戶端接收服務端的流量。由此，可以進一步計算出上下行數據包數的比值和上下行字節數的比值。統計特征可以從數值上看出正常流量和惡意流量的區別，這也是對加密流量進行分類的一個重要特征。但是為了獲得統計特征，分類器必須在一個流或會話中獲得許多數據包，因此，它只能用于離線分類[21]。

如前所述，現有研究主要使用以上4種特征，卻忽略了數據包的行為特征對流量分類的影響。本文主張數據包行為有正常和惡意2類，涉及數據竊取或網絡攻擊的數據包屬于惡意行為數據包。下面介紹如何區分數據包行為的類別并將行為特征輸入到模型當中。

2.2 模型架構

上述介紹了負載特征，在加密協議的握手階段，客戶端和服務器需要以明文方式協商相關的加密參數。在這個階段，可以得到很多客戶端和服務端相關的數據。TLS 握手階段的協議和加密流量的特征可以在一定程度上描述應用程序的行為，例如惡意軟件傾向于使用低版本的加密協議和弱密碼套件。流持續時間、時間間隔、總字節數等數據流統計特征可以描述客戶端和服務器的網絡行為。網絡行為分析對檢測新的惡意軟件和零日威脅特別有效[3]。

為了提取有效特征，需要處理原始數據包文件。在處理TLS加密流量數據時，需對超時、重傳和失序的數據包進行處理。還有一些流量數據缺少關鍵功能，例如服務器證書或提供的密碼套件列表。最后需要過濾一些錯誤的數據包，但不能設置太多的強制特征，以免從數據集中刪除過多的流，使數據集容易過擬合。

此外，還需要對正常流量和惡意流量的IP進行脫敏處理，以防止數字對分類的影響。對于源端口號和目的端口號，保留原始端口號是因為惡意流量的偏好，99% 的惡意流量更喜歡使用443端口[3]。同時，一條流或者會話中，PCAP 文件中的流量包含的數據包數量和連接時間不同，這會導致特征提取困難以及造成訓練樣本的偏差。所以本研究選擇使用流量中的前20個數據包來保證訓練數據集的一致性，不足20個數據包的流或者會話會被剔除。

得到可靠的數據包來源后，需要判別出數據包是正常行為的數據包還是惡意行為的數據包。因為數據集標簽是建立在流量上的，為了獲取數據包的行為類別需要對其進行聚類。一般認為正常流量的大多數數據包行為是正常的，而惡意流量的惡意行為數據包的比例要高得多。統計一條流上正常數據包和惡意數據包個數之后，用流的標簽驗證聚類方法的有效性。但是傳統的數據集標簽是針對整個流或會話的，也就是說，無法直接判斷數據包是正常數據包還是惡意數據包。為了得到數據包行為的標簽，會使用到聚類算法。在得到所有需要的特征之后，就可以將提取的特征輸入到模型當中，模型的結構將在下面進行介紹。

本文提出的模型架構圖見圖2。首先，以流或會話的形式提取PCAP文件格式的數據集。之后，按流或會話中的字段提取特征。從 TLS 流的關聯 DNS 響應中收集域名、返回碼、響應記錄和 TTL 生存時間。根據這些信息，可以進一步提取域名的長度和高斯分布，以及網站流量的排名。

其次,可以從 HTTP 報文頭部和 TLS 有效載荷中提取更多特征。例如HTTP get 和 post 方法，或 Content-Type、User-Agent、Accept Language 和 Server 等屬性。TLS 字段包括協議版本、支持的密碼套件和支持的擴展數量等。數據包信息包括流量五元組、字節數、發送方向和發送時間，還可以計算平均包長、最大包長和最小包間延遲等屬性。

本文提出的模型側重于數據包行為的特征，認為不同的數據包有不同的行為，正常流量會有異常流量包，惡意流量也會有正常流量包。本文采用k-means聚類方法對正常數據包和惡意數據包進行分類。

輸入的數據集格式為D={x1,x2,…xm}，輸出是分類的結果C={C1,C2}，C1和C2分別是正常流量和惡意流量的標簽。首先，從數據集D中隨機選擇2個樣本作為質心集{μ1,μ2}，μj是集合的質心，之后計算每個樣本xi和質心μj的距離，距離計算方法為

之后重新計算集合C中的質心，計算公式為

計算每個樣本與2個質心之間的距離，將每個對象分配給距離它最近的質心，質心與它分配的樣本就代表一個聚類。所有的樣本被分配之后，如果所有的質心向量都沒有被改變，則輸出聚類的結果。最終，輸出簇劃分為

C={C1,C2}。

得到流量中正常行為數據包和異常數據包的類別之后，進一步計算出正常行為數據包和異常數據包在流量中的比例以及二者之間的比值，將它們作為參數添加到特征矩陣之中。最終得到樣本集合S={S1,S2|xi∈S}，其中，xi是集合S中的一個樣本。

輸入特征集之后，使用LightGBM模型進行分類。LightGBM是一種實現GBDT算法的框架，主要思想是使用弱分類器迭代訓練以得到最佳模型，支持高效的計算，并且具有更快的訓練速度、更高的準確率等優點。LightGBM使用基尼系數而不是信息增益比。基尼系數越小，雜質越低，特性越好。概率分布的基尼系數表達式為

Gini(p)=2p(1-p)，

p是屬于正常流量的概率。本文使用的損失函數是對數似然損失函數，其計算公式如下：

L是損失函數，N是樣本數，是輸入實例的真實類別，是輸入實例屬于正常流量類別的預測概率。

3 實驗評估

本文提出的分類器已經在真實數據集上進行了實驗評估并與其他加密流量分類器進行了比較。因此，本節提供了對實驗環境的完整描述。具體來說，本研究第一步將介紹數據集和從原始PCAP數據中提取分類特征的方法。然后，將與相關工作的實驗結果進行比較。

3.1 數據集

為了區分惡意流量和正常流量，需要為分類器提供加密數據集，用于訓練和測試。實驗設置采用Czech Technical University為惡意軟件捕獲設施 (MCFP) 項目收集的 CTU 惡意軟件數據集，并以帶有4個標簽的原始 PCAP 格式提供。MCFP 項目通過長期監控收集捕獲真實網絡環境中的惡意流量和正常流量，并對捕獲的流量進行標記。標簽包括僵尸網絡流量、攻擊流量、正常流量和后臺流量。目前，數據集包含300多個子集，數據格式為PCAP文件。

原始PCAP文件中會存在大量因為超時、錯誤或者重傳的數據包，這些數據包的數據如果直接引用到本文提出的模型中會嚴重干擾模型的準確率。所以第一步要處理這些錯誤數據包，可以借助Wireshark工具直觀地看到這些錯誤數據包的存在，錯誤數據包的格式見圖3。

處理完錯誤數據包之后，從流量數據中提取有效的字段作為輸入特征集。這里的流量提取工具使用 Joy將 PCAP 文件形式的數據集解析為 JSON 格式，Joy[16]是一種用于網絡研究、取證和安全監控的開源數據包分析工具。該工具從網絡流量和 JSON 格式文件中提取數據特征，可以得到許多分析工具和編程環境(如 Python 和機器學習框架)的支持。之后，可以將過濾后的文件解析為數據包信息、TLS 加密信息、HTTP 信息或 DNS 信息(更詳細的在2.1中)。每個流或會話提取的json格式數據見圖4。最后一步，將這些提取的特征、統計特征和聚類后的數據包信息保存在CSV文件中。

3.2 實驗結果

在這部分，主要實現了2個部分的實驗內容：第一部分是使用SVM、隨機森林和LightGBM 的對比實驗；第二部分是本研究的方法與其他加密流量檢測方法的比較。

SVM是一種有監督的學習模型，支持線性分類和非線性分類，其決策邊界是對學習樣本求解的最大邊距超平面。隨機森林算法是一種基于 Bagging 思想的集成學習方法，它是一種基于決策樹作為分類器的集成算法，主要思想是使用多個弱分類器通過投票形成一個強分類器。LightGBM 是一個決策樹模型，主要思想是利用弱分類器進行迭代訓練，得到最優模型，具有訓練效果好，不易過擬合的優點。對比實驗見表1。

表1 不同算法分類效果對比Table 1 Comparison of classification effects of different algorithm %

從表1中可以看出LightGBM實驗效果最好。在同一數據集上，本研究與其他研究結果進行了對比實驗。本文選取 Frantisek和EncrCatcher[22]模型作為對比實驗，實驗結果見表2。

表2 其他模型分類效果對比Table 2 Comparison of classification effects of other models %

本研究的方法使用數據包行為作為加密流分類特征，實驗準確率達到99.96%，優于其他模型。同時，本研究提出的模型準確率為 99.27%，召回率為 97.72%。

4 結 論

如何在不解密數據的情況下，對加密流量進行分類已經成為了時下流行的研究方向。在傳統的方法諸如基于端口號以及深度數據包檢測技術日趨衰落的情況下，機器學習方法逐漸展露自身的優勢。通過對傳統機器算法和深度學習算法進行比較，本研究最終選用半監督的傳統機器學習模型完成加密流量分類的任務，任務的目標是識別網絡流量是正常的還是惡意的。

本文提出了一種基于數據包加密流量分類的機器學習模型，目標是提供一種有效的方法來利用原始 PCAP 文件的信息。本研究除了獲得基本的時空特征、頭部特征、負載數據和統計特征外，還提出了數據包行為特征。數據包的行為表現了正常流量和惡意流量的區別。通過聚類模型提取正常和惡意流量包，并將結果作為訓練特征添加到模型中進行訓練。

為了評估模型的有效性，本研究在公共數據集上進行了模型訓練，并對機器學習模型進行了實驗。同時，對比了現有的加密流量檢測模型，實驗結果表明，本文提出的方法對加密惡意流量具有更好的檢測能力。在此研究基礎上，接下來的工作計劃是實現多類加密流量分類模型和加密流量檢測模型的實時分類。