基于自注意力機制和時空特征的Tor網站流量分析模型

席榮康，蔡滿春，蘆天亮，李彥霖

（中國人民公安大學 信息網絡安全學院，北京 100038）

0 引言

洋蔥路由器（The onion router，Tor）匿名通信系統是一種基于鏈路的低延遲通信系統。與其他匿名通信系統相比，Tor 匿名通信系統因具有更好的安全性、可部署性、可用性、靈活性而被匿名用戶廣泛運用。由于該系統具有節點發現難、用戶定位難、通信關系確認難的特點，常常被不法分子用來作為隱匿網絡行為的工具從事網絡犯罪活動。Tor 是用戶訪問暗網的重要工具，而暗網中充斥著信息泄露、人口販賣、槍支貿易，以及敲詐勒索等反社會活動和言論，嚴重威脅著個人隱私安全、社會治安，甚至國家安全。Tor 匿名通信系統使用安全傳輸層（Transport Layer Security，TLS）協議進行數據加密，研究者無法通過分析分組有效負載來識別流量，且該方法由于解析分組負載而觸犯隱私。后來有研究者嘗試將流量中獨特的數據包大小與網頁建立匹配關系，從而獲取用戶訪問的頁面。但Tor 匿名通信系統不但通過多層跳轉、隨機轉發機制隱藏了通信雙方的真實身份，而且通過分割數據包為512 比特固定長度的數據單元消除了許多常用的流量特征。因此，針對Tor 加密流量的監管和識別成為亟待解決的重要問題。

Tor 網站指紋攻擊也稱為Tor 網站流量分析，攻擊者通過監聽用戶訪問頁面的流量，分析其行為模式和特征進一步判斷用戶當前正在訪問的頁面。目前，Tor 網站指紋攻擊在兩種應用場景下進行。封閉世界下，攻擊者需要準確識別出Tor 網絡匿名用戶正在訪問的已知監控網站種類，檢驗模型能夠對監控網站類別正確分類的多分類能力。在更接近真實互聯網環境的開放世界下，攻擊者需要在復雜的網絡環境下識別出受監控網站，以檢驗模型的二分類能力。

Hintz［1］最先提出了Web 網站指紋攻擊的概念，針對加密代理SafeWeb 證明了指紋攻擊的可行性與有效性。后來Liberatore等［2］首次將機器學習算法運用在網站指紋攻擊模型中，模型分類準確率達68%。早期網站指紋攻擊主要針對安全外殼（Secure SHell，SSH）協議與安全套接字層（Secure Socket Layer，SSL）協議。自2004 年起，Dingledine等［3］介紹了第二代洋蔥路由系統Tor，Tor 通信系統便成為了當今最為流行的匿名通信系統。此后，多種機器學習算法相繼被應用于Tor 網站指紋攻擊中。例如，基于K 指紋的模型K-FP（K-FingerPrinting）［4］采用隨機森林算法、基于累積量模型CUMUL（CUMULative sum fingerprinting）［5］采取支持向量機算法。將機器學習算法應用于網站指紋攻擊中需要人手動選擇特征且選擇的依據多為專家經驗，算法的固有缺陷導致模型性能難以進一步提高。

神經網絡模型由于能夠在訓練過程中自動提取特征向量，通過大量互聯神經元的非線性變換獲取抽象特征并進行自適應端到端的分類處理而被廣泛運用于網站指紋攻擊。Abe等［6］首次嘗試將深度學習算法用于指紋攻擊，使用堆棧去噪自編碼器（Stacked Denoised AutoEncoder，SDAE）對數據進行分類，在封閉世界數據集中達到88%的準確率。后來，研究者一方面通過改進數據分析模型來提高網站指紋攻擊的準確率，Rimmer等［7］收集了包含300 萬條流量的數據集，并使用卷積神經網絡（Convolutional Neural Network，CNN）、SDAE、長短期記憶（Long Short-Term Memory，LSTM）網絡對數據集進行分類，封閉世界下能達到96%的準確率。Zhang等［8］提出了多尺寸卷積神經網絡和長短期記憶（MultiScale CNN with LSTM，MSCNN-LSTM）網絡模型，利用輸入數據的時空特征對網絡流量進行分類。另一方面，研究者通過改進網絡流量的預處理方法以達到更好的實驗效果。馬陳城等［9］提出將突發流量特征作為指紋攻擊特征，在封閉世界下模型分類準確率達到98%。張道維等［10］提出將匿名通信流量映射為RGB 圖像，然后使用殘差神經網絡構造網站分類模型，模型準確率達到97.2%。

除了通過改進模型和數據處理方法提高Tor 網站指紋攻擊的準確率，Wang等［11］提出目前網站指紋攻擊的局限性，運用數據集更新、網頁分割、去噪聲等方法來增加指紋攻擊的實用性。針對深度學習需要大樣本學習、靈活性差等問題，Sirinam等［12］提出三聯體指紋攻擊的方法，通過小樣本訓練數據模型，模型分類準確率可達95%且抵抗概念漂移能力和靈活性大幅提高。Attarian等［13］提出自適應的在線指紋識別流處理方法實現網站的動態識別。蔡滿春等［14］利用Seq2seq模型自動生成流特征，采用自適應隨機森林算法作為分類器，模型在線識別率達98%。

綜上所述，針對Tor 網站指紋攻擊的研究集中在模型性能改進和模型實用性提高兩方面。目前關于Tor 網站流量分析模型的改進雖取得了較大成功但仍存在如下問題：1）通過神經網絡的疊加雖提高了模型分類準確率，但模型處理數據量大幅增加，模型訓練效率較低；2）利用深度神經網絡進行多次信息提取存在信息丟失的隱患；3）模型尺寸單一，結構不靈活，無法充分提取數據多維度、多視野特征進行分類。

本文提出一種基于自注意力機制和時空特征的Tor 網站流量分析模型SA-HST（Self-Attention and Hierarchical SpatioTemporal features）：首次引用注意力機制用于Tor 網站流量分析，為輸入數據分配注意力權重以選取重要特征；采用多通道并聯網絡結構取代深度神經網絡以提取數據多視野細粒度特征；基于CNN、LSTM 提取流量時空特征用于Tor匿名流量分類。SA-HST 在分類準確率、分類效率、魯棒性等多方面的性能均有較大提高。

1 基于SA-HST的Tor網站流量分析

1.1 Tor網絡結構分析

圖1 為Tor 網絡結構。Tor 網絡客戶端在與目標節點數據傳輸過程中基于加權隨機路由選擇算法選擇3 個中繼節點傳輸信息并建立鏈路。由于對數據進行三次加密，中繼節點和目的服務器無法同時獲知客戶端IP 地址、目的服務器IP 地址以及數據內容，從而保護了用戶隱私。

基于該網絡結構，攻擊者可通過獲取Tor 網絡入口節點的權限并位于用戶客戶端到Tor 網絡入口節點的鏈路上對傳輸數據包進行監聽。擁有Tor 網絡入口節點權限的攻擊者，能夠解密Tor 網絡數據包的第一層加密信息并獲取Tor 協議信息，但無法獲取Tor 網絡數據包有效載荷信息。因此，攻擊者可通過分析數據包時間、方向等統計特征達到網站指紋攻擊的目的。

1.2 SA-HST流量分析模型

結合自注意力機制與多核CNN-LSTM，設計了SA-HST流量分析模型。圖2 為SA-HST 模型流程，該模型分為三部分：1）數據編碼層將預處理后的數據填充或截取為固定長度的序列，對網站標簽采用One-Hot 方式編碼；2）自注意力機制層為數據序列特征分配不同的權重，提取出重要的數據特征用于分類；3）多核CNN-LSTM 層提取輸入數據的時空特征用于分類，進一步提高分類準確率。最后通過調整全連層參數和數據重組實現開放世界和封閉世界下模型的二分類/多分類。

SA-HST 模型主要具有以下特點：1）注意力機制層忽略輸入數據的長度，通過固定運算量便可計算輸入數據任意兩個位置的依賴關系。對于長序列數據的處理既保留了完整的數據信息，又沒有降低訓練效率。2）SA-HST 模型采取并聯網絡結構以消耗算力的方式提高訓練效率。3）采用多尺寸卷積核卷積神經網絡和長短期記憶網絡提取數據細粒度、多尺寸、跨時空特征，充分提取數據特征使模型能夠在復雜的測試數據中保持性能穩定。本文模型能夠在淺層網絡結構的基礎上，實現分類高準確率、高訓練效率和高魯棒性。

1.2.1 數據編碼層

本文在開放世界和封閉世界下的實驗都屬于有監督學習，即利用已知的訓練數據訓練模型并通過輸入未知數據映射輸出，以達到分類或預測的目的。訓練數據通常表示為：

其中：Τ為訓練數據；X為經過預處理后的網絡流量實例；G為網站類標簽，開放世界下為二分類標簽，封閉世界下為多分類標簽。由于無法獲取Tor 網絡傳遞的有效載荷信息，X可表示為：

其中：-1 和1 表示數據包傳輸方向，數據長度則表示該網站流量實例的大小。經過預處理的信息流是長度不一的數據序列，而模型采用批處理的方式加載數據，需要對批數據進行填充和截取操作以保持長度統一。采用數據處理函數處理數據矩陣，若序列長度過長則截斷，反之則補零。由于神經網絡執行數字運算性質，輸入數據通常為范圍是［-1，1］的數字序列，經數據編碼層處理的數據序列X能直接輸入神經網絡進行運算。

對于多分類標簽，由于同批數據的各網站標簽相互獨立，采用One-Hot 編碼將網站標簽編碼為神經網絡可處理的一維向量：

One-Hot 編碼采用N個狀態位來對N個網站名稱進行編碼，網站名稱被映射為整數索引值，N個狀態位任意時刻只有一位有效。當表示某一網站時該索引值對應數值為1，其他位都是0。標簽G3=1，則G表示第4 個網站類標簽。

1.2.2 自注意力機制層

注意力機制的思想起初受到人類注意力機制的啟發。本質上來說是實現模型算力資源的高效分配［15］。注意力機制第一次應用于圖像處理領域，通過對圖像關鍵位置有選擇的處理，減少了需要處理的樣本量并提高了模型性能。而后，注意力機制思想在機器翻譯領域解決了不定長翻譯問題。接著在數據預測領域，LSTM［16］將循環神經網絡（Recurrent Neural Network，RNN）與注意力機制思想相結合，利用門結構依據重要性選擇將信息進行傳遞或者遺忘，有效地解決梯度爆炸問題，模型得到初步運用。2017 年以自注意力機制為基本單元的Transformer 模型的提出使注意力機制得到真正的成功運用［17］。Google 公司使用Transformer 模型代替Seq2seq 模型，利用自注意力單元代替傳統循環神經網絡單元，在機器翻譯領域取得了重大成功［18］。受到自注意力機制在序列數據中的應用啟發，本文將注意力機制運用于Tor 匿名流量分類中，相較于之前流量分類模型，模型性能在多方面有較大提升。

圖3 為自注意力機制層模型結構。首先，先設置輸入序列X=(1，-1，1，-1，…，1)的初始化權重矩陣，并計算序列X的相關矩陣：

其中：Wv、Wk、Wq分別為輸入序列X的值Value、鍵Key 以及查詢Query 初始化權重矩陣；V、K、Q分別為輸入序列X的值Value、鍵Key 以及查詢Query 矩陣。然后，利用特征xi的查詢向量與各個位置的鍵Key 內積并歸一化得到注意力權重，注意力權重表示特征xi與序列其他位置的依賴關系，權重越大表示該數據特征越重要：

其中：qi為輸入序列中特征xi的查詢向量；ai為特征xi的注意力權重；Softmax()為歸一化指數函數，用于將注意力得分歸一化為調節因子，使得內積不至于太大以便于Softmax()函數計算。最后，將注意力權重與對應的值Value 加權求和得到特征xi的注意力得分：

其中：attention()表示注意力得分函數；vj為特征xj對應的Value 向量。

1.2.3 多核CNN-LSTM層

卷積神經網絡能夠通過卷積核與局部圖像的卷積運算提取抽象的數據特征，在圖像處理問題上有良好表現。一維卷積神經網絡相較于傳統的卷積神經網絡層具有輕量級的結構且更易捕捉序列的空間特征［19］。序列數據常用的深度學習模型為RNN，RNN 通過記錄系統狀態量使神經元具有記憶能力。對于第t時間步，計算公式為：

其中：et表示t時刻系統狀態向量；Wp、Wg、Wo為轉移矩陣；Xt、Lt分別為t時刻輸入向量、輸出向量；tanh()為雙曲正切函數。由式（9）可知，RNN 運算方式為串行運算，上一刻系統狀態影響下一刻系統輸出，存在下列局限：1）受制于遞推機制，RNN 不能實現并行運算，運算效率低；2）RNN 僅能獲取序列上下文依賴關系而忽略數據局部依賴關系；3）深度RNN 存在梯度消失和梯度爆炸的隱患。本文選用一維卷積神經網絡作為分類工具。卷積核與提取的數據序列進行卷積運算來提取多視野細粒度數據特征，表示形式為：

其中：和分別表示第l層的第j個輸入和第l-1 層的第j個輸出；?表示卷積操作；代表卷積核；為卷積層偏置量；f() 為激勵函數。對于自注意力層輸出向量C=(c1，c2，…，cn)經卷積操作之后，每個卷積神經網絡得到一個特征矩陣M∈R32*(n+1-h)。卷積核掃描步長為1，則每個卷積核經卷積操作后提取的特征序列長度為n+1 -h。32 個卷積核掃描得到特征序列并拼接為二維特征矩陣M。

其次，一維卷積神經網絡后接一維最大池化層對數據特征進行降維、去除冗余信息、壓縮，簡化特征信息以提高計算速度，防止過擬合［20］。設置一維最大池化層核大小為4，步長為1，最大池化的表示形式為：

其中：表示將第l層三個不同大小卷積核的卷積神經網絡卷積、最大池化操作后進行融合的特征；concat()為融合函數用于將矩陣融合。特征矩陣N∈R32*[(n+1-h)/4]經融合層進行矩陣拼接后得到融合矩陣K∈R96*[(n+1-h)/4]。

相較于傳統的單尺寸卷積神經網絡，本文所提出的并聯多尺寸卷積核卷積神經網絡結構具有以下改進：1）使用不同尺寸的卷積核對應不同的序列長度窗口，進而提取不同粒度的空間特征。卷積核h=5 的卷積神經網絡能夠增大卷積層感受野［21］，卷積核h=3 的卷積神經網絡能夠實現細粒度的特征獲取。2）改變傳統神經網絡串行疊加的思路，采用并聯結構并行提取數據序列的多粒度特征。沒有減少運算量導致特征提取不充分，通過消耗計算機內存與算力資源實現網絡并行運算，運行效率約為串聯網絡的3 倍。此外，網絡并聯有效避免了同種特征經過多次卷積、池化操作后的信息丟失問題。3）特征融合。由于三組不同卷積核大小的卷積神經網絡卷積操作獲取的特征是相互獨立的，各組之間沒有信息交互，因此降低了模型的信息提取能力。如圖4 所示，通過融合層將特征矩陣進行簡單拼接獲得融合特征使信息可以在不同組流轉［22］。

融合層處理完畢之后，串聯接入LSTM 網絡來提取數據的時序特征。LSTM 網絡利用門結構控制信息輸入解決了循環神經網絡長距離依賴難以捕捉的問題，通過挖掘數據包內部前后依賴信息，保證了信息持久化。LSTM 內部含有3 個控制門和1 個記憶單元，用來記憶和存儲當前時刻的信息。設置LSTM 網絡單元個數為128，則特征矩陣K∈R96*[(n+1-h)/4]經LSTM 網絡挖掘數據時序依賴關系和特征一維化之后輸出一維矩陣U∈R128并輸入全連接層進行分類。全連接層將權重矩陣與輸入向量相乘再加上偏置，輸出數據屬于各個網站的分數，表示形式為：

其中：X為輸入向量；WT為權重矩陣；si∈（-∞，+∞）為輸入向量屬于網站i的分數；z表示全連接層偏置量；mi為利用Softmax()函數將分數歸一化后的概率值。

本文兩類實驗場景即開放世界和封閉世界下的實驗都屬于有監督學習，通過修改全連接層輸出單元個數和數據重組能夠讓模型同時滿足兩個場景下的實驗需求。

1.3 Tor網站指紋攻擊流程

圖5 為Tor 網站指紋攻擊流程，流程分為訓練階段和攻擊階段。訓練階段主要利用已有的數據集訓練數據模型，調整模型參數，保存攻擊模型。在真實的互聯網環境下，監控網站與非監控網站比例復雜，非監控網站類別多樣。首先，為了模擬開放世界網絡環境，需要對數據集進行數據重建。將監控網站標簽設置為1，非監控網站標簽設置為0。按照網站規模、網站構成的不同構建二分類數據集。然后，將構建的二分類數據輸入開放世界下基于自注意力機制的跨時空網站流量分析模型SA-HST-OW（SA-HST in Open World）并保存。利用多分類數據集訓練并保存封閉世界下基于自注意力機制的跨時空網站流量分析模型SA-HST-CW（SA-HST in Closed World）。

在攻擊階段，攻擊者先通過獲取Tor 鏈路入口節點的權限并在客戶端到Tor 鏈路入口節點的鏈路上監聽收集流量數據。然后加載SA-HST-OW 模型并輸入網絡數據流進行二分類。如果檢驗到目標網站為非監控網站則輸出為非監控網站標簽；反之，繼續將數據流輸入SA-HST-CW 模型輸出監控網站類別標簽。

2 實驗與結果分析

本文模型使用Tensorflow 2.3.0 后端的Keras 2.4.3 庫實現。計算機配置為12 核Xeon Platinum 8163 處理器，64 GB內存，運行環境為Windows 10 專業版，顯卡為NVIDIA Tesla P100-16 GB，Python 3.7 語言編寫。

SA-HST 模型參數如表1 所示，將序列輸入數據編碼層被填充為固定長度128，設置自注意力層輸出單元個數為128，設置卷積層的3 個卷積核大小分別為3、4、5，并將特征融合，將融合特征輸入LSTM 層提取時序特征。最后依據二分類，多分類實驗場景將全連接層單元數量設置為2 或100。

表1 SA-HST模型參數Tab.1 SA-HST model parameters

2.1 數據集

對于深度神經網絡來說，用足夠的數據集進行訓練能夠讓模型精確地識別輸入數據特征，而且讓模型對于未知實例具有更好的預測能力。本文采用Rimmer等［7］收集的數據集，該數據集是迄今為止針對Tor 網站指紋攻擊收集的最大數據集，包括封閉世界與開放世界數據集。在封閉世界下，收集了Alexa Top1 200 個網站，每一個網站收集了2 500 條流量訪問記錄。按照訪問網站類別將數據集分為CW100、CW200、CW500、CW900 數據集。封閉世界主要檢驗模型對于已知監控網站的多分類識別能力。在開放世界數據集中，分別對Alexa Top40 萬個網站每個網站收集一個訪問記錄作為非監控網站，對Alexa Top200 個網站，每個網站收集2 000個實例作為監控網站，共80 萬條記錄用于模型測試。數據集按照訓練集：驗證集：測試集為8∶1∶1 的比例進行劃分。

2.2 評估指標

在封閉世界下，使用準確率Accuracy衡量模型在各類外在條件下的性能表現。在開放世界下，在多個應用場景下對模型進行多角度衡量，因此實驗指標包括準確率Accuracy、召回率Recall、精確率Precision及F1 分數F1-Score。具體公式為：

其中：TP（True Positive）為正確分類為監控網站的樣本總數；TN（True Negative）為正確分類為非監控網站的樣本總數；FP（False Positive）為誤分類為監控網站的樣本總數；FN（False Negative）為誤分類為非監控的網站樣本總數。

2.3 實驗設置

引入Rimmer等［7］提出的CNN 模型、LSTM 模型進行對比實驗。在傳統機器學習模型中CUMUL［5］表現突出，將其作為機器學習模型的代表進行對比。為驗證注意力機制對于模型性能的影響，在CNN 基礎上引入了注意力機制構建結合自注意力機制和卷積神經網絡的流量分析模型SA-CNN（Self-Attention and CNN）。

2.3.1 模型分類準確率實驗

表2 為5 類模型在CW100 數據集下訓練60 輪的實驗結果。實驗結果表明，CUMUL［5］利用機器學習算法支持向量機作為分類器，分類準確率最低。SA-CNN 在CNN 的基礎上引入了注意力機制能夠提取重要數據特征用于分類，較CNN模型［7］提高約6.43 個百分點。SA-HST 進一步提取細粒度時空特征分類準確率達到97.14%，相較于CUMUL［5］和深度學習模型CNN［7］分別提高8.74、7.84 個百分點。

表2 封閉世界下的模型分類準確率對比 單位：%Tab.2 Comparison of model classification accuracy in closed world unit：%

2.3.2 模型訓練效率對比實驗

從擬合輪次、訓練時間、數據擬合度三個角度對模型性能進行驗證。圖6 為4 類模型在CW100 數據集上不同訓練輪次下分類準確率。

表3 為4 類模型在CW100 數據集共250 000 條實例上訓練一輪所需時間。

表3 4類模型每輪訓練時間對比 單位：sTab.3 Comparison of training time per epoch among four models unit：s

圖7 為4 類模型數據集上不同訓練輪次下模型數據擬合實驗結果。數據集采用CW100，分為訓練集、驗證集、測試集。訓練準確率Train_acc表示模型每一輪訓練過程中在訓練數據集的分類準確率，驗證準確率Val_acc表示模型在驗證集上的分類準確率。利用指標誤差率abs來表示已訓練好的數據模型對未知數據的擬合能力：

引入注意力機制的SA-HST 模型、SA-CNN 模型能夠高效提取重要特征用于分類，模型在訓練10 輪之后便進入擬合狀態，且抵抗概念漂移能力強，對于未知數據擬合效果較好。相較于CNN［7］、LSTM［7］模型利用LSTM 網絡基于上下文時序序列提取特征，SA-CNN 模型利用自注意力機制通過固定運算并行提取全局依賴關系，大幅縮短了訓練時間。實驗結果表明，引入注意力機制能夠在輕量級模型結構基礎上，快速捕捉數據重要特征。

2.3.3 開放世界下模型性能

開放世界實驗設置目的是探究模型能否在互聯網中準確識別出監控網站。相較于封閉世界數據集，開放世界數據集網站種類龐多、流量實例多樣、環境更加復雜，檢驗模型二分類性能。采用Rimmer等［7］的open world 數據集來盡量還原網絡環境。抽取監控網站50 000 條流量實例（20 個網站），非監控網站50 000 條實例（50 000 個網站），重新構建數據集用于實驗。

圖8 為4 類模型在開放世界下的性能表現。召回率衡量了模型對監控網站的查全能力。精確率體現了模型對監控網站的查準能力。F1 分數為召回率和精確率的調和平均。準確率體現了模型能將網站正確分類二分類能力。實驗結果表明，開放世界下SA-HST 模型各項指標保持穩定的高性能。

圖9 為4 類模型在不同網站構成下的性能表現。利用指標網站比率衡量開放世界環境的復雜程度。網站比率表示監控網站與非監控網站的實例數目比。本文采用大小為100 000 的開放世界數據集驗證模型在開放世界環境下性能的穩定性。

實驗結果表明，當開放世界大小一定時，網絡環境趨于復雜，模型的分類準確率會有顯著降低，SA-HST 模型能保持相對穩定的高性能。由此也可得出，網站指紋攻擊模型需要不斷更新網絡流量實例才能在互聯網環境中保持實時性和實用性，以及時檢測網絡違法犯罪活動并進一步進行網絡管控。

3 結語

本文基于多核卷積神經網絡和長短期記憶網絡，引入注意力機制實現對Tor 匿名網站的流量分析，通過對比實驗驗證了SA-HST 模型性能優勢。SA-HST 模型在封閉世界下多分類準確率達97%以上，在開放世界下各項指標穩定在96%以上。

將深度學習技術應用于網絡指紋攻擊中多基于封閉世界和開放世界前提假設，模型在數據集中能夠保持良好性能。在實際網站指紋攻擊過程中，應考慮到互聯網中噪聲流量、多標簽網頁訪問場景。除此之外，流量實例流處理取代傳統批處理模式能更及時應對瞬息萬變互聯網環境帶來的挑戰。