非平衡網絡流量識別方法

燕昺昊，韓國棟，黃雅靜，王孝龍

(國家數字交換系統工程技術研究中心，鄭州 450002)(*通信作者電子郵箱ndscybh@qq.com)

0 引言

隨著互聯網技術的飛速發展，涌現出了各式各樣的新型網絡應用。這些應用在滿足人們需求的同時也帶來了許多的問題，如網絡擁塞[1]、違法信息傳播[2]等。而且由于文件共享、視頻直播、網絡游戲等對等網絡(Peer-to-Peer, P2P)應用的迅猛發展，網絡帶寬愈加不堪重負。P2P應用已經遠遠超過傳統應用流量(如Email、Web)，占據了60%～80%的網絡帶寬[3]，成為互聯網流量的主流。甚至在某些情況下，P2P流量泛濫，占用帶寬過多，造成其他非P2P流量受到嚴重影響[4]，因此，如何快速、準確地識別各類流量，消除P2P流量泛濫帶來的影響至關重要。

早期的流量識別方式主要以默認端口為主,具有簡單、快捷等優點，但是隨著隨機端口和偽裝技術的出現，此方法已經不再適用[5]。為解決這些問題，出現了基于負載檢測的識別方式。雖然此方法精確度很高，但需要消耗大量的計算資源，并且受限于協議加密技術等問題，同樣難以滿足實際要求[6]。近年來，基于統計特征和機器學習的識別方式(如貝葉斯網絡[7]、決策樹[8]、支持向量機[9]、神經網絡[10]等),以其實時性和高準確性，且不受上述問題限制，成為國內外研究的熱點。

但研究發現，實際網絡中P2P流量占據大多數，非P2P只占少數，這種情況會顯著降低非P2P流量識別準確率，導致整體識別率降低。而現有識別方式都只在特定情況下進行流量識別，并沒有考慮實際中存在的流量非平衡問題。

在研究以往流量識別的基礎上，本文將非平衡數據分類思想應用于已知流量識別問題，通過引入合成少數類過采樣技術(Synthetic Minority Over-sampling Technique, SMOTE)并進行改進，實現了流量的平衡化處理，并將處理后的流量數據應用于不同類型分類器模型。實驗結果表明，提出的方法可以有效提高非P2P流量識別準確率及流量整體識別率。本文提出的方法僅用于已知流量識別，而對于未知流量，由于其協議規范一般不公開或經過加密處理，且識別過程需要一定的先驗知識(如協議的逆向解析)，不在文章研究范圍之內。

1 非平衡數據

非平衡數據是指不同類的數據之間數量上的差異，即某一類的數據明顯少于另一類或明顯少于其他幾類。通常將數量占優的一類稱為多數類或正類，數量稀少的一類數據成為少數類或負類。

由非平衡數據引出的非平衡數據分類問題，廣泛存在于實際應用中，特別是在網絡入侵檢測[11]、醫療診斷[12]、數據挖掘[13]等方面具有極其重要的研究價值。以網絡入侵檢測為例，如何快速、有效地在海量正常數據中識別分類出惡意信息是入侵檢測的關鍵。本文中解決的流量失衡問題，也具有非平衡數據的特征。

2 相關分類器及存在缺陷

分類器性能的優劣以及對于非平衡數據的敏感程度，很大程度上決定了非平衡數據的分類效果。本章分析了3種不同類型的分類器及其在非平衡分類方面存在的缺陷。

2.1 隨機森林

隨機森林(Random Forest， RF)作為一種典型的組合分類器，通過同時生成多棵決策樹并運用投票機制(vote mechanism)來進行決策。已有研究表明，隨機森林可以很好地解決多分類問題，且不會產生明顯的過擬合現象，且分類精度高于單獨的決策樹分類器。

但隨機森林算法也存在缺點：由于隨機森林決策樹生成采用Bootstrap重抽樣方式從原始樣本中抽取樣本，當某一類或某幾類樣本明顯多于其他樣本時，抽取出的多數類樣本也必然明顯多于少數類樣本，從而使分類結果偏向于多數類，造成少數類樣本分類精度不高。故隨機森林算法無法克服非平衡數據集的影響。

2.2 支持向量機

支持向量機(Support Vector Machine， SVM)是一種采用統計學理論來實現分類的機器學習算法。最初的SVM僅針對兩類分類問題，通過在高維空間中尋找一個最優超平面(Optimal Hyperplane)作為兩類的分割，以保證最小的總分類錯誤率。隨后針對多分類問題提出了多分類支持向量機(Multi-Class Support Vector Machine， MCSVM)，通常采用一對一(One-Vs-One， OVO)或一對多(One-Vs-Rest， OVR)原則將多分類問題映射為二分類問題，但無論哪種分類問題，最終目的都是使總分類錯誤率最小，故當數據集為非平衡數據集時，分類結果總會傾向于多數類樣本，無法很好地處理少數類樣本。

2.3 反向傳播神經網絡

反向傳播神經網絡(Back Propagation Neural Network，BPNN)也是一種典型的多分類模型，基于人工神經網絡發展而來，是采用誤差反向傳播的一種多層前饋神經網絡。BP網絡結構簡單易于調整，除模式識別、圖像處理、數據分類等傳統領域外，在網絡流量識別方面也有廣泛的應用，但當樣本數少時，存在明顯的過擬合現象，對分類效果影響很大，故同樣無法有效地對非平衡流量進行處理。

雖然上述3種常用的分類器在流量識別方面都有不錯的效果，但由于自身固有缺陷，均無法很好地解決非平衡流量的識別問題。

3 算法分析及改進

已有研究中對于非平衡數據的分類主要集中在改進分類算法和改善數據集兩個方面。例如Apandi等[14]曾提出一種整體加權線性算法來處理視頻中的非平衡數據；Liang等[15]提出一種多點聚類算法來分類非平衡數據。本文從數據層面來解決分類問題，引入SMOTE算法[16]。

3.1 SMOTE算法

非平衡數據的傳統處理方法包括過采樣和減采樣，無論哪種方法，都只是機械對原始數據進行簡單復制，造成新生成的樣本缺乏多樣性。而SMOTE算法可看作是傳統過采樣方法的一種改進，通過在原始樣本與最近鄰同類樣本之間隨機線性插入新樣本，有效地保持了新生樣本的多樣性，在提高分類器效果的同時抑制了由樣本單一性造成的過擬合現象。

算法過程如下。

1)對于每個少數類樣本Xi，從其N個最近鄰同類樣本中隨機選取K個，記為Xk。

2)按照式(1)生成新樣本XNew，u(0,1)為(0,1)區間服從均勻分布的隨機數：

XNew=Xi+u(0,1)(Xk-Xi)

(1)

3)將生成的樣本插入少數類樣本集中。

3.2 均值SMOTE算法

均值SMOTE(Mean SMOTE, M-SMOTE)算法也存在某些缺陷,如N值選取需要靠經驗來決定,存在盲目性;且當少數類樣本邊緣化趨勢較重時，新生成的樣本會加重邊緣化趨勢。

針對流量分類過程，需要生成的新樣本在具有多樣性的同時更集中于樣本集中心以具有更豐富的特征屬性，同時避免N值的盲目選取,提出了M-SMOTE算法,即使用樣本平均值點Xmean來代替Xk,在Xmean和Xi之間進行插值。

M-SMOTE算法如下。

設少數類原始樣本為：

(2)

平均值表示為：

(3)

(4)

C表示少數類樣本個數。新樣本生成公式可更新為：

XM-New=Xi+u(0,1)(Xmean-Xi)

(5)

3.3 相似性分析

由于每個樣本可看作特征空間的一個N維向量，故采用向量內積形式，將SMOTE算法及M-SMOTE算法中新生成樣本，分別與負類樣本聚類中心點進行相似性分析。內積作為線性代數中一種計算方法，可有效地度量向量間的相似性程度。如式(6)所示：

(6)

其中n為向量特征維數。

由向量內積概念可知，兩組向量間相似性程度越大，內積越大。對于聚類樣本，可將Xmean視為樣本聚類中心點。故定義樣本均值向量Y=Xmean本身內積為標準內積Innerstd：

(7)

將SMOTE算法與M-SMOTE算法新生成樣本XNew和XM-New分別與Xmean作內積，并于標準內積比較，來度量兩種算法中新生成樣本與聚類中心的相似性。過程如下：

(8)

(9)

(10)

同理可得：

(11)

對比式(10)～(11)消去相同項，同時由于為(0,1)上服從均勻分布的任意隨機數，可假設式(10)～(11)中取值相同。故化簡得：

(12)

(13)

計算Inner1、Inner2與Innerstd之間絕對差值，可得：

|Inner1-Innerstd|>0

(14)

|Inner2-Innerstd|=0

(15)

故有結論：

|Inner1-Innerstd|>|Inner2-Innerstd|

(16)

由式(16)可知，M-SMOTE算法生成新樣本與樣本均值的內積比SMOTE算法更接近與標準內積。故在相同條件下，可認為M-SMOTE算法生成的新樣本更集中于聚類中心點，因而具有更多的特征屬性，適用于流量識別過程。

3.4 M-SMOTE算法時間復雜度分析

M-SMOTE算法復雜度主要集中在u(0,1)(Xmean-Xi)一項，其中樣本均值Xmean時間復雜度為O(n)，n為樣本特征維度，因此M-SMOTE算法時間復雜度為O(n·N2)，其中N為算法采樣率。

由上述分析可知，本文中提出的非平衡流量處理方式其時間復雜度僅與M-SMOTE算法時間復雜度有關，不依賴于具體的分類器，且復雜度低，具有較好的可實現性。

3.5 OVR原則

網絡流量通常包含多種P2P和非P2P應用流量，因此流量識別過程為一個多分類過程。而SMOTE算法只適用于二分類，所以引入OVR原則來解決多分類與二分類之間的映射關系。

定義1 當存在多個分類樣本集時，只選擇一個樣本集作為單類樣本，其余樣本集共同作為同一類樣本，稱為OVR原則。

對于非平衡數據集，可將少數類樣本作為單類樣本，其余多數類樣本共同作為同一類樣本。本文中的SVM分類器同樣使用了OVR原則來進行映射。

4 實驗設計

4.1 實驗數據集

為模擬實際應用中網路流量的非平衡特性，本文采用了主流的4種P2P應用、1種非P2P應用進行分類識別，協議類別包括傳輸控制協議(Transmission Control Protocol, TCP)和用戶報文協議(User Datagram Protocol， UDP)。如表1所示。

表1 應用類型

本文采用的SVM、BP、RF分類器全部屬于有監督分類器，需要采用有標簽樣本進行訓練。為獲取有標簽樣本集，采用網絡封包分析軟件Wireshark對流量數據包進行采集，即在某段時間內，數據生成端只運行一種應用，可在數據采集端獲取純凈帶標簽的數據集。方式如圖1所示。

圖1 流量數據收集方式

由于實驗中采集到的流量以數據包的形式存在，而單個數據包由于特征太少，攜帶信息量不足，無法很好地進行分類，需要將數據包按照五元組重新整合為數據流的形式，定義如下。

定義2 將{源端口，源IP地址，目的端口，目的IP地址，傳輸層協議}五種特征的組合稱為五元組。

對于TCP協議數據流，通常有兩種定義方式：第一種是將起始包(Synchronous, SYN)到終止包(Finish, FIN)之間的所有數據包定義為具有相同五元組的數據流；第二種是以時間為度量，將某段時間內具有相同五元組的數據包定義為一個數據流。

而對于UCP協議，由于屬于無鏈接協議，通常只以時間為度量定義數據流。由于本文中分類的應用既存在TCP也存在UDP，如QQlive和PPstream。故定義如下。

定義3 將時間內具有相同五元組的數據包重新定義為一個數據流(包括TCP和UDP)。

根據定義3，將收集到的數據包重新整理為數據流的形式，并將數據流抽樣組合為非平衡數據集。對每種P2P應用抽取104條數據流，非P2P應用抽取500條數據流。

4.2 分類器參數選擇

限于篇幅原因，簡要介紹分類器參數選取。

支持向量機作為一種映射分類器，通過將低維不可分數據映射到高維空間從而實現線性可分，核函數作為映射函數，對分類結果至關重要。本文選取映射函數為高斯核函數，如式(17)所示：

K(x,x′)=e(-γ‖x-x′‖)

(17)

其中γ取值為0.5。

典型的BP神經網絡作為三層網絡結構，包括輸入層、輸出層和隱含層。輸入層節點數由輸入特征維數決定，輸出層節點數由類別數決定，隱含層節點數沒有統一的選擇方式，一般根據經驗選取，如式(18)所示：

(18)

其中：m為輸入層節點數，n為輸出層節點數，a為[1,10]區間整數。

實驗參數如表2所示。

表2 BPNN參數設置

隨機森林由單決策樹組合而成，通過Bootstrap抽樣方式為每棵決策樹抽取與原始樣本大小相同的訓練樣本集。本文中選取分類回歸樹(Classification And Regression Tree, CART)樹作為單棵決策樹，樹中每個節點分裂時選取使平方誤差最小的屬性進行分裂，并且每棵樹的生成并不使用全部特征，而是隨機選取部分特征，以降低樹與樹之間的相關性。文本中選取樹的數量為1 000棵，每棵樹使用隨機變量數由lbM+1確定，其中M為總特征數，故隨機變量數選擇為6。

4.3 分類特征選擇

特征的選擇對于分類具有極其重要的意義。Moore等[17]曾統計提取出249種流特征用于流量識別，雖然取得了很高的識別率，但計算復雜度和時間消耗都很高，難以在實際中應用。基于已有的研究統計發現，當特征數維持在10到50之間時，可以在識別率和復雜度之間取得較好的平衡，故在單項識別準確率對比中暫取特征數為20。部分特征如表3所示。

4.4 準確度評價準則

為描述非平衡數據分類準確度，引入如下概念。

真陽性(True Positive, TP) 正類樣本正確分類個數；

真陰性(True Negative, TN) 負類樣本正確分類個數；

假陽性(False Positive, FP) 負類樣本錯誤分類個數；

假陰性(False Negative, FN) 正類樣本錯誤分類個數。

正、負類樣本分類準確度(Accuracy, ACC)定義如下。

正類樣本分類準確率=TP/(TP+FN)

負類樣本分類準確率=TN/(TN+FP)

為描述非平衡數據總體分類準確率，引入幾何平均值(Geometric Mean, G-mean)：

(19)

式(19)表明，只有當正、負類樣本分類精確度同時處于較高水平，G-mean值才會比較高。

表3 部分數據流特征

4.5 整體流程

實驗整體流程如圖2所示。

首先將網絡數據包按照定義預處理為數據流的形式，通過隨機抽樣組合為非平衡數據集；然后將數據集分為訓練集和測試集，對訓練集采用M-SMOTE算法進行平衡化處理并訓練分類器；最后用測試集來測試分類效果。

圖2 實驗整體流程

5 實驗結果及分析

采用上述參數，本文仿真實驗基于R語言編程實現。設定數據流持續時間為40 s，M-SMOTE算法抽樣率為500%，SMOTE算法中K值與M-SMOTE算法抽樣率相等。驗證方式采用10折交叉驗證，將數據平均分為10份，每次輪流取其中1份作為測試集，其余9份作為訓練集，共10次實驗取平均值。

5.1 單項識別準確度對比

如圖3所示，分別為RF、SVM、BPNN 3種分類器識別結果，其中NSMOTE(Non-SMOTE)表示未使用SMOTE算法。可以看出，經過SMOTE算法處理，雖然多數類P2P數據流樣本分類精確度略有下降，但少數類非P2P數據流樣本分類精確度得到了明顯的提升，平均提升了16.5個百分點。

在此基礎上，使用M-SMOTE算法后的少數類樣本分類精確度相比SMOTE算法仍有所提高，平均提升了3.2個百分點。證明M-SMOTE算法可以進一步改善非平衡流量的識別準確率。

多數類P2P數據流量樣分類精度下降的主要原因是因為少數類樣本的增多，分類器決策函數或者決策準則不再顯著偏向與多數類樣本，或者可以認為，SMOTE算法使分類器通過犧牲少量多數類樣本，來換取少數類樣本的高準確率。

圖3 3種算法的實驗結果對比

5.2、5.3、5.4節內容基于控制變量法，分析不同因素對M-SMOTE算法中少數類樣本識別準確率的影響。

5.2 抽樣率對準確度的影響

圖4為抽樣率對負類樣本分類準確率的影響，可以看出，ACC隨抽樣率整體呈上升趨勢，當抽樣率較小時，ACC上升較快；當抽樣率達到600%時，ACC上升變緩，同時計算資源和時間消耗變大。上升變緩主要是因為當抽樣率為600%時，少數類樣本數已經足夠多，此時樣本數不再是限制識別準確率的因素，如需繼續提高識別率，需要引入更多的數據流特征。故600%的抽樣率適用于M-SMOTE算法，后續G-mean計算采用600%采樣率。

5.3 特征數對準確度的影響

圖5所示為抽樣率為600%條件下特征數對負類樣本識別準確率的影響。由圖5可知，當特征數為29時，ACC達到預期要求，3種分類器識別率均已超過95%。當特征數大于29時，雖識別率有進一步提高，但是時間開銷與計算資源開銷明顯上升，故特征數為29時為綜合最優狀態。

5.4 數據流持續時間對準確度的影響

圖6所示為不同數據流持續時間對少數類樣本準確率的影響。由圖6可知，當數據流持續時間較短時，數據包組合而成的數據流難以獲得包含的統計特征，分類器無法很好地進行訓練和識別，所以識別準確率處于較低水平。當持續時間大于52 s時，識別準確率達到穩定狀態，當持續時間繼續增大時，增加的統計特征基本為重復特征，故識別準確率無明顯提升。

圖4 抽樣率對分類精度影響

圖5 特征數對準確度的影響

圖6 持續時間對分類精度影響

5.5 總體分類準確度對比

基于上述實驗結果，選用各條件下綜合最優值進行總體分類準確度對比。表4為不同分類器3種情況下的幾何均值。經過SMOTE算法處理后的非平衡數據集總體分類準確率明顯提高，平均值達到93%以上，相比NSMOTE平均提高了9.5個百分點，同時本文提出的M-SMOTE算法相比SMOTE算法，總體分類準確率平均提高了2.6個百分點，相比NSMOTE平均提高了12.1個百分點，達到95.8%。

6 結語

本文在流量識別中采用了非平衡數據模型，并且引入了基于統計學理論的SMOTE算法來處理非平衡數據。實驗結果表明，基于非平衡數據模型的流量識別在少數類非P2P流量識別準確率方面有明顯的提高。

基于SMOTE算法改進的M-SMOTE算法，避免了原始SMOTE算法中樣本生成的盲目性，使生成的樣本更集中于樣本中心，具有豐富的類別特征。實驗結果表明，M-SMOTE算法在少數類非P2P流量識別準確率和總體識別率方面，相比SMOTE算法和原始非平衡數據集均有明顯提高，即實現了在不影響多數類P2P流量識別準確率的前提下，有效提高了網路流量的整體識別率，從數據層面改善了分類器在非平衡數據分類方面的缺陷，且本文提出的方法可應用于入侵檢測和數據挖掘等領域。

表4不同分類器下3種算法的幾何均值對比%

Tab. 4 G-mean comparison of three algorithms under different classifier %

本文也存在以下不足之處：提出的解決方式及算法適用于已知流量識別，而實際中存在未知應用流量，故本文提出的方法無法有效地解決未知應用的流量識別問題。下一步的工作將主要集中在解決未知應用流量的識別問題等方面。

References)

[1] VALENTI S, ROSSI D, DAINOTTI A, et al. Reviewing traffic classification [M]// Data Traffic Monitoring and Analysis. Berlin: Springer, 2013: 123-147.

[2] CHEN J, LI J. The research of peer-to-peer network security [C]// Proceedings of the 2015 International Conference on Information Computing and Automation. Singapore: World Scientific, 2015: 590-592.

[3] 翟海濱,張鴻,劉欣然,等.最小化出口流量花費的接入級P2P緩存容量設計方法[J].電子學報,2015,43(5):879-887.(ZHAI H B, ZHANG H, LIU X R, et al. A P2P cache capacity design method to minimize the total traffic cost of access ISPs [J]. Acta Electronica Sinica, 2015, 43(5): 879-887.)

[4] 張國強,唐明董,程蘇琦,等.P2P流量優化[J].中國科學:信息科學,2012,42(1):1-19.(ZHANG G Q, TANG M D, CHENG S Q, et al. P2P traffic optimization [J]. Science in China: Series F, 2012, 42(1): 1-19.)

[5] KARIM A, SALLEH R B, SHIRAZ M, et al. Botnet detection techniques: review, future trends, and issues [J]. Frontiers of Information Technology & Electronic Engineering, 2014, 15(11): 943-983.

[6] CAO Z, XIONG G, ZHAO Y, et al. A survey on encrypted traffic classification [C]// Proceedings of the 2014 International Conference on Applications and Techniques in Information Security. Berlin: Springer, 2014: 73-81.

[7] GU R, WANG H, JI Y. Early traffic identification using Bayesian networks [C]// Proceedings of the 2010 IEEE International Conference on Network Infrastructure and Digital Content. Piscataway, NJ: IEEE, 2010: 564-568.

[8] ZHU A. A P2P network traffic classification method based on C4.5 decision tree algorithm [C]// Proceedings of the 9th International Symposium on Linear Drives for Industry Applications. Berlin: Springer, 2014: 373-379.

[9] GONG J, WANG W, WANG P, et al. P2P traffic identification method based on an improvement incremental SVM learning algorithm [C]// Proceedings of the 2015 IEEE International Symposium on Wireless Personal Multimedia Communications. Piscataway, NJ: IEEE, 2015: 174-179.

[10] MU C, ZHANG C, HUANG X, et al. The efficiency analysis of the statistical feature in network traffic identification based on BP neural network [C]// Proceedings of the 2014 IEEE International Conference on Broadband Network & Multimedia Technology. Piscataway, NJ: IEEE, 2014: 70-74.

[11] 陳虹,萬廣雪,肖振久.基于優化數據處理的深度信念網絡模型的入侵檢測方法[J].計算機應用,2017,37(6):1636-1643.(CHEN H, WAN G X, XIAO Z J. Intrusion detection method of deep belief network model based on optimization of data processing [J]. Journal of Computer Applications, 2017, 37(6): 1636-1643.)

[12] DEEBA F, MOHAMMED S K, BUI F M, et al. Learning from imbalanced data: a comprehensive comparison of classifier performance for bleeding detection in endoscopic video [C]// Proceedings of the 2016 IEEE International Conference on Informatics, Electronics and Vision. Piscataway, NJ: IEEE, 2016: 1006-1009.

[13] 高志鵬,牛琨,劉杰.面向大數據的分析技術[J].北京郵電大學學報,2015,38(3):1-12.(GAO Z P, NIU K, LIU J. Analytics towards big data [J]. Journal of Beijing University of Posts and Telecommunications, 2015, 38(3): 1-12.)

[14] APANDI Z F M, MUSTAPHA N, AFFENDEY L S. Evaluating integrated weight linear method to class imbalanced learning in video data [C]// Proceedings of the 2011 IEEE International Conference on Data Mining and Optimization. Piscataway, NJ: IEEE, 2011: 243-247.

[15] LIANG J, BAI L, DANG C, et al. TheK-means-type algorithms versus imbalanced data distributions [J]. IEEE Transactions on Fuzzy Systems, 2012, 20(4):728-745.

[16] CHAWLA N V, BOWYER K W, HALL L O, et al. SMOTE: synthetic minority over-sampling technique [J]. Journal of Artificial Intelligence Research, 2002, 16(1): 321-357.

[17] MOORE A W, ZUEV D. Internet traffic classification using Bayesian analysis techniques [C]// Proceedings of the 2005 ACM SIGMETRICS International Conference on Measurement and Modeling of Computer Systems. New York: ACM, 2005: 50-60.

This work is partially supported by the National Science Technology Major Project of China (2016ZX01012101), the National Natural Science Foundation of China (61572520), the National Natural Science Foundation Innovation Group Project of China (61521003).

YANBinghao, born in 1994, M. S. candidate. His research interests includes traffic identification, intrusion detection, protocol parsing.

HANGuodong, born in 1964, Ph. D., associate professor. His research interests include wide-band information processing and information safety, chip design and application.

HUANGYajing, born in 1984, Ph. D., assistant research fellow. Her research interests include chip design, signal processing.

WANGXiaolong, born in 1993, M. S. candidate. His research interests include wide-band information network, protocol parsing.