校園網學生上網行為分析研究

年梅 范祖奎 黃欣欣

摘? 要： 校園網學生上網行為分析，是高校校園網管理部門盡早發現校園網資源使用狀況，學生管理部門了解學生上網行為是否健康的技術基礎。文章提出利用DPDK架構實現網絡數據包快速采集，利用深度學習進行網絡流量分析，實現校園網學生上網行為的準確識別，并對學生上網行為分析的未來發展方向進行了探討和展望。

關鍵詞： 學生上網行為; 深度學習; 流量識別; DPDK架構; 網絡數據采集

中圖分類號：TP393? ? ? ? ? 文獻標志碼：A? ? ?文章編號：1006-8228（2019）09-67-04

Analysis and research on students' online behavior on campus network

Nian Mei1， Fan Zukui2， Huang Xinxin1

（1.College of Computer Science and Technology， Xinjiang Normal University， Urumqi， Xinjiang 830054， China;

2. Department of Language， Xinjiang Police College）

Abstract： The analysis of students' online behavior on campus network is the technical basis for the management department of campus network to find out the use of campus network resources as soon as possible， and the management department of student to know whether students' online behavior is healthy or not. This paper analyses the main challenges faced by the behavior analysis technology of campus network， and puts forward the idea of using DPDK framework to realize the rapid collection of network data packets， and using deep learning to analyze network traffic， so as to realize the accurate identification of students' online behavior on campus network. The future development direction of students' online behavior analysis is discussed and prospected.

Key words： student online behavior; deep learning; traffic recognition; DPDK framework; collection of network data

0 引言

校園網學生上網行為分析指，通過在校園網出口或校園網不同節點采集網絡流量，識別流量信息中的網絡應用，如P2P應用、WWW、網絡游戲等，然后對網絡應用進行統計和匯總，從而了解校園網網絡資源的應用情況以及學生的網絡行為。

通過校園網學生上網行為分析，高校信息管理部門能精細化地了解校園網資源的使用情況并準確判斷校園網資源使用是否出現了異常，如通過網絡中的P2P流量占整個資源的比例，瀏覽器應用占據資源的比例，即時通信軟件占用的比例，以及網絡視頻信息占用的比例等，能判斷學校校園網流量資源的使用是否合理;此外，通過流量識別能夠發現校園網中是否存在異常流量，從而為校園網管理部門攔截管控異常流量提供了技術支持。

與高校學生“一卡通”數據和學生成績數據結合進行數據挖掘，建立適當的關聯模型，能夠使學生管理部門預判是否有學生因為不健康的上網行為影響了學習，并對這些學生進行預警。因此，校園網學生上網行為對高校的管理部門非常重要。

校園網學生上網行為分析主要通過校園網數據采集，流量數據識別，應用的統計匯總以及結果的可視化等技術實現。隨著校園網速度的提升，網絡應用復雜度增加，各種新的未知網絡流量數據以及大量加密網絡流量的出現，給校園網數據的采集及流量識別帶來了挑戰。

1 校園網學生上網行為分析技術面臨的挑戰

校園網上網行為分析技術的關鍵是校園網流量數據的準確快速采集和網絡流量的正確識別。本文首先對校園網網絡數據采集和流量識別存在的技術難點進行分析，然后提出相應的解決方案。

1.1 校園網數據采集技術

校園網網絡數據可以使用集中式部署和分布式部署兩種方式進行采集。集中式部署指在校園網出口處安裝一個專門旁路硬件設備，借助設備俘獲出入校園網的所有網絡流量數據;此外也可以使用交換機鏡像進行流量采集。但無論哪種方法，隨著網絡出口流量帶寬的快速增加，校園網網絡數據包俘獲過程中丟包現象越來越嚴重。

校園網網絡數據采集可以采用硬件實現也可以采用軟件實現。硬件實現需要購買專用硬件設備，這種方式采集準確度高，丟包率低，但不利于功能擴展和二次開發，不適合研究人員使用。軟件方式由研究者自行開發，并可以根據需要進行靈活部署和設置，易于進行軟件功能擴展。但當前網絡數據俘獲軟件通常采用基于操作系統內核的旁路機制， 僅在系統內核協議棧處理數據包時捕獲數據，整個數據包捕獲或多或少的依賴操作系統內核協議棧。操作系統內核收發包需要首先由網卡觸發中斷，CPU將數據包從網卡緩存中拷貝到內核內存空間，經過內核協議棧處理后，再將數據包拷貝到用戶態內存空間。此過程處理中斷需要消耗大量CPU資源、多次內存拷貝以及系統調用[1];此外系統普通內存頁只有4KB，內存訪問速度慢，協議棧處理也將造成大量的性能消耗[2]。以上原因導致軟件數據包俘獲中消耗了大量資源，以至于在網絡高負載時，由于系統資源被耗盡而出現大量丟包。

此外，還可以采用分布式數據采集提高網絡數據采集準確性和速度，滿足高速校園網網絡流量采集的需求。目前校園網網絡拓撲結構大多數是樹形結構，一般采用三層架構，即核心層、匯聚層和接入層。為了準確地采集數據，可以在核心層不同交換機上同時進行數據采集，并對采集的數據進行流量分析，最后再進行匯總。

1.2 流量識別

學生上網行為分析另一個關鍵技術是網絡流量的準確識別。通過識別網絡流量的應用類型，對各種應用類型統計和匯總從而得到學生上網行為數據。

目前，網絡流量識別方法主要包括基于端口、深度包檢測以及機器學習等三種。早期網絡流量主要采用基于TCP的端口來進行識別，但隨著P2P應用的大量出現以及動態端口號技術的廣泛使用，利用端口號識別流量的方法不再有效[3]。

隨后提出了深度包檢測DIP（Deep Packet Inspection）技術，DPI 流量識別技術的基本原理是： 首先對要識別的目標流量進行協議或者應用的特征分析，分析它們進行網絡通信時，所發送的數據包負載中所攜帶的特征碼，這種特征碼可以是負載中某些特定位的二進制數據，負載中某些特征字符串或者負載通過散列變換后的數字簽名。獲取應用或協議的特征碼后，將其應用到流量的識別中，當流量產生的數據包通過識別系統時，識別系統對其進行解包，檢查數據包中是否攜帶目標流量類型的特征碼，如果是則表示該流量與目標流量匹配。該技術通過檢測負載特征識別流量，具有極高的準確率。因此，產生了大量的基于DPI技 術的產品，如PACE[4]、Open DPI[5]、NDPI[6]、L7-filter、Libprotoident[7]等。但深度包檢測存在兩個問題，第一，實現深度包檢測的前提是數據包的部分內容必須是可見的，但網絡應用中出現了越來越多的加密流量，深度包檢測無法準確地識別這類數據包的類型;第二，深度包檢測的前提是網絡數據包的載荷碼是已知的，通過匹配網絡數據包的載荷碼才能識別出具體的應用。目前所有網絡應用的載荷碼的搜集匯總非常困難，此外，隨著網絡應用的發展，建立一個包括所有應用的網絡數據包載荷特征庫幾乎是不可能，載荷特征碼庫不全則無法實現網絡流量的準確識別。

流量識別的研究熱點是機器學習的方法，其原理是通過對網絡流量預處理提取出網絡流的有效特征與統計信息，并對所提取的特征信息進行機器學習以發現其規律，總結每一類流量的共性特征并構建網絡流量模型，由此設計分類器對網絡數據流量進行識別與分類。基于機器學習的流量識別算法，不受動態端口、加密、數據包特征庫不全等影響，分類的準確度和可靠性比基于端口的和深度包檢測方法有很大的提高。但到目前為止，基于機器學習的流量識別還處在初級階段，機器學習的算法還較為復雜，尚未出現實用性的基于機器學習的流量識別工具。機器學習的流量識別算法分為有監督和無監督兩種方式[8]。有監督算法，首先需要一個標準訓練集，利用訓練集訓練分類模型，然后用分類模型進行測試流量的識別，有監督算法的準確度依賴于特征向量的選擇和標準數據集構建，而標準數據集的構建比較困難。無監督算法則無需提供訓練集，直接對數據樣本進行挖掘實現聚類，但無法進行流量應用類型的準確判斷。此外，目前還有研究者利用無監督算法聚類的結果來標注，再利用標注的結果進行測試數據識別的半監督機器學習算法，但可用的研究結果比較少。

2 校園網高速網絡數據采集研究

為了適應校園網高速流量增長的要求，在對軟件網絡數據俘獲中存在的問題分析發現，現有的數據采集系統由于在軟件中多次進行核心態與用戶態切換，內存塊設計的不合理導致系統資源不足，引起了校園網數據俘獲過程中的丟包現象，針對該問題，我們對校園網網絡數據采集軟件進行了優化設計，最大限度地解決校園網網絡數據包俘獲中的丟包問題。

為了更全面地解決基于軟件的網絡數據包采集中數據包轉發和捕獲效率低下的問題，6WIND，Intel 等多家公司，針對Intel的CPU和網卡開發了數據包轉發處理套件DPDK。DPDK是一套強大、高度優化的用于數據包處理的函數庫和驅動集合，可以幫助用戶將控制面和數據面平臺進行整合，從而能有效地執行數據包處理[9]。

為此，我們針對傳統軟件數據包俘獲中存在的問題，在數據包采集過程中使用了輪詢方式替代原有的中斷方式，提高了采集的效率，并降低了資源消耗;使網卡驅動程序運行在用戶態，從而避免了在核心態和用戶態之間的切換開銷，進一步減少了資源消耗;使用大內存機制，減少內存切換的次數，從而降低了內存切換的時間;采用了將不同進程綁定到不同的CPU內核的方式，提高了系統的并發程度，加快了處理速度;使用了新的數據結構將結果數據的結構體和數據綁定，減少內存分配的數量，達到節省資源提高處理速度的目的;減少了資源的消耗，從而降低了丟包現象。

通過以上措施，較好地實現了在單個萬兆網卡上進行軟件數據采集的丟包問題[10]。

3 流量識別技術

校園網的網絡流量數據經過清洗后，下一步需要進行流量識別。由于基于端口的流量識別和深度包解析以及機器學習算法進行流量識別都存在問題，我們采用了基于深度學習的方式進行了校園網流量的識別。

深度學習采用反向傳播算法來學習網絡流量的內部參數，實現從原始數據中逐層提取抽象的特征，最終實現分類。卷積神經網絡CNN是深度學習的典型代表。CNN中的卷積層對輸入數據進行特征提取，主要包含局部感知野、權值共享和多卷積核三方面的特性，前兩者可以有效的降低數據維度，而多卷積核則為CNN中池化層進一步提取特征向量并降低特征維度進行準備，同時還能夠降低過擬合影響。通過多次特征向量提取和處理，最終結果送入到CNN的全連接層，形成流量識別結果。與其他流量識別方法相比，深度學習無需大量的標準數據集，借助Moore提供的數據集以及網絡流量的248種特征，能夠實現網絡流量中特征向量的自動提取，建立分類器，并實現測試數據流量的識別。

Moore數據集是已標注處理的公開流量數據集，一共包含了十個時間段、十二個類別的流量包。每個流量包都采用相同的特征提取算法保留248個最重要的特征項，并標注流量類別。為了更加透徹的表示每個流量包中248個特征項與流量類別的關系，采用word2vec詞向量工具向量化流量數據，將生成的詞向量送入卷積神經網絡的輸入層。經過卷積層、池化層和全連接層的訓練生成適合流量識別的模型并保存。在進行模型評估預測時可以直接調用保存的模型進行預測，無須再次訓練模型和參數。實驗表明，卷積神經網絡在Moore數據集上準確率達到97%。

雖然卷積神經網絡在Moore數據集上取得了不錯的效果，但是Moore數據集本身存在嚴重的標注類別流量包數量不均衡的問題。例如Moore數據集第二個時間段流量包entry2，共包含流量數據23801條，其中WWW流量數據18560條，而GAMES數據僅2條。為了保證數據集的質量，均衡各類別流量包的數量，提高網絡流量識別準確性，需要對Moore數據集中的訓練數據進行擴展。為此我們從校園網鏡像端口采集了網絡流量，將俘獲的流量包采用Moore數據集的方式進行處理，保留最重要的248個特征項，以保證擴充前后數據集的一致性。通過對Moore數據集不斷擴展，卷積神經網絡在各個類別中準確率效果不斷提升。

4 校園網學生上網行為展望

校園網學生上網行為分析實現主要包括了校園網數據采集，網絡流量識別，應用類型的統計與分析，結果的可視化顯示等四個方面技術。由于校園網出口帶寬迅速提高，學生上網人數不斷增加，網絡應用類型越來越多，快速準確的校園網數據采集和網絡流量識別面臨著挑戰。本文論述了基于DPDK的單節點流量快速采集技術，減少采集節點的資源消耗，防止采集中的丟包現象。采用基于深度學習的流量識別技術來提高校園網網絡流量識別的準確度，保證學生上網行為的準確分類。

隨著技術的不斷發展，還可以通過以下措施不斷提升學生上網行為分析的性能。①將網絡數據采集的分布式部署和網絡流量識別的分布式計算相結合。例如采用SPARK系統或者HODOOP平臺進行部署，分別提高網絡數據采集和流量識別的速度。②進一步擴展標準網絡數據集中的訓練數據，平衡各類別網絡流量數據的比例，優化深度學習的算法，不斷提高校園網流量識別的準確性，降低深度學習復雜性，實現學生上網行為的工程性和實時性要求。

參考文獻（References）：

[1] 王佰玲，方濱興，云曉春.零拷貝報文捕獲平臺的研究與實現. 計算機學報， 2005.28（1）： 46–52.2

[2] 王佰玲，方濱興，云曉春. 傳統報文捕獲平臺性能影響因素分析. 計算機工程與應用， 2003.22：151–152

[3] Thmos K，Andre B，Michalis? F，et al. Transport layer identification of P2P traffic[C]//Proc of the 4th ACM SIGCOMM Conference on Internet Measurement，2004. 25-27

[4] DPI engine-R & SPACE2[EB/OL]. http：//www.ipoque.com/products、dpi-engine-rsrpace-2.

[5] OpenDPI[EB/OL]. [2017-09-09]. https：//sourceforge.net/projects/opendigt/.

[6] Deri L，Martinelli M，Bujlow T，et al. nDPI：Open-sourcehigh-speed deep packet inspection[C]// Proc of Wireless Communications and Mobile Computing Conference，2014：617-622

[7] Application layer packet classifier for Linux[EB/OL].[2017-09-09]. http：//17-filter.soutceforge.net/2009.

[8] 張煒.基于多分類器的網絡流量分類研究[D].揚州大學，2015.

[9] 任昊哲，年梅. 基于 DPDK 的高速數據包捕獲方法[J]. 計算機系統應用，2018.27（6）：240-243

[10] 趙寧， 謝淑翠. 基于 dpdk 的高效數據包捕獲技術分析與應用. 計算機工程與科學， 2016.38（11）： 2209–2215