基于機器學習的P2P網絡流問題的研究

鄧小盾

（西安外事學院 陜西 西安 710077）

基于機器學習的P2P網絡流問題的研究

鄧小盾

（西安外事學院 陜西 西安 710077）

P2P應用的出現和蓬勃發展使互聯網流量組成發生顯著變化，P2P流量己躍居成為互聯網第一大流量，這給網絡管理帶來諸多問題，對流量監控提出更高要求。同時為逃避檢測，P2P應用正朝著端口動態化、負載加密化的方向迅速發展。傳統的流量識別技術己經難以有效識別出P2P流量，而基于機器學習的P2P流量識別技術不依賴端口和負載信息，因此，成為近年來的研究熱點。針對基于機器學習的P2P流量識別的問題，采用查閱文獻的方法，通過對國內外關于P2P網絡流量識別的研究成果的研究，總結出流量識別的方法，并且分析P2P網絡未來的發展趨勢，有非常重要的理論意義。

P2P網絡；流量識別；識別方法；未來趨勢

復雜的互聯網應用和惡意網絡行為日益增長。與傳統的互聯網應用相比，新媒體流、游戲、對等網絡（P2P）的出現將會有更多的流量產生，同時體現出更為復雜的特性，特別是對等網絡技術的發展引發了互聯網應用模式的變革。據統計，對等模式應用的流量已經超過了網絡服務和端口服務所產生的流量，互聯網已成為消費環節的資源最應用模式，也為其近對稱的流量模式的網絡擁塞度，這給網絡服務提供商和網絡管理、流量工程、網絡規劃等工作造成了巨大的影響。以對等網流量識別和管理為主要對象的流量已成為學術界、網絡工程、相關的國家部門普遍關注的熱點問題之一。

1 P2P概述

1.1 P2P的定義

目前的互聯網存儲模式是 “內容是在中心”，C（Client）/S（Server）或B（Browser）/S（Server）的結構模式是占主導地位的計算機模型，應用程序必須建立一個服務器在網絡內，通過服務器的信息可以通過，或信息上傳到服務器，然后下載處理后，可以在網絡上傳遞流動（例如，電子郵件）。而利用對等技術（P2P）將互聯網的內容移動邊緣化。簡單地說，P2P（對等）是一種不同于個人電腦用戶之間的一種使用，無中繼設備或服務技術直接交換數據，它允許互聯網用戶直接使用彼此的文件[1]。從某種意義上說，對傳統的對等技術是一種回歸的互聯網技術，體現了互聯網的本質，因為互聯網最初的設計目標是使計算機在網絡上可以直接通信，沒有中間商。

對等網絡技術的出現，帶來了整個網絡的創新：它允許用戶直接連接到另一個用戶的計算機，以及文件共享和交換，過去的變化由服務器來瀏覽或下載。信息需求者和信息的提供者，在相同的信息需求者更多，更快的速度，大大提高了速度和信息傳輸的效率。對等網絡的基本特征是直接對人，讓人們直接通過互聯網進行通信。它使通信更容易，更直接地在網絡上，真正消除中間環節[2]。對等網打破了傳統的模式，網絡中每個節點的地位是平等的。每個節點作為一個服務器，既要為其他節點提供服務，也要享受其他節點提供的服務。在互聯網上，由C/S或B/S結構向P2P結構的轉變，是為了提高效率（中轉降低信息流的信息），從而最大限度地提高通信效率。

1.2 P2P的特點

總之，P2P是一個完全分散的自組織和資源使用的系統。對等網絡的特點主要表現在以下幾點：

1）非中心化：在網絡資源和服務上的所有節點上，實現了節點間的信息傳輸，可以不介入中間鏈路和服務器，以避免可能出現的瓶頸。即使在混合對等網絡中，雖然在尋找資源、位置服務或安全檢查時都需要集中服務器的參與，但主要的信息交換是在節點之間進行的。從而大大降低了集中服務器的資源和性能要求。對等網絡的基本特性，使其具有可擴展性、魯棒性等特點。

2）可擴展性：在傳統的結構中，該系統可容納用戶的數量和提供服務的能力，主要受服務器資源的限制。在互聯網上支持大量的用戶，需要在服務器端使用大量的高性能計算機，鋪設大帶寬的網絡。為了這個原因，有戰斗艦隊，集群技術。在這種結構下，協同和集中的服務器之間的同步處理產生了大量的開銷，擴大了系統的規模[3]。在對等網絡中，作為用戶的加入，不僅服務需求的增加，系統的資源作為一個整體和擴展，所以是服務能力，始終能夠更容易地滿足用戶的需求。對于純對等結構，系統是分布式的，沒有瓶頸。即使在對等混合結構中，由于直接處理的大部分節點之間，大大降低了對服務器的依賴性，從而可以很容易地擴展到超過百萬的用戶。所以，在對等網絡的可擴展性理論中，可以認為幾乎是無限的。例如：在傳統的文件通過FTP下載，下載用戶增加后，下載速度變慢，P2P網絡是相反的，然而，更多的用戶加入，在P2P網絡中提供更多的資源，而不是更快的下載速度。

3）健壯性：在互聯網、網絡中斷、網絡擁塞、節點故障等異常情況下可能出現異常情況，會影響系統的穩定性和服務的連續性。在傳統的集中式服務模式下，集中式服務器成為整個系統的關鍵所在，在不正常的情況下會影響到所有用戶的使用。對等網絡結構具有抗攻擊、容錯能力強的優點。由于各節點之間的服務分散，一些節點或網絡對其他部分的破壞影響不大。事實上，對等網絡通常是建立在一個自組織的方式，自由地加入和離開，并允許節點和對等網絡的部分節點未能自動調整整體拓撲結構，保持其他節點的連通性。有的對等結構還可以根據網絡帶寬、節點的數目、負載的變化進行自適應調整[4]。

4）高性價比：性能優勢是一個非常重要的原因，對點對點是廣泛關注。隨著硬件技術的發展，個人計算機的計算和存儲能力和網絡帶寬性能，根據穆爾定理的高速增長。而在互聯網上，這些普通用戶以節點的形式連接到網絡中，就如同接入信息和服務，在互聯網的邊緣。對于這些邊緣節點容量，存在著極大的資源浪費。利用對等網絡結構可以有效地利用互聯網傳播大量的普通節點，以存儲內容分布的計算任務或所有節點，利用未使用的計算能力或存儲空間，實現高性能計算和海量存儲的目標[5]。這與目前廣泛使用的高性能計算機分布式計算思想是一致的，但通過使用網絡在大量的空閑資源，可以提供更高的計算和存儲能力的低成本。目前，對等應用在這方面比較多的學術研究，一旦成熟的技術，可以在工業上的推廣，可以節省許多公司購買的大型服務器的成本。

5）隱私保護：隨著互聯網的普及和計算/存儲容量的增長，收集私人信息變得越來越容易。隱私保護作為網絡安全的一個方面越來越受到人們的關注。目前的互聯網公共協議不支持隱藏通信端口地址的功能，攻擊者可以監控用戶的流量特性，獲取網絡地址，甚至可以使用一些跟蹤軟件直接從網絡地址跟蹤個人用戶。在對等網絡中，信息的傳輸分散在各節點之間，無需經過密集的鏈路，用戶的隱私信息竊聽，大大降低了泄漏的可能性。此外，目前的互聯網隱私問題主要采用中繼技術的方法，從而在眾多網絡實體中隱藏通信的參與者。在傳統的一些匿名通信系統中，這種機制的實現依賴于特定的中繼服務器節點。在對等（對等）中，所有參與者都可以提供中繼的功能，從而大大提高了匿名通信的靈活性和可靠性，為用戶提供更好的隱私保護。

6）負載均衡：由于每個節點都是一個服務器和客戶端，服務器降低了傳統的計算能力、存儲容量需求，因為在同一時間分布在多個節點的資源，更好地實現整個網絡的負載平衡。

1.3 P2P的工作原理

P2P的網絡管理模式是以互聯網管理模式為核心的分散管理模式，把從單一節點到網絡中的鉛含量的邊緣，從而充分利用互聯網的許多終端節點的處理能力和潛在資源。其最大特點是將對等技術直接與用戶之間的一種共享資源，其核心是一個分布式對象的定位機制，這是提高可擴展性，解決網絡帶寬問題的關鍵。到目前為止，四代人都有不同的網絡結構模型，各種模型各有優缺點，有些缺陷還存在著自己難以克服的缺陷。因此，在目前的對等網技術還遠遠沒有成熟的階段，各種網絡結構仍然可以共存，甚至出現在彼此[6]。

1）集中目錄結構（集中）

集中目錄下的對等網絡應用模型，在對等網絡技術的發展過程中，出現了最早的對等結構。在對等網絡中的集中目錄，所有共享資源不存儲在服務器上，而是存儲在每個節點中，由一個中央服務器記錄到一個共享資源信息的查詢和反饋給共享資源。每個查詢節點根據信息，如網絡延遲，選擇合適的同齡人建立直接連接，下載他們與共享資源，而不是通過一個中央服務器。因為它還具有集中化的特點，因此也被稱為純對等結構。雖然集中式目錄也具有集中式對等結構的特點，但不同于傳統的網絡結構。在網絡的網絡中，每個客戶端都只能被動享受服務器提供的服務，客戶端沒有功能之間的交互。而中心的集中式目錄下的網絡服務器只索引功能，具有對等點之間的交互功能。這種網絡結構很簡單，但它顯示了對等網絡信息的巨大優勢和吸引力。用于共享MP3音樂文件，Napster網絡模型是最典型的代表。

2）純對等結構（分布式）

純對等結構，又稱為分布式對等結構。它不依賴于任何中心服務器和工作，每個節點隨機接入網絡，和一組節點及其相鄰的通過端到端的連接，從而構成一個邏輯的覆蓋網絡。對等節點在網絡中的查詢和內容共享都是直接通過廣播中繼的相鄰節點，每個節點都將記錄在同一時間的搜索路徑，以防止搜索循環。

3）混合式結構

集中式對等網絡結構促進了資源的快速檢索，但容易受到直接攻擊；分布式對等網絡具有分散性和攻擊性更強的優點，但缺乏快速檢索[7]。混合對等網絡結構的優勢，在純對等網絡結構模型的基礎上引入超級節點的概念。

2 基于機器學習的P2P流量識別

2.1 機器學習的方法

1994年，J.Frack在入侵檢測技術的研究過程中，首次提出了基于機器學習的機器學習方法。自2000以來，P2P識別技術、P2P測量技術的研究越來越受到學術界的關注，在國際會議如 USENIX，SIGCOMM上出現了大量的研究成果，2004年后，隨著網絡規模的增大和復雜，傳統的身份識別技術的缺陷，越來越多的學者開始機器學習的網絡流量分類技術[8]。

根據機器學習過程是否使用自己的標簽樣本集訓練，可以把機器學習算法可以分為有監督學習和無監督學習兩大類。

1）有監督學習：輸入數據稱為訓練數據，并已知道結果或標簽。例如，如果電子郵件是垃圾郵件，或是在一段時間內。預測模型，如果錯誤的將被修改，該過程將繼續，直到它的訓練數據可以達到一定的標準。例子包括分類和回歸問題，例子包括邏輯回歸和反向神經網絡算法。

2）無監督學習：輸入數據不顯著，沒有明確的結果。數據的結構和數值計算模型。例子包括關聯規則學習和聚類問題，K-means算法的例子包括Apriori算法和K-均值算法。

此外，還有有一種半監督學習的方法，使用大量的標記樣本，但少量的自己的標簽樣本建立分類，因為這種方法在學習的過程中使用的標記樣本，也可以被歸類為有監督學習[9]。

2.2 基于機器學習的P2P流量識別方法

近年來，一些學者使用機器學習（MachineLearning）方法根據流量進行分類研究。交通識別本質上是一個分類問題，因此，機器學習方法可以應用于交通領域的識別和分類。從訓練數據中自動學習，識別規則是這種方法的主要特點。

1）支持向量機

支持向量機被廣泛用于二值分類和多值分類問題。P2P流量識別問題本質上是一個分類問題，可以把未知的流量大致可以分為P2P應用和非P2P應用兩類，細分為每個特定的未知流量的P2P應用屬于多值分類，因此支持向量機（SVM）應用于自然的P2P流量分類問題。

2）決策樹

決策樹方法是基于實例的歸納學習方法，對提取規則進行分類、預測等領域得到了廣泛的應用。根據數據集的方法分為兩類：基于信息理論和基于最小基尼指數的方法，與ID3、C4.5、CART等經典算法相比，使用決策樹進行分類的過程，這個過程是例如ID3算法，使用統計測試來確定分類每個實例的屬性分別對訓練樣本的能力，分類能力最好的屬性被選為測試樹的根節點，然后為根節點的每一個可能的屬性值產生一個分支，與訓練樣本置于適當的分支，重復整個過程，最后到達葉節點[10]。決策樹方法具有很好的適應性，能容忍訓練數據中的誤差和屬性值的實例丟失，已成功應用于交通標識問題。

3）神經網絡

神經網絡是由神經網絡學習系統組成的神經網絡，該技術已成功應用于模式識別等。在神經元節點連接方式的基礎上，不同，分為正向無反饋神經網絡和互聯網絡。適用性很好，因為神經網絡是適合處理非線性問題的，具有并行分布式處理能力，良好的容錯性；支持數據融合、模糊控制、小波分析等技術可以結合，可以同時處理多輸入多輸出信號，因此被成功引入到交通領域中。

2.3 利用機器學習的方法識別P2P流量

2.3.1 工作原理

P2P網絡每個節點同時下載是它的重要功能，同時也提供了一個對等節點，從它的父節點下載，我們稱之為下行流量[11]。在同一時間，它的子節點也從那里開始下載，稱為上行流量。在整個過程中，每個節點上行流量和下行流量是大致對稱的。然而，傳統的網絡應用，如HTTP和FTP，一般是客戶端發送一個請求（幾十到幾百個字節），然后服務器返回客戶端所需要的數據（幾十KB，幾兆或者更多），在這種網絡結構中，上行流量與下行流量存在著一定的平衡因素。在以上分析的基礎上，我們可以將一個連接的流量和流量進行比較，當比例在一定范圍內時，認為這個連接是P2P業務[12]。另外，上行流量和下行流量之間存在著不對等性，不同的P2P業務比例也有一定的差別。

2.3.2 識別過程簡介

1）識別算法

識別階段是聯機使用分類算法，類型和主要任務是給數據集構建一個合適的分類器，分類器可以將數據映射到給定類別的數據庫中。輸入數據需要分析結構分類，一般使用一組訓練樣本數據作為輸入數據，一個訓練集數據庫記錄或元組，每一個記錄包含幾個屬性，形成一個特征向量t[13]。 每個記錄的訓練集和標簽與一個特定的類別，類別標簽是一個系統的輸入，通常從過去的一些經驗數據提取[14]。

圖1 識別階段的分類實現

2）P2P流量識別算法的實現

識別階段首先要提取測試數據，根據這些數據構建測試集合，收集數據的拓撲結構如圖2所示。包括數據包的協議、源IP、目的IP、源端口、目的端口、源IP端向下流量以及目的IP上行流量等，現在我們可以排除0-1024號IP端口[15]。然后從上行流量的源IP和目的IP下行流量作為測試集的測試數據中提取，新的訪問流量值被更新和記錄，找到相應的目的地址和源IP，與原來的數值，在分析模型中，如果此IP具有的上下行最小總流量小于前期的整體閾值，那么就可以把這個IP過濾掉；相反，如果總和大于上下行IP流量閾值，我們可以計算出此上下行流量比例，然后在不同的業務價值的特點的濃度進行比較的特點，確定什么樣的P2P業務[16]。圖3為對等業務識別算法和機器學習的識別流程圖。

圖2 樣本采集拓撲圖

圖3 P2P業務識別流程圖

2.3.3 功能模塊描述與設計

為了實現以上算法，P2P業務識別軟件需要有4個功能模塊，PACKETCATCH，PACKETPROC-ESSOR，COMPUTE和FEATURESHOW部分，如圖4所示。

圖4 系統功能模塊設計圖

這4個模塊的基本功能如下所述：

1）PACKETCATCH:利用Pcap函數庫從網卡上抓包，接口函數是my-callback，callback的最后一個參數P指向一塊內存空間，這個空間中存放的就是Pcap-loop捕獲的數據包，然后將捕獲到的數據包放入一個隊列中。

2）PACKETPROCESSOR:這個模塊主要用于對每個數據包進行處理，利用packet獲取包的一些基本信息，最主要的是得到五元組（源地址，目標地址，源端口，目的端口，協議類型），為下一步創建相應的流做好準備。

3）COMPUTE:機器學習算法是基于流傳輸特性，所以流應該是操作對象，然后把包匯聚成流。這是系統中的一個關鍵處理模塊，在該模塊中完成了屬性特征的計算功能。

4）FEATURESHOW:將得到的值與表格中各類P2P業務該屬性的值的范圍對比，得出最后的判定結果。

3 P2P流量識別的發展趨勢

1）智能化的發展趨勢

流量識別研究的不斷深化，迫切需要自主學習和知識發現智能處理算法，可以在獲得相應的訓練樣本數據的智能機器學習方法，自動識別的交通和找到新的應用程序流程，并不斷提高分類器識別效果。

2）混合識別的發展趨勢

考慮到不同的流分類方法有不同的優點和缺點,并盡力實現可以充分利用現有的方法的優勢,努力克服弱點的機器學習算法,結合了其他特性的優勢,考慮混合流量識別方法,充分利用各種分類方法的優點混合的硬件和軟件實現的基礎上,有利于交通標識的實踐項目。

3）實時處理的發展趨勢

為交通管理和行為分析,只有達到一定程度的實時識別具有實際意義。港口功能的現有方法匹配和應用層負載特征匹配基本上滿足實時的需求,但基于動態行為特性和流量特性的方法面臨的挑戰是,實時處理。

在各種各樣的P2P流量識別方法上面所描述的那樣,有一個非常明顯的缺點,無法實時P2P流量的有效識別,雖然基于行為特征的P2P流量識別方法的傳輸層現在是一個更精確的方法,但是這種方法不能滿足人們實時P2P流量識別,僅適用于記錄流量分析。但在現實生活中,人們需要識別P2P實時流,從而實現的控制流,改善網絡的性能,等。以及如何識別P2P流量實時以及如何提取更有效的P2P內在行為特征,將P2P流量識別的未來重要的工作。目前,隨著數據挖掘技術的不斷發展,我們可以探討如何將數據挖掘技術應用的P2P流量識別[17]。

4 結束語

P2P應用的迅速發展,傳統的P2P流量識別技術帶來了巨大的挑戰,如何從網絡流量準確地識別P2P流量,支持應用程序級分類,構建高可信網絡需要解決的第一個問題。隨著互聯網技術的發展,P2P流量占用網絡流量的主要部分。今天,P2P應用已經非常普遍的事情,這不是結束對帶寬的需求真的讓寬帶運營商感覺非常困難。他們將原來的運行平穩網絡變得越來越擁堵,但是也大大改變了網絡流量模型。因此,如何控制P2P的流是一個問題我們需要考慮同時享受P2P的便利。解決這個問題的一個重要前提是正確地識別P2P的流。

文中對P2P流量識別技術進行深入研究,閱讀大量國內外出版物,學習先進的科研成果,并學習先進的思想和技術,對我國P2P網絡的發展提供了一定的參考。

[1]韓志杰，王汝傳.一種新的P2P網絡流量預測模型[J].計算機科學，2008，18（1）:3-7.

[2]Hewlett-Packard Company.NetBatch Management Programming Manual，2005.

[3]宮蜻，孫知信，顧強.一種基于模糊評判規則的P2P流識別算法[J].計算機科學，2008，12（2）:57-61.

[4]鄧河，陽愛民，劉永定.一種基于SVM的P2P網絡流量分類方法 [J].計算機工程與應用，2008，44（14）:122-126.

[5]刑小良.P2P技術及其應用[M].2版.北京:人民郵電出版社，2008.

[6]魯剛，張宏莉，葉麟.P2P流量識別[J].軟件學報，2011，22（6）:1291-1298.

[7]徐鵬，劉瓊，林森.基于支持向量機的Internet流量分類研究[J].計算機研究與發展，2009，46（3）: 407-414.

[8]戴磊，王源，劉科科.一種主動學習式P2P流識別方法[J].計算機應用研究，2012，29（2）:717-721.

[9]刺婷婷，師軍.基于GA-CFS和AdaBoost算法的網絡流量分類 [J].計算機應用研究，2012，29（9）: 3411-3414.

[10]劉海燕，王超，牛軍任.基于條件互信息的特征選擇改進算法[J].計算機工程，2012，38（14）:135-137.

[11]劉永定，陽愛民，周序生.使用機器學習分類P2P流量的方法 [J].計算機應用研究，2009，26（9）: 3468-3471.

[12]Hsu W H.Genetic wrappers for feature selection in decision tree induction and variable ordering in Bayesian network strcucture learning[J].Information Science，2004，163（17）:103-122.

[13]Erman J，Mahanti A,Arlitt M,Cohen I,Williamson C.Offline/Realtime traffic classification using semisupervised learning [J].Performance Evaluation，2007，64（9-12）:1194-1213.

[14]周麗娟.P2P流媒體識別方法的研究[D].武漢:華中科技大學，2008.

[15]陳貴海，李振華.對等網絡:結構、應用與設計[D].北京:清華大學出版社，2007.

[16]梁俊龍，張貴田，秦艷平.基于高階WENO格式的噴管動態特性仿真分析[J].火箭推進，2015（4）：29.

[17]王坤.基于SVPWM的STATCOM設計及實現[J].陜西電力，2011（1）：11-15.

Research on P2P network flow problem based on machine learning

DENG Xiao-dun
（Xi'an International University，Xi'an 710077，China）

The emergence of P2P applications and the vigorous development of Internet traffic has undergone significant changes in the composition of，P2P traffic has leapt to become the first Internet traffic，which network management to bring many problems，put forward higher requirement for traffic monitoring.At the same time，in order to avoid detection，P2P applications are moving towards the port dynamic，the direction of the load encryption rapid development.Traditional traffic identification technology has been difficult to effectively identify the P2P traffic，and the P2P traffic identification technology based on machine learning does not rely on the port and load information，so it has become a hot research topic in recent years.This paper is supported by the National 863 project"high credibility network business control system，based on machine learning to identify P2P traffic problems，using the method of literature review，through the study of domestic and foreign research results on P2P network traffic identification，summed up the traffic identification method，and analyze the future development trend of the P2P network has very important theoretical significance.

P2P network；traffic identification；identification method；future trend

TN711

：A

：1674-6236（2017）08-0109-06

2016-01-18稿件編號：201601138

2015-2016年度高水平民辦大學建設研究項目（15GJ044）；2016年度西安市社會科學規劃基金項目（16IN13）

鄧小盾（1979—），女，陜西涇陽人，碩士，講師。研究方向：計算機網絡，人工智能。