特定Ｐ２Ｐ網絡的主動測量研究

（北京工業大學 計算機學院， 北京 100022）



摘要：為了實現信息可控的安全網絡環境，需要對特定的P2P 應用系統進行測量與分析。測量的出發點在于尋找協議的主導節點或服務節點，在一定意義上是該應用協議可能存在的瓶頸。選取BitTorrent、Skype和Tor分別作為這三類不同的P2P應用系統的代表，分析其協議特性，并對它們的覆蓋網絡進行主動測量，最終得到互聯網上協議主導節點的總量及分布情況，以便于進一步的監管分析。

關鍵詞：對等網絡；主動測量；BitTorrent；Skype；Tor

中圖分類號：TP39306文獻標志碼：A

文章編號：1001-3695(2008)11-3415-04



Research in active measurement of special P2P networks



ZHANG Jian-biao，LIAO Chao，GAO Wen-bin

(College of Computer Science Technology， Beijing University of Technology， Beijing 100022， China)

Abstract:In order to create secure network environment with the controllable information， it becomes more important to mea-sure and analyzes special P2P application systems. A threshold of active measurement is to look for these guiding peers or ser-vice peers which may be bottlenecks of specific P2P protocols in a sense.This paper chose BitTorrent， Skype and Tor as representatives of the three different types of P2P networks， analyzed their characteristics， and introduced corresponding active measurement of their overlay networks，which could get the amount and distribution of the specific protocol peers on the Internet. It was also very useful to manage and analyze the P2P based on measured information.

Key words:P2P(peer-to-peer) network;active measurement;BitTorrent;Skype;Tor

0引言

近年來，對等網絡(P2P)技術的快速發展，帶來了Internet應用的新模式，也帶來了網絡帶寬和內容管理的難題。

根據對等節點的發現方式，P2P網絡的拓撲結構主要有中心化拓撲、半分布式拓撲、全分布式拓撲。節點的拓撲形式決定了節點的命名、組織，以及確定節點的加入/離開方式、出錯/恢復等問題。由于較良好的可擴展性、可維護性和發現效率，半分布式拓撲是目前互聯網絡中實際使用最廣泛的拓撲結構^[1]。這種結構的集中性和層次性，使P2P系統中存在一個或多個主導節點。BitTorrent協議中存在Tracker服務器， Skype協議中存在超級節點，Tor協議中存在目錄鏡像，三者均屬于半分布式拓撲。對這三種協議的拓撲測量，可以從協議的主導節點入手，分析拓撲的形成過程。

相比而言，由于DHT采用了散列的方法，使得它的結構顯得很僵硬；由于需要對關鍵字進行精確匹配，以至于造成在其上實現關鍵字搜索很困難；DHT覆蓋網絡構建開銷過大，成員的加入和退出程序復雜；它在處理網絡成員的快速變化方面性能較弱，如果許多節點離開或崩潰，對DHT的結構和性能影響巨大。相對而言，非結構化的對等網絡更加靈活，雖然在其上的搜索存在很大冗余。

文件共享系統是目前P2P技術應用最廣泛的領域，系統的對等節點間互相提供下載和上傳，取代了傳統的文件服務器。以BitTorrent為代表的P2P文件共享系統的普遍使用，極大地促進了P2P技術相關概念和應用的推廣。P2P技術在即時通信領域，以著名的語音通信工具Skype為代表，節點間的互通由超級節點提供信息轉發。以Tor為代表的匿名通信協議，節點同時擔當通信虛電路的發起者和另外虛電路的轉發者，也具有鮮明的P2P特性。

1P2P 測量方法

P2P網絡的拓撲測量是要獲得P2P重疊網絡的節點信息及其拓撲結構數據，它是P2P網絡拓撲建模和實現公網范圍內P2P網絡監控的基礎。P2P網絡的拓撲測量可以從更深的層次上認識P2P網絡的內在規律，是在更高層次上開發利用P2P的基礎，利用其結果可以對P2P網絡進行分析、預報、決策或控制。特別是從國家安全角度考慮，需要在線控制P2P網絡行為，就更需要對P2P網絡拓撲測量進行深入研究。然而，P2P網絡與生俱來的異構性、動態性、分散性，以及如今龐大的規模都給P2P網絡拓撲測量技術帶來了巨大挑戰。

目前根據測量方式的不同，針對P2P網絡的測量，可以分為主動測量和被動測量兩種方法^[2]。

11P2P被動測量方法

P2P被動測量方法是記錄P2P網絡活動的探針被接入到P2P網絡上，匯總和記錄網絡上P2P流量的信息。通常是在網絡的不同位置部署一定數量的探針，使用特定的軟硬件設備被動監測相關的P2P流量信息。通常在骨干網絡的核心路由器或某個ISP 網絡的邊緣出口上設置探針點，以保證測量數據的代表性。被動測量方法主要用于測量P2P 網絡的流量大小、節點數量、連接持續時間等宏觀流量特性。被動測量方法的優點是：可以用于測量多種P2P 應用，通用性較好；通過控制測量點的位置，可以得到P2P 流量對特定網絡區域的影響。被動測量方法的缺點是：無法深入了解P2P 網絡行為，而且對測量設備的軟硬件要求較高。隨著網絡流量的高速增長，如何實現準確、高效的實時測量則變得更加困難。

12P2P主動測量方法

主動測量方法主要包括：a）使用第三方技術對P2P網絡進行搜索，獲取有關協議特性和節點屬性的特定信息文件，以此分析P2P網絡拓撲；b）利用ping、traceroute、mtrace等工具向P2P網絡中的節點發送數據，觀察并記錄返回結果，以此得到P2P網絡拓撲；c）根據具體協議特征，模擬客戶端主動參與P2P網絡交互，提取對等體信息，以此構造P2P網絡拓撲。 

針對上述兩類測量方法，由于P2P網絡的拓撲測量是在大尺度上展開的，進行被動測量需要大規模的測量點，在政策和技術上難以實現，而且無法深入了解P2P網絡行為。因此，針對特定P2P應用的測量，本文采取以協議中心節點或主導節點為出發點的主動測量方法，探測獲取P2P網絡的節點和拓撲特征信息，具有可信度高、準確性好的特點。但是，本測量方法需要掌握一定的先驗知識，使主動測量有較強的針對性。

2特定P2P網絡主動測量的實現

21BitTorrent 主動測量

1）BitTorrent網絡特性BitTorrent協議是目前使用最廣泛的P2P文件共享協議，它通過對共享文件的分割和協調眾節點進行片段冗余下載來實現。BitTorrent由此引入了兩個全新的概念：種子文件（即.torrent文件）和追蹤服務器^[3]（tracker 服務器）。種子文件包含共享文件的元信息、追蹤服務器地址、hash校驗值，其作用是描述共享文件以及保證文件內容的正確性；追蹤服務器的作用是維護各個種子文件對應的節點（peer）地址列表，從而幫助這些peer節點相互發現、相互協調，以便有效地共享文件。

如圖1所示，在具體的BitTorrent協議實現中，種子文件即描述協議特性和節點屬性的特定信息文件，追蹤服務器則為協議中具有特殊意義的主導節點，peers的發現和通信均通過追蹤服務器調度實現。通過對追蹤服務器的查詢，可得到該服務器維持的特定共享文件對應的請求節點列表，由此可得到指向該共享文件的種子節點和peer節點構成的節點群的拓撲結構。

2)BitTorrent測量方案對BitTorrent的主動測量如下：

a）使用網絡爬蟲技術對Internet上相應的BitTorrent種子文件進行垂直搜索，并下載到本地；

b）對搜索到的種子文件進行合法性檢測，建立種子文件庫，并保持定時更新；

c）分析解碼種子文件，提取追蹤服務器地址；

d）以HTTP方式與追蹤服務器通信，通過Scrape請求該服務器負責的所有種子；

e）對單個種子進行Announce請求，得到其對應的節點群信息。

根據上述的BitTorrent網絡主動測量實現框架，筆者開發了一個測量系統，對互聯網上公開的種子資源進行了爬行統計，根據種子文件得到追蹤服務器的數量及其分布。據統計，BT用戶主要集中在我國大陸地區，國內著名的BT資源搜索門戶網站飛客覆蓋了整個BT網絡所有種子的70%以上，系統以飛客網站為入口，從2007年3月25日~3月30日連續6天，每天22點40分開始爬行直到第二天8點爬行完畢，通過爬行每天獲得的種子數量穩定在55萬~60萬，從中提取出的追蹤服務器數量穩定在3 430~3 520，據此可推測整個BT網絡中公開的追蹤服務器總量在3 500個左右。

22Skype主動測量

1）Skype網絡特性Skype是第一個利用P2P技術進行語音通信的VoIP工具，可以無縫地在NATs和防火墻后使用，性能優良。

如圖2所示，Skype網絡中主要包括三種節點：特殊節點、超級節點、普通節點。特殊節點包括各種專用服務器和引導節點。服務器用來提供用戶的注冊、登錄、客戶端版本查看等服務。引導節點用于Skype客戶端第一次啟動時對其傳輸當前在線的超級節點，將其引入Skype網絡。普通節點（安裝有Skype客戶端軟件的普通主機終端）具有提供語音呼叫和文本消息傳送的能力。超級節點從普通節點中動態選拔，條件包括具有公網地址、足夠的處理和存儲能力、足夠的網絡帶寬等。

超級節點在Skype網絡中起著至關重要的作用，它一方面作為普通節點登錄Skype網絡的橋梁；另一方面為節點的用戶查找和通信轉發提供服務^[4]。所有在線的超級節點構成了Skype的骨干網絡。對Skype網絡中超級節點的發現和探測成為Skype網絡測量的關鍵。

Skype客戶端啟動后會生成并更新一個在線超級節點的列表(HostCahe)，維持著200個當前在線的超級節點IP和相應端口數據。該列表文件存儲在主機的一個XML文件中(C:\\Documents and Settings\\XP User\\Application Data\\Skype\\shared.xml)。如果HC為空或節點數少于200，客戶端將依次向默認的七個引導節點發送UDP請求，更新本機的超級節點文件。

2）Skype測量方案基于此特性筆者設計了一個收集超級節點信息的工具。實現算法如下：

在上述步驟中，之所以讓Skype進程休眠15 s，是為了等待Skype客戶端登錄成功。在這個過程中，與該客戶端相連的超級節點會向該客戶端發送超級節點信息并存入HC中。關閉Skype進程后，就可以從share.XML文檔中讀取需要的信息并保存到歷史數據庫中。

圖3展示了開發的超級節點在線探測模塊的模型。Skype的超級節點一般會長時間在線，但為了反映當前在線的超級節點，必須對超級節點進行實時的主動探測。探測模塊歷史數據庫取出超級節點數據，再向每一個超級節點進行SYN掃描。如果其IP端口開放，則認為其在線。大批量的SYN掃描的可行保證了探測的實時性。

為了確定每天在線的超級節點數量，筆者于2007年5月23日~5月28日連續統計了每天獲得的在線超級節點數量，保持在6.8萬~7萬。

23Tor 主動測量

1）Tor網絡特性Tor（the second onion router)是第二代洋蔥路由的一種實現，是目前應用廣泛的基于虛電路的低延時匿名通信系統。通信發起節點在Tor覆蓋網絡中選擇一條路徑并建立虛電路。其中的每個節點都知道其前繼和后繼節點，但是不知道其他任何節點。流量以固定大小的數據包格式通過虛電路傳輸。每個節點使用對應的對稱密鑰來解密（像剝開洋蔥的一層），并向下游轉發。在此網絡中，來自發起者的消息通過一連串中間節點，最后到達目的接收端，從而使發起者得以穿透層層防護，存取到原本被封鎖的信息；又將自己的足跡進行隱匿，防止追蹤。這些中間節點被稱之為洋蔥路由器^[5]。

Tor網絡中有四種節點：洋蔥代理（OP）、洋蔥路由器（OR）、目錄管理器（DA）、目錄鏡像（DM）。OP自身接收來自本地應用程序的數據，是Tor網絡中通信的發起者。OR接收來自OP和其他OR的數據并進行轉發。DA處于Tor網絡最高層，維護一個權威的最新的用來描述全體OR索引的一個網絡狀態文件，共有五個DA，均分布在境外。DM提供具體的OR描述符供OP下載，DM由OR自薦產生。DA-DM實現Tor的目錄協議，負責維護Tor網絡節點信息，并響應OP的查詢請求，將相應的信息文件通過HTTP方式傳送給OP。因此，Tor網絡中的節點發現是通過讀取信息文件實現的。Tor中有兩種信息文件：a）用于描述全體OR索引的網絡信息文件；b）用于描述具體OR網絡參數的OR描述符。

Tor協議的P2P特性在于，每個節點既可以是OP，也可以是OR甚至是DM。每個節點向其他節點請求轉發自身應用數據的同時，轉發來自其他節點的數據，還可以選擇充當目錄服務器，因此充當了匿名通信服務的使用者和服務提供者的雙重角色。

2)Tor測量方案對Tor的主動測量基于Tor的目錄協議，來發現Tor中的路由器和目錄服務器。如圖4所示，采用的測量系統分成以下三大模塊：協議交互模塊、網絡信息解析模塊、數據庫管理模塊。

協議交互模塊實現了一個偽造的OP來向服務器請求合法的網絡狀態文件。其請求命令格式如下：

http://〈hostname〉/tor/status/fp/〈F1〉+〈F2〉+〈F3〉.z

其中〈F1〉〈F2〉〈F3〉為特定目錄管理器的指紋，通過向某個目錄管理器發送特定的指紋來獲取特定目錄管理器維護的網絡狀態文件。依據目前穩定運行的Tor 0.1.2.17版本，本OP

140.247.60.64:80/128.31.0.34:9032/194.109.206.212:80/86.59.21.38:80/128.31.0.34:9031

本OP解壓縮返回數據，得到五個網絡狀態文件，并進行簽名驗證后，挑選出發布時間最新的一個，從中提取需要的OR信息和目錄鏡像地址，并向目錄鏡像發送查詢請求：

http://〈hostname〉/tor/server/d/〈D1〉+〈D2〉+〈D3〉.z

其中D為路由器描述符的摘要。目錄鏡像返回給OP所有的路由器描述符。如圖5所示，網絡信息解析模塊對其進行解碼、簽名驗證和特征字符串匹配；再進行路由器服務要素行解析，得出路由器的服務要素：IPaddress、ORPort、ORNickname、DirectoryPort、IdentityKey、OnionKey等。

然后是路由器狀態標志行解析，得出路由器的狀態：stable、running、valid、fast、exit、V2Dir等。

提取出服務要素和狀態標志后，緩存入定制的路由器信息結構體。最后由數據庫管理模塊主要實現路由器數據入庫，為后續的地理拓撲展示和信息監控管理系統提供數據。

3對三種協議主動測量的比較

通過對以上三種典型P2P應用系統的測量，可以得到對半分布式P2P網絡進行主動測量的一般規律：

a）半分布式P2P網絡結合了集中式和分布式的特點，在網絡的邊緣節點采用集中式的網絡結構，而在主導節點之間采用分布式的網絡結構。覆蓋網絡節點組成均為全局服務器—主導節點—普通節點三級模式。全局服務器的存在，在于集中為節點的加入進行先期服務，用于傳輸少量前導性的全局數據，如身份驗證、主導節點快照、網絡狀態快照等。全局服務器一般為Web服務器、文件服務器、注冊登錄服務器等。在半分布式的P2P網絡中，普通節點在加入覆蓋網絡之前必須要聯系全局服務器，但信息的交互一般為首要和較小的數據量。主導節點是P2P協議的實際執行者，它維持一個局部的自治區域，為區域內的普通對等節點提供服務，包括節點的尋址、節點的密鑰交換、節點通信的轉發等。普通節點則是P2P活動的實際參與者。根據半分布式P2P網絡拓撲結構的特殊性和覆蓋網絡的形成過程，可知對某級節點的測量，往往能得到下級節點的信息。如圖6所示，全局服務器可維持主導節點信息，主導節點維持普通節點信息。因此，全局服務器是主動測量的切入點，主導節點是主動測量的關鍵點，對普通節點的主動測量則是深度測量的目標。

b）主導節點對主動測量的意義。文件共享協議的重點在于傳輸，基于種子對待分發文件的劃分，追蹤服務器的協調很重要；即時通信協議的重點在于尋址，承擔尋址任務的超級節點作用最為關鍵；匿名通信協議的重點在于匿名性和低延時，建立虛電路最為關鍵，如何得到路徑中節點即路由器地址以及選用什么樣的路由器節點非常關鍵。分析它們的協議特性，測量的關鍵在于尋找協議的主導節點。由于半分布式P2P網絡具有的集中性，對主導節點的測量在一定意義上也是尋找該應用協議可能存在的瓶頸。

c）半分布式P2P網絡中存在協議信息文件，此類文件的內容和性質決定了其對測量的意義。如圖7所示，半分布式網絡中信息文件大多反映協議的特性和主導節點尋址，通過實驗和對協議細則的認識，按照信息文件的格式，對其進行解碼、合法性驗證、信息提取、信息解讀，然后能得到主導節點位置信息和通信參數。這是主動測量的一個關鍵。信息文件的存儲位置和協議報文格式決定了信息文件的獲取方式。在實際的半分布式P2P網絡的信息文件獲取中，存在三種方式：第三方搜索式獲取、偽造文件缺失式獲取、協議交互式獲取。BitTorrent在Web服務器上存儲種子文件，且BitTorrent協議是開源的；Skype客戶端本地維持一個XML文件，其更新方式較復雜且通信報文加密，可利用客戶端自身啟動后會更新文件的行為特征；Tor中管理節點維持一個整體的網絡狀態文件以及多個個體的路由器描述符，且Tor的目錄發放無須證書。因此，要確定信息文件的獲取方式，需要對特定協議過程有一定的了解、分析和大量的實驗取證。

d）主動測量的長效性。網絡拓撲的形成過程、主導節點的選拔方式、P2P特性對主機的影響，決定了測量的長效性。BT網絡出于文件共享的目的，總是由特定的待分發文件對應的種子文件引導需求節點群聯系指定的tracker服務器來構成有共同文件需求主題的BT網絡拓撲，因此BT網絡拓撲結構的變化較大，新的種子文件的不斷出現又引導新的BT網絡的建立，而文件共享對帶寬和終端性能的負面影響決定了BT網絡節點成員頻繁更替。這就要求對BT網絡的主動測量的實時性，即需實時對知名的BT門戶進行定向搜索，獲取新的種子文件對應的tracker服務器所維持的BT網絡拓撲。Skype和Tor都是對性能優良的志愿節點進行主導節點的選拔，利用這些志愿節點的計算能力和帶寬為普通節點提供集中性的網絡服務，因此主導節點的變化也具有較大的隨機性，對測量系統提出了按需測量的要求。

e）主動測量的深度。完成對主導節點的主動測量后，根據P2P覆蓋網絡的拓撲形成過程，可以進行以測量普通節點為目標的深度測量。一方面要取得節點的位置、行為、性能參數；另一方面要取得普通節點與主導節點間和普通節點相互之間的通信內容。普通節點和主導節點的通信聯系、信息傳輸的加密程度，決定了主動測量的深度。對于BitTorrent協議，追蹤服務器如果支持Scrape和Announce命令，則可很方便地得到該服務器負責的普通節點群的位置信息，可以將多次命令獲得的數據進行比較分析，從而得到節點在覆蓋網絡中的駐留時間分布。對于Skype協議，由于主導節點與普通節點之間以及普通節點相互之間的通信都是加密的，而且Skype的加密體制相當堅固，對其通信內容的破譯難度極大。對于Tor也是如此。培養相當數量的合法主導節點組成可控域，觀察域內數據通信的特征，綜合取證，是下一步進行深入研究的方向。

4結束語

本文首先對P2P網絡拓撲結構進行分類，分析了半分布式P2P網絡拓撲結構的優勢；隨后對常規的P2P被動測量和主動測量方法進行了分析比對，指出主動測量用于P2P拓撲測量的優勢；然后以三種特定的半分布式P2P網絡BitTorrent、Skype、Tor為例，分析其協議原理，有針對性地提出了不同方式的主動測量過程；最后提出了對半分布式P2P網絡進行主動測量的一般規律。

參考文獻：

［1］羅杰文.Peer-to-peer(P2P)綜述[EB/OL].(2005-11-03)[2007-10-19]. http://www.intsci.ac.cn/users/luojw/papers/p2p.htm.

[2]劉瓊，徐鵬，楊海濤，等.Peer-to-peer文件共享系統的測量研究[J].軟件學報，2006，17(10):2131-2140.

[3]王冠英.BitTorrent系統中可擴展性的研究[D].杭州:浙江大學， 2005.

[4]劉大地，余彥峰，李健，等.Skype網絡拓撲發現機制研究[J].計算機應用研究，2007，24（增）：353-355.

[5]MATHEWSON N，DINGLEDINE R.Tor protocol specification[EB/OL].(2007-10-26)[2007-12-29].https://www.torproject.org/svn/trunk/doc/spec/tor-spec.txt.