面向大規模復雜網絡測量和性能瓶頸分析方法*

張飛朋，陳 琳，張京京

國防科學技術大學 計算機學院，長沙 410073

面向大規模復雜網絡測量和性能瓶頸分析方法*

張飛朋+，陳 琳，張京京

國防科學技術大學 計算機學院，長沙 410073

針對當前數據中心網絡規模巨大，流量行為復雜等特點，研究大規模數據中心網絡測量方法，定位當前網絡性能瓶頸變得日益重要。分析了當前網絡測量研究現狀，提出了一種基于分布式自動化測量的性能瓶頸分析方法（automatic measurement-distributed automatic measurement and performance bottleneck analysis method，AM-DMPA）。該方法能自動生成測量任務集合，下發測量任務，并能根據測量結果不斷收斂待測網絡規模，快速定位網絡中的性能瓶頸鏈路。在典型的大規模數據中心天河2中，選取6種不同規模的網絡環境，使用AM-DMPA方法和傳統的網絡測量方法進行對比，AM-DMPA方法能夠更快速地發現和定位網絡中性能瓶頸鏈路。

數據中心；分布式自動化測量；性能瓶頸鏈路

1 引言

伴隨著互聯網的蓬勃發展，為了應對不同行業不同環境的網絡需求，網絡發展趨向于多體系架構、多種網絡規模、分布式結構。不僅網絡越來越復雜，面對網絡用戶多種多樣的使用需求，網絡應用更是形式復雜、種類多樣。不同于互聯網，數據中心網絡是目前高性能計算機、系統域的重要組成，通過互連將計算節點、存儲節點和網絡設備整合成為集成服務環境。近些年，數據中心越來越受到學術界和工業界的關心。例如，在標準化工作方面，國際互聯網標準化組織IETF成立了以數據中心網絡為主要應用場景的工作組Software Driven Networks，IEEE也成立了數據中心網絡任務組Data Center Bridge；另外在工業界，Cisco、Juniper和華為等廠商先后推出了數據中心交換設備和產品，Amazon、Google、Microsoft和Facebook等云計算服務提供商在世界各地修建規模巨大的數據中心，能夠容納數萬臺甚至數十萬臺服務器[1]。

對萬萬億次高性能計算機來說，其互連計算節點數能達到104量級，而交換節點接近103量級。數據中心的規模也日益擴大，服務器規模已經達到104～105量級，帶來的挑戰包括：

（1）集中控制開銷過大

對高性能的系統域網絡，網絡規模龐大，如果完全采用傳統的集中控制獲取網絡信息和網絡狀態，對網絡設備和協議進行配置會造成集中控制的瓶頸點，最終導致處理周期長，無法及時響應網絡變化。

（2）被動測量的盲目性

傳統網絡管理通過獲取接口計數器、流量吞吐量等信息，無法根據網絡狀態的變化有針對性地測量網絡，診斷網絡故障，會造成很多的盲目讀取和統計處理，給網絡造成額外的負載。

（3）故障率的指數級增加

長期的實踐表明，系統故障率隨著系統節點數快速增加，從服務節點故障的角度看，若服務單點可靠性為99.99%，按照104量級的規模計算則系統故障率為63%，若單點可靠性為99.9%，則系統故障率幾乎達到100%。

針對當前數據中心網絡發展面臨的挑戰，作為網絡管理的重要技術手段，進行網絡性能測量具有重要的研究意義。

本文組織結構如下：第2章給出了網絡測量方面的研究狀況和研究方法；第3章對數據中心網絡拓撲需要用到的描述信息進行定義，并給出分布式自動化測量和性能瓶頸分析方法（automatic measurementdistributed automatic measurement and performance bottleneck analysis method，AM-DMPA）；第4章基于AM-DMPA方法提出一種分布式自動化測量和性能瓶頸分析系統，并在天河2的實際網絡環境中驗證了方法的有效性。

2 相關研究

網絡的性能狀況很大程度上影響著運行于網絡中的各種上層應用，因此性能測量是網絡測量中研究最多的部分，在其發展過程中，不僅成立了多個有關性能測量的組織，而且開展了多個測量研究項目[2]。

在系統域網絡的測量管理方面，美國國家科學基金資助成立了應用網絡研究國家實驗室（National Laboratory for Applied Network Research，NLANR）[3]。其中一個組依托于美國伊利諾斯大學國家超級計算應用中心的分布式應用，旨在為分布式的高性能網絡應用提供支持，并開發一些網絡工具。NLANR目前的研究包括主動測量項目（active measurement project，AMP）、被動測量分析項目（passive measurement and analysis project，PMA）等，在這些項目的支持下，開發相應的測量分析系統和流量數據采集系統。文獻[4]分析和討論了OWDP和RTDP兩種端到端的網絡性能主動測量方法，并在RTDP方法[5]的基礎上設計了一個端到端的網絡性能測量系統對被測網絡的連通性、往返延時和丟包率進行測量。

NIMI[6]（National Internet Measurement Infrastructure）是由美國國家科學基金會和國防部高級研究計劃署資助的測量項目，旨在建立一個總體可擴展的網絡測量基礎框架，主要包括四部分：測量探針NPD（network probe daemon）、客戶測量點、聯系配置中心、數據分析中心。該項目由分布在北美和亞洲的大量網絡探測點NPD構成，而NPD則是Berkeley大學Vern Paxson設計的一個可協作的分布式測量平臺。NPD之間相互交換測量信息以獲取對全局網絡的認識。NIMI具有安全性、可擴展性、靈活性的優點，但也存在很多問題，如NPD測量軟件需要更新等。

IEPM（Internet End-to-End Performance Monitoring）是斯坦福線性加速中心成立的一個專門從事網絡連通性和端到端性能監視以及相關監視工具開發工作的研究小組，自成立以來，其主要涉及兩個項目：一個是PingER[7]；另一個和帶寬測量相關，即IEPMBW。前者主要利用Ping程序來測試網絡的性能，截止目前為止，該項目已經在全球14個國家部署了35個測量主機，被測的遠程主機涉及全球120個國家的700多個服務器。后者的研究主要為了獲取高速鏈路的吞吐率信息，也包括基于Traceroute的路徑監視、分析和可視化等功能，基于NetFlow數據的被動測量數據及分析功能。

網絡邊緣測量不需要網絡核心設備的配合，只需要網絡邊緣主機的參與即可，通過邊緣主機對網絡進行端到端的業務性能測量[8]，了解網絡的性能參數，例如網絡延時、分組丟包率。網絡斷層掃描或網絡層析（network tomography，NT）技術[9-10]就是一種網絡邊緣測量技術，根據對網絡外部（網絡端點）的測量來分析和推斷整個網絡的拓撲結構和網絡性能。文獻[11]介紹基于端到端的網絡斷層掃描技術對網絡進行測量的方法，它將待測網絡視為一個黑盒子，將測試節點放在被測網絡外部，通過測試節點進行端到端測量，由交叉路徑來推斷公共路徑上的網絡特性。例如對數據鏈路層上延遲或丟包率的估計，對網絡中鏈路的負載和吞吐量的估計等。基于端到端的NT技術所依賴的理論方法基本上都是基于模擬環境，應用到實際網絡環境中其可靠性、分布性和可測量性尚需進一步研究，還不能做到對大規模網絡進行實時和智能化的自動測量[12-13]。

3 分布式自動化測量和性能瓶頸分析方法

3.1 問題描述

為了能夠對數據中心網絡進行自動化測量和快速定位網絡瓶頸鏈路，設計了一種分布式自動化測量和瓶頸分析方法。

為了方便問題的描述，給出如下相關定義。

定義1數據中心拓撲G={V,E}，其中V={v1,v2,…,vN}表示交換機設備和計算節點的集合，N為交換機設備和計算節點的總數；E={e1,e2,…,eM}表示交換機設備之間互連鏈路、計算節點與交換機設備之間互連鏈路的總集合，對于兩個交換機設備之間存在多條聚合鏈路的情況，將多條聚合鏈路視為一條邏輯鏈路，M為各交換機設備之間互連鏈路、各計算節點與交換機間互連鏈路的總數。

定義2鏈路和路徑：在網絡拓撲中，兩個相鄰節點i、j之間的連接，稱為鏈路，記為lij；對于兩個非相鄰端節點m、n，節點m、n之間的路徑記為pmn，路徑pmn是節點m到n之間的所有鏈路集合。

定義3設備在網絡中的層次：HEIGHT(vi)為節點在網絡中的層次號，其中計算節點的層次號為1，接入交換機層次號為2，匯聚交換的層次號為3，核心交換的層次號為4。按照組網上下層關系分別賦予對應層次號，層次號越大表示對應設備在網絡中的位置越重要。

定義4IsSwitchDev(vi)，判定當前節點vi是否為交換機。

定義5GetParent(vi)，獲取設備vi的直連父節點，對于拓撲最上層的根節點rooti，GetParent(rooti)= NULL，即根節點不存在父節點。

定義6GetChild(vi)，獲取設備vi的所有直連子節點，對于拓撲最底層的計算節點pi，GetChild(pi)= NULL，即計算節點不存在子節點。

定義7GetDevType(vi)，獲取當前設備類型，取值范圍為1、2、3、4，分別對應終端計算節點、接入層交換機、匯聚層交換機和核心層交換機。

定義8GetLinkByDev(vi,vj)，獲取兩個相鄰節點vi和vj之間的鏈路，其中GetLinkByDev(vi,vj)的值為1時該鏈路是關鍵鏈路，值為0時該鏈路是端鏈路。

3.2 分布式自動化測量和性能瓶頸分析方法

文獻[14]介紹了通過測量端到端時延推測網絡性能的分析方法，簡稱為NetInFer。文獻[15]介紹了基于網絡斷層掃描推測網絡性能的測量方法，簡稱為GN測量方法。在大規模的數據中心，交換機節點、計算節點和各節點之間的鏈路規模相對比較大，并且在數據中心，交換機是網絡中的核心設備，特別是處于核心和匯聚層的交換設備，網絡中的大部分數據和流量都會從其上經過，而處于網絡邊緣的計算節點上經過的網絡數據和流量相對較少。傳統的測量方法并未對網絡中核心設備之間的鏈路和處于網絡邊緣的鏈路做區分，在對全網絡進行測量時耗時相對較長，未解決快速定位網絡潛在瓶頸鏈路的問題。因此，本文提出一種分布式自動化測量和性能瓶頸分析方法（AM-DMPA）。

AM-DMPA方法根據網絡拓撲G的當前狀態，將各交換機之間的鏈路視為關鍵鏈路，將交換機與計算節點之間的鏈路視為端鏈路（或邊緣鏈路）。考慮到當網絡中的交換機設備出現瓶頸或故障時將會大范圍地影響網絡性能，因此優先對關鍵鏈路自動生成并執行測量任務，進行性能分析，然后再對端鏈路進行測量和性能分析。AM-DMPA方法對關鍵鏈路和端鏈路的測量結果進行性能分析的方法類似，以關鍵鏈路為例，首先建立一個包含所有關鍵鏈路的集合，將每次執行關鍵鏈路測量任務后，測量結果正常的鏈路從關鍵鏈路的集合中剔除，通過不斷地剔除正常鏈路，從而不斷地自動收斂待測關鍵鏈路集合，最終得到關鍵鏈路集合中的潛在瓶頸鏈路。

一般情況下，整個網絡中的大部分鏈路處于正常狀態，故障鏈路或潛在的瓶頸鏈路相對為少數，AM-DMPA方法通過每次對測量結果進行分析，不斷剔除正常鏈路，能夠快速收斂待測網絡的規模，從而達到快速定位網絡中的故障鏈路或潛在的瓶頸鏈路。方法具體步驟如下。

步驟1初始化階段。

初始化階段定義交換機節點集合Vswitch為空；定義關鍵鏈路測量任務集合Tcore為空；待測關鍵鏈路集合Ecore={GetLinkByDev(vi,vj)=1}；正常關鍵鏈路集合Lcore為空；接入層交換設備集合Vswb為空；端鏈路測量任務集合Tborder為空；待測端鏈路集合Eborde={GetLink-ByDev(vi,vj)=0}；正常端鏈路集合Lborder為空。

步驟2測量任務生成階段。

測量任務生成階段對關鍵鏈路和端鏈路分別生成測量任務，其中步驟2.1到2.8自動生成關鍵鏈路測量任務，步驟2.9到2.14自動生成端鏈路測量任務。

步驟2.1獲取網絡拓撲中所有核心層交換機設備集合VCS，即VCS={GetDevType(4)}，若集合VCS不為空，取出集合VCS中任意一個核心層交換機設備VCSi。

步驟2.2獲取設備VCSi下所有子節點設備集合VDS= {GetChild(VCSi)}。

步驟2.3若集合VDS不為空，取出VDS中任意兩個子節點設備VDSi和VDSj。

步驟2.4若GetDevType(VDSi)=2，GetDevType(VDSj)= 2，則表明子節點設備VDSi、VDSj均為接入層交換機節點，分別獲取VDSi、VDSj下任意一個計算節點VPi、VPj，將關鍵任務測量對(VPi,VPj)加入到關鍵鏈路測量任務集合Tcore中，并將子節點設備VDSi和VDSj從集合VDS中刪除，跳轉到步驟2.3；否則執行步驟2.5。

步驟2.5獲取子節點設備VDSi和VDSj下所有子節點設備集合VSWBi和VSWBj，即VSWBi={GetChild(VDSi)}，VSWBj={GetChild(VDSj)}。

步驟2.6若集合VSWBi和VSWBj都不為空，取出集合VSWBi和VSWBj下任意一個子節點設備VSWBip和VSWBjq。若集合VSWBi和VSWBj其中一個集合為空，則從集合VDS下任取一個子節點VDSk，獲取子節點VDSk下直連的任意一個子節點集合VSWBk，即VSWBk={GetChild(VDSi)}，當子節點設備VSWBk為接入層交換機設備時，即GetDevType(VSWBk)=2，則用該節點代替為空的VSWBi或VSWBj，從集合VSWBi和VSWBj下任意取一個子節點設備VSWBip和VSWBjq。

步驟2.7若GetDevType(VSWBip)=2，GetDevType(VSWBjq)= 2，則表明子節點設備VSWBip和VSWBjq均為接入層交換機設備，分別獲取VSWBip和VSWBjq下任意一個計算節點VPi和VPj，將關鍵任務測量對(VPi,VPj)加入到關鍵鏈路測量任務集合Tcore中，并將子節點設備VSWBip和VSWBjq分別從集合VSWBi和VSWBj中刪除，執行步驟2.6。

步驟2.8關鍵鏈路測量任務集合Tcore生成完畢。

步驟2.9將整個網絡中的所有接入層交換機放入集合Vswb中，即Vswb={GetDevType(2)}。

步驟2.10循環執行步驟2.11～2.13，直到集合Vswb為空，端鏈路測量任務集合生成完畢。

步驟2.11若集合Vswb不為空，從集合Vswb中任取一個接入層交換機節點vi。

步驟2.12獲取接入層交換機vi的所有子節點，并放入臨時變量集合Vuntreated中，即Vuntreated={GetChild(vi)}。

步驟2.13循環執行步驟（1）～（3），直到集合Vuntreated為空：

（1）若集合Vuntreated中的計算節點個數大于兩個，則循環地從集合Vuntreated中取出任意兩個計算節點vp1和vp2；

（2）將(vp1,vp2)作為一組端鏈路測量任務放入端鏈路測量任務集合Tborder中，并將計算節點vp1和vp2從未測量集合Vuntreated中移除，放入臨時變量集合Vtreated中；

（3）若集合Vuntreated僅有一個計算節點vp1，則從集合Vtreated中任取一個計算節點vp3，并將(vp1,vp3)作為一組端鏈路測量任務放入端鏈路測量任務集合Tborder中。

步驟2.14端鏈路測量任務集合Tborder生成完畢。

步驟3測量任務執行階段。

測量任務由測量代理執行，測量代理分布在網絡中的每個計算節點上。依次獲取關鍵鏈路測量任務集合Tcore和端鏈路測量任務集合Tborder中的每一個測量任務對，將測量任務對下發到對應的測量代理上，測量代理執行對應的測量任務后將測量結果傳遞給測量結果性能分析階段。

步驟4測量結果性能分析階段。

測量結果性能分析階段對關鍵鏈路和端鏈路測量任務執行后返回的測量結果分別進行分析，其中步驟4.1到4.5對關鍵鏈路測量結果進行分析，步驟4.6對端鏈路測量結果進行分析。

步驟4.1獲得每個關鍵鏈路測量任務對(vPi,vPj)，獲取節點VPi的直連父節點VSWBi以及節點VPj即的直連父節點VSWBj，即VSWBi=GetParent(VPi),VSWBj=GetParent(VPj)。

步驟4.2將節點VPi與對應父節點VSWBi之間的鏈路ei、節點VPj與對應父節點VSWBj之間的鏈路ej分別添加到臨時變量集合Emeasure中，其中ei={GetLinkByDev(VPi,VSWBi)}，ej={GetLinkByDev(VPj,VSWBj)}。

步驟4.3若節點VSWBi和VSWBj為同一節點，則表明關鍵鏈路測量任務對(VPi,VPj)之間的所有鏈路都添加到集合Emeasure中，否則，跳轉步驟4.1；獲取測量任務對(VSWBi,VSWBj)之間的鏈路并添加到Emeasure中，直到測量任務對中的兩個節點存在相同的父節點。

步驟4.4若測量對(VPi,VPj)的測量結果正常，則測量對(VPi,VPj)所經過的鏈路集合Emeasure中所有鏈路處于正常狀態，將集合Emeasure中所有鏈路從待測關鍵鏈路集合Ecore中刪除，并將集合Emeasure中所有鏈路添加到正常關鍵集合Lcore中。

步驟4.5所有測量任務結束后，所有測量結果為正常的鏈路都將從待測關鍵鏈路集合Ecore中被刪除，Ecore集合中留下的為存在故障的鏈路集合。

步驟4.6獲得每個端鏈路測量對(vp1,vp2)的測量結果，若測量鏈路正常，獲取計算節點vp1到其父節點之間的鏈路ei，vp2到其父節點之間的鏈路ej，則將端鏈路ei和ej從待測端鏈路集合Eborder中刪除，并將端鏈路ei和ej加入到正常端鏈路集合Lborder中。若測量對(vp1,vp2)的測量結果出現故障或不正常，則將該測量對所覆蓋的端鏈路留在待測端鏈路集合Eborder中，所有測量任務分析完成后，Eborder中留下的是存在故障的端鏈路集合。

4 實驗驗證

本文在典型的大規模數據中心天河2網絡中進行測試，網絡環境中包括核心交換機2臺，匯聚交換機21臺，接入交換機425臺；每2臺匯聚交換機通過2個萬兆口trunk相連，每48個接入交換機接入1臺匯聚層交換機；匯聚層交換機為Layer 2和Layer 3的邊界；核心交換機配置OSPF路由協議。

通過選取天河2實際網絡環境中的部分設備和鏈路，在測量代理節點上使用Iperf[16]執行測量任務，通過測量結果中的可用帶寬、網絡延遲、網絡抖動和丟包率等因素，推測出網絡中潛在的故障或瓶頸鏈路。本文主要對測量結果中的網絡延遲進行分析。

首先選取天河2網絡環境中3種不同規模的網絡環境，使用AM-DMPA方法對這3種網絡規模進行獨立的測量分析，驗證該方法定位網絡故障或潛在瓶頸鏈路的準確性；其次在這3種網絡規模的基礎上又選取3種不同的網絡規模，比較AM-DMPA方法與傳統的網絡測量方法NetInFer方法和GN方法對這6種網絡規模進行測量的耗時和準確性。

網絡規模1核心交換設備1臺，每臺核心交換設備下直連匯聚交換設備2臺，每臺匯聚交換設備下直連2臺接入交換設備，每臺接入交換設備下直連30個計算節點。該拓撲中共有7臺交換設備，120個計算節點，126條鏈路。圖1為在該網絡規模下測得的結果，其中橫坐標為在該網絡規模下所有鏈路的編號，唯一確定該網絡規模下的每條鏈路。在系統中設定網絡延遲瓶頸閾值Lmax，將網絡延遲瓶頸設為1 200 μs。其中編號為5和45的兩條鏈路延遲較高。對這兩條鏈路進行分析后發現：鏈路5為網絡中的實際業務數據流突增引發的瞬時延遲；鏈路45延遲較高的原因為該鏈路與其所連接的交換設備端口松動導致。

Fig.1 Network delay of 126 links圖1 網絡規模為126條鏈路網絡延遲

網絡規模2核心交換設備1臺，每臺核心交換設備下直連匯聚交換設備2臺，每臺匯聚交換設備下直連6臺接入交換設備，每臺接入交換設備下直連30個計算節點。該拓撲中共有15臺交換設備，360個計算節點，375條鏈路。圖2為在該網絡規模下測得的結果，其中橫坐標為在該網絡規模下所有鏈路的編號，唯一確定該網絡規模下的每條鏈路。在系統中將網絡延遲瓶頸閾值仍設為1 200 μs。其中編號為13、182和290的3條鏈路延遲較高，對這3條鏈路進行分析后發現：鏈路13和鏈路182為網絡中的實際業務數據流突增引發的瞬時延遲；鏈路290延遲較高的原因為該鏈路與其所連接的交換設備端口出現故障導致。

Fig.2 Network delay of 375 links圖2 網絡規模為375條鏈路網絡延遲

網絡規模3核心交換設備1臺，每臺核心交換設備下直連匯聚交換設備4臺，每臺匯聚交換設備下直連6臺接入交換設備，每臺接入交換設備下直連30個計算節點。該拓撲中共有29臺交換設備，720個計算節點，748條鏈路。圖3為在該網絡規模下測得的結果，其中橫坐標為在該網絡規模下，所有鏈路的編號，唯一確定該網絡規模下的每條鏈路。在系統中將網絡延遲瓶頸閾值仍設為1 200 μs。其中編號為9、84、207、302、351和749的6條鏈路延遲較高。對這6條鏈路進行分析后發現：鏈路9、207、302和鏈路749為網絡中的實際業務數據流突增引發的瞬時延遲；鏈路84延遲較高的原因為鏈路與其所連接的計算節點端口出現故障導致；鏈路351延遲較高的原因為鏈路與其所連接的交換設備端口出現故障導致。

Fig.3 Network delay of 748 links圖3 網絡規模為748條鏈路網絡延遲

在網絡規模1、網絡規模2和網絡規模3的基礎上，增加網絡規模4、網絡規模5和網絡規模6。

網絡規模4核心交換設備1臺，每臺核心交換設備下直連匯聚交換設備5臺，每臺匯聚交換設備下直連8臺接入交換設備，每臺接入交換設備下直連30個計算節點。該拓撲中共有46臺交換設備，1 200個計算節點，1 245條鏈路。

網絡規模5核心交換設備2臺，每臺核心交換設備下直連匯聚交換設備5臺，每臺匯聚交換設備下直連6臺接入交換設備，每臺接入交換設備下直連30個計算節點。該拓撲中共有72臺交換設備，1 800個計算節點，1 870條鏈路。

網絡規模6核心交換設備2臺，每臺核心交換設備下直連匯聚交換設備6臺，每臺匯聚交換設備下直連8臺接入交換設備，每臺接入交換設備下直連30個計算節點。該拓撲中共有110臺交換設備，2 880個計算節點，2 988條鏈路。

通過使用AM-DMPA方法、NetInFer方法和GN方法對這6種不同規模的網絡進行測量，3種方法定位出每種網絡規模下延遲較高的鏈路相同，但3種方法完成每種網絡規模所需測量時間不同。因此主要對3種方法完成每種網絡規模所需測量時間進行分析，測量結果如圖4所示。

Fig.4 Time comparison of 6 different network scales圖4 6種不同網絡規模下測量時間比較

在圖4中橫坐標為被測的6種不同的網絡規模，縱坐標為3種方法測量每種網絡規模所用的時間。當被測網絡規模較小時，例如在網絡規模1和網絡規模2中，3種方法所需測量時間沒有明顯差別，但隨著網絡規模增大，網絡中鏈路個數線性增加時，AMDMPA方法完成測量所需時間會明顯低于NetInFer方法和GN方法。主要原因在于：第一，傳統的測量方法并未對網絡中的設備和鏈路作明顯的區分，AMDMPA方法將網絡中的鏈路分為核心鏈路和端鏈路（或邊緣鏈路），先對影響網絡較大的關鍵鏈路進行測量和分析，再進行端鏈路的測量和分析；第二，AMDMPA方法將每次測量結果中的正常鏈路從被測網絡中剔除，不斷地收斂每次測量的網絡規模，從而快速定位出網絡中的潛在故障鏈路或潛在瓶頸鏈路。

5 結束語

為了對大規模的數據中心網絡進行有效測量和網絡性能瓶頸定位，本文提出了一種基于分布式自動化測量的性能瓶頸分析方法（AM-DMPA）；通過AM-DMPA方法自動化地生成、下發、執行測量任務和分析測量結果；并選取典型的數據中心天河2實際網絡環境中6種不同的網絡規模，使用AM-DMPA方法和傳統測量方法進行測量時間的比較，AM-DMPA方法能夠更快定位到網絡性能瓶頸鏈路。

[1]Wang Jianping,Wu Dan,Shao Yong,et al.Data center development and current situation analysis[J].Computer CD Software andApplictions,2014,17(2):107-109.

[2]Zekauskas M.Measurement projects overview[R].Internet2 Measurement Working Group Meeting,San Diego,CA, Nov 20,1998.

[3]McGregor A,Braun H W,Brown J.The NLANR network analysis infrastructure[J].IEEE Communications Magazine,2000,38(5):122-128.

[4]Fang Zhongliang,Cao Zheng.Method for measuring the performance of end-to-end network[J].Journal of Huazhong University of Science and Technology:Nature Science Edition,2003,31(S):83-85.

[5]Jiang Hao,Dovrolis C.Passive estimation of TCP roundtrip times[J]．Computer Communications Review,2002,32 (3):75-88.

[6]Paxson V,Adams A K,Mathis M.Experiences with NIMI [C]//Proceedings of the 2002 Symposium on Applications and Internet Workshops.Washington:IEEE Computer Society, 2002.

[7]Warren M,Les C.The PingER project:active Internet performance monitoring for the HENP community[J].IEEE Communications Magazine,2000,38(5):130-136.

[8]Shriram A,Murray M,Hyun Y,et al.Comparison of public end-to-end bandwidth estimation tools on high-speed links [C]//LNCS 3414:Proceedings of the 6th Passive and Active Measurement Workshop,Boston,USA,Mar 31-Apr 1, 2005.Springer International Publishing,2005:306-320.

[9]Castro R,Coates M,Liang Gang,et al.Network tomography:recent developments[J].Statistical Science,2004,19 (3):499-517.

[10]Duffield N G,Presti F L.Network tomography from measured end-to-end delay covariance[J].IEEE/ACM Transactions on Networking,2004,12(6):978-992.

[11]Wang Wei,Cai Wandong,Li Yongjun.Research of network tomography inference analysis theory and method[J].Application Research of Computers,2007,39(24):120-123.

[12]Chen Lin,Huang Jie,Gong Zhenghu.An anti-noise text categorization method based on support vector machines[C]// LNCS 3528:Proceedings of the 3rd International Conference on Web Intelligence,Lodz,Poland,Jun 6-9,2005.Berlin,Heidelberg:Springer,2005:272-278.

[13]Chen Lin,Huang Jie,Gong Zhenghu.Computing the optimal action sequence by niche genetic algorithm[C]//LNCS 3698:Proceedings of the 28th German Conference on Artificial Intelligence,Koblenz,Germany,Sep 11-14,2005.Berlin, Heidelberg:Springer,2005:148-160.

[14]Feng Jianru,Liu Ruifang.Research to network performance measurement[J].Telecom Engineering Technic and Standardization,2005(8):75-78.

[15]Wang Wei,Cai Wandong,Li Yongjun.Analysis of the grid network performance measurement based on network tomography[J].Computer Science,2007,34(5):45-47.

[16]Tirumala A,Cottrell L,Dunigan T.Measuring end-to-end bandwidth with Iperf using Web100[C]//Proceedings of the 2003 Passive and Active Measurement Workshop,San Diego,USA,Apr 6-8,2003.

附中文參考文獻：

[1]王建平,毋丹,邵勇,等.數據中心發展及現狀分析[J].計算機光盤軟件與應用,2014,17(2):107-109.

[4]方鐘亮,曹爭.一種實現端到端網絡性能測量的方法[J].華中科技大學學報:自然科學版,2003,31(S):83-85.

[11]王偉,蔡皖東,李勇軍.網絡斷層掃描中推斷分析理論與方法研究[J].計算機應用研究,2007,39(24):120-123.

[14]馮建茹,劉瑞芳.網絡性能測量的研究[J].電信工程技術與標準化,2005(8):75-78.

[15]王偉,蔡皖東,李勇軍.基于網絡斷層掃描的網格網絡性能測量分析[J].計算機科學,2007,34(5):45-47.

ZHANG Feipeng was born in 1987.He is an M.S.candidate at National University of Defense Technology.His research interests include network measurement and data analysis,etc.

張飛朋（1987—），男，河南開封人，國防科學技術大學碩士研究生，主要研究領域為網絡測量，數據分析等。

CHEN Lin was born in 1976.She received the Ph.D.degree from National University of Defense Technology in 2005.Now she is an associate professor at National University of Defense Technology.Her research interests include network management and data center network resource management,etc.She has published more than 20 papers,and has done a national natural science foundation and a hunan province natural science foundation.

陳琳（1976—），女，福建隴海人，2005年于國防科學技術大學獲得博士學位，現為國防科學技術大學副教授，主要研究領域為網絡管理，數據中心網絡資源管理等。已發表學術論文20多篇，主持湖南省自然科學基金1項、承擔國家自然科學基金1項。

ZHANG Jingjing was born in 1987.He is an M.S.candidate at National University of Defense Technology.His research interests include network analysis and network security,etc.

張京京（1987—），男，河南洛陽人，國防科學技術大學碩士研究生，主要研究領域為網絡分析，網絡安全等。

Measurement and Performance Bottleneck Analysis Method for Large-Scale Complex Networks*

ZHANG Feipeng+,CHEN Lin,ZHANG Jingjing
College of Computer Science,National University of Defense Technology,Changsha 410073,China
+Corresponding author:E-mail:zfp8788@163.com

The characteristics of current data center are that the network scale becomes huge,and the flow behavior becomes complex,studying large-scale data center network measurement method and positioning the current network performance bottleneck become increasingly important.This paper analyzes the current status of network measurement research,and presents an automatic measurement-distributed automatic measurement and performance bottleneck analysis method(AM-DMPA).The method can automatically generate the measurement task set,issue measurement tasks,and according to the measurement results,it can convergence the size of the network to be measured and can fast locate the network performance bottleneck link.Based on the typical large-scale data center of Tianhe 2,six different sizes of network environment are selected to compare AM-DMPA method with traditional methods of network measurement,theAM-DMPAmethod can quickly find and locate the bottleneck link in the network.

data center;distributed automatic measurement;performance bottleneck link

10.3778/j.issn.1673-9418.1512056

A

TP393

*The National Natural Science Foundation of China under Grant No.61379148(國家自然科學基金).

Received 2015-11,Accepted 2016-01.

CNKI網絡優先出版:2016-01-04,http://www.cnki.net/kcms/detail/11.5602.TP.20160104.0953.008.html

ZHANG Feipeng,CHEN Lin,ZHANG Jingjing.Measurement and performance bottleneck analysis method for large-scale complex networks.Journal of Frontiers of Computer Science and Technology,2017,11(2)：262-270.