電力通信中基于動態閾值的流量控制機制研究

劉金鎖，孫信軍，李 洋，馮 寶，高凱強

(1.南瑞集團公司(國網電力科學研究院)，江蘇 南京 211000；2.南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

電力通信中基于動態閾值的流量控制機制研究

劉金鎖1，孫信軍1，李 洋1，馮 寶1，高凱強2

(1.南瑞集團公司(國網電力科學研究院)，江蘇 南京 211000；2.南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

InfiniBand架構(IBA)是一種基于交換機的互連技術，擁有高帶寬和低時延的特點。InfiniBand網絡很適合構建高速網絡集群系統并且已經被批準為I/O技術和進程間通信標準。提出了一種適用于電力廣域高性能計算網絡的基于動態工作閾值的有效流量控制方法。與以往的靜態閾值方法不同，該方法根據一個周期內對鏈路中業務流量的監聽，記錄下突發大流量，最后根據所記錄的流量特點來動態設定工作閾值。交換機對業務流量評估是一個動態連續的過程，對每一個業務流的最大突發值進行評估，動態調整仲裁表來設置恰當的閾值門限，使每個信道都能適應當前鏈路的流量特點，提高網絡突發大流量的處理能力、帶寬利用率和傳輸效率，降低網絡能耗、丟包率和時延。采用最大熵原理(Maximum Entropy,ME)來分析所提出的流量控制機制，并用廣義指數分布GE-Type模擬業務流到達率和業務服務時間。仿真結果表明，所提出的機制可以實現電力通信網絡中廣域高性能計算網絡流量的有效控制。

InfiniBand技術；動態閾值；流量控制；GE-Type；最大熵原理

1 概 述

隨著智能電網的飛速發展，電力通信網絡結構日益復雜，承載業務日趨多元化。電力通信部門需要通過可靠、有效的技術手段對網絡業務流量進行監控，以降低能耗、丟包率和網絡時延。然而，由于交換機網絡技術的固有缺陷，如網絡風暴、網絡擁塞、流量管理和控制等，在一定程度上影響了站內系統的安全與性能。為避免上述風險，必須做好變電站通信網絡的規劃設計，應使用具備風暴抑制和流量管理功能的專用交換機，并采用合適的網絡架構和流量管控措施[1]。但現有方式無法完全實現流量的有效控制問題。

高性能計算網絡集群已被廣泛地應用于不同的領域去解決富有挑戰性的問題[2]。從高端的浮點密集型科學和工程計算問題到商業數據密集任務，很多現行的產品已經實現了吞吐量最大化和延時最小化，但在帶寬保證、有限的數據包投遞時間和有限的到達時延等方面仍存在不少問題。Infiniband網絡由于其可擴展性成為高性能計算網絡的首選。Infiniband架構是一種新的工業架構標準，可以使Infiniband網絡支持時延約束和多種QoS服務要求的應用。Infiniband提供了一系列機制，例如：服務級別(Service Levels，SL)、虛擬鏈路(Virtual Lanes，VL)、虛擬鏈路仲裁表(VLArbitration Table)，通過一定配置可以提供滿足不同業務需求的QoS服務[3]。這些機制包括不同的業務類型和不同輸出端口的仲裁。仲裁表存儲在Infiniband網絡的交換機中，可以根據嚴格的QoS要求配置數據包的優先權[4]。現有技術中有一種固定工作閾值的流量控制機制[5-6]，該方法雖在一定程度上提高了鏈路吞吐量，降低了時延，但是由于部分電力業務具有突發大流量的特點，僅設置一個靜態閾值難以滿足各類電力業務的通信需求。靜態閾值過低，交換機會頻繁切換，導致網絡延時和能耗增加。相反地，靜態閾值設置過高，交換隊列的長度就會增加，導致網絡延時增加、帶寬利用率下降，當突發流量到達時會導致數據包的丟失，可見靜態閾值不是有效的配置方法。

文中提出了一種有效地應用于Infiniband網絡中的動態流量控制機制。該機制的基本思想是在虛擬鏈路仲裁表中給虛擬鏈路引入一個動態的工作閾值，這些閾值通過嚴格的QoS限制有效控制了不同業務的帶寬劃分，從而提高了系統的總體性能。采用廣義指數分布對外部的通信量進行建模，捕獲網絡突發數據流量，利用信息論中的最大熵原理可以得出近似的分析結果，實現對通信網絡的簡單、可靠、高效的分析和預測。

2 一種基于動態閾值的流量控制機制

2.1 Infiniband網絡

Infiniband技術規范描述了一個系統區域網絡連接了多重獨立的處理器平臺、I/O平臺和I/O設備等。SAN是一個通信管理設備，支持單個和多個計算機系統的I/O流和處理器間通信。IBA的設計是基于交換機的高速點到點鏈路互連技術。一個IBA網絡可以劃分為由路由器互連的多個子網，每個子網由一個或多個交換機、處理節點和I/O設備組成。在IBA中，消息是通信的基本單元，數據被分成數據包在鏈路上傳輸。每一個數據包包括數據頭信息和實體數據，每一個包的長度為256字節到4 096字節[7]。IBA有三種機制支持QoS：服務級別，虛擬鏈路和虛擬鏈路仲裁表[8]。IBA中規定了最大16個服務級別，它取決于管理員如何在不同服務級別之間分派不同的流量類型，并提供了一個字段用來標記服務的級別。根據不同的需求處理不同的業務，可以在一條物理鏈路上創建多條虛擬鏈路連接機制。

在Infiniband網絡中，每一個節點最小有兩個最大16個服務級別(VL0,VL1,…,VL15)。VL15是為子網管理預留的，所有端口都支持并有最高的數據業務級別。因為交換機支持不同的服務級別，子網管理器通過端口的使用數量來配置服務級別的數量。當有超過兩個服務級別執行時，仲裁機制將允許一個輸出節點選擇虛擬鏈路進行傳輸。由于VL15用來進行流量控制，并且擁有最高的優先權，因此僅對數據的服務級別進行仲裁。虛擬鏈路仲裁表定義了數據通道的優先級別，如圖1所示。

圖1 仲裁表結構

2.2 流量分類

Pelissier基于目前應用的QoS提出了五種業務級別[9]：專用帶寬時間敏感業務、專用帶寬業務、盡力優先服務(Preferential Best Effort，PBE)、盡力服務和富有挑戰性的流量業務。每一類使用一個不同的SL，因此可以達到所要求的QoS。下一步是找到合適的方法填寫仲裁表。Pelissier提出對于DBTS業務使用高服務級別，其他業務使用低服務級別。Alfaro等提出了一種填補仲裁表權重的策略[5]。上述兩種方法在廣域高性能網絡中處理突發流量時都存在時延過大和丟包率的問題，因此文中提出一種新的有效的流量控制機制。利用動態閾值以有效填寫虛擬仲裁表，提高了網絡突發大流量的處理能力、帶寬利用率和傳輸效率，降低了網絡的能耗、丟包率和時延。

2.3 過程分析

如圖2所示，本地通信代理根據每個交換機的本地信息來決定接受或拒絕連接請求。這些信息包括輸出鏈路的狀態以及它們已預留的帶寬。當一個連接被接受，代理根據連接請求更改虛擬鏈路仲裁表，而且為每一個虛擬鏈路設定初始工作閾值，閾值函數是一個增加排隊系統利用率的擁塞控制函數，并且是否到達工作閾值取決于每一個虛擬鏈路的流量大小。交換機動態地記錄下鏈路中的突發大數據流量。每一個虛擬鏈路保持各自的動態閾值。動態閾值(Dynamic Threshold，DT)的計算公式為：

DT=Lcap-LBtotal

(1)

其中，Lcap為虛擬鏈路的容量；中間變量LBtotal計算如下：

(2)

其中，LBmaxi表示第i條虛擬鏈路觀察到的最大流量。

圖2 系統流程圖

重點關注擁有高優先權的VLi并且按照服務時間分布，到達工作閾值，先到先服務(FCFS)的原則，把它模擬成一個業務到達間隔服從廣義指數分布GE/GE/1/N/ET/FCFS的排隊系統[10]。業務級別VLs可分為兩個部分：常態VLs和共享VLs，如圖3所示。

當某一特定VLi的業務量到達閾值時，系統就會分派空閑共享VLs傳輸數據包，共享過程如圖4所示。

假設虛擬鏈路A的服務速率為u，容量為N，當高優先權的VL業務量達到其閾值(L1)時，VLA將會占用一個空閑的共享虛擬鏈路VLB。服務率將從u1變為u2，而容量從N增加到2N。另一方面，當業務量小于閾值時，VLA不能使用共享虛擬鏈路。同時，若VLB的業務量達到了其閾值L2，則來自高優先級的虛擬鏈路將會占用第二條共享的虛擬鏈路[11]。

圖3 激活共享鏈路過程

圖4 虛擬鏈路共享過程

3 算法分析

3.1 GE-Type分布

GE-Type分布常被用來模擬到達時間間隔和服務時間[12-13]，形式如下：

F(t)=P(W≤t)=1-τe-σt,t≥0

(3)

τ=2/(C2+1)

(4)

σ=τv

(5)

其中,W為隨機變量；1/v和C2分別為均值和方差。

均值和方差是隨機變量的兩個重要參數，GE-Type分布具有很強的通用性和無記憶性，使得很多基于GE排隊模型系統的分析很方便。突發性到達過程由方差和到達時間間隔來表征，這可以模擬突發性流量。文中用GE-Type分布來模擬無線帶寬網絡中的突發業務，推導出平均隊列長度和阻塞概率。提出的流量控制機制基于如下假設：

(1)當某一虛擬鏈路的流量達到閾值時，系統就會嘗試使用空閑的共享信道傳輸數據包。如果所有的共享信道被占用，那么這些業務就會在虛擬鏈路仲裁表中等待。

(2)一旦虛擬鏈路j接受來自VLi的數據包，那么在VLi數據傳輸完成前，不能接受其他VL的數據。

(3)當VLi完成所有的數據包傳輸時，虛擬鏈路i會被立即釋放。

為了清晰起見，每個符號的意義如表1所示。

表1 參數表

(6)

式(6)歸一化得：

(7)

平均隊列長度為：

(8)

3.2 最大熵原理

狀態概率分布P(n)(n=1,2,…,iN)可由最大熵函數表征：

(9)

系統模型的最大熵的狀態概率分布由下式給出：

(10)

其中：

(11)

利用歸一化限制，可以推導出P(0):

(12)

由式(10)和式(12)可得隊列長度的概率分布為：

(13)

式(13)表示在平均隊列長度的約束下門限值為T的GE/GE/1隊列的最大熵[14]，所以很容易得出拉格朗日系數gi和xi(i=1,2)為：

(14)

(15)

其中

(16)

(17)

進一步得出：

(18)

(19)

最后得出平均隊列長度為：

(20)

(21)

其中

(22)

(23)

(24)

4 仿真結果分析

用仿真結果和ME算法值進行誤差評估，平均隊列長度誤差函數(Error Measures,EM)為：

(25)

基于ME對文中提出的動態閾值模型和先前的靜態閾值進行研究對比，如圖5所示。

圖5 對平均隊列長度的影響

圖中，仿真結果和ME預測的結果在誤差允許的范圍內是一致的。通過計算發現，誤差值在0.05～0.1之間，證明了結果分析的正確性。所以閾值函數可以由ME的解來計算，并且圖中動態閾值的平均隊列長度明顯好于靜態閾值，減少了隊列的平均長度，降低了通信時延和丟包率，并且提高了帶寬利用率和傳輸效率。

圖6為動態閾值函數和靜態閾值函數的阻塞概率對比曲線。

圖6 對阻塞概率的影響

從圖6可知，動態閾值算法可以有效降低阻塞概率，提高網絡突發大流量的處理能力。

5 結束語

文中提出了一種適應于電力通信系統的廣域高性能計算網絡中基于動態閾值的有效流量控制方法。首先本地代理根據連接請求更改虛擬鏈路仲裁表，并且為每一個虛擬鏈路設定初始的靜態工作閾值，其次交換機動態地記錄下鏈路中的突發大數據流量，最后仲裁表根據記錄的突發數據流量信息，動態調整本鏈路中的工作閾值。仿真結果表明，該方法提高了網絡突發大流量的處理能力、帶寬利用率和傳輸效率，降低了能耗、丟包率和網絡時延。

[1] 鄭涪文.交換機流量限制技術及其在智能變電站的技術應用分析[J].華東科技:學術版,2016(6):254.

[2] 黃建強,吳 利,曹騰飛,等.基于高性能計算平臺和WRF環境實驗的教學改革[J].實驗室研究與探索,2016,35(2):94-97.

[3] 夏曉爽,劉 軼,王允彬,等.基于InfiniBand的多鏈路mesh/torus大規模并行系統互連網絡[J].計算機研究與發展,2012,49(1):76-82.

[4] 徐迪威,余焯佳.InfiniBand高速互連網絡設計的研究[J].電腦與電信,2012(7):26-29.

[5] Alfaro F J,Nchez J,Duato J.A new strategy to manage the InfiniBand arbitration tables[J].Journal of Parallel & Distributed Computing,2009,69(6):508-520.

[6] Gran E G,Reinemo S A,Lysne O,et al.Exploring the scope of the InfiniBand congestion control mechanism[C]//26th IEEE international symposium on parallel and distributed processing.[s.l.]:IEEE,2012:1131-1143.

[7] Kim E J,Yum K H,Das C R,et al.Performance enhancement techniques for InfiniBand architecture[C]//International symposium on high-performance computer architecture.[s.l.]:IEEE,2003.

[8] Alfaro F J,Sánchez J L,Duato J.A strategy to manage time sensitive traffic in InfiniBand[C]//Parallel and distributed processing symposium.[s.l.]:[s.n.],2001.

[9] Pelissier J.Providing quality of service over Infiniband architecture fabrics[C]//Symposium on hot interconnects.[s.l.]:[s.n.],2000:127-132.

[10] 熊方方.M/M/l/N→M/M/c/K排隊系統及其在錨地中的應用研究[D].武漢:武漢理工大學,2010.

[11] 王東洋.基于虛擬設備的虛擬交換機設計[J].軟件,2012,33(1):42-45.

[12] 周宗好.通信網絡中的排隊模型研究[D].鎮江:江蘇大學,2011.

[13] Yahyaoui N,Sfina N,Lazzari J L,et al.Stark shift of the absorption spectra in Ge/Ge 1-x Sn x /Ge type-I single QW cell for mid-wavelength infra-red modulators[J].Superlattices & Microstructures,2015,85:629-637.

[14] Kouvatsos D D.Entropy maximisation and queueing network models[J].Annals of Operations Research,1994,48(1):63-126.

Research on a Flow Control Mechanism Based on Dynamic Threshold in Power Communication

LIU Jin-suo1，SUN Xin-jun1，LI Yang1，FENG Bao1，GAO Kai-qiang2

(1.NARI Group Corporation (State Grid Electric Power Research Institute),Nanjing 211000,China；2.College of Communication and Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

InfiniBand Architecture (IBA) is defined as a switch-based interconnection technology with high bandwidth and low-latency,which is suitable for constructing high-speed networks for cluster systems and has been ratified as a new industry standard for the server I/O and inter-processor communication.An efficient flow control mechanism with dynamic job threshold for InfiniBand networks is propopsed.Unlike the existing static threshold methods,it dynamically sets threshold according to the recording traffic in a cycle of traffic monitoring on the link.Switch to traffic assessment is a dynamic and continuous process.The maximum burst value of each business flow to assess,dynamic adjustment of the table to set the appropriate threshold.It can improve the processing capacity,bandwidth utilization,transmission efficiency of network burst traffic and reduce the delay,blocking probability,mean queue length.The principle of Maximum Entropy (ME) is adopted as an effective methodology to analyze the new mechanism with the generalized exponential distribution(GE-Type) for modeling the inter-arrival times and service times of the input traffic.The simulation results show that it can achieve the effective control of traffic flow in the high performance computing network in power communication.

InfiniBand;dynamic threshold;flow control;GE-Type;maximum entropy principle

2016-08-26

2016-11-29 網絡出版時間：2017-07-05

國家自然科學基金資助項目(61302100,61471203)；教育部博士點基金資助項目(20133223120002)；國家電網公司2016年科技項目

劉金鎖(1980-)，男，碩士研究生，高級工程師，研究方向為電力系統通信及信息安全防護技術。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1650.042.html

TP39

A

1673-629X(2017)08-0187-05

10.3969/j.issn.1673-629X.2017.08.039