無損以太網關鍵技術研究

羅鑒 宋曉麗

中圖分類號：TN915.1文獻標志碼：A 文章編號：1009-6868 (2012) 04-0027-005

摘要：文章認為為使以太網能更好地適應數據中心網絡融合需求，需對現有以太網進行全面性能提升，以實現低延時、無損的增強型以太網。文章探討了無損以太網關鍵技術：量化擁塞通知(QCN)、基于優先級的流控(PFC)、增強傳輸選擇(ETS)、自動發現和能力交換協議(DCBX)，并對這些技術的特點及協議兼容性進行了研究和分析。文章認為無損以太網技術是保障數據中心網絡基礎設施在處理網絡流量過程中低延遲、無丟包的關鍵技術，將逐步為數據中心產品所支持。

關鍵詞：無損以太網；擁塞管理；流量控制；增強傳輸選擇

Abstract:Before converging Ethernet in data centers, it is necessary to improve the performance of existing Ethernet so that low-delay, lossless enhanced Ethernet can be achieved. In this paper, we introduce the key technologies in lossless Ethernet networks, including quantized congestion notification, priority-based flow control, enhanced transmission selection, and data-center bridging exchange. We analyze protocol compatibility between these technologies and predict the future of these technologies. Lossless Ethernet technologies are central in creating low-delay, lossless data-center networks and will be supported in all future data-center products.

Key words:lossless Ethernet; congestion management; flow control; enhanced transmission selection

新的數據中心中無損以太網技術是關鍵技術之一，國際電子電氣工程師學會(IEEE) 802.1數據中心橋接(DCB)工作組為此定義了多個標準。這些標準主要有：

(1)802.1 Qau[1]，該標準定義了后向擁塞通知協議，也稱量化擁塞通知(QCN)。其主要原理是當配置擁塞檢測點(CP)的橋端口檢測到擁塞情況，則通過擁塞通知消息(CNM)將擁塞情況反壓給導致擁塞的反應點(RP)，通知其進行自身數據傳送速率的控制。

(2)802.1 Qbb[2]，該標準定義了基于優先級的流控(PFC)。該標準采用了類似802.3X的暫停(PAUSE)機制，但PAUSE機制是對每個優先級單獨進行的。

(3)802.1Qaz[3]，該標準包括增強傳輸選擇(ETS)、自動發現和能力交換協議(DCBX)兩部分。其中ETS將具有相同時延、丟包要求的不同優先級業務流劃分到一個流量類別(TC)組，并為該TC分配一定比重的可用帶寬，以滿足不同應用對傳輸帶寬的需求；DCBX主要是通過擴展鏈路層發現協議(LLDP)的類型長度值(TLV)實現DCB控制層面協議。

(4)802.3bd[4]，該標準是為支持802.1Qbb PFC而對802.3[5]媒體訪問控制(MAC)控制幀進行的修訂，用于通過修訂后的M_CONTROL PFC原語實現對各優先級的PFC功能的使能和流量控制。

1 無損以太網關鍵技術

1.1 量化擁塞通知

QCN是IEEE 802.1Qau標準所定義的擁塞管理機制。相對于其他擁塞管理技術，QCN采用了相對精準的后向擁塞通知機制，在核心網絡設備基于出端口隊列設置擁塞檢測點，檢測到擁塞發生則組建包含擁塞程度的擁塞通知消息CNM，并反壓至導致擁塞的源終端，令其依據CNM指示降低相應流的數據傳送速率。

圖1為QCN擁塞控制機制示意圖，終端數據流在設置了擁塞檢測的核心網絡設備匯聚，若發生擁塞，核心設備則根據擁塞程度組建CNM通知相應的終端降低速率。

圖1中核心網絡設備B6檢測其出端口緩沖占用率并采樣收到的幀，一旦發生擁塞即生成擁塞通知消息CNM，反壓到造成擁塞的數據幀的源節點，其中檢測擁塞的網絡功能實體為擁塞檢測點(CP)，對擁塞情況進行反應并進行相應數據速率調節的功能實體為反應點(RP)。

由上述QCN機制可見，其核心組件主要是用于檢測網絡擁塞的CP和用于調整終端速率的RP，下面將分別就CP和RP的工作原理進行簡要介紹。

(1)擁塞檢測點

CP是通過對于當前緩存占用情況的衡量來決定是否需要調整當前來包的速率，以及調整幅度的大小；通過對來包采樣來決定通知哪個源站點降低傳送速率。CP的緩存如圖2所示。

圖2中，Qeq是一個門限值，通常為物理緩存的20%，Q為當前隊列長度，Q off =Q -Q eq代表當前隊列超出閾值的長度。定義Q old為上次反饋F產生時的隊列長度，Q? =Q -Q old反應了自上一次F發送后的速度增加情況。則F的計算公式為：

這里w是一個非負常數，基準值為2。根據上述對于Q off和Q old的定義，當F為負(F <0)時，證明緩存過溢，需反饋CNM消息；當F >=0時，說明沒有擁塞發生，因此不需反饋擁塞消息。當F為負，即判斷有擁塞發生時，CP將提取被采樣報文的源地址作為CNM消息的目的地址，并將反應擁塞程度的參數信息作為CNM消息的有效負荷反壓至源終端，令其降低數據傳送速率。

(2)反應點

RP主要是基于CP反饋回來的CNM消息調整傳送速率，以進行擁塞管理或自動帶寬恢復，此外還可用于探測額外的可用帶寬。

對于傳送速率的調整，分為降低發送速率和增加發送速率。發送速率的降低可通過CNM消息及其攜帶的參數判斷執行，然而CNM消息中并沒有通知速率恢復/增加的參數，因此RP提供了一種用于自動增加傳送速率的機制，即等待一定周期內若沒有收到CNM消息，則判斷擁塞解除或無擁塞發生，并按照約定規則自行增加數據傳送速率。其中等待周期的設置是根據CP點抽樣概率而定的，通常為100個包的長度，這樣設置的思路是，假設CP的最小采樣概率是1%，當RP點已經傳送100個包，還未收到擁塞通知，則可判定CP未發生擁塞，因此RP將按照約定原則增加其傳送速度。

1.2 基于優先級的流控

PFC是基于優先級的流控機制，該機制是在802.3ad的PAUSE機制上做了修改，將流量按802.1Q協議中虛擬局域網(VLAN)標簽的優先級字段分為8個優先級，對每個優先級的流量分別實現獨立的PAUSE機制。其原理機制如圖3所示。

PFC為基于每優先級的鏈路級流控，該功能通過M_CONTROL PFC原語實現，該原語是源于IEEE 802.3 MA_CONTROL原語，為此IEEE802.1 DCB工作組特制訂了相應的802.3bd協議用以規范為擴展PFC原語而對IEEE 802.3 MAC控制幀所作的修改。當PFC功能在某個端口使能，那么該端口IEEE 802.3 PauseAdminMode應關閉以免造成誤處理。

M_CONTROL PFC原語包含請求和指示兩種，若全雙工鏈路一側用戶希望阻止對端某一優先級數據的傳輸則產生M_CONTROL.request原語，作為對該原語的處理，對端對等實體會收到相應的MA_CONTROL.indication原語。這兩個原語operand_list參數包含priority_enable_vector和time_vector兩個字段，分別用于指示各優先級PFC使能情況，以及需要暫停數據傳送的時長。

考慮延時和處理時長的關系，接收方需要確保有足夠的緩存來存放從發送PFC PAUSE請求到遠端系統對PFC PAUSE幀作出反應之前所發送的報文，以免報文因緩存溢出而丟失。精確地計算緩存容量需求與網絡實現密切相關。圖4顯示了延時計算模型。

該模型中包含4個部分：

?PFC PAUSE幀產生和排隊時長

?PFC PAUSE幀通過物理介質的時長

?遠端對于PFC PAUSE幀的響應時長

?返回路徑的物理介質傳輸時延

為了保證無損的以太網絡，PFC技術實現中緩存的設計一定要充分考慮到時延的最壞情況。

1.3 增強傳輸選擇

ETS提供了一種數據中心環境下優先級處理和帶寬分配的操作模型，通過ETS的使用，可以將不同類型業務比如局域網、存儲、集群、管理劃分至不同的流量類別(TC)，并為其提供相應的帶寬分配或盡力而為服務。ETS典型應用示例如圖5所示。

ETS是對輸出端口傳輸選擇實體功能的改進與增強。其思路是按照不同應用的傳輸性能(帶寬、丟包、時延等)需求將端口流量分配至不同的TC，并為每個TC分配一定比例的可用帶寬。同一TC中的流量享受相同的待遇(帶寬、丟包等)。例如，數據中心中網絡流量按應用類型分為交互進程通信(IPC)數據、存儲區域網絡(SAN)數據和普通局域網(LAN)數據3類，這3類數據對網絡性能的要求不同，IPC數據對時延敏感；SAN數據對丟包敏感；LAN數據對網絡要求最低，能適應現在的以太網。于是ETS就將這3類數據劃分至不同的TC，每個TC組分配不同的帶寬比，以確保在網絡帶寬不足時關鍵數據能優先使用帶寬資源，IPC數據優先于SAN數據，LAN數據優先組級別最低。

ETS支持3～8個TC。之所以ETS至少應支持3個TC，是為了滿足ETS的最低配置，即一個TC包含PFC使能的優先級，一個TC包含PFC非使能的優先級，一個TC使用嚴格優先級。每個TC可以包含一個或多個優先級，同屬于一個TC的所有優先級共享為該TC分配的帶寬，若該組的實際使用帶寬小于為其分配的帶寬，那么空閑的帶寬可為其他業務流量臨時占用。

1.4 自動發現和能力交換協議

DCBX是應用于DCB的控制層協議，該協議的主要目的是：

?DCBX了解對端設備的DCB能力，比如對端設備是否支持PFC和ETS。

?DCBX檢測設備關于DCB功能配置的不匹配。不匹配的檢測特性相關，有一些是允許不對稱配置的。

?在對端設備允許的情況下，DCBX為對端設備進行DCB功能配置。

該協議主要應用于DCB的PFC、ETS特性，IEEE 802.1 Qau能力的協商與檢測采用了類似該協議的機制，它們都是承載于IEEE 802.1AB LLDP[6]協議的TLV字段傳輸。

2 無損以太網關鍵技術

特點及協議兼容性分析

PFC協議的目的是實現“零丟包”的無損傳輸。其優點是基于全雙工，反應快，能夠快速緩解擁塞，用于處理網絡流量浪涌是不錯的選擇。PFC協議但并沒有根本解決問題，還會導致擁塞擴散。PFC協議比較適合小規模的組網環境。

QCN主要是通過橋接設備和終端設備對該協議的支持，實現后向擁塞的精準控制。該協議的使用能夠從根本上解決網絡的擁塞問題，找到導致擁塞的最源節點，并通知其降低速率；缺點是因CNM消息往往要跨網絡多節點傳輸，反應速度較慢，擁塞發生后往往需要一段時間才能產生顯著效果。QCN與PFC的聯合使用是一個不錯的解決方案，一方面PFC能夠快速緩解網絡擁塞問題，另一方面，QCN能夠根本的解決擁塞問題。QCN可以看做是PFC的補充解決方案。

ETS實現了帶寬資源的合理利用，按照不同應用的傳輸性能(帶寬、丟包、時延等)需求將端口流量分配至不同的TC組，并為每個TC組分配一定比例的可用帶寬。ETS提供了一種數據中心環境下優先級處理和帶寬分配的操作模型，通過ETS的使用，可以將不同類型業務比如LAN、存儲、集群、管理劃分至不同的TC組，并為其提供相應的帶寬分配或盡力而為服務。通過ETS的使用，人們

實現了有限帶寬資源的最大化利用。

DCBX協議是無損以太網技術控制層面的協議，設備對于DCBX的支持是實現PFC和ETS的前提。通過該協議的使用，實現直連對等設備間配置信息交換，不匹配檢測及對端參數配置等。

通過上述分析可以看出，無損以太網涉及到的各項技術均是出于不同的目的(如無丟包、低延遲、增加帶寬利用率等)單獨設計實施的，那么在各項技術使用時，是否會遇到不同協議共存的協調性問題呢？下面將就無損以太網涉及的各項關鍵技術，從兼容性角度進一步進行分析。

PFC在點到點全雙工鏈路基于優先級隊列中實現，對等實體間的配置應一致。PFC的觸發條件，可以為輸入緩存達到一定閾值(并未作具體規定)。PFC產生后主要作用于各個輸出隊列。當與QCN同時使用時，因QCN檢測也是基于出端口優先級隊列，應注意PFC與QCN觸發的閾值設置問題。PFC與QCN共用應用場景如圖6所示。如PFC的閾值設置不當(較低)，就會導致QCN機制的失效。因此綜合考慮，合理設置QCN與PFC的閾值是十分必要的。

圖6中，當網絡發生擁塞時，設備E的入端口會產生用于PAUSE某優先級的PFC指示，同時QCN也應基于對出端口的擁塞檢測，創建CNM消息反壓至導致擁塞的源節點。該場景中，如無法掌握閾值合理設置，采用QCN來觸發PFC也是一種可選方案，這種方案使得網絡擁塞時，PFC可以較快速的響應并暫時緩解擁塞，QCN則利用PFC作用時間從根本上解決擁塞。在有些芯片具體實現中，QCN邊緣也可通過QCN觸發PFC。主要是解決終端不支持QCN的情況。

當PFC與ETS或者其他協議共用時，應充分考慮優先級與TC的映射。如果出端口多個優先級數據映射到同一個物理先入先出(FIFO)隊列，一個優先級被PAUSE可能會導致同隊列的其他優先級受連累的情況。優先級TC映射不一致導致PFC異常情況舉例如圖7所示(在與PFC共用的情況下應充分考慮優先級隊列與TC的映射關系)。

QCN主要基于設備出端口隊列進行，出端口緩存達到一定的閾值則創建CNM消息反壓至導致擁塞的終端。該協議的使用不會對其他協議產生共存方面影響。相反，該協議與PFC共用能夠更好的解決網絡擁塞問題(如6所示)。

ETS是對端口輸出隊列進行分組，形成虛擬TC隊列，并依此執行相應的調度，以實現帶寬的合理充分利用。不會對出端口物理隊列產生實質的影響，因此它不會對其他協議產生影響。

此外，無損以太網在與TRILL[7]網絡共同使用時，PFC與ETS是基于全雙工鏈路的，不會出現什么問題，QCN機制中因CNM的目的地址是直接提取被抽樣數據報文的源地址，而TRILL網絡源地址信息是每跳更新的，因此QCN無法將CNM正確地反壓回去。網絡部署中，如果采用TRILL網絡，則相應的QCN必須具備擁塞通知互通功能，在網絡邊緣重建CNM消息反壓至正確的源終端。另外，當與TRILL網絡共同使用時，還應充分考慮網絡邊緣優先級的映射問題，最好可以做到優先級的一一映射，否則QCN機制可能出現錯誤。

3 結束語

無損以太網技術是保障數據中心網絡基礎設施在處理網絡流量過程中低延遲、無丟包的關鍵技術。伴隨云計算以及下一代數據中心網絡的快速發展，日益增長的應用需求以及網絡需求對于無損以太網性能的要求越來越高[8-14]。可以預見，無損以太網技術將逐步為數據中心產品所支持，并成為數據中心網絡性能提高的基礎性關鍵技術。

4 參考文獻

[1] IEEE Std 802.1qau-2010, IEEE standard for local and metropolitan area networks -- Virtual bridged local area networks, Amendment 13: congestion notification [S]. 2010.

[2] IEEE Std 802.1qbb-2011, IEEE standard for local and metropolitan area networks — Virtual bridged local area networks, Amendment19: PBB-TE Infrastructure Segment Protection [S]. 2011.

[3] IEEE Std 802.1qaz-2011, IEEE standard for local and metropolitan area networks —Media access control (MAC) bridges and virtual bridged local area networks—Amendment 18: Enhanced transmission selection for bandwidth sharing between traffic classes [S]. 2011.

[4] IEEE Std 802.3bd-2001, IEEE standard for information technology —Telecommunications and information exchange between systems — Local and metropolitan area networks — Specific requirements, Part 3: Carrier sense multiple access with collision detection (CSMA/CD) access method and physical layer specifications, Amendment 8: MAC control frame for priority-based flow control [S]. 2001.

[5]IEEE Std 802.3-2005, IEEE standard for information technology - Telecommunications and information exchange between systems — Local and metropolitan area networks — Specific requirements, Part 3: Carrier sense multiple access with collision detection (CSMA/CD) access method and physical layer specifications [S]. 2005.

[6] IEEE Std 802.1ab-2009, IEEE standard for local and metropolitan area networks— Station and Media Access Control Connectivity Discovery [S]. 2009.

[7] Perlman R, EASTLAKE D, DUTT D, et al. Routing bridges (RBridges): Base protocol specification [S]. IETF. RFC 6325. 2011.

[8] 唐雄燕. 電信運營商的云計算與物聯網發展策略 [J]. 中興通訊技術, 2011,17(2):33-36.

[9] 毛玉泉, 李思佳, 李波, 鄭秋榮. 一種新的多鏈路輪詢方案 [J]. 重慶郵電大學學報(自然科學版), 2011,23(5):585-592.

[10] 高洪, 董振江. 云計算分布式緩存技術及其在物聯網中的應用 [J]. 中興通訊技術, 2011,17(4):37-40.

[11] 施華雷, 王寧, 劉宇, 田增山. 以太網數字影像遙測編碼器的硬件設計與實現 [J]. 數字通信,2 012,(1):49-54.

[12] 徐志發. 中國云數據中心的優化布局與科學發展 [J]. 中興通訊技術, 2011,17(6):37-39.

[13] 吳少勇, 甘玉璽, 張翰之. 以太網的環路檢測技術 [J]. 中興通訊技術, 2012,18(1):40-43.

[14] 薛一波, 易成岐. 云存儲 [J]. 中興通訊技術, 2012,18(1):57-60.

收稿日期：2012-05-10

作者簡介

羅鑒，四川大學計算機科學系碩士畢業；中興通訊股份有限公司承載網預研部部部長；從事數據和光通信研究；已發表技術論文10余篇。

宋曉麗，中興通訊股份有限公司三級主任工程師；主要從事云計算數據中心方面的技術研究，負責相關領域技術預研、相關標準跟蹤及制訂等；已成功申請創新專利20余項，完成行業標準3項。