一種基于NIC的RDMA可靠傳輸協議的設計與實現*

夏 軍，龐征斌，劉 路，張 峻，?？?/p>

(國防科學技術大學計算機學院，湖南 長沙 410073)

一種基于NIC的RDMA可靠傳輸協議的設計與實現*

夏 軍，龐征斌，劉 路，張 峻，?？?/p>

(國防科學技術大學計算機學院，湖南 長沙 410073)

高性能計算機不斷增長的規模和復雜性使得可靠性成為影響高性能計算機系統可用性的關鍵因素，系統互連網絡是高性能計算機的重要組成部分，其可靠性是高性能計算機系統設計必須考慮的重要問題。針對高性能計算機系統互連網絡可能出現的故障，提出一種基于NIC實現的RDMA可靠傳輸協議，給出了一種通用的設計實現方案，并對該方案的幾種具體優化設計實現方法進行了討論。提出的可靠傳輸協議及實現方案能容忍系統互連網絡可能出現的多種網絡故障，并能盡量減少實現可靠傳輸所帶來的額外開銷。實驗結果表明，所提出的RDMA可靠傳輸的實際測試性能與無連接RDMA傳輸相當。

RDMA；可靠性；網絡接口；可靠傳輸協議

1 引言

高性能計算機系統日益增長的規模和不斷增加的復雜性使系統硬件部件出現故障的可能性增大[1]，性能已不再是衡量系統好壞的唯一指標，系統的可用性成為高性能計算機系統設計需要優先考慮的重要因素。系統互連網絡既是高性能計算機系統的重要組成部分，也是容易出現瞬時或永久性故障的部件[2]?；ミB網絡一般會提供點點可靠傳輸機制，但卻無法應對諸如報文丟失或鏈路斷開這樣的網絡故障。一旦出現這樣的網絡故障，應用程序將無法正常完成，一般需要通過系統軟件提供的檢查點機制來恢復故障，然后從最近的檢查點開始重新執行。系統軟件提供的檢查點機制雖然能在一定程度上容忍網絡故障，但是檢查點的記錄會影響程序的執行性能，并且出錯恢復的軟件開銷也比較大。硬件通過提供端端可靠數據傳輸服務能容忍報文丟失或鏈路斷開這樣的網絡故障，與基于軟件的錯誤恢復方法相比，端端可靠數據傳輸機制能在消息級進行實時錯誤檢測和恢復，不影響程序正常執行，出錯后也不用暫停程序重啟執行，因此其錯誤檢測和出錯恢復的開銷較小。

Cray公司的SeaStar[3]、Gemini[4]和Aries[5]互連芯片主要依靠CRC檢錯和滑動窗口重傳機制保證點點可靠傳輸，硬件上未提供端端可靠傳輸服務，消息的端端可靠傳輸依賴于上層軟件實現。Infiniband[6]提供硬件級的端端可靠傳輸服務。但是，其用于連接服務的上下文信息保存在CPU內存中，一般每建立一個連接需要消耗幾KB的內存。隨著系統規模的增長和單結點線程數的增加，建立Infiniband連接所需的內存容量也會成倍增長，嚴重影響系統的可擴展性。Sivaram[7]基于IBM HPS網絡架構提出了一種可靠RDMA傳輸的解決方案，數據傳輸前首先使用會合協議建立連接，其用于連接服務的上下文信息存放在片外SRAM中，支持多路徑傳輸，具有良好的帶寬擴展性，但其使用的會合協議較為復雜，且RDMA寫被轉化為RDMA讀實現，傳輸延遲也較大。

本文提出了一種基于NIC實現RDMA可靠數據傳輸的方法，RDMA傳輸前首先建立連接，通過超時機制和消息級數據校驗機制進行錯誤檢測，通過端端重傳機制進行錯誤恢復。該方法將用于連接服務的上下文信息存放在NIC中，不消耗CPU內存，因此具有較好的可擴展性。本文還給出了基于NIC實現RDMA可靠數據傳輸的通用設計實現方案，分析了可能影響性能的幾個因素，并給出了具體的設計實現優化方法。最后通過一組基準測試程序對基于NIC的RDMA可靠數據傳輸性能進行了測試，測試結果表明其實測性能與無連接RDMA數據傳輸相當。

2 RDMA可靠傳輸協議設計

本文提出的RDMA可靠傳輸協議是在文獻[8]的基礎上改進而來的，使之更易操作且易于硬件實現。RDMA可靠傳輸協議是基于連接的協議，RDMA消息在發送之前首先需要在發送方和接收方之間建立連接，然后才能開始傳送消息，最后傳送完畢還需返回完成響應。在連接建立和消息傳送期間，可靠傳輸協議通過超時機制和消息級數據校驗機制進行錯誤檢測，通過重傳機制進行錯誤恢復。

連接建立和數據傳輸期間的各種狀態信息需要分別記錄在發送方和接收方，我們稱發送方用于記錄這些狀態信息的數據結構為發送方上下文，簡稱TCxt；接收方用于記錄這些狀態信息的數據結構為接收方上下文，簡稱RCxt。TCxt通過TCxtID進行索引，而RCxt通過RCxtID進行索引。發送方每建立一個連接就需要分配一個TCxtID，且對應的上下文信息存放在TCxt[TCxtID]中；同理，接收方每建立一個連接就需要分配一個RCxtID，且對應的上下文信息存放在RCxt[RCxtID]中。TCxt和RCxt數據結構中各個位域的定義如表1所示。

Table 1 Context structure of RDMAreliable communication protocol表1 RDMA可靠傳輸協議上下文數據結構

表1給出了RCxt每個連接獨立的數據結構，除此之外，RCxt還有所有連接共享的數據結構，即RCxtFreeNum和RCxtPRI。RCxtFreeNum記錄當前空閑的RCxt項數，而RCxtPRI記錄當前分配空閑RCxt所需的優先級。發送方采用連接建立申請和Nack重試的方式來競爭接收方有限的RCxt資源。每次重新申請建立連接，連接申請優先級就會增加，而接收方會記錄當前被拒絕的連接建立申請的最大優先級，防止發送方的連接申請出現餓死情形。RDMA可靠連接協議所使用的報文類型如表2所示。

Table 2 Packets of RDMA reliable communication protocol表2 RDMA可靠傳輸協議報文

RDMA可靠傳輸連接建立流程如下所示：

(1)發送方獲取TCxtID和MsgID，設置TTimer=TimerCnct，TStatus=連接申請，CnctPRI=0，TErrCnt=0，TRetryNum=0，發送CnctRqtApply報文。

(2)如果CnctRqtApply報文正確到達接收方(即既無丟失，也無消息級數據校驗錯):

①如果報文中的SendID、TCxtID與RCxt中的某項匹配：

a.如果報文中的MsgID與RCxt中的MsgID相同，則發送CnctRspAck報文。

b.否則丟棄該報文。

②如果報文中的SendID、TCxtID與任何RCxt項都不匹配：

a.如果RCxtFreeNum>0且報文中的CnctPRI≥RCxtPRI或RCxtFreeNum>1，新分配RCxt項，RCxtFreeNum遞減，如果CnctPRI≥RCxtPRI則置RCxtPRI=0。設置RTimer=TimerRcvData，Rpcnt=消息數據長度，Rrcnt=0，MsgID=報文中的MsgID，RRetryNum=0，RErrCnt=0，發送CnctRspAck報文。

b.否則，如果CnctPRI>RCxtPRI，則設置RCxtPRI=CnctPRI，發送CnctRspNack報文。

(3)如果CnctRqtApply報文到達接收方出現消息級數據校驗錯，則丟棄該報文。

(4)如果CnctRspAck報文正確到達發送方:

①如果能找到SendID、TCxtID、MsgID匹配的TCxt項且TStatus=連接申請，設置TTimer=TimerSendData，TStatus=發送數據，TRetryNum=報文中的RRetryNum，開始發送數據報文。

②否則丟棄報文。

(5)如果CnctRspNack報文正確到達發送方:

①如果能找到SendID、TCxtID、MsgID、RRetryNum匹配的TCxt項且TStatus=連接申請，設置TTimer=TimerCnct，TStatus=連接申請，CnctPRI遞增，發送CnctRqtApply報文。

②否則丟棄報文。

(6)如果CnctRspAck或CnctRspNack報文到達發送方出現消息級數據校驗錯，則丟棄該報文。

(7)如果TStatus=連接申請且TTimer=0。如果TErrCnt 還未達到允許的最大錯誤次數，則重置TTimer= TimerCnct，遞增TErrCnt，發送CnctRqtApply報文；否則回收對應的TCxt項。

在連接已經建立的前提下，RDMA寫數據的發送流程如下所示：

(1)如果數據報文正確到達接收方:

①如果報文中的SendID、TCxtID、RCxtID、MsgID、TRetryNum與RCxt中的某項匹配，則接收該數據報文，置Rrcnt=Rrcnt+報文攜帶的數據字節數。如果Rrcnt=Prcnt，發送CnctRspCmpAck報文，回收對應的RCxt項。

②否則丟棄該報文。

(2)如果數據報文到達接收方出現消息級數據校驗錯：

①如果報文中的SendID、TCxtID、RCxtID、MsgID、TRetryNum與RCxt中的某項匹配：

a.如果RErrCnt未達到允許的最大錯誤次數，則置Rrcnt=0，RTimer= TimerRcvData，遞增RRetryNum和RErrCnt，發送CnctRspRetry報文。

b.否則回收對應的RCxt項。

②否則丟棄報文。

(3)如果CnctRspCmpAck報文正確到達發送方：

①如果報文中的SendID、TCxtID、RCxtID、MsgID與TCxt中的某項匹配且TStatus=發送數據或發送探測報文，消息正確傳輸完成，回收對應TCxt項。

②否則丟棄報文。

(4)如果CnctRspCmpAck報文到達發送方出現消息級數據校驗錯，則丟棄該報文。

(5)如果RTimer=0且Rrcnt!=Prcnt:

①如果RErrCnt未達到允許的最大錯誤次數，則置Rrcnt=0，RTimer= TimerRcvData，遞增RRetryNum和RErrCnt，發送CnctRspRetry報文。

②否則回收對應RCxt項。

(6)如果CnctRspRetry報文正確到達發送方:

①如果報文中的SendID、RecvID、TCxtID、RCxtID、MsgID與TCxt中某項匹配且TStatus=發送數據或發送探測報文

a.如果TErrCnt未達到允許的最大錯誤次數:如果TRetryNum<報文中的RRetryNum，設置TRetryNum=報文中的RRetryNum，TTimer= TimerSendData，TStatus=發送數據，遞增TErrCnt，重新發送數據報文。否則丟棄該報文。

b.否則丟棄該報文，回收對應的TCxt項。

②否則丟棄該報文。

(7)如果CnctRspRetry報文到達發送方出現消息級數據校驗錯，則丟棄該報文。

(8)如果TTimer=0且TStatus=發送數據:如果TErrCnt未達到允許的最大錯誤次數，則設置TStatus=發送探測報文，TTimer= TimerDetect，遞增TErrCnt，發送CnctRqtDetect報文；否則回收對應的TCxt項。

(9)如果TTimer=0且TStatus=發送探測報文:如果TErrCnt未達到允許的最大錯誤次數，則設置TTimer= TimerDetect，遞增TErrCnt，發送CnctRqtDetect報文；否則回收對應的TCxt項。

(10)如果CnctRqtDetect報文正確到達接收方：

①如果報文中的SendID、TCxtID、RCxtID、MsgID與RCxt中的某項匹配:

a.如果報文中的TRetryNum=RRetryNum:如果RErrCnt未達到允許的最大錯誤次數，則置Rrcnt=0，RTimer= TimerRcvData,遞增RRetryNum和RErrCnt，發送CnctRspDetectAck報文(包括探測結果=“探測成功”位域)；否則回收對應RCxt項。

b.如果報文中的TRetryNum!= RRetryNum，則返回CnctRspDetectAck報文(包括探測結果=“探測成功”位域)。

②否則返回CnctRspDetectAck報文(包括探測結果=“探測失敗”位域)。

(11)如果CnctRqtDetect報文到達接收方出現消息級數據校驗錯，則丟棄該報文。

(12)如果CnctRspDetectAck報文正確到達發送方：

①如果報文中的SendID、RecvID、TCxtID、RCxtID、MsgID與TCxt中的某項匹配且TStatus=發送探測報文：

a.如果探測結果=“探測成功”且TRetryNum!=報文中的RRetryNum，則設置TMsgIDLow=報文中的RRetryNum，TTimer=TimerSendData，TStatus=發送數據，重新發送數據報文。

b.如果探測結果=“探測失敗”且TRetryNum=報文中的RRetryNum，消息正確傳輸完成，回收對應的TCxt項。

c.否則丟棄該報文。

②否則丟棄該報文。

(13)如果CnctRspDetectAck報文到達發送方出現消息級數據校驗錯，則丟棄該報文。

RDMA讀數據的傳輸不需要建立連接，不用在接收方分配RCxt項，但仍需要在發送方分配TCxt項。發送方可以直接發送讀請求到接收方并等待接收方返回讀數據。發送方通過TCxt項中的Tpcnt和Trcnt統計已收到的讀數據字節數和判斷數據是否已收齊。RDMA讀數據的數據傳輸流程比較簡單，本文就不再詳細闡述。

3 RDMA可靠傳輸協議實現

NIC一般由主機接口、網絡接口、發送部件和接收部件構成。為了使NIC能支持RDMA可靠數據傳輸，需要增加可靠連接管理部件，支持RDMA可靠傳輸的NIC總體結構如圖1所示。

Figure 1 Structure of the NIC supporting RDMA reliable communication圖1 支持RDMA可靠傳輸的NIC總體結構

發送部件在傳輸數據前，需要由可靠連接管理部件分配上下文資源和進行連接建立，接收部件需要根據可靠連接管理部件的匹配結果決定是否接收數據。如果接收數據出現消息級數據校驗錯誤，接收部件將通知可靠連接管理部件進行重傳。如果連接建立超時，可靠連接管理部件將重試建立連接；如果數據傳輸超時，可靠連接管理部件將通知發送部件重新傳送數據。數據傳輸結束或傳輸失敗時，可靠連接管理部件會回收對應的上下文資源。

可靠連接管理部件是NIC支持RDMA可靠傳輸的控制部件，由發送方上下文資源及其控制邏輯和接收方上下文資源及其控制邏輯組成。為了便于硬件高效實現，可靠連接管理部件中的發送方上下文資源和接收方上下文資源都采用相同的流水化實現方式，其實現結構如圖2所示。對于發送方上下文，輸入隊列主要由來自于發送部件的連接建立申請和來自于網絡接口的響應報文構成；對于接收上下文，輸入隊列主要由請求報文構成。輸入報文經過仲裁后進入可靠連接協議處理流水線。協議流水線由四站構成：第一站將仲裁出的輸入報文寄存一拍，生成訪問上下文數據緩沖區的地址索引，即TCxtID/RCxtID；第二站根據地址索引訪問上下文數據緩沖區；第三站將讀出的上下文數據緩沖區數據寄存一拍；第四站根據上下文數據和輸入報文查找協議表，產生新表項寫入上下文數據緩沖區和生成新報文寫入輸出隊列。對于發送方上下文，輸出隊列主要由請求報文構成，而對于接收方上下文，輸出隊列主要由響應報文構成。上下文數據緩沖區存放如表1所示的TCxt和 RCxt信息，硬件上具體可以由SRAM實現。協議表邏輯實現第2節中介紹的RDMA可靠傳輸協議，給定輸入報文和對應的上下文數據信息，協議表會輸出新生成的報文和新的上下文數據信息。輸入隊列仲裁時，為了保證上下文數據緩沖區的讀-修改-寫的原子性，仲裁邏輯會禁止相同的TCxtID/RCxtID同時進入流水線。為了實現該功能，仲裁邏輯需要記錄當前流水線中活躍的TCxtID和RCxtID。

Figure 2 Structure of reliable connection management component圖2 可靠連接管理部件實現結構

為了使可靠連接管理部件能夠按圖2所示的流水線結構實現，超時機制的實現方法是首先要考慮的問題。如果按第2節所述那樣將TTimer和RTimer實現在上下文數據緩沖區中，那么上下文數據緩沖區就無法用SRAM實現，并且多個上下文同時發生超時時，流水線也無法同拍對多個上下文進行處理。因此，TTimer和RTimer必須在流水線之外實現。超時計數器可以用寄存器陣列實現，并且用一個位向量記錄超時計數器是否發生了超時，向量中的每一位與上下文中的每個超時計數器一一對應。超時請求通過該向量產生并寫入輸入隊列，然后通過仲裁進入協議流水線進行處理。這種實現方式能將同時產生的超時請求串行化，而且在流水線外實現超時機制使得超時請求的生成不影響協議流水線的流水化處理操作。

其次，按第2節所述數據報文到達接收方后需要在上下文中尋找匹配項。如果接收部件將收到的數據報文送入可靠連接管理部件進行檢查，并等待其返回檢查結果，那么接收數據過程將出現停頓，嚴重影響數據傳輸性能。為了不影響接收部件接收數據，數據報文的檢查功能應在接收部件中實現。接收部件存儲與數據報文檢查相關的部分上下文信息，可靠連接管理部件在新分配上下文或上下文信息有變動時將相關的上下文信息寫入接收部件中，這樣接收部件在接收數據時將獨立于可靠連接管理部件進行數據報文檢查，有利于接收部件實現流水化數據接收。

再次，接收部件每正確接收一個數據報文，就需要通知可靠連接管理部件進行字節計數，如果字節計數邏輯如第2節所述在協議處理中實現，那么將會有大量的計數請求需要進入流水線進行處理，這會降低協議流水線的處理效率，并且當協議流水線的輸入隊列不足以存儲所有計數請求時，接收部件仍將出現停頓，從而影響數據傳輸性能。為了避免接收部件出現停頓和提高流水線的處理效率，字節計數功能應該在協議流水線之外實現。上下文中的字節計數邏輯可以在流水線之外用一組計數器實現，計數器初始化為需要接收的字節數，接收部件每正確接收一個數據報文，對應的計數器就減去相應的字節數。當計數器減為0時，將會產生計滿請求并寫入輸入隊列，然后通過仲裁進入協議流水線進行處理。

4 性能評測

本文在NIC中實現了基于FPGA平臺的RDMA可靠傳輸協議。NIC采用PCIE G3接口與CPU進行對接，采用1.25 Gbps的網絡接口與路由器進行對接。NIC不僅支持基于可靠傳輸協議的有連接服務，同時支持無連接服務，并且配置有連接服務的發送方和接收方下上文各256項。提供無連接服務時，圖1中的可靠連接管理部件將被旁路，即發送部件可以直接發送數據，而接收部件可以直接接收數據。

FPGA平臺由16個結點通過兩個路由器互連構成，每個結點包含兩個CPU和一個NIC。圖3給出了基于可靠傳輸有連接服務和不可靠傳輸無連接服務的NPB基準測試集的性能對比測試結果。NPB采用64線程、C/D級數據規模的測試題，每個結點上運行四個線程。從圖3給出的測試結果可以看出，有連接與無連接的性能相當。由于有連接服務的多個發送方和接收方上下文可以同時工作，這樣某個上下文的連接建立可以與其它上下文的數據傳輸重疊進行，從而隱藏連接建立延遲。從圖3還可以看出，對于某些測試題，有連接的執行性能甚至超過了無連接。這是因為兩個路由器之間存在多條鏈路連接，由于有連接服務支持報文亂序傳輸，因此路由器可以根據當前多個輸出端口的忙閑程度選擇負載較輕的端口進行輸出，即具有一定的自適應路由選擇能力；而無連接服務不支持報文亂序傳輸，路由器只能選擇固定端口進行輸出，即使該端口負載較重。

Figure 3 Test results of connection compared to no connection for NPB benchmarks圖3 NPB基準測試集有連接與無連接的性能對比測試結果

5 結束語

可靠性已成為評價高性能計算機系統的重要指標，針對網絡中可能出現的故障，本文提出了一種RDMA可靠數據傳輸協議，并給出了其在NIC中實現的方法。本文提出的可靠傳輸協議能容忍網絡中出現的報文丟失、消息級數據校驗錯等錯誤，給出的優化實現方案能流水化發送和接收數據，減少可靠傳輸管理開銷。本文對該可靠傳輸協議在FPGA平臺上進行了實現，并對其進行了性能評測，結果表明RDMA可靠傳輸的實際測試性能與無連接RDMA傳輸相當。

[1] Shipman G M, Graham R L, Bosilca G. Network fault tolerance in Open MPI[C]∥Proc of the 13th International Euro-Par Conference, 2007:868-878.

[2] Schroeder B, Gibson G A. Understanding failures in petascale computers[C]∥Proc of 2007 Scientific Discovery through Advanced Computing Program(SciDAC’07), 2007:220-230.

[3] Brightwell R, Pedretti K T, Underwood K D. Seastar interconnect:Balanced bandwidth for scalable performance[J]. IEEE MICRO, 2006, 26(3):41-57.

[4] Alverson R, Roweth D, Kaplan L. The Gemini system interconnect[C]∥Proc of the 18th IEEE Symposium on High Performance Interconnects, 2010:83-87.

[5] Alverson B, Froese E, Kaplan L, et al. Cray XC series networking[R]. WP-Aries01-1012, USA:Cray Incorporation, 2012.

[6] lnfiniBand Trade Association. Infiniband architecture specification, Version 1.2.1 [EB/OL]. [2007-11-01]. http://www.infinibandta.org.

[7] Sivaram R, Govindaraju R K, Hochschild P, et al. Breaking the connection:RDMA deconstructed[C]∥Proc of the 13th Annual IEEE Symposium on High Performance Interconnects, 2005:36-42.

[8] Liu Lu, Zhang Lei, Cao Ji-jun, et al. The design of RDMA reliable communication protocol based on dynamic connection[J]. Computer Engineering&Science, 2012, 34(8):184-190. (in Chinese)

附中文參考文獻：

[8] 劉路，張磊，曹繼軍，等. 基于動態連接的RDMA可靠傳輸協議設計[J]. 計算機工程與科學, 2012, 34(8):184-190.

XIAJun,born in 1976,PhD,associate research fellow,his research interest includes high performance computer architecture.

DesignandimplementationofaNICbasedRDMAreliablecommunicationprotocol

XIA Jun，PANG Zheng-bin，LIU Lu，ZHANG Jun，CHANG Jun-sheng

(College of Computer,National University of Defense Technology,Changsha 410073,China)

With the continually growing size and complexity of high performance computing systems, reliability has become the crucial factor of affecting the availability of high performance computing systems. System network is the important component of high performance computing systems and its reliability must be considered in high performance computing system design. Aiming at failures possibly occurring in high performance computing system network, the paper proposes a NIC based RDMA reliable communication protocol, gives a general framework of realizing this protocol and discusses some optimized implementation methods based on the framework. The reliable communication protocol and its implementation can tolerate system network failures and can reduce the overhead of realizing reliable communications. The experimental results show that the performance of the RDMA reliable communication is comparable with that of the no-connection RDMA communication.

RDMA;reliability;network interface;reliable communication protocol

2013-07-10;

：2013-10-06

國家自然科學基金資助項目(61103083,61133007)；國家863計劃資助項目(2012AA01A301)

1007-130X(2014)02-0216-06

TP316.4

：A

10.3969/j.issn.1007-130X.2014.02.005

夏軍(1976-),男,重慶人，博士，副研究員,研究方向為高性能計算機系統結構。E-mail:xiajun@nudt.edu.cn

通信地址：410073 湖南省長沙市國防科學技術大學計算機學院Address:College of Computer,National University of Defense Technology,Changsha 410073,Hunan,P.R.China