基于軟件定義的多協議控制器架構設計

夏云飛，張麗，楊堃，李沛杰，許立明

（1.天津市濱海新區信息技術創新中心，天津 300457；2.國家數字交換系統工程技術研究中心，河南 鄭州 450002）

1 引言

隨著新型網絡技術的發展，網絡應用已經從早期非實時業務，發展到目前以文本、圖像、語音、視頻綜合內容承載為主，并呈現出終端類型多元化、接入方式多元化、設備形態多元化、業務場景多元化等趨勢[1]?；陂_放架構的軟件定義網絡（SDN，software defined network）[2-3]，更加強調系統的多標準、多協議、高魯棒、高效能等特性。面對以上需求，現有網絡中的交換節點接口標準單一固定，難以滿足接入方式與設備形態多元化的趨勢[4]。通過調研，國內外還沒有能滿足多種高速串行通信協議的控制器，無論是國內領先的天河二號超算中心，還是國外領先的Intel極光數據中心，內部都是通過集成PCI-E或光纖等單一協議接口來支撐數據通信網絡，因此一個支持多種接口規范的交換器件十分必要。

現有數據中心中被廣泛使用的高速協議為：以太網Ethernet 10GBASE-KR（簡稱Ethernet）、Serial RapidIO（簡稱SRIO）以及Fiber Channel（簡稱FC）。Ethernet協議適用于數據中心間的遠距傳輸與網絡拓撲，FC協議大多作為數據中心內部的高速存儲訪問接口，而SRIO協議則大多作為嵌入式系統中拓展高性能DSP或GPU所使用的協議接口，3種協議的應用場景、傳輸方式以及兼容頻點各不相同。而數據中心正以多協議接口設備作為多形態組網的解決方案，但造成系統體積與能耗驟升[5]。隨著高性能計算平臺對系統架構可重構需求的增加，單純固化集成多種單一協議的方案不利于構建高性能可重構互聯網絡[6]。

本文對上述3種高性能串行協議功能進行了分析與歸一化整合，并利用軟件定義與可編程硬件技術實現了一種基于軟件定義的高性能多協議控制器架構，最終利用40 nm工藝實現支持多協議SerDes電路樣片配合可編程電路構建了驗證系統。

2 多協議控制器架構說明

Ethernet、SRIO以及FC這3種高速串行協議控制器的基本結構，均包含3部分電路：物理傳輸子層（PMA，physical media access）電路、物理編碼子層（PCS，physical coding sub-layer）電路以及介質訪問控制器（MAC，media access control）電路，其結構如圖1所示。

圖1 高速串行協議控制器結構Figure 1 The architecture of high-speed serial protocol controller

PMA電路主要完成數據的串/并轉換，進而實現高速物理傳輸[7]，本文所設計的多協議控制器中的PMA電路根據3種協議的物理規范、通道綁定與頻點等需求，采用軟件定義互聯思想設計多協議高速串行收發器電路。

PCS電路主要完成數據編解碼、通道綁定、位寬轉換等功能。本文提取3種協議在PCS子層功能實現中的公共算粒，并將各個協議私有算粒歸一為可配置邏輯，最終實現多協議PCS子層電路。

各協議MAC電路主要負責數據包流量控制功能，不會對數據包進行幀解析。而3種協議在流量控制與校驗重傳處理上差異較大，私有算粒比重高，無法通過復用重構進行歸一化。因此，對MAC硬件可重構電路，通過動態加載不同的電路結構，實現多協議異構。

多協議控制器架構如圖2所示，其基本工作流程如下。

1)控制器上電，主控根據上層應用，經配置總線接口通過SPI接口加載MAC硬件可重構電路配置，實現對應協議控制器MAC邏輯。

2)MAC電路配置加載完畢后，內部主控通過配置接口，對PMA與PCS電路進行相應模式配置，內部主控監測反饋信息以及鏈路狀態。

3)上層應用通過配置接口輪詢確認反饋信息與鏈路狀態無誤后，開始數據傳輸。

所有工作流程均通過內部主控完成軟件定義硬件結構配置，內部主控通過內嵌的一個輕量化MCU實現，用于驗證軟件定義功能。整個協議控制器的工作模式，都可以通過軟件定義的形式進行靈活切換，從而滿足系統不同應用場景下的異構需求。

圖2 多協議控制器架構Figure 2 The architecture of multi-protocol controller

3 多協議控制器架構設計

3.1 可重構多協議MAC

多協議控制器架構主要應用于數據中心軟件定義互聯的交換設備或芯片中，因此本文多協議控制器MAC電路并不解析數據包，而是實現數據鏈路層功能。而每種協議MAC電路具體功能各不相同，對于FC協議而言，MAC層處理包括協議數據鏈路層和交換適配層[8]，而其中FC協議的交換適配層是FC的特化處理算粒（簡稱FC-AE-ASM控制器），無法與其他協議兼容；以太網MAC電路除必要的流控功能外，其特殊設計的數據校驗與重傳機制[9]都是差異化較大的處理；SRIO協議MAC層采用基于信用的流控處理，而且具備SRIO維護包管理層功能[10]，處理復雜且無法與以上兩種協議MAC處理兼容。

因此，多協議控制器MAC電路很難采用歸一公共算粒的設計方法，并且由于存在不同通道綁定形式下的多種協議應用，單純并行堆疊不同的MAC電路，勢必帶來龐大的冗余設計，而且無法適應軟件定義互聯的靈活多變的應用形態。綜上，多協議控制器的MAC電路采用基于軟件定義的硬件可重構電路進行實現。

針對3種協議控制器使用電路綜合工具進行實現，并根據綜合結果統計3種協議MAC部分的邏輯資源，如表1所示。

表1 3種協議以及多協議MAC電路資源統計Table 1 Resource statistics of 3 protocols and multi-protocol MAC circuit

根據以上各電路的資源數據，為了最大限度地復用PCS與PMA電路，從而確定可編程電路的資源要求，可以同時放下4個以太網或FC協議的MAC電路。

然而，SRIO協議控制器MAC電路規模龐大，如果以SRIO資源為依據來確定可編程電路資源，會造成較大的資源冗余。所以，對SRIO協議MAC電路進行功能拆分，將SRIO協議中接口處理部分統一在FC與以太網可重構電路結構中實現，其他功能單獨使用專用電路實現。這樣既滿足FC或以太網協議4個1x通道工作，又支持SRIO協議的功能需求，可以最大限度地完全利用PMA電路的4個Lane通道資源。

3.2 軟件定義多協議PCS電路

本文中的協議控制器支持3種不同協議，如果根據協議種類設計多個完全獨立PCS電路，雖解決了多協議的PCS電路需求，但由于電路設計復用度低，導致電路本身面積與功耗開銷增加，從而直接影響系統的體積、重量、功耗等指標。

通過對比SRIO協議、FC協議以及Ethernet協議對PCS子層的定義，提取4種協議對PCS子層的功能需求。多協議PCS要求支持包括編解碼功能、加擾功能、變速箱功能、極性控制、位序控制、PRBS生成、Comma檢測、Headers檢測、時鐘補償、通道綁定、PRBS檢測等。

提取3種協議在PCS子層中的公共算粒作為通用邏輯，并把差異化私有算粒做成可配置邏輯，從而實現多協議通用的PCS電路設計。PCS電路通過軟件配置模式的不同，可以動態支持SRIO協議、FC協議以及Ethernet協議規范數據的正確傳輸。同時支持與SRIO Controller動態捆綁模式的特殊需求，軟件定義多協議PCS電路如圖3所示。

編碼擾碼、解碼解擾邏輯以及彈性Buffer邏輯都能隨配置模式的改變而進行動態切換；彈性Buffer通過與通道綁定狀態機配合能夠完成SRIO協議需要的通道動態綁定功能。同時，通過配置模式選擇是否使用彈性Buffer。上層軟件定義可以通過配置寄存器實現多協議PCS子層工作模式動態切換。

圖3 軟件定義多協議PCS電路Figure 3 The circuits of software defines multi-protocol PCS

3.3 多協議PMA電路

多協議PMA電路是軟件定義互聯芯片的關鍵，是多協議互聯的物理層基礎，通過分析3種協議的特性可知，其各自物理層的功能結構差異不大?？梢酝ㄟ^較為簡單的歸一化設計，實現同時滿足3種協議的PMA電路，表2為不同協議需實現的功能列表。

由表2分析可知，3種協議在PMA層的設計功能基本一致，其主要功能是將數據由并行轉化為高速串行信號并發送至信道上（包括其逆過程），同時可以將高速的串行數據從信道上接收并轉化為并行信號供上層使用，其電路系統如圖4所示。

圖4 多協議SerDes設計架構Figure 4 Multi-protocol SerDes design architecture

PMA電路按照功能子模塊的方式進行設計，功能模塊之間的數據與控制關系如圖4所示。由于3種協議對PMA電路的功能要求基本一致，因此將功能相似的部分設計為通用邏輯，電路按照4個Lane一組進行設計，主要由3部分組成：收發主通道、時鐘處理模塊、配置管理及復位模塊。

接收器：包括阻抗校正電路、均衡器（連續時間線性均衡CTLE和判決反饋均衡DFE）、時鐘數據恢復電路和邏輯（CDR）、相位差值器、并行數據位寬可配置的串并轉換電路、PRBS檢測、內建接收通路環回等。主要根據輸入數據來調整時鐘，保證對數據的正確采樣，同時將串行數據轉化為并行數據。

發送器：包括并串轉換電路、輸出驅動器、預加重控制電路、邊沿控制電路、阻抗校正電路、PRBS校驗生成、內建發送通路環回以及數據位寬可配置的并串轉換電路等，完成由并行到串行數據的轉化和驅動。

時鐘管理：差分驅動模塊，主要包括4個Lane共用的鎖相環電路QPLL以及各Lane使用的鎖相環電路CPLL、時鐘選擇、分頻電路等。該模塊可以根據軟件配置，為PMA中的SerDes提供3種協議各自頻點需求的時鐘。

配置管理：主要包括配置總線管理模塊、寄存器管理模塊，負責對數據路徑選擇、時鐘頻率、數據位寬以及子模塊工作模式實現軟件配置控制。

整個PMA電路通過軟件定義可配置電路，可以實現針對不同協議、不同頻點的結構切換，從而達到軟件定義的協議異構功能。

4 原型實現與測試分析

4.1 系統搭建

基于本文架構設計的控制器電路，在40 nm工藝節點下進行MPW流片。測試芯片中包括可編程電路與ASIC電路，PMA電路中的4通道SerDes電路，設計可以不經過PCS電路的測試接口，直接進行單獨數據測試。圖5為多協議控制器測試芯片布局。

圖5 多協議控制器測試芯片布局Figure 5 The floorplan of the multi-protocol controller

圍繞測試芯片，本文構造了一個多協議原型驗證平臺。驗證平臺主要由測試芯片驗證板與端點設備（第三方標準測試儀或FPGA端點設備），原型驗證平臺架構如圖6所示。

4.2 電氣特性測試

高速協議在進行具體的協議端點設備測試前，需要先確認PMA電路模擬SerDes電路的功能與性能。因此，首先使用高速示波器對SerDes進行測試，確認模擬電路無誤后，再展開協議功能測試。圖7～圖9為針對FC、SRIO以及以太網等協議需要的最高頻點下的眼圖測試結果，其中橫坐標代表測試時間周期，縱坐標代表輸出信號電壓幅值。

圖6 原型驗證平臺架構Figure 6 The diagram of prototype verification platform

圖7 1x通道8.5G頻點TX眼圖Figure 7 The eye diagram of 1x 8.5Gbit/s TX Channel

圖8 4x通道10.3125G頻點TX眼圖Figure 8 The eye diagram of 4x 10.3125 Gbit/s TX Channel

圖9 1x通道10.3125G頻點TX眼圖Figure 9 The eye diagram of 1x 10.3125 Gbit/s TX Channel

由測試結果可知，輸出發送信號均符合相關協議要求，信號隨機輸出抖動RJRMS參數在1.81～1.95皮秒。同時在以上測試中，不同協議頻點使用軟件配置，實現動態切換測試。

SerDes功能性能確認后，分別對3種協議進行端點設備通信測試。以太網與FC協議均采用同第三方標準協議分析儀進行數據流量測試，并通過測試儀的上位機調試軟件確認鏈路狀態與數據包校驗結果。SRIO協議測試使用Xilinx FPGA開發板作為測試端點設備，端點設備實現對應頻點速率的標準SRIO協議IP控制器，最終通過讀取端點設備數據校驗結果確認數據通路完整性。

4.3 協議一致性測試

4.3.1 以太網協議測試結果

軟件配置控制器為以太網協議工作模式（包含MAC可編程電路的加載配置）。完成協議控制初始化后，對以太網協議分析儀配置數據接收/發送為標準Ethernet格式，數據率為10.312 5 Gbit/s，數據包格式配置如圖10所示。

圖10 Ethernet協議分析儀數據包格式配置Figure 10 The package format configuration of ETH protocol analyzer

完成配置后啟動協議分析儀發送數據包，確認發送與接收端流量與速率，測試結果如圖11所示。

圖11 Ethernet協議分析儀流量測試結果Figure 11 Test result of Ethernet protocol analyzer traffic

4.3.2 FC協議測試結果

與以太網測試類似，首先軟件配置控制器切換為FC協議工作模式，再對FC協議分析儀進行配置，設置數據率為8.5 Gbit/s，測試模式為端點設備與測試設備互發通信，鏈路與數據測試結果如圖12所示。

測試同時4個FC通道在8.5 Gbit/s數據率下，發送與接收端數據傳輸情況。由結果可知鏈路建立穩定，無失鎖與誤碼現象，滿足FC協議通信要求。

4.3.3 SRIO協議測試結果

SRIO協議測試中的端點使用另一塊FPGA平臺，利用FPGA端點設備中的Chip scope配合FPGA EDA工具實時抓取數據，以確認測試數據結果。

測試方法是端點設備發送給多協議控制器后，多協議控制器將接收到的數據發回給端點設備確認結果。測試中配置端口設備與測試端頻點速率均為10.312 5 Gbit/s，在確認鏈路鎖定成功后，啟動端點設備數據通信并實時抓取數據。

經測試，確認SRIO協議在10.312 5 Gbit/s速率下，在1 h連續通信測試中誤碼率為10?14，滿足RapidIO協議誤碼率低于10?12的要求。測試結果如圖13所示。

在以上的所有協議通信測試中，均是通過軟件配置實現工作模式、通道數量以及速率頻點切換的，確認本文所設計的基于軟件定義多協議控制器的功能與性能滿足預期。

圖12 FC協議分析儀測試結果Figure12 Test result of FC protocol analyzer

圖13 SRIO協議數據通信端點設備抓取測試結果Figure 13 Test result of SRIO protocol data communication endpoint device chip-cope

4.4 協議形態測試

3種協議MAC電路應用形態總結為如下5種場景。

1)實現單一協議控制器，即實現4/3/2/1個以太網控制器MAC邏輯，或者實現4/3/2/1個FC控制器的MAC邏輯。

2)實現4個混合協議控制器，即實現m個以太網控制器MAC邏輯，并且實現4-m個FC控制器的MAC邏輯。

3)實現3個混合協議控制器，即實現m個以太網控制器MAC邏輯，并且實現3-m個FC控制器的MAC邏輯。

4)實現2個混合協議控制器，即實現1個以太網控制器MAC邏輯和實現1個FC控制器的MAC邏輯。

5)實現單一協議SRIO控制器。

多協議控制器對外設計有專門SPI加載總線，用于不同形態電路配置加載。可重構電路的應用形態決定了可支持應用場景的多樣性。如上所述，考慮上述5種應用場景，可支持的電路數據計算如下。

對應的MAC電路可實現81種不同的軟件定義可重構控制器形態。經過使用原型環境分別加載以上81種軟件定義控制器，各種應用形式均通過4.2節與4.3節的電氣特性與協議一致性測試，符合支持多協議控制器多形態應用設計預期。

5 結束語

本文設計的基于軟件定義的多協議控制器，支持FC、以太網以及SRIO這3種高速串行協議標準，并具備通過軟件定義切換不同協議工作模式的功能。為今后擬態計算平臺高異構性需求系統的數據互聯，提供適合的解決方案。同時，構建的原型驗證的測試結果表明，本文提出的基于軟件定義的多協議控制器可以滿足Fiber Channel、Ethernet以及SRIO協議的要求，滿足設計預期。