以太網、PCle和Rapid lO高速總線比較分析

祝樹生，解春雷，仇公望，詹景坤，王小輝（中國運載火箭技術研究院研究發展中心，北京，100076）

?

以太網、PCle和Rapid lO高速總線比較分析

祝樹生，解春雷，仇公望，詹景坤，王小輝
（中國運載火箭技術研究院研究發展中心，北京，100076）

摘要：目前在嵌入式系統中有許多連接元件的方法，但最主要的還是以太網、PCI Express（PCIe）和Rapid IO這三種高速串行標準。本文主要從協議層次結構、帶寬選項、拓撲結構、數據包協議、可靠性、可用性和應用場景幾個方面對這三種總線的特點進行了比較分析，以供在實際應用中選用分析。

關鍵詞：以太網；PCIe；Rapid IO；高速總線

0　引言

隨著電子技術的快速發展，用于設備間、板間和嵌入式系統的可用高速數據傳輸方式越來越多。目前常用的板間和設備間互聯高速總線主要有以太網、PCIe和Rapid IO總線，由于每類總線的原理、機制和應用場景都存在共同點和不同點，因此需要從多方面對這三種總線進行比較分析。

1　總線概念

1.1以太網

以太網是由Xerox、Intel和DEC公司聯合開發的基帶局域網規范，是一種“盡力而為”的數據包傳送方式。在以太網物理層上建立的軟件協議，如TCP/IP，需要提供信息的可靠傳輸，因為基于以太網的系統一般在網絡層執行流量控制，而不是在物理層。一般基于以太網的系統帶寬都要超配20%到70%。因此以太網最適合對時延要求不高的設備間應用，或帶寬要求較低的板上/板間應用。

1.2PCIe總線

PCI Express（簡稱PCIe）總線由Intel于2001年提出，屬于一種基于數據包的串行連接總線，為第三代I/O總線，在第二代總線基礎上主要針對板上互連的數據包可靠傳送作了優化。PCIe協議交換的是事務處理層數據包（TLP），如讀和寫，以及被稱為數據鏈路層數據包（DLLP）的少量特殊鏈路信息。DLLP用于鏈路管理功能，包括物理層的流量控制。PCIe后向兼容傳統的PCI和PCI-X器件，因此PCIe具有能夠充分利用與PCI相關的軟件和硬件知識產權的優勢。

1.3Rapid IO總線

Rapid IO互聯架構是一種高性能點對點的包交換技術，支持芯片間以及板間的互聯通信，分為并行Rapid IO和串行Rapid IO（SRIO），能滿足從嵌入式結構到桌面運算的各種應用需求。與PCIe一樣，Rapid IO協議交換的是數據包和被稱為控制符的少量特殊鏈路信息。Rapid IO兼具PCIe和以太網的特性。Rapid IO技術主要面向高性能嵌入式系統的互連通信，它采用高性能LVDS技術，可以在4對差分線上實現10Gbps的有效傳輸速率，而且具有比萬兆以太網、PCI express更高的傳輸效率。

2　總線比較

2.1協議層次結構

以太網采用三層分級體系結構，即傳輸層、網絡層和數據鏈路層。傳輸層提供用用程序之間的通信。網絡層也稱為IP層，主要是把源主機上的分組發送到其他任何一臺目標機上，網絡層對路由通道進行選擇。鏈路層包括網絡接口設備及其驅動程序，把數據報與傳輸介質的交換。

PCIe采用三層分級體系結構，即事務層、數據鏈路層和物理層。事務層主要產生事務包，數據鏈路層對TLP事務包進行處理，物理層對TLP包進行8b/10b編碼。

RaPidiO采用三層分級體系結構，即邏輯層、傳輸層、物理層，目前邏輯層定義了報文格式，支持五種規范：存儲器映射/I/ O系統、消息傳遞、全局共享存儲模式、流量控制和流數據。傳輸層定義了Rapid IO的地址空間并提供必要的路由信息。物理層描述了設備級接口，說明報文機制、流控機制、電氣特性和底層錯誤機理。

三種協議分層與OSI分層對應關系如圖1所示。

2.2帶寬選項

以太網、PCIe和Rapid IO在物理/鏈路層方面的最顯著區別是所能支持的帶寬選項。以太網帶寬具有一代增加10倍的悠久歷史。以太網目前工作在10Mbps、100Mbps、1Gbps。

PCIe和Rapid IO采用了不同的方法，因為板上、板間和設備間互連要求功率與數據流匹配。因此與以太網相比，PCIe 和Rapid IO支持更多的通道速率和通道帶寬組合。PCIe 2.0 x16通道帶寬可達8Gbps，最新的PCIe 3.0的目標是帶寬達到10Gbps，而Rapid IO支持1.25、2.5、3.125、5和6.25Gbps的通道速率。PCIe和Rapid IO都支持從單個通道到多個通道的通道帶寬組合。PCIe規范中還支持32通道端口。對于給定的通道帶寬，Rapid IO端口可以提供多于或少于PCIe的帶寬，因此允許系統設計人員調整系統中用于數據流的功率大小。

2.3拓撲結構

Rapid IO和以太網都是模糊拓撲結構。任何端點組都可以用任何拓撲結構連接，包括環形、樹形、網狀、超立方體以及超復雜網絡等更深奧的幾何圖形。數據包則根據它們的網絡地址在這些拓撲中完成路由，并支持不同拓撲選項還允許系統設計人員通過匹配數據路徑和數據流程消除系統中的性能瓶頸。系統擴展和演變在Rapid IO和以太網絡中是不受約束的。

相反，PCIe在頂層支持帶單個根聯合體的樹狀結構，具體如圖 2所示。其中組成部分包括一個根聯合體，多個端點設備，一個交換設備（Switch），和一個PCIe-PCI橋。所有的內部互聯都是通過PCIe鏈路。根聯合體是將CPU/存儲器子系統和I/O連接起來的設備，能夠支持不止一個PCIe接口。每個接口都可以連接單個PCIe端點設備，也可以連接PCIe交換設備或者橋接設備。端點設備作為PCIe傳輸的請求者或者完成者，是PCIe鏈路中不可或缺的設備。

2.4數據包協議

Rapid IO、PCIe和以太網在邏輯層方面也有多個差異較大的地方，最明顯的區別是所支持的語義。

PCIe數據包支持基于地址的讀寫語義。在PCIe系統中，發起讀或寫的實體必須知道系統的全局存儲器映射圖中的目標地址，這對控制平面應用而言是一種很自然的方法。然而，這種對全局地址映射圖的依賴性也會導致難以發展的緊耦合軟件系統。PCIe協議也支持通過消息TLP的消息傳送。不過消息TLP只支持有限數量的功能，如中斷和復位信號。這點與以太網和Rapid IO消息包有很大的不同，后者可用于進程間通信。

與PCIe不同，建立在以太網物理層之上的軟件協議只支持消息語義。在發送消息時，發送者只需知道接收地址。尋址機制一般是分層的，因此沒有哪個節點必須知道所有的地址。地址可能會隨系統發展而改變，支持軟件單元實現相互間的松散耦合。這些屬性對數據平面應用來說是必要的。

Rapid IO同時支持讀/寫和消息語義。除了明顯的架構優勢和系統靈活性外，對讀/寫和消息處理的支持允許單路互連同時用于控制和數據平面。Rapid IO系統因此要比必須結合PCIe和以太網的系統來得更簡單，從而具有降低功耗和成本的優勢。

2.5可靠性和可用性

大多數系統對可靠性和可用性都有要求。有可靠性和可用性要求的系統需要誤碼檢測、誤碼提醒、故障元件分析與隔離以及恢復機制。從高層看，PCIe、Rapid IO和以太網在所有這些方面都要相似的功能。不過在備份策略以及快速隔離系統使之免受故障元件影響的功能方面有很大差別。

圖1　三種協議分層與OSI分層對應關系

圖2　三種總線拓撲結構

Rapid IO具有與以太網類似的備份、誤碼捕捉和誤碼提醒功能。PCIe支持有限的備份策略，因為它的傳輸層僅限于樹狀結構。上文提及的PCIe非透明橋接（NTB）允許兩個或多個樹狀結構進行通信，足以實現1+1備份（也稱為1:1備份）。NTB很難拓展到采用N+M備份機制的系統。理論上多根I/O虛擬化（MRIOV）可以用來在PCIe系統中支持N+M備份，其中N+M的總數量不超過8。然而，由于MRIOV系統中的子樹無法相互通信，從故障恢復可能要求系統中斷運行，目的是重新配置系統，以便隔離故障元件，并采用新的元件。

與PCIe和Rapid IO相比，以太網的誤碼檢測機制通常比較慢，因為以太網是針對全球范圍內分布的網絡設計的。PCIe和Rapid IO都有誤碼檢測和提醒機制，其時延要比以太網小得多。

雖然PCIe和Rapid IO都保證數據包的發送，但在誤碼條件下它們會棄包，以防止故障元件造成致命擁塞。然而，PCIe誤碼條件機制是不可配置的。當鏈路必須再學習時數據包通常會被丟棄。另外，PCIe隔離機制只在幾個毫秒后就被激活。這些并不是所有系統都認為理想的行為。

相反，Rapid IO標準允許對誤碼作出特殊系統響應，如鏈路再學習。當誤碼發生時，系統會立即開始棄包，或者它會保留包，并允許擁塞發生。Rapid IO使用“漏桶”式誤碼計數方法，并有兩個可配置門限。DEGRADED門限能盡早提醒系統管理軟件鏈路上正在發生誤碼。FAILED門限用于觸發丟包以實現用戶定義的誤碼率。Rapid IO誤碼管理的靈活性反映了嵌入式系統設計人員的不斷變化需求。

2.6應用場景

由于以太網具有便于連接數量龐大的客戶終端，因此其在很多領域都具有不可動搖的技術地位，多年來一直在LAN以及WAN領域被廣泛應用，如數據存儲、無線終端、電話、工業領域以及其他嵌入式應用。無論在軟硬件的可行性、專家的可支持性還是降低系統的復雜性、投入市場的時效性方面，以太網都能大大降低開發成本。

PCIe的應用具有很強的靈活性，PCIe總線可以用于芯片組間的連接，由于其超高的帶寬也可以用于連接圖形芯片，整個IO系統將重新統一起來，簡化計算機系統，增加計算機的模塊化。目前已經作為計算機行業的最流行的總線結構，目前大部分的I/O接口采用PCIe總線。

Rapid IO作為一種系統內部互連技術，定位于內部系統互聯層次，Rapid IO互連適用于多器件緊耦合的工作環境，可應用在很多場合：DSP連接、處理器和其他器件的點對點主/從連接、控制和數據背板連接、基帶和RF板連接等。Rapid IO非常適合于熱插拔應用，因為Rapid IO的點到點拓撲結構可以使設備的抽離對相鄰設備或子系統僅有非常少的電氣影響，甚至沒有影響。

2.7互聯總線對比分析

綜合以上內容，從軟件開銷、帶寬選項、傳輸模式、拓撲結構、互聯模式、傳輸距離、數據包有效長度等幾個方面對三種總線進行對比，具體如表 1所示。

通過上述分析，以太網最適合地理上分散的、具有長時延并且動態網絡配置的網絡。PCIe則能對單板上的分層總線結構提供最理想的支持。這兩種技術都可用于板上、板間和設備間通信，而且在許多應用場合被同時用于同一系統。Rapid IO能將這兩種互連的優勢結合到單個互連中，并可顯著節省功率和成本。

Rapid IO是嵌入式系統的最佳互連選擇。Rapid IO具有與PCIe和以太網相似的功能，并具有其它互連技術無法復制的功能，如：低時延、低抖動的系統事件分發；組合式鏈路層和網絡層流量控制機制；可配置的誤碼檢測和模糊拓撲路由可實現高效的備份、高可靠性和可用性；讀/寫和進程間通信消息語義的硬件實現。這些功能允許系統架構師創建性能更高、功耗更低并且更容易擴展的系統。

3　結束語

未來實時應用系統的高性能需求，使得對總線的帶寬、效率、功耗等要求越來越高。隨著DSP處理器和嵌入式系統的快速發展，總線技術將成為限制系統的主要因素之一，因此可提供更高帶寬、可集成功能、基于硬件協議處理且更加有效的Rapid IO總線技術在未來一段時間將廣泛的應用于計算機的的各個領域。

參考文獻

［1］ Rapid IO Trade Association. Rapid IO Interconnect Specification. http：//www.rapidio.org.2002-06.

［2］ 樊博.基于PCIe的高速圖像采集處理關鍵技術研究［D］.碩士學位論文.中國科學院大學.2013.

［3］ 吳強.基于Rapid IO系統互連協議的邏輯設計與驗證［D］.碩士學位論文.西南交通大學.2009.

［4］趙政.以太網交換及應用技術研究［D］.碩士學位論文.西安電子科技大學.2008.

［5］張強.串行Rapid IO互聯系統設計與實現［D］.碩士學位論文.南京理工大學.2013.

A Comparative analysis of high-speed bus in Ethernet、PCIe and Rapid IO

Zhu Shusheng，Xie Chunlei，Qiu Gongwang，Zhan Jingkun，Wang Xiaohui
（R&D Center，China Academy of Launch Vehicle Technology，Beijing，10076）

Abstract：There are many methods in connection components of embedded system，but the most important menthods are the Ethernet，PCIe and Rapid IO。This paper mainly compares and analyzes the protocol structure，bandwidth，topology structure，message protocol，credibility，usability and application scenario of three kinds of bus，which is provided to choose for actual application.

Keywords：Ethernet；PCIe；Rapid IO；High Speed Bus

中圖分類號：TP334

文獻標識碼：A

作者簡介

祝樹生（1984-），男，山西朔州人，工程師，主要從事電氣系統總體設計工作。

表1　互連總線對比