高速互連串行協議RapiIO的性能優化

楊 帆，朱 峰

（江蘇科技大學 電子與信息學院，江蘇 鎮江 212000）

高速互連串行協議RapiIO的性能優化

楊 帆，朱 峰

（江蘇科技大學 電子與信息學院，江蘇 鎮江 212000）

串行RapidIO是為了滿足嵌入式行業對更高總線速度、帶寬和可靠性的需求而發展起來的一種高性能分組交換技術。該技術不僅可以實現芯片間高速通信還可以實現板級間通信。在本文中所提出的研究成果是在對集成在數字信號處理器--多核的TMS320C6474中的串行互連協議RapidIO性能優化的基礎上提來的。研究結果表明，經過性能優化，Nwrite（寫）和Swrite（流式寫）這兩種操作的傳輸速度都有所提升。研究結果還顯示出，使用中斷的方式發送一個數據包，不僅是最簡單的方式，它還可以增加系統發送端的的穩定性。

串行RapidIO；片上系統；DSP；芯片間

現今的處理器性能很強大，可以提供很高計算速度，但是對其處理能力的某些應用要求也在不斷增加。這就產生了擁有處理器的機器同時工作的概念。但是這種多個機器同時工作的機制需要解決兩個基本的相互關聯的問題：處理器間通信和處理器與其它信息處理部分之間的通信。為了解決處理器之間的互連問題，并滿足嵌入式系統對帶寬不斷增長的需求，提出了串行RapidIO（SRIO）互連協議[1]。這種結構起初是為嵌入式計算系統設計的，如今應用到邊緣網絡，存儲，軍事和工業設備等各個領域。

文中提出的對集成在DSP—TMS320C6474上的串行互連RapidIO的性能優化結果，是以C6474作為實驗平臺的。這個板子上有兩個DSP處理器[2]，通過一條串行RapidIO總線上的兩個通道相連。

1 RapidIO互連協議的介紹

1.1 RapidIO結構分層

RapidIO標準總共定義了3個層次架構[3]。最低層是物理層，它規定了電信號和鏈路層的握手機制。在物理層的上面是傳輸層，這一層規定了數據包是如何路由的。最上面一層是邏輯層，它定義了分組的類型及其功能。

1.2 C6474的RapidIO功能描述

DSP TMS320C6474內部集成了SRIO外設，而且使用了串行差分模擬信號技術[4]。該DSP設備上的點到點互連技術支持波特率1.25Gbps、2.5Gbps、3.125Gbps、5Gbps、6.25Gbps，能夠滿足不同應用對波特率不同的需求。

1）功能操作

數據存取指令單元（LSU）不僅控制著直接I/O數據包的發送，還控制著維護包的發送[5]。而內存訪問單元 （MAU）則控制著直接I/O數據包的接收。TXU和RXU分別負責消息數據包的發送和接收[6]。

LSU，MAU，TXU和RXU這4個單元通過DMA與內存進行數據交互，通過緩存和收發端口與外部設備進行交流。SerDes則可以進行發送所需的并到串的編碼操作和接收所需的串到并的解碼操作[7]。還能夠使得外設具有非常好的適應能力，使外設能夠勝 任 5 種 不 同 的 頻 率 模 式 （1.25Gbps，2.5Gbps，3.125Gbps，5Gbps，6.25Gbps）。

2）直接I/O模式中的SRIO

直接I/O模塊是所有發送出去的直接I/O數據包的來源。通過直接I/O模塊，RapidIO數據包就可以在目標設備上存儲地址。但是這種模式要求RapidIO數據包的源設備中必須保存有目標設備的內存分配表。一旦這種表創立起來，RapidIO源控制器就可以知道目標設備的地址，并將地址放到數據包的包頭中去。

當CPU想發送一個數據給外部處理元件（PE）或者從外部處理元件中讀取一個數據時，它必須使用一種方式將RapidIO數據包的包頭給填滿。加載/存儲模塊提供了一種通過將一組寄存器作為傳輸描述符的機制來解決這個問題，如圖1所示。CPU可以通過配置總線來訪問這些寄存器[8]。一旦對LSUn_REG5寄存器的寫操作完成時，數據傳輸就開始了。

圖1 RapidIO加載/存儲單元的寄存器

這種模型中存在4個LSU寄存器組[9]，能夠允許所有的操作提出4個響應請求。一個共享的配置總線就可以訪問這4個寄存器組，而一個單核設備也可以利用4個LSU塊。一般使用軟件來管理LSU塊。

2 實驗平臺

用來評估互連協議SRIO的實驗平臺是EVMC6474實驗板。該板有2個主頻在1 GHz的DSP，這兩個DSP通過2路1X SRIO總線相連。TMS320C6474在單芯片上集成了3個核[10]，且每個核運行速率都在1 GHz，所以可以提供3 GHz的數字信號處理性能。

3 實驗結果

為了評估在EVMC6474板子上實現SRIO互連的性能，完成了一系列測試。

3.1 SRIO函數庫

在開始性能評估之前，可以先開發一個庫來控制TMS320C6470信號處理器的SRIO設備，而不必直接去處理那些配置寄存器。

這個SRIO庫是建立于CSL接口之上的。CSL接口是德州儀器公司提供用來配置和控制那些集成在TMS320C6474 DSP上的外設的[11]。

庫中開發的C函數有：

1）SRIO_Init（） :初始化 SRIO 模塊

2）SRIO_Write:填充LSU單元來發送一個寫操作

3）SRIO_Write_R:填充LSU單元來發送操作結束前須有響應的寫操作

4）SRIO_Read:填充LSU單元來發送一個讀操作

5）SRIO_Doorbell:填充LSU單元來發送一個Doorbell操作

為了實現實驗平臺上兩個DSP之間的通信，其中一個DSP必須先初始化傳輸介質，然后發起一個操作，之后再發送一個Doorbell操作來說明已經傳輸完成的目標DSP[12]。

3.2 Non-posted操作的性能

RapidIO定義的6種基本操作中的Nread和Nwrite_R都屬于Non-posted類型操作[12]，因為它們都是有響應的。這些響應可能包含讀操作或者非寫操作時的數據。

對Non-posted操作的性能評估實驗結果是在RapidIO速率為6.25Gbps時，通過改變操作數據的大小得出的。利用MATLAB可以繪出了1路1X和2路1X時Non-posted操作的性能，如圖2所示。

圖2 帶寬為6.125Gbps時Nread和Nwrite_r操作性能

從圖中可以看出，Nread操作和Nwrite_R操作都沒有達到理想的數據率。最大數據率時1個1X端口只達到了2.12 Gbps的速率，而2個1X端口也就達到了4.38 Gbps的速率。由此看來Nread和Nwrite_R這兩種操作僅僅利用串行RapidIO可提供帶寬的48%而已，優化空間很大。

3.3 Posted操作的性能

在RapidIO的6種基本操作中，Nwrite和Swrite操作不需要返回完成響應包或者是確認包，所以這兩種操作是屬于Posted操作的[13]。

圖3顯示了分別使用1個1X端口和2個1X端口時Posted操作的性能試驗結果。

圖3 帶寬為6.125Gbps時Nwrite和Swrite操作性能

如圖所示，Nwrite和Swrite操作都達到了很高的數據率。那么這些操作能達到的理論數據率是多少呢？可以通過下面這個公式計算出來：

1） 6.125Gbps：TMS320C6474 所能 達到 的最 大數據率

2）0.8：8b/10b編碼器的效率

3）128：發送操作所需要的頭的大小（按bit計算）

在使用1個1X端口的情況下，當數據大小超過512字節時，理論上的傳輸速率是4.32 Gbps。而實驗時測得，當數據大小超過512字節時，傳輸速率是4.15 Gbps，非常接近理論值。

3.4 發送大于4KB的數據

LSU單元能夠發送的最大數據是4 096字節，但是很多實際應用中的嵌入式系統要求的傳輸數據大小都超過了4 096字節。如何解決這個問題呢，文中提出了3種方法。

1）中斷方法

為了發送大于4 KB的數據流，必須在RapidIO傳輸結束時立即填充LSU單元。當需要需要發送的數據大于4 KB時，可以分N次來完成，但是LSU也必須填充N次。例如我們需要發送的數據大小是32 KB時，可以將32 KB的數據分成8次發送，每次發送4 KB。

LSU有6個寄存器需填充，在第五個寄存器填充完成時，傳輸開始。以上這些工作可以用中斷控制器（INTRC）來完成。每次RapidIO傳輸結束時，CPU都會產生一個中斷。在中斷程序中，CPU會填充LSU并且發起一個新的傳輸操作。在傳輸結束時再次產生中斷，進入中斷操作，如此反復N次，直到將所有數據傳輸完成。

2）在手動模式中使用EDMA

第二種發送大于4 KB數據流的方法需要使用EDMA設備來填充LSU。EDMA是一種存儲器控制器，它能夠將數據從一個存儲器位置直接拷貝到另外一個存儲器中，不需要CPU的干預，效率高。在當前實驗中，另一個存儲器位置當然是LSU單元了。使用EDMA方法時，每一次的傳輸操作都必須根據LSU的配置來完成，總共需要做N次傳輸操作（數據大小：4 KB*N）。配置LSU需要配置6個32位的寄存器，也就是說每次傳輸操作，RapidIO都必須從存儲器中拷貝192 bit的配置信息到LSU中。

第一次傳輸操作是CPU發起的，在傳輸操作結束時，CPU啟動手動模式中的EDMA來填充LSU，從而發起另外的RapidIO傳輸。

3）在RapidIO事件的同步模式中使用EDMA

最后一種方法是在同步模式中使用EDMA設備操作。在這種模式中，當RapidIO傳輸結束時，自動啟動EDMA設備操作，這就大大減少了CPU的干預。正如前面所解釋的每一次的傳輸操作都需要192bit的配置信息。所以執行N次傳輸，必須將N次的配置文件放到存儲器中。

在EDMA的事件同步表中沒有RapidIO事件，但是它卻有CIC（中斷路由）[14]，可以將RapidIO中斷，路由到EDMA。

4）3種方法的性能比較

之前提出的3種方法都可以發送大于4KB的數據流而不對數據率有所影響。圖7顯示了，使用不同方法時Swrite操作的性能評估實驗結果。

圖4 3種方法中的Swrite操作性能

下面的條形圖顯示了，在不同方法中CPU干預所占的百分比。

圖5 3種方法中的CPU干預度

根據這張圖我們可以知道，在同步模式中CPU干預最小。所以同步模式就是發送大于4KB數據流的最有效的方式。但是這種方式有一個缺點，就是它比較難以實現，而且它還需要使用EDMA。相比之下，中斷模式是最簡單的方法，比較容易實現，也不需要任何的外圍設備。介于同步方法難以實現，那么中斷方法稍低的性能也是可以接受的，畢竟它簡單又易實現。

4 結束語

文中提出了RapidIO互連，更確切的說集成在TMS320C6474上外圍設備SRIO的互連。評估了Rapidio互連協議中3個主要邏輯層規范的性能[15]。測試了Nwrite，Nread，Nwrite_R和 Swrite等操作。實驗結果表明：Nwrite和Swrite操作的性能要比其他操作的性能更好。正因為如此，推薦使用這兩種操作來解決處理器間互連的問題，也能夠滿足嵌入式系統對更高帶寬、更高效信號處理和數據傳輸速率不斷增長的需求。在最后提出3種傳輸大數據流的方法，中斷方法，手動模式中的EDMA方法和同步模式中的EDMA方法。并通過對3種方法的性能對比，得出了結論：中斷方法不僅是3種方法中最簡單的方法，它還能增加系統傳輸的穩定性。

[1]施春輝，柴小麗，宋慰軍，等.基于SoPC的前端RapidIO接口設計 [J].計算機工程，2011，37（21）:235-244.

[2]田澤，郭海英.RapidIO傳輸性能測試分析[J].電腦知識與技術，2010（28）:8122-8124.

[3]Sam Fuller.RapidIO The embedded System Interconnect[M].Trade Association，USA John Wiley&Sons，Ltd.

[4]李少龍，高俊，婁景藝.基于SRIO總線的數字信號處理系統的實現[J].通信技術，2012，45（5）:100-104.

[5]Zhang Yong，Wang Yong.Research on Physical LayerTraffic ManagementSchemesin Serial RapidIOInterconnect [J]. Joumal of China Universities of Posts and Telecommunication.2011（1）:65-70.

[6]梁廣勝，劉倩茹，姚海洋.RapidIO應用系統及其驗證模型的設計與測試 [J].電子設計工程，2011（23）:60-64.

[7]Bin Ji.Design and Implementation of High-speed Serial RapidIO Based on PowePC[J].In TelelcommunicationEnginering， 2011，51（3）：74-78.

[8]劉琳.基于RapidIO的高速數據傳輸系統設計[D].哈爾濱：哈爾濱工程大學，2013.

[9]PrzemyslawWlodarczyk， SzymonPustelny， Dmitry Budker.Multi-channeldata acquisition with absolute time synchronizaton[J].Nuclear Inst and Methods in PhysicsResearch，A， 2014：763.

[10]陳宏銘，李蕾，姚益武，等.基于AXI總線串行RapidIO端點控制器的FPGA實現[J].北京大學學報，2014，50（4）：697-703.

[11]尹亞明，李瓊，郭御風，等.新型高性能RapidIO互連技術研究[J].計算機工程與科學，2014:26（10）:26-32.

[12]陳程.串行RapidIO總線在存儲系統中的應用研究[D].西安：西安電子科技大學，2013.

[13]PILLI-SIHVOLA E， RANTASILA K，HINKKA V，et al.The European approach to addressing RFID privacy [J].International Journal of Radio Frequency Identification Technology and Applications，2014，4（3）:258-272.

[14]吳峰峰.一種低時延的串行RapidIO端點設計方案[J]. 北京大學學報：自然科學版，2013，49（4）：570-578.

[15]陳強.串行RapidIO互連系統的設計與實現[D].南京：南京理工大學，2013.

Performance optimization of high-speed interconnect serial protocol RapidIO

YANG Fan，ZHU Feng
（School of Electronics and Information ，Jiangsu University of Science and Technology，Zhenjiang 212000，China）

Serial RapidIO is high performance packet switching technology，it can meet the embedded industry demand for higher bus speed，bandwidth and reliability.The technology can not only achieve communication between chips within high-speed，but also can implement inter-plate communication.In this paper，the proposed research results are on the base that performance optimization of interconnect serial RapidIO which is integrated in the digital signal processor multi-core TMS320C6474.The results show that ，through performance optimization，the transfer speed of Nwrite transaction and Swrite transaction has improved.And from the results， we also know that if we want to send a data packet， the interrupt method is the simplest and it can improve the stability of transfer system.But compared to the method of EDMA（Enhanced Direct Memory Access），it's performance is not so good.

serial RapidIO；Soc；DSP；between chips

TP399

B

1674－6236（2017）12-0134-04

2016-05-25稿件編號：201605241

楊 帆（1989—），男，江蘇淮安人，碩士研究生。研究方向：雷達信息理論與技術應用。