基于T MS320C6678多核DSP的分布式通信系統

董淵文，張永軍，高曉亮，滕 晶

（瑞典宜能嵌入式軟件有限公司上海研發中心，上海 200021）

TMS320C6678是TI公司2010年11月發布的KeyStone架構的8核DSP處理器，每個CorePac核的頻率最高為1.25 GHz，提供強大的定點和浮點運算能力，同時芯片內部集成了Multicore Navigator、RapidIO、千兆以太網和EDMA等外設，由于芯片處理能力強，外設功能豐富，而且片內集成了大量的硬件加速器，例如Packet Accelerator、Multicore Navigator等，被廣泛地應用在通信、雷達、聲納、火控、電子對抗等領域。從目前的情況看，由于C6678的以上優異的特性，基于TMS320C6678的硬件和軟件平臺，在未來的5～10年內，將是信號處理平臺主流。

雖然TMS320C6678硬件優點眾多，但由于芯片內部集成了8核，而且有大量的外設及加速器，通常每個板卡單位上有 4個 TMS320C6678，相當于 32個DSP核，按照一個機架4塊板卡的設計，這將是一個128個DSP核的陣列，而且節點間的連接方式復雜，如何簡單、高效、易調試地實現128個分布式節點的通信，為平臺軟件設計者提出了極高的要求。

針對基于TMS320C6678分布式系統的特點，本文首先分析了TMS320C6678的硬件通信方式及設計難點，進而提出了一種基于透明傳輸的分布式系統通信方式及實現，最后通過實驗給出了性能分析，為基于TMS320C6678的平臺軟件設計提供了參考。

1 核間、DSP間和板間的傳輸方式

由于TMS320C6678芯片高度集成的特性，片內除了8個CorePac內核外，還集成了以太網、EDMA、RapidIO、PCIe 以 及 Multicore Navigator、PacketAccelerator協 處 理器等外設。

在多個TMS320C6678的板卡設計中，芯片內的核間通信，通常采用共享內存或DMA實現，因為TMS320C6678中有專門用于數據搬移的協處理器Multicore Navigator，因此芯片內的核間通信用基于硬件隊列協處理器的CDMA實現。特點是速度快、效率高，缺點是編程復雜，學習周期長。

在雷達、聲納等應用中，一般在一塊DSP處理板上設計多個TMS320C6678處理器，在一個機架上插多塊DSP處理板卡來承載大數據量的處理。對于板卡內DSP間通信，以前可能會經常采用PCIe的設計，但目前的主流設計，傾向于采用RapidIO的通信方式，因為雖然PCIe有架構簡單、編程容易等特點，但是PCIe一般只能用作設備內的通信，而且對于復雜的陣列節點間的通信就力不從心。因此RapidIO這種高效、可靠、跨設備的傳輸方式被用作DSP間、板間傳輸的主要方式。對于大數據量的傳輸，一般會采用RapidIO type5、RapidIO type6以及 RapidIO type10、RapidIO type2混合的模式。由于TMS320C6678支持千兆以太網傳輸，在某些TMS320C6678陣列的板卡設計中，例如Advantech DPS8901單板 20個 TMS320C6678的陣列，DSP間以及CPU和DSP間還會采用基于以太網的傳輸方式。板卡通信示意圖如圖1所示。

圖1 板卡通信示意圖

綜上，在一個板卡的軟、硬件系統設計中，單位節點之間交互有如此多的接口和通信路徑，使平臺軟件的設計和編程工作變得異常復雜。比如節點A和節點B之間，底層通過CDMA連接，節點B和節點C之間底層通過RapidIO通信，如果沒有一種好的上層通信機制，節點A向節點C發送數據，這一過程是非常繁瑣和復雜的，如圖2所示。

圖2 分布式節點間通信示意圖

因此，為解決分布式系統節點的透明傳輸問題，本文提出一種跨核、跨處理器、跨板卡、跨系統的透明傳輸機制LINX及軟件實現，下面將詳細闡述LINX模塊的機制和通信模式。

2 統一接口的分布式透明傳輸模式

針對TMS320C6678板卡設計中復雜的底層接口狀況，提出一種點對點的分布式系統節點間的透明傳輸模型，稱之為 LINX。

這一分布式透明節點間傳輸模型應具有以下特性。

（1）統一接口、使用簡便。從系統架構的角度，LINX設計為統一應用程序接口的中間件模型，即不管底層是何種傳輸介質，例如 SRIO、以太網、CDMA等，對于應用程序來說，對于跨介質傳輸，均使用統一的接口函數。統一通信接口的好處是顯而易見的，因為對于應用程序開發者，可以直接調用統一的接口，跨介質進行數據的收發。

（2）跨介質傳輸。傳輸模型設計為分層架構，不同的底層鏈路驅動按照一定的格式，通過統一抽象的接口例如發送、接收、初始化、查詢、響應中斷等基本接口，與LINX中間件層對接。對于跨多個節點的傳輸，提供簡單的鏈路定義及使用的方式。

（3）錯誤檢測。具有基本的錯誤檢測功能，當LINX模塊檢測到底層鏈路錯誤時，應及時上報給通信節點。而且對于不可靠傳輸介質，比如基于共享內存的通信方式，還需要提供可靠傳輸保證，例如用心跳機制的發送/應答，對不可靠的鏈路提供通信安全保證。

根據以上特性，提出的LINX傳輸模型如圖3所示。自下而上依次是驅動層、傳輸層、會話層以及應用程序接口。

其中驅動層負責具體的驅動鏈路實現；傳輸層負責與驅動層接口，底層的監控和檢測重傳；會話層負責和傳輸層接口，進行鏈路名管理、鏈路路徑的搜索并提供應用程序接口。

LINX采用點對點的傳輸模型，如圖4所示。節點為TMS320C6678的CorePac核，節點A與節點B之間通過CDMA驅動通信，鏈路標識號為n1，那么節點A上的任務A給節點B上的任務B發送數據，可通過接口寫成Send（n1/B，&data）。

圖4 節點間通信示意圖

同理，節點A上的任務 A通過節點B，向節點C上的任務C發送數據，經過CDMA和RapidIO兩個鏈路，分別標識為n1和 n2，那么可通過接口寫成 Send（n1/n2/C，&data）。

由此可見，在TMS320C6678的陣列中，使用基于LINX中間件架構構建的分布式系統通信方式，實現跨介質的傳輸，通信接口非常簡便。對于系統設計來說，可達到各個節點間的無縫傳輸。由于LINX是基于底層驅動的中間件管理模塊，在驅動之上會增加一些負載，下面是LINX模塊的軟件實現，在TMS320C6678EVM開發板卡上所做的性能測試實驗，用以評估LINX模塊對傳輸性能的影響。

3 分布式透明傳輸模式的性能測試

由于RapidIO在多DSP及多板卡的集群設備中是最常用的一種接口，因此以RapidIO為例測試LINX基于RapidIO傳輸在TMS320C6678上的性能。

本測試基于標準TMS320C6678EVM開發板，測試采用OSEck硬實時操作系統，內核代碼在L2 Memory上，其他驅動、中間層LINX所使用的數據區以及應用層所用的內存池均位于片外的DDR3存儲器上，測試的時間周期使用硬件定時器Timer 10（0x022A0000）測量，TMS320C6678 主頻為 1 GHz，RapidIO 配置為 5 Gb/s、4x模式，采用 DirectIO（SRIO type5/6）方式通信。

TMS320C6678核0發送數據，核1接收數據，1核在收到之后向0核回送，每次測試一個回環耗時，測試連續進行n次，由發送端設置時間戳進行連續統計測試，統計單位1 cycle等于1 ns，如表1所示。

表1 測試結果

其中，總耗時為測試n次之后的單向傳輸耗時；測試次數為總的測試次數；每次耗時為每次單向發送數據時，從任務發出數據到對方節點收到數據所消耗的時間；消息大小為發送數據塊的大小；Throughput為傳輸帶寬。Throughput的計算公式為（消息大小/（總耗時/測試次數））×1 000 000 000×8（單位 bit/s）。

按照理論計算，RapidIO 5 Gb/s模式下的去除8 b/10 b編碼后的理論有效帶寬是4 Gb/s，然后還要去除驅動、中間層及應用層的系統開銷，最終的實際有效帶寬不超過理論有效帶寬的80%。

從測試結果看，在采用LINX中間件架構構建的分布式系統通信方式下，傳輸帶寬隨發送的數據增大而增大，由于TMS320C6678的RapidIO傳輸硬件限制，傳輸的數據包最大不超過1 MB。一般采用RapidIO傳輸的數據量是比較大的，典型情況下在傳輸大于4 KB的數據時，帶寬趨向穩定，結果接近于有效實際帶寬。

因此，采用LINX中間件架構構建的分布式系統，在使用簡便、跨介質傳輸和有效錯誤檢測等優點特性的基礎上，在大數據量的傳輸模式下，性能接近于直接驅動模式。

目前TMS320C6678芯片被越來越廣泛地使用在通信、雷達、聲納、電子對抗等領域，由于系統設計日益復雜，通信接口多樣，需要分布式的透明傳輸中間件模塊，把系統中幾十個乃至上百個TMS320C6678內核節點無縫連接起來。針對TMS320C6678核間、片間、板間的通信要求，本文提出了一種稱為LINX的分布式系統節點間的透明傳輸模型，提供了實現方法及性能測試數據，為基于TMS320C6678芯片的系統軟件設計提供了參考。

[1]Texas Instrument TMS320C6678 Multicore Fixed and Floating-Point Digital Signal Processor[R].SPRS691，2010.

[2]KeyStone architecture serial RapidIO （SRIO）user guide[R].SPRUGW1，2010.

[3]彭益智.一種基于TMS320C6678的JPEG編碼算法并行實現方法[J].指揮控制與仿真，2012，34（1）：121.

[4]鄭章汝.基于TMS320C6678的雷達信號處理機設計[J].工業控制計算機，2012，25（11）：14.

[5]齊恩勇.基于多核處理器的彈載嵌入式系統設計研究[J].電子設計工程，2013，21（6）：105.