一種板間高速傳輸系統的設計與實現

劉麗格,李天保,石鑫剛

(1.中國電子科技集團公司第五十四研究所,河北石家莊050081;2.河北先控電源設備有限公司,河北石家莊050035)

0 引言

隨著數字信號處理技術的飛速發展,數字信號處理設備的速度和復雜度不斷提高。相應地,系統對數字信號傳輸帶寬的要求也不斷增加。對一個數字處理設備而言,板間數據傳輸帶寬已經成為限制設備性能的瓶頸之一。

提升并行傳輸帶寬需要解決2個問題,一是提高FPGA輸入輸出接口的比特速率,另一個是解決多路并行信號間的時延不一致的問題。

1 實現方法

由于FPGA內部邏輯單元處理速率有限,要實現數據的高速傳輸需要利用FPGA內部與每一個輸入輸出(I/O)單元相連的并串轉換核(OSERDES)和串并轉換核(ISERDES),OSERDES可以把FPGA內部的并行低速數據轉換為高速串行數據,ISERDES可以把輸入的高速串行數據轉換為低速并行數據。如果把多路這樣的串行數據并行進行傳輸,就可以實現更大的傳輸帶寬。

然而,通過底板并行高速傳輸數據不可避免地造成了數據線與時鐘線之間、數據線與數據線之間時延不一致的問題。為解決此問題,可以利用FPGA每一個I/O管腳的輸入輸出延時(IODELAY)單元。IODELAY相當于是一段延遲線,該延遲線以大約78 ps為步進單位,最大可實現64階時延。因此,通過調整延遲線的時延,可以精確控制輸入信號到達FPGA內部的處理邏輯單元的相位,進而對多路信號之間在底板上傳輸的時延不一致進行補償。

2 設計方案

板間高速同步并行數據傳輸的示意框圖如圖1所示。發送方將較低速率的并行數據送入發送模塊,發送模塊將其轉換為的高速數據信號,并以低電壓差分信號(LVDS)標準的雙數據速率(DDR)接口形式通過底板發送到接收方。接收方的接收模塊將每一組數據恢復成原始的并行數據及相應的時鐘,并以該時鐘存入先進先出存儲器(FIFO),并利用同一個讀時鐘和統一的復位信號將各路信號完全同步恢復。

圖1 板間高速數據傳輸的框圖

板間高速數據傳輸的方案中主要包括發送模塊、底板、接收模塊和跨時鐘域同步模塊幾個部分組成。

2.1 發送模塊

在發送模塊內部,輸入的64 bit數據按8 bit分組,分成8組。每一組8 bit數據送給FPGA內部的OSERDES模塊轉換成8倍數據速率的單比特信號,再送給單端轉差分單元從FPGA管腳送出。而時鐘需要通過雙數據速率輸出(ODDR)模塊和單端轉差分單元從FPGA管腳送出。因此發送模塊內部不需要更多的邏輯控制,僅僅是工作數據和訓練序列之間需要一個選擇器,由監控選擇將哪一種數據送出。通常在系統初始化階段控制將訓練序列發送出去,在檢測到接收方已完成校準后再切換到工作數據流。

2.2 底板傳輸模塊

LVDS差分信號線在底板上傳輸不需要額外的驅動電路,也不需要差分端接電阻,只需要將所有差分信號線引入到接收方的FPGA即可。因為在FPGA內部存在差分轉單端的硬件單元,該硬件單元有一個高直流輸入阻抗,幾乎所有的驅動電流都將流經100 Ω終端電阻產生約350 mV電壓。其特有的低振幅和恒流源驅動模式只產生極低的噪聲,消耗很小的功率。但底板的設計中必須考慮信號線的阻抗設計和等長設計。盡管在接收方將對數據傳輸時延進行校準,但由于FPGA內部的校準范圍是有限的,還是需要盡可能在設計中保證信號時延在可調整的范圍以內。

2.3 接收模塊

接收方首先需要對輸入數據按照與發送方相反的流程執行差分轉單端、DDR轉單數據速率(SDR)和串行化轉并行的步驟以外,還需要進行時延校準、比特排列(BIT ALIGNMENT)、字排列(WORD ALIGNMENT)及跨時鐘域數據同步等操作。其中接收模塊的實現示意框圖如圖2所示。

圖2 接收模塊實現示意框圖

圖中每一個ISERDES都會將輸入的單高速數據轉換為8 bit低速并行數據,8個ISERDES接收從底板傳來的8位高速數據,轉換為64 bit低速數據。所有的8組8 bit數據都被送入一個數據選擇器,由一個時分復用/資源共享控制模塊在一段時間內選擇一組數據送入數據排序模塊,以減少邏輯資源的消耗。數據排列狀態機產生3個控制信號,分別是INC、ICE和 BITSLIP。其中 INC和 ICE能夠造成IODELAY產生對輸入信號以75 ps步進遞增和遞減的時延。而BITSLIP可以使ISERDES將并行輸出數據比特的順序進行循環移位,進而實現與訓練序列的比較。

數據排序狀態機是整個接收模塊的核心控制部分,它主要實現2部分功能：一是比特對齊;二是字對齊。比特對齊就是通過調整數據信號的時延把時鐘的采樣沿盡量對準數據窗口的中心。而字對齊是為了確保ISERDES輸出的并行數據位以正確的排列順序輸出。比特對齊的步驟如圖3所示。

圖3 比特對齊步驟

整個比特對齊過程會測量出一個完整的數據眼圖(以78ps數據時延為步進),并返回到該眼圖的中心點。其中搜尋跳變點需要考慮數據傳輸過程中的抖動問題,從而避免第2個跳變點的錯誤檢測。

為了正確判斷出跳變的位置,需要考慮2種數據抖動的情況。第1種情況是隨機抖動的情況。在這種隨機抖動的情況下,通過把當前采樣值與上一次采樣值作比較,從比較結果就可以決斷出跳變的起始和結束時刻。第2種情況是確定性的抖動,在這種情況下,FPGA程序檢測不到前后2次采樣值的不同,但是采樣值與已知的訓練序列是不同的。這就需要利用ISERDES的BITSLIP特性。

比特對齊確保數據位被可靠地獲取,但數據位的順序可能與發送方所期望的順序有所不同。字對齊操作利用ISERDES單元的BITSLIP功能實現順序調整。由于在系統初始化校準階段發送方發送的是訓練序列,這對于接收方是已知的。接收方就不斷執行比特滑動直到ISERDES輸出的數據與訓練序列完全一致為止。

2.4 跨時鐘域同步模塊

所有的發送方數據在送入接收方后經各自的接收模塊恢復出了低速的64 bit的數據和與之對應的時鐘。盡管所有發送方的時鐘都是由同一個時鐘源產生的,在頻率上完全相同,但由于路徑的不一致會造成各路時鐘會存在相位差。為了用同一個時鐘對所有數據進行處理還需要進行同步化操作。這種操作是利用FPGA內部的異步FIFO來實現的。異步FIFO是指用一種時鐘執行寫入操作,而用另外一種時鐘執行讀出操作,這2種時鐘是異步的。每一路數據都以其隨路時鐘被寫入到一個異步FIFO中,所有FIFO的讀操作都采用同一個時鐘。這個時鐘可以是與發送方同源的另一種時鐘,也可以直接從接收過來的多個時鐘中選出一路使用。因而確保了讀時鐘的速率與寫的速率一致,不會由于時鐘頻差累積造成FIFO的寫滿或讀空。

3 測試結果

設計中發送方與接收方都采用賽靈思(Xilinx)公司的Virtex4系列XC4VLX160型號FPGA芯片,底板接插件也采用標準CPCI的接插件。在一臺21槽CPCI工控機上進行實驗,對20個槽位的板間互連進行測試。以單根數據線的比特傳輸速率為參考,采用傳統的并行傳輸方式測試,傳輸速率最高可達到400 Mbit/s,而有的板卡間只能達到約200Mbit/s,這與布線和接插件造成的時延一致性有關。而采用該文中的高速板間傳輸技術,全部的板間傳輸測試都達到800 Mbit/s,測試30 min無誤碼。特別重要的是,由于帶有硬件的自動校準功能,調試工作量大大減少。

4 結束語

數據傳輸性能是設備硬件設計必須充分考慮的基本問題之一,如何挖掘硬件平臺的數據傳輸潛力,尋找有效增加傳輸帶寬的方法,成為了一項非常具有現實意義的課題,也是衡量硬件性能的一項重要指標。這種板間高速傳輸技術降低了對硬件外圍電路的要求,結合高速串行傳輸的部分特性,突破了傳統并行傳輸的比特速率限制,為數字信號處理能力的提高提供了支持。

[1]趙增輝,劉中友,彭圻平.高速差分信號的互連設計[J].無線電通信技術,2010,36(1)：50-56.

[2]胡錦,彭成,譚明.基于RocketIO的高速串行協議設計與實現[J].微計算機信息,2008,24(18)：196-197.

[3]武榮偉,蘇濤,翁春蕾.基于FPGA的高速數據傳輸方案設計與實現[J].重慶郵電大學學報,2010,22(2)：205-208.

[4]史小波,程夢璋,許會芳.集成電路設計VHDL教程[M].北京：清華大學出版社,2005：145-147.

[5]楊翠紅,文豐,姚宗.基于LVDS的高速數據傳輸系統的設計[J].通信技術,2010,43(9)：59-64.

[6]陳長林,邱兆坤.Rocket I0及其在高速數據傳輸中的應用[J].單片機與嵌入式應用,2010(11)：25-28.

[7]薛隆全,文豐,張時華.基于LVDS總線的高速長距數據傳輸的設計[J].電子設計工程,2009,17(2)：39-42.

[8]馬將,任勇鋒,李圣昆.LVDS遠程傳輸中繼電路的設計應用[J].通信技術,2010,43(1)：26-28.