一種高速總線的采集與回放系統(tǒng)的設(shè)計

于曉慶，向才炳

(1.中國電子科技集團公司第五十四研究所，河北 石家莊 050081；2.中國人民解放軍320021部隊，北京 100094)

0 引言

當今時代科學(xué)技術(shù)日新月異，數(shù)據(jù)采集、數(shù)據(jù)數(shù)據(jù)分析的應(yīng)用范圍也越來越廣，各個領(lǐng)域?qū)?shù)據(jù)分析技術(shù)都提出了更高的要求，尤其在雷達通信、衛(wèi)星探測及電子偵察等，掌握數(shù)據(jù)高速采集析技術(shù)更顯得至關(guān)重要[1]。

可編程邏輯器件和大規(guī)模集成電路飛速發(fā)展，數(shù)字化信號處理方法在高速數(shù)據(jù)處理過程中發(fā)揮著越來越重要的作用，這對于數(shù)字采集提出了更高的要求。數(shù)據(jù)采集與回放系統(tǒng)通常可以分為2類：一類實時存儲記錄數(shù)據(jù)并完成信號處理[1]，一般適用于高速、大容量的信號處理現(xiàn)場，通過采集到的信息實時處理結(jié)果，從而做出相應(yīng)措施。例如攔截敵方目標時，從發(fā)現(xiàn)攻擊導(dǎo)彈目標起，就要求預(yù)警系統(tǒng)實時進行數(shù)據(jù)處理，確定跟蹤目標，計算目標飛行軌跡，保證攔截導(dǎo)彈對敵方目標精準攔截[2]；另一類則不要求實時進行信號處理,主要是記錄現(xiàn)場數(shù)據(jù)，事后將采集記錄的數(shù)據(jù)進行分析[3]。例如彈載和機載雷達系統(tǒng)，外場試驗成本較高難度較大，需要將大量數(shù)據(jù)存儲記錄以供后期去分析處理[4]。

在現(xiàn)代導(dǎo)航系統(tǒng)中，由于導(dǎo)航信號波形越來越復(fù)雜，帶寬不斷提高，測試難度變大，對導(dǎo)航信號進行采集、記錄和分析處理研究顯得尤為重要。因此本文研究的高速采集與回放系統(tǒng)正是一種對導(dǎo)航實時采集記錄與分析系統(tǒng),整個系統(tǒng)基于VPX架構(gòu)實現(xiàn)，保證數(shù)據(jù)可靠穩(wěn)定的傳輸。

1 總體設(shè)計

隨著通信技術(shù)的不斷發(fā)展，通信設(shè)備在數(shù)據(jù)處理速度上逐漸向高速高精度發(fā)展，目前VPX總線技術(shù)廣泛應(yīng)用[4-6]，為通信系統(tǒng)獲得更高的性能和帶寬。因此本文采集回放系統(tǒng)采用高速的VPX架構(gòu)平臺，該平臺主要在真實的環(huán)境下進行采集與回放。導(dǎo)航信號采集回放系統(tǒng)由主控計算機板、信號采集回放卡、高速信號存儲卡和固態(tài)存儲卡組成，其總體方案如圖1所示。

圖1 采集與回放系統(tǒng)的硬件設(shè)計方案

主控計算機板采用基于VPX架構(gòu)的控制器實現(xiàn)，為采集、回放和存儲功能單元提供高速數(shù)據(jù)互聯(lián)接口。信號存儲單元采用基于VPX總線的固態(tài)存儲單元構(gòu)成，存儲單元由固態(tài)存儲模塊組成RAID5，實現(xiàn)高速海量存儲。信號采集回放卡完成對4路70 MHz/300 MHz中頻信號實時采集與回放，當回放時從磁盤陣列讀取采集數(shù)據(jù)，并利用數(shù)模轉(zhuǎn)換器生成原始信號進行回放。

結(jié)合導(dǎo)航信號的特點，對采集回放系統(tǒng)提出如下指標要求：

① 采集信號中心頻率：70 MHz，300 MHz；信號帶寬與輸入信號帶寬匹配；

② 回放的時間碼和數(shù)據(jù)對齊關(guān)系<10 μs；采集回放時延穩(wěn)定性優(yōu)于1 ns;

③ 回放速率≥400 Msps；

④ 輸入、輸出信號電平：-20～+10 dBm；

2 硬件設(shè)計

采集與回放系統(tǒng)在硬件設(shè)計過程中充分考慮了該平臺的通用性和可移植性，從芯片選型、接口預(yù)留、資源分配、通信標準制定采用模塊化設(shè)計理念，詳細介紹各模塊硬件選型及實現(xiàn)[7-8]。

信號采集回放板[9]：主要實現(xiàn)對A/D信號的采集與緩存、完成對DDR3、PCIe協(xié)議實現(xiàn)，并且通過D/A完成數(shù)據(jù)回放功能。

信號采集回放板由VPX總線接口底板和2塊FMC接口AD和DA子卡組成。底板核心器件選用xilinx公司Vertex-7系列XC7V690T。時鐘電路主要芯片為ADI公司的AD9517-0和AD9508，F(xiàn)MC接口AD和DA子卡上AD9517-0產(chǎn)生4路時鐘信號。

VPX主控計算機板[10]：主要完成通過網(wǎng)絡(luò)接口和遠程控制中心實現(xiàn)數(shù)據(jù)互通和遠程監(jiān)控。主板通過XMC接口擴展2路萬兆網(wǎng)口，可通過萬兆網(wǎng)接口導(dǎo)出數(shù)據(jù)VPX計算機主板為半定制高性能計算機主板。

計算機主板[11]選用Intel第三代I7四核八線程高性能處理器，提供了可支持全網(wǎng)狀交換的高速數(shù)據(jù)通道，其中P1，P2各支持 4 個 PCIe x4 Gen3總線接口。該產(chǎn)品具有很強的擴展性，可以很好滿足多負載多節(jié)點的應(yīng)用需求。

固態(tài)存儲卡[12-13]：主要實現(xiàn)2 GB/s以上的存儲和回放速度，固態(tài)盤陣列選用Intel SSD DC S3520系列的SSD，采集回放設(shè)備項目采用Intel SSD DC S3520系列SATA接口SSD，單盤容量為960 G，磁盤陣列掛載16個SSD組成RAID5模式，總?cè)萘繛?4 TB，實際測試傳輸帶寬可達3 GB/s。

VPX機箱背板是整個信號采集系統(tǒng)數(shù)據(jù)傳輸樞紐，是各功能模塊之間的數(shù)據(jù)交互的基礎(chǔ)，還為各模塊間的數(shù)據(jù)高速傳輸提供通道。

3 軟件設(shè)計

采集與回放系統(tǒng)軟件架構(gòu)采用模塊化的設(shè)計架構(gòu)，采集回放板中FPGA完成時鐘芯片AD9517的配置、AD采集芯片接口、數(shù)據(jù)緩存、數(shù)據(jù)編碼、PCIE數(shù)據(jù)通信、數(shù)據(jù)解碼及DA回放芯片接口等工作。

采集回放板FPGA總體結(jié)構(gòu)框圖如圖2所示。

圖2 FPGA部分結(jié)構(gòu)框圖

3.1 時鐘配置模塊

時鐘配置模塊主要是配置AD9517工作參數(shù)和回讀工作參數(shù)，產(chǎn)生AD采集芯片的采集時鐘、DA回放芯片的工作時鐘以及判斷時鐘芯片AD9517工作狀態(tài)。

FPGA通過SPI接口對AD9517進行配置或回讀參數(shù)。配置模塊結(jié)構(gòu)框圖如圖3所示。

圖3 配置模塊結(jié)構(gòu)框圖

3.2 AD采集模塊

AD采集模塊主要接收和轉(zhuǎn)換AD采集芯片的數(shù)據(jù)，然后進行數(shù)據(jù)位寬轉(zhuǎn)換和緩沖處理，再輸出到DDR3緩存模塊。

AD采集芯片輸出的是14位LVDS信號，AD采集模塊先將LVDS信號轉(zhuǎn)換為單端信號，取高12位，采用獨立時鐘FIFO對數(shù)據(jù)進行位寬轉(zhuǎn)換以匹配DDR3緩存模塊輸入位寬，同時處理AD采集時鐘與FPGA內(nèi)工作時鐘不同步問題。

為保持B碼數(shù)據(jù)與AD數(shù)據(jù)的同步，在采集AD數(shù)據(jù)的同時也采集B碼信號。采集模塊的結(jié)構(gòu)框圖如圖4所示。

圖4 采集模塊結(jié)構(gòu)框圖

3.3 DDR3緩存模塊

在采集過程中，DDR3緩存模塊緩存AD采集數(shù)據(jù)，在回放過程中，DDR3緩存模塊緩存DA回放數(shù)據(jù)。因為采集和回放不是同時工作，采集和回放緩存共用DDR3緩存模塊。

系統(tǒng)要求4路AD采集獨立可設(shè)置，因此DDR3緩存AD數(shù)據(jù)時要求每路數(shù)據(jù)嚴格區(qū)分，設(shè)計2組DDR3存儲單元，每組DDR3存儲單元對應(yīng)一個DDR3緩存模塊，每個DDR3緩存模塊緩存2路獨立的AD數(shù)據(jù)。

DDR3緩存模塊接收兩通道數(shù)據(jù)，DDR3讀寫控制將輸入的突發(fā)數(shù)據(jù)及時寫入外部DDR3內(nèi)存芯片中，防止輸入前端數(shù)據(jù)溢出，同時DDR3讀寫控制及時從外部DDR3內(nèi)存中讀出數(shù)據(jù)及時寫入后級輸出FIFO中，防止后端數(shù)據(jù)斷流。

DDR3緩存模塊結(jié)構(gòu)框圖如圖5所示。

圖5 DDR3緩存模塊結(jié)構(gòu)框圖

3.4 編碼模塊

編碼模塊將獨立的四路數(shù)據(jù)按協(xié)議進行打包處理，通過FIFO發(fā)送給PCIe模塊，PCIe模塊將數(shù)據(jù)向主控計算機發(fā)送。

為了嚴格區(qū)分4路數(shù)據(jù)，存儲過程中也需要將4路數(shù)據(jù)獨立存儲，為了保證主控計算機讀寫盤的效率，設(shè)定每路數(shù)據(jù)傳輸?shù)淖钚卧獮? MB，每個數(shù)據(jù)傳輸單元的數(shù)據(jù)頭中包含數(shù)據(jù)通道信息，時間信息等。

4路數(shù)據(jù)通道中任何一路輸入數(shù)據(jù)達到8 MB的數(shù)據(jù)量，數(shù)據(jù)打包控制模塊將讀取該路的8 MB數(shù)據(jù)形成一個數(shù)據(jù)包，并為該數(shù)據(jù)包添加通道信息及時間信息。數(shù)據(jù)包通過輸出FIFO向PCIe模塊發(fā)送，編碼模塊結(jié)構(gòu)框圖如圖6所示。

圖6 編碼模塊結(jié)構(gòu)框圖

3.5 解碼模塊

解碼模塊接收來自PCIe模塊下發(fā)的數(shù)據(jù)，根據(jù)數(shù)據(jù)包的包頭信息，解析出數(shù)據(jù)及時寫入對應(yīng)通道的輸出FIFO，然后輸出到DDR3緩存模塊進行緩存，解碼模塊結(jié)構(gòu)框圖如圖7所示。

圖7 解碼模塊結(jié)構(gòu)框圖

3.6 DA回放模塊

DA回放模塊接收來自于DDR3緩存模塊的數(shù)據(jù)，解析出DA數(shù)據(jù)和B碼數(shù)據(jù)，DA數(shù)據(jù)通過輸出差分驅(qū)動器發(fā)送給DA，B碼數(shù)據(jù)通過接口對外輸出。DA回放模塊結(jié)構(gòu)框圖如圖8所示。

圖8 DA回放模塊結(jié)構(gòu)框圖

4 上位機軟件設(shè)計

上位機系統(tǒng)軟件包含驅(qū)動程序軟件和應(yīng)用程序軟件，驅(qū)動程序軟件負責在操作系統(tǒng)的底層與各板卡進行數(shù)據(jù)通信，應(yīng)用軟件負責和驅(qū)動程序通信。

驅(qū)動程序的設(shè)計直接關(guān)系到系統(tǒng)穩(wěn)定性和系統(tǒng)效率，為了保證達到PCIe 2.0的峰值速度，驅(qū)動設(shè)計必須進行優(yōu)化，支持統(tǒng)一的訪問接口，支持多線程操作，具體要求如下：操作系統(tǒng)：Windows 7 64位； 驅(qū)動程序類型：WDM；DMA類型：Packet DMA；

DMA大小：4 MByte ；DMA通道數(shù)：2 channel；

PCIE接口：2.0 。

應(yīng)用程序軟件負責與驅(qū)動程序交互，設(shè)計統(tǒng)一應(yīng)用程序訪問接口和用戶程序界面，實現(xiàn)采集與回放系統(tǒng)的狀態(tài)和通信鏈路的狀態(tài)。為了保證穩(wěn)定的數(shù)據(jù)傳輸速率，應(yīng)用程序采用多線程的方式設(shè)計，支持不同通道乒乓操作。應(yīng)用程序通過DMA方式把數(shù)據(jù)傳到主存當中，同時要把主存中的數(shù)據(jù)通過DMA方式傳輸?shù)酱鎯?。為了保證傳輸速率，存儲過程為主線程，采集過程開辟新的線程，實現(xiàn)多線程操作，提升系統(tǒng)的數(shù)據(jù)存儲速率。具體要求如下：應(yīng)用程序設(shè)計軟件：VC++ 2012；采集卡訪問接口：DLL；多線程操作：支持；與服務(wù)機通信方式：Socket；

支持操作：采集、回讀、存儲、導(dǎo)出和實時顯示。

應(yīng)用層軟件主要實現(xiàn)任務(wù)管理、操作控制、數(shù)據(jù)管理、遠程管理、狀態(tài)監(jiān)視及系統(tǒng)管理6個功能模塊，具體軟件架構(gòu)如圖9所示，用戶界面如10所示。

圖9 應(yīng)用層軟件架構(gòu)圖

圖10 應(yīng)用層軟件架構(gòu)圖

5 系統(tǒng)測試與功能驗證

本文對高速總線采集與回放系統(tǒng)進行總體方案設(shè)計和詳細的介紹軟硬件模塊，在此設(shè)計的基礎(chǔ)上開發(fā)軟件平臺和搭建系統(tǒng)的測試平臺，完成對系統(tǒng)功能的測試與驗證。測試儀器包括：采集回放設(shè)備、信號發(fā)生器、頻譜儀、時碼同步源，具體測試原理圖如圖11所示。

圖11 采集與回放系統(tǒng)測試原理圖

經(jīng)進行系統(tǒng)功能和指標測試，表明采集與回放系統(tǒng)能夠采集70 M，300 M中頻信號且回放的時間碼和數(shù)據(jù)對齊關(guān)系為5 μs；采集回放時延穩(wěn)定性優(yōu)于1 ns，符合系統(tǒng)要求，驗證了方案、軟件設(shè)計的正確性和系統(tǒng)的實時性、同步性。

6 結(jié)束語

新一代的總線VPX具有很高的傳輸速率和帶寬，因此本文以VPX架構(gòu)平臺為基礎(chǔ)實現(xiàn)高速采集與回放系統(tǒng)的設(shè)計，硬件平臺設(shè)計方案是可行的，經(jīng)測試指標均滿足系統(tǒng)要求，達到了預(yù)期成果。本文只對中頻信號進行的采集與回放，后續(xù)可增加射頻方案設(shè)計進行過研究，實現(xiàn)支持北斗各頻點信號采集。