北京三號(hào)B衛(wèi)星海量數(shù)據(jù)傳輸處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

劉聰聰 韓宇 孫鈺林 袁素春 肖化超 朱紅 袁玉 王元樂(lè)

(西安空間無(wú)線電技術(shù)研究所,西安 710071)

北京三號(hào)B衛(wèi)星是一顆高分辨率商業(yè)遙感衛(wèi)星,衛(wèi)星軌道高度約為500km,具備超高敏捷、超高穩(wěn)定及超高精度獲取影像能力,可快速高效提取大量的超高分辨率遙感衛(wèi)星數(shù)據(jù)和信息產(chǎn)品。衛(wèi)星裝載了高分辨率大寬幅全色/多光譜雙相機(jī)組合,星下點(diǎn)地面成像分辨率全色0.5m,多光譜2m,雙相機(jī)成像幅寬優(yōu)于23km,為國(guó)內(nèi)首顆任意航跡成像的亞米級(jí)遙感衛(wèi)星。

隨著近年來(lái)遙感衛(wèi)星分辨率的快速提升,載荷數(shù)據(jù)速率也越來(lái)越高,星載設(shè)備海量數(shù)據(jù)傳輸處理設(shè)計(jì)成為衛(wèi)星系統(tǒng)設(shè)計(jì)的關(guān)鍵技術(shù)[1]。北京三號(hào)B衛(wèi)星裝載的高分辨率相機(jī)系統(tǒng)有效載荷速率高達(dá)18.7Gbit/s,接口峰值速率高達(dá)36.04Gbit/s,基于LVDS與TLK2711技術(shù)的傳統(tǒng)數(shù)據(jù)傳輸技術(shù)已無(wú)法滿(mǎn)足衛(wèi)星系統(tǒng)要求[2]。因此,針對(duì)北京三號(hào)B衛(wèi)星數(shù)據(jù)路由傳輸處理需求,設(shè)計(jì)了一種基于萬(wàn)兆網(wǎng)接口和高速串行GTX/GTH互聯(lián)的海量數(shù)據(jù)傳輸與處理系統(tǒng)。本文首先對(duì)系統(tǒng)的總體設(shè)計(jì)和方案設(shè)計(jì)進(jìn)行了說(shuō)明,之后對(duì)系統(tǒng)設(shè)計(jì)的關(guān)鍵技術(shù)進(jìn)行了介紹,包括萬(wàn)兆網(wǎng)接口傳輸技術(shù)、高速GTX/GTH互聯(lián)傳輸技術(shù)和數(shù)據(jù)路由設(shè)計(jì)。

1 系統(tǒng)總體設(shè)計(jì)

北京三號(hào)B衛(wèi)星配備1臺(tái)綜合智能處理器完成4路高分辨率相機(jī)數(shù)據(jù)接收、數(shù)據(jù)路由分發(fā)、圖像壓縮、目標(biāo)檢測(cè)、數(shù)據(jù)存儲(chǔ)和下傳編碼等功能。綜合智能處理器由下位機(jī)、路由處理單元、計(jì)算單元、存儲(chǔ)單元和適配單元組成,其中下位機(jī)接收星務(wù)計(jì)算機(jī)遙控指令實(shí)現(xiàn)單機(jī)內(nèi)各單元的工作模式控制并將單機(jī)工作狀態(tài)遙測(cè)上報(bào)至星務(wù)計(jì)算機(jī),路由處理單元實(shí)現(xiàn)相機(jī)數(shù)據(jù)接收、數(shù)據(jù)路由分發(fā)功能,計(jì)算單元實(shí)現(xiàn)圖像壓縮與目標(biāo)檢測(cè)功能,存儲(chǔ)單元實(shí)現(xiàn)星載數(shù)據(jù)存儲(chǔ)并根據(jù)任務(wù)需求進(jìn)行數(shù)據(jù)回放功能,適配單元完成下傳數(shù)據(jù)信道編碼功能[3]。綜合智能處理器各單元連接關(guān)系如圖1所示。

2 路由處理單元設(shè)計(jì)

綜合智能處理器路由處理單元作為單機(jī)數(shù)據(jù)處理核心節(jié)點(diǎn),通過(guò)4片萬(wàn)兆網(wǎng)接口接收4路探測(cè)器數(shù)據(jù),在超大規(guī)模現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)中完成相機(jī)數(shù)據(jù)接收、圖像數(shù)據(jù)解析、格式編排、緩存處理,并根據(jù)系統(tǒng)總體任務(wù)要求通過(guò)高速串行收發(fā)器GTX/GTH接口與串行解串Serdes接口對(duì)計(jì)算單元、存儲(chǔ)單元和適配單元進(jìn)行數(shù)據(jù)路由。路由處理單元原理框圖如圖2所示。

圖2 路由處理單元設(shè)計(jì)框圖

3 系統(tǒng)關(guān)鍵技術(shù)

3.1 萬(wàn)兆網(wǎng)接口傳輸技術(shù)

萬(wàn)兆網(wǎng)接口芯片是一種雙向點(diǎn)對(duì)點(diǎn)的高速數(shù)據(jù)傳輸接口芯片,常用于設(shè)備間數(shù)據(jù)的高速互連。單片接口芯片設(shè)計(jì)有2個(gè)冗余XAUI收發(fā)器(XAUI A和XAUI B),可通過(guò)外部控制信號(hào)進(jìn)行配置選擇。單區(qū)(XAUIA或XAUIB)包括32bit數(shù)據(jù)位、4bit標(biāo)識(shí)位,最高支持有效速率10Gbit/s獨(dú)立接口(XGMII)和線速率12.5Gbit/s的數(shù)據(jù)收發(fā)。在芯片內(nèi)部集成了時(shí)鐘恢復(fù)電路、時(shí)鐘倍頻同步電路、逗號(hào)檢測(cè)電路、并/串與串/并轉(zhuǎn)換單元、8b10b編碼/解碼器、自檢單元等功能單元[4]。基于芯片高傳輸速率、高集成度和高可靠性的特點(diǎn),非常適合用于星載設(shè)備間高速數(shù)據(jù)傳輸。

3.1.1 數(shù)據(jù)傳輸鏈路

芯片發(fā)送端接收XGMII端32bit并行數(shù)據(jù)和4bit數(shù)據(jù)標(biāo)識(shí),經(jīng)先進(jìn)先出(FIFO)緩存和時(shí)鐘補(bǔ)償處理送入8b10b編碼器,再經(jīng)并/串變換后通過(guò)XAUI差分發(fā)送端口輸出,完成數(shù)據(jù)發(fā)送。芯片接收端時(shí)鐘恢復(fù)電路從XAUI端差分接收信號(hào)中恢復(fù)出隨路時(shí)鐘,并進(jìn)行串/并變換,經(jīng)過(guò)逗號(hào)檢測(cè)電路進(jìn)行字節(jié)邊界對(duì)齊后,將并行數(shù)據(jù)送入8b10b解碼器進(jìn)行校驗(yàn)解碼恢復(fù)出32bit并行數(shù)據(jù)和4bit數(shù)據(jù)標(biāo)識(shí)位,從芯片XGMII并行數(shù)據(jù)端口輸出,完成數(shù)據(jù)接收。

萬(wàn)兆網(wǎng)接口數(shù)據(jù)傳輸是一種基于包操作的鏈路傳輸,因此根據(jù)芯片傳輸特性,制定了一種基于K碼與D碼的鏈路傳輸協(xié)議。協(xié)議數(shù)據(jù)幀結(jié)構(gòu)由幀頭控制符(/S/)、幀尾控制符(/T/)、數(shù)據(jù)單元(/D/)和空碼(/I/)4部分組成,如圖3所示。

圖3 協(xié)議數(shù)據(jù)幀格式

在數(shù)據(jù)幀傳輸時(shí),依次發(fā)送幀頭(/S/)、數(shù)據(jù)單元(/D/)和幀尾(/T/),數(shù)據(jù)幀發(fā)送完成后發(fā)送連續(xù)同步字符保證傳輸鏈路的同步,如表1所示。

表1 控制字符

包含幀頭的輸出D[31:0]:16進(jìn)制為/FF/FF/FF/FB/,占用4byte,對(duì)應(yīng)標(biāo)識(shí)位TXC/RXC為二進(jìn)制”0001”;包含幀尾的輸出D[31:0]:16進(jìn)制為/07/07/07/FD/,占用4byte,對(duì)應(yīng)標(biāo)識(shí)位TXC/RXC為二進(jìn)制”0001”;數(shù)據(jù)單元:數(shù)據(jù)單元是由若干個(gè)32比特?cái)?shù)據(jù)組成的數(shù)據(jù)流,對(duì)應(yīng)標(biāo)識(shí)位TXC/RXC為二進(jìn)制”0000”。發(fā)送端在時(shí)鐘上升沿發(fā)送數(shù)據(jù)單元的第1個(gè)字節(jié)對(duì)應(yīng)列。

3.1.2 萬(wàn)兆網(wǎng)接口軟件設(shè)計(jì)

萬(wàn)兆網(wǎng)接口是雙時(shí)鐘沿處理芯片,芯片在發(fā)送端采用源中心對(duì)齊的時(shí)序方式,此時(shí)TCLK/RCLK的時(shí)鐘跳變沿與數(shù)據(jù)中心對(duì)齊。在FPGA內(nèi)部進(jìn)行數(shù)據(jù)處理時(shí),為保證設(shè)計(jì)時(shí)序與設(shè)計(jì)可靠性,通常采用單時(shí)鐘沿處理。FPGA內(nèi)部接口數(shù)據(jù)接收設(shè)計(jì)框圖如圖4所示。

圖4 萬(wàn)兆網(wǎng)接口數(shù)據(jù)接收設(shè)計(jì)框圖

FPGA接收到芯片發(fā)送的隨路時(shí)鐘RCLK、接收控制符RXC(3:0)、接收數(shù)據(jù)RXD(31:0)后,對(duì)RCLK進(jìn)行全局時(shí)鐘驅(qū)動(dòng)和相位控制,IDDR_rx模塊將雙時(shí)鐘跳變沿的RXC(3:0)、RXD(31:0)變換為單時(shí)鐘跳變沿?cái)?shù)據(jù),根據(jù)協(xié)議約定即可解析出有效數(shù)據(jù)及相應(yīng)的門(mén)控信號(hào)。但是由于芯片在鏈路傳輸過(guò)程中,為了匹配發(fā)送端與接收端的頻差、相位偏移等因素,會(huì)在鏈路中填充一定量的同步字符,以保持?jǐn)?shù)據(jù)鏈路穩(wěn)定。這會(huì)導(dǎo)致在發(fā)送端使用時(shí)鐘下降沿發(fā)送的幀頭,在接收端可能出現(xiàn)在時(shí)鐘上升沿位置。所以在使用IDDR將雙時(shí)鐘沿?cái)?shù)據(jù)轉(zhuǎn)換成單時(shí)鐘沿?cái)?shù)據(jù)后,需要根據(jù)協(xié)議幀頭在64bit數(shù)據(jù)的高位或低位自適應(yīng)解析。因此設(shè)計(jì)了一種高可靠數(shù)據(jù)自適應(yīng)協(xié)議解析方法,實(shí)時(shí)監(jiān)控鏈路數(shù)據(jù)狀態(tài),對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)調(diào)整,保證調(diào)整后的單時(shí)鐘沿?cái)?shù)據(jù)的協(xié)議幀頭在數(shù)據(jù)高位位置。之后根據(jù)鏈路傳輸協(xié)議進(jìn)行數(shù)據(jù)解析,當(dāng)識(shí)別到協(xié)議幀頭后固定截取相機(jī)圖像行長(zhǎng)度數(shù)據(jù),并將有效數(shù)據(jù)對(duì)應(yīng)的門(mén)控信號(hào)置為高。設(shè)計(jì)中采用截圖固定長(zhǎng)度數(shù)據(jù)的方式,可以有效避免因前端載荷異常輸入引起的后續(xù)數(shù)據(jù)傳輸處理錯(cuò)誤,提高系統(tǒng)數(shù)據(jù)處理可靠性。

3.2 高速GTX/GTH接口傳輸技術(shù)

高速GTX/GTH收發(fā)器是用于FPGA之間或FPGA與SerDes芯片之間的一種高速數(shù)據(jù)傳輸接口,單個(gè)GTX串行收發(fā)器可支持500Mbit/s～12.5Gbit/s傳輸速率,GTH串行收發(fā)器最高可支持13.1Gbit/s[5]。在使用FPGA中內(nèi)置的GTX/GTH串行收發(fā)器時(shí),僅需提供外部參考時(shí)鐘即可,不需要額外的硬件資源,降低了設(shè)計(jì)復(fù)雜度且節(jié)約單板布局面積,非常適合星載設(shè)備的短距離高速數(shù)據(jù)傳輸。FPGA根據(jù)封裝形式不同,片內(nèi)包含多個(gè)Quad高速串行收發(fā)器單元,每個(gè)Quad高速收發(fā)器中包含4路GTX/GTH收發(fā)器,4路收發(fā)器可單獨(dú)作為獨(dú)立通道使用,也可以進(jìn)行通道綁定,增加接口帶寬,提高傳輸速率[6]。同時(shí)GTX/GTH收發(fā)器使用靈活,支持Aurora、RapidI/O、PCIExpress等多種接口協(xié)議。

3.2.1 基于Aurora協(xié)議的GTX/GTH接口

Aurora協(xié)議是一種開(kāi)放的、免費(fèi)的輕量級(jí)的可配置數(shù)據(jù)鏈路層協(xié)議,它允許任何數(shù)據(jù)分組通過(guò)Aurora協(xié)議封裝,為私有上層協(xié)議或標(biāo)準(zhǔn)上層協(xié)議提供透明接口[7]。Aurora IP核是為方便用戶(hù)使用,將Aurora協(xié)議進(jìn)行封裝僅保留部分靈活設(shè)置參數(shù)而設(shè)計(jì)的固化模塊。Aurora IP核為用戶(hù)提供了完整的用戶(hù)接口,用戶(hù)在使用過(guò)程中無(wú)需處理繁瑣的協(xié)議控制,僅需處理用戶(hù)接口,極大提高了設(shè)計(jì)效率。根據(jù)編碼方式,可分為基于8b10b編解碼和64b66b編解碼的兩種IP核。鑒于Aurora 8b10b輕量化和易擴(kuò)展特性,在北京三號(hào)B衛(wèi)星綜合智能處理器設(shè)計(jì)中,使用基于8b10b編解碼的Aurora IP核完成路由單元與其他數(shù)據(jù)單元的全路由高速數(shù)據(jù)互聯(lián)。

Aurora 8b10b核內(nèi)部主要由用戶(hù)發(fā)送接口、用戶(hù)接收接口、通道邏輯、全局邏輯和串行收發(fā)器組成[8],如圖5所示。

圖5 Aurora 8b10b原理框圖

(1)用戶(hù)發(fā)送接口:將用戶(hù)的數(shù)據(jù)傳送至發(fā)送通道中,并執(zhí)行流控制發(fā)送功能。

(2)用戶(hù)接收接口:從Aurora通道中接收有效數(shù)據(jù)然后傳輸給用戶(hù)部分,同時(shí)執(zhí)行流量控制功能。

(3)通道邏輯:用來(lái)初始化和驅(qū)動(dòng)每個(gè)高速收發(fā)器,處理控制字符的編/解碼操作以及執(zhí)行鏈路錯(cuò)誤檢測(cè)功能。

(4)全局邏輯:主要用來(lái)執(zhí)行通道初始化的綁定和驗(yàn)證工作,產(chǎn)生Aurora協(xié)議所需的隨機(jī)空閑字符,并檢測(cè)所有通道邏輯模塊產(chǎn)生的錯(cuò)誤。

(5)串行收發(fā)器:主要用于數(shù)據(jù)串/并、并/串轉(zhuǎn)換,時(shí)鐘恢復(fù)和串行接口驅(qū)動(dòng)等功能。

3.2.2 Aurora8b10b協(xié)議接口軟件設(shè)計(jì)

在進(jìn)行Aurora 8b10b核配置時(shí),用戶(hù)接口模式可以選擇幀接口模式和流數(shù)據(jù)接口模式。幀模式用戶(hù)接口符合AMBA?AXI4-Stream協(xié)議規(guī)范,流模式用戶(hù)接口允許在沒(méi)有幀分隔符的情況下發(fā)送數(shù)據(jù),與幀模式接口相比,使用資源更少,操作更加簡(jiǎn)單[9]。因此在航天器設(shè)計(jì)時(shí)使用流模式進(jìn)行接口設(shè)計(jì),通道線速率設(shè)置為3.125Gbit/s,同時(shí)為滿(mǎn)足路由單元與計(jì)算單元、存儲(chǔ)單元間不小于10Gbit/s數(shù)據(jù)傳輸速率,使用4通道綁定傳輸模式。接口參數(shù)配置如表2所示。

表2 Aurora 8b10b接口參數(shù)配置

軟件設(shè)計(jì)時(shí),對(duì)Aurora8b10b參數(shù)設(shè)置后,還需要相應(yīng)的時(shí)鐘管理、復(fù)位管理等模塊設(shè)計(jì)。Vivado開(kāi)發(fā)設(shè)計(jì)套件對(duì)Aurora8b10b提供了良好的設(shè)計(jì)用例,在工程應(yīng)用時(shí),可以調(diào)用example_design中的rtl用例,修改頂層時(shí)鐘、復(fù)位、差分輸入、差分輸出、用戶(hù)接口等參數(shù)適配型號(hào)使用的工程板卡。除此之外,關(guān)鍵在于用戶(hù)接口信號(hào)時(shí)序設(shè)計(jì),在用戶(hù)進(jìn)行數(shù)據(jù)發(fā)送和接收時(shí),必須按照Aurora 8b10b接口時(shí)序進(jìn)行設(shè)計(jì)。流模式接口時(shí)序如圖6所示。

圖6 Aurora 8b10b核流模式時(shí)序圖

分析流模式接口時(shí)序發(fā)現(xiàn),僅在s_axi_tx_ready為高時(shí)才可以發(fā)送數(shù)據(jù),否則數(shù)據(jù)無(wú)法正確傳輸。且由于s_axi_tx_ready信號(hào)置低具有隨機(jī)性,在星載FPGA軟件設(shè)計(jì)時(shí)往往使用時(shí)序邏輯進(jìn)行數(shù)據(jù)處理,因此設(shè)計(jì)了如圖7所示的發(fā)送接收模塊。

圖7 Aurora 8b10b設(shè)計(jì)框圖

發(fā)送預(yù)處理模塊將本地邏輯時(shí)鐘域上要發(fā)送的并行數(shù)據(jù)使用FIFO緩存,根據(jù)s_axi_tx_ready信號(hào)控制FIFO讀使能,將數(shù)據(jù)轉(zhuǎn)換至user_clk用戶(hù)接口時(shí)鐘域,并經(jīng)邏輯控制處理為符合Aurora8b10b用戶(hù)接口數(shù)據(jù)時(shí)序的數(shù)據(jù)格式發(fā)送至Aurora 8b10b核,完成數(shù)據(jù)發(fā)送。在接收端,為提高數(shù)據(jù)接收準(zhǔn)確性和可靠性,數(shù)據(jù)接收模塊將用戶(hù)接口并行數(shù)據(jù)首先經(jīng)過(guò)數(shù)據(jù)濾波處理,可濾除由于鏈路干擾引起的毛刺數(shù)據(jù),同時(shí)根據(jù)數(shù)據(jù)協(xié)議對(duì)接收數(shù)據(jù)進(jìn)行幀頭判斷后在有效門(mén)控下讀取固定長(zhǎng)度有效數(shù)據(jù)后,再逐時(shí)鐘判斷數(shù)據(jù)幀頭進(jìn)行數(shù)據(jù)接收,之后經(jīng)過(guò)FIFO緩存將user_clk用戶(hù)接口數(shù)據(jù)恢復(fù)至本地邏輯時(shí)鐘域,完成數(shù)據(jù)可靠接收。實(shí)現(xiàn)路由單元與計(jì)算單元、存儲(chǔ)單元的高速數(shù)據(jù)互連。

3.3 數(shù)據(jù)路由設(shè)計(jì)

北京三號(hào)B衛(wèi)星綜合智能處理器路由單元配置有1片超大規(guī)模FPGA作為核心處理芯片,其設(shè)計(jì)原理框圖如圖8所示。

圖8 路由單元FPGA軟件設(shè)計(jì)框圖

路由單元FPGA軟件主要完成以下功能:

(1)通過(guò)時(shí)鐘管理模塊、遙控遙測(cè)管理模塊、復(fù)位管理模塊完成軟件時(shí)鐘管理、邏輯復(fù)位、指令控制和遙測(cè)上報(bào)功能;

(2)通過(guò)萬(wàn)兆網(wǎng)解析接收模塊完成4路相機(jī)載荷數(shù)據(jù)接收;

(3)通過(guò)低速數(shù)據(jù)接收模塊完成低速載荷數(shù)據(jù)接收;

(4)通過(guò)Aurora IP及Aurora發(fā)送預(yù)處理模塊、Aurora數(shù)據(jù)接收模塊完成與計(jì)算單元、固存單元的高速數(shù)據(jù)互聯(lián);

(5)通過(guò)serdes接口完成與適配單元數(shù)據(jù)互聯(lián);

(6)通過(guò)全數(shù)據(jù)路由處理模塊完成各載荷數(shù)據(jù)格式編排、路由分發(fā)、數(shù)據(jù)緩存復(fù)接等功能。

在進(jìn)行軟件配置時(shí),單片萬(wàn)兆網(wǎng)接口芯片可接收8.96Gbit/s數(shù)據(jù)速率,單個(gè)Aurora 8b10b IP配置4通道串行收發(fā)器,可處理10Gbit/s數(shù)據(jù)速率,低速載荷數(shù)據(jù)可接收200Mbit/s數(shù)據(jù)速率,單個(gè)serdes接口可完成800Mbit/s數(shù)據(jù)發(fā)送。所以單個(gè)路由單元可以實(shí)現(xiàn)36.04Gbit/s載荷數(shù)據(jù)接收、60Gbit/s內(nèi)部數(shù)據(jù)路由分發(fā)和1.6Gbit/s數(shù)據(jù)下傳,系統(tǒng)數(shù)據(jù)路由處理時(shí)延小于100ms。

4 試驗(yàn)驗(yàn)證

基于萬(wàn)兆網(wǎng)接口和GTX/GTH互聯(lián)的綜合智能處理器高速路由軟件已隨北京三號(hào)B衛(wèi)星完成了在軌試驗(yàn)驗(yàn)證,在軌運(yùn)行穩(wěn)定,表現(xiàn)良好。高速路由軟件主要完成了相機(jī)載荷高速數(shù)據(jù)和低速載荷數(shù)據(jù)的接收,并通過(guò)板間GTX/GTH完成對(duì)3塊計(jì)算單元、3塊存儲(chǔ)單元與1塊適配單元的高速數(shù)據(jù)路由功能。在軌驗(yàn)證了36.04Gbit/s載荷數(shù)據(jù)接收、60Gbit/s內(nèi)部數(shù)據(jù)路由和1.6Gbit/s數(shù)據(jù)下傳功能。與傳統(tǒng)數(shù)傳方案相比,系統(tǒng)數(shù)據(jù)處理能力提高一倍以上,且子板間FPGA芯片互聯(lián)采用高速串行總線傳輸,無(wú)需再使用接口芯片,大大降低了系統(tǒng)硬件成本。

5 結(jié)束語(yǔ)

本文介紹了北京三號(hào)B衛(wèi)星綜合智能處理器海量數(shù)據(jù)傳輸處理的實(shí)現(xiàn)方式和技術(shù)關(guān)鍵點(diǎn)。針對(duì)高分辨率遙感衛(wèi)星海量數(shù)據(jù)傳輸處理需求,設(shè)計(jì)了一種基于萬(wàn)兆網(wǎng)接口和高速串行GTX/GTH互聯(lián)的海量數(shù)據(jù)傳輸與處理系統(tǒng)。系統(tǒng)測(cè)試和在軌驗(yàn)證表明,該系統(tǒng)可以實(shí)現(xiàn)38.6Gbit/s載荷數(shù)據(jù)接收、60Gbit/s內(nèi)部數(shù)據(jù)路由分發(fā)和1.6Gbit/s數(shù)據(jù)下傳功能,顯著提高了北京三號(hào)B衛(wèi)星海量數(shù)據(jù)傳輸處理能力,且降低系統(tǒng)硬件成本,可為后續(xù)高速數(shù)據(jù)傳輸處理在衛(wèi)星系統(tǒng)中的大規(guī)模應(yīng)用提供設(shè)計(jì)參考。