基于VPX和CTC7132的全國產可擴展交換板設計與實現

常 琦,魏曉磊,茅智星,潘純娣,楊 惠,王 粵

(1.火箭軍裝備部裝備項目管理中心，北京 100085； 2.中國電子科技集團 第15研究所,北京 100083)

0 引言

目前，云時代和物聯網高速發展，云計算、邊緣計算技術飛速演進，滿足交換節點接入時更大表項、更低時延、更靈活流水線需求的新一代交換機研制迫在眉睫。新一代交換機需要具有線速的增強特性能力和更高的集成度，更好服務于邊緣的多業務接入場景，滿足網絡未知、業務需求不斷融合的網絡技術發展趨勢[1]。

從國家層面看，網絡信息已經成為一種重要的戰略資源，信息安全直接決定軍事行動的成敗[2]。目前交換機大部分以國外產品或芯片為主導，存在極大的安全隱患，而且很多交換機產品無法適應軍用現場復雜的電磁環境和惡劣的溫度環境。目前國家確立了基于國產軟硬件的自主可控發展戰略，在政策的引導下，國產處理器、交換芯片、電源模塊、操作系統等基礎軟硬件得到飛速發展，全國化的生態體系已經越來越完善。

基于技術的驅動，結合現階段軍用指控系統對網絡交換性能和安全方面的要求，研發了一款基于CTC7132交換芯片和VPX 體系架構的可擴展交換板。該交換板的所有軟硬件均采用國產化產品，實現了從芯片到硬件再到系統的完全自主可控。交換板將所有交換和控制資源展現給機箱，機箱可根據實際使用需求裁剪網絡端口的數量、形式、速率。該交換機能適應-40～+60 ℃高低溫環境，抗電磁干擾性強。本文詳細描述了交換板的總體架構、各功能模塊的設計與實現，進行了熱設計并仿真，對功能、性能、環境適應性進行了測試，驗證了設計的合理性，為高性能自主可控交換平臺的發展奠定了堅實的基礎，提供了高價值的參考依據。

1 交換板總體設計

VPX總線是是新一代高速串行總線，采用時鐘打包和時鐘恢復技術、信號的預加重和均衡處理技術，成功解決了時鐘和數據之間的偏移和抖動問題；采用低壓差分電平的傳輸協議，大大減小了總線位寬，規避了并行總線的缺點，降低了系統成本，是目前最具潛力的總線技術[3]。VPX標準定義了模塊結構、連接器、散熱、通信協議、電源定義，能夠提高模塊間的互操作能力，保證多個廠家產品可彼此兼容，并較好地支持系統升級換代[4]。本文設計的交換板采用3U VPX板卡形式，適合任何一款3U結構形式的VPX設備機箱(交換槽接口協議需一致)，即插即用，避免了外接交換機設備繁雜的線纜數量和龐大的系統體積。

盛科是目前少數能夠提供從高性能以太網設備核心芯片到 SDN 交換平臺全套解決方案，且擁有完整自主知識產權的創新公司[5]。CTC7132芯片是盛科推出的第六代核心交換芯片，芯片支持L2/L3層交換，提供MPLS、VXLAN特性，集成ARM雙核A53處理器，支持最高I/O帶寬可達440 Gbps，支持QSGMII和USXGMII等端口形態，提供從100 M～100 G的全速率端口能力[6]。本設計考慮到軍用設備對網絡交換性能和安全方面的要求，選用盛科公司的CTC7132芯片。

考慮到交換芯片的功耗高，散熱要求嚴格，同時為了便于系統的后續升級換代，同時提高交換板的可擴展性，將交換板設計為底板搭載核心板的形式。交換板總體設計方案如圖1所示，由CTC7132最小系統核心板(核心板)和接口擴展底板(底板)組成，最小系統核心板是一塊87 mm*80 mm的小板，接口擴展底板采用3U VPX標準形式，兩個板卡通過板間高密連接器互聯。本設計首次提出CTC7132最小系統的概念，即配置CTC7132芯片必須的輔助電路(如時鐘電路、電源電路、存儲電路等)，利用最小系統實現網絡信息交換的核心功能[7]。最小系統核心板一方面完成整個交換系統的初始化、協議處理、配置管理和維護等功能；另一方面實現數據交換的功能，對外提供32路高速SerDes Lanes。利用2對板間連接器，將CTC7132芯片的所有網絡交換信號、控制及管理信號、GPIO信號等全部資源引出來。CTC7132最小系統核心板是交換板實現網絡信息交換功能的核心單元，接口擴展底板是交換板可擴展特性的具體展現形式。接口擴展底板根據機箱的實際使用需求，利用核心板引出來的資源，靈活配置網絡端口的形式、數量、速率。接口擴展底板還提供智能平臺管理控制(IPMC)功能，對板卡進行健康管理，同時通過VPX MultiGig RT2 連接器將機箱所需的SerDes高速串行交換接口和控制資源分派到背板各槽位。

這樣設計的好處是將網絡信息交換功能聚焦在核心板上，便于系統的升級換代；采用雙層板結構，有利于散熱；底板根據機箱所需的網絡端口進行動態擴展，合理裁剪CTC7132資源，降低功耗，同時降低二次開發時間和成本，提高了板卡的復用率。

圖1 板卡總體設計方案

2 交換板硬件設計

2.1 CTC7132最小系統核心板設計

CTC7132最小系統核心板(簡稱核心板)配置CTC7132芯片工作必須的輔助電路，結合驅動軟件實現網絡交換核心功能，同時實現整個交換板的初始化、協議處理、配置管理和維護等功能。

CTC7132最小系統核心板由CTC7132芯片、存儲模塊、時鐘模塊、電源模塊、復位模塊、I2C總線模塊組成，如圖2所示。CTC7132芯片實現數據交換核心功能。存儲模塊保存系統程序、啟動程序、操作系統等信息。時鐘模塊產生交換系統所需的時鐘。電源模塊產生CTC7132芯片需要的多種電壓。復位模塊在需要的時候對整個交換系統進行復位操作。I2C模塊連接多個不同功能的I2C設備。

圖2 CTC7132最小系統核心板原理框圖

CTC7132芯片主要功能模塊分為兩大部分：CPU子系統和交換內核[8]。CPU子系統內置ARM雙核A53處理器，主頻最大支持1.2 GHz；集成16位DDR3、PCIE、QSPI、I2C、34路GPIO等接口；提供2路網絡帶外管理接口、2路以太網物理芯片(PHY芯片)管理接口(SMI接口)。交換內核提供3組8路低速SerDes Lanes，速率為1.25～12.5 Gbps；2組4路高速SerDes Lanes，速率為1.25～28 Gbps；每路SerDes Lane都可以配置為SGMII/1000Base-X/QSGMII等模式[9]。CTC7132單芯片支持48x1 G/48x2.5 G/ 24x5 G下行，上行支持10 G/40 G/ 25 G/ 50 G/100 G 上聯，并可以使用 40 G/50 G/100 G 等任意速率進行堆疊[10]。本設計將CPU子系統的所有接口以及交換內核的32路SerDes Lanes都配置使用上。

圖3 AST4644I電壓轉換模塊原理圖

存儲模塊包括內存和存儲單元。本設計中，CTC7132芯片外掛2顆DDR3 SDRAM作為內存，總容量為1 024 MB；通過SPI接口連接4 MB NORFlash，通過eMMC接口連接8 GB NandFlash，這三者供CTC7132芯片保存bootload程序、系統程序、操作系統等信息。系統上電時，CTC7132芯片從NORFlash把bootload文件裝入到內存，CPU子系統執行內存里的bootload程序，將操作系統從NandFlash裝入到內存里面，裝載完成后，bootload把CPU的控制權交給操作系統，CPU在內存里執行操作系統，執行交換系統初始化指令，交換系統啟動完成。

時鐘模塊產生核心板所需的時鐘。本設計涉及到32.768 kHz、12 MHz、100 MHz、156.2 MHz、125 MHz等多種時鐘。PCIE總線要求的100 M時鐘輸入，對抖動要求較高，選用寧波奧拉公司的國產PLL時鐘芯片AU5315來實現。AU5315芯片是可編程高性能去抖動頻率合成器，支持四路差分或單端輸入，10路差分輸出或20路單端輸出，輸出時鐘RMS抖動<150 fs。本設計采用48 MHz的單端時鐘作為輸入，通過編程實現需要的時鐘輸出，一片芯片解決所有的時鐘輸入問題。本設計還生成125 MHz的時鐘，引到底板上，供底板擴展網口時PHY芯片選用。在電路設計時，時鐘線路盡量靠近交換芯片的時鐘管腳，同時通過嚴格控制時鐘線路的電路阻抗，包地處理等技巧，減小干擾，提高時鐘線路的屏蔽性能[11]。

電源模塊負責產生CTC7132芯片需要的多種類電壓。根據芯片手冊提供的最大功耗數值預估核心板最大功耗為40 W，所以設計時輸入電壓為12 V，電流為5 A。對各種電壓的電流需求分析如表1所示，利用這些數據來指導電源芯片的選型，重點關注電源芯片在高溫下的降額指標[12]。

表1 各電壓需求表

為了避免交叉干擾，同時保證核心板功能的完整性，核心板的電源和底板的電源進行了隔離設計，兩者分別獨立工作，互不影響。VPX模塊P0連接器輸入的12 V電壓經過濾波處理后，直接轉送給核心板，核心板將輸入的12 V電壓分別轉為3.3 V、1.8 V、1.5 V、1.2 V、0.9 V電壓供核心板使用。3.3 V、1.8 V、1.5 V、1.2 V電壓要求的最大電流都不超過4 A，選用AST4644I國產電源模塊實現這三路電壓的轉換。AST4644I是四通道 DC/DC 降壓型微型模塊穩壓器，輸入電壓范圍內為4～14 V，輸出電壓范圍為0.6～5.5 V，自帶過壓、過流和過熱保護，每路輸出可提供 4 A 連續電流(5 A峰值)，輸出可通過并聯形成一個陣列以提供高達16 A的電流能力，原理設計如圖3所示。0.9 V電壓要求的最大電流約為39 A，采用AST4650I模塊合路輸出50 A來滿足設計要求。

轉換后的電壓輸入到CTC7132芯片內部的時候，在靠近每種電壓的BGA輸入引腳處放置2.2 uF、0.47 uF、0.1 uF三種旁路電容，以此來消除高頻噪聲，保證電源信號完整性。

復位模塊為交換系統提供復位指示信號。系統采用看門狗復位電路作為系統的主復位，在板卡上電后，看門狗電路會給出一個200 ms的低電平復位信號，此信號用來復位CPU和管理口PHY。接口擴展底板的IPMC管理模塊(具體功能描述見3.2.3)也可對核心板進行復位操作，IPMC管理模塊控制的復位信號與看門狗的WDG_OUT信號進行“或”操作，然后送給看門狗電路，這兩個復位信號中的任何一個信號為低，均會導致交換系統復位啟動。

I2C模塊連接多個不同功能的I2C器件。根據系統需要，CPU子系統下搭載了3個不同功能的I2C器件，包括溫度傳感器器件、E2PROM器件、GPIO接口擴展芯片。3種器件的地址及具體功能如表2所示。

表2 I2C設備表

溫度傳感器實時采集CTC7132交換芯片附近的環境溫度，將溫度信息傳送給交換芯片的CPU子系統，當交換芯片過熱時，CPU子系統會及時給出警告并關閉芯片功能，進入關機狀態。E2PROM負責存儲交換芯片的初始化、配置等信息供系統查詢使用。GPIO擴展芯片擴展出系統需要的GPIO接口，例如芯片復位信號、中斷信號等，為接入多個以太網物理層芯片做預留。

2.2 接口擴展底板設計

接口擴展底板(以下簡稱底板)根據設備機箱的實際使用環境，利用核心板引出的交換資源以及CPU子系統提供的管理控制資源，擴展出機箱所需的網絡接口、光口、串口等形式的通信端口。根據機箱整體功能規劃，底板采用3U VPX形式，核心板一共提供32對SerDes鏈路，本次設計共引出19對SerDes 總線，其中16對直接連接到P2連接器，通過背板為業務槽位提供數據交換；2路SerDes連接到千兆以太網PHY轉換為8路1000Base-T網絡接口；1路連接到光模塊，轉為光信號供機箱使用。底板還預留一路1000Base-T系統管理網口，一路RS232管理串口。底板VPX槽位定義符合VITA48標準，VPX連接器P0上分布IPMC管理總線、時鐘總線、測試總線和電源等信號；P1上分布8路1000Base-T網絡差分信號、RS232信號、復位信號等；P2上分布16路高速SerDes差分信號、SMI單端信號等。底板原理如圖4所示，由以太網轉換模塊、光電轉換模塊、IPMC管理模塊、指示燈模塊、電源模塊組成。

圖4 接口擴展底板原理框圖

以太網轉換模塊將核心板的SerDes Lanes轉為1000BASE-T物理網口引到P1連接器上。以太網轉換模塊原理如圖5所示，將2路SerDes信號配置為QSGMII模式，通過以太網物理層芯片YT8618H和網絡變壓器HS4P01，轉為8路1000Base-T網絡接口。YT8618H是一款八通道千兆以太網PHY芯片，支持標準5類UTP以太網電纜和以太網光纖的所有物理層功能，包括1000BASE-T、100BASE-TX等，芯片的上行接口可支持SGMII和QSGMII。YT8618H PHY 芯片通過SMI 接口、SGMII 接口與核心板連接， 用以完成配置與傳輸數據；與網絡變壓器通過 MDI 接口相連，用以對外接收或傳輸數據；外接 25 MHz 晶體提供時鐘信號；通過配置信號完成地址、工作 狀態等配置；對外引出 LED 信號，以此顯示網絡傳 輸狀態。HSP401是四路千兆網絡變壓器，隔離電壓高達1 500 Vrms，網絡變壓器電路設計使得 PHY 芯片和外部隔離，并具有信號增強，阻抗匹配、波形修復、信號雜波抑制等作用，在保護核心芯片的同時使得傳輸距離和抗干擾能力增強。

圖5 以太網轉換模塊原理框圖

光電轉換模塊將核心板的SerDes Lanes轉為光信號利用光纜進行遠距離傳輸。根據要求，本設計選用速率1.25 G的光模塊，該光模塊功耗低，傳輸距離高達120 km，光傳輸具有高帶寬、大容量、易集成、損耗低、電磁兼容性好、無串擾、重量輕、小體積等優點，被廣泛應用于數字信號傳輸中。

IPMC管理模塊完成整板上電和復位控制、電流及電壓實時測量與顯示、溫度監測等功能[13]。模塊原理如圖6所示，選用GD32F103芯片作為核心處理器，通過 IPMB-A、IPMB-B 雙冗余總線與位于機箱內的管理控制器實現信息交互。當板卡上電時，處理器通過溫度傳感器的I2C總線獲取板卡溫度情況，通過分壓電路讀取各路電壓的數值，通過狀態位獲取交換板目前的運行狀態，然后處理器將獲取到的信息打包成私有協議，通過IPMB-A、IPMB-B 雙冗余總線以及地址總線匯報給機箱IPMC管理控制器。機箱管理控制器根據GD32上報的數據，對管理的交換板發送相應的指令，比如進行上下電操作，給出告警提示等[14]。為了實時監測板卡的狀態，實現全動態管理，IPMC管理模塊的電源單獨供應，只要機箱一上電，管理模塊就對板卡進行實時監測和管理。

圖6 IPMC管理模塊原理框圖

指示燈模塊顯示每路網絡的連接狀態和速率，同時也可顯示整個板卡的運行狀態。CTC7132芯片串行指示燈接口由編碼比特流組成，包括2個信號：LED_CLK和LED_DATA，通過交換芯片內部寄存器編程控制端口時序[15]，時序圖如圖7所示。每路指示燈可設置為兩種模式：常亮/常滅模式、閃爍模式，通過內部寄存器配置每路指示燈的模式。為了減小布線數量，降低設計難度和成本，本設計采用FPGA芯片來解析比特流信息并控制每路LED的狀態。核心板控制點燈的兩根串行線、一路復位線直接接入FPGA芯片內，FPGA芯片在LED_CLK時鐘的上升沿采樣LED_DATA數據，然后進行串并轉換，并控制每路指示燈的狀態。前文已介紹過，交換芯片最大支持32路SerDes鏈路，局限于板卡尺寸限制，選用16路指示燈分時顯示32路SerDes鏈路的連接狀態和速率，輪詢時間可通過FPGA芯片編程設置。板卡還有另外2路指示燈，一路指示板卡電源狀態，一路指示交換系統運行狀態。選用可編程邏輯門陣列(FPGA芯片)取代移位寄存器來實現串行點燈的功能，簡化了電路設計，減小了PCB 布局布線工作量，還便于板卡根據不同的機箱進行軟件升級換代，進一步增強了交換板的可擴展特性。

圖7 LED接口時序圖

電源模塊負責將VPX連接器P0模塊輸入的12 V電壓轉為多種電壓分配給底板各功能模塊使用。底板需要的電壓一共分別6種，分別為IPMC模塊3.3 V、PHY芯片3.3 V、PHY芯片1.2 V、光電轉換模塊3.3 V、FPGA串行指示燈模塊3.3 V、FPGA串行指示燈模塊1.2 V。為了避免各功能模塊電源交叉串擾，同時保證各模塊的功耗需求，底板PHY芯片的3.3 V電源、光模塊的3.3 V電源、FPGA芯片的3.3 V電源分別采用電壓轉換芯片獨立提供[16]。PHY芯片的1.2 V電源、FPGA芯片的1.2 V電源也分別提供。電路設計時，在電源、地線之間添加去耦電容，盡量加寬電源線、地線寬度，大電流通道采用鋪銅、陣列孔等方式來增加過流能力，同時兼顧電源芯片的散熱設計。

3 熱設計與仿真

交換芯片自身功耗比較高，機箱又采用全封閉的形式，因此交換板散熱條件有限，需要進行熱設計工作。設計要求交換板能耐受60 ℃高溫環境，并正常工作，本次選用的元器件均為軍用標準級別，能在-40～125 ℃環境下正常工作，因此熱設計的目的是確保交換板的最高溫度不超過125 ℃。交換板的熱量分布如圖8所示，主要發熱器件為交換芯片CTC7132，最高功耗40 W，電源轉換模塊功耗也比較高，最高35 W。 機箱采用導冷加風冷聯合的方式進行散熱，且在大功率元器件與殼體內壁間放置導熱硅膠墊，以增強外殼體的散熱效果。

圖8 交換板溫度截面圖

依據板卡的熱量分布情況建立熱量分布模型，環境溫度設置為60 ℃，進行仿真計算分析。仿真結果見圖8，由溫度截面圖可以看出芯片最高溫度99 ℃，滿足芯片最高結溫要求，與殼體溫度相差不超過5 ℃，結構散熱良好。仿真中元器件發熱功率均設為理論最大發熱功率，在實際使用中，發熱功率很難達到理論最大值，故實際溫度會小于仿真時得到的溫度[17]。對交換板的散熱設計合理有效，可以滿足環境適應性的設計要求。

4 功能及性能測試

給交換板燒錄專門開發的驅動程序，搭載Linux嵌入式操作系統，進行單板調試，通過交換芯片初始化、以太網接口與計算機通信接口、串口狀態查詢等測試手段，驗證了交換板的基本功能；然后將交換板插入到 VPX 設備機箱中，交換板通過背板與其他板卡數據通信正常，進一步驗證了國產交換芯片的接口特性；最后對交換板進行環境適應性測試與性能測試[18]，驗證交換板是否可在惡劣環境中正常工作。環境測試根據 GJB150.1A-2009軍用裝備實驗室環境試驗方法進行[19]，篇幅有限，本文僅展示高溫試驗的結果，測試互聯如圖 9所示。交換板置于機箱中，通過背板與機箱中的其它業務板卡通信，機箱放置在高低溫試驗溫度箱中，溫度設置為 60 ℃。

圖9 交換板高溫試驗平臺

如圖10所示，經過各項熱設計措施處理之后，在高溫環境下，交換芯片溫度穩定在91℃，符合要求，交換芯片可正常工作。測試過程中，光口通過光交換機與對端設備正常通信，無異常。如圖11所示， 5、8、11槽的SerDes總線狀態均為up，驗證了交換板與其他業務板卡互連正常。

通過專用測試軟件進行網絡丟包率和速率測試[20]，交換板所有端口支持全雙工線速交換，最高速率可達984 Mbps，而且在不同包大小、不同速率的情況下，均沒有發生丟包，如圖12所示。由此可見，國產化器件在生產工藝、集成度方面已經取得了長足的進步，在穩定性、可靠性方面可滿足實際使用需求。

圖10 交換芯片溫度

圖11 各路SerDes鏈路狀態

圖12 網絡互聯及性能測試結果

5 結束語

本文設計的自主可控交換板具有高性能、模塊化、可擴展性強等特點。該板卡目前已應用于多種環境苛刻的指控系統中，功能與性能穩定，較好地支持系統升級換代，提高了裝備的自主保障能力，為軍工、航空航天等領域的國產化器件應用與驗證奠定了堅實的基礎，提供了參考依據。