StarFabic總線技術(shù)在冗余計算機系統(tǒng)中的應(yīng)用

姚惟琳 胡志良

中國電子科技集團公司第三十二研究所，上海 200233

StarFabic總線技術(shù)在冗余計算機系統(tǒng)中的應(yīng)用

姚惟琳 胡志良

中國電子科技集團公司第三十二研究所，上海 200233

針對冗余計算機系統(tǒng)中，處理器之間進行高速數(shù)據(jù)傳輸?shù)男枨螅疚奶岢隼肧tarFabric總線技術(shù)實現(xiàn)實時高速數(shù)據(jù)傳輸通道的方案，設(shè)計并實現(xiàn)了StarFabric模塊。該設(shè)計成功應(yīng)用于磁浮運行控制冗余計算機系統(tǒng)，其傳輸時延滿足磁浮運行控制系統(tǒng)要求。

StarFabric總線；冗余計算機；高速數(shù)據(jù)傳輸

引言

對于安全苛求系統(tǒng)等對可靠性要求比較高的應(yīng)用場所中，經(jīng)常采用多余度容錯計算機提高計算機系統(tǒng)可靠性，冗余方式主要有二取二冗余、三取二冗余等。對于多處理器組成的冗余系統(tǒng)，每個處理器產(chǎn)生的輸出和采集的輸入數(shù)據(jù)要與其它處理器的相應(yīng)數(shù)據(jù)進行比較，從而可以判斷自身的狀態(tài)，這樣就要求處理器之間數(shù)據(jù)傳輸快速，滿足實時性的要求。現(xiàn)有的構(gòu)建多處理器間數(shù)據(jù)交換，大都采用CAN、以太網(wǎng)等技術(shù)，但其延時不確定，性能不理想。對于實時性要求較高的應(yīng)用場合，例如軌道交通、航空航天等領(lǐng)域，基于以上技術(shù)的數(shù)據(jù)傳輸和比較模塊，不能滿足實時性和可靠性的要求。

StarFabric 技術(shù) 由StarGen 公司發(fā)起推廣，主要用于嵌入式多處理機系統(tǒng)模塊與模塊之間背板級交換互連和底板與底板之間機柜級互連，以每秒“吉比特”(Gb/s)級的速率傳遞數(shù)據(jù)，且傳輸延遲確定，實時性較好。StarFabric 具有拓撲結(jié)構(gòu)簡單、組網(wǎng)方便、傳輸速率高、可擴展性等優(yōu)點，技術(shù)比較成熟且成本較低。

本文設(shè)計并實現(xiàn)了基于StarFabric總線的高速通信模塊。磁浮交通運行控制計算機系統(tǒng)采用三取二冗余架構(gòu)，利用該模塊實現(xiàn)了處理器之間的高速數(shù)據(jù)傳輸，該冗余計算機系統(tǒng)已成功應(yīng)用于上海磁浮嘉定試驗線。

1 StarFabric技術(shù)

StarFabric是協(xié)議開放的開關(guān)互連技術(shù)中的一種，StarGen公司提出，得到了Dolphin、Agere、SVA、SIEMENS等20多個公司的支持。針對嵌入式計算機，形成了PICMG2.17標準。StarFabric技術(shù)的應(yīng)用主要針對多處理器系統(tǒng)，模塊與模塊之間、背板級交換互連以及底板與底板之間、系統(tǒng)級互連。

StarFabric有如下優(yōu)點:

速度快:物理層分別使用4對622Mbps低壓差分信號線進行全雙工的接收和發(fā)送，每條鏈路的帶寬可達2.5Gbps。其中協(xié)議效率89%，采用8B/10B編碼，數(shù)據(jù)帶寬為1.77Gbps。

可靠性高:硬件支持錯誤監(jiān)測和上報，實現(xiàn)點到點的CRC效驗和錯誤重傳。當單方向的4對差分信號線中的某些失效時，鏈路層可以檢測和重組，系統(tǒng)自動以碎鏈路方式工作，見圖1。雖然這樣會降低帶寬，但提高了可用性和可靠性。

圖1 StarFabric的鏈路重組

服務(wù)質(zhì)量高:支持輸出緩存、分類服務(wù)的虛通道和基于信用的流控機制。支持多種服務(wù)類型，同步、異步、多播和專用幀。可以根據(jù)數(shù)據(jù)傳輸性質(zhì)和帶寬要求，動態(tài)的預留和分配通道帶寬，已分配的帶寬在未使用時也可被其他服務(wù)類型的數(shù)據(jù)傳輸使用。

結(jié)構(gòu)簡單:StarFabric互連構(gòu)架的組成主要包括交換設(shè)備和橋節(jié)點設(shè)備。交換設(shè)備和橋節(jié)點設(shè)備主要由交換芯片和橋節(jié)點芯片組成。橋節(jié)點芯片實現(xiàn)PCI總線和StarFabric總線之間的橋接。交換芯片是StarFabric網(wǎng)絡(luò)中實現(xiàn)交換功能，負責完成StarFabric數(shù)據(jù)幀在不同端口之間的轉(zhuǎn)發(fā)。

延遲確定:每片PCI-to-StarFabric芯片協(xié)議轉(zhuǎn)換時間＜0.5us，StarFabric交換芯片的交換延遲＜1us。

兼容性好:100%兼容PCI協(xié)議，物理層接口符合IEEE1596.3規(guī)范TIA/EIA-644低壓差分信號標準，兼容現(xiàn)有連接器（CPCI、RJ45等）和線纜(CAT5類線）。

2 磁浮運行控制計算機冗余結(jié)構(gòu)

磁浮交通運行控制系統(tǒng)計算機采用三取二冗余結(jié)構(gòu)，如圖2所示。三個互為冗余的處理器通道A、B、C采用相同的處理器和IO硬件。每個通道輸入的數(shù)據(jù)會傳輸給其他2個通道，每個處理器會對3個通道的數(shù)據(jù)進行比較，3通道數(shù)據(jù)中2個或2個以上一致的數(shù)據(jù)為有效數(shù)據(jù)。同樣，每個通道的輸出數(shù)據(jù)以及一部分計算處理數(shù)據(jù)也需要傳給其他2個通道進行比較，并進行3取2仲裁。

圖2 磁浮交通運行控制系統(tǒng)計算機冗余結(jié)構(gòu)

每個通道配置一個StarFabric模塊，每個通道的處理器與StarFabric模塊通過PCI背板連接，三個通道間通過StarFabric模塊相互連接。連接采用點對點方式，即每個模塊均擁有獨立的通道連接到其他兩個模塊，在任何一個組件出故障時，不會影響另兩個組件的通信。

3 StarFabric模塊設(shè)計與實現(xiàn)

3.1 StarFabric模塊組成

StarFabric模塊主要由一片PCI-to-Fabric協(xié)議芯片（SG2010）和一片StarFabric交換芯片（SG1010）構(gòu)成，如圖3所示。PCI-to-Fabric協(xié)議芯片內(nèi)部包含PCI接口控制單元和兩路冗余的高速串行收發(fā)控制器。交換芯片負責協(xié)議芯片與外部StarFabric節(jié)點的通信。

圖3 StarFabric模塊組成框圖

3.2 PCI接口及總線轉(zhuǎn)換電路

PCI接口及總線轉(zhuǎn)換電路主要將復雜的PCI總線協(xié)議轉(zhuǎn)化為StarFabric總線，該功能電路STARGEN公司生產(chǎn)的SG2010芯片實現(xiàn)。該芯片支持33MHz/32bits的CPCI協(xié)議V2.3。該芯片可將復雜的CPCI總線協(xié)議轉(zhuǎn)化為高速串行的總線協(xié)議。

在本設(shè)計中，可以實現(xiàn)兩種編址模式，一種是采取傳統(tǒng)的PCI系統(tǒng)中的地址路由來實現(xiàn)，另一種是采用解析幀頭的路徑路由方式。這兩種編址方式通過PCI-Fabric網(wǎng)關(guān)功能和PCI-PCI透明橋功能的使用模式來確定，共分成有橋功能的根模式、有橋功能的葉模式以及網(wǎng)關(guān)模式三種基本模式，本設(shè)計中在模塊上設(shè)置撥動開關(guān)來控制根/葉及有/無橋功能。

有橋功能的根模式下，SG2010的PCI接口必須連接到第一方總線上，如圖4所示。兩個鏈路接口可傳輸?shù)刂仿酚傻膸蚵窂铰酚?多播幀。這里的橋和網(wǎng)關(guān)成為PCI總線上的兩個功能設(shè)備。這兩種功能的配置空間可通過PCI總線，用Type0配置事務(wù)處理來訪問。被配置為根的SG2010負責初始化時交換網(wǎng)絡(luò)的枚舉，并建立PCI等級樹結(jié)構(gòu)。

圖4 有橋功能的根模式

有橋功能的葉模式下，其中的一個鏈路接口必須連接到第一方總線上，兩個鏈路可傳輸?shù)刂仿酚傻膸蚵窂铰酚?多播幀，但另一個鏈路接口不屬于根的PCI等級樹結(jié)構(gòu)中，如圖5所示。這里的網(wǎng)關(guān)在邏輯上就像是橋的第二方總線上的一個PCI設(shè)備。缺省情況下，橋是完全透明的，連在橋的第二方總線上的所有設(shè)備包括網(wǎng)關(guān)對主機完全可見，它們的資源空間被映射在全局PCI存儲空間中，但SG2010也能配置成對主機隱藏第二方總線的設(shè)備資源。

圖5 有橋功能的葉子模式

圖6 只有網(wǎng)關(guān)功能的模式

只有網(wǎng)關(guān)功能模式下，網(wǎng)關(guān)的PCI配置只能從PCI接口訪問，如圖6所示。在該模式中，傳輸PCI事務(wù)處理的唯一辦法是將PCI事務(wù)轉(zhuǎn)換成路徑路由或多播的幀，轉(zhuǎn)換是通過查詢段表和路徑表來實現(xiàn)的，這些查詢表可以是靜態(tài)的也可以是動態(tài)的。當SG2010的鏈路接口在網(wǎng)關(guān)模式中收到地址路由幀，它會將該幀丟棄，并且發(fā)出地址路由錯誤事件的信號。

在根節(jié)點和葉子節(jié)點的設(shè)計中，需使每個組件可以根據(jù)用戶的需要配成根模式或葉子模式工作，但整個系統(tǒng)中必須有一個模塊以根模式工作。設(shè)定為根的SG2010負責系統(tǒng)中StarFabric交換網(wǎng)絡(luò)的初始化，初始化過程包括交換網(wǎng)絡(luò)的枚舉和交換網(wǎng)絡(luò)的發(fā)現(xiàn)。網(wǎng)絡(luò)枚舉即完成網(wǎng)絡(luò)中所有設(shè)備網(wǎng)絡(luò)標號(FID)的分配，F(xiàn)ID實際上是各設(shè)備到根結(jié)點的一條路徑。網(wǎng)絡(luò)發(fā)現(xiàn)就是通過軟件檢測網(wǎng)絡(luò)中的設(shè)備及設(shè)備間連接關(guān)系的過程，最終建立交換網(wǎng)絡(luò)設(shè)備間的關(guān)系圖，并找出本地結(jié)點到其它設(shè)備的最短路徑。

設(shè)備本身需要設(shè)置這些配置寄存器值。這些配置寄存器值由設(shè)備向串行SROM預讀得到，串行SROM預讀在設(shè)備上電初始化的時候完成。該SROM存儲SG2010的上電配置信息。這里按照STARGEN公司的推薦，選用了AMTE公司的AMTE25640。其中，SG2010的網(wǎng)關(guān)功能地址設(shè)置寄存器是關(guān)鍵設(shè)置參數(shù)，因為絕大部分的應(yīng)用中都需要通過網(wǎng)關(guān)功能得到系統(tǒng)分配的存儲器空間和IO空間資源。

在硬件連接上，對SG2010進行如下配置:

（1）總線為地址/數(shù)據(jù)復用；

（2）SG2010始終控制局部總線，不釋放總線控制權(quán)；

（3）StarFabric總線所需要的時鐘是由CPCI時鐘得到的；

（4）SG2010的時鐘由66.208MHz和77.768MHz表貼晶振提供。

3.3 交換電路

考慮到磁浮交通運行控制系統(tǒng)冗余計算機為對可靠性的要求。這里使用擁有6個鏈路的SG1010來實現(xiàn)StarFabric總線的交換，支持錯誤監(jiān)測和上報，實現(xiàn)點到點的CRC效驗和錯誤重傳。

SG1010為了完成向系統(tǒng)配置軟件的資源分配請求，需要設(shè)置配置寄存器值。配置寄存器值由設(shè)備向串行SROM預讀得到。按照STARGEN公司的推薦，選用了AMTE公司的AMTE25640。

3.4 鏈路接口電路

考慮磁浮交通運行控制系統(tǒng)冗余計算機的可維修性要求，采用的前出線。StarFabric總線前出端口，串行了濾波電容和耦合電感，來防止信號的干擾。可靠性的考慮，前出的四個端口，采用了冗余，雙路輸入雙路輸出，即使一個端口斷掉，另外一個端口會保證通信的正常進行。

圖7 測試方法示意圖

4 實驗結(jié)果

針對磁浮交通運行控制系統(tǒng)對實時性有較高要求，本文特針對StarFabric的傳輸時延進行了測試。測試方法如圖7所示，作為根節(jié)點的A通道處理器通過StarFabric總線向B通道處理器發(fā)送一系列數(shù)字信號，同時A通道處理器通過本通道數(shù)字輸出模塊將該信號輸出到示波器。B通道處理器通過StarFabric總線接收到數(shù)字信號后立即通過本通道數(shù)字輸出模塊將該信號輸出到示波器。A、B通道的數(shù)字信號在示波器上顯示，便可觀察出兩個信號之間的時間差，該時間差反映了A通道至B通道StarFabric的傳輸時延。本測試中，處理器采用PowerPC MPC8245，操作系統(tǒng)為Vxworks。

測試結(jié)果如表1所示，可以看出StarFabric的傳輸時延小于1ms，滿足磁浮交通運行控制系統(tǒng)對實時性的要求。

表1 時延測試結(jié)果

5 結(jié)語

本文設(shè)計并實現(xiàn)了一種StarFabric高速數(shù)據(jù)傳輸模塊，利用該模塊實現(xiàn)了三取二冗余計算機系統(tǒng)處理器之間的高速數(shù)據(jù)傳輸，具備可靠性高，傳輸延時小的優(yōu)點。該計算機系統(tǒng)已成功應(yīng)用于上海嘉定磁浮試驗線。實驗測試表明StarFabric數(shù)據(jù)傳輸延時小于1ms，滿足磁浮運行控制系統(tǒng)對實時性的要求。

[1] StarGen, Inc..StarGen Fabric Programmer Manual [EB/OL].(2003-09-10).http//www.stargen.com.

[2] StarGen, Inc..SG2010 PCI to Starfabrie Bridge Data Sheet [EB/OL].(2003-08-12).http://www.stargen.com.

[3] StarGen, Inc..SG1010 Starfabrie Switch Data Sheet[EB/ OL].(2003-08-22).http//www.stargen.com.

10.3969/j.issn.1001-8972.2012.13.057