一種PCIe 交換電路設計與實現

林凡淼，劉 鑫，陸曉峰

（中科芯集成電路有限公司，江蘇無錫 214072）

1 引言

高速串行計算機擴展總線標準(PCIe)是外設部件互連標準(PCI)的一種，相比于 PCI 應用技術[1]，PCIe是比其更快的串行通訊系統，從中衍生出了眾多基于PCIe的應用技術，如與FPGA 相結合的PCIe接口DMA 傳輸[2]、高速數據采集系統[3]、高速 PCIe密碼卡[4]等。鑒于對PCIe越來越多的需求場合以及更好的熱插拔技術[5]，傳統PCIe一一對應的總線結構已滿足不了各處理器之間的數據共享和傳輸，因此研究更多接口的“一對多”交換技術是十分有必要的。

文獻[6-7]和文獻[8]分別采用的是IDT 公司以及PLX 公司的PCIe交換電路芯片，能很好地完成多處理器間高速數據的傳輸和數據交換，但這些交換電路的設計以及對芯片的配置較為復雜，外圍電路采用的芯片不通用或瀕臨淘汰，所以需簡化電路及配置，使外圍器件通用化。本文以國產CPU 為核心，選擇合適的通用器件來搭建外圍電路，設計了一種PCIe交換電路及簡單有效的測試方法，可滿足多PCIe總線之間高效且丟包率低的數據共享和傳輸的需求。

2 交換電路的設計

根據功能需求，整個電路系統集成在一塊板卡上，該系統包括CPU 模塊、PCIe接口(上下游)模塊、時鐘及復位模塊、電源模塊、熱插拔及I/O 擴展模塊、基本模式配置模塊、EEPROM 模塊等。各個模塊通力協作，組成整個電路系統，系統架構如圖1 所示。

圖1 交換電路系統架構

上游為PCIe金手指(定義為P0)，下游為2 個PCIe卡槽 (定義為P2 和P4)，通過基本模式配置電路對CPU 進行模式配置，使得上下游的數據進行傳遞，為下游的設備提供數據和時鐘信號。下游每個卡槽獨立工作，互不影響，所有端口均可支持X4 通道鏈接，2.5 Gbit/s 和5.0 Gbit/s。PCIe規范指定每一個交換機端口相當于一個虛擬的PCIe-PCIe橋。時鐘分兩種方式給入至CPU，一種由金手指(P0)直接給入，一種由25 MHz 晶振通過配置電路給入，此電路可通過配置輸出不同頻率的差分時鐘信號。熱插拔模塊可檢測設備的運行狀態并反饋給CPU，從而避免突然斷電導致數據丟失。本文重點介紹幾個重要模塊以及整板PCB的設計，使得數據傳輸高效穩定。

2.1 CPU 模塊設計

本文采用以IDT 公司的89HPES12T3G2 為對標的國產CPU 作為核心芯片，該芯片具有高集成度、低功耗、小體積、低成本和外圍電路簡單等特點，廣泛應用于服務器、存儲器、網絡交換器等設備，且具有12 通道/3 端口的PCIe-2.0 高性能交換電路，提供1 個PCIe上游端口和2 個PCIe下游端口，十分符合本文的設計架構。其主要特征如下：

(1)具有 12 路 5 Gbit/s PCIe-2.0 通道(具備 8/10 編/譯碼器的SerDes 接口)，3 個交換機端口 (其中包括1個X4 上游端口和2 個X4 下游端口)，各端口自適應支持的鏈接寬度為X4、X2、X1，所有端口支持通道自動翻轉；

(2)低延遲快速轉發交換架構，支持最大有效載荷為2048 Byte；

(3)支持通過EEPROM 自動加載配置信息；

(4)支持與PCI 兼容的INTx 中斷及總線鎖定；

(5)下游PCIe端口支持熱插拔；

(6)9 個通用輸入/輸出引腳。

該芯片的PCIe總線輸出采用標準的高速總線硬件設計規范，因此為了保證信號完整性及傳輸質量，在靠近芯片的PCIe接收總線上要放置隔離直流的電容(一般為 0.1 μF，封裝 0402)。

2.2 時鐘模塊設計

PCIe 設 備 與 PCIe 插 槽 都 具 有 REFCLK+ 和REFCLK-信號，PCIe插槽使用這組信號與處理器系統同步。當PCIe設備作為Add-In 卡連接在PCIe插槽時，可以直接使用 PCIe 插槽提供的 REFCLK+ 和REFCLK-信號，也可以使用獨立的參考時鐘，只要這個參考時鐘在(100±300×10-6)MHz 范圍內即可。

當使用獨立的參考時鐘時，由25 MHz 晶振發出，經時鐘配置芯片可輸出25~200 MHz 的差分時鐘信號，再由PCIe專用時鐘復制芯片ICS9DB803DI 將其輸入的時鐘復制輸出至下游的2 個卡槽及CPU，ICS9DB803DI 具有8 路差分時鐘輸出 (低電平有效)，復制范圍為50~400 MHz，且高效穩定，滿足該電路功能需求。

本文采用0 Ω 選焊的方法來選擇時鐘輸入方式且當選擇使用參考時鐘時，設定通道4 輸出至P2 槽，通道0 輸出至P4 槽，通道1 輸出至CPU。整個時鐘模塊設計如圖2 所示。

圖2 時鐘模塊設計框圖

時鐘配置芯片ICS557-03 工作電壓為3.3 V，具有65 mA 的驅動能力，通過S0 和S1 的高低電平的配置可輸出25~200 MHz 頻率的差分時鐘，符合設計要求。

2.3 上下游接口模塊設計

上游的P0 口和下游的P2、P4 口與CPU 分別按照發送端和接收端的定義進行連接，每個接口為8 路(發送端和接收端各 4 路)，另外還有 PRSNT 1~3#、WAKE#和JTAG 等重要信號。

PRSNT1#、PRSNT2#和 PRSNT3# 是 PCIe卡實現熱插拔機制的邊帶信號，上游將PRSNT1# 和PRSNT3#短路連接，PRSNT2#選焊是否與PRSNT1#和PRSNT3#連接，下游的PRSNT2#和PRSNT3#短路接連并上拉，而PRSNT1#被固定連接到地。這3 個信號的金手指長度要比其他信號的金手指長度短一點，以便區分于其他重要信號。

WAKE#信號為可選信號，可以懸空，也可以由下游兩個卡槽的WAKE# 邏輯與后連接金手指的WAKE#，即WAKE# (金手指)=WAKE# (卡槽1)&&WAKE#(卡槽2)。本文設計默認懸空該引腳，邏輯與方式為選焊。

JTAG 為可選信號，因此上下游的JTAG 引腳全部懸空處理。上下游的發送端和接收端數據線阻抗控制在(85±8.5)Ω，時鐘阻抗控制在(100±10)Ω，采用不同線寬的方法控制。

2.4 基本模式配置模塊設計

該模塊設計主要是為CPU 相關引腳進行配置，PERSTN 為低時，芯片對基本配置引腳狀態進行采樣，以此確定交換機運行的關鍵參數。配置的方法眾多，如電阻選焊、SMBus 配置、撥碼開關等，本文選擇在斷電的情況下采用撥碼開關和電阻選焊的方式進行模式設置及切換，其中部分關鍵信號配置如表1 所示。

通過正確配置，CPU 的引腳處于正常狀態，并且上下游接口連接的PCIe設備的線寬、速率等要求滿足系統需求，可建立正常通信。另外，引腳狀態及模式可根據所需來切換，方便測試其他功能。

表1 部分信號取值表

2.5 電源模塊設計

CPU 工作的穩定性與電源系統息息相關，因此電源模塊的設計尤為重要。CPU 共有5 種電源，分別是VDDCORE、VDDI/O、VDDPEA、VDDPEHA、VDDPETA，有模擬電源和數字電源，所需電壓值也不相同。由于金手指只提供12 V 和3.3 V 電源且3.3 V 電源引腳少，而為了給下游外接設備減少3.3 V 的壓力，電路系統中其他器件3.3 V 及VDDI/O 電源由12 V 經穩壓器轉成3.3 V 提供，金手指的3.3 V 直接供給于下游卡槽。12 V 轉3.3 V 穩壓器采用TI 公司的PTH08T240W，可輸出最大10 A 的電流，轉換效率高達96%且輸入輸出電壓值均可調。

由于CPU 所需電源無時序要求，因此另外4 種電源采用4 片LDO 分別將3.3 V 轉換成3 種1.0 V 和1種2.5 V，該LDO 型號為EN5330DC，最大可輸出3 A，轉換效率高達90%，可通過電阻選配來調節輸出電壓值，上升時間為1.2 ms，完全滿足CPU 上電需求，只需注意LDO 輸出所配置的電容值[9]，該電源模塊設計架構如圖3 所示。

通過該電源方案，將CPU 的模擬電源和數字電源完全分開，使CPU 內部的各個功能模塊的電源分離，這樣既可減輕各個功能模塊的電源壓力，又可以減少串擾對其工作性能的影響。

2.6 整板PCB 設計

圖3 電源模塊設計架構

將各個模塊整合在一塊PCB 板卡上，進行PCB設計，最后PCB 實物如圖4 所示。CPU 模塊預留插座封裝，可將芯片直接焊接或使用插座。電源模塊共有1個12 V 轉3.3 V 穩壓器及4 片LDO。時鐘模塊主要由時鐘配置芯片及時鐘復制芯片組成，撥碼開關可調節頻率?；灸Ｊ脚渲媚K斷電時采用撥碼開關進行模式選擇。上游模塊金手指為PCIe X4 寬度，定義為P0。下游模塊有2 個PCIe X4 卡槽，定義為 P2 和 P4。EEPROM 模塊內的跳線為可讀寫選擇，低電平為寫保護。

圖4 整板PCB 實物

3 交換電路的測試

整個電路系統集成在一塊PCB 板卡上，先搭建測試環境，再通過軟件來測試是否實現了設計功能并達到傳輸時間及丟包率小于10 ms 和5×10-4的指標。

3.1 測試環境

上游為一個X4 通道的PCIe金手指，用于接入宿主處理器系統的PCIe總線，下游設置兩個X4 通道的PCIe卡槽，能夠插入任意PCIe 2.0 設備。將PCB 板插入PC 機或其他處理器主板的PCIe 2.0 插槽上，下游卡槽分別插入一個PCIe千兆網卡(82571EB)，再將測試系統的網絡端口與外部測試電腦的網口通過網線全部接入網絡交換器，構成測試環境，如圖5 所示。

圖5 交換電路PCB 板卡測試環境

測試環境搭建完成后，按照如下步驟進行測試：

(1) 在宿主處理器系統內通過掃描PCI 鏈路獲取PCI 總線上掛載的全部設備列表，測試硬件掛載是否成功；

(2) 通過外部測試電腦PC2 對宿主處理器系統進行網絡ping 包，統計ping 包的傳輸時間及丟包率，驗證交換電路系統的穩定性。

3.2 測試結果

根據3.1 節的介紹搭建測試環境并按測試步驟進行測試，使用IDT 公司配套的開發軟件PCIeBrower進行掃描，掃描到的硬件設備掛載如圖6 所示，表明設備掛載成功。

掛載成功后進行網絡ping 包來檢測上下游是否互通，結果如圖7 所示。

由圖6 和圖7 可知，電路系統功能正常，為驗證ping 千兆網卡的穩定性，從ping 每一個小包直至大包，運行一段時間后的丟包率及ping 包所需時間這幾個指標去體現，列舉了量級為 300、2400、9600 和115200，運行30 min 后的傳輸時間及丟包率的情況，測試結果如表2 所示。

圖6 設備掛載

圖7 P2 卡槽網絡ping 包

表2 不同量級下的ping 包性能

在ping 小包時基本上沒有丟包率，傳輸時間也很快，隨著包的量級逐漸增大，傳輸時間增長且有一定的丟包率，但沒有出現較大的延遲(10 ms 以上)及丟包率(小于5×10-4)，因為UDP 協議中在高速數據傳輸下會有少量丟包的情況，因此該電路系統能進行高速數據傳輸且比較穩定。P4 卡槽的網絡ping 包情況與P2類似，不再贅述。綜上所述，該電路系統各項指標均在可接受范圍內，符合設計要求。

4 結論

本文設計了一種PCIe交換電路系統且集成于一塊PCB 板卡上，通過搭建測試環境，利用對應的測試軟件根據測試步驟進行測試，測試結果表明該設計可靠穩定。從ping 包的情況來看，UDP 協議在高速數據傳輸下會存在一定的丟包率，實驗表明2 個卡槽均只有在ping 大包 (115200) 的情況下有一些延遲及丟包率，但均能滿足傳輸時間小于10 ms 及丟包率小于5×10-4的指標，符合設計要求；從設計合理性和復雜度的情況來看，所涉及的器件較少且多處作了可選擇設計，方便按需切換。該設計可運用在多處理器間PCIe數據傳輸的各個場合，但在高速傳輸較大數據包時仍有一定的丟包率，因此可繼續優化電路及PCB 布局布線方案，選用性能指標更優的元器件，從而提高可靠性。