利用PCI局部總線實現Blade Server的數據交換

沈淑渭，盧 虎，李 彥

（空軍工程大學 理學院， 陜西 西安 710051）

新一代機架式服務器Blade Server（刀片服務器），應用iSCSI協議，通過 TCP/IP實現網絡存儲，利用 Internet，可將SCSI數據包傳到地球上的任何地方。

筆者著眼于刀片服務器的內部構架和整體方案的介紹，主要論述了基于FPGA的刀片與主板之間PCI數據交換的具體實現方法。

1 刀片服務器系統構架

刀片服務器是一種HAHD （High Availability High Density，高可用高密度）的低成本服務器平臺，是專門為特殊應用行業和高密度計算機環境設計的。每一塊刀片均由“系統服務器主板＋控制板”組成，可以遠程啟動Windows NT/2000、Linux、Solaris等操作系統。類似于獨立的服務器，每塊刀片可以沒有獨立硬盤來存儲數據，而是多個刀片共享一個Raid磁盤陣列。在該模式下，每個刀片運行自己的系統，服務于用戶指定的不同用戶群，相互之間沒有關聯，不過也可以通過系統軟件將這些刀片集合成一個服務器集群，在集群模式下，所有的刀片連接起來提供高速網絡環境，實現資源共享，為相同的用戶群服務。用戶若需提高整體性能，只需在集群中插入新的刀片即可。刀片可熱插拔，替換便捷，且維護時間減到最小。

機架中的服務器（刀片）可以通過智能KVM轉換板共享一套鍵盤、顯示器和鼠標，以訪問多臺服務器（刀片），從而便于進行升級、維護和訪問服務器上的文件。單個刀片通過PCI總線連接至主板，刀片中據的傳輸和交換，均通過該通道進行，刀片的實際組成如圖1所示。

圖1 刀片組成示意圖Fig.1 Schematic diagram of blade server

刀片在單機架系統中的位置如圖2所示。

圖2 刀片系統結構Fig.2 Blade system architecture

在單機架系統中，用戶交換機與Blade通過RJ45的千兆網接口進行連接，用戶經用戶交換機接入Blade服務器進行數據交換，可以在全球任何地方，由Internet接入到用戶交換機。集中控制單元具有網絡端口等PC常用輸出端口；分散控制單元（DMU）通過CompactPCI與Blade進行通信；通過 232串口與集中控制中心 （SMU）進行通信。DMU和SMU共同完成KVM的切換和采集Blade狀態功能。

由于每個Blade沒有單獨的硬盤，所有Blade的啟動都是通過目標服務器遠程啟動，并完成配置以及啟動Raid中預裝的操作系統，同時通過DHCPD（動態分配IP地址）、ADSS、iSCSI為每個Blade分配使用Raid磁盤陣列空間。也即每個Blade都是通過網絡接口啟動系統，所以網絡配置要先于操作系統引導前完成初始化和驅動裝載。

2 PCI局部總線概述

PCI總線是一種不依附于某個具體處理器的局部總線[1-2]。從結構上看，PCI是在CPU和原來的系統總線之間插入的一級總線，具體由一個橋接電路實現對這一層的管理，并實現上下之間的接口以協調數據的傳送。管理器提供了信號緩沖，使之能支持10種外設，并能在高時鐘頻率下保持高性能。PCI總線也支持總線主控技術，允許智能設備在需要時取得總線控制權，以加速數據傳送。

通用PCI2.2接口信號如圖3所示。在圖3左半部分為必要信號，任選信號列于右邊。其中信號名稱右邊加一個“＃”符號表示是低電平有效，未加“＃”符號的是高電平有效。根據信號的功能劃分，可分為系統信號組、地址數據組、接口控制組、仲裁管理組、錯誤測試組、中斷功能組、Cache支持組以及其他功能組。

圖3 PCI局部總線引腳圖Fig.3 PCI Local Bus pin diagram

3 基于FPGA的PCI數據交換實現

通常PC都是采用本地硬盤來引導操作系統，完成設備的驅動，Blade則通過網絡啟動系統，所以網絡配置要先于操作系統引導，并完成初始化和驅動裝載。為了解決這個難點，我們采用“PCI＋FPGA+Flash”結構，在Flash中燒錄雙端口千兆網卡PCI設備的初始化和驅動裝載程序，由CPU在系統上電時加載Flash中的程序到系統內存。由于數據傳輸是PCI總線，而Flash是標準的數據總線，這就存在數據總線轉換的問題，問題解決的方案是通過FPGA完成PCI設備與Flash之間的通信，下面將詳細介紹如何利用FPGA來完成PCI接口和Flash之間的通信。

3.1 FPGA系統邏輯與實現

整個FPGA系統設計基于PCI2.2從設備設計思想[3]，PCI主設備為PCI橋芯片，用FPGA來完成PCI從設備功能，終端為Flash芯片。在FPGA系統中，PCI總線接口部分的設計參數為：PCI時鐘為 33 MHz（CLK），32 位 I/O 接口（AD[31..0]），終端接口可以提供20位或32位數據線。PCI主設備與終端Flash間的通信采用PCI從設備（FPGA）來實現的。在FPGA的邏輯設計中，終端是兼有Memory空間和I/O空間的抽象設備，在實際的設計中終端Flash，只有對應的Memory空間。

根據FPGA的模塊設計思想[4-5]，采用Verilog語言將整個系統按功能進行分塊設計，每個模塊的輸出可以為其他功能模塊提供輸入，各模塊功能和設計思想如下：

“PCI頂層模塊”是系統頂層模塊，完成系統端口各使能開關的定義和調用其他5個功能模塊。

“配置模塊”完成PCI從設備配置寄存器的設置。

“基址模塊”實現兩個功能：1）配置I/O空間和存儲空間（memory空間）的基地址；2）告知PCI從設備狀態機（The State Machine）。

“狀態機模塊”是整個設計的核心，控制PCI主設備到終端的所有數據傳輸。在PCI地址傳送階段，通過采樣C/BE[3..0]和IDSEL來決定是配置讀寫、存儲空間讀寫還是I/O空間讀寫。

“校驗模塊”對AD[31..0]和C/BE[3..0]#信號作奇偶校驗，以保證數據的有效性。

“重入模塊”若PCI從設備進行一個讀寫操作，則必須在6個時鐘周期內（定義PCI從設備為slow=10 b，慢速設備）使能DEVSEL。若PCI從設備進行數據傳送 （已經使能DEVSEL），終端在9個時鐘周期內沒有使能READY＃，則將告知：“The State Machine模塊”，終端暫時中止當前的數據傳送，直到傳送條件滿足后，才重新啟動數據傳送。

3.2 FPGA系統邏輯功能仿真與結論

完成了各功能模塊程序的編輯和編譯過程，即可采用xilinx ISE11.2自帶的HDL Bencher來生成測試激勵文件，而后就可以調用ModelSim進行仿真了，該仿真也叫前仿真（邏輯功能仿真），布線后的仿真稱為后仿真，也叫延時仿真，布線后的仿真包含門延時和線延時[6]。

下面給出memory寫操作功能仿真的詳細步驟，并對結果進行分析。

圖4 memory寫操作功能仿真Fig.4 Simulation of memory write operation

I/O、memory空間讀寫過程非常相似，現對memory空間猝發方式寫操作進行詳細的說明。在圖4中，通過測試文件生成 pci_rst＃＝1，不產生復位動作，地址節拍 pci_ad＝0x2000_0000，表示PCI主設備從系統地址0x2000_0000地址開始寫到終端0x00000地址開始的數據空間，可在“PCI頂層模塊”定義（bkend_ad[19..0]＝pci_ad[19..0]），終端只取系統地址的低 20位地址。 pci_cbe＃[3..0]＝0111，表示是 memory空間寫操作， 在 idle 狀態 pci_frame＃ 使能，irdy＃、devsel＃、stop＃ 先不使能，PCI主設備將地址送到終端地址線上，data_stop＃＝1，表示終端支持猝發方式數據寫操作。在下個時鐘周期，進入到 rw_wait狀態，base_region1＃（memory 片選）使能，告訴終端準備執行memory寫操作，同時打開I/O、memory空間寫操作使能。在下個時鐘周期，進入到rw_wait2狀態，如果終端使能ready＃， 表 示 終 端 準備 好 接 收 數 據 ， 使 能 devsel＃、trdy＃、date_write＃，其中date_write＃使能，是讓終端產生寫使能信號。irdy＃、trdy＃使能，表示PCI主設備和終端數據可以有效傳輸，通過測試文件在PCI主設備的對應地址（0x2000_0000）下產生數據cdef0000，在該狀態，寫入終端第一個數據cdef0000。在下個時鐘周期，進入到rw狀態，如果在該狀態下pci_frame＃＝0還使能，表示PCI主設備想支持猝發寫，繼續使能 devsel＃、trdy＃ 信號，stop＃ 不能使能， 因為 PCI主設備準備猝發寫操作，在該狀態下，只要 pci_frame＃＝0（使能），循環寫入數據 cdef0001、cdef0002、cdef0003、cdef0004， 上文已經介紹，下一個數據對應的地址自動加一，地址都是線性增加的。圖 4中，PCI主設備準備發送 cdef0005數據時，irdy＃＝1（不使能），表示PCI主設備正在取數據，data_write＃（終端寫使能）不使能，告訴終端等待PCI主設備取數據，插入等待周期。在下個時鐘周期，irdy＃重新使能，date_write＃也重新使能，繼續寫數據 cdef0005，這樣可以一直寫數據。pci_frame＃＝1，表示進入 最 后 一 個 周 期 的 寫 數 據 操 作 ， 關 閉 irdy＃、devsel＃、base_region1＃使能。在下個時鐘周期，進入到backoff狀態，在下個時鐘周期進入到idel狀態，一個完整的memory猝發寫就完成了。

完成功能仿真（前仿真）后和后仿真（布線后仿真）后，可使用ISE11.2自帶的下載配置工具進行下載，至此FPGA系統設計全部完成，接著可對整個FPGA芯片進行硬件部分的測試工作。

可采用Xilinx的ISE自帶的ChipScope Pro（在線邏輯分析儀），添加測試激勵，可以看到數據的讀寫都是滿足要求，具體跟上面的仿真波形相似，只是包含延時信息，門延時和線延時控制在0.5個時鐘單元（15ns），符合設計要求。

4 結束語

刀片式服務器在軍用控制和計算中心等計算密集型應用中已經得到廣泛應用。隨著InfiniBand技術開始扮演重要角色，刀片服務器將逐漸成為主流服務器。

[1]SJ20706-1998.pci局部總路線規范[S].1998.

[2]Tom Shanley.PCI系統結構[M].4版.北京：電子工業出版社，2002.

[3]李貴山.PCI局部總線及其應用[M].西安：西安電子科技大學出版社，2003.

[4]Bhsaker J.Verilog HDL硬件描述語言[M].北京：機械工業出版社，2003.

[5]褚振勇.FPGA設計與應用[M].西安：西安電子科技大學出版社，2000.

[6]張亮.數字電路設計與Verilog HDL[M].北京：人民郵電出版社，2001.