基于SBB 2.0擴展的計算存儲融合系統

馬千里　袁磊峰　王朝營

摘要：對SBB 2.0規范進行了擴展，通過增加PCIe信號提出了一種小型化的計算存儲融合系統。相比于SBB 2.0，該系統融合了計算和存儲兩種應用，具有集成度高、功能豐富、擴展性強、兼容性好、配置靈活等諸多特性，不失為一種小型化的計算存儲通用系統。

關鍵詞： 存儲橋接塢；高級電信計算架構（ACTA）；串行連接小型計算機系統接口（SAS）；快速外部設備互連；網絡存儲；服務器虛擬化

Abstract： This paper describes a small-scale convergence system that is based on storage bridge bay （SBB） and has added PCIe signals. This system combines computing and storage applications. It is highly integrated， feature-rich， scalable， and highly compatible. It also enables flexible configuration. It is a universal miniaturized computing storage system.

Key words： SBB； advanced telecom computing architecture （ATCA）； serial attached small computer system Interface （SAS）； PCIe； network storage； server virtualization

存儲橋接塢（SBB）是由非盈利性協作組織為提高網絡存儲接口標準化而提出的一種規范。SBB 2.0 [1]版本定義了箱式存儲陣列設備中控制器和插槽的機械、電氣和底層管理特性，使得不同存儲廠商基于該標準的控制器具有統一的兼容性和互操作性。如EMC公司的VNXe3150 [2]、Fujitsu公司的DX60 [3]磁盤陳列柜都是符合SBB 2.0的產品，2 U高的機箱最多可以容納24個2.5 inch串行連接小型計算機系統接口（SAS）硬盤。

SBB 2.0設備是面向中小規模的通用網絡存儲而設計的，廣泛適用于企業、政府、金融、電信、互聯網等行業。在這些行業中，除了存儲的應用外，小型化的計算應用更廣，如采用高級電信計算架構（ATCA）平臺[4-5]及相應的服務器刀片，典型的有Comtel公司的CO2產品[6]、Emerson公司的Centellis 2000產品[7]，都是小型化、3U高的ATCA機框。

但是，這些應用也存在著系統上的不足。比如，計算和存儲在物理上隔離，只作為計算或存儲的應用，功能單一，集成度不高；再者，計算及存儲應用間的互換性、通用性不佳。另外，對于計算應用來說，因某些限制而提供的接口或處理資源不夠，擴展性不強。

針對上述問題，文章對SBB 2.0規范進行了擴展，在此基礎上，提出了一種小型化的計算存儲融合系統（以下簡稱融合系統），既適合計算應用，也適合存儲應用，或者同時作為計算及存儲的融合應用，應用于通信、信息及工業控制等領域。

1 SBB規范簡介

SBB 2.0定義了存儲陣列機箱和存儲控制盒之間的機械和電氣需求，以支持符合SBB規范的模塊具有更高的互通性。這樣以來，多個機箱可以共享同一種控制盒，或者不同的控制盒能夠插入同一個機箱，解決不同產品之間的互用性問題，降低產品成本，縮短開發周期，給用戶提供靈活選擇。這就是SBB規范的主要精髓。

需要說明的是，SBB規范現行版本是2011年發布的2.1版，除了對SBB 2.0進行一些勘誤補充外，還增加了6 Gb SAS等高速信號的定義，但總體上變化不大。文章基于最新的SBB 2.1規范，但業界仍然習慣上稱為SBB 2.0。

一個典型的SBB機箱如圖1所示。前視為最多24個高密度磁盤封裝，后視為1～2個存儲控制盒、1～2個電源風扇模塊，它們都插在中背板上進行互聯。

SBB 2.0為存儲控制盒到中背板定義了SBB中背板連接器（SBBMI），對應兩個控制盒插槽，稱為SBBMI A和SBBMI B，分別由M1—M13接插件模塊組成，如圖2所示。

其中，M1、M5兩組可選模塊含有兩個控制盒之間互連的高速信號，M3含有機箱管理及控制的低速信號，M4為導向插腳，M6為電源插腳，M2含有硬盤1—6的信號，可選的M7—M13含有硬盤7—48的信號。

2 融合系統原理

2.1融合系統TOPO架構

快速外部設備互連（PCIe）是第三代I/O局部總線標準[8-9]，以其串行傳輸、點對點連接、報文交換的體系結構帶來了高帶寬、低開銷、可擴展、高可靠、易用性等特點，加之它可以提供虛擬化方法，不僅已普遍用于主機與外部設備的高速可靠通信[10]，而且在高密度計算、網絡通信、工業控制等領域也得到了大量應用，具有廣泛的通用性。

融合系統正是在SBB 2.0的基礎上引入PCIe總線進行擴展而來。

SBB 2.0定義了48個硬盤信號，融合系統根據實際應用需求的具體情況，對支持的硬盤數量進行了縮減，單機箱僅支持12個硬盤，這樣就可以將前述M8—M13的信號進行重新定義，增加PCIe 2.0的信號連接（單通道帶寬5 Gb/s），并對硬盤盒的插槽進行擴展，以便混插其他的功能板卡，從而使系統兼具存儲和計算的雙重功能。

系統拓撲（TOPO）如圖3所示。

在結構上，融合系統將SBB 2.0機箱的前后進行了顛倒，以便統一后走線。

機箱前視為橫插的兩個主控制器1、2（左右分別列于上部），以及兩個電源風扇模塊1、2（左右分別列于下部）。

中背板后視有16個豎向的插槽，可以插入相應的后插板卡，按功能可分為3個部分：

· 兩側是電源槽位1、2，用來插入電源輸入板卡為系統引入外部電源，并通過中背板轉接到電源風扇模塊，由此給整個機箱提供電源和通風散熱。

· 電源槽位向內是兩個獨立槽位1、2，分別對應主控制器1、2，兩個主控制器分別通過這兩個槽位上的獨立板卡直接出對外接口，或提供相應的獨立功能。

· 其余為連續的12個通用槽位，每個槽位到兩個主控制器均連接有2條SAS 2.0通道和4 Lane的PCIe 2.0總線。這樣，通用槽位可以混插2.5 inch SAS硬盤板卡或者PCIe功能板卡，并同時受控制器1及2的控制，實現存儲或計算的功能。

和SBB 2.0一樣，兩個控制器之間還有相互通信的更新信號，并可完成整個機箱的管理控制功能。

2.2 SBBMI信號擴充

參考圖2，融合系統對SBB 2.0擴展的關鍵是利用M8—M13接插件在SBBMI中引入PCIe 2.0信號。以M8為例，兩個控制器到M8共有兩組PCIe 2.0×4總線信號、復位信號PERST#、在位信號PRSNT1#和PRSNT2#，分配給2個后插通用槽位。控制器到M8—M13的PCIe信號共可分配給12個通用槽位，其他可選的公共信號如PCIe時鐘REFCLK±、測試總線JTAG、管理總線SMBUS則通過M3連接到12個通用槽位，不需要新增接插件。圖2中，以灰色表示的M1，M2，M4—M7在SBB 2.0中所定義的信號沒有變化。

2.3 PCIe功能板卡構成

圖4給出了PCIe功能板卡的原理構成及其與兩個控制器的連接。

PCIe功能板卡上需擴展一片PCIe交換器，該交換芯片支持雙主連接，配置3個PCIe 2.0×4 端口，其中兩個端口經板卡上的PCIe中繼器進行接收均衡、發送去加重后分別連接到兩個主控制器的PCIe交換上[11-13]，另外一個端口連到板卡自身的PCIe 端點設備，實現相應的板卡功能。默認情況下，這3個端口分別設置為上行、非透明（NT）和下行。此時，該功能板卡受控于主控制器1。如主控制器1出現故障，主控制器2通過心跳線更新實時檢測到后，即將功能板卡上PCIe交換器的上行端口、NT端口分別重置為NT端口、上行端口，主控制器2的CPU重新枚舉，從而接管對PCIe功能板卡的控制，確保系統的正常運行。

同樣，功能板卡也可靈活配置為默認受控于主控制器2，主控制器2異常時即切換到由主控制器1控制。

和SBB 2.0類似，不管通用槽位上插的是硬盤板卡還是PCIe功能板卡，兩個控制器均可以主備或雙主方式工作，提高融合系統的可靠性和處理能力。

2.4 虛擬化技術對融合系統的支持

隨著多核處理器技術的發展，尤其是Intel架構（IA）Xeon處理器按架構-工藝模式以2年為周期Tick-Tock交替持續演進，服務器的硬件性能仍然在逐年快速提升。此時，應用虛擬化技術，將一臺服務器作為多個虛擬機來使用，讓多個應用共享同一硬件平臺，可以提高系統資源利用率，降低系統成本。

圖5描述了通過虛擬化技術，在主控制器上實現計算存儲的融合?；趦群颂摂M機（KVM）是宿主型的虛擬機監視器Hypervisor [14]，它運行在Linux操作系統內核中，將硬件資源虛擬為相互隔離的虛擬機，不同的虛擬機中運行不同的系統和應用，這樣就在主控制器上同時實現了計算和存儲的應用。

結合Intel提供的硬件輔助虛擬化技術，如CPU虛擬化技術VT-x、芯片組虛擬化亦即定向I/O虛擬化技術VT-d[15]和網絡連接虛擬化技術VT-c，KVM具有很高的虛擬化性能，并且更為高效和安全。

2.5 融合系統的應用

利用PCIe總線的通用性，可以對PCIe功能板卡、硬盤板卡以及融合系統通用槽位進行統一的機械和電氣規格定義，不但能實現PCIe功能板卡間的兼容性和互換性，而且PCIe功能板卡與硬盤板卡在融合系統的通用槽位上還可以混插。

根據應用需求，PCIe功能板卡上的Endpoint設備既可以作為主控制器對外的時分復用（TDM）接口、IP接口或者數據采集/轉換接口，擴展系統對外的接口種類和數量，比如1個PCIe接口板卡可以出1個10 GbE口、4個GE網口或者8個E1接口；另外，端點設備也可以用作硬件加速，如擴展數字信號處理（DSP）、IPSec、分辨率（DPI）引擎芯片，配合主控制器實現語音或視頻編解碼、IP加密、深度報文檢測的集中處理，完成計算方面的協處理功能，適合通信產品的小型化應用。

再結合存儲和虛擬化技術，融合系統可以進一步完成通信產品的多網元合一或者多模合一的應用需求，提高系統的集成度。比如，原來需要一個3U ATCA再加一個磁盤陣列柜的系統或者需要兩個3U ATCA的系統，在一些場景下只需要一個融合系統即可實現[16-17]。

3結束語

綜上所述，通過對SBB 2.0稍加擴展，引入PCIe 2.0信號，我們在繼承SBB 2.0大部分特性的基礎上，可以設計出尺寸為寬19 inch、高度2 U、深度約400 mm，采用交直流供電、前后通風的小型化計算存儲融合機箱。該機箱的深度與前述的ATCA機框相當，但是比前述的磁盤陣列柜要淺很多。機箱前插有兩個主備或雙主工作的主控制器，后插有充足的通用槽位，可以混插最多12個2.5 inch SAS硬盤板卡或各種PCIe功能板卡，一套系統既適合存儲應用，又適合計算應用，或者計算及存儲的融合應用。

相對而言，盡管融合系統的存儲容量弱于SBB 2.0磁盤陣列柜，計算性能較小型化的ATCA系統會稍有不足，但是，在SBB 2.0基礎上提出的系統融合了計算和存儲兩種應用，具有集成度高、功能豐富、擴展性強、兼容性好、配置靈活等諸多特性，不失為一種小型化的計算存儲通用系統。

參考文獻

[1] Storage Bridge Bay（SBB）. Specification Version 2.1[S].2011.

[2] EMC Corporation. EMC VNXe系列VNXe3150硬件信息指南[Z].2012.

[3] Fujitsu Limited. ETERNUS DX60/DX80/DX90 SA/SE Disk Storage System Handbook[Z].2010.

[4] PICMG3.0. AdvancedTCA （Base Specification） Rev3.0[S]. 2008.

[5] PICMG3.4. AdvancedTCA PCI Express Rev1.0[S]. 2003

[6] COMTEL Electronics GmbH. 3U 2 Slot AdvancedTA Shelf User Manual[Z].2009.

[7] Emerson Electric Co. Centellis 2000 AdvancedTCA Platform Core[Z].2009.

[8] PCI Express Base Specification Revision 2.0[S].2006.

[9] PCI Express Card Electromechanical Specification Revision 2.0[S].2007.

[10] 王齊.PCI Express體系結構導讀[M].北京：機械工業出版社，2010：101-139.

[11] PLX Technology，Inc. ExpressLane PEX 8612-AA，AB and BB 12-Lane/3-Port PCI Express Gen 2 Switch Data Book[Z]. 2013.

[12] Pericom Semiconductor Corporation. PI2EQX5984 5.0Gbps 4-lane PCIe 2.0 ReDriver with Equalization & Emphasis[Z]. 2012.

[13] PLX Technology，Inc.ExpressLane. PEX 8664-AA 64-Lane，16-Port PCI Express Gen 2 Multi-Root Switch Data Book[Z]. 2013.

[14] 廣小明，胡杰，陳龍，郭京.虛擬化技術原理與實現[M].北京：電子工業出版社，2012：156-188.

[15] 英特爾開源軟件技術中心，復旦大學并行處理研究所.系統虛擬化——原理與實現[M].北京：清華大學出版社，2009：104-151.

[16] Avaya Inc. Avaya Aura Communication Manager Hardware Description and Reference Release 6.2[Z].2012.

[17] Cisco Systems，Inc. Cisco Unified Communications on the Cisco Unified Computing System[Z]. 2012.

參考文獻

[1] Storage Bridge Bay（SBB）. Specification Version 2.1[S].2011.

[2] EMC Corporation. EMC VNXe系列VNXe3150硬件信息指南[Z].2012.

[3] Fujitsu Limited. ETERNUS DX60/DX80/DX90 SA/SE Disk Storage System Handbook[Z].2010.

[4] PICMG3.0. AdvancedTCA （Base Specification） Rev3.0[S]. 2008.

[5] PICMG3.4. AdvancedTCA PCI Express Rev1.0[S]. 2003

[6] COMTEL Electronics GmbH. 3U 2 Slot AdvancedTA Shelf User Manual[Z].2009.

[7] Emerson Electric Co. Centellis 2000 AdvancedTCA Platform Core[Z].2009.

[8] PCI Express Base Specification Revision 2.0[S].2006.

[9] PCI Express Card Electromechanical Specification Revision 2.0[S].2007.

[10] 王齊.PCI Express體系結構導讀[M].北京：機械工業出版社，2010：101-139.

[11] PLX Technology，Inc. ExpressLane PEX 8612-AA，AB and BB 12-Lane/3-Port PCI Express Gen 2 Switch Data Book[Z]. 2013.

[12] Pericom Semiconductor Corporation. PI2EQX5984 5.0Gbps 4-lane PCIe 2.0 ReDriver with Equalization & Emphasis[Z]. 2012.

[13] PLX Technology，Inc.ExpressLane. PEX 8664-AA 64-Lane，16-Port PCI Express Gen 2 Multi-Root Switch Data Book[Z]. 2013.

[14] 廣小明，胡杰，陳龍，郭京.虛擬化技術原理與實現[M].北京：電子工業出版社，2012：156-188.

[15] 英特爾開源軟件技術中心，復旦大學并行處理研究所.系統虛擬化——原理與實現[M].北京：清華大學出版社，2009：104-151.

[16] Avaya Inc. Avaya Aura Communication Manager Hardware Description and Reference Release 6.2[Z].2012.

[17] Cisco Systems，Inc. Cisco Unified Communications on the Cisco Unified Computing System[Z]. 2012.

參考文獻

[1] Storage Bridge Bay（SBB）. Specification Version 2.1[S].2011.

[2] EMC Corporation. EMC VNXe系列VNXe3150硬件信息指南[Z].2012.

[3] Fujitsu Limited. ETERNUS DX60/DX80/DX90 SA/SE Disk Storage System Handbook[Z].2010.

[4] PICMG3.0. AdvancedTCA （Base Specification） Rev3.0[S]. 2008.

[5] PICMG3.4. AdvancedTCA PCI Express Rev1.0[S]. 2003

[6] COMTEL Electronics GmbH. 3U 2 Slot AdvancedTA Shelf User Manual[Z].2009.

[7] Emerson Electric Co. Centellis 2000 AdvancedTCA Platform Core[Z].2009.

[8] PCI Express Base Specification Revision 2.0[S].2006.

[9] PCI Express Card Electromechanical Specification Revision 2.0[S].2007.

[10] 王齊.PCI Express體系結構導讀[M].北京：機械工業出版社，2010：101-139.

[11] PLX Technology，Inc. ExpressLane PEX 8612-AA，AB and BB 12-Lane/3-Port PCI Express Gen 2 Switch Data Book[Z]. 2013.

[12] Pericom Semiconductor Corporation. PI2EQX5984 5.0Gbps 4-lane PCIe 2.0 ReDriver with Equalization & Emphasis[Z]. 2012.

[13] PLX Technology，Inc.ExpressLane. PEX 8664-AA 64-Lane，16-Port PCI Express Gen 2 Multi-Root Switch Data Book[Z]. 2013.

[14] 廣小明，胡杰，陳龍，郭京.虛擬化技術原理與實現[M].北京：電子工業出版社，2012：156-188.

[15] 英特爾開源軟件技術中心，復旦大學并行處理研究所.系統虛擬化——原理與實現[M].北京：清華大學出版社，2009：104-151.

[16] Avaya Inc. Avaya Aura Communication Manager Hardware Description and Reference Release 6.2[Z].2012.

[17] Cisco Systems，Inc. Cisco Unified Communications on the Cisco Unified Computing System[Z]. 2012.