CC-NUMA架構下4路龍芯3B服務器設計與實現*

張 鵬

(江蘇自動化研究所，江蘇連云港222061)

1 引言

從信息安全角度出發，自主可控的服務器在現代電子信息系統中起到越來越重要的作用。由于“wintel”平臺核心技術極為封閉，在硬件開發、程序設計、操作流程、代碼測試等方面均存在“后門”隱患。為擺脫電子信息系統對國外產品的依賴，實現電子信息系統核心技術國產化勢在必行。

目前，較成熟的國產處理器產品主要有龍芯、飛騰、申威三大品牌系列，相比成熟的x86架構處理器，普遍存在計算性能不夠高、產業生態不夠健全等現狀。本文重點針對龍芯3B處理器平臺提出一種服務器設計方法，通過4路處理器提升并行計算能力，使用TCP協議卸載引擎TOE(TCP Offload Engine)技術實現10G以太網通信能力并釋放對處理器資源的占用，同時盡可能選用國產關鍵芯片，提高服務器的自主可控能力。

2 基于龍芯3B的服務器架構分析

2．1 龍芯3B3000處理器架構

龍芯3B3000 處理器［1，2］基于可伸縮的多核互連架構設計，在單個芯片上集成多個高性能處理器核以及大量的二級Cache，還通過高速I/O接口實現多芯片的互連以組成更大規模的系統。龍芯3B3000是一個配置為單節點4核的處理器，采用28 nm工藝制造，最高工作主頻為1．5 GHz。如圖1所示，處理器集成4個64位的四發射超標量GS464e高性能處理器核，片內集成8 MB的分體共享三級Cache(由4個體模塊組成，每個體模塊容量為2 MB)，通過目錄協議維護多核及I/O DMA訪問的Cache一致性。龍芯3B3000處理器集成兩個16位1．6 GHz的 HyperTransport控制器(以下簡稱HT)，每個16位的HT端口拆分成兩個8路的HT端口使用。

2．2CC-NUMA技術原理

NUMA(Non Uniform Memory Access)即非統一內存訪問技術［3］，它是由若干通過高速專用網絡連接起來的獨立節點構成的系統，各個節點可以是單個的CPU或是SMP系統。NUMA模式采用了分布式存儲器模式，所有節點中的處理器都可以訪問系統的全部物理存儲器。每個處理器訪問本地存儲器和訪問遠程節點存儲器所需的時間是不一致的，因此稱為非一致訪問分布共享存儲技術。NUMA同時具備了MPP良好的擴展性以及SMP編程模式簡潔、易于管理的特點。

CC-NUMA(Cache Coherent NUMA)是NUMA的一種類型，即高速緩存相關的非一致性內存訪問。在CC-NUMA系統中，分布式內存相連接形成單一內存，內存之間沒有頁面復制或數據復制，也沒有軟件消息傳送。CC-NUMA只有一個內存映象，存儲部件利用銅纜和某些智能硬件進行物理連接。Cache Coherent是指不需要軟件來保持多個數據拷貝的一致性，也不需要軟件來實現操作系統與應用系統的數據傳輸，如同在SMP模式中一樣，單一操作系統和多個處理器完全在硬件級實現管理。

2．3 TOE 技術原理

隨著信息系統中網絡通信帶寬的不斷增加，處理器資源被大量消耗，國產處理器尤其容易成為集群系統中的主要瓶頸，例如在10G以太網的應用場景中，處理器往往需要滿負荷工作來應對計算和通信任務。為解決上述問題，需要將處理器承擔的網絡協議棧處理任務剝離，以減輕處理器負荷。

TOE即TCP協議卸載引擎技術，將對TCP/IP協議進行處理的功能交給網卡上的硬件來完成，實現協議卸載功能，處理器只需要承擔TCP/IP相關控制信息和維持TCP連接狀態信息，減輕CPU校驗和計算的負載。TOE技術可以從中斷處理、上下文切換、網絡數據拷貝和進行TCP/IP協議處理這幾方面來對處理器進行減負，能夠滿足系統應用對高吞吐量、低延遲、高帶寬和低開銷的要求。

3 基于CC-NUMA架構的龍芯3B服務器設計

基于CC-NUMA架構的龍芯3B服務器設計主要包括三個部分:一是CC-NUMA架構的4路處理器拓撲關系，二是對外功能接口的擴展，三是TOE網絡接口設計。

3．1 處理器拓撲方式

4路處理器之間主要通過HT高速總線互連，每個處理器的2路16位HT總線均拆分為4路8位 HT 總線，通過 HT0-L、HT0-H、HT1-L、HT1-H 分別與其余3個處理器連接，拓撲關系如圖2所示。每個處理器通過兩個內存控制器擴展雙通道內存，本地內存容量4 GB，整板內存容量16 GB。

3．2 功能接口擴展

CPU0的低8位HT1-L總線與龍芯7A橋片［4，5］互連，用于擴展系統通用接口，包括 PCIE 總線、SATA、USB、LAN、VGA、UART 等常規接口［6］。其中，龍芯7A橋片通過1路PCIE×8總線連接到T5萬兆網卡，擴展2路SFP+萬兆以太網絡接口;通過1路PCIE×1總線連接到AST2500板級管理芯片，擴展1路管理網絡接口和1路管理串口。

3．3 TOE網絡接口設計

服務器對外通信的高速接口通常包括以太網、FC、Infiniband等，其中 FC和Infiniband主要在鏈路層實現，在應用層需要大量協議開發工作;以太網4層協議相對完善，通用性較強，因此龍芯3B服務器選用10G以太網作為服務器對外通信接口。

T5作為獨立的ASIC能夠提供多種以太網典型應用，包括網卡、TCP/IP卸載，iSCSI等協議功能。T5以太網端口可以直接驅動各種各樣的信號標準，比如 40Gbase-kr4、40Gbase-cr4、10Gbase-cr、10Gbase-kr、SFP+ 、1Gbase-kx、SGMII 10Gbase-T 和1Gbase-T［7］。T5在任何時候都有四個以太網端口可用。對于這些端口，T5集成了兩個40G CGMAC、四個XGMAC(10GbE)和四個XGMII(1GbE)協議MAC。這些MAC接口根據標準和電路板要求被復用到各種以太網發送和接收對中。每個發送/接收對能夠被編程為任何支持的接口標準。TOE網絡接口設計的難點一方面在于龍芯3B處理器、龍芯7A橋片、T5網絡芯片等主要芯片硬件鏈路的正確設計;另一方面在于驅動層實現TCP/IP卸載功能并進行優化。

4 測試與分析

服務器的各項測試與分析在中標麒麟服務器版操作系統環境下開展，主要包括對處理器的單核計算性能測試、整體計算性能測試、網絡通信能力測試三個部分。

4．1 單核計算性能測試

SPEC CPU2006是一款測試CPU處理性能的工具，包括 CINT2006和 CFP2006兩個子項目。CINT2006用于測量和對比整數性能，包括C編譯程序、量子計算機仿真、下象棋程序等12種整型基準程序;CFP2006用于測量和對比浮點性能，包括有限元模型結構化網格法、分子動力學質點法、流體動力學稀疏線性代數法等17種浮點型基準程序。

Table 1 Computing performance test results of SPEC CPU2006 single-core computers表1 SPEC CPU2006單核計算性能測試結果

為簡化測試結果，SPEC將被測計算機每個基準程序的執行時間除一個參考處理器的執行時間，結果稱為SPECratio。CINT2006或 CFP2006的綜合測試結果是取每個基準程序SPECratio的幾何平均值，如表1所示。測試結果數值越高，表明計算性能越強。

4．2 整體計算性能測試

Unixbench是一款用于測試類Unix系統綜合性能的工具，將測試結果與基準系統的分數比較，產生一個指數值，綜合一系列的指數值得出系統整體指標。當系統為多CPU核系統時，默認的處理方式是運行兩次測試:一次是運行每個測試程序的1個副本，另一次是運行每個測試程序的N個副本，N表示CPU的核心數。

Table 2 Computing performance test results of Unixbench表2 Unixbench計算性能測試結果

通過對比表2中4路龍芯3B服務器與單路龍芯3B開發板的計算性能測試結果，可以計算出CC-NUMA架構4路龍芯3B服務器的計算性能是單路龍芯3B處理器的3．125倍，CPU之間的協同計算帶來了一定的性能開銷。

同時，選擇了一款基于2路 Intel至強 E5-2628L處理器(8核心，主頻1．8 GHz)的商用主流服務器進行對比測試，測試結果表明，在核心總數均為16的情況下，4路龍芯3B3000服務器的計算性能已接近Intel同檔服務器產品水平。

4．3 網絡通信能力測試

Netperf是一種網絡性能的測量工具，主要針對基于TCP或UDP的傳輸。Netperf根據應用的不同，可以進行不同模式的網絡性能測試，即批量數據傳輸(bulk data transfer)模式和請求/應答(request/reponse)模式。Netperf測試結果所反映的是一個系統能夠以多快的速度向另外一個系統發送數據，以及另外一個系統能夠以多快的速度接收數據。

Table 3 Network communication capability test results and CPU utilization表3 網絡通信能力測試結果與CPU占用率

通過對比表3中的測試數據可以發現，使用具有TOE技術的網絡芯片，能夠在占用很少CPU資源的情況下達到接近10 Gbit/s的傳輸帶寬，釋放了絕大部分CPU資源用于提高并行計算能力，搭配國產處理器使用能夠大幅提高服務器綜合性能。

5 結束語

本文基于CC-NUMA并行處理架構設計了4路龍芯3B3000高性能服務器核心模塊，針對國產處理器擴展10G以太網接口大幅消耗處理器資源的問題，通過使用TOE芯片提高了網絡響應效率，同時大幅降低10G以太網接口對處理器資源的占用消耗，有效提高了服務器的綜合性能。測試和分析結果表明，該服務器在選用國產關鍵芯片的基礎上，同時具備了高效的并行計算能力和10G以太網通信能力，國產元器件種類占比和數量占比均可達95%以上，有效提高了服務器自主可控能力。