基于RSD的邊緣數據中心構建方法研究

郭玉華 賈寶軍 侯 樂 程筱彪 徐 雷

中國聯通研究院 北京 100176

引言

在萬物互聯時代，數據中心需要處理海量設備收集上來的數據，處理完成以后還需要反饋到終端進行執行。數據中心在處理數據過程中需要消耗大量云端資源，對于實時性要求比較高的場景，比如智能駕駛、障礙物監測等，會影響數據處理效率，產生嚴重后果。邊緣計算是萬物互聯的產物，能夠在靠近數據源的區域，就近提供網絡、計算、存儲等資源，可以更好地滿足業務的實時性要求，驅動了數據中心的發展。

未來數據中心的發展將會呈現出兩極化發展趨勢，云數據中心將會集中更多資源，成為超大規模數據中心；邊緣數據中心作為用戶和超大規模中心之間的緩存和數據聚合點，將會成為云數據中心的補充，與云數據中心協作，共同完成龐大數據的處理工作。邊緣數據中心的發展已經進入白熱化階段。雖然目前僅有10%的企業采用傳統集中式數據中心或云服務以外的邊緣模式來創建和處理數據，但是根據Gartner預測，到2022年，這一比例將達到50%。此外，運營商也在積極投入到邊緣數據中心的規劃工作中。AT&T在2015年發起了CORD(Central Office Re-Architected as a Data Center)項目，進行傳統機房改造，將CT設備替換成通用的IT設備，同時，中國聯通也積極參與了其中的M-CORD項目，強化移動邊緣計算能力。

RSD(Rack Scale Design)架構服務器，是一個能對計算、存儲、網絡資源進行解耦、資源池化及重構的邏輯架構，通過對CPU、內存、PCIe、存儲等資源進行機柜級組合調度，并依托Redfish管理接口，可以讓數據中心資源實現更有效的部署和利用。相較于通過RSD架構服務器構建云數據中心，通過RSD架構服務器構建邊緣數據中心更具有挑戰性。邊緣數據中心更加靠近數據源，在定制化服務能力方面有更高的要求，需要能夠根據預期的工作負載性能和容量要求，提供基礎設施資源端到端的定制化服務。利用RSD架構服務器具有的資源池化和硬件解耦能力，能夠滿足邊緣數據中心定制化服務能力要求；因此，邊緣計算和RSD架構服務器的結合會變得很有意義。

1 RSD架構服務器和邊緣計算技術簡介

1.1 邊緣計算

邊緣計算是在靠近數據源附近的網絡邊緣側執行數據處理能力的一種方法。邊緣計算可以降低用戶和超大規模中心之間的帶寬需求、緩解鏈路負載壓力，滿足業務所需的數據處理低時延要求。邊緣計算作為一種新興技術，在標準和開源方面得到重大發展。

在標準方面，許多標準組織正在定義各種邊緣計算標準。2016年4月，ETSI(歐洲電信標準協會)發布了與MEC相關的標準，提出7大業務場景，并對每個場景進行了詳細描述[1]。2016年11月在首屆邊緣計算產業峰會上，以華為、英特爾、中國科學院沈陽自動化研究所為代表的公司和機構就專門成立了邊緣計算產業聯盟[2]。

在開源方面，許多開源社區也在成立各種邊緣計算項目。2018年3月，Linux基金會宣布成立了Akraino項目，該項目的主要目標是集成多個邊緣計算相關的開源項目，提供更高層次的API集合來統一管理基礎設施，為客戶提供端到端的邊緣計算解決方案。2018年5月，OpenStack基金會宣布成立了StarlingX項目，該項目由Intel主導，主要提供邊緣基礎設施的管理服務。

1.2 RSD架構服務器

RSD架構服務器代表著下一代軟件定義的基礎設施，可以跨計算、網絡和存儲資源進行動態配置。該架構實現了硬件的全面解耦，并能通過硬件資源池化，根據業務需求實時定制硬件設備，進而為應用提供真正靈活、彈性的基礎設施資源支持。

RSD核心管理組件包括Redfish API、OpenStack EPA和PODM三部分。

1)Redfish API：基于DMTF的開放Redfish API行業標準規范，旨在利用開放、通用的接口來提高多廠商設備的連通性和管理效能。它利用JSON格式和OData來指定一個RESTful接口，幫助用戶將相關工具鏈整合到解決方案中。利用Redfish API， RSD能夠有效整合管理多廠商設備。

2)OpenStack EPA：EPA可以在啟動虛擬機之前完成負載與平臺基礎設施性能的精細匹配。EPA功能的加入，能夠幫助RSD加強對底層基礎設施的感知能力，并平衡工作負載與平臺性能，以增強應用性能。

3)PODM：PODM(Pod Manager)是一個提供了圖形化能力的軟件接口，它可幫助用戶更加直觀地了解RSD中存在哪些池化的資源。通過PODM，用戶能夠對服務器資源進行可視化管理，并更為方便地進行優化和重構。

2 基于RSD的邊緣數據中心構建方法

目前，由于大數據、大視頻以及人工智能等創新業務的發展，對硬件資源池的使用提出了更高要求。邊緣數據中心在構建過程中，需要以“提升IT基礎設施的應用靈活性”為目標，積極探索新的技術和方案。

OpenStack作為業界公認開源云平臺，為全球眾多知名企業提供云技術支持，能夠幫助他們支持自身新產品部署、內部系統升級和研發成本降低。2018年2月，OpenStack基金會發布白皮書《云邊緣計算：超越數據中心》，強調了OpenStack作為邊緣計算云端平臺特別具有吸引力，已經建立的組件和體系結構有機會參與邊緣計算市場競爭[3]。

本文將RSD基礎設施邏輯架構和OpenStack開源云計算平臺進行結合，提出了一種“邊緣數據中心物理資源RO構建方法”，實現了資源池化構想，使基礎設施能夠快速、靈活地響應上層業務應用的變化，提高了資源利用率。如圖1所示。

RSD架構服務器可以進行物理資源重構，將傳統服務器解耦合，打破服務器節點的概念，將計算、存儲、網絡等各類資源從緊耦合關系變成可以被軟件調度的松耦合關系，最終將其進化為可根據業務負載匹配的硬件基礎架構[4]。

圖1 邊緣數據中心架構圖

OpenStack云平臺可以按需進行資源管理。在計算資源池中，OpenStack云平臺可以根據預訂的參數值的大小過濾出匹配的資源，如CPU、內存、硬盤等。云平臺還可以將存儲資源、網絡資源與計算資源進行組合成裸機服務，提供給上層應用使用。為了保證服務的完整性，云平臺支持裸機自動化部署操作系統，能夠通過API接口統一管理，還可以按需從資源池申請或回收資源，極大地降低了裸機管理的成本。目前行業現有方法主要以提供虛擬機為主。該方法存在內存容量限制。當系統需要運行大容量內容或較高計算資源支持的應用程序，就面臨不能夠提供充足資源支撐系統運行的風險；系統由專有硬件組成，專有硬件可能所屬不同廠商，就面臨統一運維管理的風險；當系統需要橫向擴展，就面臨性能和容量不能快速增長的風險[5-8]。與行業現有方法相比較，邊緣數據中心物理資源RO構建方法，打破了內存容量的限制，面對系統運行峰值，可以提供足夠資源支撐運行；構建池化資源池，實現軟硬件的解耦；通過API接口統一管理，可以按需從資源池申請或回收資源。

邊緣數據中心物理資源RO構建方法，主要適用于對硬件和可擴展性要求比較高、對硬件資源支撐依賴度高的場景。例如，大數據分析類平臺，需要進行海量數據計算，對硬件和可擴展性要求比較高。數據庫類應用，一般對硬件資源支撐依賴度比較高。在現有部署方式中，普遍采用專有硬件[9-10]。該類應用平時使用量不大，會在特定時間產生使用峰值。這就造成若投入硬件太多時，低計算量會有資源浪費現象，若投入硬件太少時，峰值情況會有無法滿足性能需求現象。

3 測試及結果分析

本次POC測試，研究基于RSD和OpenStack的應用和功能實現，掌握RSD技術與OpenStack技術的結合重點，探索邊緣數據中心構建解決方案。測試范圍主要包括：RSD與OpenStack集成測試、RSD基本功能測試、OpenStack計算節點與存儲節點橫向擴展測試。

3.1 測試環境與組網

1)測試網絡環境。如圖2所示，測試環境中有1臺機架服務器和2臺交換機，機架服務器中有4個節點，分別命名為Node1、Node 2、Node 3和Node 4，每個節點均有兩個網卡，網卡0和網卡1分別接到交換機LB9和LY8上。

圖2 測試組網拓撲圖

2)測試組網方案。本次測試中，4個節點的拓撲結構如圖3所示。

圖3 測試節點拓撲圖

1)Node 1安裝了PODM。PODM主要調用底層的PSME接口，獲取資源池中的各種硬件資源，同時提供硬件重構的能力。

2)Node 3和Node 4安裝了PSME。PSME能把Node 3和Node 4存儲的硬件資源進行相關屬性抽象，并提供API接口來供PODM調用。

3)Node 2安裝了OpenStack，其控制面板Horizon安裝了RSD插件，通過該插件，可以調用PODM對Node 3和Node 4的物理資源進行管理。

用戶通過Node 2的RSD插件，調用Node 1的PODM，可以對Node 3和Node 4的物理資源進行Compose和Decompose。

3.2 測試資源

1)機柜環境。測試環境使用機房現有機柜，共占用機柜位8U，如表1所示。

表1 機柜設備功耗

2)IP網絡配置。對4個節點進行IP網絡配置，如表2所示。

表2 IP網絡配置

Node 1兩個網卡，網卡0配置IP地址為10.3.0.1，網卡1配置IP地址為10.1.98.9。

Node 2兩個網卡，網卡0配置IP地址為10.3.0.42，網卡1分配兩個IP地址，分別為10.1.99.10和10.1.99.100，在測試過程中，可以證明PODM能夠實現多租戶管理能力。

Node 3和Node 4用來存儲物理資源，不需要配置IP地址。Node 3和Node 4上安裝有PSME插件，能獲取Node 3和Node 4底層硬件資源信息，把資源信息進行相關的屬性抽象，并提供API接口來供Node 1調用。

圖2為純氧化鉬XRD標準圖譜及不同固液比制備樣品XRD譜圖。圖2曲線1∶6、1∶10、1∶15衍射峰相同，且與三氧化鉬曲線衍射峰相同，證明1∶6、1∶10、1∶15樣品中金屬鉬的賦存狀態為三氧化鉬。鉬精礦100 g，氧氣分壓1.20 MPa，溫度200 ℃，攪拌轉速500 r/min，保溫保壓時間為300 min，固液比在1∶6～1∶15，可以將鉬精礦轉化為三氧化鉬。

3)RSD網絡配置包括RSD管理網絡和數據網絡。

a)管理網路。

PODM Management Network

Non-VLAN

IP Subnet ID : 10.3.0.0/16

DHCP Server on PODM for Management Network

PODM default IP : 10.3.0.1/16

PSME IP: Dynamic IP from PODM DHCP Server

No DHCP Server (Customer need setup DHCP server for Data Network)

Support Multitenant Network

Partition Tenant Network VLAN by RSD VLAN or Compose API

4)節點功能。Node 1作為部署PODM插件的節點，Node 2作為部署OpenStack云平臺的節點，Node 3和Node 4作為被測試節點，如表3所示。

表3 服務器功能

5)應用及測試軟件，如表4所示。

表4 應用及測試軟件

3.3 測試結果及分析

本次測試，分為PODM管理測試、物理資源管理測試、裸機測試、裸機多品牌支持測試、監控測試、添加計算節點測試、添加Ceph存儲節點測試、移除計算節點測試、移除存儲節點測試、管理組件(容器)回滾測試、管理組件(容器)升級測試共11個大類21項測試用例。

根據預置條件設置環境參數按照測試步驟完成測試，查看每一個測試用例的實測結果與預期結果是否一致。

通過在測試環境下的功能測試以及云平臺和數據中心中的節點重構，裸機服務、云平臺節點縮容、擴容和云平臺的服務升級等業務功能均達到預期目標，實測結果與預期結果完全一致，成功率為100%。

其中，成功率 = 與預期結果一致的測試用例數/測試用例總數×100%。

本次測試在現階段已經驗證了邊緣數據中心物理資源RO構建方法在靈活動態硬件資源可擴展性方面的能力，利用邊緣數據中心物理資源RO構建方法可以更加高效地實現硬件資源調度，使數據中心的靈活性得以大幅提升。具體體現為以下兩點。

1)OpenStack云平臺可以按照給定的CPU、內存、硬盤大小參數，從資源池中過濾出最匹配的計算資源，并和存儲、網絡資源組合提供給使用者，而且它提供API接口，允許用戶對資源進行統一管理，還可以允許用戶按需從資源池申請或回收資源，極大降低了管理成本；2)打破服務器節點的概念，將計算、存儲、網絡等各類資源從緊耦合關系變成可以被軟件化的松耦合關系，實現了物理資源重構，最終將其進化為可根據業務負載匹配的硬件基礎架構。

4 結語

邊緣數據中心物理資源RO構建方法目前處于探索和驗證階段，在落地實施階段，會面臨與測試模型有差異的現象，如資源管理、與現有業務系統業務邏輯對接等問題。此外，要實現硬件資源池化，需要整個產業鏈在軟、硬件上的全面協作和充分優化，該方法在落地實施之前，需要集合產業鏈的力量，打造開放的標準。

基于邊緣數據中心物理資源RO構建方法構建的邊緣數據中心將有望在數據中心轉型中發揮重要作用，未來可以進一步推進硬件資源管理的自動化，減少人工干預，加速業務部署和創新。