KubeTelecom：一種面向5G網絡切片的多云多容器集群管理與運維引擎

武宇亭，王旭亮，全碩

KubeTelecom：一種面向5G網絡切片的多云多容器集群管理與運維引擎

武宇亭，王旭亮，全碩

（中國電信股份有限公司研究院，北京 102209）

面向運營商多種網絡云化應用的多云多容器集群管理與運維引擎，提出并詳細介紹了KubeTelecom的設計架構以及實現方案。從5G切片場景的承載需求入手，分析了KubeTelecom為上層應用平臺提供多容器集群管理與編排能力以及數據驅動的綜合運維能力。展望了未來電信云平臺通過集成KubeTelecom模塊，可以為多種云原生應用提供統一的資源管理和運維能力，為運營商的多種DICT業務生態發展提供堅實的技術支持。

多云多容器集群；云邊協同；5G網絡切片

1 引言

5G作為新一代移動通信技術，大量引入了云原生的理念及技術，使能新型網絡業務具備彈性、靈活性、敏捷性和快速迭代等傳統云計算業務的特點。雖然當前5G建設中，主流電信設備提供商已經基于容器、微服務等先進技術實現了核心網元的部署。但是，以容器為代表的云原生技術在5G中的應用還存在諸多問題。第一，當前電信設備商基于容器安全性的考慮，當前大多采用虛擬機容器方式進行網元承載與部署，設備商的5G設備當前仍以虛擬機的形式對外呈現并交付給運營商，未對運營商提供完全開放容器相關的開發、管理接口，要將云原生技術應用到網絡業務的設計與開發、承載與編排、部署與運維等全生命周期中，還有很長的路要走。第二，云原生網元部署對基礎設施提出了更高的技術要求，國內運營商對于與云原生基礎設施相關技術的研究還處于起步與驗證階段，缺乏有效管理、使用、運維、運營多DC（datacenter）、多容器集群的相關能力。因此，本文以5G網絡切片應用的需求為出發點，提出了一種在邊緣云和核心云之間通過多容器集群管理與運維引擎，解決5G網絡切片業務的云資源橫跨多個云資源池時，帶來網絡切片功能所需的云原生資源管理、編排與運維等問題。

1.1 5G網絡切片的云化部署與運維需求

5G網絡功能采用虛擬化的部署方案，根據歐洲電信標準協會（ETSI）的網絡功能虛擬化（network function virtualization，NFV）工作組發布的NFV白皮書[1]以及面向5G的NFV技術白皮書[2]中的介紹，5G網元相比于傳統網元設備，在設備形態上主要是采用容器虛擬化技術部署在通用IT服務器之上。同時5G切片服務主要依賴于ETSI NFV提出的NFV MANO（management and orchestration）編排系統實現5G網絡服務的調度與編排。NFV MANO系統中關于5G網絡切片迫切需要跨云資源池云原生資源的編排管理主要依賴于虛擬基礎設施管理器（virtualization infrastructure manager，VIM）實現。VIM在傳統的物理機和虛擬機編排框架之上通過文獻[3]中的定義的CISM（container infrastructure service management）模塊負責容器服務的部署、監控運維以及生命周期管理，業界多數人認為當前開源的Kubernetes容器管理系統實現了CISM中定義的大部分工作。通過在VIM中集成和擴展對CISM定義的工作的支持，運營商的電信云可以實現對5G切片業務所須容器服務的承載。

經過深度調研與分析，發現上述方案只存在理論上的可行性，距離生產系統還有較大的差距。一個面向5G網絡切片業務的電信云承載平臺通常需要考慮多租戶管理、多業務之間的隔離性、租戶運維策略獨立性、業務部署的可用性、高并發、云資源的容災與備份、容器集群的跨云資源池的分布式部署等核心要素。直接在電信云的MANO管理系統中集成Kubernetes容器集群的方式顯然是無法滿足上述需求的。

1.2 面向電信業務的云管平臺

運營商通過云管平臺可以實現電信級VNF的云化部署。該平臺不僅重點實現了ETSI NFV MANO中VIM模塊定義的核心功能，還根據電信云特點實現了多級的監控與告警系統以及級聯部署等重要功能。根據電信云的需求與特點，以省為單位的VIM共包含兩個層級，分別為省級節點與邊緣節點。在省級節點部署管理邊緣節點內多個OpenStack的業務網關，該網關實現了對省內多個邊緣節點云資源的管理與調度。在邊緣節點按需部署一個或多個OpenStack集群，每個集群向上層業務系統提供物理機、虛擬機以及容器集群服務。但是當前云管系統只能提供管理與運維多個獨立的Kubernetes集群的能力，5G切片依賴端到端資源聯動，在采用Kubernetes承載時，需要多Kubernetes集群實現統一管理與協同。因此，云管系統目前無法滿足5G切片的云化承載需求。解決該問題，可以從如下兩個方面考慮：一方面由5G切片業務系統本身實現對多個Kubernetes集群的管理與運維另一方面在云管平臺內擴展實現對多個Kubernetes集群的管理與運維能力，然后向5G切片業務系統提供整體的多容器集群管理與運維服務。

1.3 多云多容器集群管理與運維引擎

從云計算資源集約化管理與運營以及對多種業務統一承載的角度，本文提出KubeTelecom，即一種在當前統一云管平臺上擴展實現多云多容器集群管理與運維方案，以滿足5G切片業務的云化部署與運維需求的方案及原型系統。

基于云管平臺的多容器集群管理與運維引擎總體視圖如圖1所示，多容器集群管理與運維引擎與現有云管系統集成部署在省級節點。通過與云管平臺省級網關交互，調用邊緣節點中的物理機與虛擬機資源，為5G切片業務系統按須創建多個統一管理和運維的Kubernetes容器集群，滿足5G切片業務跨集群的高可用、高并發、備份與容災以及云邊協同部署與運維要求。具體來講，為每個5G網絡切片租戶提供集群組（cluster group）級別的云資源切片。在該邏輯資源切片中可以根據每個租戶的需求，實現多個Kubernetes集群的動態生命周期管理功能；此外為了滿足每個5G網絡切片租戶獨立的監控與運維策略管理，KubeTelecom還設計并實現了租戶級別的監控、日志以及私有鏡像倉庫功能，為租戶提供最大程度的業務部署與運營的靈活性和獨立性。

2 相關研究

5G網絡切片技術可以使運營商在硬件基礎設施中為每個客戶按需切分出多個邏輯隔離的網絡切片服務。圍繞著5G網絡切片業務，大量的研究人員作了很多領域的相關工作。

圖1 基于云管平臺的多容器集群管理與運維引擎總體視圖

現有文獻主要對網絡切片部署問題進行分析，如文獻[4]主要針對互聯網或EPC（evolved packet core）等網絡場景及架構，結合不同的優化目標對切片中的VNF部署策略優化，如采用節點分割算法及業務流量感知算法對vEPC（virtualized evolved packed core）網絡池組虛擬網絡功能部署，提高網絡接收率、降低網絡資源開銷。文獻[5]主要針對核心網網元形成的服務功能鏈進行網絡拓撲優化以及網元功能部署。文獻[6]指出為了提高物理資源利用率，運營商通常將不同網絡切片實例（network slice instance，NSI）的虛擬網絡功能部署在相同的服務器上，并采用資源復用技術實現資源的超額分配。上述文獻對網絡切片部署的研究主要集中在VNF部署策略優化或提高資源利用率、降低能源消耗方面，未對5G切片業務應用部署及運維管理進行改進。

在現有5G網絡部署方案中，邊緣計算是網絡切片技術的重要支撐。文獻[7]指出網絡切片和邊緣計算融合部署方案的優勢，方案中網絡切片可通過將網絡實體劃分成多個邏輯獨立網絡、為不同業務場景提供所需服務；而邊緣計算可利用網絡中用戶和邊緣網絡設備的計算和存儲功能，承載部分核心節點中的控制、管理、業務功能，能夠提升傳統移動寬帶業務能力和應對新興的機器類通信業務。通常基于邊緣計算的網絡切片部署方案，會在靠近移動用戶的位置上提供信息技術服務和云計算能力，將內容分發推送到靠近用戶側，而應用、服務和內容都部署在高度分布的環境中，能使得運營商根據第三方需求及網絡情況以低成本為用戶提供個性化網絡服務。

5G網絡切片在多數情況下除了無線網絡和回傳網絡之外，更需要考慮在邊緣UPF和5G核心網元部分邏輯切片的動態管理問題。文獻[8]中提到多云平臺統一運營的關鍵技術包括多云平臺的統一納管、多云平臺的統一監控、多云平臺的統一分析3個方面。但是成熟的5G網絡切片服務更加關注多云平臺（核心云與邊緣云）向每個租戶提供云邊協同的多容器集群生命周期管理和運維平臺服務，具體表現在面對多云多容器集群時，需要對其進行統一納管、監控、分析等，實現對各類資源的統一管理運營，獲得多云多容器環境的控制權。

基于上述研究分析，本論文重點關注5G網絡切片在核心網以及在邊緣節點部署的用戶面網元（UPF）的云化承載與運維技術方案，具體包括面向5G網絡切片的多云多容器集群管理與運維引擎，該引擎主要面向5G網絡切片場景，實現多云多容器集群的統一納管、運營分析，滿足5G切片業務的云化部署與運維需求。

3 系統設計與實現

通過在運營商云管平臺的基礎之上增加針對多租戶的多容器集群的生命周期管理引擎設計與實現方案使運營商云管平臺可以為5G網絡切片業務提供所需要的多容器集群的管理與運維能力。以5G網絡切片應用為例，最終實現在云管平臺為上層各類應用提供綜合的云資源統一承載與管理運維能力，主要從多容器集群的管理引擎和運維引擎兩個角度分析。

3.1 多容器集群管理引擎

支持多容器集群的電信云整體方案架構如圖2所示。在原有的電信云管及OpenStack資源池基礎之上引入容器集群及應用管理模塊①，該模塊的核心是多容器集群管理引擎。通過該模塊，在當前基于NFV的運營商云管架構中，增加對于容器資源②的支持，基于容器技術可以實現網元設備軟硬件功能的解耦，從而實現對接入網和核心網中網絡資源細粒度劃分[9]，進而滿足對5G網絡中端到端切片靈活構建的需求[10]。多容器集群管理引擎提供完整的API管理能力，運營商云管可以通過調用這些API實現容器集群的生命周期以及容器化網絡切片應用的編排調度能力。

多容器集群管理引擎創建的容器集群以及承載的容器化網絡切片運行在傳統的虛擬化資源池上，為了達到上述目的，多容器集群管理引擎應該具備和基礎設施資源對接的能力，從而創建出承載5G端到端網絡切片容器集群的計算、存儲、網絡等虛擬資源。

多容器集群管理平臺的核心是多容器集群管理與運維引擎，基于多容器集群的5G網絡切片端到端承載示意圖如圖3所示，端到端的5G網絡切片主要依賴電信接入網和核心網，也就是說需要邊緣接入機房和核心機房承載。通過多容器集群管理引擎，可以在當前承載5G的邊緣接入機房、核心機房的基礎設施之上實現Kubernetes容器集群生命周期的管理能力，從而為5G端到端的不同網絡切片（如圖3中切片1、切片2、切片3所示）的容器化承載提供基礎環境。通過運維引擎，提供了集群本身及容器化應用的可視化能力，為集群及應用的可靠運行提供了有力保障。

3.1.1 多容器集群引擎整體架構

多容器集群管理引擎主要功能架構如圖4所示，其整體分為3個部分。首先，基礎設施對接模塊①主要提供與電信接入邊緣機房的基礎設施、電信核心機房基礎設施的交互能力，從而為創建容器集群準備好所需的計算、存儲、網絡等基礎設施資源；其次，集群定義模塊②主要實現集群所用虛擬機鏡像、規格、Master節點數量、Worker節點數量等的定義；最后，集群引導模塊③主要用于Kubernetes集群的創建等生命周期管理能力。各模塊均提供對應的API，通過這些API可以實現集群的創建、配置和管理。

圖2 支持多容器集群的電信云整體方案架構

圖3 基于多容器集群的5G網絡切片端到端承載示意圖

3.1.2 基礎設施對接

端到端5G網絡切片是一種跨域的技術方案，需要在電信統一的邊緣接入機房、傳輸網、電信核心機房的基礎設施上容器化多個網絡功能，進而實現端到端的網絡形態。因此，多容器集群管理引擎的基礎設施對接模塊，如圖4中的①所示，需要和接入網邊緣機房以及核心網核心機房的基礎設施對接，為容器化網絡功能的承載提供所需要的資源。不同的基礎設施管理軟件提供了不同的API，為了保證和基礎設施對接的開放性和兼容性，基礎設施對接模塊通過驅動方式和不同的基礎設施進行對接。在運營商網絡中，基礎設施主要是通過開源云計算套件OpenStack實現，因此需要通過Cloud-Provider-OpenStack驅動實現和OpenStack資源池的對接。需要注意的是，電信不同機房部署的OpenStack版本不一致導致API存在不一致的情形，需要針對每個版本的API分別提供對應的Cloud-Provider-OpenStack驅動插件。

圖4 多容器集群管理引擎主要功能架構

通過Cloud-Provider-OpenStack保證了和不同基礎設施管理面API交互的能力，但不同的基礎設施通常具有不同租戶、認證、訪問端點、網絡等信息，因此還需要用戶根據所選的驅動插件指明其所需的Cloud-Config配置信息。Cloud-Provider-OpenStack和Cloud-Config共同保證的多容器集群引擎可以按需調用基礎設施API創建所需要的資源。

3.1.3 集群定義

基礎設施對接模塊保證了承載Kubernetes集群所需要的基礎設施資源的對接調用能力，此外還需要集群定義模塊，如圖4中的②所示，該模塊的主要職責是明確要創建的Kubernetes容器集群的具體信息。首先，Kubernetes集群由一組基礎設施提供的虛擬機或者裸機組成，按角色可以分為Master節點、Worker節點以及只有受限資源的Edge節點，其中Edge節點為可選節點，主要通過業界開源的KubeEdge方案實現該節點上容器化應用的編排能力。因此集群定義模塊首先需要定義創建的這些角色虛擬機或者裸機的鏡像以及規格信息。通常不同的Kubernetes版本對應不同的鏡像，Kubernetes的Master節點、Worker節點、Edge節點可以分別指定不同的規格。其次，需要指明Kubernetes的Master節點的部署模式。例如，是單Master節點部署還是通過多個Master節點提供高可用的Kubernetes集群管理面。最后，還需要明確定義集群的規模，主要是定義Worker節點的數量與規模。用戶通過調用集群定義模塊的API完成以上集群信息的聲明，集群定模塊根據用戶的聲明并且調用基礎設施對接模塊，即可創建出承載容器集群所需要的所有云資源。

3.1.4 集群引導

在完成基礎設施對接以及Kubernetes容器集群定義后，需要集群引導模塊，其功能如圖5所示，該模塊主要是提供多個容器集群的生命周期管理能力。集群引導模塊是創建Kubernetes集群的核心工作引擎，其主要職責包括以下3點。

· 為每個集群生成集群認證信息及配置文件，確保創建集群訪問的安全性。

· 初始化集群的控制平面，也就是根據用戶的集群定義完成集群組件部署。

· 將部署好的Master節點和Worker節點組合成為完整的Kubernetes集群。

圖5 集群引導模塊功能

對于資源受限的邊緣節點的管理以及其上應用的分發，主要采用開源的KubeEdge方案。因此，對于包含Edge節點的Kubernetes集群，需要完成Kubernetes集群部署，再引導KubeEdge插件安裝Edge節點組件并加入上述集群中，從而形成具有云邊協同能力的Kubernetes集群。

3.2 多容器集群運維引擎

5G網絡切片提供特定的網絡能力，滿足不同的業務場景需求，使得網絡的規模和復雜程度遠超以往[11]；5G網絡切片的云化承載，相較于傳統專有硬件設備的網絡運維，在異常檢測、故障根因分析、性能優化等問題上變得更加復雜，此外云資源、虛擬網元和網管3個層面的分層告警降噪與快速收斂以及多層之間的故障關聯進一步加劇網絡運維工作難度。本文主要針對5G網絡切片業務所需云資源側的多云多容器集群，通過對基礎設施云以及多容器集群資源的監控告警等數據進行采集，并利用數據科學、人工智能等技術對這些數據進行處理及分析，輔助多容器管理集群對5G網絡切片整個生命周期的管理，實現效率提升、質量保障和成本優化的目標。

3.2.1 多容器集群運維引擎整體架構

多容器集群運維引擎整體架構方案如圖6所示，其整體分為3個部分。首先是數據采集與存儲模塊，主要實現從裸機、虛擬機、容器資源中采集存儲指標、告警、日志、事件等數據，以及對外提供查詢、檢索能力。其次是數據處理模塊，根據不同的運維場景對采集的基礎數據進行清洗、歸類、聚合，構建全面、標準、精細、統一的數據模型。最后是數據分析模塊，使用機器學習、人工智能的方法，在異常檢測、根因分析、趨勢預測等場景中代替人工進行決策，提升運維效率。

3.2.2 數據采集與存儲

數據采集與存儲模塊需要滿足大規模集群下裸機、虛擬機、容器運維數據的采集、存儲與檢索任務。采集數據的主要類型分為監控數據和日志數據兩類。數據采集與存儲架構基于開源社區的主流解決方案設計。監控數據的采集與存儲架構如圖7所示，通過搭建指標及報警監控解決方案Prometheus集群對多容器集群運維數據進行采集；使用具有長期存儲的高可用Prometheus解決方案Thanos提供的Query和Object Storage組件進行統一的查詢、存儲；使用控制中心組件完成整個采集過程的控制及管理，包括配置Prometheus集群的采集對象、提供數據監控視圖、基于監控指標的基礎告警等。日志數據的采集與存儲架構如圖8所示，使用輕量級數據采集器Filebeat以邊車方式采集日志文件，通過分布式消息系統Kafka組件匯總日志數據，數據處理管道Logstash組件將數據轉發到分布式搜索及分析引擎ElasticSearch集群中；使用數據采集系統Fluentd組件采集標準日志輸出流到ElasticSearch集群中；構建ElasticSearch集群統一實現日志的持久化存儲及檢索。

圖6 多容器集群運維引擎整體架構方案

圖7 監控數據的采集與存儲架構

圖8 日志數據的采集與存儲架構

3.2.3 數據處理

數據處理模塊是對多源數據進行統一的數據治理，為人工決策、智能運維提供堅實的數據基礎。該模塊主要包括數據清洗、數據歸類存儲、數據建模等部分[12]。數據清洗以數據去重、噪聲數據識別、缺失值處理為主，構建高質量數據。數據歸類存儲實現多維度監控數據的統一化[13]，以CPU的使用率為例，數據采集與存儲模塊可以收集到一臺裸機及之上運行的虛擬機和容器3個維度的CPU使用率數據，它們之間是無關聯的，如果不進行數據歸類，無法反映數據間的相關性，數據歸類存儲示意圖如圖9所示，可以進行統一化描述，更好地解決故障診斷及性能優化。數據建模根據具體的運維場景對數據進行建模，以根因分析為例，端到端的5G網絡切片業務會經過多個容器集群，數據建模示例如圖10所示，將每個容器集群的運維數據聚合匯總起來，構建一條完整的調用連，可以更好地解決根因分析、性能瓶頸等問題。

圖9 數據歸類存儲示意圖

圖10 數據建模示例

3.2.4 數據分析

數據分析模塊主要應用于多云多容器集群的效率提升、質量保證、成本管理等場景[14]，通過智能決策、異常檢測、故障預測、資源優化等技術[15]，提升多容器集群的運行質量、減少運營成本。數據分析模塊分為計算分析組件和算法研發組件，數據分析模塊架構示意圖如圖11所示。其中計算、分析組件包括離線計算和在線計算兩部分，主要為數據分析模塊提供計算能力，可以對歷史數據進行離線分析處理，對實時數據進行在線分析處理。算法研發平臺分為標記平臺、訓練平臺、評估驗證平臺、算法開發框架等部分，主要為數據分析模塊提供算法能力，可以滿足不同場景下的算法需求。

圖11 數據分析模塊架構示意圖

4 關鍵技術討論

4.1 面向云邊協同的監控和日志方案

面向云邊協同監控和日志方案的重點是解決邊緣節點的數據采集問題，邊緣節點的網絡和資源受限是邊緣側數據采集的主要挑戰。在第3.2節的方案中，Promethues部署在遠端，對Worker節點的監控數據采集是通過云端節點對外暴露Metrics接口，Prometheus直接請求云端節點的Metrcis接口實現的；云端節點的日志數據采集是通過直接部署日志采集組件Fluend，由Fluend上報給ElasticSearch集群實現的。但是，在邊緣環境中，邊節點通常以有限的計算資源運行在私有網段，不提供公網IP地址，云端組件無法直連。因此，Promethues對邊節點無法按照云端方式直接采集監控數據。邊節點也因為計算資源受限，不適宜直接部署Fluentd這樣高資源消耗的組件采集日志數據。

本節將基于KubeEdge給出邊緣節點監控和日志數據的采集方案，方案架構如圖12所示。其中，API服務是Kubernetes原生組件；Cloud Core是KubeEdge的云端組件，負責邊緣節點管理，如上報邊緣節點信息；Edge Core是KubeEdge的邊緣組件，運行在邊緣節點，負責管理邊緣容器，如容器的監控信息和日志信息獲取，并分別通過監控接口和日志接口對外提供訪問。Cloud Core和Edge Core基于Websocket建立消息隧道實現云邊通信，并且已默認實現了監控消息隧道和日志消息隧道用于傳遞Edge Core獲取的容器監控信息和日志信息。基于KubeEdge的現有模塊，本文邊緣節點數據采集方案和實現步驟如下。

圖12 邊緣節點監控與日志數據采集架構

4.2 面向跨域的多容器集群及應用的統一管理

如前文所述，5G網絡切片是一種端到端的網絡解決方案，其實現依賴電信接入、核心等多個機房的跨域網絡環境。要實現端到端5G網絡切片的靈活管理，除了通過多容器管理與運維引擎提供5G網絡切片的多容器集群承載環境，同時還需要跨域的多集群統一管理以及應用的統一編排與部署能力。

第一，通過跨域的多集群統一管理可以實現對電信接入、核心等多個機房中容器集群的統一管理能力。容器集群及基于集群聯邦CRD的應用管理模塊，除了實現容器集群生命周期的管理能力以及對全局集群的統一監控能力，還提供了多集群的統一管理能力。

多集群統一管理，一方面提供了多集群統一的訪問入口，基于此入口可以提供多集群一致的訪問與管理視圖，簡化管理員多集群的管理復雜度；另一方面可以實現全局的賬號與權限管理，從而提供面向CT場景的多租戶能力。除此以外，多集群統一管理還提供項目管理機制，具有相應權限的管理員或者普通用戶，可以在對應集群上創建項目，并在對應項目中創建容器化工作負載、微服務、面向CT的DevOps等應用。

第二，跨域應用的統一管理。網絡切片端到端形態特點，要求實現跨域容器化應用的統一管理能力。基于容器多集群以及Federation V2聯邦技術，可以實現全局的應用統一編排、部署、運維能力，從而滿足網絡切片的部署需求。

通過Federation V2組建的聯邦集群組成示意圖如圖13所示，有一個集群是Host集群，其余集群是Member集群，在Host集群中，通過Kubernetes提供的CRD機制實現聯邦資源的擴展，這些聯邦資源由對應的控制器管理，實現跨集群的應用編排、資源同步等功能。用戶基于擴展CRD提供的API即可實現聯邦資源的創建。

圖13 聯邦集群組成示意圖

5 結束語

本論文通過對5G網絡切片場景云化承載需求的分析，對于以容器及多容器集群等云原生技術在電信行業的應用進行了積極的探索，通過自主設計與研發具備云邊協同、多租戶隔離、多容器集群高可用部署、敏捷管理與運維的KubeTelecom，滿足了5G切片云化承載的核心需求，使得云管平臺初步具備了對以5G網絡切片為例的云原生應用系統的統一云化承載與運維的系統原型能力。未來將重點驗證KubeTelecom引擎與統一云管平臺的系統集成工作。同時以5G網絡切片業務為抓手，在具體的現網試點工作中逐步提高KubeTelecom與統一云管平臺的適配性和相關功能模塊的延伸研發工作。根據現網試驗結果，不斷總結和完善KubeTelecom，使其逐步具備承載大規模商用的云原生業務系統的穩定性與可靠性。

[1] ETSI NFV ISG. Network functions virtualization-introduction white paper[R]. 2012.

[2] ETSI NFV ISG. Network functions virtualization white paper on NFV priorities for 5G[R]. 2017.

[3] ETSI NFV ISG. Report on the enhancement of the NFV architecture towards “Cloud-native” and “PaaS”[R]. 2019.

[4] 湯紅波, 袁泉, 盧干強, 等. 一種支持節點分割的vEPC虛擬網絡功能部署模型[J]. 電子與信息學報, 2017, 39(3): 546-553.

TANG H B, YUAN Q, LU G Q, et al. A model for virtualized network function deployment based on node-splitting in vEPC[J]. Journal of Electronics & Information Technology, 2017, 39(3): 546-553.

[5] 王琛, 湯紅波, 游偉, 等. 一種基于動態規劃的vEPC服務功能鏈部署方法[J]. 計算機應用研究, 2018, 35(7): 2106-2109.

WANG C, TANG H B, YOU W, et al. Method for service function chaining deployment based on dynamic programming in vEPC[J]. Application Research of Computers, 2018, 35(7): 2106-2109.

[6] 黃開枝, 潘啟潤, 袁泉, 等. 基于性能感知的網絡切片部署方法[J]. 通信學報, 2019, 40(8): 114-122.

HUANG K Z, PAN Q R, YUAN Q, et al. Method of network slicing deployment based on performance-aware[J]. Journal on Communications, 2019, 40(8): 114-122.

[7] 劉健. 5G邊緣計算和網絡切片技術[J]. 電子技術與軟件工程, 2019(12): 1.

LIU J. 5g edge computing and network slicing technology[J]. Electronic Technology & Software Engineering, 2019(12): 1.

[8] 黎宇. 多云平臺的統一運營及關鍵技術研究[J]. 信息通信, 2019, 32(6): 232-233.

LI Y. Research on unified operation and key technologies of multi cloud platform[J]. Information & Communications, 2019, 32(6): 232-233.

[9] COTRONEO D, DE SIMONE L, NATELLA R. NFV-bench: a dependability benchmark for network function virtualization systems[J]. IEEE Transactions on Network and Service Management, 2017, 14(4): 934-948.

[10] 安琪, 劉艷萍, 孫茜, 等. 基于SDN與NFV的網絡切片架構[J]. 電信科學, 2016, 32(11): 119-126.

AN Q, LIU Y P, SUN Q, et al. Network slicing architecture based on SDN and NFV[J]. Telecommunications Science, 2016, 32(11): 119-126.

[11] 張巍. 5G核心網切片運維管理關鍵技術研究[J]. 數字通信世界, 2020(3): 39, 68.

ZHANG W. Research on key technologies of 5G core network slice operation and maintenance management[J]. Digital Communication World, 2020(3): 39, 68.

[12] 李杰. IT運維監控系統的設計與實現[D]. 成都: 電子科技大學, 2020.

LI J. Design and realization of the network maintenance and monitoring system[D]. Chengdu: University of Electronic Science and Technology of China, 2020.

[13] 冷喜武, 李平, 霍雪松, 等. 智能電網監控運行大數據分析系統統一建模方法研究[J]. 電力大數據, 2019, 22(7): 48-54.

LENG X W, LI P, HUO X S, et al. Research on unified modeling method of big data analysis system for monitoring operation of smartpower grid[J]. Power Systems and Big Data, 2019, 22(7): 48-54.

[14] 肖哲. 人工智能在5G網絡中的應用[J]. 中國電子科學研究院學報, 2020, 15(8): 746-749.

XIAO Z. Application of artificial intelligence in 5G Network[J]. Journal of China Academy of Electronics and Information Technology, 2020, 15(8): 746-749.

[15] 林舒剛. 5G網絡智能運維研究[J]. 廣東通信技術, 2020, 40(3): 32-35.

LIN S G. Research on intelligent operation and maintenance of 5G network[J]. Guangdong Communication Technology, 2020, 40(3): 32-35.

KubeTelecom: a multi-cloud multi-container cluster management and operation engine for 5G network slicing

WU Yuting, WANG Xuliang, QUAN Shuo

Research Institute of China Telecom Co., Ltd., Beijing 102209, China

KubeTelecom design architecture and implementation were proposed and introduced in detail, which was for multi-cloud multi-container cluster management and operation and maintenance engine operators’ multiple network cloud applications. Based on the bearer requirements of the 5G slicing scenario, KubeTelecom provided the upper-layer application platform with multi-container cluster management and orchestration capabilities and data-driven comprehensive operation and maintenance capabilities were analyzed in detail. The future telecom cloud platform integrates the KubeTelecom module to provide unified resource management and operation and maintenance capabilities for multiple cloud-native applications, and provide solid technical support for the development of operators’ multiple DICT business ecosystems.

multi-cloud multi-container cluster, cloud edge collaboration, 5G network slice

TP393

A

10.11959/j.issn.1000?0801.2021276

2021?10?20；

2021?12?10

武宇亭（1986?），男，中國電信股份有限公司研究院工程師，主要研究方向為云網融合、邊緣計算、分布式存儲。

王旭亮（1986?），男，中國電信股份有限公司研究院高級工程師，主要研究方向為云網融合、云數據中心網絡和邊緣計算等。

全碩（1991?），男，中國電信股份有限公司研究院工程師，主要研究方向為云網融合、云計算與大數據和云網運營等。