網絡云原生PaaS平臺架構研究

陳 杲 楊文強 黃 蓉 楊文聰

中國聯通研究院 北京 100048

引言

隨著5G規模商用，5G to B領域已經成為電信運營商的商業新藍海，5G to B面臨靈活多樣化的垂直業務場景，行業數字化對網絡的差異化服務能力、業務靈活性和快速上線能力以及敏捷運營等方面提出了更高要求。同時，電信運營商正在積極推進以云化為特征的網絡轉型，目標是借鑒IT領域的設計理念和優秀實踐，構建全面云化的網絡以迎接5G等新業務帶來的挑戰。云原生作為云計算領域最新成果，在IT領域獲得了持續應用和廣泛認同，將云原生技術應用于電信網絡已成為網絡云化的關鍵方向和研究重點，例如網絡云原生將云原生理念與技術體系應用于通信網絡中，其應用包括核心網和邊緣云，也包括運營運維等支撐系統[1]。本文結合5G業務需求和網絡功能要求對云原生PaaS平臺架構進行了分析，對統一邊緣云的云原生PaaS平臺架構設計進行了探索。

1 云原生PaaS

隨著容器(Docker)、 容器編排調度器(Kubernetes)、微服務(Microservice)、服務網格(Service Mesh)、聲明式API和不可變基礎設施為代表的云原生技術、理念的推廣使用，Kubernetes已經成為容器編排的事實標準，越來越多的IT上層系統開始采用Kubernetes本身已經具備的能力或功能來實現，包括CI/CD、PaaS和Serverless等，下文將對PaaS平臺實現架構和網絡云原生PaaS進行詳細說明。

1.1 云原生PaaS實現架構

PaaS 平臺可以利用Kubernetes 原 生HPA(Horizontal Pod Autoscaler)來實現應用自動彈性伸縮，利用Service Catalog來集成基礎軟件服務(包括MySQL、Redis和Kafka等)。目前云原生PaaS平臺在IT領域獲得廣泛采納，例如IBM和Redhat推出的OpenShift平臺，不僅屏蔽了微服務通信層以下的全部基礎設施，可以幫助企業進行應用架構重構、容器落地和服務治理，還提供從業務開發、集成到部署和運維的全流程以服務于企業應用，促進業務創新[2]。

參考OpenShift的定義，云原生PaaS平臺是指以容器技術和Kubernetes為核心，集成了微服務集群管理工具及實現CI/CD的DevOps工具鏈，提供多語言運行環境、中間件和數據庫等服務目錄，支持服務網格，并滿足云原生應用運行環境的PaaS平臺，其架構如圖1所示[2]。

圖1 云原生PaaS平臺參考實現架構

基于Kubernetes來構建PaaS平臺并不是簡單地將其遷移或集成到Kubernetes上，關鍵是如何利用云原生能力來構建和增強PaaS服務，例如阿里云就提出不僅需要將現有的PaaS平臺接入Kubernetes底盤，讓研發和運維充分享受云原生技術革新帶來的生產力提升，還需要能夠發揮Kubernetes技術能力和生態價值[3]。電信運營商也在積極思考如何通過云原生方式，將第三方能力集成到云平臺并開放給用戶，包括5G網絡能力和垂直行業專屬能力，并借助云原生技術實現5G生態的快速集成。

1.2 網絡云原生PaaS進展

云原生PaaS層通過構筑統一的能力平臺，能夠向上為上層應用提供標準、開放且易于擴展的技術服務，向下與虛擬機、容器等資源管理平臺對接，為應用部署和資源調度提供統一的管理平臺。PaaS平臺作為云原生架構中的關鍵技術層，在未來5G生態中變得至關重要，必將得到充分應用和發展[4]。

針對網絡云原生技術和PaaS平臺研究，電信行業在標準領域以及應用領域都展開了積極的探索和實踐。在國際標準化領域，ETSI NFV ISG 029于2019年10月底發布了面向云原生容器和PaaS的增強NFV架構研究報告(IFA029)，包括NFV架構演進策略以及NFV MANO參考架構中引入容器管理編排的研究，為標準化框架選型提供參考依據。在國內標準化領域，由運營商牽頭制定的電信云原生平臺架構與技術要求、電信云原生PaaS平臺架構技術標準等在CCSA完成立項，并啟動標準預研工作。在實踐應用領域，2020年5月由中國移動在Linux基金會牽頭成立開源項目XGVela，聯合產業界及開源社區力量，共同探索并構建電信網絡云原生PaaS平臺開源參考實現。由OPNFV和CNTT合并成立的Anuket項目于2021年1月27日啟動，通過創建和開發參考云基礎架構模型、一致性程序和工具來增強和完善NFVI行業規范，以更快、更可靠、更安全地提供網絡服務[5]。

當前網絡云原生PaaS研究聚焦于PaaS層框架制定和模型定義，5G網絡PaaS平臺的構建，需要基于5G商業應用目標，結合5G核心網、邊緣云等的具體的部署場景，明確PaaS層在網絡中的定位，分析網絡通用能力沉淀至PaaS層的方案，探索對業務和服務進行高效編排的方案。

2 PaaS架構分析

IT云原生PaaS架構的定義和網絡云原生的研究進展，為電信運營商網絡云原生PaaS平臺提供了兩種思路：一是采用網絡云的基礎設施(NFVI)來統一承載；二是基于邊緣計算平臺，采用獨立的基礎設施，而不是基于統一的NFVI。以下分別從網絡云和邊緣云角度對PaaS平臺架構進行分析。

2.1 網絡云PaaS架構

電信網絡云化以NFV為技術框架進行演進，網絡的PaaS平臺架構可基于NFVI進行構筑。從業務功能看，主要承載如5G Core、4G EPC、IMS等網絡功能，考慮到5G面臨的業務不確定性要求，除網絡功能外，網絡還需要支持應用定制的業務創新能力。從部署的位置看，除了集中部署外，網絡功能還可下沉到邊緣側，并與邊緣應用對接，比如針對垂直行業的5G專網場景，核心網網元可部署到行業用戶本地。

網絡PaaS平臺層的功能，既需要基于業務網元的功能考慮，還需要結合5G業務場景的高度靈活性，為上層應用的開放、創新提供一個統一集約的支撐平臺。網絡的PaaS平臺層的功能架構，可以包括兩個層面，如圖2所示[6]。

圖2 基于NFVI的PaaS平臺架構

其中通用PaaS功能層，關注PaaS層的基本功能要求，以K8S為基礎，基于CNCF定義的PaaS層功能實現，提供運行應用及其相關服務的環境；電信PaaS功能層，基于核心網絡功能和業務需求，將網絡業務層通用能力提煉成特色的電信PaaS能力，使能上層基于業務需求的靈活定制和編排，同時考慮通用PaaS電信適配層需求，實現通用PaaS組件的調整和增強，滿足電信業務的需求。

2.2 邊緣計算PaaS架構

電信運營商的邊緣計算系統包括了邊緣IaaS層、PaaS層和各種邊緣應用，其中邊緣IaaS層提供了云化環境和計算機、邊緣網絡等基礎設施，邊緣PaaS層提供邊緣計算服務框架、運行環境API和應用管理，根據用戶需求提供標準化的邊緣網絡服務和IT增值服務。

云原生邊緣計算指的是基于云原生邊緣計算平臺打造云邊一體的云原生邊緣基礎設施和云原生邊緣PaaS平臺。與傳統IT廠商不同，電信運營商在采用云原生技術構建PaaS平臺需要考慮如何發揮移動通信網絡優勢，將網絡能力開放給第三方使用。例如5G網絡需要開放的網絡能力不僅包括傳統的核心網能力，還包括無線接入網和傳輸網能力，其中無線網絡能力包括無線網絡信息服務(Radio Network Information Services，RNIS)、基于位置服務(Location Based Service，LBS)、帶寬管理服務等[7]，如圖3所示。

圖3 電信運營商邊緣PaaS需要支持NaaS

電信運營商和云服務商都積極采用云原生技術進行邊緣側PaaS平臺建設，希望通過統一API接口將服務能力開放到應用側，提升邊緣應用落地能力[8]。中國聯通參加了各種相關的開源項目進行5G網絡能力開放的實踐，例如在Linux Foundation Edge Akraino的PCEI(Public Cloud Edge Interface)項目(Blueprint)中開展邊緣計算平臺的多云連接能力接口實現(AWS、阿里云和騰訊云等)和邊緣PaaS的實現模式研究。PCEI項目的研究重點是基于云原生PaaS平臺如何合理劃分融合電信網絡能力和通用能力，如何提升獲取網絡能力的便利性和快捷性，如何實現邊緣節點間互聯來提高API的響應速度和可用性等[7]。如圖4所示，邊緣使能層(Edge Enabler)通過封裝P1接口和ETSI MEC定義的RNIS、LBS、本地流量分流(Local Break-Out，LBO)等接口形成電信運營商邊緣接口P2(Telco Edge APIs)。P1接口(3GPP Interfaces)表示3GPP定義的網絡接口。

圖4 邊緣使能層(PaaS)架構示意圖

由于現有的P2接口都是從CT的角度對網絡能力API進行封裝，從而導致IT開發者需要掌握一定的無線接入網絡知識才能進行網絡能力API的調用。為了解決這個問題，PCEI提出在邊緣PaaS平臺之上增加應用使能層(Application Enabler)，對P2接口再次封裝，打造應用友好的P3接口(End User Application APIs)，從而實現網絡能力面向應用程序員的友好開放，推動邊緣PaaS平臺向邊緣場景服務發展。

3 基于統一邊緣云的PaaS架構

統一邊緣云提供跨電信運營商的統一邊緣云服務，采用統一通用的API接口，支持應用的跨電信運營商統一部署交付、運維和管控。統一邊緣云本質上是打造統一的邊緣云基礎設施資源，首先需要實現邊緣計算平臺互聯互通。目前業界相關的工作主要包含兩方面：一是采用分布式技術和云原生技術來屏蔽平臺架構差異，打造統一的邊緣基礎設施；二是進行邊緣計算平臺互聯互通的標準化工作，例如GSMA OP、ETSI MEC #035和3GPP都已經開展相關工作[9-11]。

3.1 跨電信運營商的統一邊緣云

電信運營商具有獨特的網絡優勢，即使云服務商或CDN廠家已經構建了自有的邊緣云節點，但是仍然希望和電信運營商的邊緣計算節點打通以充分利用邊緣網絡能力，例如阿里云已經宣稱與運營商在MEC節點上開展深度合作，在某些區域已實現資源的互聯互通[12]。電信運營商邊緣云之間不能互相割裂，而且需要支持多種邊緣計算節點接入，尤其是第三方云服務商的邊緣云節點，才能構建跨電信運營商和云服務商的統一邊緣云。更進一步，電信運營商還希望通過云邊協同、邊邊互聯和網絡能力開放，提供確定性、無損或超低時延的網絡服務，提升電信運營商網絡管道價值，打造真正意義上的云網融合產品。另外，從云計算發展的趨勢來看，分布式云是下一代云計算，邊緣計算本身就是分布式云。由于分布式邊緣云能夠實現“云邊端”算力的統籌供給和協同調度,所以被廣泛認為是計算與網絡深度融合的下一代社會化的信息基礎設施。國家也制定了相關的產業政策，推動其發展，例如2021年5月國家發改委提出推動各行業數據中心加強一體化聯通調度，促進多云之間、云和數據中心之間、云和網絡之間的資源聯動，構建算力服務資源池[13]。

電信運營商的邊緣計算平臺一般采用兩種方式構建，一種是自主研發，例如國內三大電信運營商都是采用自主研發的方式[14]。另一種是與公有云服務商合作，采用其提供的邊緣云平臺，例如AT&T與谷歌云合作，采用谷歌云的“Anthos for Telecom Platform”作為其邊緣計算平臺[15]。盡管這些邊緣計算平臺都對外宣稱兼容ETSI標準定義的MEC架構，但是事實上并不支持平臺互操作，無法實現互聯互通[16]。如何實現統一的邊緣云有很多解決方案，GSMA提出的邊緣計算聚合方案(MEC Aggregation)和邊緣計算聯盟方案(MEC Federation)，詳細內容可以參考GSMA于2021年6月底發布的白皮書[9]。與此同時，ETSI MEC和3GPP也已經開展了相關的研究工作，并啟動了相關的標準化工作：ETSI MEC #035已經申請啟動更新ETSI邊緣計算系統架構，計劃引入新的功能網元(MEC Federation Manager和Broker)來支持邊緣計算聯盟[10]。3GPP SA6經過討論在2021年7月啟動相關的工作項目(Work Item)進行研究和分析[11]。

本文強調跨電信運營商的統一邊緣云，但電信運營商邊緣計算平臺本身可以采用的是云服務商邊緣云，所以實質上已經包含了跨云服務商的統一邊緣云。總之，根據邊緣基礎設施的發展趨勢，統一邊緣云是邊緣生態發展的必然結果，支持互聯互通也將成為ETSI和3GPP標準的功能要求。

3.2 兩級PaaS架構設計

隨著5G網絡部署推進，5G行業應用已經從企業外圍業務環節向核心生產領域擴展，例如高清視頻監控、基于機器視覺質量檢測等已經在很多垂直行業復制落地，具備沉浸式體驗和低延時可靠的遠程控制類應用已經開始探索和測試[17]。邊緣云已經成為承載各種創新應用的關鍵基礎設施：不僅需要利用5G大帶寬、低時延、高可靠、多連接的網絡能力，還要求與云計算、大數據和AI的技術融合以賦能社會各行各業進行產業升級和企業數字化轉型。總之，為了滿足千行百業的差異化需求，邊緣云不僅需要增強網絡能力，還需要疊加中心云能力，為各種垂直行業賦能。對于跨電信運營商和云服務商的統一邊緣云，如何屏蔽不同電信運營商的網絡特性差異和邊緣計算平臺差異是當前面臨的重要挑戰之一，包括如何將云端能力(多個公有云和混合云)和多個運營商網絡能力(核心網)延伸到網絡邊緣，以統一的方式開放云端能力和網絡能力。

如前所述，MEC Federation是GSMA提出的一種統一邊緣云實現方案，目前已經被ETSI MEC和3GPP采納[8-10]。從2020年4月開始，中國聯通在OP項目啟動初期參與了OP的技術要求討論，目的是跟蹤和掌握OP項目中涉及的MEC平臺互聯互通核心關鍵技術，支持不同電信運營商的邊緣計算平臺互聯互通，打造統一的電信邊緣云(Telco Edge Cloud，TEC)。在OP實現架構討論中提出以構建云原生PaaS平臺的方式來實現GSMA OP，通過云原生PaaS平臺來解決跨電信運營商網絡特性差異的挑戰，整體邏輯架構圖如圖5所示。

圖5 GSMA OP實現方案之云原生PaaS平臺

通過對GSMA OP實現方案進行抽象總結，提出包括云端PaaS和邊緣PaaS的兩級PaaS架構設計，如圖6所示。云端PaaS負責屏蔽不同電信運營商的網絡能力差異，以及承載跨電信運營商的功能(例如邊緣計算平臺聯盟、跨運營商的移動性和應用漫游等)。邊緣PaaS則保留了各個電信運營商的功能差異性。統一邊緣云的云原生PaaS平臺采用兩層PaaS架構，可以實現邊緣應用的跨電信運營商的靈活部署、統一網絡服務的靈活構建、跨云服務商的云資源彈性調度等功能要求。

圖6 統一邊緣云架構

云端PaaS提供標準網絡增值能力服務，屏蔽不同電信運營商的網絡差異，邊緣PaaS根據客戶需求提供具備特色的網絡服務。云端PaaS和邊緣PaaS之間還需要實現數據協同、服務編排協同和部署協同，例如通過云端PaaS來統一面向開放者進行開放以提供一致性的用戶體驗，提供跨邊緣計算平臺的應用部署、監控和運維。類似于IaaS平臺的發展結果，PaaS平臺也將朝“同質化”的平臺發展：接口設計和交互層面不再有區別，PaaS平臺只存在平臺性能和可靠性上的區別。云端PaaS可以部署在不同的公有云之上，支持多云和混合云，為客戶提供統一分布式邊緣云基礎設施。

為了打造廣泛的邊緣生態系統，參考云原生發展模式和GSMA OP開源實現模式，基于開源方案，采用開源協作方式開發來進行云原生PaaS平臺，因為開源不僅能夠解決供應商使用專用技術堆棧帶來廠商鎖定問題，還有助于打造邊緣網絡能力開放服務的事實標準。以中國聯通為例，目前已經正在LF Akraino PCEI項目的Release 5中開展相關工作，包括聯合Futureway和華為在PCEI family中成立了一個新藍圖(Blueprint)“Federated Multi-Access Edge Cloud Platform”，基于開源的云原生平臺KubeEdge進行MEC Federation方案的開源實現驗證[18]。

4 結束語

本文提出的兩級PaaS架構設計(云端PaaS+邊緣PaaS)能夠屏蔽不同電信運營商網絡的特性差異，為垂直行業客戶提供統一的網絡服務，是針對跨電信運營商和云服務商場景下的5G to B網絡架構設計的一次探索，希望能為5G to B架構設計提供實現參考，推動邊緣計算平臺互聯互通，統一邊緣云的發展。