（2020年度“華蘇杯”獲獎?wù)撐娜泉劊┮环NCN2跨域IP虛擬專網(wǎng)承載的天翼云PaaS平臺容災(zāi)解決方案

董 錚 陳 思 吳 琦 葉維揚(yáng) 桑曉宇

中國電信股份有限公司南京分公司

0 引言

當(dāng)前，移動互聯(lián)網(wǎng)用戶規(guī)模不斷增長，用戶需求頻繁變化，這就要求承載移動互聯(lián)網(wǎng)業(yè)務(wù)的各種業(yè)務(wù)平臺必須具備彈性擴(kuò)展、快速部署和可靠運(yùn)行的能力。移動互聯(lián)網(wǎng)業(yè)務(wù)平臺的發(fā)展有三大趨勢，集群規(guī)模化、架構(gòu)復(fù)雜化和技術(shù)多樣化，這導(dǎo)致移動互聯(lián)網(wǎng)業(yè)務(wù)平臺的部署和管理也開始越來越有挑戰(zhàn)性。基于公有云的PaaS平臺部署互聯(lián)網(wǎng)業(yè)務(wù)，具有業(yè)務(wù)部署周期短、配置簡單和部署靈活的優(yōu)點(diǎn)，因此受到廣泛的歡迎。但基于公有云的PaaS平臺方案也存在著諸如基礎(chǔ)云資源池可用性不滿足業(yè)務(wù)實(shí)際需求、云資源池直接互聯(lián)線路冗余度低、業(yè)務(wù)集群調(diào)度復(fù)雜度高、業(yè)務(wù)批量部署效率低下等問題。為解決上述問題，本文介紹了一種高可用性、高冗余、高靈活性和高效率的公有云PaaS平臺建設(shè)部署方案。

1 公有云PaaS平臺建設(shè)面臨的關(guān)鍵問題

（1）物理云資源池HA（Highly Available，高可用性）：解決PaaS平臺天翼云高可用性難題

由于公有云物理云資源池大面積故障導(dǎo)致的用戶業(yè)務(wù)平臺癱瘓、數(shù)據(jù)丟失甚至導(dǎo)致客戶業(yè)務(wù)受到重大損失的事件時(shí)有發(fā)生，如何發(fā)揮好中國電信天翼云布局全國的“2+31+X”（“2”指內(nèi)蒙、貴州云基地，“31”指31個省級資源池，“X”指下沉到地市的私有云、CDN等X節(jié)點(diǎn)）的資源池冗余備份能力，進(jìn)而提升PaaS平臺健壯性和穩(wěn)定性，是公有云PaaS平臺建設(shè)急需解決的首要問題。

（2）雙活云專線接入：解決天翼云專線冗余備份難題

由于CN2是中國電信的骨干網(wǎng)絡(luò)和精品業(yè)務(wù)網(wǎng)絡(luò)，有著其他承載網(wǎng)絡(luò)不具備的優(yōu)良網(wǎng)絡(luò)性能優(yōu)勢，所以天翼云不同資源池之間的互通，需要借助于CN2跨域IP虛擬網(wǎng)絡(luò)來實(shí)現(xiàn)。但是云專線接入CN2跨域IP虛擬網(wǎng)絡(luò)時(shí)，會遇到諸如單條云專線接入時(shí)發(fā)生光纜故障、單POP（ point of presence，接入點(diǎn)）節(jié)點(diǎn)端口故障導(dǎo)致的單臂路由中斷等問題。如何借助中國電信豐富的傳輸網(wǎng)絡(luò)資源，解決天翼云專線雙活備份接入，是提升公有云PaaS平臺網(wǎng)絡(luò)穩(wěn)定性的重要課題。

（3）業(yè)務(wù)集群調(diào)度：解決承載在天翼云上的PaaS平臺集群調(diào)度難題

在面對天翼云上集群之間由多臺宿主機(jī)承載、多個可用區(qū)承載甚至是多個資源池承載這樣的復(fù)雜局面的時(shí)候，如何實(shí)現(xiàn)集群內(nèi)部的業(yè)務(wù)調(diào)度和批量操作功能，解決跨資源池跨子網(wǎng)的集群云主機(jī)之間三層IP互通（路由可達(dá)）問題，是發(fā)揮天翼云上的PaaS平臺集群優(yōu)勢能力的關(guān)鍵問題。

（4）業(yè)務(wù)部署效率提升：解決天翼云計(jì)算及網(wǎng)絡(luò)資源快速高效部署難題

隨著云網(wǎng)融合的進(jìn)一步發(fā)展，云資源及網(wǎng)絡(luò)功能的使用和配置進(jìn)一步開放化，網(wǎng)絡(luò)也從原有的完全由運(yùn)營商運(yùn)維人員完成的網(wǎng)元建設(shè)和業(yè)務(wù)部署轉(zhuǎn)變到用戶的自服務(wù)行為。面向用戶業(yè)務(wù)的資源和業(yè)務(wù)管理均需要將網(wǎng)絡(luò)和業(yè)務(wù)的能力開放給用戶，即用戶需要具備登錄業(yè)務(wù)編排系統(tǒng)進(jìn)行自助式的網(wǎng)元創(chuàng)建和業(yè)務(wù)管理的能力。云網(wǎng)融合業(yè)務(wù)的類別種類繁多，且均由用戶自助部署完成，因此需要從業(yè)務(wù)編排器支持用戶自助服務(wù)的角度出發(fā)，做到網(wǎng)元、業(yè)務(wù)均按照用戶需要來部署，進(jìn)一步提升天翼云計(jì)算及網(wǎng)絡(luò)資源部署效率。

2 系統(tǒng)部署總體架構(gòu)

互聯(lián)網(wǎng)PaaS平臺常常由多個服務(wù)器集群組成，每個服務(wù)器集群又由多個服務(wù)器節(jié)點(diǎn)組成，每個服務(wù)器節(jié)點(diǎn)又由硬件資源和包含多層軟件的軟件棧構(gòu)成，在公有云環(huán)境中部署的業(yè)務(wù)平臺，其硬件主要依賴于IaaS層云資源池的計(jì)算資源、存儲資源以及網(wǎng)絡(luò)資源。

在本系統(tǒng)方案之中，整體PaaS平臺中的各個業(yè)務(wù)集群均承載在由天翼云提供的“31+2+X”的資源池之上，業(yè)務(wù)集群使用的各資源池的VPC均使用集團(tuán)統(tǒng)一分配的CN2跨域IP虛擬專網(wǎng)的域名CTVPN-X專用的IP地址段，以實(shí)現(xiàn)天翼云資源池之間的三層IP路由互通。每條CTVPN-X跨域IP虛擬專線和云專線通過雙活冗余備份方式對接，確保接入的高可用性。

具體PaaS平臺的整體系統(tǒng)部署架構(gòu)如圖1所示。

圖1 PaaS平臺的整體系統(tǒng)部署架構(gòu)圖

3 系統(tǒng)設(shè)計(jì)

3.1 云資源池HA

3.1.1 天翼云資源容災(zāi)部署方案

根據(jù)應(yīng)用部署對容災(zāi)安全性和高可用性的要求從高到低，分別可以采用“不同資源池異地雙活”、“不同可用區(qū)異地雙活（同一資源池）”、“同一可用區(qū)內(nèi)反親和”三種方式。具體如表1所示。

表1 天翼云資源部署場景及策略和HA相關(guān)性關(guān)系表

（1）不同資源池異地雙活

在不同的天翼云資源池部署云資源，不同的云資源池之間通過CN2跨域IP虛擬專網(wǎng)互聯(lián)。

（2）不同可用區(qū)異地雙活

在同一個天翼云資源池的不同可用區(qū)部署云資源，不同的可用區(qū)之間通過對等連接互聯(lián)。

（3）同一可用區(qū)內(nèi)反親和

在一個天翼云資源池可用區(qū)內(nèi)，通過創(chuàng)建云主機(jī)組，分配相同功能的云主機(jī)到一個云主機(jī)組里去，并設(shè)置反親和策略，同一個云主機(jī)組內(nèi)的云主機(jī)在創(chuàng)建時(shí)就不會被自動創(chuàng)建在同一臺宿主機(jī)上，避免出現(xiàn)宿主機(jī)故障導(dǎo)致整個集群所有云主機(jī)同時(shí)宕機(jī)的風(fēng)險(xiǎn)。同一VPC（virtual private cloud，虛擬私有云）內(nèi)的云主機(jī)之間可以直接互聯(lián)，不同VPC內(nèi)的云主機(jī)之間通過對等連接互聯(lián)。

3.1.2 集群云資源分配策略

對照天翼云的資源容災(zāi)部署方案，采用如下的原則進(jìn)行資源分配：

（1）不同資源池：通過雙活云專線接入CN2跨域虛擬專網(wǎng)實(shí)現(xiàn)跨資源池調(diào)度；

（2）同一資源池不同可用區(qū)：通過對等連接實(shí)現(xiàn)跨可用區(qū)池調(diào)度，即配置對等連接策略，實(shí)現(xiàn)統(tǒng)一資源池不同可用區(qū)之間，公有云和專屬云的直接打通；

（3）同一可用區(qū)內(nèi)：通過主機(jī)組實(shí)現(xiàn)云主機(jī)反親和，即對同一可用區(qū)的云主機(jī)，及同一專屬云中的云主機(jī)，確保使用云主機(jī)組設(shè)置，并開啟反親和。

具體集群云資源分配策略如下：同一集群內(nèi)部的不同子集群之間，通過接入不同的資源池實(shí)現(xiàn)容災(zāi)備份；在同一子集群內(nèi)部的不同服務(wù)器云主機(jī)之間，通過接入同一資源池的不同可用區(qū)實(shí)現(xiàn)容災(zāi)備份；當(dāng)同一集群的同一子集群規(guī)模較大時(shí)，服務(wù)器云主機(jī)數(shù)量較多而不可避免地會出現(xiàn)在同一資源池的同一可用區(qū)內(nèi)，這時(shí)采用啟用主機(jī)組（開啟反親和）的方式，確保同一集群的同一子集群中的服務(wù)器云主機(jī)都承載在不同的宿主機(jī)之上，這樣當(dāng)出現(xiàn)宿主機(jī)故障的時(shí)候，可以大大減低同一集群的同一子集群中的服務(wù)器云主機(jī)同時(shí)受到宿主機(jī)故障影響的概率。具體的集群云資源分配策略如圖2所示。

圖2 集群云資源分配策略圖

3.2 雙活云專線接入

3.2.1 基于CN2跨域IP虛擬網(wǎng)實(shí)現(xiàn)天翼云專線熱備份

（1）MSTP（Multi- Service Transport Platform，多業(yè)務(wù)傳送平臺）+IP-RAN（Radio Access Network，無線接入網(wǎng)）雙線雙路由接入。協(xié)調(diào)各省公司，實(shí)現(xiàn)天翼云專線接入時(shí)的物理雙路由。

（2）靜態(tài)路由+BFD（Bidirectional Forwarding Detection，雙向轉(zhuǎn)發(fā)檢測）聯(lián)動。在天翼云側(cè)POP交換機(jī)上配置靜態(tài)路由+BFD聯(lián)動配置，實(shí)現(xiàn)天翼云專線熱備份。

（3）申請CN2跨域IP虛擬網(wǎng)專線，實(shí)現(xiàn)天翼云專線雙活方式接入CTVPN-X。

3.2.2 具體實(shí)施方案

通過“客戶網(wǎng)絡(luò)雙云專線接入、天翼云側(cè)POP交換機(jī)BFD檢測、CN2 PE開啟BFD檢測”的實(shí)現(xiàn)方案，實(shí)現(xiàn)云專線自動切換保護(hù)（天翼云側(cè)向CN2側(cè)的流量主備路由，CN2側(cè)向天翼云的流量主備路由）。

（1）兩臺天翼云側(cè)POP交換機(jī)分別配置靜態(tài)路由，分別指向相應(yīng)的CN2網(wǎng)絡(luò)兩臺PE設(shè)備互聯(lián)接口；

（2）兩臺天翼云側(cè)POP交換機(jī)通過優(yōu)先級設(shè)置實(shí)現(xiàn)天翼云側(cè)至CN2網(wǎng)絡(luò)流量的主備路由；

（3）兩臺天翼云側(cè)POP交換機(jī)分別配置向CN2網(wǎng)絡(luò)PE設(shè)備的BFD檢測。

天翼云側(cè)POP交換機(jī)配置實(shí)現(xiàn)至CN2網(wǎng)絡(luò)PE設(shè)備兩條云專線的流量主備路由。當(dāng)天翼云側(cè)POP交換機(jī)的BFD檢測機(jī)制檢測到一條云專線至CN2網(wǎng)絡(luò)PE設(shè)備不通時(shí)，天翼云側(cè)POP交換機(jī)至CN2網(wǎng)絡(luò)PE設(shè)備的靜態(tài)路由將自動失效，天翼云側(cè)將該條云專線的流量自動切換至另一條云專線，實(shí)現(xiàn)云專線雙路由保護(hù)。

（4）CN2網(wǎng)絡(luò)PE設(shè)備配置向天翼云側(cè)的靜態(tài)路由，通過優(yōu)先級設(shè)置實(shí)現(xiàn)向天翼云側(cè)的主備路由。

具體的雙活云專線接入方案見圖3所示。

圖3 雙活云專線接入方案圖

3.3 業(yè)務(wù)集群調(diào)度方法

3.3.1 天翼云彈性負(fù)載均衡服務(wù)

天翼云支持同一VPC內(nèi)的多個云主機(jī)之間的負(fù)載均衡工作，用戶可針對負(fù)載均衡服務(wù)監(jiān)聽器開啟會話保持功能，針對7層（HTTP協(xié)議）服務(wù)，負(fù)載均衡系統(tǒng)是基于cookie的會話保持；針對4層（TCP協(xié)議）服務(wù)，負(fù)載均衡系統(tǒng)是基于IP地址的會話保持。

針對7層（HTTP協(xié)議）服務(wù)，負(fù)載均衡支持通過Http Header：X-Forwarded-For獲取來訪者真實(shí)IP；針對4層（TCP協(xié)議）服務(wù)，支持通過配置TOA插件獲取用戶真實(shí)IP。

用戶設(shè)置負(fù)載均衡監(jiān)聽器轉(zhuǎn)時(shí)可選擇輪詢、最小連接數(shù)和源地址三種模式的轉(zhuǎn)發(fā)規(guī)則。

支持用戶自定義健康檢查方式和頻率，負(fù)載均衡根據(jù)預(yù)設(shè)的健康檢查規(guī)則定時(shí)檢查后端云主機(jī)是否正常運(yùn)行，一旦檢測到云主機(jī)為非健康狀態(tài)，則不會將訪問流量分派到這些非健康云主機(jī)實(shí)例。

3.3.2 集群主從調(diào)度機(jī)制

集群和節(jié)點(diǎn)通常是從屬關(guān)系，包括節(jié)點(diǎn)從屬和網(wǎng)絡(luò)從屬，節(jié)點(diǎn)從屬指的是由集群的某個主節(jié)點(diǎn)管理或控制集群的所有節(jié)點(diǎn)，網(wǎng)絡(luò)從屬指的是集群的節(jié)點(diǎn)與集群歸屬于相同的VXLAN子網(wǎng)內(nèi)。在集群的部署過程中，通常需要先根據(jù)從屬關(guān)系對集群的主節(jié)點(diǎn)進(jìn)行配置，再通過集群的從屬關(guān)系，實(shí)現(xiàn)對整個集群內(nèi)所有節(jié)點(diǎn)的批量操作，比如批量重啟、批量配置等。集群與集群的關(guān)系可以是基于VXLAN實(shí)現(xiàn)的在同一子網(wǎng)內(nèi)的從屬關(guān)系，也可以是通過路由實(shí)現(xiàn)的跨子網(wǎng)的三層IP實(shí)現(xiàn)的通信關(guān)系。建立集群間的從屬關(guān)系，需要確保子集群和父集群位于同一個VXLAN實(shí)現(xiàn)的二層子網(wǎng)中，同時(shí)在父集群主節(jié)點(diǎn)配置中配置子集群的主節(jié)點(diǎn)服務(wù)端口信息。建立集群間的通信關(guān)系，需要解決不同集群子網(wǎng)之間的路由轉(zhuǎn)發(fā)問題，從而實(shí)現(xiàn)從單一的主從結(jié)構(gòu)，演進(jìn)到主-從-從從結(jié)構(gòu)，提升了跨資源池調(diào)度能力。

3.3.3 CTVPN地址統(tǒng)一調(diào)配

基于互聯(lián)網(wǎng)的規(guī)模較大的業(yè)務(wù)平臺常常牽涉到好幾個集群，每一個集群又會通過幾個子集群或節(jié)點(diǎn)組成，節(jié)點(diǎn)到節(jié)點(diǎn)的通信通過服務(wù)端口來實(shí)現(xiàn)，在業(yè)務(wù)平臺上部署業(yè)務(wù)，往往需要構(gòu)建業(yè)務(wù)平臺的整體拓?fù)浠ネǎ瑥亩鉀Q集群與集群、點(diǎn)與集群以及節(jié)點(diǎn)與節(jié)點(diǎn)之間的通信問題。源節(jié)點(diǎn)與目標(biāo)節(jié)點(diǎn)之間通過IP地址+服務(wù)端口號來打通連接，業(yè)務(wù)部署時(shí)應(yīng)該將需要訪問的目標(biāo)節(jié)點(diǎn)的IP地址及端口信息等配置在源節(jié)點(diǎn)上，并確保源節(jié)點(diǎn)與目標(biāo)節(jié)點(diǎn)之間的三層路由可達(dá)。

在本方案之中，云資源池統(tǒng)一使用CTVPN-X地址規(guī)劃，通過跨域MPLS VPN（multiple protocol label switch，多協(xié)議標(biāo)簽交換）組網(wǎng)方式，使用MP-BGP（multiple protocol-border gateway protocol，多協(xié)議擴(kuò)展邊界網(wǎng)關(guān)協(xié)議）發(fā)布各個云資源池使用的地址段（直連路由），直接實(shí)現(xiàn)三層（IP路由）直接互通。

3.4 業(yè)務(wù)部署效率提升

天翼云平臺通過網(wǎng)絡(luò)SDN（Software Defined Network，軟件定義網(wǎng)絡(luò)）業(yè)務(wù)編排器為云專線業(yè)務(wù)提供業(yè)務(wù)編排能力，該網(wǎng)絡(luò)SDN業(yè)務(wù)編排器主要聚焦業(yè)務(wù)資源和網(wǎng)絡(luò)資源的業(yè)務(wù)部署工作。天翼云平臺網(wǎng)絡(luò)SDN業(yè)務(wù)編排器工作的業(yè)務(wù)層次見圖4所示。

圖4 網(wǎng)絡(luò)SDN業(yè)務(wù)編排器工作分層模塊圖

3.4.1 拓?fù)湟蕾囮P(guān)系自動生成

自動生成PaaS業(yè)務(wù)平臺拓?fù)浣Y(jié)構(gòu)模型，描述平臺的節(jié)點(diǎn)、子集群、集群之間的通信關(guān)系和從屬關(guān)系，依據(jù)從屬關(guān)系以堆棧的模式遞歸地完成整個集群的生成和配置，依據(jù)通信關(guān)系自動完成網(wǎng)絡(luò)和節(jié)點(diǎn)的詳細(xì)參數(shù)配置工作，并對具有相同結(jié)構(gòu)的集群拓?fù)浜筒渴鹆鞒踢M(jìn)行復(fù)用。

3.4.2 提升業(yè)務(wù)平臺的部署效率

為達(dá)到在天翼云服務(wù)器云主機(jī)上能更多更快地部署完成服務(wù)器節(jié)點(diǎn)的目的，可以通過增加平臺節(jié)點(diǎn)部署的并行度、壓縮節(jié)點(diǎn)堆棧大小以提升單個節(jié)點(diǎn)的部署效率等方式，提升整個集群的部署效率。

4 本方案中PaaS平臺實(shí)施步驟

本方案中的公有云PaaS平臺的具體實(shí)施步驟可分為4個階段：公有云資源池HA設(shè)計(jì)階段、雙活云專線接入設(shè)計(jì)階段、業(yè)務(wù)集群調(diào)度方法設(shè)計(jì)階段和業(yè)務(wù)高效率部署階段。各階段的主要流程如下。

4.1 公有云資源池HA（高可用性）設(shè)計(jì)階段

由云翼云有經(jīng)驗(yàn)的IaaS平臺部署架構(gòu)師通過天翼云云資源的自動化編排工具服務(wù)設(shè)計(jì)具體落實(shí)的云資源池及可用區(qū)的選取、云資源網(wǎng)絡(luò)資源的下發(fā)和整體云資源容災(zāi)布局的設(shè)計(jì)。

4.2 雙活云專線接入設(shè)計(jì)階段

由有經(jīng)驗(yàn)的熟悉云網(wǎng)融合業(yè)務(wù)的網(wǎng)絡(luò)工程師完成中國電信CN2網(wǎng)絡(luò)POP節(jié)點(diǎn)（PE路由器）接入方案的選擇工作和各個天翼云池POP交換機(jī)具體端口及接入方式的分配，完成云專線雙活對接方案的設(shè)計(jì)。

4.3 業(yè)務(wù)集群調(diào)度方法設(shè)計(jì)階段

由團(tuán)隊(duì)的PaaS平臺系統(tǒng)架構(gòu)師完成集群主從關(guān)系及調(diào)度關(guān)系的設(shè)計(jì)，具體應(yīng)用集群部署模型配置、集群部署包打包上傳、新增鏡像保存與部署服務(wù)調(diào)用、生成集群拓?fù)鋵ο竽０逅膫€子階段，從而生成定制化的集群模板。

4.4 業(yè)務(wù)高效率部署階段

由團(tuán)隊(duì)的部署工程師將集群模板實(shí)例化為實(shí)際部署的模型。該階段完成之后，就可以執(zhí)行集群部署流程，通過管理接口依次執(zhí)行虛擬機(jī)創(chuàng)建、網(wǎng)絡(luò)配置、節(jié)點(diǎn)鏡像安裝、容器運(yùn)行、容器配置等任務(wù)，自動完成整個應(yīng)用集群的部署。

5 結(jié)束語

基于CN2跨域IP虛擬專網(wǎng)和天翼云平臺技術(shù)構(gòu)建的PaaS平臺容災(zāi)解決方案，較好地平衡了部署安全可靠性、部署效率與部署靈活性的問題，通過雙活云專線接入CN2跨域IP虛擬專網(wǎng)支持任意云資源池之間的冗余備份互通，通過天翼云平臺技術(shù)中IaaS層HA技術(shù)、定制化的集群模板和網(wǎng)絡(luò)SDN業(yè)務(wù)編排器來支持復(fù)雜的集群架構(gòu)，實(shí)現(xiàn)了復(fù)雜互聯(lián)網(wǎng)業(yè)務(wù)平臺在PaaS平臺中全流程自動化集群部署的容災(zāi)解決方案，支撐了基于CN2跨域IP虛擬專網(wǎng)和天翼云平臺技術(shù)構(gòu)建的PaaS平臺容災(zāi)解決方案，從而更好地應(yīng)對用戶需求的快速變化和用戶規(guī)模的快速增長。