運營商私有云規劃思路及關鍵技術應用

梁 楊

（中國移動通信集團設計院有限公司河北分公司，河北 石家莊 050011）

1 引言

云計算的建設目標是以IaaS服務為基礎，以PaaS服務為提升。一個完整的IT系統，自上而下包括“應用軟件、中間件軟件、數據庫軟件、操作系統、計算資源、存儲資源、組網網絡”等組成部分，在云計算的架構下也是如此。

“煙囪式”建設模式主要存在以下問題：1）硬件建設周期長；2）各系統之間資源不能共享；3）各系統之間資源利用率不均衡，不能調整，整體利用率較低；4）擴展能力受限，難以滿足大數據計算需求。而云計算的好處體現在：1）資源共享，按需分配，彈性伸縮，支持日常優化調整；2）縮短上層系統建設周期，提升整體利用率；3）分布式架構支持大數據計算場景。云計算改“煙囪式”為“分層式”，自下而上分為IaaS、PaaS、SaaS三層，云計算的規劃建設通常指的是IaaS層、PaaS層的統一規劃建設。

本文所述的私有云是特指專門為某企業內部提供服務的云計算，針對電信運營商而言，包含BSS/OSS/MSS、大數據、信安系統等IT支撐系統以及統一DPI、自有業務平臺、政企客戶云服務業務平臺。

2 某運營商私有云建設歷程

回顧該運營商的私有云建設歷程，主要分為三個主要階段：第一階段為分域整合階段，2012年開始建設網管資源池，2013年開始建設業支資源池和管信資源池；第二階段為統一規劃建設階段，2014年將管信資源池并入網管資源池，2015年開始建設私有云管理平臺；第三階段為優化提升階段，從2016年開始，持續建設業支資源池、網管資源池。

某運營商在2014年開始正式進行私有云的規劃建設，確定了“1+N”的整體架構，即“1”：建設統一的私有云管理平臺；“N”：按統一的技術架構，建設多個資源池，納入云管平臺統一管理。

2017年，該運營商為了更好地規劃私有云建設，結合管理職能以及本地實際情況，最終提出了一種私有云規劃架構：規劃建設B/M資源池、O/S資源池兩個資源池，并通過統一的云管平臺進行兩個資源池的調度與管理。該運營商私有云資源池建設架構如圖1所示。

3 私有云規劃思路、方案及關鍵技術

3.1 總體規劃思路

某運營商私有云規劃原則主要從兩方面同步開展，一是統一規劃、建設私有云資源池；二是推動系統自身云化，遷移到資源池上運行。同時，基于該運營商實際情況，其私有云總體規劃思路為：通過機房擴展，平滑構建異地、多節點、跨機房且統一調度和管理的“1+N”架構的私有云體系（1個統一云管理平臺，N個資源池節點），提供面向內部系統IT資源需求的基礎設施云服務，以支撐IT支撐系統、業務平臺和其他內部IT系統的建設；推動上層應用逐步以“分布式+開放”架構替代“集中式+封閉”架構，加快云化進程，底層資源以云計算資源池模式進行整合，實現IT基礎設施的高效集中管理。

圖1 某運營商私有云資源池建設架構

3.2 總體規劃演進方案及關鍵技術

（1）云化演進

遵循第2節的規劃原則和思路，某運營商從系統云化改造和資源池建設兩個維度進行私有云演進路線的規劃，如圖2所示。

（2）私有云分層能力規劃及關鍵技術分析

私有云的能力規劃，包含IaaS和PaaS的能力規劃。

IaaS層能力規劃如圖3所示。

IaaS層由“基礎設施”和“云管理平臺”兩大部分組成。

云管理平臺運用的是OpenStack技術。OpenStack提供了一整套完整的IaaS基礎設施云服務，包含了各種組件；中國移動基于OpenStack的BigCloud相關產品亦能提供同類組件。

基礎設施中X86虛擬化集群所運用的首先是VMware相關技術，VMware提供一整套基于服務器虛擬化的IaaS云服務解決方案，在使用vSphere服務器虛擬化的資源池環境中，再配合NSX實現SDN/NFV，vSAN實現虛擬機存儲鏡像管理；其次，X86虛擬化集群還運用了超融合架構技術來簡化資源池硬件配置方案，提供基于X86架構的分布式存儲，同時進行服務器虛擬化，超融合架構的核心是軟件定義分布式存儲技術，代表技術有開源KVM+Ceph、VMware vSphere+vSan、華為FusionSphere+FusionStorage等。其中運營商采用較多的是VMware技術方案，其優點在于產品成熟，但造價較高。建議私有云資源池建設前期，采用VMware虛擬化產品，有利于推動虛擬化技術使用，待虛擬化技術應用條件成熟后，以開源虛擬化技術KVM為主、VMware為輔。

圖2 某運營商私有云演進線路圖

圖3 某運營商私有云IaaS層能力規劃圖

基礎設施中X86分布式集群所運用的技術為分布式存儲技術。在替換傳統“IOE”架構的硬件過程中，針對關系型數據庫采用華為FusionStorage（分布式ServerSAN）、EMC ScaleIO、Ceph等分布式塊存儲技術進行替換，分布式塊存儲所用的硬件為標準的X86服務器，各節點相互獨立，節點之間通過專用的存儲網絡（InfiniBand或萬兆級IP網絡）連接，部署專門的存儲軟件構成塊存儲，具備集群擴展能力。針對離線及實時性不高的文件類數據以及虛擬機鏡像共享存儲等，可采用Ceph等分布式文件存儲技術。對象存儲多用于對外提供面向Internet的簡單存儲服務，此場景運營商應用較少，可作為儲備技術。

網絡為資源調度提供管道，SDN是解決跨域資源調度的主流技術，SDN主要應用場景是在云資源池物理網絡建成后，通過軟件編程方式對多租戶業務進行網絡配置、流量控制和安全隔離等。SDN相關的兩種隧道技術有Overlay技術和Underlay技術，其中Overlay技術可實現不同業務網絡的開通和隔離，代表技術為VxLAN，在服務器虛擬化大規模應用場景下，建議采用此技術；而Underlay技術是通過物理網絡設備本身的技術改良、擴容，對傳統網絡技術進行優化，實現對虛擬網絡的隧道化承載，在虛擬化規模不大的前期階段，為方便快速部署和節省投資，建議采用此技術。

以上是IaaS層能力規劃建設的關鍵點，此外，一個完整軟件系統運行還需要數據庫、中間件、計算框架等環境，這些共享資源在PaaS層實現，通過PaaS層的建設來提供更完善的服務。建設PaaS層的好處如下：1）中長期更節省數據庫、中間件軟件投資；2）IaaS層資源利用率更均衡和充分；3）應用軟件開發部署進一步簡化，安裝和部署可通過PaaS統一實現。

某運營商PaaS層能力規劃如圖4所示。

該運營商未建設PaaS前，上層網管類應用直接使用IaaS層提供的資源（網絡、計算、存儲等），建設PaaS后，通過PaaS利用IaaS的資源服務，為上層應用系統的開發、運行提供更加完善的服務，如預裝中間件的虛擬機、統一調度編排的容器集群、多租戶的Hadoop YARN集群等。

建設PaaS層需要具備兩個基礎條件，即上層系統軟件架構解耦、開放；數據庫、中間件等資源能夠集中運營管理。針對前期系統僅做到軟硬件解耦的，建議使用IaaS資源；針對在軟硬件解耦基礎上，系統的軟件技術架構可以進一步開放解耦的，建議使用PaaS服務。

PaaS層涉及的主要新技術以及應用場景歸納如下：

1）容器及Docker容器引擎

容器（Container）是在Linux內核實現在輕量級資源隔離機制；容器是進程級隔離，虛擬機是操作系統級隔離。虛擬機與容器之間的特點對比如圖5所示。

通過容器引擎，如Docker，可以把應用程序代碼及其運行所依賴的庫函數、配置文件等打包到一個容器中并運行。

使用容器，實際指的是使用容器的“應用編排&資源管理”技術，主要技術有Kubernetes、Docker Swarm/Compose、Mesos等，其中Kubernetes（簡稱K8s）是主流技術，可以實現管理容器資源、調度容器引擎，從而實現對上層應用容器化的支撐。

圖4 某運營商私有云PaaS層能力規劃圖

2）DCOS

DCOS，即數據中心操作系統，同時具備IaaS、PaaS能力，具備IaaS的資源調度管理能力和PaaS的應用計算框架管理能力；核心資源調度技術是Apache Mesos，Mesos也支撐容器集群資源管理（類似K8s）。典型產品有Mesosphere、中國移動的BC-DCOS。

通過PaaS層的建設，IaaS層資源的利用率將更均衡，同時，提升了對上層應用技術架構的掌控力，促進公司IT能力內化，也為DevOps（開發運營融合）提供工具支撐。

（3）總體規劃演進方案

通過以上針對私有云規劃總體思路、演進路線、分層能力規劃及關鍵技術的分析闡述，某運營商總體規劃演進方案建議如下：

1）2014年至2015年

重點建設私有云管理平臺、業支資源池、網管資源池工程，一方面繼續完善資源池基礎能力，一方面提升資源管理能力。

推動業支、原管信資源池融合建設，推動IT化明顯的小型業務平臺納入網管資源池建設。

推動傳統業務平臺在專業系統內部完成軟硬件的解耦和X86化改造。

2）2016年至2017年

私有云管理平臺，圍繞運維需求，重點建設資源運營流程、資源自動化調度等能力。

資源池建設方面，形成B域、M域融合的資源池；擴充網管資源池，逐步納入已云化改造的業務平臺，初步形成網管、業務的綜合資源池。

建設資源池PaaS能力，探索SDN新技術應用。

3）2018年至遠期

形成某運營商私有云兩地三中心架構，為上層業務提供不間斷的資源保障與彈性資源供給能力。

形成較完善的云管理平臺、IaaS、PaaS能力，支撐上層各類系統和平臺的靈活部署快速迭代。

完成業務平臺軟硬件解耦，硬件納入私有云資源池統一管理。

圖5 虛擬機與容器特點對比

4 網管支撐系統私有云規劃

4.1 規劃思路

以網管支撐系統私有云規劃為例，該運營商面向未來發展，基于前期分層架構，將進一步推動網管系統全面云化規劃。

參照云計算架構，網管系統整體規劃為SaaS（軟件服務）、PaaS（平臺服務）、IaaS（基礎設施服務）三層架構。如圖6所示。

SaaS層：圍繞網絡集中運維，推動現有應用云化改造（虛擬化、分布式、微服務等）、新增應用直接云化部署，目標是實現百花齊放、靈活部署和敏捷開發，支撐DevOps（需求開發和系統運維整合管理模式）。

PaaS層：原共享與服務層規劃入PaaS層能力，新增K8s容器資源管理與應用編排能力、YARN分布式計算集群資源管理能力，利用IaaS提供的基礎設施服務，為SaaS層提供更加完備的服務（數據服務、采集服務、計算框架等），目標是實現數據和能力開放。

IaaS層：完善網絡、計算、存儲等基礎資源服務提供能力。

圖6 網管支撐系統私有云規劃圖

4.2 規劃演進方案

遵循以上思路，為實現網管支撐系統“從專業網管向‘4+1’體系架構的綜合網管演進，全面支撐全業務開通，實現端到端的業務監控和質量管理，提升業務和服務的質量和效率，降低網絡運行維護成本”的目標，某運營商網管支撐系統私有云規劃演進方案建議如下：

（1）2014年至2015年

圍繞網絡集中化運維體制改革，加強“4+1”系統建設，重點持續提升4G、VoLTE、互聯網、政企業務的集中化支撐能力；推進網管SOA架構演進，保持可持續性健康發展，包括數據總線、統一采集、統一DPI、集中操作維護、GIS服務等共享服務等能力。

推動系統云化改造，包括Docker/VM、超融合架構、YARN/K8s等新技術應用。

提升高可用性，具備一定容災能力。

（2）2016年至2017年

持續推進資源管理、性能管理、故障管理、網絡優化、運維管理的集中化、標準化的支撐能力建設，實現從面向設備、面向網絡到面向業務、面向客戶支撐管理能力的轉型提升；面向云計算、大數據的發展，推動網管系統SOA架構基礎服務能力的對外開放，包括統一采集、統一DPI、數據總線等。

構建統一應用、集群資源管理技術架構，進一步提升云化水平，提升資源利用率和均衡性。

（3）2018年至遠期

緊隨網絡新技術、新業務發展，提早規劃研究相關網絡管理能力并啟動建設，如NFV、物聯網管理能力等。

促進IT能力內化，具備自主架構規劃、系統設計能力，具備私有云資源運營能力，探索自主研發能力。

5 結束語

眾所周知，云計算具有自身的優點，主要體現在提升資源利用率和系統擴展性，通過改變傳統項目的管理模式提高了業務部署的速度，增強了系統可靠性，降低了電信運營商的總體建設成本，因而增強了企業競爭力。

但是，云計算經過了幾年的發展和建設實踐，也出現了一些問題，比如：1）因底層網絡不支持導致二層網絡無法打通，進而無法實現IT各域系統之間跨集群/機房/局址的資源調度；2）因Hadoop集群與云管平臺接口標準化程度低無法實現Hadoop/MPP等物理機資源納入云管平臺，進而無法實現資源的遷移；3）早期因管理方式沒有及時與私有云資源池建設模式匹配而導致的項目進度緩慢。

電信運營商針對以上問題需要在規劃建設方面予以關注，與此同時，也要特別注意IT系統云化和云資源池建設的各個環節要素應協調發展、緊密配合才能全面發揮云計算的優勢。

[1] 陸鋼,楊新章,何震葦,等. 電信運營商對容器技術的探索和思考[J]. 電信科學, 2016(8): 159-160.

[2] 趙輝,丁鳴,程青松,等. SDN與NFV技術在云數據中心的規模應用[J]. 電信科學, 2016(1): 144-151.

[3] 程偉強,李晨. 電信級SDN在運營商網絡中的應用研究[J]. 電信技術, 2016(3): 52-55.

[4] 黃志蘭,樊勇兵,陳楠,等. overlay SDN實現異構兼容的關鍵技術[J]. 電信科學, 2016(11): 112-118.

[5] 王永建,張健,張富根,等. 基于VXLAN的云數據中心網絡研究[J]. 通信技術, 2017(1): 78-83.

[6] 張衛峰. 深度解析SDN利益、戰略、技術、實踐[M].北京: 電子工業出版社, 2014.

[7] 邵廣祿. SDN/NFV重構未來網絡[M]. 北京: 人民郵電出版社, 2016.

[8] 中國移動通信集團公司技術部. 自主核心能力產品/服務清單匯報[R]. 2016.

[9] 中國移動通信集團河北有限公司. 河北公司私有云規劃[R]. 2016.

[10] 華為技術有限公司. 華為FusionStorage 3.30技術白皮書[R]. 2016. ★