電信運營商開放式IaaS云平臺研究

秦潤鋒，樊勇兵，唐 宏，金華敏

（中國電信股份有限公司廣東研究院 廣州 510630）

1 引言

隨著IaaS云計算技術的不斷成熟，電信運營商逐步引入相關技術并大力推進其龐大IT基礎設施資源的集約化運營管理。近幾年，電信運營商主要以虛擬化技術（包括ESXi、Xen Server、Hyper-V以及 KVM 等）為基礎實現計算、存儲、網絡等資源的“池化”部署，以提升繁多的業務平臺、IDC、計費和BOSS等IT基礎設施系統資源的利用率并加快新業務的部署開通效率?！俺鼗敝饾u實現基礎資源的橫向構建，同時也實現業務與資源的縱向剝離，但隨著“池化”的不斷深入，資源池對于“云化”提出了迫切需求，尤其是通過“云化”逐步提升資源池的智能彈性部署與自動化業務生成能力，逐步解決資源的自動化配置、調度、管理以及應用交付等問題。

IaaS云管理平臺是“云化”核心，是實現大規模資源池智能彈性部署與自動化業務提供的集權式管理系統。對于傳統電信運營商而言，“池化”到“云化”的演進過程中，可能會存在以下3點制約瓶頸。

·雖然國外專有IaaS云管理平臺技術先進且功能較為完善，但其高成本性導致電信運營商在運營大規模云資源池的場景下，無法為用戶提供更有優勢的IaaS服務。

·電信運營商云資源池不僅虛擬化平臺不同，而且涵蓋不同類型的存儲設備和網絡設備，如果IaaS云管理平臺真正實現異構化資源管理與調度，均需要大量的二次適配開發。另外，IaaS云管理平臺在云業務運營層面必然需要實現多個部門、多個系統之間的流程銜接與打通，若實現自動化運營，必須在IaaS云平臺中深度嵌入符合電信運營商需求的流程環節。

·廠商封閉的IaaS云管理平臺技術導致電信運營商有被lock-in的風險，同時也無法集成其他更好、更具有優勢的技術產品，無法為用戶提供不同級別、不同內容、不同模式的服務。

為了有效解決電信運營商在IaaS云平臺部署與實施過程中的瓶頸，更好地提供規模化IaaS云業務，需要結合自身需求規劃設計電信運營級端到端IaaS開放式云管理平臺，基于該平臺可實現多廠商、多技術制式的兼容或適配，實現廣域化云資源池的統一納管，實現外部用戶的黏性綁定與內部業務的靈活拓展，其開放性主要體現在以下3個方面。

（1）底層接入能力的開放

通過基礎設施適配層兼容多種主流技術制式，通過不同模塊定義不同虛擬化軟件、對象存儲、交換機/路由器、防火墻、負載均衡器以及其他云部件的適配插件，實現云平臺多種技術、多種軟硬件的兼容性，避免單一廠商產品的綁定。

（2）外部 API的開放

云平臺基于各個服務組件提供統一的對外API，滿足開發者或客戶自有平臺的資源調用以及相關應用部署要求。

（3）云平臺系統架構的開放

平臺基于分布式組件模塊的方式，所有核心組件與服務組件均通過中央消息引擎實現松耦合關聯，即可通過消息實現通信，也可通過API實現調用，新增組件只需要符合接口規范即可實現靈活接入，無需內核修改。

電信運營商在推動開放平臺的過程中，可積極借鑒以OpenStack為代表的開源云平臺，OpenStack技術架構的設計理念符合電信級運營需求，在系統架構、規模性、兼容性、功能、性能等方面具備運營級能力，可基于OpenStack發展滿足業務運營需求的IaaS云平臺。

2 開放式IaaS云平臺的系統能力

基于電信運營商的業務功能需求與運營需求，開放式IaaS云平臺必然具備相應的系統可擴展、安全可靠、資源彈性調度、底層兼容、上層應用感知、差異化服務（SLA）、規模部署、開放式接口、靈活計費、運營流程支撐、統一監控以及應用遷移等能力，以下主要介紹其中的系統可擴展、兼容、SLA以及規模部署能力。

2.1 系統可擴展能力

電信運營商基于IaaS云平臺面向內外部用戶提供規模化業務，必然會接收大量業務并發請求，并消耗大量業務處理能力。另外，IaaS云平臺所面向的客戶需求千差萬別，系統必然會不斷更新、不斷改造，其變化過程是相關功能模塊擴展的過程。因此，在性能和功能方面，IaaS開放云平臺應該具備良好的系統可擴展能力，使得云平臺系統在為用戶提供服務的過程中能實現平滑擴展，保證系統的持續運行。

（1）系統容量與性能的擴展能力

當云平臺系統已有資源無法應對公眾客戶大量請求時，能夠通過硬件升級或增加硬件數量的方式增強系統的容量與性能。隨著逐漸添加或升級硬件，系統容量能夠線性增加、性能能夠線性增強，同時擴展的過程不影響系統的正常運作。

（2）系統模塊的擴展能力

云平臺系統采用分布式架構，當系統需要新增功能時，新增功能以新增模塊的形式添加到系統中。新增模塊的過程不影響系統的運作以及整體性能的發揮。在系統運營的過程中，當公眾客戶提出新功能的需求時，系統模塊的擴展能力使得系統能夠良好擴展新功能，從而快速響應公眾客戶的需求，在面對市場競爭時更具優勢。

2.2 系統底層兼容能力

IaaS開放云平臺系統的底層兼容能力主要表現在4個方面：虛擬化軟件的兼容、服務器硬件的兼容、網絡設備的兼容、存儲設備的兼容，具體介紹如下。

·虛擬化軟件的兼容能力：兼容多種虛擬化技術，包括 KVM、Hyper-V、Xen Server/XCP、VMware ESX 等主流的虛擬化技術。

·服務器硬件的兼容能力：兼容主流的x86架構CPU芯片（Intel、AMD）以及不同工業廠商生產的標準服務器。

·網絡設備的兼容能力：兼容不同工業廠商生產的標準路由器、交換機、防火墻、負載均衡器等網絡設備。

·存儲設備的兼容能力：兼容多種標準協議（iSCSI、FCoE、FC、NAS等）的存儲設備，兼容不同工業廠商生產的標準存儲設備。

2.3 系統差異化服務能力

IaaS開放云平臺系統能夠根據與用戶簽訂的SLA協議提供相應的差異化等級服務。不同的虛擬化技術以及硬件設施所提供的IaaS服務有所區別，云平臺系統深度兼容各類虛擬化技術以及不同制式、不同廠商的硬件設施，并在此基礎上以不同服務模板的形式為不同類型的用戶提供差異化服務。IaaS云平臺采用商業化虛擬平臺（VMware、Hyper-V、Xen Server等）以及高端硬件設備提供高端SLA服務，同時可采用其他開源虛擬化平臺（KVM、XCP）以及普通的硬件設備提供相對低等級的SLA服務，或者根據用戶的需求提供介于兩者之間的SLA服務。用戶可以根據發展的需求選擇適合的SLA服務協議，IaaS云平臺系統可根據SLA封裝不同的軟硬件模板并提供給用戶。

2.4 系統規模部署能力

對于電信運營商，IaaS云平臺系統必須具有大規模、跨廣域的系統部署能力，能夠跨廣域納管大規模的底層基礎設施，實現彈性化智能調度，其部署能力主要包括以下兩個方面。

（1）大規模部署能力

云平臺系統是基于分布式技術的云操作系統，各種不同的功能并不是緊耦合于中心系統之中，而是以單一的功能模塊存在，不同的功能模塊通過消息機制實現互通。不同的功能模塊均可單獨部署，相互間的通信采用標準接口，通過底層通信總線完成各功能模塊之間的數據交互和調用，從而形成整體開放式的IaaS云平臺系統。因此，開放式平臺的架構特點決定了系統能夠靈活、大規模地部署在底層基礎設施上，進而對底層基礎設施進行管理與調度。

（2）跨廣域部署能力

IaaS開放式云平臺系統中的不同功能模塊之間通過異步消息機制實現通信，當一個功能模塊針對某一個會話發送請求消息時，系統無需鎖定，可繼續完成其他會話的流程處理，因此可根據不同區域的業務需求部署不同的功能模塊，可有效支持跨廣域業務提供能力。另外，開放式云平臺可依據“就近原則”實現廣域部署，解決廣域網通信時延問題，使得用戶通過就近原則實現節點接入。

3 開放式IaaS云平臺架構研究

3.1 分布式模塊架構

開放式IaaS云平臺可參考OpenStack體系架構，采用分布式模塊化邏輯架構，各個功能模塊相對獨立，耦合性較低，可靈活分布于不同節點，彼此通過消息中樞通信，如圖1所示。

圖1 開放IaaS云平臺分布式體系架構

各個功能組件之間的協作可通過兩種方式通信：一是通過消息中樞轉發信息，二是通過數據庫共享信息。對于消息中樞，發送消息等待響應的一方，是消息生產者，接收消息、執行相應任務并進行響應的一方是消息消費者，功能組件可同時具有消息生產者和消費者的角色。消息生產者將要執行的任務的方法名、參數、消息主題等信息打包成消息，發送給消息中樞，消息中樞根據消息的主題將消息轉發到匹配的隊列，并通知消息消費者。消息消費者從消息隊列中解析相應消息并執行相應任務。如果消息需要進行響應，則消息生產者端在發送消息時建立一個消息消費者，而消息消費者端在執行任務后建立一個消息生產者，發送響應的消息。

數據庫組件保存云資源池中所有物理機、虛擬機、存儲和網絡等基礎資源的動態以及靜態信息，并可由各個功能組件共享相關狀態，基于不同的狀態信息完成相應的業務處理。

3.2 層次化部署架構

為了滿足電信運營商對于云資源池的跨域管理，其開放式IaaS云平臺系統必然是層次化部署模式。理想中的IaaS云平臺系統分層部署，包括4個層次，分別為：中心控制層、資源區域層、數據中心層以及集群層，具體介紹如下。

（1）中心控制層

中心控制層主要負責全網資源的調度以及用戶的統一認證授權，主要由統一認證、系統接口、資源調度、數據庫、消息中樞5個組件組成。用戶通過中心控制層實現云資源池的訪問，中心控制層的認證服務會對用戶進行授權，并提供完備的API實現用戶的對接操作。另外中心控制層的資源調度組件實現全網資源池的總體調度，包括所有資源的狀態信息、配置信息、能力信息等的管理以及資源的有效調度管理。中心控制層的消息中樞組件實現資源區域層各個功能組件的消息存儲與轉發，數據庫組件則保存所有用戶信息和各個資源區域層、數據中心層以及集群層的信息。

（2）資源區域層

資源區域層主要實現本區域內所有數據中心以及集群資源的調度工作，主要由系統接口、資源調度、數據庫、消息中樞4個組件組成。其中，系統接口組件主要提供本資源區域所有資源的API服務；資源調度組件實現資源總體調度，包括資源定位、資源配置、資源生命周期管理等；消息中樞組件主要實現本地各個功能模塊的消息存儲與轉發以及同上層中心控制層以及下層數據中心層的消息中樞進行通信；數據庫組件主要存儲本區域所有資源的能力信息。

（3）數據中心層

數據中心層部署于單一數據中心內部，主要實現本地數據中心的資源管理與調度服務，其涵蓋所有相關功能模塊。數據中心層完成底層計算、存儲和網絡物理資源池化工作，并為上層用戶提供彈性、可擴展以及靈活的資源服務，在此基礎上實現監控、鏡像模板、安全防護、負載均衡等應用服務。

（4）集群層

集群層是IaaS云平臺系統的最小管理單元，一個集群的設備必須在同一機房甚至同一LAN內，其軟硬件設備盡可能避免異構。提出集群的概念，是考慮虛擬機熱遷移范圍、單節點物理機納管數量、共享存儲訪問效率，都受限于現有虛擬化技術，需要定義和劃分建設部署的基本單元，保證該單元實現性能最優化和效率最大化。

3.3 計算虛擬化兼容架構

開放式IaaS云平臺系統實現了底層物理資源的計算虛擬化。該平臺兼容多種主流虛擬化軟件，包括VMware ESX、Xen Server、Hyper-V等商業虛擬化軟件，也包括XCP、KVM等開源虛擬化軟件；平臺封裝了底層虛擬化軟件的調用細節，向上提供了統一接口進行訪問，簡化上層調用平臺功能編程的復雜度。計算虛擬化兼容平臺架構如圖2所示。

圖2 計算虛擬化兼容平臺架構

計算虛擬化兼容平臺架構采用面向對象設計的思想，實現了底層虛擬化技術的兼容能力。接口模塊作為基類封裝底層虛擬化軟件的功能，向上層應用提供計算虛擬化服務接口；底層虛擬化技術模塊 （VMware模塊、Xen模塊、Hyper-V模塊、KVM模塊等）作為子類繼承接口模塊，根據不同虛擬化技術的API調用底層的虛擬化軟件，實現計算虛擬化功能。計算虛擬化兼容平臺通過新增模塊的形式添加新的虛擬化技術。新增模塊只需要繼承接口模塊基類、改寫其中的接口實現，就能使得新虛擬化技術添加到計算虛擬化兼容平臺中。

3.4 快速塊存儲兼容架構

開放式IaaS云平臺系統的快速塊存儲組件提供給虛擬機使用但獨立于虛擬機的永久塊存儲服務，快速塊存儲相當于云中的硬盤，這種硬盤通過掛載的方式附加到虛擬機上使用，但其生命周期與虛擬機無關，當虛擬機刪除后，硬盤依然存在。CTOC系統的快速塊存儲服務兼容不同類型的標準設備（如SSD、SAS、SATA等）、不同標準通信協議的設備（如iSCSI、AoE、FCoE等）。快速塊存儲兼容架構采用面向對象設計思想，實現兼容各種不同接口、不同工業廠商生產的存儲設備。接口模塊作為基類封裝調用底層存儲功能的細節，向上層提供統一的存儲服務接口。由于不同工業廠商生產的存儲產品眾多，且不同的存儲產品具有不同的編程接口，因此快速塊存儲架構根據不同的標準通信協議（ISCSI、FCoE、AoE）劃分為大子類直接繼承接口模塊（如圖3所示的FCoE模塊、iSCSI模塊）；使用相同標準通信協議存儲設備的驅動模塊繼承對應的大子類；如果同種標準通信協議的存儲設備的大部分接口功能相同，則可以把相同的接口抽象形成新的中間模塊，進而簡化編程復雜度。

根據上述設計思路最終形成的快速塊存儲架構如圖3所示，快速塊存儲的模塊組成形成樹狀圖，葉子節點模塊繼承模塊，根據存儲設備提供的特定接口實現存儲設備的使用管理。當IaaS云平臺系統新增存儲設備時，只需根據存儲設備的特點歸類添加到特定的父類下，并根據存儲設備的接口改寫父類的方法實現存儲設備的驅動模塊，此后系統便能使用新增的存儲設備。

3.5 智能虛擬網絡兼容架構

圖3 開放式IaaS云平臺系統的快速塊存儲兼容架構

智能虛擬網絡提供虛擬網絡服務。用戶能將自己在彈性計算中的虛擬機納入虛擬網絡中。虛擬網絡能劃分為多個子網。智能虛擬網絡也通過在子網級別設置訪問控制列表和在實例級別設置安全組增加子網內實例的安全性。智能虛擬網絡組件的架構如圖4所示。

圖4 智能虛擬網絡組件的架構

IaaS云平臺系統智能虛擬網絡主要提供與虛擬網絡、子網、安全組、訪問控制列表相關的操作接口，負責載入智能虛擬網絡插件，并將API請求交給智能虛擬網絡插件處理。

4 結束語

開放式IaaS云平臺為分層、模塊化的體系架構。架構中的各功能模塊分布式部署且相對獨立，通過消息中樞進行通信，通過數據庫共享云資源狀態等信息，方便增加新的服務模塊，該部署架構中包括高可用的分布式消息中樞網絡，用來支持系統不同層次區域之間的通信，同時功能模塊所在的節點也可設計為冗余模式，支持容災備份，提供高可靠、高安全的部署方式。傳統電信運營商需要充分利用自身網絡基礎設施優勢，積極探索與拓展開放式公有云的廣域服務提供能力，基于智能管道致力于功能的細化、架構的優化與部署的規?；?，最終實現云平臺精細化、構件化與服務化的運營。

1 Openstack.Openstack Compute Administration Manual,2012

2 中國電信集團公司.云計算技術手冊,2010