基于OpenStack和Kubernetes的雙向部署技術研究

杜磊

摘要：該文基于OpenStack和Kubernetes兩大云計算領域開源技術研究了二者的融合及雙向部署技術。OpenStack通過虛擬化技術將計算、存儲、網絡等資源抽象成計算資源池、網絡資源池和存儲資源池，實現基礎虛擬資源的統一調度管理。Kubernetes能夠對容器化應用進行編排、運行、維護和擴展等，可以實現容器管理功能。基于OpenStack集群實現Kuber-netes集群的部署可利用OpenStack的Magnum項目融合Kubernetes集群提供容器服務。基于Kubernetes集群實現EOpen-Stack集群的部署的核心思想是將OpenStack組件容器化，可使用Kolla、OpenStack-helm以及Tripleo等項目，保證其更高效穩定的運行，資源得到充分利用并且便于擴展和維護。

關鍵詞：OpenStack;Kubernetes;云計算;雙向部署

中圖分類號：TP393 文獻標識碼：A

文章編號：1009-3044（2020）01-0010-03

隨著現代計算機技術的不斷發展，尤其是近年來國家網絡信息體系的不斷建設，云計算及相關領域的技術越來越受到重視。云計算是一種按需計費的商業模式，能夠使消費者通過便捷的、可用的網絡訪問，進一步使用由云服務商提供的計算資源共享池（資源主要包括軟件、網絡、服務器、存儲等），即只需要投入極少的管理工作就能快速提供資源，且消費者與服務提供商之間的互動會大幅減少。

OpenStack是一個構建穩定高效的開源云管理平臺項目，OpenStack集群通過虛擬化技術將計算、存儲、網絡等資源抽象成計算資源池、網絡資源池和存儲資源池，并將這些資源池進行統一劃分和管理，提供市場所需的虛擬資源及虛擬服務能力。Kubernetes是一個開源的容器集群管理系統，能夠支持不同的容器技術，Docker是Kubernetes集群系統普遍應用的容器化技術，利用Kubernetes集群便于管理跨主機的容器化應用，實現容器化程序的自動部署、實例化和運行管理能力。

OpenStack和Kubernetes都是開源的技術，二者的集群部署技術都已十分成熟，但OpenStack和Kubernetes的融合是當今虛擬化系統的研究熱點，更多的開發者聚焦于兩種集群的融合技術中，是未來OpenStack虛擬化集群和Kubernetes容器集群的發展方向，能夠使云計算供應商提供更好的應用及資源，有利于促進云計算領域IaaS層資源與PaaS層平臺服務的深入融合。

1OpenStack與Kubernetes概述

1.1OpenStack概述

OpenStack是一個構建穩定高效的開源云管理平臺項目，通過虛擬化技術將計算、存儲、網絡等資源抽象成計算資源池、網絡資源池和存儲資源池，通過keystone、nova、neutron、glance、cinder等組件實現對虛擬機、裸金屬、塊存儲、文件存儲、對象存儲、網絡、負載均衡、安全組、防火墻等基礎虛擬資源的統一調度管理。OpenStack架構如圖1所示。

OpenStack集群部署組件中keystone組件為nova、neutron、cinder、glance、ceilometer、swift等組件提供認證服務，保障集群的認證管理功能;nova組件為虛擬機VM提供部署和計算能力，便于虛擬機增、刪、改、查等全生命周期管理;neutron組件為虛擬機VM提供網絡服務，保障集群內的網絡架構功能;cinder為虛擬機VM提供云硬盤存儲能力，并將備份存儲在swift中統一管理，支撐集群的云存儲功能;glanee組件為虛擬機提供鏡像服務，支撐集群的應用部署鏡像環境，并將鏡像存儲在swift中統一管理;swfit組件為集群保障對象存儲功能，主要管理鏡像和備份存儲能力;ceilometer組件為nova、neutron、cinder、glanee等組件提供監控能力，用于集群的監控管理功能;horizon組件為nova、neutron、cinder、glance、swift、keystone等組件提供可視化界面，便于各個組件功能的可視化操作管理;heat組件為集群提供編排能力，能夠實現各個組件功能的應用編排。

1.2 Kubernetes概述

Kubernetes是由Google公司開源實現的跨主機集群自動部署、擴展管理容器化集群的系統。利用Kubemetes集群便于管理跨主機運行的容器化應用，能夠對容器化應用進行編排、運行、維護和擴展等，可以實現容器的負載均衡、資源監控、日志訪問與獲取、認證和授權、健康檢查、水平擴展和自動發現等功能。Kubernetes架構如圖2所示。

Kubernetes集群分為Master和Minion兩種類型的節點，Master為控制節點，Minion為計算節點。Master節點上部署著Kubernetes的主要控制組件：kube-apiserver、kube-controller-manager、kube-scheduler、etcd等，能夠處理Kubemetes API請求，能夠融合控制器處理集群中常規任務的后臺進程，能夠調度Kubernetes集群中部署的最小單元模型pod，能夠提供存儲Kubernetes集群的數據信息的鍵值對存儲服務。Minion節點上部署著kubelet、kube-proxy等組件，用于維護pod的運行時環境，kubelet是pod的代理服務，能夠通過apiserver或本地配置實現監視已分配的pod、加載volume、下載密鑰、啟動運行pod中的容器、定時執行健康檢測、報告pod運行狀態、創建鏡像備份等功能。kube-proxy能夠通過在主機節點上維護一個網絡規則和連接轉發來實現Kubernetes抽象出的服務概念，底層通過iptables實現流量轉發。

1.3 OpenStaek與Kubernetes的融合

0penStack與Kubernetes的融合主要有兩個方向：一是在0penStack集群上部署Kubemetes集群，利用OpenStack的mag.nun項目融合Kubernetes集群提供容器服務;二是在Kubernetes集群上部署OpenStack集群，利用一些重要的工具，比如Open-Stack-helm、Kolla-Kubemete等，將OpenStack的服務封裝成應用進行安裝，或者將0penStack以鏡像的形式運行在Kubernetes集群中。OpenStack與Kubernetes的融合已是大勢所趨，隨著技術的發展OpenStack和Kubernetes集群的雙向部署相信在未來都能夠很好地實現。

2OpenStack上部署Kubernetes研究

基于OpenStack集群實現Kubemetes集群的部署可利用OpenStack的Magnum項目融合Kubemetes集群提供容器服務，OpenStack的Magnum項目旨在為用戶提供更好的容器服務。Magnum項目支持主流的容器編排引擎Kubemetes、Swarm和Mesos，實現在OpenStack集群上搭建容器集群并使用容器服務。使用Magnum架構實現Kubernetes集群創建的核心在于Magnum的兩個組件：Magnum API和Magnum Conductor。mag-nun整體架構如圖3所示。

Magnum API負責接收創建Kubernetes集群的請求，Mag-nun Conductor負責執行創建Kubemetes集群的操作，通過與0penStack和容器編排引擎的交互操作提供容器服務。Mag-nun API和Magnum Conductor兩者之間的通信通過RabbitMQ服務的RPC（Remote Procedure Call，遠程服務調用1隊列完成。Magnum API組件主要包括certificate、cluster與clustertemplate等資源，certificate的作用是實現用戶鑒權，提供認證功能，clus-ter能夠提供容器服務，通過Magnum Conductor按照集群模板創建，clustertemplate是創建集群的模板，主要定義需要創建的集群的特征屬性，整合集群的特征屬性并為其提供創建的具體參數信息。Magnum API對接收到的請求進行解析后經過RPC隊列將操作集群的消息傳遞到Magnum Conductor組件進行處理，與集群模板相關的操作會直接與數據庫進行交互實現。Mag-nun Conductor接收到與操作集群相關的消息后，通過其三大核心資源進行后續處理，包括heat template、handlers和database等。heattemplate接收Magnum API的clustertemplate提供的集群特征屬性和具體參數信息，OpenStack集群中的Heat組件將其當作整體規劃模板以便于后續編排，handlers的主要功能是將資源信息寫入數據庫，集群資源的創建驅動會根據容器編排引擎和鏡像類型的不同而不同，創建集群時作為可選項提供功能，database提供數據庫功能，實現集群資源信息的寫入和記錄等。

通過OpenStack的Magnum項目實現Kubernetes集群創建的流程如圖4所示。Heat在創建集群時會將Kubernetes集群引擎的配置寫入Cloud-init工具，Openstack集群提供的虛擬機中會注2kCloud-init工具和相關配置，進而完成Kubernetes集群的創建，保證Kubernetes集群的容器服務正常運行。

3Kubernetes上部署openStack研究

基于Kubernetes集群實現OpenStack集群的部署的核心思想是將OpenStack組件容器化，實現OpenStack的微服務化，保證其更高效穩定的運行，資源得到充分利用并且便于擴展和維護。OpenStack的容器化部署可使用Kolla項目，Kolla-Ansible和Kolla-Kubernetes這兩個Kolla的子項目可實現容器的配置管理。Kolla-Ansible使用自動化運維工具Ansible實現容器的編排，Kolla-Kubernetes使用Kubernetes完成容器的編排，Open-Stack社區還有OpenStack-helm以及Triple0項目等將Kuber-netes運行于OpenStack底層。

Kolla-Ansible使用Docker Registry、Docker Compose與An-sible等工具來解決容器服務的下發、編排和配置等問題。Kolla首先將OpenStack打包成容器鏡像，并將鏡像存放在DockerRegistry倉庫中，然后用戶選擇部署方式，依據用戶需求編寫部署的yaml文件，將yaml文件分發給Docker Compose執行操作，Docker Compose依據集群配置進行編排，最后Ansible根據用戶的OpenStack配置將其寫入各個容器中，通過Docker拉起鏡像，完成集群部署。

Kolla-Kubernetes項目依靠Kubernetes實現OpenStack的容器化部署，實現OpenStack組件的容器化管理、編排和自動化管理。在Kubernetes集群上封裝OpenStack組件到容器中，同時寫入配置，完成集群的部署。將OpenStack部署在Kubernetes集群上有一個瓶頸還需解決，OpenStack集群和Kubernetes集群都具有較為復雜的一層網絡平面，OpenStack中主要使用neu-tron組件實現網絡功能，而Kubernetes中主要使用kube-proxy來實現容器間網絡流量的負載均衡，neuron需要直接對接底層硬件，若將其封裝在容器中運行就無法實現neuron與主機的連接，因此需要使用neutron直接為Kubernetes提供網絡服務，后續解決方向應該是將Kubernetes的kube-proxy組件和Open-Stack的neutron組件融合，提供Kubernetes集群更為強大的網絡插件，完美實現OpenStack的容器化部署。

4結束語

基于OpenStack和Kubernetes的雙向部署是云計算領域的發展趨勢，將Kubernetes集群部署在OpenStack集群上能夠充分利用計算、存儲、網絡資源，靈活調度，應用以容器的形式部署提高了開發效率和運維成本，將OpenStack集群部署在Ku-bernetes集群上在一定程度可以解決OpenStack部署困難的問題，無論是部署難度還是部署時間都優于現有的部署工具，同時在OpenStack集群的灰度升級、靈活調度、高效運維等方面充分發揮了容器技術的優勢，后續針對OpenStack的neutron組件和Kubernetes網絡組件的融合方面仍是研究重點和趨勢。