基于Openstack私有云平臺的高可用性研究

劉丹，李紀成，隋欣，2，王歡，李莉

（1.長春理工大學計算機科學技術學院，長春 130022；2.吉林省教育學院職業與成人教育教研培訓學院，長春 130022）

基于Openstack私有云平臺的高可用性研究

劉丹1，李紀成1，隋欣1，2，王歡1，李莉1

（1.長春理工大學計算機科學技術學院，長春 130022；2.吉林省教育學院職業與成人教育教研培訓學院，長春 130022）

隨著信息技術的發展，傳統的并行計算和網格計算等計算模式逐漸發展成為云計算。當前云計算服務應用于各行各業。企業也可以搭建自己的私有云，為內部員工提供更加便捷的服務支持。云服務的可靠性是一個值得討論的問題。針對OpenStack私有云的高可用性進行分析，將其服務狀態分為有狀態服務和無狀態服務，設計私有云平臺各個模塊的高可用方案，實現Openstack私有云平臺的高可用性。

OpenStack；私有云；服務狀態

隨著當前數據量的急劇增長，網絡帶寬與物理硬件的提升以及虛擬化技術的飛速發展，使得云計算應用的不斷深入，其提供的服務已應用于各個產業。在私有云平臺構建過程中，應充分考慮其高可用性。高可用性主要是為了防止系統故障和數據丟失而設計，系統故障會導致面向客戶的服務無法達到正常的工作時間、或者低于服務承諾的平均無故障時間。本文針對OpenStack私有云平臺的高可用性進行討論。

1 OpenStack私有云的高可用性分析

OpenStack云平臺通過對計算、存儲及網絡資源的整合，提供給用戶更便捷的服務。“私有云”已經廣泛應用于政府、大型企業等。為支持大規模用戶的高頻訪問，要求系統結構、計算資源、網絡資源等都應具有一定的可用性，用來確保整個系統平臺穩定的運行。OpenStack云平臺由計算節點、網絡節點及控制節點等核心部分構成。因此，本文將針對這幾個模塊的高可用性進行討論，分析Nova-network、消息隊列以及數據庫等幾項核心模塊。

1.1 網絡配置的高可用性

OpenStack的網絡模塊包括nova-network和neutron兩種。本文選用nova-network作為網絡模塊。Nova-network提供三種網絡模式：Flat模式、FlatDHCP模式以及VLAN模式。在網絡部署時，常用的部署方案是單點網絡結構。單點部署方案可以將網絡集成到控制節點中，也可以單獨用一個節點來提供網絡，負責所有與其相連接的Compute節點的網絡供應。其網絡結構如圖1所示：

圖1 單點網絡結構圖

Network節點提供了實例，實例與外界之間的網絡通信，并且能夠實現網絡地址轉換與動態主機配置協議功能。因此，網絡節點的故障會影響到整個平臺的網絡中斷，造成所有的服務都失效。為避免單點故障，首先要對Nova-network進行高可用配置。

對Nova-network進行高可用（HA）的配置，可將網絡節點進行主備冗余配置。同時，配置兩臺服務器作為網絡節點，構成“主從結構”，即一臺“主服務器”master，一臺或多臺“從服務器”backup。如果backup服務器一段時間內沒有收到master信號，就判斷master故障，由backup接管網絡服務。其網絡結構如圖2所示：

圖2 主備冗余網絡結構圖

當主備冗余在發生故障的時候，主從服務器間發生切換。切換的過程中，對網絡會產生一定的影響。因此，該網絡配置方案不是網絡高可用的最優方案。

根據上述分析結果，在實驗過程中，將HA網絡配置方案進行改進。將Nova-network模塊集成到計算節點中，由每個計算節點自身的Nova-network來提供網絡，這樣所有的計算節點都可以通過Nova-network來與外界進行網絡通信，而且所有的計算節點中的網絡模塊，也將形成一個Flat模式的二層網絡，所有計算節點中實例都可以通過這個扁平的二層網絡進行通信。其網絡結構如圖3所示：

圖3 二層網絡結構圖

1.2 網絡通信的高可用性

OpenStack云平臺的各模塊間的通信是通過消息隊列的協助完成的。因此，消息隊列的高可用性對云平臺的高可用性有較大影響。消息隊列高可用性可分為集群、鏡像模式等方式。

在默認集群模式中，隊列的消息僅在一個節點存在，主副兩個節點中有相同的元數據。消息每次進入主節點的隊列中，會從副節點經過被需要使用的消費者拉取，也就是說每次消息都會在主副節點間進行傳輸，盡量連接每個節點去獲取隊列中的消息。但當主節點發生故障時，如果主節點的消息還未被使用（既沒有消費者拉取也沒有傳遞到其他節點），該消息就會丟失。

在鏡像模式中，需要將消息隊列做成鏡像隊列，并將其分發到多個節點中，這種模式與上述默認集群模式不同。該模式下，消息不需要被動的被消費者拉取，而是主動的在所有的鏡像節點上同步。鏡像模式分為master節點和slave節點。所有的消息都會經過master向其他slave節點發送以確保消息同步。當消息消費以后，master節點會對消費者進行ack確認，通過后才會刪除消息。若master節點故障則系統會選擇其中一個salve節點作為master繼續維持隊列通信。這種方案也有一定的弊端。在不考慮集群消耗的情況下，如果同時有大量消息進入鏡像隊列，這種消息同步的方式會占用很大的網絡帶寬造成網絡擁堵。

上述分析可得，無論是默認集群模式還是鏡像模式，都有不足之處。在構造高可靠性的云平臺時，應將以上兩種模式相結合，設計消息隊列的高可用集群。先實現默認集群模式，以此為基礎配置鏡像模式來實現網絡通信的高可用。

1.3 數據庫的高可用性

OpenStack中的數據庫存儲包括各個模塊的狀態信息、配置信息以及云主機的實例的相關信息。數據庫的可靠性是保障整個系統穩定的基礎。如果出現數據丟失，OpenStack云平臺將會造成無法預知的后果，所以數據庫的高可用在企業應用中是必不可少的一部分。

數據庫高可用方案可采用MySQL集群或主從數據庫來實現。當高可用性需要達到99.9%級別時，通常會選擇MySQL復制；而99.99%級別則需要使用NDB集群來支撐。NDB作為數據節點存儲數據，統一由管理節點進行管理。還有一個用來訪問數據的節點稱之為SQL節點。而整個高可用性是依賴數據節點中，數據進行多副本存儲。這樣在出現故障的時候才能保證數據的完整性，從而保障了數據庫的高可用。MySQL復制則大多依靠MySQL Master-Master Replication Manager來實現，使用多個IP結合多個數據節點包含master和slave。一旦遇到某個數據節點fail，檢測不到心跳、服務器的狀態，監測模塊會將服務切換到一個正常運行的備用節點上。在正常運行的過程中，主服務器中每次數據有變化時都會寫入日志，從服務器連接到主服務器會根據日志讀取到的最后一次數據更新，來保持所有的服務器數據的一致性。

基于數據庫的主從復制管理集群，包含主節點、備用節點及監控節點。所有的節點都配置在一個IP資源池。主節點在進行任何數據庫的讀寫操作時，利用數據庫的主從復制，同時更新備用節點的數據庫，以此保證主備數據一致。整個系統運行過程中，由監控節點負責監控主節點上各項服務是否可用，同時觸發主備節點上的IP地址轉換。當主節點發生故障，備用節點會自動負載所有的服務，以保證整個系統的穩定運行。

2 OpenStack私有云高可用架構

基于以上對OpenStack私有云高可用性分析，在實驗過程中，采用以下高可用方案：在云平臺架構中，應設置兩個私有云控制器。這樣可以避免因單個節點壓力造成控制節點宕機。而且當故障發生時，自動切換也不會有很大延遲。從而保證整個體統穩定運行。具體私有云高可用系統架構如圖4所示：

圖4 OpenStack私有云的高可用架構圖

在私有云平臺中，網絡模塊集成到每個計算節點中。這是為了避免由于網絡節點宕機，所造成的系統網絡中斷。在云平臺架構中，配置雙控制器，可以保證平臺的認證、鏡像及通信等服務的穩定運行。在提供服務的控制器發生故障時，系統將進行自動檢測，并切換到另外一個控制器。整個切換過程只會有短暫的延遲，對云主機的使用沒有任何影響，確保了云平臺的可靠性及高可用性。

3 OpenStack私有云高可用性設計與實現

3.1 網絡配置方案

在OpenStack私有云平臺架構建立中，為了確保其高可用性。在實驗過程中，要盡量避免單點故障。因此，架構設計時，每臺服務器應使用雙網卡機制，并且配置在兩個交換機上。這樣可以保證一個網卡故障或者交換機故障，整個系統的網絡不會癱瘓。其網絡設計如圖5所示。

圖5 網絡設計結構圖

在使用雙網卡及兩個交換機基礎上，需要對網卡進行設置以確保網絡通暢。為此，對每個物理服務器都進行雙網卡綁定。所謂雙網卡綁定就是利用ifenslave，將雙物理網卡綁定在虛擬網卡bond0上。實現了網絡的高可用性。其主要配置過程：

OpenStack云平臺中的全部節點都按照上述配置方案進行部署。無故障運行模式下，兩張網卡同時負責網絡通信。當單張網卡出現故障時，另一張網卡將會承擔后續網絡的通訊任務。此時，經測試驗證，bond0的傳輸速率是原單張網卡的兩倍。在實驗中，將兩個萬兆物理網卡綁到一個bond0上，bond0的傳輸速度是20000Mb/s，正好是單張網卡的兩倍。其測試過程：

3.2 有狀態服務高可用實現

實驗過程中，云平臺中的數據庫采用Mysql。為了實現數據庫高可用性，將控制節點的Mysql配置成主從復制，從而實現了每一步數據庫相關的操作都分別在兩個數據庫中執行，確保了數據的完整性和Mysql的高可用；通過配置keepalive的虛擬IP，實現數據庫發生故障時，可以進行自動切換，這樣進一步地保證了數據庫的完整性。其主要配置過程：

在實驗過程中，消息隊列RabbitMQ的broker服務應通過雙控制節點構建，即Erlang節點的邏輯集合。這樣的配置方式，可以避免任意節點的單點故障導致消息隊列服務失效。部署RabbitMQ broker服務的關鍵是確保雙節點的Erlang cookie文件一致。因此，在配置前應暫停所有節點的RabbitMQ服務，將第一臺節點中Cookie文件復制到其它節點。然后再啟動全部節點的RabbitMQ，確保所有節點度處于運行狀態。最后，停掉其余Erlang上的RabbitMQ的應用，將其加入到集群。其配置過程如圖6所示。之后，在Nova.conf配置文件中，Rabbit-MQ HA集群的連接地址及端口需進行設定，實現消息隊列的高可用性。

圖6 消息隊列構建過程

3.3 無狀態服務高可用實現

云平臺無狀態服務的高可用性，通過keepalived實現。基于虛擬路由冗余協議協議（即vrrp協議），將多臺提供相同功能的機器構成一個組。每組能包含一個master和多個backup。外提供服務的虛擬IP由master負責提供，當backup收不到vrrp包時就認為master宕機，通過優先級進行調度將backup變成master繼續使用，用以確保云平臺的高可用。在實驗過程中，將兩臺控制節點上安裝keepalived。其主要配置過程：

其中，vrrp_script用來做健康檢查。當檢查失敗會將vrrp_instance的值減少相應的weigh值，并且將兩個控制節點的state全都設置成BACKUP。這樣可以防止當master節點故障消除后，立即將BACKUP機器的服務轉接過來，所造成的對系統穩定性的影響。Virtual_ipaddress中對虛擬IP進行了設置，兩個控制節點IP都應映射到此IP。當虛擬IP所在的節點宕機，虛擬IP會自動切換到另一個控制節點上，接管原來的所有服務。

4 Openstack高可用實現結果

當所有服務都正常啟動之后，通過查看Openstack的Service列表，可以看出整個云平臺的服務信息與狀態。如圖7所示：

圖7 云平臺Service列表圖

從前文分析可得，實驗過程中整個Openstack私有云平臺包含兩個控制節點（即controller1與controller2）與多個計算節點，這兩個控制節點中包含相同服務，共同來管理整個私有云平臺。通過上述的搭建方式實現云平臺的高可用性。

5 結論

本文針對OpenStack私有云平臺的高可用性進行了討論。在多種服務狀態下，通過對OpenStack云平臺的nova-network、消息隊列以及數據庫等核心模塊的研究分析，設計了私有云平臺各個模塊的高可用方案。最終實現私有云平臺的高可用性，提高了云平臺的可靠性。

［1］王霄飛.基于OpenStack構建私有云計算平臺［D］.廣州：華南理工大學，2012.

［2］戢友編著.OpenStack開源云.王者歸來［M］.清華大學出版社，2014.

［3］陳伯龍，程志鵬，張杰編著.云計算與OpenStack虛擬機Nova篇［M］.電子工業出版社，2013.

［4］劉飛宇.OpenStack云平臺下的虛擬機監控與控制的研究與實現［D］.成都：電子科技大學，2013.

［5］白瑞俊，劉光明，張瑞虹，等.虛擬化技術OpenStack在高性能計算集群上的應用與研究［J］.計算機光盤軟件與應用，2013，16（15）：72-74.

［6］汪楠.基于OpenStack云平臺的計算資源動態調度及管理［D］.大連：大連理工大學，2013.

［7］Openstack部署工具總結，http：//www.chenshake.com/ openstack-deployment-tool-summary/

［8］黃志成.開源云計算OpenStack在高校計算機機房中的應用研究［J］.計算機與現代化，2013（3）：204-206.

［9］趙少卡，李立耀，凌曉，等.基于OpenStack的清華云平臺構建與調度方案設計［J］.計算機應用，2013，33（12）：3335-3338，3349.

Research on High Availability of Openstack Private Cloud Platform

LIU Dan1，LI Jicheng1，SUI Xin1，2，WANG Huan1，LI Li1
（1.School of Computer Science and Technology，Changchun University of Science and Technology，ChangChun 130022；2.School of Vocational and Adult Education，Jinlin Provincial Institute of Education，ChangChun 130022）

With the development of information technology，the traditional parallel computing and grid computing model has been gradually developed into cloud computing.The current cloud computing services are used in all walks of life. The enterprises are supported to build their own cloud privately for providing internal employees with high quality and convenient computing service.The reliability question of its service is worth out while disscussing.This paper analyzes the high availability of OpenStack private cloud，divides the service status into stateful and stateless.The paper also designs the high availability scheme to each module of private cloud platform，and realizes the high availability of Open-Stack private cloud platform.

OpenStack；private cloud service；service status

P315.69

A

1672-9870（2016）06-0085-05

2016-08-26

劉丹（1983-），女，博士研究生，講師，E-mail：ld_1983@hotmail.com

李莉（1963-），女，博士，教授，博士生導師，E-mail：ll@cust.edu.cn