Rancher容器管理平臺在內(nèi)蒙古氣象云服務中的應用

摘 要：【目的】通過構建一套容器云平臺，為實現(xiàn)氣象業(yè)務系統(tǒng)應用容器云平臺的快速部署、擴展和管理提供支撐。【方法】基于Kubernetes集群和Ceph分布式文件系統(tǒng)，在Rancher容器管理平臺中構建一套計算與存儲超融合的容器云平臺。【結果】通過容器統(tǒng)一管理、日志監(jiān)控、存儲共享和資源調(diào)度等功能，為云原生應用架構在內(nèi)蒙古氣象領域中的技術實踐提供了支持。【結論】容器云平臺架構顯著提高了氣象服務的性能和可靠性，在提升氣象服務質(zhì)量和效率方面具有巨大的潛力，為氣象服務應對日益增長的要求和挑戰(zhàn)提供了有效的解決方案。

關鍵詞：容器管理平臺；Kubernetes；分布式文件系統(tǒng)

中圖分類號：TP399" " " 文獻標志碼：A" " 文章編號：1003-5168（2023）21-0027-06

DOI：10.19968/j.cnki.hnkj.1003-5168.2023.21.006

Application of Rancher Container Management Platform in Inner"Mongolia Meteorological Cloud Services

CHI Jizhong1 GUAN Hong2

（1.Inner Mongolia Meteorological Data Center， Hohhot 010051，China; 2.Inner Mongolia Electric Power （Group） Co.， Ltd.， Information and Communication Branch， Hohhot 010030，China）

Abstract： [Purposes] Through the construction of a container cloud platform， this paper provides support for the rapid deployment， expansion and management of the container cloud platform for meteorological business system applications. [Methods] Based on Kubernetes cluster and Ceph distributed file system， a container cloud platform with hyper-fusion of computing and storage is constructed in Rancher container management platform. [Findings] Through the functions of container unified management， log monitoring， storage sharing and resource scheduling， it provided support for the" technical practice of cloud native application architecture in Inner Mongolia meteorological field. [Conclusions] The container cloud platform architecture significantly improves the performance and reliability of meteorological services， and has great potential in improving the quality and efficiency of meteorological services，which provides an effective solution for meteorological services to cope with the growing requirements and challenges.

Keywords： container management platforms; Kubernetes; distributed file system

0 引言

隨著互聯(lián)網(wǎng)技術的發(fā)展，云計算在實現(xiàn)進步的同時，也面臨著一些挑戰(zhàn)。從簡單的虛擬機創(chuàng)建，到云三層（基礎設施即服務IaaS、平臺即服務PaaS、軟件即服務SaaS），再到云原生，云計算已從一種IT資源的使用演變成一種生態(tài)。大量的研究表明，簡單的云主機創(chuàng)建已無法滿足業(yè)務需求，因為后續(xù)還有大量的部署、運維等工作，所以，并不能徹底解決運維人員工作量大的問題。內(nèi)蒙古氣象局較早地使用Xen虛擬化、OpenStack開源技術搭建了多套虛擬化平臺^［1］。近年來，隨著氣象向信息化、集約化方向發(fā)展，虛擬化技術得到更廣泛的應用，最新部署的省級氣象云服務平臺雖是基于Docker技術構建的，可提供數(shù)據(jù)庫和消息中間件服務，但未能賦予管理人員更靈活的管理方式，導致無法滿足云原生應用架構的技術要求。

容器化技術是近年來發(fā)展最快的云計算技術之一，在提高應用部署效率、降低成本、增強應用安全性等方面有著廣泛的應用前景。Rancher作為一種容器管理平臺，不僅提供了便捷的容器部署、管理和監(jiān)控功能，還具備高可擴展性和高可靠性等優(yōu)點。因此，Rancher在企業(yè)級容器化部署中得到廣泛的應用。本研究探索了Rancher容器管理平臺在內(nèi)蒙古氣象云服務中的應用，旨在為容器化技術在氣象云服務領域中的應用提供一定參考。通過對容器化技術、Kubernetes集群和Rancher平臺進行研究，為容器化部署到氣象云服務中提供一種可行方案。

1 技術概述

1.1 Rancher

Rancher是一個為使用容器團隊打造的容器管理平臺，也是一個開源工具。通過Rancher可方便創(chuàng)建或運行Kubernetes集群，不必使用一系列開源軟件從頭搭建容器服務平臺。Rancher提供了Docker和Kubernetes全棧化的容器部署與管理功能，滿足IT需求規(guī)范，為 DevOps團隊提供技術支持^［2-3］。

Rancher具有以下三個方面優(yōu)勢。①簡單易用的搭建方式。Rancher完美解決了用戶安裝和配置Kubernetes集群的難題，用戶無需對 Kubernetes 有非常深入的了解，就能使用 Rancher。用戶可選擇使用Rancher Kubernetes Engine（RKE）或云Kubernetes服務來創(chuàng)建Kubernetes 集群，還可導入和管理使用任何 Kubernetes發(fā)行版或安裝程序創(chuàng)建的現(xiàn)有Kubernetes集群。②標準化編排和云原生生態(tài)。Rancher使用Kubernetes標準對容器進行編排。大多數(shù)云和虛擬化提供商都提供容器編排服務，目前，Kubernetes已成為容器編排標準。Rancher獲得了多種云原生生態(tài)系統(tǒng)產(chǎn)品的認證，包括安全工具、監(jiān)控系統(tǒng)、容器鏡像倉庫、存儲和網(wǎng)絡驅(qū)動等。Rancher應用商店包含一套實用的DevOps開發(fā)工具，為DevOps工程師提供簡單直接的用戶界面，用以管理其應用負載^［4-5］。③豐富的管理與控制。Rancher支持對其控制的所有Kubernetes集群進行集中認證、訪問控制和監(jiān)控，如 Active Directory憑證等，能設置所有用戶、組、項目、集群和云服務的權限控制策略和安全策略。

1.2 Ceph

Ceph是一個具有較好的使用性能、可擴展性和較高可靠性的開源分布式存儲系統(tǒng)，摒棄了傳統(tǒng)的集中式存儲元數(shù)據(jù)尋址方案，采用CRUSH算法來實現(xiàn)數(shù)據(jù)的分布均衡，能提高并行計算的能力，能支持上千個存儲節(jié)點的規(guī)模，支持TB級到PB級的數(shù)據(jù)，支持各類負載的副本放置規(guī)則，如跨機房、機架感知等，并充分考慮了容災域的隔離等情況。

Ceph具有高可用性、高擴展性等特性，并支持豐富的存儲接口和擴展接口等特性，可支持用戶根據(jù)數(shù)據(jù)的重要程度對副本數(shù)進行靈活控制，通過故障域分隔，實現(xiàn)數(shù)據(jù)的強一致性，在多種故障場景中能實現(xiàn)自動修復自愈，不存在單點故障。Ceph是基于去中心化設計理念實現(xiàn)的，從而使其能實現(xiàn)靈活擴展，且性能隨著節(jié)點的增加而線性增長。Ceph支持塊存儲、文件存儲、對象存儲這三種存儲接口，滿足絕大多數(shù)存儲應用場景的需求^［6-7］。

2 平臺設計與部署

根據(jù)內(nèi)蒙古氣象信息系統(tǒng)運維監(jiān)視業(yè)務需求，容器云平臺部署在氣象內(nèi)網(wǎng)區(qū)，要滿足對氣象內(nèi)網(wǎng)系統(tǒng)及互聯(lián)網(wǎng)邊界隔離區(qū)、行業(yè)專線邊界隔離區(qū)信息系統(tǒng)的監(jiān)視信息采集需求。

2.1 總體架構設計

本研究基于Rancher容器管理平臺，選取三臺物理服務器來部署Kubernetes集群，并搭建容器云。Rancher容器管理平臺部署于內(nèi)蒙古自治區(qū)氣象數(shù)據(jù)中心的虛擬化資源池，可保證管理平臺和容器云平臺的分離部署，從而實現(xiàn)Rancher對Kubernetes集群的持續(xù)管理。為滿足有狀態(tài)的容器應用對數(shù)據(jù)持久化需求，該平臺使用Ceph搭建分布式文件系統(tǒng)集群，以塊存儲接口來對接Rancher，在容器云內(nèi)部實現(xiàn)對持久化容器應用的跨節(jié)點自動遷移。平臺的總體架構如圖1所示。

2.2 硬件設備規(guī)劃

為了實現(xiàn)對容器云平臺集群與Ceph分布式文件系統(tǒng)的超融合部署，需要選取三臺4路服務器，每臺服務器24塊硬盤，并部署兩臺萬兆交換機作為Ceph存儲集群和Kubernetes集群的私網(wǎng)接入。服務器具體配置見表1。

2.3 網(wǎng)絡規(guī)劃

在網(wǎng)絡接入方面，為保障Ceph分布式文件系統(tǒng)的各節(jié)點間能實現(xiàn)快速傳輸數(shù)據(jù)，Ceph文件系統(tǒng)集群內(nèi)部和Kubernetes集群內(nèi)部均采用萬兆網(wǎng)絡通信。此外，由于業(yè)務網(wǎng)絡接入環(huán)境的限制，業(yè)務網(wǎng)絡采用千兆網(wǎng)絡通信。整體網(wǎng)絡架構如圖2所示。服務器節(jié)點IP地址規(guī)劃見表2。

2.4 Ceph文件系統(tǒng)集群部署

Ceph集群存儲類型為BlueStore，不依賴文件系統(tǒng)，能直接管理物理磁盤，相較于Filestore，BlueStore在I/O寫入時路徑更短，能有效避免二次寫入問題，性能會更好。

BlueFs將整個BlueStore存儲空間分為三個層次，即慢速（Slow）空間、高速（DB）空間和超高速（WAL）空間。慢速空間主要用于存儲對象數(shù)據(jù)，由普通大容量機械盤提供存儲空間，由BlueStore自行管理。高速空間存儲BlueStore內(nèi)部產(chǎn)生的元數(shù)據(jù)，由普通SSD提供存儲空間，需求小于慢速空間。超高速間主要存儲RocksDB內(nèi)部產(chǎn)生的.log文件，可由SSD或NVRAM等時延相較普通SSD更小的設備提供有存儲空間，容量需求和高速空間相當。BlueStore選擇將DB和WAL分區(qū)交給BlueFs來使用，此時這兩個分區(qū)分別存儲BlueStore后端產(chǎn)生的元數(shù)據(jù)和日志文件，而整個存儲系統(tǒng)通過元數(shù)據(jù)對數(shù)據(jù)進行操作，同時通過日志事務來維持系統(tǒng)的穩(wěn)定性，使整個系統(tǒng)的效率穩(wěn)定性得到提高^［8-10］。

以HDD磁盤充當慢速空間、采用分區(qū)方式的SSD磁盤充當高速空間和超高速空間對使用的磁盤進行劃分。HDD磁盤以物理磁盤的形式直接作為OSD，每個服務器節(jié)點劃分二十個OSD，將兩塊SSD磁盤分別劃分為十個70 GB分區(qū)（高速空間）、十個100 GB分區(qū)（超高速空間），具體磁盤劃分見表3。

由于Ceph文件系統(tǒng)集群主要為容器云平臺提供塊存儲服務，所以將所有存儲空間劃分為一個pool。為保障數(shù)據(jù)的安全和高可用，將副本數(shù)量設置為3。根據(jù)pg_num計算公式，設置pg_num為2 048。Ceph文件系統(tǒng)集群狀態(tài)如圖3所示。

2.5 通過Rancher部署Kubernetes集群

將Rancher以Docker鏡像方式部署在虛擬化平臺上，安裝好后，可通過UI界面，以RKE方式來創(chuàng)建Kubernetes集群。以Rancher提供的豐富網(wǎng)絡組件來實現(xiàn)對Docker網(wǎng)絡的搭建，這里選擇Canal組網(wǎng)。打開已經(jīng)創(chuàng)建的集群，通過Rancher-agent方式為Kubernetes集群添加節(jié)點，在添加節(jié)點時可為節(jié)點設置角色等信息，如圖4所示。

在Rancher中部署Kubernetes集群時，有三種角色，即控制平面（Control Plane）、工作節(jié)點（Worker）和分布式鍵值存儲（Etcd）。

①控制平面（Control Plane）。控制平面負責管理整個Kubernetes集群的核心組件，包括API Server、Scheduler、Controller Manager、Etcd。上述組件通過協(xié)同工作，能提供集群管理的核心功能，如調(diào)度Pod、監(jiān)控集群狀態(tài)和管理Kubernetes對象等。

②工作節(jié)點（Worker）。工作節(jié)點負責運行應用程序和服務。每個工作節(jié)點都運行一個或多個Pod，每個Pod包含一個或多個容器。工作節(jié)點還包括kubelet、kube-proxy和容器運行時等組件，通過組件的協(xié)同工作，為Pod提供管理、網(wǎng)絡和存儲等功能。

③分布式鍵值存儲（Etcd）。分布式鍵值存儲用于存儲Kubernetes集群的所有配置數(shù)據(jù)和狀態(tài)信息。Etcd作為一個分布式存儲系統(tǒng)，具有高可用性和可靠性，能確保Kubernetes集群數(shù)據(jù)的一致性和可靠性。

在Rancher中，可采取添加節(jié)點操作來添加控制平面、工作節(jié)點和Etcd節(jié)點，通過添加不同角色的節(jié)點，可按照實際需求來擴展和管理Kubernetes集群。同時，可使用Rancher的UI界面或CLI工具來管理這些節(jié)點和集群。由于只有三個服務器節(jié)點，為保證集群的高可用性，每個節(jié)點都同時為以上三種角色，日后在擴充節(jié)點時，可只選擇Worker節(jié)點。

在數(shù)據(jù)持久化方面，Rancher具有豐富的存儲驅(qū)動插件，以支持容器應用。本研究以Ceph塊存儲為例，實現(xiàn)了Kubernetes集群和Ceph文件系統(tǒng)的對接。在Kubernetes集群中有兩種使用持久存儲的方法，即使用現(xiàn)有的持久卷和配置新的動態(tài)存儲持久卷，以分布式存儲為介質(zhì)，當容器發(fā)生故障重啟、遷移后，可保證數(shù)據(jù)存儲層的高可用。

3 結語

本研究基于Rancher提出一套包括計算、存儲、網(wǎng)絡等的容器云平臺部署方案。容器云平臺支持快速部署容器化應用，實現(xiàn)業(yè)務應用的持續(xù)集成和部署，極大提高了開發(fā)人員的工作效率。同時，該容器云平臺還具有持續(xù)監(jiān)控和持續(xù)反饋的功能，通過對應用的監(jiān)控和日志采集，可快速發(fā)現(xiàn)問題并及時進行處理，從而減少故障影響范圍。

通過對該容器云平臺的部署實現(xiàn)，為氣象行業(yè)的云原生應用架構提供了應用支撐，加快業(yè)務的轉(zhuǎn)型和升級，提高了業(yè)務在數(shù)字化時代的競爭力。同時，該平臺也為開發(fā)運維人員提供了更加便捷的工作環(huán)境，減輕工作壓力，提高工作效率。

參考文獻：

［1］李永利.內(nèi)蒙古自治區(qū)氣象信息業(yè)務發(fā)展及應用［M］.北京：氣象出版社，2020.

［2］蔡永健，何栓康，顧丹鵬，等.基于Rancher的微服務部署［J］.計算機時代，2021（6）：1-4，8.

［3］隋偉.基于Docker容器的云平臺功能設計與實現(xiàn)［D］.石家莊：河北科技大學，2020.

［4］施曉權，林平榮，楊俊欽，等.基于Rancher的DevOps應用于智慧校園的研究［J］.現(xiàn)代計算機，2021（32）：22-26，32.

［5］張波，趙耀忠，劉躍，等.綜合業(yè)務管控系統(tǒng)容器平臺的構建及開發(fā)［J］.熱力發(fā)電，2021（12）：59-65，73.

［6］陳法河.基于Ceph的小文件存儲優(yōu)化方法研究［D］.北京：中國電子科技集團公司電子科學研究院，2022.

［7］張畢濤.分布式存儲系統(tǒng)小文件性能優(yōu)化方案的設計與實現(xiàn)［D］.北京：北京郵電大學，2016.

［8］袁猛.基于Bluestore的分布式存儲Ceph集群QoS研究［D］.徐州：中國礦業(yè)大學，2018.

［9］張曉，張思蒙，石佳，等.Ceph分布式存儲系統(tǒng)性能優(yōu)化技術研究綜述［J］.計算機科學，2021（2）：1-12.

［10］王薇.基于NVM的分布式后端存儲設計與實現(xiàn)［D］.成都：電子科技大學，2022.

收稿日期：2023-05-18

作者簡介：池繼忠（1991—），男，本科，工程師，研究方向：氣象大數(shù)據(jù)技術應用。

通信作者：關虹（1993—），女，本科，工程師，研究方向：電力信息及通信技術。