基于Kubernetes 的云管理平臺的解決方案

摘要：為提高運維自動化水平，降低系統故障率，該文采用 GitOps理念提出了一種基于 Kubernetes 的云管理平臺解決方案。經測試驗證，該方案在保證平臺運行穩定的同時能有效降低系統故障率并提升運營人員的工作效率，在實際中具有可推廣性。

關鍵詞： 云管理平臺；Kubernetes；GitOps；自動化運維；故障自愈

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2025）04-0120-03 開放科學（資源服務） 標識碼（OSID） ：

0 引言

“互聯網+”行動計劃的提出，推動了移動互聯網、云計算、大數據、物聯網等新一代信息技術與傳統行業的深度融合。相較硬件設施的升級改造，軟件系統的更新迭代更為便捷，已成為企業數字化轉型的突破口[1]。容器技術作為云計算領域的新興力量，可以將應用及其運行環境打包成鏡像，實現應用的快速部署和遷移。Kubernetes作為主流的容器編排工具，能夠有效管理大規模容器集群，實現應用的自動化部署、擴縮容、故障恢復等功能。因此，本文選擇Kubernetes 來構建云管理平臺解決方案。

1 主流云管理平臺現狀

云計算是一種按需提供計算資源的服務模式，用戶無須關注底層基礎設施，即可快速獲取所需的計算能力、存儲空間和信息服務。近年來，以亞馬遜、谷歌、微軟、阿里云、華為云為代表的云服務提供商迅速崛起，推動了云計算的快速發展[2-3]。為了滿足合規性要求、處理機密文檔、保護知識產權、個人身份信息、財務數據以及其他敏感數據，許多公司選擇采用開源云平臺搭建私有云[4]。

開源云平臺為用戶提供了構建私有云的另一種選擇，例如OpenStack、CloudStack等。Wen等人[5]通過對比OpenStack和OpenNebula，發現OpenStack在技術架構、功能完備性等方面更具優勢。Xu 等人[6]基于VMware云平臺搭建了實驗環境，驗證了云計算平臺在數據處理效率和可擴展性方面的優勢。

然而，傳統的云平臺在應用部署方面仍然存在效率較低的問題。容器技術的出現為云計算注入了新的活力，其輕量級、快速部署、環境一致性等特點可以有效解決傳統云平臺面臨的挑戰。作為主流的容器編排工具，Kubernetes憑借其強大的功能和活躍的社區，已成為容器編排領域的事實標準[7-9]。因此，本文選擇了Kubernetes來構建云管理平臺的解決方案。

2 基于Kubernetes 的云管理平臺方案

2.1 平臺總體方案

本平臺采用裸金屬架構，直接在物理服務器上部署Kubernetes集群，以減少虛擬化帶來的性能損耗。平臺整體架構采用分層設計，主要包括基礎設施層、容器編排層、應用服務層和運維管理層，如圖1所示。

可以看到，Kubernetes對IaaS資源層進行了抽象，對應用而言，整個IaaS資源層相當于一臺邏輯上的“超級計算機”。開發好的應用程序鏡像被存入鏡像倉庫中，而用于部署應用程序的YAML文件作為IaC（Infrastructure as Code，基礎設施即代碼） 中的代碼存儲在版本管理系統中。運維人員只需將新的部署YAML文件更新到版本管理系統中，應用版本變更管理器即可自動拉取相關YAML文件并執行版本變更。這個版本更新可以利用Kubernetes的Deployment資源的滾動升級功能進行，從而實現應用升級變更而不中斷業務服務。

2.2 平臺功能設計

本平臺聚焦于應用程序的自動化運維方面，例如GitOps、水平擴縮容、故障自愈等功能的支持。

2.2.1 GitOps 支持

本平臺的版本管理系統選擇使用GitLab進行搭建，符合GitOps核心思想。即將應用系統的聲明性基礎架構和應用程序存放在Git版本庫中，當聲明性的代碼（YAML文件） 提交并通過審核后，應用版本變更管理器會自動拉取該代碼文件并在Kubernetes中應用。這樣，應用的升級、回退等運維操作均由應用版本變更管理器自動執行，無須運維人員手動執行任何命令。運維人員只需在測試環境將最新版本的基礎設施聲明性YAML文件測試通過后，提交發布到生產分支的請求。一旦請求被通過，所有變更將自動完成，無須人工介入。

2.2.2 水平擴縮容

要實現水平擴縮容的目標，前提是應用程序需要做到無狀態。通常我們會將數據庫、緩存、文件系統等從應用程序中分離，使用相關中間件提供的數據存儲服務，對應用進行無狀態改造。當應用滿足無狀態的前提時，可以通過改變Kubernetes中Deployment資源提供的副本數量，對應用程序進行在線的水平擴縮容。這個水平擴縮容可以通過修改資源聲明性YAML文件中的副本數進行，也可以通過Kubernetes 中的HPA（Horizontal Pod Autoscaler，Pod 水平自動伸縮） 進行自動擴縮容配置。HPA可以基于CPU利用率、內存利用率以及其他程序提供的度量指標（例如流量） 進行自動擴縮容。

2.2.3 故障自愈

當應用程序所在的Pod出現故障后，Kubernetes 會檢測到該Deployment對應的健康Pod數量與聲明的不一致，Kubernetes將會自動啟動新的Pod以補齊健康Pod的數量，最終達到聲明性YAML文件中聲明的副本數。整個過程是自動的，無須人工介入。

2.3 平臺高可用設計

2.3.1 Kubernetes 高可用部署

為了避免Kubernetes集群單點故障，本平臺采用三副本模式部署ETCD和Master節點，架構如圖2所示。圖2中省略了非管理節點，在實際使用中，為了節約資源，可以將非管理節點與管理節點混部，簡化為如圖2所示。Kubernetes集群的穩定性得到了大幅提升，只有當全部Master管理節點同時出現故障時，本云平臺的運行才會受到影響；單個或多個節點宕機的情況下，并不會影響集群的正常運行。

2.3.2 數據高可用部署

平臺對數據庫、文件系統、緩存等數據存放中間件均采用高可用模式部署，以確保平臺數據的可靠性。首先，數據庫采用集群模式部署，以防止因單點故障導致數據庫失效。其次，對于數據文件的存儲，采用分布式存儲系統CephFS來提供安全、高效的網絡文件系統服務。最后，緩存采用Redis集群模式部署，以防止因單點故障導致緩存失效。

2.3.3 應用的高可用部署

首先，應用程序必須實現無狀態，這樣應用的高可用性就可以通過部署多個服務副本來實現。Ku?bernetes通過設置健康檢查探針和指定副本數量的方式，來提高部署應用的運行可靠性。當發生節點故障時，Kubernetes 將自動啟動新的Pod，以保證Deploy?ment資源中定義的健康副本數量。

3 平臺運營流程

本平臺的運營流程遵循GitOps理念。在整個運營流程中，采用IaC（基礎設施即代碼） 方式，將基礎設施用聲明性的YAML文件表示，并采用自動的應用版本更新管理器來自動化拉取和應用YAML文件。在整個應用程序的部署生命周期中，只有對YAML文件代碼的提交和審核是由人工執行，其余動作均為自動化完成。這大大減輕了運營人員的工作量，提高了工作效率，使運營人員能夠將精力集中在程序新版本的驗證和IaC對應的YAML代碼文件的編寫、測試上。具體步驟如下：

1） 將Kubernetes 管理的IaaS 資源通過命名空間（Namespace） 進行資源分配，分為生產環境命名空間和驗證環境命名空間。這樣，生產環境和驗證環境的資源相互隔離，互不影響。

2） 運營人員將基礎設施的描述性YAML代碼文件存儲在GitLab中，在編寫、測試階段進行拉取或提交。GitLab管理員負責審核代碼提交請求，審核通過的提交代碼會更新到GitLab的主分支。

3） 應用版本變更管理器定期從GitLab的主分支中拉取基礎設施的描述性YAML 代碼文件，并進行應用。

4） 開發人員將測試完畢的生產鏡像發布到鏡像倉庫中，并通知運營人員更新應用基礎設施即代碼對應的YAML文件。

5） 運營人員先將基礎設施即代碼對應的YAML 文件提交到驗證環境分支進行驗證。驗證通過后，再提交到生產環境分支。

整個運營迭代流程示意圖如圖3所示。

4 測試與驗證

4.1 測試環境

為了驗證基于Kubernetes 的云管理平臺解決方案，本文搭建了云平臺測試所需的測試環境。測試環境服務器配置如表1所示。

在測試環境服務器上搭建了Kubernetes測試環境相關資源，具體如表2所示。

為驗證方案的可行性，本文搭建了測試環境，并進行了測試。

4.2 測試效果

1） 實現應用的GitOps自動化部署目標。與以往的人工應用部署模式不同，本方案采用先進的GitOps 模式。運營人員只須將最新的基礎設施聲明性YAML代碼文件提交到GitLab代碼倉庫，待GitLab管理員審核通過后，提交的代碼將被應用版本更新管理器自動拉取并應用。整個過程中，只有GitLab管理員審核運營人員提交的代碼這一步驟需要人工介入，其余均為自動化過程，大大降低了人工出錯概率。

2） 服務故障率顯著下降。測試結果表明，本方案通過Kubernetes高可用部署、數據高可用部署和應用高可用部署，實現了平臺的故障自愈能力，有效降低了服務故障率，提高了應用系統整體穩定性。

3） 運營人員工作效率大幅提升。通過GitOps模式，運營人員擺脫了原先的人工運維場景。例如，以往應用發布通常需要在業務閑時進行人工發布，而采用本方案后，運營人員可以根據需求設置應用程序版本更新器的更新時間，并在工作時間將測試好的基礎設施描述性YAML代碼文件更新到GitLab代碼倉庫，并確認GitLab管理員已審核通過。在設置好的時間點，應用程序版本更新器將自動拉取GitLab上的基礎設施描述性YAML文件并進行應用。這使得運營人員從繁雜的人工操作中解脫出來，可以集中精力進行基礎設施描述性YAML文件的編寫及測試工作，提升了運營人員的工作效率。

5 結束語

本文提出了一種基于Kubernetes的云管理平臺解決方案，并對其設計方案和運營流程進行了詳細說明。測試結果表明，該方案能夠有效降低服務故障率，提高運維效率。該方案可為企業提供高效、可靠、易用的云管理平臺，促進企業數字化轉型。未來，我們將進一步研究平臺的自動水平伸縮功能，以更好地應對突發流量壓力。

參考文獻：

[1] 李葆文“. 互聯網+” 設備智能管理新時代：對話學府咨詢（國際）集團有限公司董事長李葆文[J].中國設備工程，2015（4）：20-23.

[2] ARMBRUST M， FOX A， GRIFFITH R， et al. Above theClouds： A Berkeley View of Cloud Computing [R]. Berkeley，CA， USA： EECS Department， University of California at Berke?ley， 2009.

[3] 光賢.2020私有云平臺創新排行榜[J].互聯網周刊，2020（14）：64-65.

[4] 劉國成，吳丹.基于OpenStack的中小企業服務云平臺架構研究[J].吉林大學學報（信息科學版），2020，38（6）：709-713.

[5] WEN X L，GU G Q，LI Q C，et al.Comparison of open-sourcecloud management platforms：OpenStack and OpenNebula[C]//2012 9th International Conference on Fuzzy Systems andKnowledge Discovery. Chongqing， China. IEEE， 2012： 2457-2461.

[6] XU X，ZOU F M，ZHU Q，et al.Comparison and test for severaltypical cloud computing platforms[M]//Intelligent Data Analy?sis and Applications.Cham：Springer International Publishing，2015：427-435.

[7] 王偉軍.基于Kubernetes的容器云平臺建設[J].電腦知識與技術，2019，15（36）：47-48.

[8] 單朋榮，楊美紅，趙志剛，等.基于Kubernetes云平臺的彈性伸縮方案設計與實現[J].計算機工程，2021，47（1）：312-320.

[9] 張有帥，佘葭，尹雪龍.基于Kubernetes的容器云平臺研究與設計[J].電子設計工程，2021，29（22）：180-183，188.

【通聯編輯：代影】