基于Proxmox超融合虛擬化平臺的設計與實現

摘? 要：隨著虛擬化和超融合的不斷成熟，文章針對鹽城工業職業技術學院信息與安全學院實驗實訓中心的需求，從管理和成本的角度提出基于Proxmox虛擬化平臺和Ceph分布式存儲軟件組建超融合虛平臺，并將網絡靶場競技系統與Proxmox超融合平臺融合，搭建網絡信息安全技術綜合練習場景，培養學生安全知識與技能綜合運用能力，考評學生安全知識與技能綜合運用水平。

關鍵詞：Proxmox;Ceph分布式存儲;超融合;虛擬化集群

中圖分類號：TP393.09? ? ? ?文獻標識碼：A 文章編號：2096-4706（2020）20-0131-04

Design and Implementation of Hyper-converged Virtualization Platform

Based on Proxmox

——Take the Application of Online Shooting Range Competition System as an Example

ZHANG Zhenfeng

（Yancheng Polytechnic College，Yancheng? 224005，China）

Abstract：With the continuous maturity of virtualization and hyper-converged，in response to the needs of the experimental training center of the School of Information and Security，Yancheng Polytechnic College，the article proposes to build a hyper-converged virtual platform based on the Proxmox virtualization platform and Ceph distributed storage software from the perspective of management and cost. And integrating the network shooting range athletic system with the Proxmox hyper-converged platform to build a comprehensive practice scene of network information security technology，cultivate studentscomprehensive application ability of safety knowledge and skills，and evaluate the comprehensive application level of studentssafety knowledge and skills.

Keywords：Proxmox;Ceph distributed storage;hyper-converged;virtualized cluster

0? 引? 言

在高校數據中心使用虛擬化技術是普遍的做法，是提高硬件資源利用率、優化資源配置的基礎措施之一。目前主流的商業虛擬化軟件有VMware vSphere，Microsoft Hyper-V，開源虛擬化軟件有Citrix XenServer，RedHat KVM、Proxmox等。與VMware vSphere相比，虛擬化軟件Proxmox在產品成熟度、穩定性、技術支持、產品功能特性、產品性能、用戶體驗等方面不相上下。因此，信息與安全學院實驗實訓中心以Proxmox為基礎構建了超融合虛擬化平臺。基于四臺物理服務器組建超融合集群，并將網絡靶場競技系統與Proxmox融合，部署了近30個虛擬服務器，整合了鹽城工業職業技術學院所有服務器，通過優化整合，充分利用現有硬件資源，提高了設備的使用率。

1? 超融合虛擬平臺的設計

1.1? Proxmox簡介

Proxmox VE是一個基于Debian Etch（x86_64）版本的完整的企業虛擬化開源平臺。借助內置的Web界面，可以輕松管理虛擬機網絡、虛擬機和容器，創建虛擬主機集群，并且整合了分布式文件系統Ceph，并對其進行了改進，實現了全圖形界面配置Ceph，進而無需共享存儲實現操作系統、存儲、虛擬化平臺、網絡一體化，也就是超融合架構。

1.2? KVM混合虛擬化架構

KVM基于混合虛擬化技術。混合虛擬化與寄居虛擬化一樣使用主機操作系統，但不是將管理程序放在主機操作系統之上，而是將一個內核級驅動器插入到主機操作系統內核。這個驅動器作為虛擬硬件管理器（VHM）協調虛擬機和主機操作系統之間的硬件訪問。

混合虛擬化架構與裸金屬虛擬化架構將是未來虛擬化架構發展的趨勢，配合硬件輔助虛擬化可以達到接近物理機的運行性能。KVM、Hyper-V、VMware等主流服務器虛擬化都支持硬件輔助虛擬化。

1.3? Ceph分布式存儲系統簡介

Ceph創造性地使用統一的系統為系統提供了對象、塊、和文件存儲功能，具有可靠性高、管理簡便的優點。基于Ceph分布式存儲系統，可以改變組織的IT基礎架構以及管理海量數據的能力。Ceph具有極大的伸縮性。Ceph以普通x86服務器硬件和智能守護進程為支撐點，進而通過Ceph存儲集群組織起了大量存儲節點，它們之間通過網絡復制數據、并動態地重新分布數據。

1.4? 實驗實訓數據中心超融合虛擬化平臺架構

實驗實訓數據中心超融合虛擬化平臺使用四臺華為RH2288H V5服務器和兩臺萬兆交換機，服務器配置如表1所示。所有服務器網卡兩兩LACP綁定，并連接到萬兆交換機。

2? 超融合虛擬平臺的實現

2.1? Proxmox的部署

Proxmox可以通過光盤、U盤或網絡直接部署在物理服務器上。在官方網站下載最新的安裝文件，本文所使用的版本是6.2。

實驗實訓數據中心超融合虛擬化平臺使用華為RH2288H V5，為每一臺服務器iBMC配置管理IP，更新iBMC、RAID卡和硬盤固件以及服務器BIOS到最新版本，開啟KVM，通過網絡掛載Proxmox ISO鏡像文件安裝部署服務器。

本文中使用服務器iBMC帶外管理方式遠程部署，此種方式與使用光盤或U盤本地部署一致。Proxmox部署相當簡單，一路Next就可以安裝完成，最后配置管理IP地址即可。

2.2? 部署Ceph分布式存儲

在Proxmox上部署Ceph分布式存儲有命令行和PVE Ceph圖形化工具兩種形式。

2.2.1? Ceph環境準備

環境準備主要是創建Ceph集群之前需要準備的環境，包括：更改Proxmox軟件源和更新Proxmox、配置/etc/hosts、配置免登陸訪問、設置防火墻、設置時鐘同步、配置Ceph軟件源、安裝Ceph-deploy工具、Ceph軟件包安裝等。在每一臺Proxmox主機上執行進行環境準備。具體步驟為：

（1）更改Proxmox軟件源為阿里源。

編輯etc/apt/sources.list.d/pve-enterprise.list文件，修改為deb http：//download.proxmox.wiki/debian/pve buster pve-no-subscription。

編輯etc/apt/sources.list文件，修改為：deb http：//mirrors.aliyun.com/debian buster main contrib、deb http：//mirrors.aliyun.com/debian buster-updates main contrib、deb http：//mirrors.aliyun.com/debian-security/ buster/updates main contrib。

（2）更新Proxmox：apt updateapt upgrade -y。

（3）配置/etc/hosts：hostnamectl set-hostname 計算機名。

（4）設置防火墻。Ceph Monitors之間默認使用6789端口通信，OSD之間默認用6800：7300范圍內的端口通信，多個集群應當保證端口不沖突。Ceph OSD能利用多個網絡連接進行與客戶端、Ceph Monitors、其他OSD間的復制和心跳的通信。

關閉防火墻服務：systemctl stop firewalld.service&&systemctl disable firewalld.service。

開放防火墻端口：firewall-cmd --zone=public --add-port= 6789/tcp–permanent。

2.2.2? 創建Ceph集群

創建Ceph集群主要包括：初始化PVE Ceph網絡、創建Ceph監視器、創建OSD（可以在Web界面或命令行執行）、創建PVE Ceph Pool組，具體步驟為：

（1）初始化PVE Ceph網絡：pvecephinit --network 10.10. 10.0/24，其中，10.10.10.0/24為PVECeph網絡所使用的網段與子網掩碼。

（2）創建Ceph監視器：ceph-deploy mon createpve-1 ……。其中，pve-1……為所有節點名稱。

（3）創建OSD：ceph-deploy osd create pve-1 --data /dev/sdc。該命令需要在每個節點中執行，其中，pve-1為節點名，sdc為磁盤符。

（4）創建PVE Ceph Pool組：cephosd pool create ceph-external 64。

2.3? 創建Proxmox集群

SSH登陸任一節，點使用命令pvecm create創建集群：pvecm create pve-cluster。其中，pve-cluster為集群名。

SSH登陸分別登陸其余節點，使用命令pvecm add加入集群：pvecm add xxx.xxx.xxx.xxx。其中，xxx.xxx.xxx.xxx為Proxmox節點管理ip地址。

執行完成之后可以在所有節點上使用pvecm status查看集群狀態，并通過Web界面管理整個集群。

2.4? Proxmox集群使用Ceph存儲

將Ceph存儲池配置進Proxmox，再配置Ceph的認證配置，就可以實現超融合架構了，結合Proxmox的集群功能和Ceph分布式存儲，就可以實現虛擬機在線熱遷移，虛擬機HA等虛擬化高級功能，當虛擬機所在虛擬主機發生故障，虛擬機可以自動遷移到其他的虛擬主機上。

可以通過圖形化界面或命令行創建集群存儲資源池，下面以命令行說明：

創建集群存儲資源池cephosd create pool ${poolname} ${pg_num} ${pgp_num}

Pool對應PG、PGP數量的計算公式：

Total PGs=（（Total_number_of_OSD * Target PGs per OSD） / max_replication_count） / pool_count

激活集群存儲資源池為rbd存儲池，用于存儲pve的磁盤映像跟容器，命令為：cephosd pool application enable集群存儲資源池名稱rbd。

掛載Ceph RBD磁盤：在數據中心-存儲-添加RBD，填寫ID，設置存儲對象，這樣集群節點就都會掛載上這個磁盤。

3? 超融合虛擬化平臺的調優

超融合虛擬化平臺的調優包括物理服務器調優、虛擬機操作系統調優、虛擬機調優、Proxmox防火墻策略調優、備份與恢復等幾個方面的內容。我們結合日常的信息管理和維護文檔日志對服務器的CPU負載、虛擬機、內存負載、負載的高低時間等內容進行觀察記錄，綜合對每臺物理服務器、虛擬機、各類應用程序及時有序的調整，可以最大化利用設備性能和軟件功能。

3.1? 調整物理服務器

根據物理服務器的性能調整虛擬機的運行數量，控制物理主機的CPU負載不超過60%，內存不超過總量的60%。通過測試表明，在構建的超融合虛擬化平臺中，內存和存儲IOPS性能是限制虛擬機數量的主要因素。改造完成以后的服務器在數量和性能上的缺點是因為物理服務器數量和配置內存的增多而有一定的冗余。

3.2? 調整虛擬機

應當根據不同應用需求，及時對虛擬機的配置進行調整。統一使用精簡配置虛擬磁盤可有效利用存儲空間。測試表明，最大化使用CPU性能應選擇host CPU內核架構，但這為虛擬機遷移帶來障礙。在實際的使用中，要考慮不同系統之間的搭配，把網絡帶寬要求高、CPU占用多的虛擬機和網絡帶寬要求低、CPU占用少的虛擬機放在一臺物理主機上，以此來平衡物理服務器資源的合理利用。虛擬機可以在Proxmox集群內實現虛擬機一鍵遷移，虛擬機調整可以做到適時調整、按需調整、及時調整。

3.3? 調整安全防護

調整安全防護主要包括物理服務器的防護、防火墻調整、備份和快照三個方面：

（1）物理服務器的防護：通過建立Proxmox集群，并預留冗余資源，主要是內存，從而使虛擬機具有高可用性，而服務器可以獲得檢修窗口時間。

（2）針對防火墻進行調整：Proxmox 6.2版本具有防火墻功能，針對每個虛擬機設置針對性的防火墻規則。

（3）備份和快照：備份和快照是虛擬機的備份和恢復手段。定期做好虛擬機備份和快照可以防止虛擬機系統出現無法恢復的故障時，及時還原或恢復到之前的某一狀態。

4? 網絡靶場競技系統

網絡靶場競技系統以Proxmox超融合平臺為基礎，集資源調度、競賽管理、實操演練、可視化于一體，立足學生對信息安全人才培養考核的需求。支持動態FLAG、防作弊檢測、加固檢測等多項前沿技術。分為競賽和練習兩種使用模式，每種模式均包括基礎理論、奪旗闖關、主機滲透、攻防對抗、取證溯源、企業環境滲透、安全加固、自定義八個階段。

4.1? 網絡拓撲

網絡靶場競技系統運用虛擬化技術，對系統內部的競賽環境實現了復用并發并進行邏輯分組隔離。只要保證實際物理網絡與本系統能正常通信，即可完成網絡攻防競賽和訓練任務。網絡拓撲結構如圖1所示。

4.2? 智能云資源調度

該架構以Proxmox為基礎，具有穩定、高效、高并發的虛擬化能力，將硬件資源虛擬化為多種資源池，實現資源最大化利用。該智能云負責調度系統資源，提供高度貼近實戰的仿真網絡信息安全對抗環境，滿足用戶網絡信息安全競賽、對抗實戰訓練的需求。其中虛機管理功能主要為上層的業務系統提供環境支撐。系統內置虛機、用戶自定義虛機等組件，通過拖拽可完成拓撲構建。虛擬機資源如圖2所示。

5? 結? 論

使用Proxmox超融合虛擬化平臺后，從管理角度看，維護的硬件設備數量大大減少，由以前的十余臺變成現在四臺，管理人員的工作強度大幅減低。同時，管理維護更加靈活。虛擬機模板的使用也大幅提高了新系統的上線速度。從成本角度上看，使用Proxmox超融合虛擬化平臺后，也大幅降低了購置成本、電費、維護費用等各類維護費用。

在將網絡靶場競技系統與Proxmox超融合平臺融合后，極大簡化了部署方式，節約了部署時間，對系統內部的競賽環境實現了按需復制并進行邏輯分組隔離，有力地促進了學校信息安全專業實踐型人才的培養。

參考文獻：

[1] ANON. Information Technology-Cloud Computing;Server Clustering in Cloud Computing Using Proxmox Based High Availability Method [J].Computers Networks & Communications，2020：786.

[2] 馬珂，宋磊，徐彤.業務遷移與虛擬化技術在電視播出運維中的融合應用 [J].廣播與電視技術，2019，46（11）：59-63.

[3] 曾永安.基于多技術融合的在線教育平臺設計 [J].自動化技術與應用，2019，38（10）：142-145.

[4] ALGARNI S A，IKBAL M R，Alroobaea R，et al. Performance Evaluation of Xen，KVM，and Proxmox Hypervisors [J].International Journal of Open Source Software and Processes（IJOSSP），2018，9（2）：39-54.

[5] 梁晟，方凱明.基于Proxmox的云平臺設計與實現 [J].貴陽學院學報（自然科學版），2017，12（4）：23-26.

[6] ANON. Canadian Web Hosting;Canadian Web Hosting Expands Private Cloud Services with the Public Availability of SolusVM and Proxmox Private Cloud Hosting Plans [J].Computers，Networks & Communications，2016.

[7] MOHAMMADI R，NABAVI S Y，EMAM S M. Analysis of FTP and Web Server Performance In Open Source Server Virtualization [J].International Journal of Computer Science Issues（IJCSI），2016，13（5）：159-162.

作者簡介：張振鋒（1975—），男，漢族，安徽太和人，助理研究員，碩士，研究方向：計算機網絡技術。