基于大數據應用的虛擬化云平臺建設方法研究

◆劉磊

基于大數據應用的虛擬化云平臺建設方法研究

◆劉磊

（江西工業職業技術學院 江西 330096）

在建設虛擬化云平臺時，將大數據技術應用其中，能夠對于虛擬化技術的應用進行優化，在融入了大數據技術后，能夠有效地對數據中心底層資源進行利用，進而能夠將存儲資源、網絡資源、計算資源應用的價值發揮出來，確保云平臺的穩定性。在該理念下建立的虛擬化平臺可以將系統資源有效利用，原理是將平臺節點以及應用功能集成在同個服務器中，大大降低了資源沖突。基于此，本文主要研究了基于大數據技術的虛擬化云平臺建設的方法。

大數據；虛擬化；云平臺

大數據技術發展在一定程度上為虛擬化技術應用提供了技術支撐，通過虛擬化技術，對以大數據技術為基礎的數據中心資源進行管理能夠提升資源的利用效率，進而使得平臺的存儲資源、網絡資源以及計算資源應有的價值發揮，進而將數據中心應發揮出的性能發揮出來，使得大數據框架下的數據底層環境得到優化，提升數據應用價值。

1 云平臺介紹

硬件服務器為云平臺軟件提供了運行的環境，借助于虛擬化技術，能夠對分布的服務器進行虛擬模擬，構建出模擬的存儲資源池以及計算資源池。資源池能夠提供更多的虛擬計算機，借助于云平臺軟件能夠對這些虛擬計算進行統一管理，進而將數據資源利用率提升。

2 云平臺架構

2.1 虛擬機

2.1.1發放

在發放虛擬機時，可以發放裸虛擬機，然后對其進行完整復制，最后將虛擬機鏈接克隆出來即可。平臺具備單個虛擬機發放以及多個虛擬機發放的功能。能夠通過批量創建而獲得的虛擬機主要包括了用戶盤以及系統盤兩種。

2.1.2管理

在管理模塊中，能夠全面虛擬機進行管理，主要包括了啟動/喚醒、關閉、重啟、刪除、休眠、分配等基礎功能，以及強制重啟與關閉、用戶追加與刪除、安全刪除、調整虛擬機、虛擬機鏈接克隆等高級操作。在進行虛擬機構建過程中，能夠采用指定IP虛擬機建設的方案，也可以在獲取虛擬機的同時兼容DHCP。其次，在虛擬機的功能中，包含了業務類型的選擇與描述。在鏈接克隆虛擬過程中可以借助于一鍵式還原對其進行還原，使得虛擬機系統被強制恢復到起始的狀態。此外，通過安全刪除功能能夠實現刪除虛擬機的目的，不過此時磁盤空間并不可以馬上得到應用，需要通過后臺清理功能對磁盤空間格式化處理，在進行完磁盤空間格式化后磁盤存儲空間得到釋放。

2.1.3機組管理

對于各虛擬機的管理主要以虛擬機組劃分的形式實行科學管理。這部分功能主要為虛擬機組提供多項服務，主要有創建、刪除、編輯、添加、更新等各項服務內容。

2.1.4模板與鏡像

云平臺的一項功能是提供虛擬機模板服務，主要包括創建、刪除、修改、查看等幾項主要的功能。此外，虛擬機模板參數的組成結構主要有內存、CPU、系統磁盤、虛擬機、QoS鏡像、服務等各項內容。

2.2 資源管理

在云平臺中采用統一資源管理的形式實現管理，這種管理方式主要對管轄范圍機架、存儲設備、服務器以及交換機等物理設備進行組網。支持通過池化管理進行管理物理設備，為應用管理提供管理功能。其次，在基礎設施虛擬化中主要以手工導入的形式對與之關聯的物理設備進行導入，進一步管理服務器、交換機、存儲設備等。在池化管理過程中，能夠確保上層業務系統穩定地運行，進而將物理設備進行差異化特征屏蔽。第三，通過虛擬化資源管理的形式能夠對不同虛擬資源進行統一的管理，主要管理目標是虛擬網絡資源、虛擬機資源以及虛擬存儲資源等。借助資源池開展管理工作，能夠將基礎設施資源的作用更好地發揮出來，為其提供更為高效的虛擬化管理能力，進而為上層應用提供穩定的屏蔽能力。進行虛擬資源集中管理能夠極大地將管理效率提升，將平臺的運維成本降低。此外，借助于插件機制能夠使得虛擬化系統與硬件設備得到有效對接，從而優化云平臺性能。

2.2.1物理資源管理

在資源管理功能中，系統可以將服務器配置信息收集，然后通過分析信息對服務器進行動態地監控。主要的監控內容有CPU占用率、網絡流出與流入、內存占用率、磁盤IO寫人與讀出等，根據使用者的需求可以自定義設計監控時段。其次，在服務器設備管理中主要包含了上下電、安全重啟與下電、維護模式的進出等。通過相應的網絡設備管理可以將交換機配置信息收集，在屏幕上可以將交換機端口狀態信息顯示出來，狀態信息主要有連接裝填、接收速率、發送狀態、發送、信息錯誤率等。此外，平臺能夠管理本系統網絡模式，并對本系統網絡配置進行集中調度。存儲設備管理的主要功能是發現存儲設備，然后對存儲設備信息進行檢查，主要有存儲設備位置、管理IP地址、產品型號、磁盤數量狀態等。同時能夠對存儲設備容量進行查詢，為使用者提供存儲服務。

2.2.2虛擬資源管理

在平臺的功能中包含了虛擬化資源管理，這項功能能夠對網絡虛擬化、計算虛擬化、存儲虛擬化開展實時監控管理。其次，平臺功能還包含了虛擬機生命周期管理，操作者可以通過管理軟件創建、銷毀虛擬機，而在虛擬機管理中，啟動、重啟、修復、關閉、快照、遷移、調整、監控等是主要的內容。第三，在虛擬化網絡管理中，主要目的是對虛擬交換機子網系統進行管理。通常情況下，虛擬網絡對于PortGroup與DVS形成對應的關系。此外，在分布式虛擬交換機中，操作人員能夠通過應用系統管理多臺主機鏈路與端口。在VLAN、子網、VxLAN管理中應用效果明顯。而且能夠設置端口組、上限帶寬、DHCP隔離以及優先級等內容。在虛擬化存儲管理中，能夠實現FC SAN.NAS、IP SAN等資源的高效管理，結合將相關數據存儲有序地發送至資源集群供相關系統使用。系統能夠不斷為存儲資源提供相應的數據，而且也可以刪除數據，對于已有數據能夠開展存儲擴容處理，可以為多級存儲提供穩定環境。

2.3 監控管理

在云平臺中，監控管理功能主要是監控計算集群、虛擬機、存儲、計算服務器、交換機等。監控信息主要涵蓋了CPU平均占用率、虛擬機CPU分配、存儲平均占用率、存儲資源分配、內存平均占用率、故障服務器數量、虛擬內存分配等。其次，虛擬機監控主要涵蓋了虛擬機CPU占用率、磁盤讀寫次數、內存占用率、網絡流入流出等。第三，在網絡交換機監控中，主要是對信息流入流出、端口數據流量以及信息狀態等進行集中的監控。最后，在存儲監控內容中，主要涉及了已分配容量、總容量、實際可用容量這些內容的監控。

2.4 報警管理

在云平臺的功能組成中，報警管理十分重要，該項功能主要是通過報警管理系統為憑條提供故障監控警報，如果平臺的服務器、交換機、存儲等硬件系統以及虛擬機和虛擬化平臺等軟件系統出現故障，那么報警系統則在監控到異常信息后給出警告，并將異常信息發送給控制中心。

2.4.1故障預防

在進行系統設計時，需要將設備部件故障處理功能考慮在內，進而使得這些故障無法對系統正常運行產生不良的影響，確保相關業務能夠正常開展下去，這可以將故障危害大大降低。在這部分功能設計中，主要涵蓋了系統數據自動備份功能以及用戶數據備份功能。此外，虛擬機快照、HA、遷移、存儲等功能也是其中的部分功能。在進行故障處理過程中，系統能夠自動隔離故障服務器，這樣能夠有效地防止業務消息進入到易發生故障的服務器中，對業務辦理造成影響。

2.4.2故障處理

在平臺系統接收到相關故障后，系統能夠自動識別并分析這些故障信息，然后將故障信息發送給控制中心，并做出報警處理。報警管理的主要對象是虛擬機以及硬件設備。而對于告警級別則可以根據使用者需求進行設計，不過多以四級報警為主，而且不同程度的報警所采取的形式也不同，主要以不同報警聲光對各類問題進行通知，用戶可以在云系統中對報警進行設置，然后平臺能夠在接收到聲音、顏色后做出具體的反應，這樣維護人員就能夠知道相關問題。

2.5 拓撲管理

借助于拓撲管理能夠給用戶創造可視化界面，用戶能夠在界面中將全系統信息資源獲取，此時管理員無需進行手動處理。拓撲圖主要由三個層次組成：集群視圖、物理資源視圖、應用視圖。用戶借助于拓撲視圖能夠對物理硬件資源進行查看，之后則能夠將虛擬機資源視圖應用，與此同時也能夠了解虛擬邏輯視圖。用戶能夠輕松地將硬件資源、虛擬機屬性以及應用部署情況等信息獲取。拓撲節點通常都是連接在告警中心中，能夠將對象狀態實時地呈現出來，進而為管理人員提供管理依據，及時調整系統，使得系統性能維持在較高水平。

2.6 日志管理

在系統日志管理功能中，主要涵蓋了日志記錄、審計以及查看等功能。系統可為用戶提供日志訪問、操作、運行、黑匣子等各項附加功能。實際上，用戶在進行日志訪問是實質上是對虛擬桌面日志進行訪問。這項操作涵蓋了虛擬機登錄、重啟、關閉等各項基礎功能。操作日志的作用是為管理員訪問平臺提供基本的依據，這項工程也稱作是管理員日志，系統可以將管理員的操作，如登錄、修改等記錄下來，并將操作時間與內容儲存。操作日志內容則主要涵蓋了用戶操作、用戶IP、操作類型、操作時間、詳細信息、操作結果等多項操作內容。運行日志的主要作用是將各業務節點情況詳細地記錄下來。系統還具有運行日志加密作用，可以全面為日志安全運行提供保障。此外，黑匣子日志的主要作用是定位系統故障，幫助維護人員查明故障成因。

2.7 平臺監控

在系統功能中，平臺監控能夠對系統運行狀態以及集群負載扥管內容進行動態地監控，這對于系統對硬件故障進行自動檢測并自動恢復相應功能起到了關鍵作用。關鍵狀態監控主要涵蓋了CPU占用率以及內存占用率等兩項基本的功能。在監控過程中，能夠對發任務數、待執行任務數以及完成任務數進行記錄，然后將數據副本數整理出來。系統還能夠對工作節點數進行監控，對系統數據磁盤占用量進行記錄，如果在監視過程中出現異常狀態，則可以將檢測的數據發送，此時系統在啟動時則能夠自動將硬件狀態調整到正常運行水平。

總而言之，本文主要研究了在應用大數據基礎上構建虛擬化云平臺的主要方式，詳細地分析了云平臺從系統架構以及各項管理、檢測功能的構建，可以使得大數據應用底層環境變得更加穩定，進而實現云平臺優化的目標。

[1]董連.高職軟件技術專業教學資源庫云平臺的校際共享的研究與實踐[J].軟件，2019，34（7）：7-8.

[2]李潔.云平臺SDN關鍵技術的研究與展望[J].軟件，2019，36（7）：71-74.

[3]肖揚，于艷華.基于IaaS云平臺的應用性能管理研究與應用印[J].軟件，2019，34（12）：41-245.

[4]羅偉雄，劉嵐，時東曉，曾紀霞.基于數據虛擬化技術的大數據資源中心建設[J].軟件，2019，38（7）：19-23.

虛擬仿真大數據云平臺項目（類型：一般項目，編號：GJJ181336）