基于虛擬化云計算的3D圖形渲染系統架構與性能研究

樸欽浩，楊華民，陳純毅

(長春理工大學計算機科學技術學院，吉林長春 130022)

1 研究的目的及意義

在圖形學實驗室中經常需要并行渲染多個3D場景，但渲染時工具、語言、操作系統都不盡相同，同時單機的GPU渲染能力、內存讀寫速度也限制了并行渲染的速度。隨著云計算中關鍵技術虛擬化的發展，如今在實現了CPU、內存、存儲資源虛擬化的同時也實現了GPU的虛擬化。在這一背景下，本文通過分析當前GPU虛擬化技術的優劣，找到能滿足需求的技術搭建面向3D圖形渲染任務的云平臺，使用戶可以在平臺服務器上創建多個虛擬機以完成安全的高效并行的3D圖形渲染任務。選擇虛擬化的云平臺是因為可以通過虛擬化將系統中的各種易構硬件資源轉換成為靈活統一的虛擬資源，為渲染作相應支撐，使創建真實感圖形模型不需要受本地GPU計算能力、存儲空間、散熱、電量等問題的限制[1-2]。

2 研究背景及國內外研究現狀

云計算作為新型計算模式，其最大特征是資源租用、應用托管、服務外包。在面對指數上漲的海量數據時，傳統的計算模式存在計算速度受限于內核性能和個數以及待處理數據量受限于內存和磁盤容量兩個問題[3]。對此可以通過共享資源和計算能力來解決在互聯網上出現的這兩個問題，IT界巨頭如谷歌、亞馬遜等提出了一種以數據為中心的新的商業計算模式以應對互聯網上各種媒體數據的快速增長[4]。它是一種基于互聯網的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機各種終端和其它設備[5]。用戶不再需要了解“云”中基礎設施的細節，不需要用戶精通云計算的搭建、監控、維護等，減少用戶的學習成本。云計算描述了一種基于互聯網的新的IT服務增加、使用和交付模式，通過互聯網和局域網來提供動態易擴展而且是虛擬化的資源[5]。因此，云計算的這種按需遠程提供計算量的技術完全符合了3D圖形繪制的要求。

在面向3D圖形渲染任務時VMware公司提出了一種新的解決方案VMware vSphere。VMware vSphere將應用程序和操作系統從底層硬件分離出來，其核心組件包括ESXi和vSphere Client兩個部分。其中，ESXi是安裝和運行在服務器裸機最底層的系統，其特點是在實現虛擬化基礎上最大程度降低配置要求和簡化部署。vSphere Client是遠程連接控制組件，vSphere 6.0版本之后舍棄了傳統的Client軟件，通過瀏覽器就可以直接遠程訪問vSphere Web Client登錄ESXi服務器，然后在服務器上進行各種操作，比如創建多個虛擬機,安裝不同的操作系統，分配內存、硬盤、CPU、GPU、網絡等資源,監控服務器運行情況及管理維護等操作。

3 面向3D圖形渲染任務的虛擬化技術

為了更好地渲染3D圖形還需要GPU虛擬化技術，通常使用虛擬桌面(VDI)的架構，為了實現GPU的虛擬化應基于Horizon View。而Soft 3D、虛擬專用圖形加速器(vDGA)和虛擬共享圖形加速器(vSGA)三種虛擬化方式針對不同的渲染情況而使用不同的虛擬化方案，不同的方案虛擬化原理不盡相同且有各自的優缺點[6]。

3.1 Soft 3D

Soft 3D是使用軟件模擬GPU的方法，使得ESXi主機中的虛擬機獲得處理3D圖形的能力，其計算性能并不優秀。但是可以為那些只需要一般3D圖形處理能力的應用提供一個免費的替代方案，因此Soft 3D針對的是一般簡單性的3D圖形渲染任務。其優點是只需要軟件模擬就可以實現，對硬件沒有要求且可以實現動態均衡，實現計算資源的虛擬化；其缺點是由于顯卡驅動問題，其對DirectX和OpenGL支持版本較低且兼容性有限。

3.2 vDGA

vDGA針對的是在進行通用并行計算時需要像在獨立物理機工作環境或者通用計算量較大的任務一樣。GPU硬件對ESXi和對登錄到該虛擬機的用戶都是透明的。與vSGA不同的是，vDGA中GPU只能用于一臺虛擬機而并不能和其他用戶共享，因此又叫做顯卡直通。vDGA結構圖如圖1所示。

圖1 vDGA結構圖

vDGA的優點在于：由于GPU硬件對ESXi服務器可識別，就不需要在服務器上安裝顯卡供應商的驅動。在將顯卡分配給ESXi上的虛擬機后，在虛擬機上可安裝最新的顯卡驅動，因此對最新的DirectX和OpenGL完美兼容[7]。而且因其具有獨占性，通用計算能力強，適合復雜的3D場景繪制，不與其他用戶搶占并行計算資源，穩定性較好。vDGA的缺點在于：由于虛擬機和GPU綁定，將不再具有支持ESXi原本支持的vMotion等功能。

3.3 vSGA

vSGA技術使GPU硬件對ESXi服務器透明，但對于虛擬機上的用戶不可見。它可以將GPU劃分給多個不同的虛擬機，并為每臺虛擬機配置可調節大小的顯存。而基于vSGA和Soft 3D顯示驅動程序的兼容性，在使用vSGA時若GPU資源已被占用還可以自動調節到Soft 3D，使安全性和GPU使用效率大大提高。vSGA結構圖如圖2所示。

圖2 vSGA結構圖

相對于只使用Soft 3D技術，vSGA技術可以完全將GPU物理資源劃分給多個不同的虛擬機。相對于vDGA技術，vSGA技術增加了可以使用GPU硬件的用戶數量；且由于可以自動轉換成Soft 3D模式，vSGA技術可以耗盡整個GPU而不用擔心虛擬機故障。但vSGA技術的缺點也很明顯，vSGA技術對普通GPU的支持性不佳，目前只支持NVDIA GRID K1/K2等專業虛擬GPU。

4 面向3D圖形渲染任務的平臺搭建

4.1 平臺的邏輯架構設計

圖3 平臺的六層架構

基于功能模塊化設計思想，本平臺的功能性架構設計采用了分層的邏輯架構[8](圖3)。

最底層物理資源層主要包括GPU設備、存儲設備、網絡設備、計算服務器等。這一層為整個平臺提供了基礎的運行環境。

Hypervisor也可稱為VMM(virtual machine monitor)，即虛擬機監視器，是運行在硬件資源和操作系統之間的軟件層，其主要實現了多個操作系統和應用對硬件資源的共享，也是所有虛擬化技術的核心[9]，使多個操作系統和用戶共用服務器集群。Hypervisor根據設置在創建虛擬機或開機時為被操作的虛擬機分配CPU、內存、網絡、磁盤并加載操作系統。

GPU虛擬層使用的是上文提到的Soft 3D、vSGA、vDGA三種面對不同用戶需求和GPU資源情況，實現在3D圖形渲染過程中GPU的虛擬化方案。

VM(virtual machine)是虛擬機，這一層負責用戶在使用平臺時的OS功能向下獲得GPU虛擬層，Hypervisor層虛擬化分配的資源向上對用戶透明，這也是用戶能接觸到的最底層。

平臺管理層包括資源管理、用戶管理、任務管理、安全管理四個方面。該層主要用來管理平臺包括虛擬機的各種資源，在滿足用戶需求的同時，資源可以被高效利用，并保障平臺的安全性。其中，資源管理就是對平臺中資源的管理、分配、使用、監控等。任務管理就是對用戶提交的申請進行創建、調度、執行、關閉等運行周期的管理。安全管理是從用戶訪問審查、用戶權限等方面保障平臺不受外來攻擊，避免用戶越權操作[10]。該層面向的是平臺管理者，對用戶不可見。

最上層用戶服務層和一般云平臺一樣，主要功能是為用戶提供服務的接口，提供了管理員和用戶的訪問入口。該層通過統一的Web Client接口對用戶提供標準化、規范化的Web Service服務，以及遠程訪問虛擬機、打開電源、關機等一系列在虛擬機上的操作。

4.2 平臺的物理架構設計

在平臺的邏輯架構基礎上，本研究設計的物理架構(網絡結構拓撲圖)如圖4所示。前端可以是任意物理機，比如筆記本、臺式機等，該架構對硬件配置要求極低，即使進行3D圖形渲染任務也不會調用前端本身顯卡，對操作系統也沒有限定要求。所有前端和后端由交換機根據ARP映射表將數據包轉發到指定端口。后端ESXi上部署所有渲染任務需要的硬件及承載服務器上創建的各個虛擬機。

圖4 網絡結構拓撲圖

用戶根據局域網IP地址直接訪問對應的HOST，管理者可以通過瀏覽器登錄VMware Web Client訪問ESXi管理整個平臺，包括監控整個服務器的CPU、內存、網絡、磁盤的使用情況；創建、刪除虛擬機、克隆虛擬機、調節虛擬機分配的資源；管理整個服務器的存儲網絡情況等，界面如圖5所示。

圖5 ESXi管理界面

5 實驗結果與性能分析

5.1 實驗環境

5.1.1 硬件環境

實驗中的后端節點是1臺配置Inter?CoreTMi5-4460 CPU(3.20 GHz)處理器、8 GB內存和1 TB硬盤、NVIDIA Quadro K220 GPU的服務器；前段節點分別是1臺配置Inter?CoreTMi7-4700MQ CPU(2.4 GHz)處理器、8 GB內存和1 TB硬盤、NVIDIA GeForce GT 755M GPU的筆記本；2臺配置Inter?CoreTMi5-4460 CPU(3.20 GHz)處理器、8 GB內存和1 TB硬盤、NVIDIA Quadro K600 GPU的計算機；1臺配置Inter?CoreTMi5-4460 CPU(3.20 GHz)處理器、8 GB內存和1 TB硬盤、NVIDIA Quadro K2000 GPU的計算機；華為S5700S-28P-LI-AC千兆以太網二層交換機。

5.1.2 軟件環境

后端操作系統為WMware ESXi 6.7.0；前端操作系統筆記本為Windows 7；3臺式機操作系統為Windows 10；渲染工具：Microsoft Visual Studio 2010上調用OpenGL。

5.2 實驗內容

實驗運行的是基于G3D繪圖引擎的在三維空間加載模型方陣的程序，通過控制模型數量監控渲染的幀率以及進行渲染任務時4臺虛擬機和主機的CPU、內存、磁盤的讀寫等情況。前端為3臺臺式機和1臺筆記本，后端為5個運行ESXi服務器上Windows 10的虛擬機。

為了測試本文搭建的渲染平臺，通過控制渲染任務中的片元數量來改變場景的復雜程度。通過調節參數P控制3D場景中模型矩陣數量，渲染結果見圖6。測試目的：判斷前端是否可以在本文搭建的渲染平臺上遠程完成3D場景的渲染；獲得不同場景在不同虛擬機上渲染時間；監控整個過程中CPU占用率、磁盤讀寫情況、內存消耗情況，找出該平臺中對測試影響最大的服務器資源。

圖6 渲染的4個三維場景截圖

5.3 實驗結果與分析

在4臺ESXi服務器的虛擬機上同時渲染相同場景，獲得4個不同場景中虛擬機渲染的時間對比，如表1所示。根據4個虛擬機在場景1、場景2、場景3中數據波動幅度不大可以分析出，雖然前端物理機硬件條件不同，但并不影響服務器上的渲染效率。而在場景1、場景2、場景3中隨著面片數量的增加，渲染時間成比例增加；但在渲染場景4中，渲染時間的波動比較大且操作有卡頓現象。為探尋產生此現象的原因，需要監控渲染場景4時ESXi服務器和各虛擬機的CPU占用率、磁盤讀寫情況、內存消耗情況。

表1 不同場景在不同虛擬機上的渲染時間對比

根據圖7中CPU監控情況可以分析出，在16∶41開機到16∶50運行的階段，CPU資源占用率有輕微波動且4個虛擬機差異不大；在16∶50分別開始繪制任務，4個曲線同步上升且CPU總占有率基本達到峰值。分析表1可以得出結論，4個虛擬機在CPU消耗較大的情況下占有率最大值和最小值差距不大，但不同虛擬機CPU的平均占有率不同，這是因為繪制任務是逐次開始的，渲染時間越長的CPU占用率越高，相反渲染場景時間短的CPU平均占有率就會低。

圖7 ESXi服務器上CPU占用率

服務器上內存占用情況如圖8所示，相對于磁盤讀寫和CPU占用率，內存占用較為平滑，從開機開始占有率持續升高，主機占有率達到上限。根據選擇的時間節點數據可知，各虛擬機占用內存較為均衡且總消耗值達到服務器內存上限，服務器內存利用率達到100%。

圖8 ESXi服務器上內存消耗情況

根據圖8所示，服務器上4臺虛擬機的磁盤讀寫波動曲線較為同步。4臺在服務器上的虛擬機在開機時和運行渲染程序開始時波動較大，特別是在渲染時突然出現波峰并且速率迅速下降的情況，這說明在進行渲染任務時除了一開始讀取硬盤中的代碼數據以外，接下來的渲染過程中只有很少的硬盤讀寫操作，結合上文5.3章節中內存消耗情況可以得出，渲染占用內存較多，對內存依賴較大。圖7、圖8表明CPU及磁盤讀寫還未耗盡，并沒有限制虛擬機的運行和場景的繪制；而由圖9可以明顯看出，從3D繪制開始內存消耗直接到達峰值，且主機內存已全部消耗。結合繪制時虛擬機出現的操作卡頓現象，可以分析出這種情況產生的原因是：4個虛擬機運行的是完整的操作系統，特別是同時進行渲染時申請內存的操作對服務器內存需求較大。因此，針對圖形渲染任務，搭建平臺時需要重點考慮內存資源，在成本固定的情況下優先分配給內存資源將有助于提高平臺的性能。

圖9 ESXi服務器上磁盤讀寫情況

6 結語

針對3D圖形渲染任務，本文使用GPU虛擬化技術基于VMware vSphere搭建了穩定且功能強大的云平臺，對Soft 3D、vSGA、vDGA三種GPU虛擬化技術的原理和優缺點進行分析。根據模塊化思想設計了6層邏輯結構：硬件資源層、Hypervisor、GPU虛擬層、VM層、平臺管理層、用戶服務層。在此基礎上搭建該平臺，實現了管理者對資源、虛擬機、網絡和存儲的管理、監控功能以及用戶遠程登錄虛擬機、完成并行3D圖形渲染任務的功能。在進行不同復雜度場景渲染任務多機測試后，本平臺成功地實現了設計目標。分析數據表明，該平臺在面對面片數極大的三維場景渲染效率方面有待提高，這是由于本平臺搭建硬件及Soft 3D技術的局限。下一步研究可以通過增加ESXi服務器GPU和內存來支持使用vDGA完成高通用計算需求的任務。