虛擬環境下Web服務動態負載均衡策略改進*

劉勝楠，汪詩林

(1.國防科學技術大學計算機學院,湖南 長沙 410073;2.國防科學技術大學信息化管理辦公室，湖南 長沙 410073)

虛擬環境下Web服務動態負載均衡策略改進*

劉勝楠1，汪詩林2

(1.國防科學技術大學計算機學院,湖南 長沙 410073;2.國防科學技術大學信息化管理辦公室，湖南 長沙 410073)

為了提高Web服務集群的伸縮性和自動化能力，從虛擬化和負載均衡兩方面研究集群系統，對現有負載采集策略做了改進，設計并實現了一種可根據負載值自動控制集群規模的模型XCluster。新模型運行在Xen提供的虛擬化環境中，實時監視宿主機層和虛擬機層的負載狀態，隨著集群系統總負載的增長，逐漸引入新的虛擬機來擴大集群規模，同時將任務合理分配到各個虛擬機節點上；當總負載下降時，逐漸關閉虛擬機縮小集群規模，釋放出來的硬件資源又可以提供給其他集群系統使用。理論分析和實驗結果表明，XCluster只需占用很少的網絡通信量完成信息收集和命令下達，能夠充分利用虛擬機易于管理的優勢完成后端節點的調度，并且在任務總量相同的情況下，使用盡可能少的集群節點來執行任務。

虛擬化；Web服務；動態負載均衡；自動化控制；集群；任務調度

1 引言

在互聯網高速發展的今天，各大網站為了應對高并發的用戶訪問通常以集群的方式來部署Web服務。其經典結構正如Google[1]的搜索引擎一樣，由負責任務調度的前端節點和負責處理請求的后端節點組成。虛擬化技術出現以前，集群大多是固定規模，物理服務器與集群節點一一對應，物理服務器的數量越多，集群能夠承受的負載越大。然而，由于影響網站訪問量[2]的因素太多，集群規模又無法改變，于是要么在峰值到達時負載過重，響應緩慢，要么出現大量空閑節點。新一代的集群將節點轉移到虛擬機上，不僅節約硬件投入，而且借助虛擬化層提供的接口，啟動或關閉后端節點，可大大提高系統的伸縮性和自動控制能力。在虛擬化環境下，前端節點需要在兩個層面[3]調度任務，一是虛擬機層，任務來自用戶請求以及為了處理請求而產生的進程和子進程，負載體現在占用虛擬機CPU、內存以及網絡資源上；二是宿主機層，任務來自虛擬化層針對虛擬機的操作，負載體現在虛擬機數量以及占用的硬件資源上。圖1以Xen(一個由劍橋大學開發的虛擬機監視器)[4]為例，描述了在M臺宿主機上部署N套Web服務集群的情形。

Figure 1 Schematic diagram of clusters deployed in Xen environment

從虛擬機層的角度看，大量并發的用戶請求通過網絡被前端節點分發到后端節點，客戶操作系統Guest OS(Guest Operation System)將請求轉換成計算/IO指令，在Domain0(一個特殊的Guest OS，具有調用硬件設備的最高權限)的調度下，分配硬件資源執行；從宿主機層的角度看，處于活動狀態的后端節點的數量和位置隨著用戶訪問量的變化而變化。但是，傳統集群技術無法監控宿主機，也沒有控制虛擬機的權限，因此僅能在虛擬機層實現負載均衡。

為了解決以上問題，本文在現有動態負載均衡技術的基礎上，引入虛擬層提供的監控功能，結合WebService技術，將信息策略和轉移策略獨立出來，設計并實現了一種根據負載值自動控制集群規模的模型XCluster(Xen-Cluster)，同時滿足虛擬機層與宿主機層的負載均衡需求。

2 負載均衡策略

負載均衡策略根據考慮的側重點不同，可以有多種分類方式。按調度方式有靜態調度和、動態調度，按調度對象類型有基于任務的調度和基于資源的調度，按調度器的位置分有客戶端層、服務器層、網絡層。靜態調度[5]算法主要有輪詢法、加權法、先分組加權，再組內輪詢的混合法等，這些算法不需要監控節點的實際負載，算法簡單易于實現，但負載均衡效果不佳；動態調度[6]正好相反，根據Kameda H等人[7]的實驗結果，動態調度的性能效果比靜態調度要高30%～40%。基于任務的調度，將任務看做產生負載的根源，側重于通過合理分發任務達到平衡系統的整體負載的目的；基于資源的調度，將計算資源看做可以再分配的對象，如虛擬機遷移技術[8]，通過預拷貝和后續拷貝將虛擬機的運行狀態完整、快速地從原重載宿主機平滑地遷移到目標輕載宿主機上。但是，它有一個限制，虛擬機上運行的Web服務必須能夠兼容目標宿主機的配置，比如一個32位的虛擬機，再怎么遷移也無法使用超過4 GB的內存。調度器運行在服務器上是最常見的形式，屬于服務器層調度；也有一些特殊的瀏覽器，如Netscope[9]直接從自己的服務器上下載最佳路由，屬于在客戶端層實現調度的方法；還有將調度器放入網絡層甚至鏈路層設備[10]的，直接在網絡層將用戶請求地址替換成負載最低的服務器地址。

Figure 2 XCluster model

本文設計的XCluster需要控制多個Web集群，因此適合選擇在服務器層基于任務的動態調度算法[6,7,11]。它有信息策略、轉移策略、啟動策略、選擇策略、定位策略五個組成部分，集中式和分布式兩種實現方式。在文獻[6]設計的決策支持系統中，信息策略采用獨立服務器集中收集，稱為管理者，其他策略分散到各個節點，采用分布式調度。各節點通過WebService向管理者查詢各節點負載表。WebService技術降低了集中式調度器的負載。文獻[12]設計了一種門限策略來量化負載，不同Web服務占用資源的比例是不同的。門限策略可以根據實際情況設定每種負載指標的權重以及劃分負載狀態的閾值，為調度器提供量化手段。文獻[13]設計了一種監控虛擬環境下分布式系統狀態的框架，它由中央監視器和節點監視器組成，節點監視器借助Xen收集節點的實時數據，減少對虛擬機資源的占用，然后將整合后的數據發送給中央監視器分析。在信息策略中，節點監控是必不可少的，Xen的性能監視器在實時性上有所欠缺，而且也無法監控進程，所以每個節點上還是需要額外安裝監視進程。各個節點監控數據的傳輸必然會增加集群的網絡負載，收集的信息越詳細，負載越重。文獻[14]利用Xen的管理工具，根據負載狀態修改虛擬機的配置，從而擴展或縮小集群的服務能力，實現簡單而且有效，不過虛擬機上的應用程序必須能夠兼容新的配置。

3 動態負載均衡策略實現

本文所設計的XCluster要實現兩個目標：滿足單個集群系統節點的動態擴展，在虛擬機層面實現負載均衡；多個集群系統的節點在有限的宿主機上合理分布，在宿主機層面實現負載均衡。圖2展示了XCluster的整體結構，ClusterConfigurator是為集群管理員提供基本配置的應用程序，包括集群規模的規劃、負載指標及權重等。前端節點由XenMonitor、ClusterScheduler、VMController三個獨立功能的子系統組成，它們通過WebService進行通信。XenMonitor負責收集宿主機、虛擬機信息以及負載情況；ClusterScheduler接收用戶請求，完成虛擬機層任務調度；VMController通過控制備用節點、活動節點的數量和位置完成宿主機層的負載均衡。后端節點上ImmortalWeb是集群的業務系統，為了方便測試，它被設計成制造虛擬機CPU、內存以及IO壓力的Web應用程序；VmClientMonitor負責監控虛擬機以及ImmortalWeb實時狀態，當發現異常時通過WebService向ClusterScheduler報告。

3.1 信息策略

在XCluster中，后端節點的狀態由節點類型和量化負載值兩部分組成。節點類型分為空節點BN(Blank Node)、備用節點SN(Standby Node)和活動節點AN(Active Node)三類。空節點是僅在虛擬化環境中才會出現的一種新型節點，它表示在一臺宿主機上已規劃但未部署虛擬機的節點；備用節點表示該虛擬機已經部署但處于停機狀態，空節點和備用節點都沒有負載；活動節點表示該虛擬機處于運行狀態，并根據管理員設定的閾值分為適載節點OptN(Optinum-load Node)、重載節點HvN(Heavy-load Node)和滿載節點FuN(Full-load Node)三類。活動節點、備用節點以及空節點的總和代表了集群的最大規模，活動節點代表集群的當前規模，備用節點和空節點代表集群剩余的擴展能力。量化負載值用于比較處于相同閾值區間活動節點之間的負載大小。本系統提供了CPU利用率、內存占用率、I/O利用率、磁盤利用率等常見的負載指標，并采用對負載指標加權求和的策略量化。權重由系統管理員根據集群系統的特點自行設置(下文中負載值均指量化后的負載值)。

本文不涉及對宿主機電源的控制，因此所有宿主機都是活動節點，其狀態主要是指負載類型。由于各虛擬機之間具有良好的隔離性，相同閾值區間內宿主機負載值高或者低對虛擬機的影響都非常小，可忽略不計，所以只需要適載OptH(Optimum-load Host)和滿載FuH(Full-load Host)兩種即可。宿主機負載有兩種不同表現，一種體現在部署虛擬機時，當宿主機的空閑塊設備或空閑內存等不滿足部署虛擬機條件時，視為滿載，反之為適載；另一種體現在啟動虛擬機時，當宿主機的CPU或空閑內存等不能滿足啟動虛擬機條件時，視為滿載，反之為適載。

3.2 系統均衡性判定

集群系統從啟動的那一刻起就在擴展、穩定和收縮三種狀態之間轉換。VMController通過分別統計各類后端節點的數量來判斷集群系統是處于何種狀態，只要不是穩定狀態就會觸發相應的操作讓系統回到穩定狀態。圖3描述了這三種狀態的轉換過程，當系統啟動時，所有節點都是空節點，系統處于擴展狀態，VMController執行部署和啟動虛擬機的操作增加活動節點數，直到適載節點數與重載節點數之和達到最小活動節點數MinAN(Minimum Number of Active Nodes)，并且備用節點數達到最小備用節點數MinSN(Minimum Number of Standby Nodes)。接著，系統進入穩定狀態。當適載節點數大于最大適載節點數MaxOptN(Maximum Number of Optinum-load Node)，或者備用節點數大于最大備用節點數MaxSN(Maximum Number of Standby Nodes)時，系統進入收縮狀態，VMController執行關閉或刪除虛擬機的操作，減少活動節點和備用節點，使系統再次回到穩定狀態。

Figure 3 State transition diagram of XCluster

3.3 轉移策略與定位策略

宿主機層負載均衡的對象是虛擬機，有四種操作用于處理六種場景。四種操作分別是：將虛擬機部署到宿主機，使得空節點變為備用節點；刪除備用節點，使之變為空節點；啟動備用節點變為活動節點；關閉活動節點變為備用節點。六種場景如圖4所示。場景1是當備用節點數小于MinSN，且存在有空節點的適載宿主機時，將虛擬機隨機部署在一臺適載宿主機上。MinSN的取值表示宿主機層集群的機動能力，值越大機動性越強，占用宿主機塊設備資源也越多。部署的方式有兩種，一種是將虛擬機鏡像文件導入到宿主機上，另一種類似虛擬機遷移，通過copy on write技術復制同一虛擬化池(Virtualized Pool)中其他宿主機上的虛擬機實現。場景2是當備用節點數大于MaxSN時，隨機刪除一個備用節點，釋放所在宿主機的塊設備資源。MaxSN與MinSN的差表示宿主機層集群的敏感度，差值越小靈敏度越高，負載均衡活動越頻繁。場景3是當備用節點數在MinSN與MaxSN之間時，如果最后一個被關閉的備用節點是在足夠長的時間IdleTimeout(Idle Time Out)前關閉的，那么認為集群目前處于一個十分穩定的狀態，可以將備用節點的數量逐步收斂到MinSN值。IdleTimeout值表示集群從穩定過渡到空閑的時長，該值越大則說明需要保持穩定狀態的時間更長。場景4是當適載節點數與重載節點數之和小于MinAN時，從適載宿主機上隨機啟動一個備用節點上的虛擬機。該虛擬機負載會從0直接升至滿載再逐漸降為重載，最后穩定在適載狀態。MinAN表示集群穩定時的最小吞吐量(throughput)，值越大最小吞吐量越大。場景5是當適載節點數大于MaxOptN時，通常是在集群負載下降的時候才會出現該情形，隨機關閉一個收到關機信號的適載節點。MaxOptN用于調節關閉適載節點的速度，值越大速度越慢。場景6是假設管理員讓MaxOptN的值大于MinAN的一種極端情況，當適載節點數超過MinAN且小于MaxOptN時，同樣認為集群規模應當縮小，從而隨機關閉一個適載節點。

圖4 宿主機層轉移策略和定位策略

虛擬機層負載均衡的對象是任務，任務的調度僅與活動節點中的適載節點與重載節點有關，而滿載節點由于負載已經達到上限所以不再接收新的任務，備用節點和空節點都缺少處于運行狀態的虛擬機，也不能接收任務。由于宿主機層的負載均衡能夠保證在集群達到最大規模，即所有剩余空節點以及備用節點所在的宿主機都為滿載宿主機，所有活動節點都為滿載節點之前，總能找到可以轉發任務的活動節點，因此虛擬機層的轉移和定位策略的目標是在滿足任務并發的需求的前提下使用盡可能少的活動節點。其核心體現在后端節點調度優先級隊列PQ(Priority Queue of Back-End Nodes)上。該隊列按節點類型分為三段，第一段的優先級最高，第二段次之，第三段最低。每一段都要按負載值排序，同一段內排名越靠前，優先級越高。第一段存儲負載值最大的前MinAN個適載節點，負載值從大到小排序；第二段存儲所有重載節點，負載值從小到大排序；第三段存儲除去第一段后剩下的適載節點，負載值從大到小排序。PQ的長度LPQ(Length of PQ)受宿主機層負載均衡的影響而動態變化。在一次任務調度周期中，N個任務從任務隊列Qt(Queue of Tasks)中取出，逐一轉發至從PQ中選出的N個節點上。調度過程會出現兩種情況，第一種情況是當N小于或等于LPQ時，按優先級從PQ逐一取出節點接收任務，直到所有任務調度完畢。優先級越高的節點，獲得任務的概率越高，負載值增長得越快。經過實驗證明，MinAN值設置得越大，系統抵抗訪問量激增的能力就越強。第二種情況是當N大于LPQ時，采用輪詢法，反復遍歷PQ，直到所有任務調度完畢。若N遠大于LPQ，隊列中所有節點獲得任務的概率趨于一致，負載值增長速度也幾乎相同。

4 性能評價

為了驗證XCluster的性能，準備了兩臺擁有4核CPU、4 GB內存、千兆網絡的物理機，上面安裝Xen，版本為3.4。集群節點鏡像文件ImmortalTestVm.xva，部署到宿主機后占用1VCPU、1 GB內存，且自動運行ImmortalWeb，對外提供三種Web服務：在內存中申請一段500 KB的空間，維持15 s后釋放；計算100 000以內的質數個數；從外部接收500 KB的隨機字符串，并存入本地，保存成功后刪除文件。它們分別用于增加節點的內存、CPU以及IO的壓力。我們用Nginx與XCluster做對比，前者是由Igor Sysoev開發的高性能HTTP和反向代理服務器，通過簡單配置就能夠將用戶請求隨機轉發到后端節點。

圖5和圖6分別是Nginx和XCluster在壓力測試下相同后端節點的量化負載曲線。兩幅圖的上半部分表示虛擬機的量化負載值隨時間的變化曲線，下半部分表示宿主機的量化負載值隨時間變化的曲線。橫坐標表示時間，其中start標記的位置是開始壓力測試的時間，stop標記的位置是停止壓力測試的時間，end標記的位置是集群排空所有任務的時間。縱坐標表示量化負載值，由于宿主機的網絡負載和塊設備讀寫負載對集群影響非常小，不計入負載值，所以宿主機的量化負載值要比虛擬機的小。

Figure 5 Back-end nodes’ load curves using Nginx

Figure 6 Back-end nodes’ load curves using XCluster

由于Nginx沒有控制虛擬機的權限，故測試之前所有節點都必須處于運行狀態。在圖5中，從①、②處可以看出，當外部壓力不大時，負載變化非常小，若增大到一定程度時，四個節點的負載值幾乎是一同飛快地上漲。這是因為Nginx是隨機轉發請求的，當請求很多時，每個節點獲得任務的概率就趨于一致了。到了③處，1號節點因達到連接上限拒絕接受請求，從而被Nginx排除在轉發列表之外，之后不久另外三個節點接連故障，服務中斷。在④處，四個節點上的任務都已完成，負載降至最低。到⑤處，Nginx再次做連接測試，將它們重新加入到轉發列表中，服務恢復正常。

在圖6中，0至start是集群系統的啟動階段，ClusterScheduler在2號宿主機上啟動4號備用節點，并在一個空節點處導入虛擬機作為新的備用節點(即2號節點)，同時初始化XenMonitor，這些事件使得①處出現極大值。start至stop是壓力測試階段，在②處，測試壓力使得4號節點從適載節點變為重載節點，ClusterScheduler啟動2號節點，部署新的備用節點(1號節點)。另外，虛擬機在啟動時，網絡負載不穩定，因此量化負載值上下跳動且范圍很大。這段時間新啟動的虛擬機不能分擔壓力，所以4號節點的負載仍然增長了一小段。在③處，2號節點達到適載狀態，分擔了大量任務，4號節點接著也回到適載狀態，與2號節點交替接收任務，所以在隨后的一段時間里它們負載增幅相似。隨著活動節點數量的增加，測試程序并發的請求數也相應增加，于是2號、4號節點再次變為重載。在④處，ClusterScheduler啟動1號節點，部署最后一個備用節點(3號節點),因此宿主機負載值在這里出現拐點。stop至end是任務排空階段，在⑤處可以看到，所有節點的負載值都出現了下降的趨勢。在⑥處，2號節點第一個排空任務，釋放內存，宿主機負載值也出現相應的跳躍。在end處，ClusterScheduler依次關閉了負載較低的2、3、1號節點，只留下4號作為活動節點。

對比兩次實驗結果，XCluster可通過補充備用節點和活動節點擴展集群以適應負載的增長。當負載變輕時，又通過關閉空閑節點和刪除備用節點縮小集群釋放資源；Nginx從始至終都是固定的四個節點。XCluster通過監聽虛擬機和宿主機的負載狀態，在適當的時機擴展或縮小集群，選擇合適的節點轉發請求，確保在保證服務不中斷的前提下，整體負載最小；而Nginx只是采用隨機轉發的方式，所以負載值要么長時間沒有變化，要么大起大落。當然，XCluster擴展集群是需要過渡時間的，如果負載增長過快，也會出現服務中斷的現象，只能通過增加MinAN值解決，當MinAN值等于后端節點數時，就和Nginx一樣失去擴展和收縮能力了。

5 結束語

負載均衡本是分布式計算機系統研究方向的一個關鍵和經典的問題，而虛擬化技術的出現改變了人們的傳統觀念，重新從虛擬機層和宿主機層兩個不同的角度去看待這一問題。本文設計的XCluster系統以Xen為虛擬化平臺，利用其對虛擬機管理的靈活性，根據負載值自動控制集群規模從而實現負載均衡。實驗表明，系統能夠根據負載狀態，在宿主機層控制備用節點的數量；在虛擬機層控制適載節點的數量，使得它們剛好滿足需要。

[1] Barroso L A,Dean J,Holzle U.Web search for a planet:The Google cluster architecture[J]. Micro, IEEE, 2003, 23(2):22-28.

[2] Hadavandi E, Shavandi H, Ghanbari A, et al.Developing a hybrid artificial intelligence model for outpatient visits forecasting in hospitals[J]. Applied Soft Computing, 2012, 12(2):700-711.

[3] Zhao Chun-yan.Research and implementation of job scheduling algorithm in cloud computing[D].Beijing:Beijing Jiaotong University,2009.(in Chinese)

[4] Barham P, Dragovic B, Fraser K, et al. Xen and the art of virtualization[C]∥Proc of the 19th ACM Symposium on Operating Systems Principles (SOSP’03), 2003:164-177.

[5] Zhang Cong-ping,Yin Jian-wei. Dynamic load balancing algorithm of distributed file system [J]. Journal of Chinese Computer Systems,2011,32(7):1424-1426.(in Chinese)

[6] Liu Han-ling.Research and implementation of dynamic load balancing strategy in distributed system based on web service[D]. Harbin:Harbin Engineering University,2010.(in Chinese)

[7] Kameda H, Fathy S, Ryu I, et al．A performance comparison of dynamic vs.static load balancing policies in a mainframe-personal computer network model[C]∥Proc of IEEE CDC2000, 2000:1415-1420.

[8] Zhang Bin-bin, Luo Ying-wei, Wang Xiao-lin, et al.Whole-system live migration mechanism for virtual machines[J]. Acta Electronica Sinica, 2009,37(4):894-899.(in Chinese)

[9] Mosedole W D,McCool F R. Lessons learned administering netscope’s internet site[J].IEEE Internet Computing,1997,1(2):28-35.

[10] Bryhni H, Klovning E, Kure O.A comparison of load balancing techniques for scalable web servers[J].IEEE Network,2000,14(4):58-64.

[11] Kunz T.The influence of different workload descriptions on a heuristic load balancing scheme[J]．IEEE Transactions on Software Engineering,1991, 17(7):725-730.

[12] Lin F C H, Keller R M.The gradient model load balancing method[J].IEEE Transactions on Software Engineering,1987, 13(1):32-38.

[13] Mehrotra R,Dubey A,Abdelwahed S,et al.Large scale monitoring and online analysis in a distributed virtualized environment[C]∥Proc of IEEE International Conference and Workshops on Engineering of Autonomic and Autonomous Systems (EASe),2011:1-9.

[14] Monteiro A F,Azevedo M V,Sztajnberg A.Virtualized web server cluster self-configuration to optimize resource and power use[J].Journal of Systems and Software,2013,86(11):2779-2796.

附中文參考文獻：

[3] 趙春燕.云環境下作業調度算法研究與實現[D].北京：北京交通大學,2009.

[5] 張聰萍,尹建偉.分布式文件系統的動態負載均衡算法[J]. 小型微型計算機系統,2011,32(7):1424-1426.

[6] 劉漢玲.基于WebService的分布式系統中動態負載均衡策略的研究與實現[D]. 哈爾濱:哈爾濱工程大學,2010.

[8] 張彬彬,羅英偉,汪小林,等.虛擬機全系統在線遷移[J].電子學報,2009,37(4):894-899.

劉勝楠(1981-),男,湖南長沙人，碩士生，研究方向為云計算。E-mail:nanjixing@126.com

LIU Sheng-nan,born in 1981,MS candidate,his research interest includes cloud computing.

Improved dynamic load-balancing strategy of web servers in virtual environment

LIU Sheng-nan1,WANG Shi-lin2

(1.College of Computer,National University of Defense Technology,Changsha 410073;2.Informatization Office,National University of Defense Technology,Changsha 410073,China)

In order to improve the scalability and automation of web cluster servers, we study many cluster systems from the aspects of virtualization and load balancing, propose a load information collection algorithm based on the Xen server virtualization platform, design and implement a modeling system called XCluster which can automatically control the cluster scale according to the load status. A monitoring service in the new model collects and quantifies the loads of the hosts and active nodes in real time. VM controllers will be notified to deploy more VMs from an optimum-load host when light-load nodes are in short supply; however, when there are too many light-load nodes, a number of VMs will be shutdown to release more hardware resources. Theoretical analysis and experimental results show that the XCluster can make full use of the unique capabilities of the virtualization platform which can manage all back-end nodes in an economical way. By scheduling VMs, the clusters can avoid resource waste, yet maintaining the application’s quality of service within an acceptable size.

virtualization;web server;dynamic load-balancing;automation control;cluster;task scheduling

1007-130X(2015)09-1607-07

2014-09-15;

2014-11-11

TP393.027

A

10.3969/j.issn.1007-130X.2015.09.001

通信地址：410073 湖南省長沙市國防科學技術大學信息中心總體部

Address:Information Center,National University of Defense Technology,Changsha 410073,Hunan,P.R.China