基于LVS集群的負載均衡應用

鄭志嫻 曾凌靜

(福建交通職業技術學院，福建 福州 350007)

1.引言

在各種網絡服務普遍應用的今天，由于信息技術的迅猛發展，經常面臨海量信息的處理，單機的處理能力往往不足，對用硬件和軟件方法實現高可伸縮、高可用網絡服務的需求不斷增長。而如何在完成同樣功能的多個網絡設備之間實現合理的業務量分配，使之不會出現一臺設備過忙、而別的設備卻未充分發揮處理能力的情況，就成了一個問題，負載均衡機制也因此應運而生。

本文中所應用到的系統是集3G、通信、計算機、網絡技術于一體，主要實現對物流公司各種營運車輛的安全、管理、生產提供服務。系統的構架為集中式和分布式相結合，即中心管理平臺負責公司的數據通信、存儲、處理、分發；各分中心負責范圍內車輛監控管理；工作站負責接入車輛日常使用、維護和服務。公司中心管理平臺與各分中心為互相備份關系，保證系統穩定、安全運行。

高并發和大流量的網絡壓力，對系統提出了很高的要求，負責通訊的服務器需要承擔終端接入解析服務，信息轉發和處理等任務，必須采用具有快速處理能力而且可擴展性良好的方案。

本文中的系統采用LVS/DR（Linux Virtual Server via Direct Routing）模式來實現負載均衡。

2.集群與負載均衡

2.1 集群

集群是指一組獨立的計算機系統構成的一個松耦合的多處理器系統，它們之間通過網絡實現進程間的通訊。應用程序可以通過網絡共享內存進行消息傳送，實現分布式計算機[1]。集群可以將多臺計算機連接起來協同運作以對外提供各種服務。

2.2 負載均衡

網絡的負載均衡是一種動態均衡技術，通過實時地分析數據包，掌握網絡中的數據流量狀況，把任務合理均衡地分配出去。這種技術基于現有網絡結構，提供了一種擴展服務器帶寬和增加服務器吞吐量的廉價有效的方法，加強了網絡數據處理能力，提高了網絡的靈活性和可用性[2]。

2.3 集群和負載均衡技術的特點[3]

(1)采用集群技術，可以使用多臺相對廉價的計算機集群，完成以前小型機甚至中大型機才可以完成的功能和任務，達到高性能的目的。

(2)如果單臺機器故障，其余服務器可以平穩接替故障點服務器，可實現對用戶的不間斷服務，達到高可用性。

(3)便利的可伸縮性，隨著終端數量的增加，如果需要添加新服務器，可以不影響業務正常使用的情況下，將系統擴容，因此，將來受到限制的將只是用戶方的網絡帶寬，對服務器的承受能力只是添加新服務器的問題

(4)高性能計算，即充分利用集群中的每一臺計算機的資源，實現復雜運算的并行處理，可以用于高端計算領域如科學計算領域和海量數據分析領域。

(5)負載平衡，即把負載壓力合理分配到集群中的每一臺計算機上，以減輕主服務器的壓力，降低對主服務器的硬件和軟件要求。

3.LVS方案

在如今得到了廣泛應用的Linux平臺下，LVS(Linux Virtual Server)負載均衡集群是應用最廣泛的負載均衡解決方案。

LVS架設的服務器集群系統從體系結構上看是透明的，最終用戶只感覺到一個虛擬服務器。物理服務器之間可以通過高速的LAN或分布在各地的WAN相連。最前端是負載均衡器，它負責將各種服務請求分發給后面的集群的服務器，讓整個集群表現得像一個服務于同一IP地址的虛擬服務器[3]。由于實現了多機器集群，使得整個虛擬的服務器具有強大的處理能力，并且具有良好的可伸縮性。

3.1 LVS/DR的基本結構

LVS方式的集群從結構上可分為兩部分：前端的負載均衡器和后端的真實服務器。前端的負載均衡器將來自外界的請求調度到集群后端不同的服務器上去執行。真實服務器負責真正提供各種應用服務，其數量可以根據實際需求進行增減。

3.2 LVS/DR的性能

LVS服務器集群系統具有良好的伸縮性，由于是在內核中作四層交換，只花128個字節記錄一個連接信息。一個有512M可用內存的機器理論上可以支持到四百萬個并發連接，如配置100M網卡，采用DR調度模式，集群系統的吞吐量可高達1Gbits/s；如配置千兆網卡，則系統的最大吞吐量可接近10Gbits/s。

3.3 LVS/DR和傳統的負載均衡解決方案的比較

其它常見的負載均衡方案是網絡地址轉換和NAT方式。

(1)網絡地址轉換

用戶通過虛擬IP地址訪問服務時，訪問請求的報文會到達負載調度器，由它進行負載均衡調度，從一組真實服務器選出一個，將報文的目標地址的虛擬IP改寫成選定服務器的地址，報文的目標端口改寫成選定服務器的相應端口，最后將報文發送給選定的服務器。真實服務器的回應報文經過負載調度器時，將報文的源地址和源端口改為虛擬和相應的端口，再把報文發給用戶[4]。

傳統的Cisco的LocalDirector產品、Alteon的ACEDirector產品和F5的Big/IP產品等都是使用網絡地址轉換方法，它們是非常昂貴的商品化系統，它們支持部分TCP/UDP協議，而且在某些協議的處理上存在發生嚴重問題的可能。

(2)NAT 技術（Network Address Translator）

NAT技術實現內網的IP地址與公網的地址之間的相互轉換[4]。采用NAT方式轉發的缺點是它的伸縮能力有限，因為在這個結構的系統中，請求和響應報文都需要通過負載調度器，當服務器結點數目不斷上升時，調度器本身有可能成為系統的新瓶頸。

(3)系統采用LVS/DR模式(Linux Virtual Server via Direct Routing)

負載調度器只處理客戶到服務器端的連接，響應數據可以直接從獨立的網絡路由返回給客戶，這可以極大地提高LVS集群系統的伸縮性。下面詳細說明LVS/DR模式的體系結構。

3.4 LVS/DR模式的體系結構

LVS/DR方案以虛擬IP為核心實現負載均衡[5]：調度器和服務器組都必須在物理上有一個網卡通過不分斷的局域網相連，如通過高速的交換機相連。虛擬IP地址(VIP)為調度器和服務器組共享，調度器配置的虛擬IP地址是對外可見的，用于接收虛擬服務的請求報文；所有的服務器把虛擬IP地址配置在各自的網絡設備上，它對外面是不可見的，只是用于處理目標地址為虛擬IP的網絡請求。

LVS/DR的工作流程如圖1所示：它將報文直接路由給目標服務器。在LVS/DR中，調度器根據各個服務器的負載情況，動態地選擇一臺服務器，不修改也不封裝IP報文，而是將數據幀的網卡物理地址（MAC地址）改為選出服務器的MAC地址，再將修改后的數據幀在與服務器組的局域網上發送。因為數據幀的MAC地址是選出的服務器，所以服務器肯定可以收到這個數據幀，從中可以獲得該IP報文。當服務器發現報文的目標地址是在本地的網絡設備上，服務器處理這個報文，然后根據路由表將響應報文直接返回給客戶[6]。

圖1 LVS/DR的工作流程示意圖

在LVS/DR中，根據缺省的TCP/IP協議棧處理，請求報文的目標地址為虛擬IP地址，響應報文的源地址肯定也為虛擬IP地址，所以響應報文不需要作任何修改，可以直接返回給客戶，客戶得到正常的服務，而不會知道是哪一臺服務器處理的。

LVS/DR調度器只處理客戶到服務器端的連接，響應數據可以直接從獨立的網絡路由返回給客戶，這可以極大地提高LVS集群系統的伸縮性。

4.具體實現

對于本系統而言，采用高效的LVS/DR集群方案，將大量的服務器集群起來實現通訊節點的作用，通過前置機的均衡作用將大量的通訊和計算平均地分攤到每一個通訊節點上，使得每個節點的處理能力能夠被綜合起來，形成一個計算網格。

高并發數情況下車載終端接入的壓力主要來自兩個方面，一個是大量的終端實時數據上傳帶來的通訊壓力，另一個是把這些數據轉發給管理分中心帶來的分發壓力。

對于本系統而言，由業務節點集群來負責處理車載終端實時匯報，由業務核心層來負責管理分中心的接入，這兩個地方都有負載均衡設備：終端接入負載均衡器和管理分中心接入均衡器，由負載均衡器在集群中各計算機之間平衡分配具體的網絡流量和計算壓力。

管理分中心均衡器主要負責平衡管理分中心對數據的請求所造成的壓力，它將管理分中心接入等核心任務分攤到多個業務核心層服務器上進行處理。終端接入的負載均衡器主要負責在各業務節點上平衡終端接入的負載。

下面就終端實時匯報和管理分中心數據轉發這兩個方面來具體介紹本系統實現。

4.1 終端實時數據上傳

終端接入的負載均衡器主要負責在各業務節點上平衡終端接入的負載，以GPRS/CDMA和短消息方式接入以及由其它GPS系統接入的終端，分別分派到對應的業務節點上進行處理。

車載終端實際上傳的數據流經過負載均衡前置機后，由負載均衡根據實際各業務節點的負載量進行均衡分配，然后將實際請求平衡地發送到業務節點上。

向車載終端發送的數據由業務節點處理后，由業務結點直接發送給終端，不再經過負載均衡前置機。

在本系統中，終端同服務器通訊的數據流向見下圖2：

圖2 終端同服務器通訊的數據流圖

可以看到，上行和下行的箭頭組合成一個連接的回路，返回給終端的數據包由業務節點直接發送給終端，這樣，前置均衡只需要對終端上傳的數據流進行去向的判斷，真正的計算都在各業務節點之間均衡掉了。

4.2 管理分中心數據轉發

管理分中心采用和公司管理中心同樣的系統結構，管理分中心的業務節點層和業務核心層會同省中心的同一層建立連接并進行注冊，通過身份驗證后接收省中心發來的數據。

從管理中心和分中心系統啟動，到分中心同管理中心建立連接并開始傳輸數據要經歷的7個關鍵步驟。

(1)管理中心啟動后，各業務結點向業務核心層發出注冊請求，在業務核心層登記IP地址和數據轉發端口等信息。

(2)分中心啟動后，其業務結點向業務核心層注冊。

(3)分中心的業務核心層向管理中心的業務核心層注冊，請求身份驗證。

(4)管理中心業務核心層通過身份驗證后，向業務節點發送管理分中心的權限，管理中心各業務結點由此可以計算出那些終端的數據應該發往該分中心。

(5)管理中心業務核心將各業務節點的地址和數據轉發端口發給分中心業務核心，分中心業務核心層在其業務節點間均衡分配同管理中心業務節點的連接，以保證網絡流量均衡。

(6)分中心業務節點連接管理中心業務節點，并請求身份驗證。

(7)通過對分中心業務結點的身份確認后，管理中心業務節點將終端數據轉發給分中心各業務節點。

以上描述了一個完整的數據轉發流程，根據同樣的流程，分中心可以將從管理中心收到的數據進一步轉發到下級系統。

5.結束語

本文對負載均衡的特點及LVS的體系結構等進行了介紹，通過終端實時匯報和分中心數據轉發的兩個方面來介紹本系統實現，一定程度上解決系統存在的高并發數的壓力問題。對于本系統而言，公司中心管理平臺可以通過使用穩定性和安全性很高的Linux或Unix主機來保障關鍵業務的高性能處理，可以通過服務器集群來實現海量的數據計算；而對于各分中心而言，不需要大規模的服務器集群，可以通過普通的Windows平臺直接把本系統很方便地運行起來。

[1]王國明.集群計算系統的分析與研究[J].電腦知識與技術，2006.32.

[2]WEB服務器的集群 [EB/OL]. http：//www.javaeye.com/topic/169911

[3]李中福.計算機集群技術應用研究[D].北京：中國地質大學，2006.

[4]胡曉軍.Linux服務器集群系統的研究和應用[D].廣東：廣東工業大學，2005.

[5]利用集群技術實現 Web服務器負載均衡[EB/OL].http：//www.linuxexpress.com.cn/news/jq/2008-06-06/1977.html

[6]LVS 中文站點[EB/OL].http：//zh.linuxvirtualserver.org/.