基于負載均衡器應用系統故障分析及解決

摘要:負載均衡器目前在大型的應用系統中廣泛使用，起到了數據分發、提高系統性能等作用。但在實際應用中，可能會碰到很多問題造成系統不能正常運行。在電力企業的某個大型應用系統使用中，出現了負載均衡器成員節點啟動很慢以及服務自動斷開的問題，通過各種檢測，根據檢測結果進行分析，推斷出系統中故障所在，提出了合理的解決辦法，并在實際應用中進行了觀察、測試，證明了解決辦法的正確、可用性。

關鍵詞:負載均衡器;網絡拓撲;交換機;STP協議

中圖分類號:TP316文獻標識碼:A文章編號:1009-3044(2009)33-9400-03

Trouble Analysis and Solution of Application System Based on Load Balancer

LI Zhi-ru1，WU Zhong-dong1，MA Zhi-cheng2，ZHU Wei-wei2

(1.School of Electronic and Information Engineering， Lanzhou Jiaotong University， Lanzhou 730070， China; 2.Gansu Electrical Information and Communication Company， Lanzhou 730050， China)

Abstract: Load Balancer is now be used widely in large application systems，it provides such as data distribution and improvement of system performance and so on.But it is probable that there are many problems occur that make application systems be unable in practical applications.In a large application system of electrical enterprise，there were problems include that Load Balancer’s pool members changed up very slowly and service disconnected automatically.By detecting， the paper found the troubles of the system according to results and raised a proper solution，then observed and tested in order to prove that the solution is correct and useful.

Key words: load balancer; network topology; switch; STP protocol

隨著Internet迅猛發展，Web技術應用領域范圍的不斷擴展，Web服務器必須面對急劇增長的Web訪問請求，以及進行更為復雜的邏輯、事務處理等處理需求。Web服務器必須提供大量并發訪問服務的功能以及具有極強的計算處理能力。在單Web服務器的情況下，要解決這樣的問題，唯一的路徑就是通過提高服務器的CPU速度，擴大內存容量以及采用高性能磁盤陣列。但是這樣仍不可能從根本上解決問題，因為單臺服務器的性能是有限的。當有重大的處理請求，突發的大量處理數據涌向服務器時，使用更大的、更昂貴的服務器并不一定能夠保證響應時間的縮短[1]。解決上述問題更為行之有效的方法是采用負載均衡方法。

負載均衡器(Load Balancer，以下簡稱LB)是一種采用各種分配算法把網絡請求分散到一個服務器集群中的可用服務器上去，通過管理進入的Web數據流量和增加有效的網絡帶寬，從而使網絡訪問者獲得盡可能最佳的聯網體驗的硬件設備。它將TCP/IP會話請求引導到一組服務器內的不同服務器上，從而能顯著提高服務的性能;通過這種方法平衡了所有服務請求，使得服務器集群的結構對客戶是透明的，客戶訪問集群系統提供的網絡服務就像訪問一臺高性能、高可用的服務器一樣[2]。

1 系統部署及接入網絡后的問題

1.1 系統部署情況

電力企業某系統采用兩臺硬件負載均衡器做互備，應用服務器組由6臺PC服務器構成，數據庫服務器組由2臺小型機構成，上端連接交換機。

系統中負載均衡器采用常用的單臂部署(旁掛結構)，此結構不需要改動用戶的網絡拓撲結構，兩臺負載均衡器用網線互聯，配以私網地址，作為心跳線。如圖1所示。

系統部署時，配置文件中的訪問地址設置為兩臺LB的漂移IP地址，則外界訪問數據先經過LB，然后再由LB分發到配置好的各個實際服務器上。

1.2 出現問題

在兩臺LB配置完成，接入網絡后，出現了一系列問題，描述如下:

1) 第一次用網線連接LB和交換機時，LB的pool members需要近2 、3分鐘才能啟動起來;

2) 配置好一臺LB后，同步。經過測試表明，系統服務正常，主、備可正常切換。但在實施后不管哪臺LB為主機，平時正常，但在某個不確定的時間服務自動斷開，必須手動切換LB的主備恢復。

2 問題檢查方法與結果

2.1 檢查配置、查看日志

要找出問題所在，首先進行各種檢查，查看日志。

2.1.1 檢查LB的配置

1) 在LB的web頁面進行配置檢查;

2) 在SSH命令行下檢查LB的配置文件;

3) 通過Qkview工具搜集LB上面的各種參數;

2.1.2 查看LB的log文件

1) 在LB的web頁面查看log文件;

2) 在SSH命令行下面可以查看實時的LB log記錄，存放在/var/log目錄下。

2.1.3 在SSH窗口中使用命令行查看

1) 打開一個SSH窗口，使用bigtop命令，做插、拔線工作;

2) 同時打開另一SSH窗口，使用tcpdump命令檢查設備在做插拔線操作時間內做了哪些工作。

2.2 初步檢測結果

2.2.1 LB的配置

經過反復查證，證實LB的配置沒有問題。

2.2.2 LB的log文件

在LB的log里只有手動切換的記錄，無其他異常記錄。

2.2.3 SSH得到的窗口信息

1) 拔掉LB的網線并重新插上后，LB所連的交換機端口從狀態”down”到”up”經歷了92秒的運算過程，在正常情況下一個端口最多需要50秒鐘就可以”up”起來，這就解釋了問題1中為什么LB的pool members需要很長的時間才能啟起來。

2) tcpdump抓包信息顯示出一個物理端口的撥插引起了網絡拓撲的變化:802.1d config TOP_CHANGE 8030.00:23:ac:d8:5d:00.8017 root 8000.00:04:4d:63:7a:a1 pathcost 3027 age 4 max 20 hello 2 fdelay 15，綜合以上分析可以得出問題2服務自動斷開的情況，很可能是拓撲重新運算導致的問題。

3 分析與解決

通過以上得到的檢測結果及分析，得出網絡拓撲進行了重新運算并引起了變化。生成樹協議是在網絡中能導致網絡拓撲發生改變的重要協議。

為了提高數據傳輸的可靠性，常常在多個LAN之間設置冗余的鏈路和交換機，使兩個LAN之間存在不止一條路徑，這種做法一方面提高了網絡的可靠性，而另一方面卻可能使得網絡中出現邏輯環路。邏輯環路會導致兩種不利情況的發生:一種情況是廣播數據包(或未知目的地的數據包)在網絡中永無止境地循環，從而導致過度的系統開銷。另一種情況是死鎖的發生。數據包中的每一個占有一些資源(鏈路或緩存)，同時申請被別的數據包所占據的資源，形成若干包對資源的循環依賴，使這些數據包永遠被阻塞。為了防止上述現象的發生，IEEE發布802.1d“生成樹協議”(Spanning Tree Protocol)，并定義了一個生成樹算法來打破網絡中的邏輯環路[3]。

生成樹協議是一種橋到橋的鏈路管理協議，它在防止產生自循環的基礎上提供路徑冗余[4]，是交換式以太網中的重要概念和技術。該協議的目的是在實現交換機之間的冗余連接的同時，避免網絡環路的出現，實現網絡的高可靠性。它通過在交換機之間傳遞橋接協議數據單元(Bridge Protocol Data Unit，BPDU)來互相告知諸如交換機的橋ID、鏈路性質、根橋(Root Bridge)ID等信息，以確定根橋，決定哪些端口處于轉發狀態，哪些端口處于阻斷狀態，以免引起網絡環路。

生成樹的主要思想是每個網橋定期發送網橋協議數據單元BPDU，向其他網橋表明自己的存在;以太網中所有的網橋在收到其他網橋的BPDU幀后運行生成樹算法，以確定根網橋，決定端口處于轉發還是阻塞狀態，形成唯一的生成樹，從而形成拓撲圖。

STP的主要任務是阻止在第2層網絡(網橋或交換機)上產生網絡環路。它警惕地監視著網絡中的所有鏈路，通過關閉任何冗余的接口來確保在在網絡中不會出現環路。STP采用生成樹算法，它首先創建一個拓撲數據庫，然后搜索并破壞掉冗余的鏈路。運行了STP算法之后，幀就只能被轉發到保險的由STP挑選出來的鏈路上[5]。

3.1 問題分析

1) 交換機端口之所以經歷了92秒，超出正常情況最大值的近一倍時間才UP，是此端口經歷了STP協議的運算過程，根據LAN內各個網絡設備的連接狀況建立一個網絡動態拓撲結構，該結構建立后，數據包只通過指定交換機的指定端口進行傳輸，其他的端口將被自動阻塞掉，被阻塞的端口將不接收和轉發一般的數據包，但仍然可以接受和轉發BPDU包，以避免數據環路的產生;

2) 對于一個重要的系統來說，服務的停止幾乎是不允許的，很可能造成非常重大的損失。下面重點分析問題2:

STP協議是針對2層網絡設備的重要協議，由于負載均衡器具有簡單的交換機功能，因此在此系統中STP協議是有效的。由于負載均衡器接在交換機的端口上，而交換機默認開啟STP協議，那么一旦交換機上網絡的拓撲改變了(可能是鏈路失效了，或者有人添加了一臺新的交換機等)，就會進行STP協議的運算，重新建立網絡拓撲結構。由于作為主、備的兩臺LB配置完全相同，若拓撲結構改變為通過備機的網絡訪問路徑(如圖2所示)，而由于業務是跑在主機上的，因此服務斷開。進行主備機切換時，LB對外重新發了一次arp包，通告網絡中的數據要訪問其IP地址，只需找到其Mac地址。網絡拓撲會根據網絡中的拓撲改變進行STP計算，切換到正確的網絡拓撲結構(指向主LB的路徑)。這也就解釋了為什么在服務斷開時，通過切換LB的主備可以恢復。

3) 通過2)的闡述可以看出，若系統中只存在一臺LB，則不會出現因為STP協議改變拓撲路徑而使服務斷開的情況。為了證明2)，在不改變系統網絡拓撲的前提下，去掉其中一臺LB，不更改LB的配置，進行測試。經過觀察，系統未出現服務自動斷開的情況，運行穩定，因此證明了之前系統中出現的問題是負載均衡器與交換機的配合中出現了問題，主要體現在交換機開啟了STP協議。

3.2 解決辦法

雖然以上提出并通過測試確定了只使用一臺負載混均衡器便可以解決問題，但是通常對于一個比較重要的應用系統來說，只使用一臺LB，容易發生LB的單點故障而造成整個系統癱瘓，對應用系統造成了很大的風險。因此，為了系統運行更穩定、可靠，應在LB雙機的基礎上，解決問題，解決辦法如下:

1) 將LB所連的交換機端口模式改為access類型接口，避免STP運算;

2) 檢查交換機上相關物理端口配置，是否配置了STP，若配置了，去除相應端口的STP協議。

具體解決操作:

1) 進入交換機的相應端口，使用switchport mode access(6)命令行設置相應端口模式為access，再用命令no shutdown激活該端口;

2) 由于交換機上還運行有其它的業務，不能輕易改動其它端口的配置，因此去除整個交換機的STP協議是不可行的。鑒于此系統中所有設備在交換機中處于同一vlan中，因此可以去除此vlan的STP協議配置。

進入交換機的配置模式后，通過命令no spanning-tree vlan (vlan-id) 去除連接LB端口的STP協議。

4 結果及結論

4.1 解決后進行測試，結果如下

1) 進行插拔線測試

由表3可以看出，拔線后重新插入，僅需要10秒即可啟動起來;

2) 觀察系統服務是否有自動斷開的情況

經過一個月的密切觀察，從未出現服務自動斷開的情況，系統運行正常、良好。

4.2 結論

目前的大型應用系統中，越來越多地使用到不同種類的設備，以達到高性能、高可靠性、安全性等要求。由于各種設備之間存在配合、兼容性的問題，時常會造成系統運行故障，需要對系統進行整體檢測和分析，才能確定問題所在并得到解決。

本文描述的電力企業應用系統，使用了目前大型系統較常用的負載均衡器，出現了負載均衡器啟動很慢以及應用系統自動斷開的重大故障，通過檢測分析，進行故障推斷，最終更改交換機配置使故障得到了解決，并進行了后期觀察測試。相信在實際應用中能起到一定的參考借鑒作用。

參考文獻:

[1] 唐海濤，王樹義，孫效里.一種有效的Web負載均衡器的設計與實現[J].計算機工程，2006:279-281.

[2] 楊曉寧，伍衛國，劉愛，等.多負載均衡器集群系統中負載均衡器故障恢復機制[J].計算機工程，2004:45-46，97.

[3] 葛建芳，等.千兆以太網路由算法研究[J].微計算機信息，2006，7(3):80-82.

[4] Javvin Technologies，Inc. STP:Spanning Tree Protocol in IEEE 802.1D.http://www.javvin.com/protocolSTP.html.

[5] Todd Lammle.CCNA:Cisco Certified Network Associate Study Guide.John WileySons，2007.

[6] 梁瑋栗.VLAN的幾種配制方法[J].計算機與網絡，2005:44-46.