分布式和緩存技術在大并發量網站中的應用

米麗萍　陳旭清

摘 要： 對于高訪問量網站，Web服務器端經常面臨大并發量和海量數據流請求的問題，導致用戶訪問延時，利用負載均衡和內存緩存相結合技術可以解決這一問題。在服務器端采用集群下的負載均衡策略，將工作任務相對均衡地分配到各個節點上執行；采用內存緩存機制，通過優先讀取內存中的緩存數據以減少對數據庫的訪問次數，進而減輕數據庫負載。性能測試結果和用戶體驗反饋信息顯示，該方法在大并發量訪問時能極大地提高系統的吞吐量。

關鍵詞： Web服務器； 大并發量； 海量數據流； 負載均衡； 內存緩存； 吞吐量

中圖分類號：TP393.09 文獻標志碼：A 文章編號：1006-8228（2014）01-17-03

0 引言

為了響應中共中央提出的大規模培訓干部和大幅度提高干部隊伍素質的要求，我省組織部利用信息化手段，推出了干部在線學習的新型培訓模式。該系統擁有注冊用戶20多萬人，并發量達到1-2萬人的規模，任何一個單點服務都不可能承受這種負載，如何解決服務器的高負載問題成為系統開發過程中首先要解決的問題。本系統硬件結構采用服務器集群[1]的方式，軟件開發和部署采用分布式架構與集群下的緩存技術[2]相結合的方式，服務器間相互配合，極大提升了系統的吞吐量。

1 服務器集群的負載平衡

集群是一種并行或分布式處理的系統[3]。服務器集群是指將多臺同構或異構服務器集中起來，對外提供透明的服務，協同完成特定的任務，從而獲得很高的計算速度，減少單點故障數量，實現群集資源的高可用性并提高性能。

將系統負載分配到不同的服務器上處理，籍此提供大量用戶并發訪問服務，實現并行處理的方法，就是負載平衡（ LB，Load Balancing）思想[4]。

Windows下網絡負載平衡使得單個子網上的所有集群主機可以同時檢測集群IP地址的傳入網絡通信。在每個集群主機上，網絡負載平衡（NLB）作為Windows網絡驅動程序運行，充當集群適配器驅動程序和TCP/IP堆棧間的過濾器，以便在主機間分配通信，網絡負載平衡的操作對于TCP/IP網絡堆棧是透明的，因此作為運行于TCP/IP之上的操作系統內核和服務器應用程序來說，它們根本不知道NLB的存在。

Windows網絡負載平衡（NLB）的局限性有：一個集群中最多支持32臺服務器；三層交換機必須為集群成員建立一個 VLAN，并且這個VLAN 必須配置為在二層模式下運行才能夠與NLB一起使用，但并不是所有三層交換機都支持此項功能；發往NLB集群的所有數據包會在交換機上的所有端口上廣播而造成數據“洪水”。

按照“干部在線”的業務需求，系統的服務器集群的硬件結構如圖1所示，多個Web服務器組成一個Web服務集群，多個流媒體服務器組成流媒體服務集群，所有的課件資源均存放在NAS陣列上。

集群采用Windows 2008 R2的網絡負載平衡技術（NLB）。每個Web服務器都是Windows 2008R2+IIS，每個流媒體服務器采用Windows 2008R2+Windows Media Service。Web服務器集群和流媒體服務器集群分別有一個虛擬的IP地址稱為“集群IP地址”，集群IP地址是該集群中所有計算機共享的地址，且每臺服務器還有一個惟一專用的IP地址。

2 分布式架構

.NET環境下的分層體系結構， 是指在原來的兩層結構客戶端與數據服務器端之間加入了一個組件層，也稱為“中間層”，將應用程序的業務規則、數據訪問、合法性校驗等工作放到中間層進行處理。這樣系統將具有顯示操作層（客戶端）、業務邏輯層（服務器后臺代碼）和數據層（數據庫服務）等三個層次。三層架構如圖2所示。

山西干部在線軟件系統采用三層（3-layer）架構設計，該系統基于.net4.0用C#開發，軟件解決方案如圖3所示，具體說明如表1所示。

軟件采用兩層（2-ties）物理部署，如圖4所示，即表示層（Web）和業務邏輯層（BLL）運行在Web服務器群中，數據層（DAL）和數據庫運行在數據服務器群中（不能被外網訪問），邏輯層（BLL）通過WCF技術跨物理邊界（服務器）訪問數據層（DAL），從而實現軟件層面上的分布式計算。

GbzxDataService、DAL、DBUtility、IDAL、Model以及數據庫系統SQL Server2005/2008部署在數據服務器上，完成數據的存取，對外公布WCF服務，邏輯層通過調用公布的WCF服務完成數據存取。Web、BLL、DALFactory、IDAL、Model部署在Web服務器上。按照業務需求，服務器組可以隨時增刪。

3 內存緩存（Memory Cache）技術

本系統有二十多萬用戶，按5%的上線率就有一萬的并發量，這樣無論是Web服務器還是數據庫服務器，負荷都比較大。尤其是打開主頁的時候，速度會很慢。

首先來分析一下主頁數據構成，主頁共分11個區域，這些區域的數據都從數據庫中讀取，經過大量計算（在線數據）獲得。即打開主頁時就要讀取并計算這些數據，計算量很大，用時很長，尤其在大并發量的時候，打開主頁的速度會很慢，用戶體驗很不好。但這些數據大多有個共同點：更新頻率很低。因此采用內存緩存技術，可大大減輕服務器尤其是數據庫服務器的負荷，極大地提升性能，前端用戶體驗也很好。

內存緩存（Memory Cache）是系統中的一塊特殊的內存區域。其作用是在一個特定的時間段內保存數據，當指定的時限到期后，緩存會被釋放，成為“過期”。因此，在緩存有效時，無論前端有多少用戶，他們并發打開主頁時，數據直接從緩存獲取，根本不會讀數據庫。假設前端有1萬用戶，如果不采用緩存技術，他們打開主頁需要訪問11萬次數據庫，數據庫服務器負擔很重。內存緩存在指定的時限有效，當緩存過期后，用戶就需要訪問數據庫，但訪問的同時緩存被重新加載，在此之后的指定時限內其他用戶就只會訪問緩存而不需訪問數據庫。

緩存技術在極大提升性能的同時減輕了數據庫的負擔，但同時也有很大弊端，即犧牲了實時性。比如，緩存的時限是10分鐘，在時限內，用戶看到的是10分鐘之前的情況，因為只有10分鐘到期后，緩存才被刷新。為了提升數據的實時性，我們的系統采用了多緩存不同時限的策略。“在線數據”設置為5分鐘，“導航欄”、“友情鏈接”和“其他欄目”等變化很小則緩存時限設為20分鐘，其他欄目設置為10分鐘。

4 性能分析

圖5是單Web服務器在800多人并發訪問的情況下的性能監視圖，從圖5可以看出，處理器已經超過80%，而剩余內存小于10%，硬盤的使用率達到了60%。

圖6是900人在15臺Web服務器并發的情況下的性能監視圖，從圖6可以看出處理器不超過10%，而內存使用率也在10%左右，硬盤的使用率在1%左右。

5 結束語

為了解決多用戶并發所帶來的問題，提高系統性能，我們在干部在線系統中采用了在服務器集群下的負載均衡策略，將工作任務相對均衡地分配到各個節點上執行；另外采用內存緩存機制，通過優先讀取內存中的緩存數據以減少對數據庫的訪問次數，以此減輕數據庫負載。軟件采用三層架構來提高系統的吞吐量。目前該系統運行正常，用戶體驗良好。在服務器集群下的負載均衡策略和用內存緩存機制相結合的技術，對于并發量很大的同類型網站具有推廣和示范作用。但服務器集群的投入是需要充足的資金保障的，而緩存技術在極大提升性能的同時犧牲了實時性，因此如何取得高性價比，還需要我們今后在實踐中不斷地摸索。

參考文獻：

[1] 戴剛.服務器集群關鍵技術的研究與實現[D].國防科學技術大學圖書

館，2002.

[2] 葉萃，張松.一種終端服務器內存優化方法[J].微電子學與計算，

2007.3.

[3] 叢慶，沈夏炯.普招網報系統中服務器集群與緩存的研究[J].電腦知

識與技術，2009.12.

[4] 周瑩蓮，劉甫.服務器負載均衡技術研究[J].計算機與數字工程，

2010.4.