Linux下高可用應用基礎體系的設計與實現

高丙寧，張小東，夏 濤

（中國工程物理研究院 計算機應用研究所，四川 綿陽 621900）

0 引 言

隨著信息化的發展，愈來愈多的大型復雜的業務應用系統在企業中部署運行，而目前應用系統存在分離部署、管理分散、數量眾多且大多缺乏數據有效防護手段、抗單點故障能力不足以及可靠性／可用性差，數據安全性低等問題。因此，運用數據庫集群技術、應用服務中間件集群技術和數據庫安全增強手段，建立多業務應用系統集中部署、運行及管控一體化的高可用［12］應用基礎服務架構體系是十分必要的。

應用系統運行環境的高可用性除物理環境外，更依賴于應用服務系統和數據庫系統的高可用性。所以，建立高性能、高可靠、高安全和可擴展的應用基礎體系，實現數據、資源、能力的聚合，奠定系統集成、業務融合、知識匯聚的基礎，發揮數據、資源、能力聚合的整體性效能，滿足大型應用系統的集中部署、管理和長期穩定、可靠地運行，是高可用應用系統基礎服務體系需解決的核心問題。

本文提出以Linux平臺為基礎，運用數據庫集群和應用服務器中間件集群技術，結合高安全性和高保密性要求設計和實現高可用應用系統基礎體系的方法和途徑。通過對基于該方法建立的應用系統基礎體系同普通應用環境的關鍵技術指標進行了對比分析，驗證高性能、高可靠應用基礎服務體系的方法。

1 技術架構

以Linux操作系統、J2ee應用服務器集群、Oracle數據庫集群和共享存儲系統作為高可用應用基礎體系的核心部件，邏輯上涵蓋主機系統、操作系統、數據庫、中間件、門戶系統以及（對數據庫的）安全防護與訪問控制等具有不同特性和用途的功能單元，支撐以J2EE 技術架構和.Net技術架構為基礎的各類應用系統的部署和運行。其總體技術架構如圖1所示。

圖1 總體技術架構

數據庫集群和應用服務集群提供的負載均衡和自動故障轉移技術，具備了應用系統主要功能單元抵御單點故障、提升運行效能的能力，但實現下面五部分內容的無縫集成，進行關鍵環節的技術兼容性試驗與驗證，是建立高可用應用基礎架構體系的核心和關鍵。

1.1 應用服務器集群系統

用于部署支撐各類業務應用系統運行的中間件系統。在多層體系架構下，由一組高性能的服務器組成應用服務集群，包含應用程序集群、工作流集群等，支撐多個業務應用系統的部署和運行。

1.2 數據庫集群系統［2］

由運行數據庫管理系統（RDBMS）的一組高性能服務器組成數據庫集群，為各類業務應用系統提供數據的管理、存儲以及使用服務，是應用基礎體系的核心要素。

1.3 安全與網絡服務系統

為應用系統的運行提供安全保障，包括CA 認證、域控、安全數據信道、病毒防范等基礎服務，是應用基礎架構體系中的不可或缺的重要部分。

1.4 集中存儲與備份系統

集中存儲與備份系統是高度集中的海量數據存儲單元，向數據庫系統和應用服務系統提供統一的數據存儲和備份服務，是實現數據庫和應用服務器集群的基本條件。

1.5 服務器區域高速網絡系統

服務器區域高速網絡系統是應用基礎體系內部的網絡系統，由高速以太網和光纖通訊網兩部分組成，主要為各服務器集群和集中存儲系統提供高速、可靠的網絡連接服務。我們運用FC－SAN 技術，將應用服務集群、數據庫集群主機與存儲設備之間通過FC－SAN 交換機（光纖交換機）連接起來，構成網絡存儲，可充分保證業務應用系統的高性能、高可靠性以及未來擴展的靈活性。

2 實現技術及方法

圖2是企業應用系統基礎體系實際生產環境拓撲結構示意圖。目前為2個節點的數據庫集群和應用服務集群，隨著應用需求和負荷的增長需要，可在該架構之中添加更多的服務器來擴充節點數目，具有很強的可伸縮性。

圖2 企業應用基礎體系拓撲結構

2.1 集群數據庫

使用Oracle10gRAC在兩臺以上Linux服務器中實現數據庫集群的建立，其邏輯結構如圖3所示。

圖3 OracleRAC邏輯結構

集群節點Node1、Node2由相同的主機系統（Linux操作系統）組成，每個節點服務器都將安裝和配置：

（1）公共網絡（Public IP）端口：集群數據庫的訪問端口；

（2）虛擬網絡（viture IP）端口：集群數據庫自動故障轉移訪問端口；

（3）專用網絡（Private IP）端口：集群數據庫事務和數據同步、內存融合所需的高速網絡（至少1000M）端口，俗稱 ‘心跳線’；

（4）Oracle RAC實例（CRS）：它是運行在各節點數據庫實例（instance）之上的集群管理系統，主要由表決磁盤和集群就緒服務等后臺服務進程組成。

（5）OCFS2共享文件系統：它是各節點實例訪問Oracle集群數據庫共享文件的Oracle專用文件系統，可以有效替代Oracle ASM（Oracle自動存儲管理）；

（6）同時，各主機系統通過HBA 卡的光纖通道直接連接到磁盤陣列，進行共享存儲設備的掛載，以此建立多個Oracle實例（節點）共享同一數據庫的運行環境。

2.2 應用服務器集群

應用服務器中間件是B／S和多層體系（n－tier）技術架構下不可或缺的功能單元，它是各類應用系統業務構（組）件部署和運行的容器，負責進行后端數據庫的訪問和向前端表示層提供業務功能服務。對于較復雜的應用，還同時擔負著繁重的集成和數據分析與處理任務。采用應用服務器集群除能較好地平衡工作負載、有效解決應用的瓶頸問題和實現故障的自動轉移外，還能充分利用高性能主機資源，達到系統的可擴展性和高可用性目標。

在兩臺以上linux 服務器中，部署應用服務系統（如jboss－eap－4.3或websphere6.1），并通過建立應用服務集群方式，防止單機系統故障，提供高可用的應用服務環境，其基本結構如圖4所示。

圖4 Jboss應用服務器集群邏輯結構

建立jboss應用服務集群的核心是通過負載均衡器按照配置策略（權重）實現對jboss工作節點的訪問，當一個jboss工作節點發生故障，能自動切換到另一個工作節點。負載均衡器是實現應用服務集群的關鍵，對具有大業務量的應用系統，一般選用硬件負載器設備（如F5）。對于業務量相對較小應用系統，可選擇Apache＋mod＿jk軟件方式實現負載均衡功能。

在Jboss應用服務器集群的運行環境中，實現會話復制是實時性業務應用必不可少的要求，但對于管理性業務應用來說，由于會話復制將耗費大量的系統資源，一般都予以禁用。

2.3 訪問服務器系統

Linux5.X 操作系統自帶的Apache Http Server 2.2，可作為B／S 應用最最前端的訪問服務器，并通過基于域名（主機名）的虛擬主機和URL 映射及反向代理技術，為應用服務器集群系統中部署多個應用系統提供統一的訪問入口（訪問端口均為80）。多個獨立的訪問服務器也可組成集群，通過網絡層的VIP技術或專用設備（如IP分發器F5）實現按網絡流量的IP分發和自動故障切換，保證其中一臺主機不能運行時終端用戶仍能對后端應用服務系統的訪問。同時，Linux5.x操作系統的LVS（Linux virtual server）系統［6］，為建立基于Http的訪問服務系統提供了平臺級支持能力，可以作為建立高可用訪問服務系統的選件，其基本結構如圖5所示。

圖5 LVS集群基本結構

LVS技術給出了基于IP層和基于內容請求分發的負載平衡調度解決方法。LVS通過對外的前端機無縫地將網絡請求調度到服務器集群組中，從而使得服務器集群的結構對用戶是透明的，用戶訪問集群系統提供的服務就像訪問一臺服務器一樣，從用戶角度來看服務來自于一個IP 地址。應用程序不受服務器集群的影響，不需要作任何地修改。而且，服務器組的數量可以根據實際需求方便地進行增加、減少。通過使用LVS技術，將服務器組實現成一個可伸縮性的、高可用的訪問服務器系統。

2.4 數據安全及訪問控制

在多業務應用集中部署環境中，數據的安全保密性和防止超級用戶（操作系統的root用戶和數據庫具有DBA 權限的用戶）權力過大是必須解決的核心問題，可以采取下列技術手段，來實現數據安全防護和訪問控制：

（1）通過訪問服務系統（LVS 或apache http server）實現外部用戶訪問與內網中的應用服務和數據庫等真實資源的 ‘隔離’，防止外部用戶直接訪問真實服務資源；

（2）在Linux操作系統中建立專用系統管理帳戶和數據庫系統帳戶、應用服務系統帳戶，限制其操作權力，只分配其日常的啟動／關閉及自身資源的更新操作權限。在正常運行時，禁止root用戶的使用（特別是遠程登錄），并關閉除www 服務外的所有其它網絡服務（如ssh，ftp，nfs，rlogin，telnet等），以切斷外部網絡進入主機系統的通道；

（3）使用Oracledata base vault數據保險箱限制DBA 權限，通過建立安全域（realm），實現對添加入域的業務數據庫對象的保護，并有效控制非授權用戶（包括具有dba權限的用戶）對業務數據的訪問。

3 關鍵指標數據對比分析［5.7］

3.1 性能對比分析［1］

結合實際生產環境，針對普通應用環境和應用基礎架構體系環境我們進行了數據庫、業務應用系統的壓力和并發查詢測試，相關數據見下表。（說明：普通環境指用兩臺與基礎架構相同型號和配置的服務器，分別安裝部署與基礎架構相同版本的數據庫和中間件／業務應用系統。）

表1 普通環境應用系統壓力測試數據

表2 基礎架構體系環境應用系統壓力測試數據

對比表1表2：

（1）單組應用，5并發用戶，兩種環境的性能差異月為4倍，50并發用戶性能差異約為3倍；

（2）普通環境，2組應用，超過35并發用戶時就有業務不成功情況；

（3）基礎架構體系環境，50 并發用戶，無業務失敗情況；

（4）基礎架構體系環境4組應用的性能大于普通環境2組應用；

3.2 可用性分析

由于采用了數據庫集群技術、應用服務集群技術、訪問服務器系統技術，在不需要人工干預的情況下，業務應用系統在故障發生時仍繼續工作，提高了防止架構體系發生故障或從故障中自動恢復的能力。大大地減少了服務器和應用程序的停機時間。

用公式 可用率＝MTBF／（MTTR＋MTBF）可以計算出應用基礎架構體系的可用性，其中MTBF（Mean Time Between Failure）為平均故障間隔時間，MTTR（Mean Time To Repair）為平均故障修復時間。表3列出了近幾年用上述公式計算出的應用基礎架構體系的可用率，可見基礎架構的可用性非常高。而普通環境的可用率低于90%

表3 應用基礎架構體系可用率

4 結束語

本文提出綜合運用數據庫集群技術、應用服務器中間件集群技術、LVS訪問服務器技術、結合高安全性和高保密性要求設計和建立大型復雜的應用基礎體系方法。相比于普通應用環境或使用單項集群技術，該方法不僅實現了數據庫環節的負載均衡，而且實現了應用服務器中間件環節和訪問服務器環節的負載均衡，從而提高了整個應用基礎體系中系統資源的最大化利用，提高了全系統的工作效率。文章對系統性能和系統可用性這兩個關鍵指標數據進行對比分析，證明了該應用基礎體系在整體性能和可用性較普通應用環境有無可比擬的優勢。

高可用應用基礎架構體系建成于2009年建立，多年來運行狀態良好，經受了多起單點設備故障和業務高峰壓力的考驗，以高性能、高可靠、高安全和可擴展等方面的優異能力為企業提供了優質服務。

［1］ZHANG Jianyong.Research and application of clustering and load balancing technology on database system of international science citation［J］.New Technology of Library and Information Service，2010，193（6）：25－32（in Chinese）.［張建勇.集群與負載均衡技術在國際科學引文數據庫服務系統中的應用研究［J］.現代圖書情報技術，2010，193（6）：25－32.］

［2］HE Liqun.Application of database load balancing cluster technology［J］.Coal Technology，2011，30（8）：213－214（in Chinese）.［何立群.數據庫集群系統負載均衡技術的應用［J］.煤炭技術，2011，30（8）：213－214.］

［3］ZHANG Shuben.Load balancing algorithm for middleware database cluster［J］.Computer Engineering，2011，38（5）：41－43（in Chinese）.［張樹本.一種中間件數據庫集群的負載均衡算法［J］.計算機工程，2011，38（5）：41－43.］

［4］TANG Haiying.Research and design of bluewhale HA－SonD system［J］.Computer Engineering，2008，34（5）：98－100（in Chinese）.［湯海鷹.藍鯨高可用服務部署系統的研究與設計［J］.計算機工程，2008，34（5）：98－100.］

［5］LIU Nan.Performance benchmark methodology for load balancing cluster［J］.Computer Engineering and Design，2011，32（10）：3407－3409（in Chinese）.［劉楠.集群負載平衡的性能評測 方 法［J］.計 算 機 工 程 與 設 計，2011，32（10）：3407－3409.］

［6］LIU Bin.Load balancing algorithm based on Linux virtual server［J］.Computer Engineering，2011，37（23）：279－287（in Chinese）.［劉斌.基于Linux 虛擬服務器的負載均衡算法［J］.計算機工程，2011，37（23）：279－287.］

［7］YIN Jiaxin.A multi－criteria dynamic load balancing method for clustered databases：Design and implementation［J］.University of Chinese Academy of Sciences，2012，29（1）：94－100（in Chinese）.［殷佳欣.集群數據庫系統多指標動態負載均衡方法的設計與實現［J］.中國科學院研究生院學報，2012，29（1）：94－100.］

［8］LI Shengli.A web based stream media cluster monitoring system［J］.Computer Engineering ＆Science，2008，30（2）：5－8（in Chinese）.［李勝利.一種基于Web的流媒體集群監控系統［J］.計算機工程與科學，2008，30（2）：5－8.］

［9］CUI Rongbo.Server clustering on virtualization［J］.Computer Systems ＆ Applications，2011，20（3）：173－177（in Chinese）.［崔榮波，一種虛擬化的服務器集群模型［J］.計算機系統應用，2011，20（3）：173－177.］

［10］DU Xiaozhi.Rejuvenation model of server cluster with fluid stochastic petri net［J］.Computer Science，2009，36（7）：131－134（in Chinese）.［杜小智，基于流體隨機Petri網的服務器集群再生模型［J］.計算機科學，2009，36（7）：131－134.］

［11］LIU Bin.Dynamic cluster configuration strategy for energy conservation based on online load prediction［J］.Computer Engineering，2010，36（24）：96－98（in Chinese）.［劉 斌.基于在線負載預測的動態集群節能配置策略［J］.計算機工程，2010，36（24）：96－98.］

［12］HAN Dezhi.Design and performance analysis of dual machine high availability system［J］.Computer Science，2009，36（1）：55－59（in Chinese）.［韓德志.雙機高可用系統設計與性能分析［J］.計算機科學，2009，36（1）：55－59.］

［13］PENG Tuyou.Study on real time monitoring of Linux cluster system performance and its visualization［J］.Computer Technology and Development，2010，20（11）：33－36（in Chinese）.［彭土有.Linux 集群系統性能的實時監測及其可視化研究［J］.計算機技術與發展，2010，20（11）：33－36.］

［14］LIU Junyao.Designing and implementing high availability system of remote disaster recovery［J］.Computer Applications and Software，2010，27（7）：294－297（in Chinese）.［劉 君堯.異地容災高可用系統的設計與實現［J］.計算機應用與軟件，2010，27（7）：294－297.］