Citrix負載均衡在某省運營商業務的使用研究

潘家宏　楊陽　鄧偉偉

【摘要】? ? 當前 Citrix負載作為國外主流負載均衡產品之一，在數字通信領域得到了廣泛使用。中國移動作為移動通信的領航者，無論在國內基站建設、網絡規模、業務營收都排名前列，其內部業務支撐網有著眾多成熟的Citrix負載解決方案;本文就Citrix負載均衡進行了詳細概述，涉及Citrix配置的高可用性、應用加速以及安全技術，并在此基礎上對某省移動公司采用的解決方案進行了實例分析。

【關鍵詞】? ? Citrix? ? 負載均衡? ? 高可用? ? 應用安全? ? 冗余

一、介紹運營商行業背景及負載均衡技術的應用背景介紹

電子渠道出口作為某省移動公司對外提供線上業務辦理、對接大眾市場的公網出口，需提供穩定的網絡服務、豐富的APP增值業務、優質的售后服務，以保證運營商在業務重疊的殘酷競爭環境下仍葆有強大市場競爭力。近年來隨著電子渠道業務受理量持續增長，對于用戶感知強、響應頻率高的業務辦理請求，運營商需要依托現有網絡架構，采用軟/硬件負載解決方案來提高網絡設備和服務器帶寬，在提升現網數據轉發處理能力的同時保證組網的高可用性。

Citrix負載均衡產品設計思路與其他市面上主流負載相似，將多臺服務器以對稱的方式構建服務組，下掛的每臺真實服務器地位對等，均具備獨立對外提供服務的能力。根據不同業務的應用場景，通過Citrix負載均衡能提供最小連接數、輪詢、源ip地址散列等多元化調度算法，將外部請求盡可能均衡分配到服務組下的真實服務器，接收請求的真實服務器再將處理結果單獨返回請求端，最終實現負載分擔功能[1]。運營商業務部署環節采用硬負載均衡方式可解決高并發訪問的問題，保證現業務訪問請求得以快速轉發。

二、Citrix負載高可用性：

2.1負載冗余性

網絡架構搭建過程可將Citrix-NetScaler負載均衡部署成Active/Standby模式，通過配置NSIP （NetScaler管理IP），實現兩臺設備的的網絡聯通。Active負載均衡器每隔1S發送5個UDP數據包到Standby負載均衡器的3003端口，通告是否有配置或命令更新。因此在 Active的Citrix負載在對外部訪問請求處理的過程，會將執行命令同步到狀態為Standby的備機。當管理員在Web頁面控制臺或者設備端修改當前配置，系統在檢測到配置更新后將配置同步到備機。當主用負載均衡設備需要在線升級或者設備出現異常，備用負載均衡可快速實現業務接管。

2.2高可用部署策略

應用部署和數據中心建設過程中，Citrix-NetScaler負載均衡可提供高級服務器負載均衡（SLB）和全局服務器負載均衡（GSLB），通過檢測本地和遠程故障停機來確保系統應用和數據中心的高可用。SLB和GSLB根據健康檢查來監測端口并屏蔽異常的服務器應用，使訪問請求能夠將正確發送到UP狀態的服務器和數據中心。對于本地數據中心，負載采用SLB可避免服務器單點故障或部分服務器負載不均衡導致的數據丟失等問題;對于本地的大型互聯網公司和各運營商在全國多地建設數據中心節點，在負載啟用GSLB功能可將用戶對某個WEB網站的訪問請求引導到眾多站點間性能最佳的一個站點，實現用戶就近訪問、站點之間的負載均衡以及遠程災備[2]。

三、Citrix負載應用加速

Citrix負載提供多項技術來實現應用加速，常用的有TCP復用、TCP緩沖、客戶端連接過程的Keep Alive以及SSL加速技術。 考慮到運營商業務辦理的高頻訪問特性，采用TCP復用技術將客戶端高頻短連接調整為長連接，配合使用TCP緩沖和Keep Alive的心跳包檢測，可以降低服務器負載高頻短連接請求數，起到改善服務器性能和應用加速的效果。

四、應用安全

Citrix-NetScaler負載均衡的Web防火墻可有效抵御OWASP發布的Web應用服務器安全威脅，起到Web服務器安全防護作用。設備在開啟DDoS防護功能后，可由手工配置ACL或數據包規則過濾、數據包內容定制等辦法進行異常流量清洗，確保合法用戶及時得到服務響應。DNS應用防火墻（DAF）可針對域名系統礎架構的攻擊提供高級保護，充分利用查詢行為的粒度級應用規則和速率限制等緩解方法。 負載均衡設備在創建HTTPS監聽前，必須登錄負載均衡管理控制臺，導入業務側所提供的服務器證書和CA證書，而無需在后端服務器再配置證書。通過CA認證，網上的用戶通過驗證CA的簽字從而信任CA，提高應用訪問的安全性[3]。

五、負載均衡在運營商的應用

某省移動公司在電子渠道網絡部署環節，根據業務流量走向，用戶首先通過公網接入網運CNMET，隨后由省網路由器對流量進行快速轉發到電子渠道防火墻，在流量經過防火墻ACL過濾后到達DMZ區交換機。基于不改變前期網絡拓撲結構前提，組網時網絡管理員將Citrix負載均衡設備旁掛在交換機之間，為用戶訪問內網業務提供負載均衡功能，實現電子渠道部署業務主機的均衡訪問。通過Citrix負載設備健康檢查機制確保服務請求鏈接到正常狀態的服務器，為用戶快速訪問鏈接和高質量服務。

在部署模式選擇上，考慮到應用安全性和設備容錯性，不僅需要負載均衡設備能盡可能屏蔽外部對trust區真實服務器的探測攻擊，還需要實現分布式部署和容錯功能。考慮到透明模式安全性較低，不能完全屏蔽外部對與負載均衡設備同屬網段服務器的攻擊;遠程服務器方式部署模式和當前業務主機部署方式不適配[5]。從系統可靠性角度分析，使用相同設備進行串接組網，系統故障率要高于并聯方式。因此某省移動公司最終選定使用路由部署模式，在負載均衡設備上啟用L3/4層（IP+端口）和L7層（應用）負載均衡方式，采用單臂旁路的方式接在交換機兩端。 此外，由拓撲結構明顯可以看出，業務采用服務器負載均衡（SLB）來避免服務器單點故障或部分服務器負載不均衡問題。

單臂模式下Citrix負載均衡采用源地址翻譯技術，對外提供負載VIP給用戶訪問，再根據輪詢算法指向應用實例服務器IP+端口[6]。擴容前由于部分主機硬件配置限制，需要將網關指向Citrix負載。而在當前負載可使用SNAT和DNAT，通過路由保證往返流量都流經負載均衡設備。Citrix負載健康檢查采用HTTP Request方式，當探測到某個Web應用正常，則返回ok等關鍵字段信息。通過上述技術手段，實現服務器負載均衡的功能。

某省移動公司對公網接口改造，使之具備雙棧接入功能，對外可承載ipv4/ipv6業務。在電子渠道公網出口完成防火墻、交換機ipv6配置后，需要修改Citrix相關配置，確保設備能承載ipv6業務訪問，并在內部實現v6到v4地址轉換[4]。通過關鍵配置命令行enable ns feature WL LB CS CR CMP SSL GSLB HDOSP CF SSLVPN AAA REWRITE IPv6PT RESPONDER AppFlow CH開啟ipv6和ipv4協議轉換功能。調通ipv6接口基礎上，只需新增Service- Group、創建Vserver以及將Service-Group與Vserver綁定，即可像ipv4實例一樣實現負載轉發。Citrix負載健康檢查，同樣可以檢測到ipv6應用的存活狀態。

此外，運營商業務根據市場需求實時變更，部署在負載均衡上的證書需要實時更新，從而確保業務正常上線。網絡管理員在收到新的業務側證書后需對證書進行檢查，其中新的證書文件應包含.cer和.key兩種類型文件。如果發現新的證書更換了證書頒發機構，還要業務側額外提供新的頒發機構的CA和中間證書。在確認新的證書中的Common Name和舊證書一致，有效期為最近頒發之后，通過SSH方式創建ns.conf文件的副本，對2臺Citrix負載均衡執行save config命令來保存最新配置，以便證書更新失敗后可以正常回退。在系統GUI界面，可觀察Citrix設備上備份證書的狀態、證書信息、證書綁定關系等。通過GUI界面，Traffic Management>>SSL>>SSL Files，上傳最新的證書文件到設備后，選中對應證書執行Update命令，最終完成服務器證書和密鑰替換。

參? 考? 文? 獻

[1]王龍. 面向大規模訪問的Web服務器負載均衡系統設計與實現[D]. 北京郵電大學， 2013.

[2]汪岳. 移動云辦公的應用和研究[J]. 信息系統工程， 2017， 000（004）：82-83.

[3]崔誠. 數字證書在網絡安全中的應用探析[J]. 電腦知識與技術， 2014， 000（027）：6278-6279.

[4]黃萍， 羅偉峰， 劉昕林，等. IPv4與IPv6協議雙棧技術融合企業網絡的方案及應用[J]. 粘接， 2019， 040（011）：110-113.

[5]夏斌， 杜守國. 云服務平臺負載均衡器的網絡設計與實踐[J]. 計算機應用與軟件， 2014， 31（008）：121-125.

[6]夏壘. 基于NAT負載均衡技術的研究和改進[D]. 上海交通大學， 2013.