新一代萬兆雙棧認證計費系統的研究與實現

馬云龍,張千里,姜彩萍,王繼龍

(清華大學信息化技術中心,北京100084)

新一代萬兆雙棧認證計費系統的研究與實現

馬云龍,張千里,姜彩萍,王繼龍

(清華大學信息化技術中心,北京100084)

校園網的傳統計費系統無法支持萬兆線速,且局限于流量計費或時長計費,不能實現單一用戶多連接數的計費和實時流量階梯計費。為此,設計一種新的校園網萬兆雙棧認證計費系統。通過改進計費算法模型實現實時流量階梯計費,使用優化的通用PC服務器體系結構提高萬兆計費網關的轉發性能。經校園網部署應用證明,該計費系統可提供萬兆雙棧鏈路下用戶實時流量階梯計費和網關高速轉發服務,設計的系統已被清華大學校園網采用并取得了較好的使用效果。

萬兆;雙棧;計費系統;實時;流量階梯計費;計費網關

1 概述

隨著互聯網應用的快速發展,網絡使用模式發生了巨大變化,網絡云盤、P2P及網絡視頻等新應用占據大量網絡帶寬［1］。為提高用戶體驗,各單位出口帶寬不斷提高,從教育科研計算機網絡的接入單位來看,升級改造其主干網絡和出口鏈路至萬兆［2］已經成為主流。目前,雖然已有一些針對萬兆鏈路流量采集或分析系統的研究,但是萬兆鏈路下實現流量實時計費仍然面臨諸多問題:對于使用寬帶遠程接入服務設備(Broadband Remote Access Server, BRAS)利用遠程用戶撥號認證子系統［3-4］(Remote Authentication Dial in User Service,RADIUS)協議的記賬報文實現流量計費的系統,由于RADIUS實時計費更新報文的發送間隔參數一般為分鐘計,導致流量計費的實時性比較低;對于采用Netflow流數據進行計費的系統,存在數據組織效率低、傳輸開銷過大等問題［5］,且路由器發送Netflow流取決于用戶網絡連接的中斷或者路由器的老化時間參數設置,容易出現流量計費系統所接收到的Netflow流數據與用戶當時產生的實時流量出現時間錯位的情況;因此,這種計費方式也不能很精確地實現實時計費。本文主要研究如何利用萬兆計費網關逐包歸并統計的方式實現萬兆鏈路下的實時流量計費。

2 計費系統的設計與實現

計費系統面臨著計費的公平性、多樣性以及多協議支持的新需求［6-8］。首先,傳統的包月和區分國際、國內流量的資費政策無法保證用戶公平使用網絡帶寬,需要重新制定新的資費策略以實現多占用網絡帶寬,多產生網絡流量則應多付費的公平原則。而傳統的包月計費政策中多用網絡流量的用戶和少用網絡流量的用戶都采用相同的費率(包月或包時)進行計費,客觀上影響了大多數用戶的網絡使用體驗,因此實施流量階梯計費可很好地解決以上問題。其次,用戶多樣化的校園網需要提供多種計費策略,對于現階段用戶智能終端、便攜式電腦以及PC臺式機的同時連網需求,有必要允許同一用戶賬號多個IP地址同時使用,而目前國內主流計費系統尚無法支持單一用戶賬號多IP地址同時在線的階梯計費策略。此外,清華大學校園網已開通IPv4/IPv6雙棧主干和出口萬兆網絡,IPv6網絡的普及迫切需要能支持IPv6地址計費的新系統。

為滿足以上需求,本文設計清華大學校園網新一代萬兆雙棧認證計費系統,采用通用PC服務器平臺架構作為萬兆出口網絡的計費網關,為提高萬兆高速網絡中計費網關的轉發性能,對通用PC服務器體系結構進行優化設計并改進萬兆計費網關的轉發算法,通過改進計費系統算法模型實現實時流量階梯計費。

本文設計的萬兆雙棧認證計費系統由客戶端/ WebPortal認證模塊、內存用戶認證模塊、計費網關模塊、計費/入庫模塊、用戶數據庫、用戶管理系統6個部分組成,如圖1所示。

圖1 計費系統架構

客戶端/WebPortal認證模塊是用戶接入網絡的認證平臺,負責將用戶的認證信息安全可信地遞交給內存用戶認證模塊,同時返回內存用戶認證模塊的認證信息。

內存用戶認證模塊負責用戶調度,接收到客戶端/WebPortal認證模塊的認證請求后首先校驗用戶在內存中的狀態,用戶認證通過后即通知計費網關放行該用戶的IP地址。

計費網關部署在校園網出口鏈路上,作為校園網和互聯網的隔離,計費網關首先需要能夠識別鏈路兩端的路由設備以及支持對IPv4,IPv6不同協議包分別處理,默認情況下用戶IP地址在計費網關為關閉狀態,用戶無法上網,只有通過內存用戶認證模塊的授權并下發策略給計費網關,計費網關才會放行該用戶的IP地址并將該用戶的IP數據包逐包統計,將包頭中的長度字節累計并實時發給計費/入庫模塊。

計費/入庫模塊為整個計費系統的結算模塊,負責實時結算計費網關發送來的用戶累計流量,并與用戶的計費策略進行實時比對,當用戶余額不足時通知計費網關關閉用戶的IP地址,并通過內存用戶認證模塊返回客戶端/WebPortal認證模塊相應提示信息。

當用戶結束聯網后通過客戶端/WebPortal認證模塊向內存用戶認證模塊發起斷開網絡請求,內存用戶認證模塊將下線指令送到計費網關,計費網關將該用戶下線的同時將用戶最后一條流量信息送給計費/入庫模塊,此時計費/入庫模塊會根據該用戶的資費策略對本次聯網期間用戶產生的時長、流量進行結算,并將這一聯網明細寫入用戶數據庫。

用戶管理系統提供用戶管理、充值和查詢等功能。

2.1 萬兆雙棧計費網關

計費網關是計費系統最核心的組成部分,計費網關對網絡數據包的轉發效率決定了萬兆鏈路計費的能力,計費網關對IPv4和IPv6協議包的識別能力決定其能否雙棧計費。此外,計費網關對在線用戶的計費粒度是實現實時計費的關鍵因素。

一個合格的萬兆計費網關必須具備高性能轉發、支持分布式部署、運行可靠和維護簡單等特點。其中,計費網關最主要的工作在于對每個通過的數據包進行逐包統計流量和實時計費歸并。因此,高效的IP地址插入和查找算法十分重要。本文設計計費網關的內存在線IP表的HASH查找算法來實現高效快速的在線IP地址插入和查找,取IPv4地址的低8位(IPv6地址的后4位)構造HASH值,HASH的算法函數如下所示:

其中,2 654 435 769為斐波那契(Fibonacci)散列法對應32位的大素數。為了防止HASH值的碰撞問題, HASH值存放設計成256叉樹鏈表,由此設計計費網關同時在線IP為65 536個。計費網關與計費系統之間通信采用UDP協議,UDP數據包理論最大長度為65 535 Byte,因IPv4數據包包含8 Byte的數據包頭和20 Byte的IP包頭,IPv6數據包包含40 Byte的數據包頭,所以UDP協議數據包可傳輸的數據長度不少于

65 495 Byte,本文設計每個UDP包發送256個IP,使用批量打包傳送的方式來傳遞網關逐包統計和歸并后的流量信息,一次只需批量發送256個包即可將65 536個在線IP的流量信息發送給計費/入庫模塊進行計費結算,在同一子網中發送UDP包的時間間隔約為80 ms,256×80=20.48 s,考慮網絡延遲,本文設計計費網關30 s完成一次流量信息傳送,即30 s可完成65 536個同時在線IP的一次流量結算。批量打包的方式極大減少了計費網關和計費系統間的通信數據量,提高了同步效率,如需擴展同時在線IP表只需擴大鏈表和每次發送的IP數目即可,例如設計512叉樹鏈表,每個UDP包發送512個IP地址,同時在線用戶即可達到131 072個。

對于萬兆計費網關的實施,目前主流萬兆網關主要有2種,一種是基于專有硬件平臺的萬兆網關,例如Tilera或OCTEON［9-12］硬件平臺,一種是基于通用PC服務器平臺研發的萬兆網關。專有硬件平臺萬兆網關轉發效率高,但也存在一些問題［13］,首先,代碼開發技術難度較高,需要進行基于硬件平臺的底層開發;其次,專有硬件平臺價格較高,且通常采用專用的操作系統,運行維護和迭代開發難度較大;再次,專有硬件平臺對運行環境要求較高,易出現散熱不好導致硬件故障的問題。而改進通用PC服務器平臺的內核轉發模塊算法達到預期的萬兆轉發性能的體系結構開發難度相對較小,硬件平臺成本低廉,易于維護,具有穩定、可靠、通用性好的優點。

本文萬兆計費網關的研發基于通用PC服務器架構和萬兆光纖網卡進行,考慮到此種架構的計費網關轉發瓶頸主要在于CPU的消耗,經過長時間開發、測試,內核轉發時CPU采用改進的直接緩存訪問(Direct Cache Access,DCA)指令集處理中斷,從而使計費網關轉發的數據包盡可能以最近最快的途徑進入CPU的高速緩存并被萬兆網卡優先訪問,既可充分利用高速緩存中的數據,又可利用高速緩存低延遲的特性,避免CPU頻繁訪問內存,從而降低系統開銷。此外,開啟CPU多核和超線程并行處理模式,另外開啟了萬兆光纖網卡多隊列模式,以實現每一個網卡隊列都有一個CPU核心負責處理數據包轉發業務,建立并行處理隊列,從而提升CPU的處理效率,減少CPU的整體性能消耗,達到提高數據包轉發能力的目的。

本文計費網關采用一臺通用PC服務器,其CPU采用2顆6核主頻為2.93 GHz的INTEL至強處理器,網卡采用INTEL?82 599萬兆以太網控制器,操作系統采用Linux Redhat AS6.0,測試儀采用IXAX400T 2塊萬兆板卡,開啟CPU全部24個處理器核心做多線程并行處理,開啟萬兆光纖網卡16個隊列進行萬兆計費網關轉發測試,測試結果如圖2所示。

圖2 萬兆雙棧計費網關轉發性能測試

圖2表明,本文研究實現的萬兆雙棧計費網關可對64 Byte小包達到單向650萬包/s的轉發速率, 256 Byte及以上的數據包實現線速轉發,2010年8月的INTEL實驗室內部測試數據表明,對于相同硬件平臺,CPU主頻為3.33 GHz的服務器,64 Byte數據包轉發為單向900萬包/s,本文研究的計費網關基本接近INTEL實驗室內部測試的轉發數據。在萬兆網關上線時采用了主頻為3.33 GHz的CPU,經再次測試, 64 Byte數據包轉發效率得到進一步提升,單向轉發達到720萬包/s的轉發速率,由此表明之前測試轉發效率低于INTEL實驗室內部測試結果的主要原因是本文采用的CPU主頻低于INTEL實驗室內部測試所采用的CPU主頻所致。

2.2 實時流量階梯計費

實現實時流量階梯計費需要考慮同時兼容其他資費政策,如何平滑切換計費階梯也是一個難點問題。階梯切換時需要保證用戶聯網狀態不變,而且用戶聯網明細需要做賬單分割,即用戶明細需要呈現階梯前后的流量明細、流量公式等。對于同一用戶多個IP地址同時在線的情況,需要考慮流量統一歸并實時結算的問題。

本文設計的計費/入庫模塊也采用內存在線IP表的HASH算法實現高效快速的在線IP插入和查找,同時在內存中分配了在線用戶HASH表,數據結構與計費網關內存在線IP表相同,設計容量也為65 536個。當用戶使用客戶端/WebPortal認證模塊發起認證請求并獲得通過時,內存用戶認證模塊通知計費模塊將該用戶寫入內存在線用戶HASH表,同時將該用戶的IP寫入內存在線IP HASH表。計費/入庫模塊每隔30 s收到計費網關發送的所有在線IP流量信息,根據IP與用戶賬號的對應關系以及該用戶的當前資費策略進行流量結算。結算流程如圖3所示。計費/入庫模塊收到內存用戶認證模塊的用戶上線通知時,標記用戶是否為階梯計費用戶、用戶當前的階梯資費組、用戶當前階梯資費組的最大可用流量等信息。計費/入庫模塊收到計費網關的同一用戶多個在線IP的累計流量時與當前階梯計費組最大可用流量進行比較,當到達階梯最大可用流量時執行計費組切換動作,將用戶計費組切換成下一個階梯計費組,同時按照用戶組的資費標準將流量折算成金額并在用戶賬戶中扣除,如用戶余額不足則將其強制下線。

圖3 用戶階梯計費結算流程

切換過程同時生成用戶賬單分割明細,標識用戶在切換階梯前后在線IP所產生的流量明細。計費系統在月末統一執行用戶計費組復位操作,同時將用戶累積流量清零。通過以上功能的開發解決了同一用戶多個IP地址在線按照流量實時階梯計費的問題。

2.3 客戶端/WebPortal認證模塊

客戶端/WebPortal認證模塊作為用戶接入互聯網的首跳入口具有極其重要的意義:為了防止出現密碼盜用,流量重放偽冒用戶等情況并提高用戶體驗,有必要設計一套安全、可信的認證平臺;為了與多種互聯網應用對接,滿足當前用戶的多種應用一次認證的需求,有必要設計一套標準、開放的認證平臺。

本文所研究的客戶端認證平臺基于標準的MD5-CHAP協議。首先,用戶發起認證時客戶端向內存用戶認證模塊(服務端)發起認證請求,內存用戶認證模塊驗證用戶身份后下發16位的隨機口令,并在服務端暫存該口令;用戶得到口令后對服務端下發隨機口令和用戶自身口令聯合進行MD5-CHAP協議加密并送回至服務端,服務端收到認證報文后根據暫存的隨機口令以及服務端用戶自身的MD5口令對認證報文中的密文進行CHAP校驗,校驗結束后即清掉暫存的口令,以保證報文的唯一性。由于CHAP協議是單向加密,無法從密文中推導出明文密碼,服務端隨機生成的16位口令具有唯一性,即使偽冒用戶發送的用戶報文相同也無法再次通過認證,從而有效防止了用戶密碼被盜、流量重放偽冒用戶等情況。

此認證平臺允許第三方應用以插件的方式嵌入至該平臺,為第三方應用系統(例如IPTV系統、VPN系統等)與計費系統的認證對接提供了方便、開放的接口。

3 計費系統應用部署與實施

整套計費系統于2012年1月1日在清華大學校園網部署應用,如圖4所示。

圖4 計費系統部署

計費網關分布式部署在出口網絡上,認證/計費/入庫/管理單元部署在核心資源子網,計費網關管理地址與該單元各模塊處于同一子網,保證各模塊之間的數據交換能夠安全、可靠、高效地進行。根據硬件平臺的內存大小,計費網關和計費/入庫模塊的HASH表空間設計為存儲50萬用戶的用戶內存表、50萬的IP地址內存表,設計65 536個在線用戶HASH表、65 536個在線IP表。用戶管理系統負責將用戶的新建、更新、刪除記錄寫入數據庫,計費系統每10秒鐘同步一次用戶數據,數據庫出現故障時,基于內存的認證和計費也依然可以正常工作。計費/入庫模塊在內存中設計存儲10萬條用戶聯網明細,滿足校園網12 h以上的用戶聯網明細在內存中存儲。當數據庫恢復時,計費/入庫模塊自動將數據庫故障期間的用戶聯網明細寫入數據庫。以上設計降低了認證計費系統對數據庫的耦合程度,擺脫了對數據庫的過度依賴,也避免了因數據庫故障導致用戶聯網明細丟失的情況。

系統部署采用了多體系模塊化設計,各部分功能模塊既可以分布式部署,又可以集中部署,具有完善的無縫結合功能,既可以將內存用戶認證模塊、計費模塊、入庫模塊、用戶自服務系統、用戶管理系統融合在一臺服務器上,也可以將這些模塊分別部署在不同的服務器上。當前清華大學校園網采用全冗余的設計結構對計費系統進行部署:通過路由器虛擬化技術,各個計費模塊服務器的雙網卡以鏈路捆綁方式分別接入2臺核心路由器,保證任何一臺路由器故障或者服務器某塊網卡故障時整套系統都可以正常工作,整個計費系統在物理鏈路上做到了全路徑冗余;數據庫采用了Oracle的事務一致性復制技術(DataGuard)做數據庫主存儲陣列和從存儲陣列之間的數據同步,保證2臺陣列之間的數據一致性。其中,主數據庫和從數據庫均為2臺數據庫節點服務器所構成的應用集群,應用集群采用虛擬化IP技術,同一個集群內任何一個節點故障,均不會影響應用系統的數據庫服務,進一步保證了系統的高可靠性和高可用性。

4 研究結果與分析

目前校園網日均在線用戶變化如圖5所示,高峰時段計費網關和計費系統在線用戶超過4.7萬人,系統運行至今一直保持穩定、可靠,實時流量階梯計費準確,清華大學校園網用戶普遍反映網絡變快了,流量使用更加合理了。

圖5 日均在線用戶變化

在計費網關上統計CPU中斷的結果分別如圖6所示。從圖6中可以看出,CPU消耗很低,CPU中斷已經在24個內核上做到了完全平衡,說明系統運行負載低,系統性能高效,系統運行穩定。對校園網萬兆雙棧鏈路出口流量數據進行統計發現,流量達到高峰期時,流量高峰為單向150萬包/s,在某個突發時刻可以達到200萬包/s。本文所研發的萬兆計費網關完全可以負擔當前的生產流量,并具備很強的抵御流量攻擊的能力。

圖6 萬兆計費網關服務器CPU中斷

5 結束語

本文分析傳統計費網關在萬兆高速網絡中面臨的轉發性能不足,對單用戶多IP同時在線不支持,以及無法實現實時流量階梯計費問題,提出基于通用PC服務器平臺萬兆雙棧計費網關轉發的優化設計,改進計費網關和計費系統的算法模型。經校園網部署應用證明,可提供萬兆雙棧鏈路下用戶網絡流量實時階梯計費和網關高速轉發。本文系統提供了穩定可靠的基礎運行平臺并積累了全網用戶的網絡流量日志數據,可基于用戶網絡流量日志繼續進行更加深入的研究及數據挖掘工作。

［1]Ye Mingjiang,Wu Jianping,Xu Ke,et al.Identify P2P Traffic byInspectingDataTransferBehaviorNetworking［J］.Computer Communications,2010,33(10): 1141-1150.

［2]彭 雋,勞鳳丹,鄒仁明.萬兆全冗余校園網出口升級改造方案［J］.武漢大學學報:理學版,2012,58(S1): 120-124.

［3]趙玉亭,張 治,李立欣,等.安全RADIUS認證、授權、計費系統的構建［J］.計算機工程,2006,32(6): 144-145,148.

［4]豐 艷.基于Radius協議的VOIP認證/計費系統的設計與實現［J］.計算機工程與設計,2008,29(13): 3478-3481,3507.

［5]張廣興,邱 峰,謝高崗,等.一種高校的網絡流記錄表示方法［J］.計算機研究與發展,2013,50(4):722-730.

［6]Park Ki-Woong,ParkSung-Kyu.THEMIS:Towards Mutually Verifiable Billing Transactions in the Cloud Computing Environment［C］//Proceedings of the 3rd InternationalConferenceonCloudComputing.Washington D.C.,USA:IEEE Press,2010:139-147.

［7]Buyya R,Arramson D.Economic Models for Resource Management and Scheduling in Grid Computing［J］.Journal of Concurrency and Computation:Practice and Experience,2002,14(13-15):1507-1542.

［8]黃衛東,于瑞強.云計算環境下基于Petri網的流程計費模型［J］.北京郵電大學學報,2013,36(1):31-35.

［9]Huggahalli R,Iyer R,Tetrick S.Direct Cache Access for High Bandwidth Network I/O［C］//Proceedings of the 32nd Annual International Symposium on Computer Architecture.Madison,USA:［s.n.］,2005:50-59.

［10]吳 舜,蘇 丹,吳 佳,等.基于Tilera平臺的網絡細粒度應用行為識別［J］.電信科學,2013,29(11):94-98.

［11]Meng Jinli,Chen Xinming,Chen Zhen,et al.Towards High-performanceIPseconCaviumOCTEONPlatform［C］//Proceeding of the 2nd International Conference on Trusted Systems.Beijing,China:［s.n.］,2011:37-46.

［12]Tilera Corporation.Many-core Network Processor［EB/OL］.(2013-02-25).http://www.tilera.com/products/processors/ TILEPRO64.

［13]Chen Zhen,Ruan Linyun,Cao Junwei,et al.TIFAflow: Enhancing Traffic Archiving System with Flow Granularity for Forensic Analysis in Network Security［J］.Tsinghua Science and Technology,2013,18(4):406-417.

編輯 顧逸斐

Research and Implementation of New Generation Ten Gigabit Dual-stack Authentication and Accounting System

MA Yunlong,ZHANG Qianli,JIANG Caiping,WANG Jilong
(Information Technology Center,Tsinghua University,Beijing 100084,China)

The traditional accounting systems cannot support 10 Gigabit wire speed and they do not support one accou nt multiple connections and real-time flow step accounting.A new ten Gigabit dual stack authentication and accounting system is designed and implemented,which improves the accounting algorithm model to realize real-time flow step accouting and optimizes the generic PC server’s architecture to improve the forwarding performance of ten Gigabit billing gateway.The campus network application shows that it can provide real-time charging in ten Gigabit dual stack link and fast forwarding service.

ten Gigabit;dual-stack;accounting system;real-time;flow step accounting;accounting gateway

馬云龍,張千里,姜彩萍,等.新一代萬兆雙棧認證計費系統的研究與實現［J］.計算機工程,2015, 41(3):306-311.

英文引用格式:Ma Yunlong,Zhang Qianli,Jiang Caiping,et al.Research and Implementation of New Generation Ten Gigabit Dual-stack Authentication and Accounting System［J］.Computer Engineering,2015,41(3):306-311.

1000-3428(2015)03-0306-06

:A

:TP393

10.3969/j.issn.1000-3428.2015.03.058

馬云龍(1972-),男,工程師、碩士,主研方向:Oracle數據庫,郵件系統;張千里,副教授、博士;姜彩萍,高級工程師、碩士;王繼龍,教授、博士。

2014-02-25

:2014-05-07E-mail:myl@tsinghua.edu.cn