AFTR池化技術研究

胡 捷，陳運清

（中國電信股份有限公司北京研究院 北京100035）

1 背景和需求

DS-Lite（輕型雙棧）技術是中國電信集團公司（以下簡稱中國電信）在從IPv4向IPv6遷移時期采用的一種針對固網寬帶用戶部署的過渡技術，可有力推進網絡基礎設施的IPv6進程，加快向IPv6的過渡步伐。

在中國電信部署DS-Lite過渡技術時，經過論證，規模在30萬用戶以下的城域網，每年新增用戶以10%計，可以采用集中式部署的方式滿足3～5年新增用戶的DS-Lite接入需求，即在兩套城域網核心出口路由器CR1和CR2處分別旁掛一臺獨立式AFTR（address family transition router）設備，實現城域網內所有DS-Lite用戶的隧道封裝/解封裝、NAT（network address translation,網絡地址轉換）、路由表查找、狀態維護和日志發送。

現階段的產業實現上，獨立式AFTR設備基于MSE設備設置AFTR功能板卡實現，即采用成熟的MSE機箱、電源、交換矩陣、主控和路由引擎以及用于連接CR和轉發流量的線卡；與MSE唯一不同的就是多了一種有狀態設備——AFTR板卡。由于MSE整機交換容量不可能無限遞增，且設備單槽吞吐率受背板帶寬制約，就目前的制造工藝來說，單塊AFTR板卡支持的DS-Lite隧道數、每秒新建的會話數、并發會話數以及單板的轉發率等性能上都有一個限度，為了支持更多的DS-Lite用戶，必須在單臺MSE機箱中級聯多塊AFTR板卡，實現性能線性遞增。仍以一個30萬用戶規模的城域網為例，如果采用集中式部署DS-Lite，基于目前單塊AFTR板卡性能測試結果和用戶規模對吞吐率、并發會話和每秒新建連接的要求，每臺獨立式AFTR設備需要配置6～8塊AFTR板卡才能滿足性能要求。

2 池化技術概述

設備池化，顧名思義就是多塊相同功能的設備、板卡通過某種方式進行集群、級聯、堆疊，采用虛擬化技術（多虛一），使得原單一設備的性能獲得線性增長。從設備角度而言，池化技術有多個物理上獨立的設備進行池化和單臺設備內多個物理獨立的板卡進行池化之分；多臺Web服務器經過集群技術組成的服務器群（server farm）就是前者的最好案例，本文所研究的AFTR板卡池化則是后者的一種實現。從應用和業務模式角度看，池化技術還可以分為無狀態池化和有狀態池化。以單臺設備多板卡為例，路由器的多塊交換矩陣模塊之間就是無狀態池化：構成一個全雙工通信的雙向流量，可以經過不同的交換矩陣模塊，甚至組成一個單向流的不同報文，都可以經過不同的矩陣模塊，所有被切分為信元的報文以及由多個報文構成的流都會在線卡進行重新組裝。由于無狀態，多個交換矩陣模塊的池化是天然支持的，交換容量隨矩陣模塊的疊加而線性增長。與交換矩陣模塊不同，AFTR板卡需要負責隧道終結和IPv4-IPv4地址轉換，這些會話信息作為一種狀態存在于內存數據庫，因此是有狀態設備。多塊有狀態的AFTR板卡進行池化，與多塊無狀態的交換矩陣池化在實現上完全不同，技術要復雜得多。因為一個狀態是由構成一個通信的雙向流特征（通常是IP報文的五元組，即基于TCP/IP實現進程通信的socket association）共同構成的，在多塊板卡池化過程中，必須解決組成一個狀態的雙向流特征匹配關系。目前基于狀態的板卡池化主要采用以下兩種解決方案。

（1）所有AFTR板卡自行維護各自的狀態表

所有AFTR板卡維護自己的會話狀態表時，為了確保狀態雙向流特征匹配，上下行流量必須經過物理上同一塊AFTR板卡。上行去程流量一旦選定某個AFTR板卡，下行回程流量通過基于NAT地址池為目的地址的選路方式，自動引導到去程選定的同一塊AFTR板卡上。板卡之間不進行會話狀態同步，當板卡故障，這塊板卡原先承載的會話全部需要新建，并建立在其他板卡上。會話重建在互聯網流量模型上經常發生，對絕大多數互聯網應用都不會導致問題，以基于HTTP的Web瀏覽應用為例，用戶每刷新一次網頁頁面就是一次會話重建的過程。每個AFTR板卡維護自己獨立的會話狀態表，這樣的池化實現簡單，只需要解決雙向流量經過同一個物理上的AFTR板卡即可，總體而言簡化了冗余實現，降低了成本。

（2）所有板卡共享全部狀態表

如果要求所有板卡共享狀態，必須實現所有AFTR板卡之間的會話同步，理論上是將多塊AFTR板卡統一整合為可動態管理和分配的資源池，徹底虛擬為邏輯上一塊，理想狀態下可實現硬件和軟件完全分離，硬件資源高度整合共享，任務和應用可以跨AFTR板卡調度或協同。最直觀的感受就是支持一個會話的雙向流量分別經由不同的AFTR板卡處理和轉發。但是以目前的技術發展現狀看，這樣做代價很大，實現上也存在瓶頸。為滿足這種需求，理論上可采用主/備（master-slave）和P2P（peer to peer）方式實現多塊板卡之間的狀態同步，但實現的代價和困難如下。

·主/備方式：多個板卡之間通過一塊主板卡運行內存數據庫，其他備用板卡訪問主板卡。主板卡負責提供獨立的物理內存進行狀態流表信息存儲，需要與所有AFTR板卡建立數據傳輸通道，由于大量會話的建立是非常隨機的，設備對每秒新建、并發會話數有很高的要求，每個備用板卡新建會話信息要不斷和主板卡上行同步，主板卡還要即刻將新建會話向所有備用板卡實現下行同步，頻繁的一來一往將占用板卡—交換矩陣的吞吐率以及交換矩陣本身的交換能力，且消耗主板卡的CPU處理性能。

·P2P方式：采用每個AFTR板卡分別存儲的模式，實現技術是每塊AFTR板卡與其他AFTR板卡之間建立全網型（full mesh）的會話狀態表同步。假設8塊AFTR板卡進行池化，單機系統內部需要支持8×（8-1）/2=28個一一對應的板卡同步數據流，相對主/備方式的7條同步數據流而言，AFTR板卡之間的會話同步數據極大，更加耗費板卡與矩陣之間的吞吐量，降低交換矩陣的有效能力。

無論哪種同步方式，為了確保每塊AFTR單板維護全部8塊AFTR的所有會話狀態表，實際上都會導致單塊AFTR的內存配置過大或者單塊AFTR板卡實際支持的并發會話數降為標稱值的1/8，池化的優勢體現不明顯。

經過上面的分析，筆者認為，至少在當前，單臺設備內配置多塊有狀態AFTR板卡的池化方案，應采用“所有AFTR板卡自行維護各自的狀態”的方式進行。

3 目前的多板卡級聯技術實現

傳統方式下，多塊AFTR板卡通常采用N∶1方式實現冗余，即單獨采用一塊AFTR板卡作為待機備用（standby），其他N塊AFTR板卡處于激活（active）狀態。所有激活狀態的板卡之間互為獨立，沒有關聯，各自維護自己的狀態，各自采用獨立的NAT地址池。由于每個單獨板卡維護自己的會話狀態，必須確保一個會話的上、下行流量都經過同一塊物理AFTR板卡，為了實現這種要求，在上行去程流量進入AFTR設備的時候，主流廠商采用基于策略的選路方式，根據不同的IPv6源地址范圍，指定送往某塊具體的AFTR板卡；下行流量采用NAT后的公有IPv4源地址作為回程目的地址，通過路由尋址的方式，找到同一塊AFTR板卡。

這樣的實現方式具有如下缺陷。

·上行去程流量根據IPv6源地址進行策略路由，是沿襲了獨立式CGN設備的做法，流量進入獨立式CGN設備后，流量目的地址是互聯網上的應用和業務服務器所在地，而且有些流量是采用公有地址的，無需經過NAT，因此在獨立式CGN設備上必須配置策略路由，首先判斷流量的IPv4源地址，公有地址的直接查找路由表轉發；私有地址的再指向CGN板卡，如果配置了多塊CGN板卡，還需要進一步對私有地址進行區分，與不同的網段地址相匹配的流量進入不同的CGN板卡，以確保實現大致的流量均衡。這樣的解決方案要求私有地址在城域網中以BRAS為粒度按區域進行嚴格規劃和分配，且地址段不能太碎裂，對城域網私有IPv4地址的部署帶來很大挑戰。此外，當一塊AFTR出現故障時，策略路由需要盡快感知，并將原本要發往故障AFTR的流量重新定向到待機備用的AFTR板卡，同時還要考慮原板卡NAT地址池的再利用，否則待機備用板卡還要占用一段公網地址。從技術實現、設備配置和故障排查上來看，這種方式都極為復雜，在生產網絡中幾乎不可用。

·N∶1方式需要單獨拿出一塊AFTR板卡專門作為備份，平時不承載業務流量，板卡的利用率不高。

4 理想的多板卡池化方案

為了解決以上問題，必須采用特定的技術方案，實現多塊AFTR板卡如下的池化效果：

·多塊板卡通過級聯實現性能線性疊加；

·采用N+1方式實現負載分擔和冗余；

·NAT地址池資源可以在所有AFTR板卡之間漂移和共享；

·一塊AFTR出現故障前所承載的流量、會話以及占用的NAT地址資源，故障后都平均分攤到其他正常的AFTR板卡。

具體的架構設計和技術實現如下。

4.1 所有AFTR板卡配置同一個邏輯地址

在采用DS-Lite過渡技術時，與私網雙棧NAT444最大的不同，同時也是DS-Lite的優勢就在于，所有DS-Lite流量都是IPv6封裝的隧道流量，目的地址就是AFTR板卡的邏輯地址，流量根據IPv6選路經城域網引導到獨立式AFTR設備的線卡，進入線卡后查找FIB經交換矩陣轉發到AFTR板卡。如果是其他通往IPv6互聯網的流量，則在進入線卡的時候，經過FIB查找而直接經交換矩陣轉發到Egress線卡，無需進入AFTR板卡。

當獨立式AFTR設備配置了多塊AFTR板卡時，系統必須對外只提供一個邏輯地址，即所有AFTR板卡共享同一個IPv6 AFTR地址。進入AFTR的流量，根據B4源地址散列值隨機分配到不同的AFTR板卡進行隧道終結和NAT處理，此方式優勢如下。

·AFTR板卡共享一個邏輯地址，所有DS-Lite客戶端B4設備只需配置一個隧道目的地址，基于源地址散列實現上行去程流量平均、隨機分布在不同AFTR板卡上，自動實現負載分擔。

·由于采用AFTR地址作為隧道目的地址牽引DS-Lite流量，無需對源地址進行特定規劃，無需配置PBR，利于在生產網絡中的實際部署。

4.2 NAT地址池與AFTR板卡松耦合

每個板卡占用的NAT地址池資源，以/32為粒度，由獨立式AFTR設備的主控卡統一、隨機分配到不同的AFTR板卡上，即所有AFTR板卡上用作NAT的源地址都是離散、相互獨立、以/32為粒度的地址，其優勢如下。

·主控卡統一分配NAT地址，NAT地址池與AFTR板卡實現松耦合，沒有固定的綁定關系。AFTR板卡故障后釋放所占用的NAT地址，可以被主控卡回收。

·主控卡重新下發回收的NAT地址后隨即生成新的FIB并同步下發到所有線卡，確保獨立式AFTR設備的所有線卡的FIB更新，從而引導反向下行流量進入同一個AFTR板卡。

·采用多個離散/32地址可以避免采用一個子網段作為NAT地址池時，子網全0（網絡地址）和全1（廣播地址）地址不能用作NAT源地址的問題，提高地址利用率。

·主控卡將回收地址以/32為粒度隨機、均衡地分配到其他未故障板卡上，從而實現這塊板卡原先承擔的會話數和流量可以均衡地分擔到其他板卡。

·可以實現N+1方式的冗余和備用，所有AFTR板卡全部作為激活板卡使用，避免了N∶1方式下需要拿出專門一塊板卡作為待機備用而導致的資源浪費。

圖1 雙向流轉發過程（多塊AFTR板卡的情況）

綜上所述，多塊AFTR池化組成一個獨立式AFTR設備后，流經獨立式AFTR設備的上下行流量轉發過程如圖1所示。

具體的實現步驟如下。

（1）Ingress線卡查找IPv6 FIB之后，經過交換矩陣將其送往AFTR，AFTR剝離IPv6封裝，進行IPv4-IPv4 NAT，查找IPv4 FIB將其回送至交換矩陣再到Egress線卡。

（2）返程下行流量進入線卡，查找IPv4 FIB后經過交換矩陣將其送往AFTR，AFTR查找會話狀態表進行反向IPv4-IPv4 NAT，并查找IPv6索引，然后采用IPv6封裝，AFTR隨即查找IPv6 FIB，之后經過交換矩陣送到Egress線卡，經線卡接口送到B4。

（3）如果一塊AFTR板卡出現故障，這塊AFTR板卡的地址池（離散的，以/32為粒度的零碎地址，而非傳統意義的一個連續地址池）隨即釋放，由主控卡將地址隨機、平均分配到其他未發生故障的AFTR板卡，并及時更新FIB且同步下發到各線卡，確保返程流量進入線卡后可經由交換矩陣進入同一塊AFTR板卡。

5 池化技術發展趨勢

本文重點闡述了單機箱多板卡之間的池化，DS-Lite設備的發展趨勢是在板卡間池化的基礎上，結合IPv6任播地址實現設備間的池化和云化，終端針對AFTR云可自動實現網絡發現、就近接入、冗余備份和流量均衡，DS-Lite業務的隧道剝離、地址轉換、端口分配、日志發送以及狀態維護等功能全部交由AFTR云處理和實現，符合電廠模式的云計算服務，代表著未來發展方向。

1 張繼平.通信網絡智能管道架構與技術實現.北京：電子工業出版社，2012

2 陳運清，毛東峰，徐向輝等.城域網組網技術與業務運營.北京：人民郵電出版社，2009