ForCES系統中路由協議棧的實現與測試

高 明, 金 蓉, 王偉明, 諸葛斌， 董黎剛

(浙江工商大學 電子與信息工程學院，浙江 杭州 310018)

0 引 言

隨著軟件定義網絡(Software Defined Network,SDN)研究的興起[1-2]，轉發和控制分離(Forwarding and Control Element Separation,ForCES)技術獲得了極大的關注。ForCES路由器的數據轉發面和控制面在物理上分離，在路由處理問題上轉發面和控制面的分工十分明確，轉發面由多個轉發件(Forwarding Element，FE)組成，主要負責數據包的快速路由查表和轉發；控制面上的控制器(Control Element，CE)負責具體的路由計算、產生路由表并分發到各FE[3]。與之相似的是，在開放網絡領域XORP[4]構建了一個可擴展的開放路由器平臺，該平臺功能齊全，可支持OSPF, RIP, BGP,OLSR, VRRP等協議，足以滿足三層網絡設備的一般性需求。XORP對第三方軟件系統提供了開放的接口，能夠無縫地集成到ForCES中，從而減少ForCES系統實現過程中路由協議的開發工作，這也正是ForCES開放性的重要體現。與ForCES邏輯功能塊(Logical Function Block，LFB)[5]思想類似，Click[6]根據數據包在路由器中受路由器各功能模塊作用而引起的包內容或傳輸方向變化，從而對路由器功能實施抽象，將各功能抽象成獨立的組件，Click的最大特點是體系結構模塊化、高度靈活，但并沒有涉及對路由協議如何實現。研究后發現，轉發和控制的分離,在下一代網絡設備的體系結構設計和網絡管理中將是一種常態，因此在ForCES框架下研究路由協議棧的實現問題有著重要的現實意義。

目前IETF ForCES工作已經完成了框架(Framework)、需求(Requirement)、協議(Specification)、FE模型(FE Model)的標準制定工作[7-10]，相關研究機構也推出了集成了ForCES技術的中間件軟件[11],即ForCES中間件。ForCES中間件主要實現了：① ForCES協議所需完成的ForCES協議數據包的封裝、解封裝和相關的邏輯關系；② FE上相關LFB的注冊及其屬性管理，LFB事件的訂閱與上報；③ CE上LFB及其屬性信息的存儲與管理，解析用戶操作管理層來的用戶操作命令。ForCES中間件的出現給ForCES架構的網絡設備的開發與實現帶來了極大的方便，然而現實的問題是ForCES系統中，與轉發面分離后的控制面如何和外界進行路由信息的交互，以及如何實現多FE間路由協調。

1 基于重定向的路由協議信息交互機制

ForCES系統開放性的一個重要體現表現為CE和FE間的信息交換是根據ForCES協議標準進行的。ForCES協議規定了CE和FE間交互的兩種消息：控制消息和重定向消息。控制消息是包含CE對FE控制管理內容的消息，例如屬性的配置和查詢消息，能力和事件的上報消息[12]。重定向消息是包含CE上所處理重定向數據包的消息。從字面上理解，“重定向”數據包指的是那些不是FE產生的數據包，而是從外部到達FE，需要由FE“重新定向”到CE進行處理的數據包；或者是CE產生的，需要經FE“重新定向”到網絡設備外部的數據包。可能需要CE處理的數據包，主要有路由協議數據包和網絡管理數據包等。

ForCES系統中，采用重定向機制實現路由協議信息的交互如圖1所示。CE讀取LFB的屬性，添加并配置虛接口，使虛接口與FE的物理接口唯一對應，同時保證兩者間的IP地址和子網號完全相同。CE包含了ForCES中間件、路由轉化適配器、虛接口模塊、IP隧道和第三方路由協議軟件：① ForCES中間件實現了控制消息和重定向消息的處理和傳輸，ForCES協議所需的消息的分裝、解封裝；② 路由轉化適配器實現了路由條目到LFB屬性的映射和路由表的下發；③ 虛接口模塊實現了FE上的物理接口和CE上的虛擬接口之間的映射及管理；④ IP隧道實現了ForCES中間件與操作系統內核間的通信；⑤ 第三方路由協議軟件執行路由算法并計算路由；

ForCES系統中路由協議信息的接收過程是由外部路由器中的路由協議軟件(如OSPF等)發起的，包含了路由協議信息的IP包通過FE的物理接口進入ForCES系統，具體包含如下步驟：

(1) FE在IP包頭部之前添加元數據，元數據由FE ID、物理接口ID和長度字段組成，長度字段表示元數據的長度，每個FE ID和物理接口ID的組合唯一地確定一個虛接口；

(2) FE中的ForCES中間件按照ForCES重定向消息的封裝格式，對步驟1所述的含有元數據的數據塊進行封裝，在數據塊頭部之前添加ForCES重定向消息頭，然后通過重定向通道發送至控制件；

圖1 ForCES系統的軟件結構

(3) 控制件中的ForCES中間件在剝去步驟2所述的ForCES重定向消息頭之后，繼續剝去元數據并從中提取FE ID和物理接口ID，查找虛接口名，將所得虛接口名添加到步驟1所述IP包的頭部之前，然后進入IP隧道；

(4) IP隧道中在步驟2-3所述的包含虛接口名的數據塊的頭部之前添加隧道IP頭，發向IP隧道的對端；目的IP地址為第三方路由協議軟件所在主機的IP地址；

(5) IP隧道的對端將剝去隧道IP頭，將包含虛接口名的數據塊交付與虛接口模塊；

(6) 虛接口模塊從數據塊頭部剝去虛接口名，得到步驟1所述的IP包，之后再剝去IP包的頭部，根據虛接口名將IP包中所包含的路由協議信息放入虛接口的接收隊列；

(7)第三方路由協議軟件從虛接口的接收隊列中讀取路由協議信息。

CE中的第三方路由協議軟件根據所獲得的路由協議信息，執行算法計算并生成路由表。ForCES系統中路由協議信息的發送過程，由控制件中的第三方路由協議軟件主動發起，目的地是外部路由器，其過程是上述過程的逆過程。

圖1中，ForCES系統內的路由協議棧在運行的過程中，需要處理兩種消息：控制消息和重定向消息。當路由協議棧和外部的路由器進行路由協議交互時，使用重定向消息通道，而當ForCES內的路由協議棧將產生的路由同步到各FE時，則使用控制消息通道。

2 多FE間的路由同步機制的設計實現

在各種路由系統中，路由表的組織形式各不相同，分為兩大類[13-15]，所包含信息各不相同：① 集成式，使用一張表存儲路由，表中每一項包含信息：目的網絡、掩碼、下一跳、出接口號、協議標志位、度量；② 分立式，維護兩張子表：前綴表、下一跳表，其中前綴表包含了目的網絡、掩碼和下一跳索引，下一跳表包含了下一跳索引、出端口ID、出端口IP、標志位、MTU、下一跳IP，兩張表之間分別通過下一跳索引彼此關聯，一定程度上降低了路由表中信息的重復存儲。

通常CE上的路由協議棧采用集成式路由表，而FE采用分立式路由表，為了彌補兩者間的差異，在圖1中引入了路由轉化適配器，其詳細軟件結構如圖2所示。路由轉化適配器將控制件中的路由表的下發過程轉化成邏輯功能塊的屬性配置操作，具體步驟：① 通過Netlink從操作系統的內核空間中讀取路由表；② 將路由條目中的每一項映射為邏輯功能塊的一個屬性；每一個路由條目中都有包含一個出虛接口，通過該虛接口可以唯一地確定FE ID和物理接口ID；③ 通過ForCES控制消息通道，發送邏輯功能塊的屬性配置消息至相應的轉發件。

圖2 路由轉化適配器的結構圖

如圖2所示，CE上的第三方路由協議棧所產生的路由存在于Linux內核，而集成式路由訪問器通過Netlink實現與Linux內核之間的雙向通信，讀寫內核中的集成式路由。路由轉換器將集成式的路由條目轉換為分立式，而分立式路由操作過程會涉及到前綴表、下一跳表的修改，其中前綴表、下一跳表分別是ForCESLPM、Next Hop LFB一個屬性。ForCES路徑映射模塊計算前綴表、下一跳表所對應的ForCES Path。Path計算中比較麻煩的是如何定位該路由應發往的目的FE，需要從虛接口信息中提取出包含FE ID和物理接口ID。分立式路由分發器根據收集到的Path和兩張表的內容，將分立式路由操作映射到ForCES LFB的屬性配置。

3 測試與分析

3.1 實驗設施

圖3所示實驗室擁有的ForCES實驗床，對所述重定向和路由同步機制進行測試和評估。圖中ForCES路由器的一個端口(即FE 12的Port 2)與SmartBits網絡測試儀中的SMB1-2端口相連。使用Tera RoutingTester測試軟件添加模擬的網絡拓撲，啟動SmartBits內部的路由協議OSPF。在CE端配置路由協議棧，使得FE12的另一個端口運行OSPF路由協議。

圖3 測試環境拓撲

3.2 實驗結果

路由協議包在重定向通道中需進行反復地封裝和解封裝，尤其是路由規模達到一定程度后，這必然會帶來系統在計算時間上的額外開銷，但是這種開銷必須是適度的。圖4(a)給出了CE上路由協議軟件分別在不使用和使用重定向機制情況下的收斂時間，圖中不難發現當路由條目數在300以內時，盡管后者相比較前者在收斂時間有所增加，但是十分接近，這說明重定向機制的帶來的開銷很小；然而當測試的路由規模繼續增加，后者的曲線明顯上揚，說明重定向的影響逐漸顯著，其中路由條目數為640時，前者的收斂為18 s，而后者卻高達50 s左右。

在CE上路由協議已經完全收斂的情況下，圖4(b)給出了CE與FE之間的路由同步時間，該時間是RTA將CE上的路由下發至所有FE所需的時間，曲線表明隨著路由條目數的增加，CE-FE的同步時間也隨之增加，在不超過500條的情況下，其基本滿足線性特征，接近于一條35°的斜線，每20條路由的增量約需要8 ms的時間開銷，然而隨著路由條目數的進一步增加，受到CPU和內存負載等影響，線性特征逐漸喪失，同步時間也快速增加。當路由規模數到達620條時，同步時間為618 ms，仍在可接受的程度之內，對整體性能沒有帶來巨大影響。

(a)CE上路由協議的收斂時間(b)路由同步時間

圖4 測試結果

4 結 語

在“計算機網絡”后續的教學活動中，積極引導學生開展下一代網絡相關技術的研究，既可以開拓學生的視野又可以與時俱進地保持對網絡未來發展的感知。論文基于已公開發布的ForCES中間件軟件，以系統集成的方式在ForCES系統中實現路由協議，該過程融合了“計算機網絡”、“操作系統”和“C語言”的核心知識點，能夠調動學生的積極性，可作為網絡工程專業高年級學生的課程設計。

[1] 謝靈智. 網絡架構革命：SDN與OpenFlow開始燎原[J]. 信息安全與通信保密,2012(9):36-39

Xie Lin-zhi. Network Architecture Revolution: SDN with OpenFlow start [J]. Information Security and Communications Privacy, 2012(9):36-39

[2] 徐 雷,張云勇,吳 俊,等. 云計算環境下的網絡技術研究[J]. 通信學報,2012, 33(Z1):216-221

XU Lei, ZHANG Yun-yong, WU Jun, FANG Bing-yi. Network technology research under cloud computing environment. Journal on Communications, 2012,33(Z1):216-221.

[3] 王偉明.轉發與控制分離(ForCES)技術及應用[M].杭州：浙江大學出版社,2010.

[4] Handley, Mark. XORP: An open platform for network research[J]. Computer Communication Review, 2003(33):53-57.

[5] 李傳煌,王偉明.一種可擴展的ForCES路由器LFB管理及開發模型[J].信息工程大學學報, 2009,10(2):262-269.

LI Chuan-huang,WANG Wei-ming. Extensible LFB Management and Development Model for ForCES Router Software[J]. Journal of Information Engineering University, 2009, 10(2):262-269.

[6] Eddie Kohler, Robert Morris, Benjie Chen, John Jan-notti, and M. FransKaashoek. The Click modular router[J].ACM Trans. on Computer Systems, 2000,18(3):263-297.

[7] H Khosravi T. Anderson. Requirements for Separation of IP Control and Forwarding[EB/OL]. http://datatracker.ietf.org/doc/rfc3654/. 2003.

[8] L Yang,R Dantu. Forwarding and Control Element Separation (ForCES) Framework[EB/OL]. http://datatracker.ietf.org/doc/rfc3746/. 2004.4.

[9] A Doria,JHadiSalim. Forwarding and Control Element Separation (ForCES) Protocol Specification[EB/OL]. http://datatracker.ietf.org/doc/rfc5810/. 2010.03.

[10] J Halpern,JHadiSalim. Forwarding and Control Element Separation (ForCES) Forwarding Element Model[EB/OL]. http://datatracker.ietf.org/doc/rfc5812/. 2010.03.

[11] 俞偉平,王 華. 基于PC機的ForCES轉發件實現機制研究[J].信息工程大學學報, 2009,10(1):146-150.

YU Wei-ping, WANG Hua,.Implementation of ForCES Forwarding Element Based on PC. Journal of Information Engineering University, 2009, 10(1):146-150.

[12] 王偉明. 轉發與控制分離網絡件內信息交換的方法[P]. 中國浙江：CN200610049576.2, 20061

[13] 孫宗鋒,肖志輝,孫 健. 基于分布式路由器的IPv4/IPv6轉發控制架構研究[J]. 電信科學, 2012,28(6):42-47,.

SUN Zong-feng, XIAO Zhi-hui, SUN Jian. Research on IPv4/IPv6 Forwarding Control Architecture in Distributed Router[J]. Telecommunications Science, 2012, 28(6):42-47.

[14] 陳文龍,徐明偉,楊 揚,等. 可擴展路由器FIB表分解存儲模型[J]. 計算機學報, ,2011,34(9):1611-1620.

CHEN Wen-Long, XU Ming-Wei, YANG Yang,etal. Decomposed Storage Model of FIB for Cluster Router[J]. Chinese Journal of Computers, 2011, 34(9):1611-1620.

[15] 譚明鋒,高 蕾,龔正虎. IP路由查找算法研究概述[J]. 計算機工程與科學, 2006,28(6):77-89.

TAN Ming-feng, GAOLei, GONGZheng-hu. A Survey of IP Routing Lookup Algorithms[J]. Computer Engineering & Science, 2006, 28(6):77-89.