EoC帶寬增強方案的設計和實現

劉孝圣，劉 磊，鄭艷偉，彭 飛

（1.中國科學院大學，北京100190；2.中國科學院聲學研究所國家網絡新媒體工程技術研究中心，北京100190）

0 引 言

目前國內進行的混合光纖同軸電纜 （hybrid fiber－coaxial，HFC）接入網雙向化改造方案主要有有線傳輸數據業務接口 規 范［1，2］（data over cable service interface specification，DOCSIS）方案和以太網無源光網絡＋基于同軸電纜的以太網傳輸［3］（Ethernet passive optical network＋Ethernet over coax，EPON＋EoC）方案。文獻 ［4］對這幾種接入方式進行了詳細的比較。EPON＋EoC 方案由于其網絡設計簡單、適合國情和維護簡單方便等優點而被大規模采用［2，4］，但是其下行帶寬仍然不能滿足不斷增長的帶寬需求。為了進一步支持帶寬需求較大的業務，需要提升EoC網絡的下行帶寬，本文提出一種可以有效提升EoC 網絡下行帶寬的帶寬增強方案。由于該方案需要處理較大的網絡吞吐，因此選擇在網絡處理器平臺上予以實現。

1 EoC帶寬增強方案

圖1給出了EoC帶寬增強方案的部署。該方案通過在原有的EoC通道之外，新增多個QAM 通道，并利用這些新增通道提升接入用戶的下行帶寬。在EPON＋EoC 方案中，OLT 直接和因特網相連。而在該增強方案下，融合通道網關 （converged channel gateway，CCGW）橋接在OLT和因特網之間，每個OLT 搭配一個CCGW。橋接方式的好處在于不需要對報文進行特殊處理就能讓所有的數據包經過CCGW。該方案的優勢在于，用戶在帶寬升級的過程中，僅需要更換或者在線升級機頂盒即可，而且可以根據實際的帶寬升級需求，通過更改IPQAM 資源數量來實現漸進擴容。第4節分析了該方案的帶寬提升效果。

圖1 EoC帶寬增強方案網絡部署

融合通道網關是該方案中的關鍵設備，CCGW 使用QAM 通道和IP通道協同下發數據，并使用IP通道作為回傳，充分利用QAM 通道高帶寬的優勢實現非對稱的寬帶數據通信。作為多個用戶終端的網關設備，CCGW 需要承載較大的吞吐量，在傳統的通用處理器平臺上實現很難滿足其性能需求，因此在網絡處理器平臺上進行開發成為一種必要的選擇。本文提出了一種在OCTEON CN5860網絡處理器平臺上的設計和實現方式。實際測量結果顯示平均每個處理核心可以提供920 Mbps的吞吐量。

2 CN5860處理器簡介

CN5860處理器是Cavium 公司開發的64位MIPS架構的多核網絡處理器，采用系統級芯片技術，將多個同構處理引擎或處理核心 （process engine，PE）、多種功能的協處理器以及豐富的網絡接口集成在同一顆處理器上，通過集成一系列的硬件加速單元來優化對網絡數據包的處理過程。如利用硬件進行TCP／UDP 數據包的校驗和計算、完整性檢查；利用硬件定時器設置實現對TCP數據流的加速處理，硬件支持多種加密算法［5，6］。支持16 個主頻為800 MHz的PE。圖2給出了CN5860處理器的硬件結構。

2.1 基本硬件單元

以 “接收－處理－轉發”網絡報文為例，通過說明該處理器的處理流程，來介紹涉及到的常用硬件組件。流程大致如下：①PIP／IPD （packet input processing unit／input packet data unit）單元接收數據包，進行如校驗、過濾等前期操作后，通過DMA 方式把鏈路層幀從PIP／IPD 的內部存儲空間拷貝至內存，并向SSO （schedule／synchronization／order unit）單元提交消息。內存由FPA （free pool allocator unit）單元管理，通過將內存分為若干種固定大小的塊達到高效管理內存、優化數據包處理的效果。②SSO 單元維護消息隊列，將消息調度到合適的PE。③PE 處理報文，如加密、校驗、查找等操作。④PE 轉發該報文，PKO（packet output unit）單元同樣通過DMA 方式將 報文數據從FPA 單元拷貝到其內部的存儲空間，計算TCP／UDP的校驗和，發送數據包，并釋放消息和內存空間。

圖2 OCTEON CN5860網絡處理器硬件結構

在該平臺下，定時器也是由硬件實現。系統為每個PE設計了硬件Timer Ring結構，可以通過軟件方式設置時間間隔，生成消息，在定時時刻達到時，將消息送入SSO，由SSO 進行調度。

2.2 消 息

消息是SSO 進行調度的基本單位，是在OCTEON 平臺上開發應用時的一個重要概念。SSO 維護消息隊列，并且從消息隊列中取出消息時，根據消息的類型將該消息分配給PE 處理。除了在PIP／IPD 硬件接收到數據包時向SSO 提交消息 （此時消息攜帶鏈路層數據幀的完整信息）外，也可以利用系統內置的add＿work （）操作向SSO 中添加消息。常見的利用軟件設置消息的場景是添加定時器。由于定時器和數據包都是通過消息實現的，在PE收到消息時僅需簡單判斷是定時器消息還是報文消息即可。

3 CCGW 的設計和實現

作為該EoC帶寬增強方案中的關鍵設備，CCGW 需要融合兩種通道并優化調度這兩種通道的帶寬資源。其特點體現在：

（1）采用類似于鏈路層交換機的 “學習－轉發”方式對上行數據包和未進行帶寬升級的用戶 （簡稱“未升級用戶”，下同）的下行數據包在原有的EoC通道上透明傳輸，利用網絡處理器平臺高效的轉發機制實現上行報文的快速處理。

（2）為已升級用戶的下行數據包選擇合適的通道（EoC通道或者某個QAM 通道）進行轉發，采用以流為單位的分配方式，保證屬于同一條流的數據包的順序關系。在QAM 通道轉發前，采用IP over DVB 中最常用的MPE（multi－protocol encapsulation）協 議 將 數 據 包 封 裝 成QAM設備所需的格式，利用網絡處理器多核并行處理的優勢保證吞吐量。

（3）CCGW 維護、分配和回收QAM 通道的頻點資源，維護已升級終端的狀態信息，維護流和通道的對應關系，對這些信息的查詢操作次數要遠大于修改的次數，因此采用Hash表存儲，達到快速響應查詢請求的目的。采用令牌桶技術對用戶和各通道的流量進行限速，保證用戶的公平性和系統的穩定性。

由于CCGW 需要承載較大的吞吐量，因此在功能實現的同時，也必須考慮處理過程的優化，減少不必要的開銷，加速網絡數據包的處理。結合OCTEON 5860 處理器的特性，根據上述CCGW 的主要特點，設計了CCGW 的模塊，并劃分為控制層面和數據層面，如圖3所示。

3.1 控制平面

控制平面主要負責與客戶端的信令交互、請求認證客戶、管理系統的頻點資源，以及維護終端狀態等。

3.1.1 基本模塊

控制平面的模塊和對應的功能如下：①頻點管理模塊負責管理、分配和回收頻點資源，維護頻點狀態 （如剩余帶寬、用戶數量等）；②客戶端管理模塊維護終端狀態，包括終端標識、終端密碼、終端狀態、最大帶寬、業務類別等信息；③信令交互模塊負責與終端設備的信令交互，包括終端的注冊、保活等交互報文的解析和處理；④配置管理模塊負責CCGW 的配置、管理以及請求對用戶進行認證；⑤輪播模塊通過在IPQAM 通道上廣播CCGW 的基本信息，供終端開機注冊使用。

圖3 CCGW 基本模塊結構

3.1.2 CCGW 與周邊設備的交互流程

圖4 給出了與終端注冊相關的報文交互流程。首先CCGW 通過QAM 通 道 輪 播NIT （network information table），NIT 中包含了CCGW 的注冊端口、注冊IP以及所在的業務組等注冊信息。輪播模塊還定時廣播PAT （program association table）和PMT （program map table），為終端提供與用戶一一對應的PnId （program number identifier）信息。采用輪播方案可以減少對終端設備的人工配置，也便于設備升級和部署。終端上線時掃描并鎖定對應頻點，解析NIT，獲取注冊信息后，向CCGW 注冊。注冊時，CCGW 需要向AAA 服務器認證用戶請求服務是否已授權，并為用戶分配QAM 通道，通道屬性包括PnId、頻點、調制方式等等。注冊成功后，需要在CCGW 和終端之間定時維護保活信令。

圖4 CCGW 與終端交互時序

3.2 數據平面

數據平面分上行和下行進行分別處理。對于上行數據包，CCGW 只需確定對應端口并轉發即可；對下行數據包的處理相對復雜，圖5給出了下行數據包的大致處理流程。首先檢查終端是否注冊，未注冊則直接通過IP 通道轉發；若注冊，則根據數據包的屬性確定轉發通道 （IP通道或者QAM 通道，QAM 通道也有多個）；若轉發到QAM 通道，首先進行通道的限速處理，然后經多層封裝后發往對應的IPQAM。以下對幾個模塊的處理細節進行詳述。

圖5 CCGW 數據層面下行數據包流程

3.2.1 流量分配模塊

對注冊用戶而言，下行通道分IP 通道和QAM 通道。由于兩種通道物理特性不同，傳輸延遲等也不同，容易造成客戶端接收時報文亂序。為了避免亂序，我們以流為單位進行分配，保證屬于同一條流的報文經過同一個通道傳輸。流標識由協議、目的IP、目的端口、源IP和源端口組合而成。優先將數據流分配到帶寬較大的QAM 通道，在QAM 通道剩余帶寬 （可以通過通道限速功能的剩余令牌數推斷得到）不足時，將部分流分配或者切換到IP 通道上去，提高資源利用率。

3.2.2 封裝模塊

由于QAM 設備傳輸TS （transport stream）格式的數據包，所以在發往QAM 通道前要預先處理，這部分功能由封裝模塊提供。封裝主要分為3個步驟：

（1）MPE封裝［7］，包含12字節的MPE 頭部、4字節的尾部CRC字段和載荷部分，載荷部分即為下行的IP 包（包含IP層及其上層的報文信息），MPE 頭部中的長度字段指明該IP包的實際長度；

（2）將MPE 封裝后的報文進行切分，添加TS 頭部，形成為188字節的多個TS包，不足188字節則以0補齊；

（3）添加UDP／IP 頭部，目的字段填寫為對應的IPQAM 的IP 地 址 和 端 口。TS 中 的PID 字 段 與 注 冊 時CCGW 為終端分配的PnId相對應。由于封裝部分需要多層封裝，耗時最長，因此在實現時應盡量進行優化。通過事先細致地分配報文每部分對應的空間，只需拷貝一次即可，減少了不必要的操作和時間開銷。

3.2.3 MAC轉發模塊

該模塊的主要作用是對未升級用戶的數據包進行透傳，其功能類似于鏈路層交換機。對于進入CCGW 的數據包，記錄和更新源MAC與進入的物理端口，存儲在MAC 轉發表中，該表采用Hash桶實現；對于CCGW 轉發的數據包，如果其目的地址在Hash表中，則往對應的物理端口上進行轉發，否則向除進入端口外的其它所有物理端口轉發。由于查找該表是處理報文的第一步，因此還在該表項中設置了表示是否注冊的標志位，從而減少了一次向終端管理模塊查詢注冊狀態的開銷。

3.2.4 限速模塊

為了保證用戶的公平性和系統的穩定性，需要對用戶進行限速處理。用戶限速和通道限速均采用令牌桶實現。令牌桶是一種簡單有效、易實現的流量控制方式。主要步驟是：①系統初始化時，初始化定時器消息；②當定時器消息被調度后，根據與上一次觸發的時間差和用戶購買的帶寬大小往令牌桶里添加相應個數的令牌；③當系統轉發時，減去與數據包大小成正比的令牌個數，如果剩余令牌不足，則丟棄該數據包。

3.3 CCGW 的實現

我們采用OCTEON 5860處理器平臺配套的SE （simple executive）操作環境，關于該操作環境的詳細介紹參考文獻 ［8］。在該環境下開發可直接操作底層的PE、內存、協處理器等硬件資源，因此有助于提升系統的吞吐量。

根據CCGW 的功能，可將CCGW 視為鏈路層和網絡層設備。在通用處理器平臺 （通常安裝Linux系統）上，獲取鏈路層和網絡層數據通常利用libpcap等工具或原始套接字進行抓包［9］。而在該平臺下，PIP／IPD 在接收到網絡幀時就向SSO 提交消息，在實現時，PE 直接向SSO 請求消息，判斷消息類型，若是報文消息，則通過物理端口分辨上下行報文，解析報文的頭部字段，然后進行針對性的操作；如果是定時器消息，則分辨定時器種類后合理處理該定時器任務。發送報文時，CCGW 直接封裝好MAC 層幀，并調用底層硬件轉發報文，實現報文的快速傳輸。

CCGW 使用了很多定時器：輪播模塊需要定時向終端廣播注冊信息、信令交互模塊需要超時重傳、限速模塊需要定時增加令牌、MAC轉發模塊需要刪除老化表項以節約內存等。相較于Linux上的基于信號的軟件定時方式，使用硬件定時器精度高，并且也被統一成消息，更方便使用，有效地保證了上層的業務處理的高效性。

其它的一些優化還有：利用RNG 硬件協處理器為配置管理模塊提供隨機數生成功能、利用硬件加密單元為配置管理模塊提供MD5校驗、利用硬件校驗單元計算UDP 數據包和TCP報文的校驗和等。

3.4 軟件架構

除了利用好網絡處理器平臺提供的多種硬件加速功能外，還需要選擇合適的軟件架構［5，6］。在多核處理器件上的軟件架構主要有流水線架構、混合架構和完全并行結構。流水線架構中的每個PE均完成部分任務，每個任務對應1個PE，所有的PE加起來共同完成整個應用，混合結構類似于流水線架構，但其中的部分任務可以由多個PE共同完成。而在完全并行的軟件架構，每個PE 均完成整個應用。采用流水線架構和優化流水線的好處在于對特定應用可以優化指令緩存 （instruction cache，Icache）的命中率，提高指令執行的效率。對于處理流程長，指令數量較多的應用來說，使用流水線方式可以提升Icache的命中率，從而提升性能指標。采用完全并行結構的好處在于數據緩存的效率更高，且方便實現、易擴展。我們實際測量了CCGW 的主流程的運行時間，約為6800個執行周期，一般1個周期對應著1 條指令，考慮到內部的循環函數，訪存延遲等，主流程的指令數實際上小于6800。而OCTEON 5860處理器的每個PE的Icache的容量是32KB，每條MIPS指令占4字節空間，因此每個PE 可以容納8192 條指令，大于主流程的指令數。因此我們采用了完全并行的軟件架構。第4節給出的測試結果驗證了CCGW 使用這種架構的合理性。

4 測試結果與分析

4.1 CCGW 性能測試

CCGW 實現在OCTEON 5860處理器平臺上，每個PE主頻800MHz，整體內存為4GB。我們利用QAM 設備和終端測試了CCGW 功能的完整性和正確性。為了測量CCGW的性能，我們根據實際部署的場景，利用OCTEON 5860處理器平臺仿真了終端設備，仿真的終端設備可以模擬多個終端。在測試中，通過模擬900個終端，與CCGW 進行交互并通過QAM 通道接收數據。模擬終端設備主要的功能是與CCGW 進行交互，并與應用服務器進行交互，應用服務器回送大量數據包，經過CCGW 封裝后從QAM 通道轉發。

我們測試了PE數和對應的QAM 通道的吞吐量之間的關系。從模擬客戶端到CCGW 的上行流量維持在850 Mbps，從應用服務器往CCGW 端的下行流量等于QAM 通道的吞吐量。圖6給出了測試的結果。從圖中可以看出，隨著PE數的增長，吞吐率呈線性地增長，這反映了該實現良好的可擴展性。每增加一個PE，吞吐量約增加920 Mbps。在使用8 個PE 的情況下，QAM 通道的吞吐量達到7.3 Gbps，由于平臺的物理網口所限，無法測量更多PE 對應的最大吞吐量。但從圖中的線性性質可以近似推算出在更多PE情況下的吞吐量。在實際部署中，可以根據實際需要的吞吐量大小配置合適的PE數量，減少設備的能量消耗。

圖6 CCGW QAM 通道吞吐量與核數的關系

4.2 帶寬增強方案效果分析

上述測試結果表明CCGW 的實際性能足以滿足設計要求。為了說明該增強方案的有效性，表1給出了EoC 帶寬增強解決方案的帶寬增強效果。一個光線路終端 （optical line terminal，OLT）接入帶寬為1Gb／s，1：32的分光比，每個EoC局端覆蓋200戶，業務接入率假定為10%，那么對于未采用增強方案 （即表中的普通方案）的用戶來說，其下行帶寬為：1Gb·s－1／32／ （200×10%）＝1.6Mb／s。采用帶寬增強方案的用戶，每個OLT 配置1個CCGW，每個IPQAM 設備提供1Gb／s帶寬，CCGW 和IPQAM 的配比為1：4 （即1個CCGW 配套4個QAM，CCGW 的吞吐量達到4Gb／s），那么下行帶寬將增加4倍，達到8 Mb／s；若配比為1：9 （CCGW 的吞吐量達到9Gb／s），那么下行帶寬將增加9 倍，達到16 Mb／s。綜上可見該方案可以顯著地提升下行帶寬效果。

表1 EoC帶寬增強方案的效果

5 結束語

為了進一步提升EPON＋EoC 雙向改造后的有線電視網的下行接入帶寬，本文提出了一種EoC 帶寬增強方案。詳細分析了該方案中的關鍵設備CCGW 的作用和功能，由于該設備需要承載較大的網絡流量，因此采用基于網絡處理器的實現方案。結合OCTEON CN5860處理器的功能和特性，設計了CCGW 的主要模塊，并最終在該網絡處理器平臺上實現了CCGW，并對該設備進行了測試，測試結果顯示出該實現方案具有較高的吞吐量和良好的可擴展性，可以顯著地提升用戶的下行帶寬。下一步將繼續優化內部處理模塊和資源分配算法。

［1］LING Mingwei，LI Yuandong.On the development status and tendency of cable access network techniques［J］.China Cable Television，2011 （11）：1253－1257 （in Chinese）. ［凌 明 偉，李遠東.廣電接入網技術發展現狀與趨勢探討 ［J］.中國有線電視，2011 （11）：1253－1257.］

［2］ZHENG Yanwei.Research on key technologies of collaborative multipath transfer in converged network ［D］.Beijing：Graduate University of Chinese Academy of Sciences，2012：11－27（in Chinese）.［鄭艷偉.融合網絡多通道協同傳輸關鍵技術研究 ［D］.北京：中國科學院研究生院，2012：11－27.］

［3］XIE Liwei，LI Yuehui，REN Xunyi，et al.Two–way transformation scheme of EPON＋EoC ［J］.Computer Technology and Development，2011，21 （7）：238－241 （in Chinese）.［解立偉，李躍輝，任勛益，等.EPON＋EoC雙向改造方案 ［J］.計算機技術與發展，2011，21 （7）：238－241.］

［4］ZHANG Tingke.EPON＋EoC－based research of construct the next generation of radio ＆TV broadcast integrated services access network［D］.Guangzhou：South China University of Technology，2012：13－25（in Chinese）.［張挺科.基于EPON＋EoC構建下一代廣播電視綜合業務接入網的研究［D］.廣州：華南理工大學，2012：13－25.］

［5］YANG Qijun，LU Shiwen.Design and implementation of IPS based on multi－core ［J］.Computer Engineering and Design，2010，31 （21）：4595－4598 （in Chinese）. ［楊啟軍，魯士文.基于多核的入侵防御系統的設計與實現 ［J］.計算機工程與設計，2010，31 （21）：4595－4598.］

［6］MENG Jinli，CHEN Xinming，CHEN Zhen，et al.Towards high－performance IPsec on Cavium OCTEON platform ［G］.LNCS 6802：Proceedings of the Second International Conference on Trusted Systems.Springer，2011：37－46.

［7］WANG Xianguan，NI Hong，ZHU Ming，et al.The analysis and improvement of IP data encapsulation method for hybrid fiber coaxial［J］.Journal of Chinese Computer Systems，2013，34 （4）：721－726 （in Chinese）. ［王獻冠，倪宏，朱明，等.有線電視網絡IP數據封裝方法的分析與改進 ［J］.小型微型計算機系統，2013，34 （4）：721－726.］

［8］LI Ting，ZHANG Wu，CHEN Xiao.An implementation of the streaming media transmit－unit based on multi－core network processor［J］.Journal of Network New Media，2012，1 （2）：28－33 （in Chinese）.［李婷，張武，陳曉.一種基于多核網絡處理器的流媒體轉發單元的實現 ［J］.網絡新媒體技術，2012，1 （2）：28－33.］

［9］WANG Changqing， ZHANG Sujuan.JIANG Jinghong.Scheme of embedded data transmission based on Ethernet frame and its implementation ［J］.Computer Engineering and Design，2011，32 （6）：1952－1956 （in Chinese）. ［王長清，張素娟，蔣景紅.基于以太網幀的嵌入式數據傳輸方案及實現 ［J］.計算機工程與設計，2011，32 （6）：1952－1956.］