ＴＯＥ網(wǎng)絡(luò)接口卡軟件系統(tǒng)的設(shè)計(jì)

摘要：TCP/IP卸載引擎（TOE）技術(shù)能夠減少處理器的協(xié)議處理行為，有效提高網(wǎng)絡(luò)性能。比較TOE的兩種實(shí)現(xiàn)方式，并基于部分卸載方式提出Linux下TOE網(wǎng)絡(luò)接口卡軟件系統(tǒng)設(shè)計(jì)方案。針對(duì)提出的軟件系統(tǒng)結(jié)構(gòu)，介紹各個(gè)部分的功能和接口，闡明了軟件系統(tǒng)如何支持TOE功能。

關(guān)鍵詞：TCP/IP卸載引擎；軟件系統(tǒng)；Linux

中圖法分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1001－3695(2006)09－0152－03

主機(jī)端系統(tǒng)的網(wǎng)絡(luò)系統(tǒng)通常由網(wǎng)絡(luò)接口卡和網(wǎng)絡(luò)協(xié)議棧兩部分組成，主機(jī)處理器運(yùn)行網(wǎng)絡(luò)協(xié)議棧，網(wǎng)絡(luò)接口卡負(fù)責(zé)接收或發(fā)送報(bào)文。該工作模式適合于100Mbps以太網(wǎng)等較低速網(wǎng)絡(luò)環(huán)境，因?yàn)榫W(wǎng)絡(luò)流量不大，CPU能夠有效處理各種網(wǎng)絡(luò)負(fù)載。但是，CPU的處理性能無法適應(yīng)網(wǎng)絡(luò)帶寬的增長(zhǎng)，隨著千兆位以太網(wǎng)的普及以及10Gbps以太網(wǎng)的使用，頻繁的協(xié)議處理和內(nèi)存操作使得處理器力不從心[1]。為此，人們提出TCP/IP卸載引擎（TCP/IPOffloadEngine，TOE）技術(shù)[2]，將部分甚至全部TCP/IP協(xié)議處理任務(wù)交給網(wǎng)絡(luò)接口卡執(zhí)行，加速網(wǎng)絡(luò)協(xié)議的處理，提高網(wǎng)絡(luò)吞吐量；同時(shí)極大地減輕CPU的負(fù)擔(dān)，避免網(wǎng)絡(luò)處理消耗過多計(jì)算資源，提高了系統(tǒng)的總體性能。

目前，多家廠商推出支持TOE的網(wǎng)絡(luò)接口卡，并得到廣泛應(yīng)用。例如Adaptec公司的NAC7711系列產(chǎn)品支持1024條硬件卸載的TCP連接，吞吐量為1Gbps[3]；Alacritech公司的TOE加速卡TNIC支持千兆端口速率[4]；另外，Microsoft將在其LonghornWindows中推出代號(hào)為Chimney的TOE架構(gòu)，這對(duì)TOE的發(fā)展將是一次極大的推動(dòng)。

當(dāng)前TOE網(wǎng)絡(luò)接口設(shè)備大多提供千兆以太網(wǎng)接口，隨著高速網(wǎng)絡(luò)的日益普及，網(wǎng)絡(luò)存儲(chǔ)、文件服務(wù)、IP存儲(chǔ)和可視化計(jì)算等應(yīng)用領(lǐng)域?qū)OE網(wǎng)卡性能提出了更高要求。針對(duì)該問題設(shè)計(jì)了支持10Gbps接口速率的TOE網(wǎng)卡。TOE網(wǎng)絡(luò)接口卡設(shè)計(jì)的關(guān)鍵問題包括TCP/IP協(xié)議的硬件高效實(shí)現(xiàn)技術(shù)，以及支持TOE功能的網(wǎng)絡(luò)軟件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。本文針對(duì)第二個(gè)問題探討了TOE網(wǎng)絡(luò)接口卡軟件系統(tǒng)的設(shè)計(jì)方法。

1協(xié)議卸載方式

協(xié)議卸載方式?jīng)Q定TOE網(wǎng)絡(luò)接口卡軟硬件功能的界面劃分，是TOE網(wǎng)卡設(shè)計(jì)的關(guān)鍵問題。不同卸載方式對(duì)TOE網(wǎng)卡的體系結(jié)構(gòu)和性能會(huì)產(chǎn)生很大影響，報(bào)文的處理過程也存在極大差別，這將影響系統(tǒng)的實(shí)現(xiàn)難度，因此必須選擇合適的協(xié)議卸載方式。

TCP協(xié)議處理可分為連接管理、數(shù)據(jù)傳輸、定時(shí)器管理、錯(cuò)誤與擁塞控制四個(gè)部分[5]。其中，數(shù)據(jù)傳輸、定時(shí)器管理和錯(cuò)誤與擁塞控制是TCP協(xié)議處理的主要部分，也是性能瓶頸所在，通常需要采用卸載技術(shù)，由硬件完成相應(yīng)功能，以提高其性能。TCP連接管理部分只占TCP協(xié)議處理的極少部分，但它涉及大量復(fù)雜的連接狀態(tài)變化，因此需要根據(jù)實(shí)現(xiàn)難度和性能需求綜合考慮是否采用硬件實(shí)現(xiàn)連接管理部分。根據(jù)TOE網(wǎng)卡對(duì)連接管理部分的支持方式，將TCP協(xié)議卸載方式分為全卸載和部分卸載兩種[2]。

1．1全卸載方式

全卸載方式下，TOE網(wǎng)卡完成TCP協(xié)議的全部功能，而不需要CPU的參與[6]。

為了實(shí)現(xiàn)全卸載，應(yīng)用程序發(fā)出的Socket系統(tǒng)調(diào)用直接交給TOE網(wǎng)卡處理，同時(shí)為了實(shí)現(xiàn)對(duì)應(yīng)用程序的兼容，必須屏蔽掉Socket系統(tǒng)調(diào)用的實(shí)現(xiàn)細(xì)節(jié)，因此在應(yīng)用層和網(wǎng)卡之間要有一個(gè)接口層，它將應(yīng)用程序發(fā)出的Socket調(diào)用轉(zhuǎn)換為TOE網(wǎng)卡可以識(shí)別的消息格式。接收數(shù)據(jù)時(shí)，TOE網(wǎng)卡將經(jīng)過網(wǎng)卡上協(xié)議棧處理過的數(shù)據(jù)交給接口層，由接口層確定數(shù)據(jù)所屬的連接進(jìn)程，提交給相應(yīng)進(jìn)程處理。

當(dāng)TOE網(wǎng)卡與用戶進(jìn)程進(jìn)行數(shù)據(jù)傳送時(shí)，涉及到內(nèi)核對(duì)用戶進(jìn)程地址空間的管理機(jī)制，我們需要解決TOE網(wǎng)卡對(duì)用戶進(jìn)程地址空間的訪問和CPU對(duì)用戶進(jìn)程地址空間的訪問沖突、虛擬地址和物理地址的轉(zhuǎn)換等問題[6]。

1．2部分卸載方式

部分卸載情況下，TOE網(wǎng)卡處理TCP協(xié)議的數(shù)據(jù)傳輸、定時(shí)器管理和錯(cuò)誤與擁塞控制等過程，主機(jī)處理連接管理部分。

連接的建立、關(guān)閉與傳統(tǒng)的TCP/IP協(xié)議棧處理過程相同。連接建立完成以后，將連接卸載到網(wǎng)卡上，如果網(wǎng)卡接收到屬于該連接的數(shù)據(jù)報(bào)文，將在TOE網(wǎng)卡上進(jìn)行TCP/IP協(xié)議處理，然后將處理后的數(shù)據(jù)提交給主機(jī)，主機(jī)經(jīng)過適當(dāng)處理后交給用戶進(jìn)程。當(dāng)該連接上有數(shù)據(jù)要發(fā)送時(shí)，主機(jī)將數(shù)據(jù)交給網(wǎng)卡，由網(wǎng)卡進(jìn)行TCP/IP協(xié)議處理后，再發(fā)送到網(wǎng)絡(luò)。

這種方式?jīng)]有涉及Linux內(nèi)核核心管理機(jī)制。

1．3比較

部分卸載方式下，TOE網(wǎng)卡不需要實(shí)現(xiàn)完整的TCP/IP協(xié)議棧，它只負(fù)責(zé)連接建立后報(bào)文的發(fā)送和接收處理，連接管理功能仍然由CPU完成。全卸載方式下，所有TCP/IP協(xié)議處理都交給TOE網(wǎng)卡完成，將CPU從TCP/IP協(xié)議棧處理中完全解放出來。

全卸載方式的性能優(yōu)于部分卸載方式，但是從實(shí)現(xiàn)難度而言，它涉及內(nèi)核的進(jìn)程管理、存儲(chǔ)管理等核心機(jī)制的改動(dòng)，實(shí)現(xiàn)難度和風(fēng)險(xiǎn)較大。在部分卸載方式中，CPU負(fù)責(zé)連接的建立、維護(hù)和關(guān)閉，內(nèi)核中依然存在連接的Socket結(jié)構(gòu)、Sock結(jié)構(gòu)等傳統(tǒng)協(xié)議棧使用的數(shù)據(jù)結(jié)構(gòu)，應(yīng)用層和內(nèi)核可以按照原來的接口工作，不需要改動(dòng)內(nèi)核進(jìn)程管理、存儲(chǔ)管理等核心機(jī)制，實(shí)現(xiàn)難度小。

針對(duì)不同的應(yīng)用環(huán)境，兩種卸載方式各有優(yōu)勢(shì)。在連接持續(xù)時(shí)間較短、出錯(cuò)率高的環(huán)境下，使用全卸載方式更利于提高TCP處理的性能，降低CPU的占用率。但是，在可靠的大數(shù)據(jù)量傳輸應(yīng)用環(huán)境下，使用部分卸載方式獲得的性能與全卸載方式相當(dāng)。由于TOE網(wǎng)卡主要應(yīng)用于網(wǎng)絡(luò)存儲(chǔ)、文件服務(wù)、IP存儲(chǔ)和可視化計(jì)算，這些應(yīng)用的特點(diǎn)是在局域網(wǎng)環(huán)境下進(jìn)行海量數(shù)據(jù)傳輸。因此，與全卸載方式相比，部分卸載方式更適合于實(shí)現(xiàn)TOE。

2TOE軟件系統(tǒng)設(shè)計(jì)

2．1基本目標(biāo)

絕大多數(shù)用戶在使用TOE網(wǎng)卡時(shí)只希望提高性能而不希望改變現(xiàn)有的應(yīng)用程序，因此TOE軟件系統(tǒng)必須提供與現(xiàn)有應(yīng)用程序兼容的接口。

TOE網(wǎng)卡對(duì)于不需要硬件TCP處理的報(bào)文，會(huì)像傳統(tǒng)網(wǎng)卡一樣直接交給TOE軟件系統(tǒng)處理。所以TOE軟件系統(tǒng)不僅要處理TOE工作模式下的報(bào)文，還要能夠處理傳統(tǒng)的TCP報(bào)文、UDP報(bào)文、ICMP報(bào)文等。

這樣，既保證TCP協(xié)議正確性，也可以保證TCP數(shù)據(jù)處理的性能得到提高。

因此，我們提出TOE軟件系統(tǒng)設(shè)計(jì)的基本目標(biāo)：

(1)保證TOE工作模式對(duì)應(yīng)用程序的兼容性；

(2)實(shí)現(xiàn)不同類型報(bào)文的發(fā)送、接收處理，需要或不需要硬件處理的TCP報(bào)文，UDP/ICMP報(bào)文等；

(3)支持不同類型網(wǎng)卡的正常工作，包括TOE網(wǎng)卡和普通網(wǎng)卡。

2．2TOE軟件系統(tǒng)結(jié)構(gòu)

如圖1所示，傳統(tǒng)的Linux網(wǎng)絡(luò)協(xié)議棧在INETSocket層調(diào)用與TCP協(xié)議相關(guān)的處理函數(shù)。為了保證TOE工作模式對(duì)應(yīng)用程序的兼容性，并考慮到使用TCP協(xié)議部分卸載方式，我們將BSDSocket層以下的TCP層和IP層卸載到網(wǎng)卡上，同時(shí)修改INETSocket層和設(shè)備驅(qū)動(dòng)層，使它們能適應(yīng)這種變動(dòng)。

當(dāng)應(yīng)用層要發(fā)送數(shù)據(jù)時(shí)，BSDSocket層調(diào)用修改后的INETSocket層（后面稱為TOEINETSocket層）的發(fā)送函數(shù)發(fā)送數(shù)據(jù)，TOEINETSocket層調(diào)用修改后的設(shè)備驅(qū)動(dòng)層（后面稱為TOE設(shè)備驅(qū)動(dòng)層）的發(fā)送函數(shù)將數(shù)據(jù)發(fā)往網(wǎng)卡，再由網(wǎng)卡進(jìn)行TCP協(xié)議處理后發(fā)往網(wǎng)絡(luò)；同樣，當(dāng)網(wǎng)絡(luò)設(shè)備收到數(shù)據(jù)報(bào)文后，先在網(wǎng)卡上進(jìn)行TCP協(xié)議處理，然后將處理后的報(bào)文發(fā)往TOE設(shè)備驅(qū)動(dòng)層，再經(jīng)由TOEINETSocket層和BSDSocket層到達(dá)應(yīng)用層供用戶使用。

上述是針對(duì)已卸載到網(wǎng)卡的連接上TCP數(shù)據(jù)報(bào)文的正常處理流程。此外，對(duì)于TCP控制報(bào)文、未卸載到網(wǎng)卡連接上的TCP數(shù)據(jù)報(bào)文以及UDP，ICMP等報(bào)文，它們需要經(jīng)傳統(tǒng)的TCP/IP協(xié)議棧處理，在主機(jī)操作系統(tǒng)上建立、關(guān)閉和維護(hù)連接，為此我們?cè)谥鳈C(jī)操作系統(tǒng)中仍然保留傳統(tǒng)的TCP/IP協(xié)議棧處理這些報(bào)文。為了使處理清晰正確，我們將這些報(bào)文分為兩類：一類是TCP控制報(bào)文、未卸載到網(wǎng)卡的連接上的TCP數(shù)據(jù)報(bào)文，另一類是UDP，ICMP等報(bào)文。

根據(jù)以上分析，得出TOE軟件系統(tǒng)管理大致有三條通路：①接收和發(fā)送需要經(jīng)過網(wǎng)卡協(xié)議棧處理的TCP數(shù)據(jù)報(bào)文；②處理TCP控制報(bào)文等不需要網(wǎng)卡協(xié)議棧處理的TCP報(bào)文；③處理UDP，ICMP等不需要網(wǎng)卡協(xié)議棧處理的非TCP報(bào)文。

綜合以上幾點(diǎn)，我們提出一種TOE軟件系統(tǒng)結(jié)構(gòu)的設(shè)計(jì)方案，如圖2所示。

2．3主要模塊的功能

（1）TOESocket層

由于對(duì)TOE報(bào)文（指需要經(jīng)過TOE網(wǎng)卡處理的報(bào)文）、TCP報(bào)文（指TCP控制報(bào)文、未卸載到網(wǎng)卡的連接上的TCP數(shù)據(jù)報(bào)文）和非TCP報(bào)文（指UDP，ICMP等報(bào)文）的處理所使用的INET層操作函數(shù)不一樣，所以在INETSocket層與BSDSocket層交互時(shí)，需要TOESocket層在中間屏蔽這種差異。

發(fā)送數(shù)據(jù)時(shí)，根據(jù)發(fā)送數(shù)據(jù)的類型決定走哪條通路，對(duì)于TCP數(shù)據(jù)，TOESocket層先判斷它所屬的連接是否被卸載到網(wǎng)卡上，如果已被卸載，則走TOE報(bào)文的通路，否則走TCP報(bào)文的通路。接收數(shù)據(jù)時(shí)，對(duì)不同通路交上來的報(bào)文處理后交給BSDSocket層，而BSDSocket層并不知道這些數(shù)據(jù)來自不同的通路。

（2）TOENICDriver層

這是TOE網(wǎng)卡的驅(qū)動(dòng)層。它提供對(duì)網(wǎng)卡硬件的讀、寫、控制操作，向上層屏蔽網(wǎng)卡的硬件細(xì)節(jié)，處理中斷。

接收?qǐng)?bào)文時(shí)，根據(jù)不同的報(bào)文類型將數(shù)據(jù)發(fā)往不同的數(shù)據(jù)通路。如果是TOE報(bào)文，發(fā)往連接控制模塊；如果是TCP報(bào)文，構(gòu)造Sk_buff報(bào)文結(jié)構(gòu)，送往TCP報(bào)文處理模塊；如果是UDP，ICMP等報(bào)文，發(fā)往非TCP報(bào)文處理模塊。發(fā)送報(bào)文時(shí)，如果是非TOE報(bào)文，則以MAC幀的格式發(fā)給網(wǎng)卡；如果是TOE報(bào)文，則將該報(bào)文以及與該報(bào)文所屬連接相關(guān)的一些信息一起發(fā)送給網(wǎng)卡，以便網(wǎng)卡進(jìn)行TCP處理。這里對(duì)于TOE報(bào)文，網(wǎng)卡和驅(qū)動(dòng)層之間傳送的數(shù)據(jù)既不是MAC幀，也不是簡(jiǎn)單的Sk_buff結(jié)構(gòu)，傳送的數(shù)據(jù)中必須攜帶一些信息，如報(bào)文所屬連接、報(bào)文所屬設(shè)備號(hào)、報(bào)文類型、緊急數(shù)據(jù)指針等。驅(qū)動(dòng)層和網(wǎng)卡通過這些信息交互后才能正確處理數(shù)據(jù)，這是一個(gè)新的接口。

驅(qū)動(dòng)層處理多種中斷，包括處理報(bào)文接收中斷、報(bào)文發(fā)送中斷、與鏈路接口相關(guān)的中斷、與網(wǎng)卡資源使用情況相關(guān)的中斷以及網(wǎng)卡通告特殊報(bào)文接收事件（如RST，F(xiàn)IN報(bào)文）的中斷等，根據(jù)中斷處理各種異常情況，維護(hù)連接。

（3）連接控制模塊

連接控制模塊主要管理TOE報(bào)文的發(fā)送和接收，將已建立的連接卸載到網(wǎng)卡上，釋放已關(guān)閉的網(wǎng)卡上的連接。

連接控制模塊維護(hù)一系列與卸載到網(wǎng)卡上連接有關(guān)的數(shù)據(jù)結(jié)構(gòu)。在卸載過程中，為連接分配空閑的硬件連接槽，將Sock中有關(guān)內(nèi)容寫入網(wǎng)卡，建立特定數(shù)據(jù)結(jié)構(gòu)維護(hù)連接，檢查在卸載過程中是否有報(bào)文到達(dá)，如果有，將接收?qǐng)?bào)文返回給網(wǎng)卡，保證網(wǎng)卡連接狀態(tài)的正確性。釋放過程中，向用戶提交所有還未提交的數(shù)據(jù)，讀取網(wǎng)卡，向Sock中回寫信息，釋放所維護(hù)的相關(guān)連接的所有數(shù)據(jù)結(jié)構(gòu)。

（4）TCP報(bào)文處理模塊

該模塊處理不經(jīng)過TOE網(wǎng)卡的TCP/IP協(xié)議棧處理的TCP報(bào)文，這些報(bào)文包括TCP控制報(bào)文和不能進(jìn)行TOE處理的TCP數(shù)據(jù)報(bào)文，當(dāng)TOE網(wǎng)卡能處理的連接容量已滿時(shí)，所有的TCP數(shù)據(jù)只能用傳統(tǒng)TCP/IP處理流程處理，這時(shí)TCP數(shù)據(jù)通過TCP報(bào)文處理模塊處理。

處理TCP控制報(bào)文時(shí)，當(dāng)TCP三次握手成功后，調(diào)用連接控制模塊中的卸載函數(shù)，在連接卸載完成以前，不處理任何該連接上的TCP數(shù)據(jù)，當(dāng)收到FIN報(bào)文時(shí)，等待四次握手成功，最后調(diào)用連接控制模塊中的釋放函數(shù)。

（5）非TCP報(bào)文處理模塊

該模塊處理的報(bào)文都是不需要經(jīng)過TOE網(wǎng)卡上的TCP/IP協(xié)議棧處理的非TCP報(bào)文，包括UDP，ICMP報(bào)文等。這些報(bào)文走傳統(tǒng)的協(xié)議棧處理流程，TOE網(wǎng)卡對(duì)它們而言只是發(fā)揮著傳統(tǒng)網(wǎng)卡的功能。

3結(jié)束語

本文討論比較了TOE網(wǎng)卡的兩種卸載方式，根據(jù)實(shí)現(xiàn)風(fēng)險(xiǎn)大小和實(shí)際應(yīng)用背景選擇采用部分卸載方式。在使用部分卸載方式的前提下，提出了TOE網(wǎng)絡(luò)接口卡軟件系統(tǒng)的一種初步解決方案，詳細(xì)說明了這個(gè)方案各部分的功能、接口，并從連接的建立、關(guān)閉和維護(hù)、連接的卸載、釋放和管理，如何進(jìn)行數(shù)據(jù)傳輸?shù)确矫骊U明了如何支持TOE功能。這些想法在細(xì)節(jié)上還需要進(jìn)一步完善，在具體實(shí)現(xiàn)中也存在很多困難有待解決。

參考文獻(xiàn)：

［1］ChaseJS，GallatinAJ，YocumKG.EndSystemOptimizationsforHighspeedTCP[J].IEEECommunicationsMagazine，2001，39(4)：6874.

［2］EricYeh，HermanChao，VenuMannem，etal.IntroductiontoTCP/IPOffloadEngine[EB/OL].http：//www.techonline.com/community/related_content/21208，20050709.

［3］http：//www.adaptec.com/worldwide/product/markeditorial.html[EB/OL］，20050609.

［4］http：//www.alacritech.com/html/[EB/OL］，20050701.

［5］WRichardStevens.TCP/IPIllustrated，volume1：TheProtocol[M].AddisonWesley，1994.

［6］TCP/IPOffloadforHighspeedEthernetNetworks[EB/OL].http：//whitepapers.zdnet.co.uk/0，39025945，60038177p39000380q，00.htm，20050701.

［7］胡風(fēng)華，侯紫峰，祝明發(fā).TOE技術(shù)及其在IP存儲(chǔ)環(huán)境下的性能研究[J].微電子學(xué)與計(jì)算機(jī)，2004，21(2)：9094.

［8］AngBS.AnEvaluationofanAttemptatOffloadingTCP/IPProtocolProcessingontoani960RNbasediNIC[EB/OL].http：//www.hpl.hp.com/techreports/2001/HPL20018.pdf，20050509.

作者簡(jiǎn)介：

高鵬(1982)，女，湖北襄陽人，碩士研究生，主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)；胡曉峰，博士，主要研究方向?yàn)橛?jì)算機(jī)體系結(jié)構(gòu)、高性能路由器等；龔雪春，副研究員，主要研究方向?yàn)橛?jì)算機(jī)體系結(jié)構(gòu)、計(jì)算機(jī)網(wǎng)絡(luò)。