基于IP網(wǎng)絡(luò)中流量控制的研究方法與FPGA實(shí)現(xiàn)

邵 凱

（重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065）

0 引言

IP網(wǎng)絡(luò)設(shè)備是IP網(wǎng)絡(luò)的核心，其性能的好壞直接影響IP網(wǎng)絡(luò)規(guī)模、網(wǎng)絡(luò)穩(wěn)定性以及網(wǎng)絡(luò)可擴(kuò)展性。由于互聯(lián)網(wǎng)工程任務(wù)組（IETF）沒有對特定設(shè)備性能測試作專門規(guī)定，一般只能按照RFC2544[1]作測試。網(wǎng)絡(luò)互聯(lián)設(shè)備（如路由器）性能測試包括吞吐量、時(shí)延、丟包率、背靠背幀數(shù)、系統(tǒng)恢復(fù)時(shí)間等指標(biāo)。上述指標(biāo)要求測試儀表具備主動(dòng)測試功能，能產(chǎn)生符合要求的以太網(wǎng)幀，并按任意的速率向IP網(wǎng)絡(luò)發(fā)送數(shù)據(jù)，實(shí)時(shí)獲取網(wǎng)絡(luò)的性能指標(biāo)。

1 方案選擇

產(chǎn)生任意速率的數(shù)據(jù)流是IP網(wǎng)絡(luò)測試儀表要解決的首要問題，目前有兩種方法：一是采用軟件封裝數(shù)據(jù)流，然后通過網(wǎng)絡(luò)驅(qū)動(dòng)器接口標(biāo)準(zhǔn)（NDIS）向外傳送數(shù)據(jù)；二是采用基于FPGA的設(shè)計(jì)方法。

第一種方法的優(yōu)點(diǎn)是編寫修改容易，不考慮信號(hào)與信號(hào)之間的相互關(guān)系，不存在信號(hào)完整性問題。缺點(diǎn)是軟件每執(zhí)行一條指令的耗費(fèi)時(shí)間與CPU有關(guān)，CPU的系統(tǒng)頻率越低，工作效率就越低，而在嵌入式系統(tǒng)中，CPU的工作頻率普遍不高，一般約為幾百兆赫茲。同時(shí)，軟件的時(shí)間定位不準(zhǔn)確，稍微偏差1 ms，就會(huì)影響上千條數(shù)據(jù)流。CPU到NDIS接口的耗費(fèi)時(shí)間成倍增加，假設(shè)NDIS接口能承載1 000 Mbit/s的流量，由于CPU訪問數(shù)據(jù)時(shí)，采樣一個(gè)數(shù)據(jù)需要幾個(gè)到十幾個(gè)系統(tǒng)周期，導(dǎo)致產(chǎn)生的數(shù)據(jù)流速率低，遠(yuǎn)遠(yuǎn)無法滿足測試要求。

第二種方法的優(yōu)點(diǎn)是：時(shí)間定位精確，可達(dá)到納秒級，不存在多發(fā)或者少發(fā)數(shù)據(jù)流的現(xiàn)象；不需要太高的工作頻率就能產(chǎn)生1 000 Mbit/s的流量（設(shè)系統(tǒng)位寬是8位，工作頻率125 MHz）；工作效率高，使用流水線的方式產(chǎn)生或者拆解各種數(shù)據(jù)流，處理時(shí)延忽略不計(jì)；能達(dá)到1 000 Mbit/s以上的吞吐能力，避免丟包。缺點(diǎn)是要縝密考慮信號(hào)完整性，調(diào)試?yán)щy，開發(fā)難度高。

測試儀表針對10/100/1 000（Mbit·s-1）以太網(wǎng)網(wǎng)絡(luò)，要求高精度的測試結(jié)果，因此采用FPGA設(shè)計(jì)方法是解決問題的關(guān)鍵[2]。

2 速率的計(jì)算

由IEEE 802.3標(biāo)準(zhǔn)可知，以太網(wǎng)幀由前導(dǎo)碼B（7 byte）、幀起始定界符S（1 byte）、目的MAC地址（6 byte）、源MAC地址（6 byte）、類型/長度（2 byte）、數(shù)據(jù)（46～1 500 byte）和幀校驗(yàn)序列（4 byte）組成。

正常的以太網(wǎng)幀最小長度是64 byte，最大長度是1 518 byte。在每個(gè)幀前，有前導(dǎo)碼B（單位byte）和起始定界符S（單位byte）。設(shè)系統(tǒng)并行總位寬為N（單位bit），幀長度為L（單位byte）、幀速率V（單位幀/秒，即f/s）、設(shè)定線速率為C（bit/s）、最小幀間隔G是12 byte，則有

根據(jù)式（1），設(shè)C=1 000 Mbit/s，L=64 byte，G=12 byte，那么幀速率V約為1 488 095 f/s。可見，F(xiàn)PGA必須每秒產(chǎn)生1 488 095條64 byte長度的以太網(wǎng)幀才能符合1 000 Mbit/s流量的要求。

IEEE 802.3標(biāo)準(zhǔn)規(guī)定1 000 Mbit/s的以太網(wǎng)網(wǎng)絡(luò)兩幀間最小間隔是96 ns，系統(tǒng)工作頻率是125 MHz（周期為8 ns，位寬N=8 bit），可見幀間隔是12 byte，與式（1）計(jì)算一致。

同一設(shè)備對接不同的網(wǎng)絡(luò)，工作模式將不一樣，如圖1所示，假設(shè)網(wǎng)絡(luò)A為100 Mbit/s的以太網(wǎng)網(wǎng)絡(luò)，根據(jù)物理層之間自適應(yīng)原理，測試儀表發(fā)送部分要自適應(yīng)為100 Mbit/s的工作模式，所以outside_clk設(shè)為25 MHz。

如果圖1中inside_clk仍為125 MHz，幀間隔是12，那么客戶層產(chǎn)生100 Mbit/s的流量只需要0.1 s，而鏈路層以下處理100 Mbit/s流量需要的時(shí)間是1 s，可見除非在鏈路層增加足夠大的緩沖區(qū)，否則以25 MHz的outside_clk為參考時(shí)鐘的物理層無法在0.1 s內(nèi)承載100 Mbit/s的流量。任何物理資源總是有限的，充分考慮系統(tǒng)性價(jià)比，采用無限增加緩沖區(qū)這一方法無效。

有兩種方法解決上述問題，一是inside_clk與out?side_clk采用同源時(shí)鐘；二是inside_clk采用125 MHz，適當(dāng)增加幀間隔[3]。

1）同源時(shí)鐘技術(shù)

根據(jù)IEEE 802.3標(biāo)準(zhǔn)，在1 000 Mbit/s網(wǎng)絡(luò)下，out?side_clk的工作時(shí)鐘是125 MHz，100 Mbit/s網(wǎng)絡(luò)下，out?side_clk 的工作時(shí)鐘是 25 MHz，10 Mbit/s網(wǎng)絡(luò)下，out?side_clk的工作時(shí)鐘是2.5 MHz。因此，inside_clk可通過一個(gè)選擇器進(jìn)行時(shí)鐘切換，滿足同源時(shí)鐘的要求（見圖2）。

如圖2所示，locallink_clk根據(jù)實(shí)際網(wǎng)絡(luò)環(huán)境選擇10M_clk，100M_clk或者1 000M_clk為參考時(shí)鐘，然后通過BUFG（全局時(shí)鐘buffer）產(chǎn)生同頻率同相位的in?side_clk和outside_clk。這一方案在一定程度上滿足了圖1的要求。

假設(shè)圖1中的數(shù)據(jù)總線local_dat對接網(wǎng)絡(luò)A中的一臺(tái)155.52 Mbit/s的多業(yè)務(wù)傳送平臺(tái)（Multi-Service Trans?fer Platform，MSTP）設(shè)備，為了實(shí)現(xiàn)同源時(shí)鐘設(shè)計(jì)方案，只能再接上一條155.52M_clk供locallink_clk進(jìn)行選擇。如果對接311.04 Mbit/s的MSTP設(shè)備，也需要提供一條311.04M_clk供選擇。以此類推，對接不同的環(huán)境，需要不同的時(shí)鐘，顯然，在有限的資源下，無法滿足這樣的要求。即使有足夠的資源，采用這一方式，F(xiàn)PGA綜合布線非常困難，性能很差。

2）流量均衡技術(shù)

流量均衡技術(shù)就是在固定的系統(tǒng)工作頻率下，適當(dāng)增加鏈路層緩沖區(qū)，把流量平均分配到各個(gè)時(shí)間點(diǎn)上。如圖3所示，將左側(cè)陰影部分平均分成5等份，然后均勻分布到各時(shí)間點(diǎn)上，即系統(tǒng)能根據(jù)外部條件自動(dòng)調(diào)整幀間隔，平穩(wěn)地發(fā)送測試數(shù)據(jù)流，避免突發(fā)流量的產(chǎn)生。

流量均衡技術(shù)需要?jiǎng)討B(tài)調(diào)整幀間隔，設(shè)計(jì)復(fù)雜度相對同源時(shí)鐘設(shè)計(jì)方案來說要高，但在有限的資源下，流量均衡技術(shù)系統(tǒng)時(shí)鐘固定不變，F(xiàn)PGA綜合布線容易，性能高，適合大規(guī)模邏輯設(shè)計(jì)。

3 基于流量均衡技術(shù)的FPGA實(shí)現(xiàn)[4]

設(shè)系統(tǒng)頻率為F（單位MHz），系統(tǒng)并行總線位寬為N（單位bit），則系統(tǒng)總吞吐量T（單位bit/s）為

設(shè)幀間隔是G（單位byte），幀長是L（單位byte），前導(dǎo)碼B（單位byte），起始符S（單位byte），幀速率V（單位f/s），則有

結(jié)合式（2）和式（3），幀間隔G與幀速率V關(guān)系為

根據(jù)式（1），式（4）進(jìn)一步推導(dǎo)為

假設(shè)F=125 MHz，L=64 byte，用戶設(shè)定的發(fā)送速率為100 Mbit/s，根據(jù)式（5），得到G=768 byte，每個(gè)字節(jié)的周期為8 ns（T=1/F）,所以兩幀之間的時(shí)間間隔差為768×8 ns=6 144 ns，也就是說前一幀頭到下一幀頭之間的時(shí)間間隔差為6 144 ns+（L+B+S）×8 ns=6 720 ns。

如果采用同源時(shí)鐘設(shè)計(jì)方法，系統(tǒng)頻率F降為25 MHz，系統(tǒng)總位寬N為4（100/10（Mbit·s-1）模式下，系統(tǒng)數(shù)據(jù)總線只有低4位有效），即每個(gè)字節(jié)需要2個(gè)周期才能傳完，那么前一幀頭到下一幀頭之間的時(shí)間間隔差是（L+G+B+S）×2×（1/25）×1 000 ns=6720 ns。

可見，采用流量均衡技術(shù)與采用同源時(shí)鐘設(shè)計(jì)方案達(dá)到的效果是一致的。鏈路層緩沖區(qū)只須正常緩存最大幀長即可。

如圖4所示，速率控制模塊主要由幀間隔寄存器、幀速率寄存器、幀間隔控制器、幀速率控制器、判定和鏈路層緩沖區(qū)組成。工作流程如下：

1）上層軟件首先將式（5）的值寫入到幀間隔寄存器，將式（1）的值寫入幀速率寄存器，轉(zhuǎn)入2）；

2）定時(shí)器開始工作，每定時(shí)到1 s，定時(shí)器就打開開關(guān)，更新速率控制器的內(nèi)容，轉(zhuǎn)入3）；

3）幀速率控制器在trm_cpl為1時(shí)，自減1，然后將spd_rdy信號(hào)置1，幀間隔控制器自減到0，并將gap_rdy信號(hào)置1，轉(zhuǎn)入4）；

4）判定模塊時(shí)刻監(jiān)測gap_rdy和spd_rdy信號(hào)，當(dāng)它們同時(shí)為1時(shí)，判定條件成功，將judge_rdy信號(hào)置1，轉(zhuǎn)入5）；

5）鏈路層緩沖區(qū)在judge_rdy信號(hào)為1時(shí)，通過out?data總線向網(wǎng)絡(luò)發(fā)送測試數(shù)據(jù)，發(fā)送成功后，分別對trm_rdy和trm_cpl信號(hào)置1，outdata經(jīng)過圖1中的鏈路層的MAC控制器后，變成outside_dat信號(hào)，轉(zhuǎn)入6）；

6）trm_rdy信號(hào)為1時(shí)，打開開關(guān)，更新幀間隔控制器，轉(zhuǎn)入3）。

FPGA經(jīng)過上述1）～6）的工作步驟輪循后，就產(chǎn)生了穩(wěn)定的測試速率，精確度達(dá)到1 ms以上。

4 仿真驗(yàn)證

本設(shè)計(jì)采用Modelsim仿真器進(jìn)行驗(yàn)證。設(shè)用戶需要產(chǎn)生400 Mbit/s、幀長度為64 byte的測試數(shù)據(jù)流。根據(jù)式2），幀速率為595 238 f/s。根據(jù)式9），每秒的幀間隔是138（即1 104 ns，設(shè)系統(tǒng)頻率是125 MHz）。那么在25 μs中FPGA要產(chǎn)生15幀才能滿足上述要求。

如圖5所示，gmii_tx_clk_0，gmii_txd_0，gmii_tx_en_0和gmii_tx_er_0是一個(gè)標(biāo)準(zhǔn)的吉比特媒體獨(dú)立接口（Gigabit Media Independent Interface，GMII），即圖1中的outside_dat信號(hào)。時(shí)刻12 994 200 ps與104 742 000 ps的時(shí)間間隔差約為25 μs，在這一時(shí)間間隔內(nèi)，總共有15個(gè)數(shù)據(jù)幀（gmii_tx_en_0為高電平時(shí)表示一個(gè)數(shù)據(jù)幀有效）。兩幀間隔差是1 104 ns（時(shí)刻119 862 000 ps與11 875 800 ps的時(shí)間間隔差）。可見FPGA的仿真結(jié)果與理論分析一致，說明本文基于流均衡技術(shù)的FPGA實(shí)現(xiàn)方法滿足了測試需求。

5 小結(jié)

詳細(xì)推導(dǎo)了幀速率和幀間隔的計(jì)算方法，從理論上提出了一套實(shí)現(xiàn)流量控制的測試方法，充分對比了同源時(shí)鐘技術(shù)與流量均衡技術(shù)，明確指出了基于流量均衡技術(shù)的FPGA實(shí)現(xiàn)方法，能在有限的資源下滿足絕大部分的測試環(huán)境。仿真結(jié)果證明，本文設(shè)計(jì)的基于流量均衡技術(shù)的FPGA實(shí)現(xiàn)方法符合高精度IP網(wǎng)絡(luò)性能測試要求，具有很高的參考價(jià)值和工業(yè)應(yīng)用價(jià)值。

[1] LEE J W，CHOI J K.A study of rate-based credit flow control mechanism between IP network and ATM network，high performance switching and routing[C]\Proc.the IEEE Conference on Digital Object.[S.l.]：IEEE Press，2000：205-213.

[2] 王瑞剛，多用途以太網(wǎng)分路器的設(shè)計(jì)與實(shí)現(xiàn)[J].電視技術(shù)，2011，35（5）：74-77.

[3]MATRAWY A，LAMBADARIS I.Multicast flow control in prioritybased IP networks[C]\Proc.Conference on Electrical and Computer Engineering.[S.l.]：IEEE Press，2003：1009-1012.

[4] 何全勝，姚國祥.IP網(wǎng)絡(luò)中實(shí)時(shí)數(shù)據(jù)流的流量控制[J].計(jì)算機(jī)科學(xué)，2002，29（3）：51-53.