于紅增,馮 偉
(1.中國電子科技集團公司第五十四研究所,河北 石家莊 050081;2.中國人民解放軍66061部隊,北京 102300)
隨著網絡技術的發展,以太網技術早已成為局域網的主流。相比之下,廣域網技術相對復雜,線路使用費用高昂,且需要專門的設備,速率也較低。通過協議轉換器可以將廣域網接入模式轉換成局域網接入模式,降低網絡復雜度和網絡成本。如今企業網中不再為路由器配置低速Serial和E1/T1等接口,只配置以太網接口,而采用廣域網協議轉換器實現與傳輸設備相應低速接口適配[1-2]。
隨著業務的IP化,企業網絡可以統一承載數據、語音、圖像和視頻等業務,合理部署QoS策略才能保證各業務對吞吐量、時延、抖動和丟包率的要求,文獻[3-6]對各種IP QoS技術、服務模型和部署方式等進行了討論。文獻[7]提出了QoS在某專網上具體的部署應用,保障了網絡中各業務的服務質量要求。文獻[8]提出了IP網絡QoS測試的標準方法和流程。文獻[9-14]提出了QoS測試的一些具體方法,但都集中于具體QoS指標的測試,屬于驗證性測試;關于QoS指標不滿足要求,如何確定影響QoS的因素,都沒有涉及。文獻[15-16]設計了對端口限速時令牌桶工作參數和緩存能力的測試方法,屬于對設備QoS機制的白盒測試,實現了對路由交換設備QoS指標影響相關參數的測試。
本文結合實際應用,通過提出依據等效替換原理對協議轉換類設備QoS指標動態范圍進行測試的黑盒方法,使得確定導致數據報文時延抖動超過門限及IP語音音質差問題的關鍵因素的方法更加高效、直觀,據此設計的QoS改進方案經試驗具有可行性,且系統QoS指標具有可預見性。
協議轉換器實現協議的轉換,又稱網橋或協轉。協議轉換實質上是一種映射,即把某一協議的收發信息序列映射為另一協議的收發信息序列。基于多種通信接口和各種協議形成種類繁多的協議轉換器,如以太網協議轉換器包括以太網/E1、以太網/STM-1、以太網/RS 530、以太網/xDSL和RS 232/422/485/以太網等多種類型。
利用E1鏈路來傳輸以太網數據在遠距離通信的用法如圖1所示,其中用到以太網/E1協議轉換器。

圖1 以太網/E1協議轉換器的部署
以太網/E1協議轉換器延長了以太網信號的傳輸距離,可有效節省廣域網鏈路帶寬資源,降低鏈路使用成本是一種低成本的網絡延伸/接入手段。
以太網速率高(最低10 Mbps),而E1鏈路速率低(2 Mbps);如果企業網中的TCP/UDP數據以大包為主(傳輸層Data為7 000~27 000 Byte),必然會導致協議轉換器E1鏈路出口的瞬時擁塞,擁塞就會產生數據時延增加和丟包,對于IP語音則產生斷續和丟字現象,對于實時控制數據可能傳輸時延和抖動超限,總之擁塞影響業務系統的有效運行。不難看出圖1中協轉的QoS性能非常關鍵。
E1鏈路傳輸以太網數據,在實現協議轉換、鏈路速率適配的過程中,由于廣域鏈路為低速E1鏈路,因此協轉不能看做理想設備,其引入的影響端到端QoS因素主要包括:
① 經過協轉后相鄰以太網幀的間隔增加。協轉以太網接口速率一般為10/100 Mbps自適應,以10 Mbps以太網為例,相鄰兩幀1 500 Byte報文的幀頭間隔時間是(1 500×8 bit)÷10 Mbps×1 000=1.2 ms,經2M E1鏈路后該間隔就變為1.2 ms×10/2=6 ms,不計編解碼處理時延和協議轉換開銷,在10 Mbps鏈路上緊密相鄰傳輸的兩幀1 500 Byte數據幀經過協轉后幀頭間隔增加了4.8 ms。
② 協轉轉發緩存大小決定了承受以太網側報文突發的能力。高速到低速的轉發必須借助緩存機制來實現,在企業網環境中,數據源產生的數據具有周期突發性,UDP Data最大可達27 000 Byte,分成多片IP包進行傳輸[17-18],要求協議轉換器在轉發過程中不能丟失報文片段,緩存必須足夠大。
③ 緩存大小決定了協議轉換器引入的最大時延。以太網側進入的不同業務數據以先入先出(FIFO)的方式從E1側低速輸出,排在E1端口發送緩存尾部的數據其轉發時延會大大增加。
④ 實用吞吐量。E1鏈路編碼速率為2 048 kbps,可以認為E1鏈路的吞吐量就是2 048 kbps。受協議、幀格式等的影響,以太網側的吞吐量并不等于2 048 kbps,且在不同的以太網幀長對應的吞吐量也不一樣。
⑤ E1鏈路的時延容差。當數據平均流量大于單條E1鏈路容量時需要采用多條E1鏈路來進行負載分擔,實際使用中受廣域網鏈路條件限制,不同的E1鏈路實際上經過的可能是不同的物理傳輸路徑,導致其傳輸時延、丟包率不一致,協議轉換器必須對此有一定的適應能力(如進行時延校正,保證收端報文不亂序)。
協轉公開的技術參數只是接口物理特性和電氣特性,QoS能力和動態范圍很少提及,這導致部署協轉后可能會嚴重影響系統QoS。本文結合項目需求,填補了這方面公開文獻和廠家技術資料的空白。
網絡QoS指標測試要遵從一定的順序,首先需要測出的性能指標是吞吐量和時延,單設備的測試也一樣。
利用等效替換法,可以將2臺背靠背連接的以太網/E1協議轉換器看作是一臺虛擬以太網設備,如圖2中虛線所示,其外部接口為以太網,內部總線為E1,交換容量為E1帶寬2 048 kbps。顯然該設備的“交換容量”低于以太網接口速率。該虛擬設備的吞吐量代表了它能夠轉發的以太網報文速率,即實用吞吐量。

圖2 成對以太網/E1協議轉換器的等效原理
在不發生擁塞的情況下傳輸報文,以太網/E1協議轉換器輸入接口和輸出接口通過的幀頻是相同的,即單位時間(1 s)內從某個接口流入了多少數據幀,從另一個端口一定也會流出相同幀數的數據。在幀長一定時,幀頻存在一個上限,超過這個上限,協轉不能及時轉發新收到的報文,新到報文進入緩存隊列或者被丟棄,該上限稱為包轉發能力,對應的單位時間流量即為吞吐量。數據速率超過吞吐量時,新到數據報文來不及轉發,會暫存起來,在端口緩存中等待后續轉發,這些報文的轉發時延會增加。當累積的數據報文超過了緩存容量,新到報文因不能緩存而產生丟包。
測試步驟如下:
① 對吞吐量進行預估。在整個轉發過程中,如果未產生丟包,經過虛擬以太網設備的輸入幀數、輸出幀數和內部E1鏈路傳輸幀數是相等的,即
都等于單位時間內的幀數,其中L為以太網幀長,單位Byte;等號左邊的20為以太網幀間隙,單位Byte;等號右邊的C為E1鏈路編碼相對于以太網幀增加的字節數。TL為E1鏈路信息速率,如果E1鏈路以滿負荷傳送信息,則TL達到最大值TLo=2 048 kbps,此時TH為基于以太網幀的吞吐量THo。
② 考慮設計初始輸入流量速率v。初始流量v應高于THo,取2倍的TLo即可。采用RFC 2544標準進行測試時,流量范圍可以取從0~2倍的TLo,初始流量取TLo即可。
③ 吞吐量和時延的測試。吞吐量即設備無丟包時的最大轉發能力。通過對流經虛擬設備穩定流量的觀察,當其由大到小降到了與其內部低速接口速率相當且未發生丟包時,或者當其由小到大增加到與其內部低速接口速率相當且即將開始丟包時,即為吞吐量。
在測試儀數據發送停止后,虛擬網絡設備緩存中可能存在數據,導致測得吞吐量值偏大。文獻[8-14]對QoS的測試只是驗證性測試,且未提出改進途徑,根據文獻[19-20]對吞吐量的分析,對吞吐量更為準確的描述應該是:吞吐量是設備或系統從入口到出口的最大轉發能力,當以該速率恒定轉發流量時,轉發過程沒有丟包,且所有報文被公平轉發。此處所謂公平從時延角度可以理解為轉發時延和輕載時延(小于10%吞吐量)基本相同,且最大轉發時延和平均轉發時延在流量發送過程中沒有明顯的增長。
利用思博倫網絡測試儀(如SPT-9000A)進行上述測試時,可以通過“Detail Stream View”視圖獲得報文的“min delay(μs)”,“avg delay(μs)”,“max delay(μs)”,可以認為當最小時延和最大時延處于同一數量級、大小基本相當時,對應的流量就是吞吐量。在測得吞吐量的同時也獲得了時延和時延抖動指標。
對于以太網接口,通常要測試64(最小以太網幀長),128,256,512,1 024,1 280,1 518 Byte的吞吐量,測試時需禁用流控功能。
網橋設備緩存容量的測試建立在吞吐量THo測試完成的前提下,如果THo不準確,測得的緩存大小也將不準。
以超過THo的速率v發送長度為LEN的IP報文并開始計時,轉發緩存以v-THo的速率逐漸消耗掉,在t1時刻第一次出現緩存不足,隨后到達的數據幀被丟棄,抓包可以發現IP頭部Id第一次出現不連續。從開始到t1時刻,報文轉發時延持續增長。繼續發送流量,緩存保持滿的狀態,報文轉發時間保持穩定。t2時刻測試儀停止發送數據,緩存中的數據逐漸發送直至t3時刻清空,接收端再也收不到任何數據。整個過程如圖3所示。

圖3 緩存大小測試原理
通過在接收端抓包,假定Id1為IP頭部Id(測試時從0開始)第一次出現不連續時前一包的Id值,根據緩存的工作原理得出:
實際測試時可取v等于以太網接口速率,以盡快耗盡緩存,此時v>>THo,buf≈Id1×LEN。
本文設計的測試方法不針對任何特定以太網協議轉換器的QoS指標測試,具有普適性。本利用網絡測試儀對企業網部署的FE/E1網橋進行了測試。
利用一對FE/E1網橋背靠背進行吞吐量和時延抖動測試如圖4所示,中間連接一路E1,相當于背板容量為2 048 kbps的虛擬以太網設備。網橋和測試儀的接口為以太網電接口,自協商模式,百兆全雙工。

圖4 網橋吞吐量和時延測試原理
① 第1次測試,確定測試儀配置參數。
測試時選擇RFC2544標準,依次對幀長為64,128,256,512,1 024,1 280,1 518 Byte的以太網幀進行測試,吞吐量逼近方式為自動二分法(初始負載2%,負載下限1%,負載上限3%,回退比例50%,分辨率0.01%,通過丟包率0%),雙向流量發送時間為30 s。測試結果如表1所示。
表1 吞吐量和時延測試初步結果

幀長/Byte吞吐量/%最小時延/μs平均時延/μs最大時延/μs642.43520.01805 549.121 610 594.101282.29801.48924 746.581 848 718.852562.211 319.101 009 081.302 016 824.995122.172 433.911 063 520.532 124 614.961 0242.154 631.371 095 125.042 185 617.941 2802.145 711.911 101 592.802 197 459.281 5182.146 742.211 125 830.072 244 922.78
協轉具有緩存,如果注入的流量超過了吞吐量,在流量注入期間,最大時延和平均時延會持續增長,直至緩存溢出,產生丟包。表1中每種幀長的最小時延和最大時延差別都比較大,表明網橋緩存較大,測得的吞吐量比實際值偏大,至于沒有丟包,則是流量注入時間不夠長,緩存未溢出。
應增加流量注入時長,保證注入流量稍大于吞吐量即可產生丟包。最終當最小時延和最大時延差別足夠小時,協轉緩存一直保持近似空的狀態,測得吞吐量有效。
② 第2次測試,調整發送時間重新測試。
再次使用RFC2544進行測試,其他參數不變,僅調整雙向流量發送時間為60 s。測試結果如表2所示。
表2 吞吐量和時延測試最終結果

幀長/Byte吞吐量/%最小時延/μs平均時延/μs最大時延/μs642.20488.19518.89568.481282.15761.70793.46841.252562.001 307.551 340.741 387.265122.002 408.052 436.352 484.771 0242.004 597.904 628.014 674.421 2801.926 330.076 408.346 470.771 5181.925 335.425 416.675 445.66
由于最小時延和最大時延差值已很小,符合吞吐量測試的預期,吞吐量取測量值,時延取平均時延即可。
如圖4所示,繼續對上述虛擬設備進行緩存能力測試。計算過程用到了表2測得的吞吐量。測試方法為采用突發連幀(Burst)方式發送流量,接收端口抓包后進行分析計算。測試幀長為64,128,256,1 518 Byte。突發次數(Bursts)為1,一次突發以太網幀數(BurstSize)為100 000。發送單向流量,測試單臺設備的緩存即可。
BurstSize太小則突發流量不能耗盡緩存,測得的緩存偏小;BurstSize必須足夠大以保證緩存能夠一次耗盡。測試結果如表3所示。
表3 網橋緩存能力測試結果

幀長/Byte吞吐量/%IP頭部Id第一次不連續時前包序號L2緩存能力/KByte642.205 806360 1282.153 516440 2562.001 973494 1 5181.92378573
從表3可以看出,該型網橋的緩存對于各種包長的幀,可用緩存大小不同,對64 Byte幀來說最小,只有360 KB。從應用角度,不必關心差異的具體機理,只要了解設備有多少緩存就可以了。FE/E1網橋的可用緩存在各種幀長下不小于360 KB。
在企業網中FE/E1網橋的部署方式與圖1類似,廣域網鏈路為單E1鏈路,以太網鏈路為百兆全雙工。廣域網業務只有1.5 Mbps,小于端到端吞吐量。但在系統開通測試時發現UDP大包數據存在丟包,而小包數據丟包率為0;跨廣域網的端到端時延分布在較大的范圍,時延抖動超出了業務容許門限。在通信網中部署協議轉換器,在選型和部署時應考慮協轉QoS指標的動態范圍。依據測試結果,采取的QoS改善措施如下:
① 在路由器的廣域網出口做流量整形,由于業務以UDP大包數據為主,其分片長度為1 500 Byte(對應以太網幀長1 518 Byte),對照表2測得的吞吐量,整形速率設置為1 920 kbps。
② 為了保證企業網不同業務經過廣域網傳輸后時延抖動不超過要求的50 ms,由表3可知,FE/E1網橋的緩存不小于360 KB,對應最大緩存時延為360×4 ms=1 440 ms,遠遠大于允許值,即企業網中突發大數據量業務的存在必然導致實時數據業務和語音業務的QoS無法保證。因此,需對業務系統和路由器的流量突發進行限制,保證流入協議轉換器的突發量不超過1.5 KB/6 ms×50 ms=12.5 KB。
采用上述措施后,企業網在不必使用更大帶寬和更換設備的情況下,丟包和時延抖動過大問題得到解決,保證了各種業務的傳輸質量。
采用本文提出的單設備QoS指標測試方法,可以獲得協議轉換器對系統QoS指標影響的動態范圍以及超限的機理,在此基礎上提出了系統QoS改善方案,試驗證明可以滿足各類業務對端到端時延、抖動和丟包率等QoS保障的要求。后續可利用更多設備QoS指標及其動態范圍的測試結果進一步完善系統QoS評估方案和部署方案,能夠幫助企業網提供更好的服務質量。