
作為核心數據交換平臺,數據中心的核心交換機性能決定了整個數據中心的運行情況。因此數據中心對于核心交換機的要求也是十分嚴苛的,比如高吞吐能力、高端口密度、高度冗余能力、高可用性等。
Arista DCS-7508(以下簡稱DCS-7508)作為一款數據中心核心交換機,在11U的機架單元內集成了384個10G以太網接口,可提供10Tbps的總網絡容量。而在實際測試中,DCS-7508的性能表現也創造了一項項紀錄:2/3層吞吐轉發每秒達5.76bpps;組播流量所有端口均超過4000 Group;另外DCS-7508線速轉發時,每端口緩沖區可達83MB。
硬件設計方面除了高密度外,DCS-7508的散熱也值得一提。借助于機箱內每個交換板和晶格內的風扇,DCS-7508的散熱效果出眾,完全可以滿足7×24小時運行的需求。另外,優化的電源管理使得兩個電源模塊即可滿足全部384個接口的供電需要。
軟件設計方面,DCS-7508內置Arista EOS模塊化操作系統,其底層類似于思科的IOS命令行界面。EOS構建于標準的Linux內核之上,所有的進程均在各自受保護的內存空間中運行,通過基于內存的數據庫交換狀態。此外,EOS的多任務狀態共享架構為服務軟件升級和彈性自愈提供了基礎。測試中曾有意停掉EOS的部分模塊,發現對其他模塊基本上不會有任何影響。
最長無故障運行時間
雖然對于核心交換機而言,高性能是必不可少的因素,然而高可用性同樣重要。DCS-7508硬件支持熱插拔冗余電源、風扇、Fabric模塊、引擎和線卡。其中Fabric模塊為N+1冗余,并支持平滑降級。Arista EOS軟件支持冗余引擎的狀態故障轉移及自愈,并能通過在線服務軟件升級實時升級補丁。
為了測量Fabric模塊發生故障時任務轉移所需要的時間,測試中在384個端口同時進行64字節幀長單播轉發時,手動移除一個Fabric模塊,通過計算丟幀率,初步估算系統恢復時間為31.84微秒。雖然這并不是瞬時的,但是仍然相當快,對于許多企業應用,特別是運行在TCP上的應用而言,它們的性能并不會因此降低。
另外,作為一款數據中心核心交換機,功耗也是其中一個重要因素。測試中采用了兩種模式,一種是滿載,另一種是50%負載的情況。其中滿載時,思博倫實驗室測試儀器向384個端口線速轉發流量;而50%負載時,僅僅啟用一半的線卡(不過仍然向所有的線卡轉發流量)。
測試結果發現,滿載時,DCS-7508功率為4358w,平均每端口約為11.3w,比官方公布的10w要略高一些。在僅啟用一半端口時,系統功率為1598w,每端口約為8.3w。其中,滿載時的功率是一種最壞的情況,并不具備很強的代表性,50%負載的情況則更符合大多數企業的實際情況。
線速測試
在單播吞吐量測試中,DCS-7508持續進行線速轉發,思博倫測試中心以網狀模型對384個萬兆網絡接口進行流量生成/分析,結果發現DCS-7508所進行的單播測試均無丟幀現象,而且,無論是2層還是3層,速率均可達到3.832Tbps。
除了單播測試,還對DCS-7508進行了非阻塞多播測試,測試中使其持續轉發70字節或者更長字節的幀。除了當幀長為最短的64字節時,系統吞吐量相當于92.588%的線速外,其余情況下,無論二層還是三層,系統均可實現線速無損失的轉發。
延遲方面,通過測試單播多播的延遲分析發現,延遲一般情況下都比較低而且比較穩定,二層和三層延遲也幾乎相同。單播測試中,幀長達到1518字節時,平均延遲不到9微秒,而在傳輸9216字節的巨型幀時,延遲較長,平均約為13微秒,而且,短幀和中長幀的最大延遲要遠高于長幀。以上這種情況常見于以太網交換機,隨著幀長的不斷增加,平均延遲也會不斷增加。
而在多播測試中,平均延遲和最大延遲明顯低于單播測試,而且與幀長關系不大。這對于越來越多大量使用多播技術(例如金融服務行業中的股票報價和交易)的數據中心是非常重要的。具體來講,對于幀長為1518字節或者更短的,平均延遲一般少于5微秒,而對于9216字節的巨型幀,延遲大概6微秒,并且在2/3層的測試中,沒有明顯不同。另外與單播測試不同,多播測試最大延遲相較于平均延遲幾乎沒有差別。
緩沖能力測試
當前很多廠商都在談微爆發,但是目前還沒有一個行業標準來衡量微爆發的處理能力。測試中采用了兩種方法,一種是向DCS-7508強制轉發兩倍的流量,這是一個簡單的緩沖實驗與微爆發持續時間長短無關。第二種是,同一時間從不同的源頭向同一端口線速轉發大小不等的數據包,通過測試不同的突發傳輸周期,計算系統可以無損緩沖的最大微爆發時長。
第一種測試方法類似于我們現實中的交通環境,結果比較吃驚。面對兩倍的超額流量,DCS-7508最初丟失了60%的流量,而不是預想的50%或者更少,這意味著DCS-7508幾乎起不到任何緩沖的作用。結果發現這是由于DCS-7508的虛擬輸出隊列(VOQ)模式設置問題及測試的非隨機性所造成的。經過重新設置VOQ,丟包率降低到了50%,甚至更少。
另外通過測試發現,無論采用哪種測試方法,緩沖能力與發送器和接受器的數量均有關系。當執行256個發射器和128個接收器的微爆發試驗時,DCS-7508在零丟包的前提下,每端口緩沖可達83.49MB,遠超過Arista宣傳的50MB/port,這相當于大約56300個1518字節的幀。然而,如果執行相同的測試用383個發射器同時發送給一個接收器,最大無損緩沖量就要低得多,約6.85MB(約4600個1518字節的幀)。
上述結果的不同是由于DCS-7508的VOQ及內部架構引起的。當幀進入交換機時,DCS-7508首先會分配緩沖區,當且僅當存在足夠資源進行流量轉發時才進行轉發,發送資源相較接收資源的比例越高,需要的與可用資源之間的比例就會越不平衡,從而導致DCS-7508的緩沖能力大大下降。