沈 波, 劉旭林, 劉亞楠
(北京市氣象信息中心,北京100089)
隨著氣象事業的不斷發展,不同的業務應用在不斷地增加,由于氣象數據復雜多樣,信息網絡系統承載著各種應用及多種業務接入,面對海量數據,千兆以太網越來越成為信息傳輸的瓶頸。目前桌面接入已經逐步千兆化,如果骨干網仍然是千兆帶寬,在業務繁忙時,大量數據同時傳輸,網絡很容易擁堵,升級成萬兆以太網是很好的解決方案,萬兆以太網部署成本逐年降低,從經濟方面考慮也切實可行。北京市氣象局原有的千兆核心交換機為插槽式模塊化結構,為了節約成本保護投資,此次升級采用模塊升級方案,盡量利用原有設備,通過更換核心交換機部分模塊實現萬兆骨干網的平滑升級。
2002年6月IEEE委員會正式通過萬兆以太網標準802.3ae,將原IEEE 802.3標準規范的以太網工作速率擴展到10Gbps,并將其應用空間從LAN擴展到MAN和WAN鏈路,同時考慮在WDM光網絡接口和SDH/SONET網絡上10Gb幀信號的傳輸。這一方面使以太網的帶寬提高10倍以上,另一方面又保持原以太網模型、網絡拓撲結構、介質接入控制MAC協議相同的幀結構格式和尺寸大小。這樣,萬兆以太網可以向下兼容百兆以太網,與原來的以太網模型完全相同,現有的以太網絡可以方便地向萬兆以太網升級,先前網絡基礎結構的投資不會浪費。
在國際標準化組織的OSI七層模型中,萬兆以太網標準802.3ae屬于物理層和數據鏈路層這兩個底層協議。
萬兆以太網物理層與OSI模型的第一層協議一致,物理層分成多個子層,如物理介質相關子層(Physical Media Dependent,PMD)、物理編碼子層(Physical Coding Sublayer,PCS),光纖的發送和接收的工作是由PMD層完成,PCS層則完成編碼的功能以及復用的功能。802.3ae規范定義了兩種物理層:局域網的物理層和廣域網的物理層,廣域網的物理層標準對局域網協議進行了拓展。
萬兆以太網數據鏈路層使用IEEE 802.3以太網的MAC層協議、802.3的以太網幀結構最大及最小的幀長度,就像1000BASE-X和1000BASE-T等千兆以太網的標準仍然屬于以太網模型,萬兆以太網繼續著以太網在速度和距離上的演變,它只能在全雙工模式下工作,并且不需要CSMA/CD協議。在其他方面,萬兆以太網標準仍然與一般以太網標準一致。
萬兆以太網鏈路的接口標準在不斷地修改和完善,2002年6月通過的IEEE 802.3ae,包括10GBASE-X、10GBASE-R、10GBASE-W等接口類型;2004年2月,IEEE正式推出銅纜萬兆以太網標準IEEE 802.3ak,接口類型為10GBASE-CX4,標準基于同軸銅纜進行萬兆傳輸;2006年6月,基于非屏蔽雙絞線銅質電纜的10Gb以太網IEEE 802.3an規范批準通過,接口類型為10GBASE-T,可使用通用的RJ-45連接器;2006年10月通過IEEE 802.3aq,增加了10GBase-LRM接口,可在老的FDDI或OM1級光纖上實現260米距離的萬兆傳輸。萬兆鏈路主要的接口與標準如表1所示。

表1 萬兆鏈路主要的接口與標準
萬兆以太網光模塊有MSA模塊、XENPAK、X2、XFP與SFP+等。其中300針MSA模塊是最早出現的模塊,最初面向SDH網絡而設計,尺寸大并且價格比較昂貴,應用十分有限;XENPAK是面向萬兆以太網的第一代光模塊,可支持10BASE-SR/LR/ER/LRM等接口。X2是XENPAK模塊的直接改進版,體積縮小了40%,光接口、電接口都與原來保持一致。XFP只提供光電轉換而省略編碼、解碼功能。SFP+從通用的SFP衍生的版本,規格與1Gb的SFP相同,支持不同波長的單模、多模光纖,應用越來越廣泛。
萬兆以太網具有萬兆傳輸帶寬,基本承襲以太網、快速以太網及千兆以太網技術,在用戶普及率、使用方便性、網絡互操作性及簡易性上擁有極大的優勢。在升級到萬兆以太網解決方案時,用戶不必擔心既有的程序或服務是否會受到影響,升級的風險非常低。萬兆以太網具有如下技術特點:
(1)傳輸速率達10Gbps,是千兆以太網IEEE802.3z標準的10倍;
(2)保留了802.3以太網的幀格式,實現從百兆、千兆網絡平滑升級到萬兆網,在未來升級到40G甚至100G都將是很明顯的優勢;
(3)使用全雙工的工作方式,不再使用半雙工傳輸模式和沖突檢測的載波偵聽多路訪問協議(CSMA/CD);
(4)采用局域網和廣域網兩種物理層模型,可實現LAN、MAN和WAN網絡的無縫連接。

圖1 VSS1440與傳統網絡比較
VSS是一種網絡系統虛擬化技術,將兩臺采用了Virtual Switching Supervisor 720-10G VSS的Cisco Catalyst 6500系列交換機組合為單一虛擬交換機。在VSS中,這兩個交換機中的720Gbps管理引擎的數據面板和交換陣列能同時激活,因此總系統交換能力可達1440Gbps,稱為虛擬交換系統1440(VSS1440),如圖1所示。
在一個VSS1440中,只有其中一個虛擬交換機成員有激活的控制平面。這兩個機箱通過機箱間狀態切換(SSO)機制和不間斷轉發(NSF)保持同步,即使某個管理引擎或機箱發生故障,也能提供不間斷通信。
VSS成員通過虛擬交換機鏈路(VSL)連接。VSL在虛擬交換機成員之間使用標準萬兆以太網連接(多達8條,以提供冗余性)。通過在Virtual Switching Supervisor 720-10G或WS-X6708-10G模塊的任意端口上使用萬兆以太網上行鏈路,即能形成VSL。除在VSS成員間進行控制面板通信外,VSL也能傳輸普通用戶流量。
VSS技術具有如下優勢:
(1)兩臺核心交換機虛擬成一臺核心交換機,通過簡化網絡提高了運營效率,無需再使用HSRP、VRRP等雙機冗余技術,每VLAN只需一個網關IP地址,創建了簡化的無環路技術,不再采用生成樹協議。
(2)VSS能夠優化不間斷通信,在一個虛擬交換機成員發生故障時,不再需要進行L2/L3協議重收斂,能在一秒內完成確定性L2鏈路恢復,無需再使用生成樹協議來進行鏈路恢復。
(3)VSS能夠將系統帶寬容量擴展到1.44Tbps,在兩臺交換機之間實現標準的鏈路匯聚。
(4)VSS使用原有多層交換架構,支持基于標準的萬兆以太網連接,在原有CISCO 6500系列交換機的基礎上平滑升級,最大程度保護原有投資。
北京市氣象局原有局域網絡建于2004年,千兆骨干,百兆交換到桌面,網絡結構省略了匯聚層,為核心層-接入層的2層扁平化網絡結構。核心交換機為2臺CISCO 6509,通過HSRP方式實現雙機熱備,接入層交換機為CISCO 3750,數臺CISCO 3750堆疊,然后通過2對多模光纖上聯至核心交換機。建設之初完全滿足業務需求,千兆主干網絡尚有一定的帶寬余量,隨著業務的不斷增多,服務器、終端的接入數量成倍增加,千兆接入的需求也日益增長,在業務量相對較大的會商室網絡反應較慢,已影響了預報業務的正常運轉,迫切需要對網絡進行萬兆網升級改造。
網絡升級應盡量采用符合國際標準、比較成熟的技術,兼顧網絡技術的發展方向,保證網絡在較長時間內不落后。首先應堅持平滑升級的原則,盡量不改變原有網絡結構,保證已有設備還能發揮作用,避免硬件大規模替代造成的資源浪費;其次應該標準化,只有符合標準的網絡設備才能在網絡互聯中具備良好的兼容性;再次應該保持一定的先進性,避免升級后的網絡在很短的時間內被淘汰;另外還應具備一定的擴展性,還能在此基礎上進一步升級。
由于預算經費有限,升級不對網絡結構進行調整,仍然保持原有核心層-接入層的扁平化網絡結構,并盡量利用原有設備,實現萬兆平滑升級,減少升級過程中的斷網時間。原有核心交換機背板帶寬720Gbps,能滿足萬兆數據交換要求,插槽式的模塊化結構能方便地進行模塊更新,通過模塊升級方式實現萬兆接入,舊的機箱與模塊能充分得到利用;原有接入層多個交換機背板堆疊,升級后新增加的接入層萬兆上聯交換機應能加入堆疊,實現交換機間的背板數據交換。
核心交換機進行引擎升級,以支持萬兆以太網,并實現VSS雙機系統,再增加萬兆光纖模塊,滿足接入層交換機萬兆上聯需求。接入層增加具備萬兆上聯接口的交換機,并與原有的CISCO 3750進行堆疊,即可實現與核心交換機的萬兆上聯。升級后的萬兆以太網拓撲結構如圖2所示。

圖2 萬兆以太網拓撲圖
萬兆核心交換機平臺的升級采用CISCO公司新研發的VSS(虛擬交換系統)技術,通過VSS實現雙核心互備,代替原有的HSRP方式,萬兆模塊選用8個萬兆端口的WS-X6708-10G-3C。每個配線間接入層交換機增加1臺CISCO 3750E,每臺CISCO 3750E配置2個萬兆模塊,實現萬兆雙鏈路冗余上聯。
3.4.1 核心交換機模塊
核心交換機的引擎升級為VS-S720-10G-3C,這款全新的管理引擎將數據包轉發能力提高到450Mpps,提供了高密度上行鏈路、系統虛擬化、更高吞吐量和可擴展性能及豐富的IP特性集,以及可擴展的千兆以太網和萬兆以太網性能,適用于企業核心層/分布層應用和數據中心。該引擎是VSS1440虛擬交換系統的一個關鍵組件,能夠提供高可用性、出色運營效率和更高帶寬,且部署十分簡便。憑借其增強的陣列功能,能在1秒內完成故障切換,從而快速切換到備用引擎。該引擎支持VSS1440,所有模塊相應配置DFC3C轉發卡,萬兆模塊選用WSX6708-10G-3C,有8個萬兆端口,每個端口安裝1個X2-10GB-LRM光模塊,可在普通多模光纖上實現220米的萬兆傳輸距離。
3.4.2 接入層交換機
接入層萬兆交換機選用CISCO 3750E,3750-E為高帶寬應用提供了線速萬兆以太網上行鏈路端口,能夠消除擁塞,確保數據的順利分發。3750-E與原有的3750進行堆疊,通過其配置的2個萬兆多模光模塊X2-10GBLRM實現接入層的萬兆以太網上聯,無需更換接入層,充分利用原有交換機與光纖線路。3750-E系列能夠將9臺交換機堆疊成一個邏輯單元,共提供468個以太網10/100/1000端口、432個PoE 10/100/1000端口,或18個萬兆以太網端口,各種10/100/1000端口可根據網絡發展的需要進行任意組合。
萬兆以太網的升級主要分3步執行,首先升級核心交換機,核心交換機穩定運行后再升級配線間接入層交換機,最后進行VSS升級。升級過程中網絡要中斷數次,為不影響現有業務運行,選擇在業務量相對較少的晚間進行,并提前做好準備工作。
核心交換機升級涉及到引擎更換、8單口萬兆模塊添加、24單口SFP模塊升級、48單口千兆電模塊升級及IOS升級等,升級前準備好1臺48單口交換機來臨時替代核心交換機的48單口千兆電模塊。
準備工作就緒后先進行核心交換機B機升級,首先將B機48單口千兆電模塊上的網線更換到備用的48單口交換機上,減少連接到B機上的服務器斷網時間;然后B機斷電,進行引擎及各模塊的更換與安裝;硬件更換完成后開機進行IOS升級,VSS功能需要升級到12.2(33)SXH1版本以上。B機升級完成后再進行A機升級,升級完成后核心交換機配置不便,雙機仍保持HSRP工作模式。
核心交換機穩定運行幾天后再進行接入層交換機升級,主要工作就是把CISCO 3750-E加入到配線間CISCO 3750交換機的堆疊中。堆疊前檢查交換機的IOS版本是否相同,版本不同應先進行升級,否則堆疊有可能不成功。堆疊完成后仍保持原千兆上行鏈路不變,核心交換機VSS升級后再進行萬兆鏈路切換。
VSS升級前作好兩臺核心交換機配置的備份,以便升級不順利時及時恢復。升級步驟如下:
(1)分配虛擬交換域(Virtual Switch Domain)和交換號(Swtich Number)。兩臺核心交換機上配置相同的虛擬交換域,交換號是不同的。
A機上:
6509A(config)#switch virtual domain 100
6509A(config-vs-domain)#switch 1
B機上:
6509B(config)#switch virtual domain 100
6509B(config-vs-domain)#switch 1
(2)配置管理優先級,數值大的優先級高,配置A機為主管理模式,B機為從模式。
A機上:
6509A(config-vs-domain)#switch 1 priority 110
6509A(config-vs-domain)#switch 2 priority 100
B機上:
6509B(config-vs-domain)#switch 1 priority 110
6509B(config-vs-domain)#switch 2 priority 100
(3)配置VSL,兩臺核心交換機引擎上的兩個萬兆端口分別互聯,配置成VSL接口,兩臺交換機的port-channel號不能相同。
A機上:
6509A(config)#interface port-channel 1
6509A(config-if)#no shut
6509A(config-if)#switch virtual link 1
6509A(config-if)#exit
6509A(config)#interface range tenGigabitEthernet 5/4-5
6509A(config-if-range)#no shut
6509A(config-if-range)#channel-group 1 mode on
B機上:
6509B(config)#interface port-channel 2
6509B(config-if)#no shut
6509B(config-if)#switch virtual link 2
6509B(config-if)#exit
6509B(config)#interface range tenGigabitEthernet 5/4 5
6509B(config-if-range)#no shut
6509B(config-if-range)#channel-group 2 mode on
(4)轉換雙機到VSS模式,兩臺核心交換機上分別執行“switch convert mode virtual”命令進行虛擬交換模式轉換,創建新的配置文件,轉換完成后重啟核心交換機,啟動完成后即實現了雙機VSS模式,執行“switch accept mode virtual”命令,雙機的配置會同步更新并自動保存。
核心交換機、接入層交換機、VSS升級后,最后進行核心層——接入層之間的鏈路升級與切換,步驟如下:
(1)核心交換機鏈路聚合,雙機各取一個萬兆端口配置鏈路聚合:
interface Port-channel29
switchport
switchport trunk encapsulation isl
switchport mode trunk
interface TenGigabitEthernet1/3/5
switchport
switchport trunk encapsulation isl
switchport mode trunk
channel-group 29 mode on
interface TenGigabitEthernet2/3/5
switchport
switchport trunk encapsulation isl
switchport mode trunk
channel-group 29 mode on
(2)接入層交換機鏈路聚合,CISCO 3750E兩個萬兆端口配置鏈路聚合:
interface Port-channel29
switchport trunk encapsulation isl
switchport mode trunk
interface range TenGigabitEthernet3/0/1-2
switchport trunk encapsulation isl
switchport mode trunk
channel-group 29 mode on
(3)鏈路切換,配線間接入層2對光纖轉接到CISCO 3750E的兩個萬兆端口上,核心交換機上原2對千兆光纖端口的光纖轉接到相應的萬兆端口上,該樓層即實現了2條萬兆主干鏈路的上聯切換。
以上升級步驟完成后就完全實現了基于VSS技術的萬兆以太網。
北京市氣象局萬兆以太網在2009年6月建設完成,改善了原千兆骨干網帶寬不足的狀況,當年即在國慶60周年慶?;顒拥臍庀蠓罩邪l揮了重要作用。VSS技術的應用,理論上使骨干網的帶寬擴展到20Gbps,完全滿足未來5年內業務發展的需要。
[2] 高堅棟,張際平.未來校園的主干網——萬兆以太網[J].電化教育研究,2005,(1).
[3] 李學勇,孔德川,徐佑萍.高校校園網升級與萬兆以太網技術應用[J].河南科技學院學報:自然科學版,2005,(1).
[4] 陸姚遠.萬兆校園網的改造與管理[J].自動化與儀表,2005,(S1).
[5] 陳申.下一代以太網——10吉比特以太網[J].電信科學,2001,(4).
[6] 尹崗.如何檢測萬兆鏈路的質量[J].智能建筑與城市信息,2010,(2).
[7] 魏大強,翟麗華.萬兆以太網技術發展及應用[J].智能建筑與城市信息,2010,(6).
[8] 吳榮生,郭聯志.萬兆校園以太網的設計與性能分析[J].長沙通信職業技術學院學報,2008,(4).
[9] 王樹廣.萬兆以太網技術[J].農業網絡信息,2007,(11).
[10] 姚凌.萬兆技術網的校園網的設計思路[J].黔東南民族師范高等專科學校學報,2005,(3).
[11] 林啟者.新一代校園主干網——萬兆以太網[J].教育信息化,2004,(5).
[12] 張延良,李賡,劉本倉.萬兆以太網技術在高校校園網中的應用[J].福建電腦,2005,(10).