剖析環(huán)路故障

故障現(xiàn)象

某個工作日下午，用戶反映訪問內(nèi)部業(yè)務(wù)系統(tǒng)非常緩慢，不少頁面無法打開，查詢數(shù)據(jù)也經(jīng)常出現(xiàn)超時現(xiàn)象。通過Ping命令進行測試，發(fā)現(xiàn)訪問外網(wǎng)一切正常，但是訪問業(yè)務(wù)系統(tǒng)服務(wù)器則出現(xiàn)嚴重丟包現(xiàn)象，訪問其他用戶網(wǎng)段也正常。通過網(wǎng)絡(luò)設(shè)備狀態(tài)監(jiān)控系統(tǒng)觀察，所有設(shè)備狀態(tài)正常，各條鏈路的流量也在正常范圍內(nèi)。筆者以為是業(yè)務(wù)系統(tǒng)服務(wù)器自身出現(xiàn)了問題，于是檢查服務(wù)器的資源使用情況以及進程和服務(wù)的運行狀況，均未發(fā)現(xiàn)異常，即使將服務(wù)器重啟，仍然無濟于事。

考慮到該業(yè)務(wù)系統(tǒng)對互聯(lián)網(wǎng)用戶也開放，有可能遭受外部的攻擊，于是登錄到防火墻和入侵防御設(shè)備上查詢相關(guān)安全日志，并未發(fā)現(xiàn)針對該業(yè)務(wù)系統(tǒng)的攻擊行為，而且該服務(wù)器也安裝了卡巴斯基企業(yè)版殺毒軟件，病毒庫也保持在最新狀態(tài)，感染病毒的可能性也比較小。隨后通過Sniffer軟件進行抓包分析，也沒有發(fā)現(xiàn)異常情況。

圖1 數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)圖

故障分析

通過上述初步診斷，可以基本排除外部網(wǎng)絡(luò)攻擊和服務(wù)器自身的因素。既然突然出現(xiàn)了連續(xù)丟包現(xiàn)象，肯定是整個數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的變更造成的，但是網(wǎng)管人員最近并未對網(wǎng)絡(luò)做任何變更操作，也沒有任何新的設(shè)備或者服務(wù)器接入網(wǎng)絡(luò)。要找到原因，只能挨個詢問服務(wù)器維護人員最近是否有任何操作，最終一位入職不久的同事告訴筆者，上午他從服務(wù)器接入交換機上接了一根網(wǎng)線到刀箱交換機上，目的是做線路冗余。筆者立即趕到機房，拔掉了這根網(wǎng)線，果然，業(yè)務(wù)系統(tǒng)訪問恢復了正常。

很顯然，這是一起網(wǎng)絡(luò)環(huán)路引發(fā)的故障，問題雖然解決了，但是內(nèi)部原因必須要分析清楚，避免以后出現(xiàn)類似的問題。數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)如下圖1所示。

從圖1可知，數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)呈現(xiàn)樹狀結(jié)構(gòu)，刀箱交換機僅與接入交換機1相連，這樣所有數(shù)據(jù)都會找到惟一確定的路徑進行轉(zhuǎn)發(fā)，即使各交換機不啟用生成樹協(xié)議，如果嚴格按照這種架構(gòu)接入，也不會存在環(huán)路的風險。將刀箱交換機多接入一條線路作為冗余，如圖2所示。

圖2與圖1相比，僅僅只是多了一條刀箱交換機與接入交換機2之間的線路，其他配置完全保持不變，這種方式表面看是增加了網(wǎng)絡(luò)線路的冗余性，即接入交換機1和接入交換機2任意一者故障，數(shù)據(jù)仍然能夠通過另外一臺交換機進行轉(zhuǎn)發(fā)，不會影響業(yè)務(wù)運轉(zhuǎn)。實際上，交換機如果配置不當，很可能發(fā)生環(huán)路故障。

由于接入交換機1和接入交換機2與刀箱交換機互連的接口都配置為Access模式，且在同一個VLAN中，如果交換機不啟用生成樹協(xié)議，那么在該VLAN中的廣播包將會不停復制、轉(zhuǎn)發(fā)，導致該VLAN中充斥著大量的廣播包，從而影響該VLAN的轉(zhuǎn)發(fā)性能。由于生成樹協(xié)議收斂時間較長，也會占用交換機一部分資源，所以很多網(wǎng)絡(luò)管理人員會在Access接口上配置“spanning-tree portfast”這條命令，從而禁止Access接口參與生成樹的計算過程，加快Access接口的啟動速度，但是這種方式也大大增加了發(fā)生網(wǎng)絡(luò)環(huán)路的概率。

圖2 接入冗余線路的網(wǎng)絡(luò)架構(gòu)圖

筆者本以為服務(wù)器接入交換機是網(wǎng)絡(luò)架構(gòu)的最后一層，所以在所有接入交換機的Access接口都配置了“spanning-tree portfast”，但是實際刀箱交換機才是最后一層，此次故障的根本原因就在于此。

解決方案

要解決這類環(huán)路問題，有如下三種方案供網(wǎng)絡(luò)管理人員參考。

1.交換機之間確保只有一根線路連接，物理上實現(xiàn)樹狀網(wǎng)絡(luò)拓撲。

這種方式就需要嚴格制定物理線路管理規(guī)則，任何設(shè)備接入網(wǎng)絡(luò)前必須經(jīng)過網(wǎng)絡(luò)管理人員的評估與審核，徹底杜絕物理環(huán)路的出現(xiàn)。這種方案更加側(cè)重于利用管理手段，只要所有人員嚴格執(zhí)行規(guī)定，肯定不會出現(xiàn)網(wǎng)絡(luò)環(huán)路，但是網(wǎng)絡(luò)管理人員的工作量將會大大增加。

2.所有交換機啟用生成樹協(xié)議，從邏輯上實現(xiàn)樹狀網(wǎng)絡(luò)拓撲。

首先需要所有交換機支持生成樹協(xié)議，啟用后定期將會對網(wǎng)絡(luò)情況進行檢查，如果發(fā)現(xiàn)環(huán)路，將會根據(jù)相應(yīng)算法選擇一條冗余線路阻斷，保證網(wǎng)絡(luò)拓撲始終處于樹狀結(jié)構(gòu)，這也是目前數(shù)據(jù)中心最常用的方案。由于生成樹收斂過程時間較長，也會產(chǎn)生較多廣播流量，對交換機的性能會產(chǎn)生一定影響，而且邏輯線路復雜，對網(wǎng)絡(luò)排錯也會造成一定影響，對網(wǎng)絡(luò)管理人員的技術(shù)要求也比較高。

3.對刀箱交換機進行統(tǒng)一配置管理。

將刀箱交換機作為網(wǎng)絡(luò)基礎(chǔ)架構(gòu)的一部分，與其他接入交換機一樣進行相關(guān)配置并管理，這樣交換機和服務(wù)器層次比較清晰，服務(wù)器管理人員不用再頻繁進行插拔線操作，降低了網(wǎng)絡(luò)環(huán)路的風險。由于刀箱交換機與刀片服務(wù)器之間存在端口對應(yīng)關(guān)系，這種方式需要服務(wù)器和網(wǎng)絡(luò)管理人員通力配合，網(wǎng)絡(luò)管理人員按照服務(wù)器管理人員的需求對刀箱交換機進行合理配置。

上述三種方案各有利弊，其中方案一和方案三適合在網(wǎng)絡(luò)規(guī)模較小的環(huán)境下采用，方案二適合在網(wǎng)絡(luò)規(guī)模較大的環(huán)境下采用。

經(jīng)驗總結(jié)

由于各類新技術(shù)在數(shù)據(jù)中心的廣泛應(yīng)用，數(shù)據(jù)中心各類基礎(chǔ)設(shè)施朝著“超融合”的方向發(fā)展，各類基礎(chǔ)設(shè)施難以用傳統(tǒng)的方式進行區(qū)分，網(wǎng)絡(luò)架構(gòu)隨之變得愈發(fā)復雜，增加了網(wǎng)絡(luò)環(huán)路的風險，給網(wǎng)絡(luò)排錯也帶來諸多困擾，企業(yè)可以根據(jù)自身實際情況，采用技術(shù)+管理的手段對網(wǎng)絡(luò)環(huán)路進行防范，合理設(shè)計網(wǎng)絡(luò)架構(gòu)，規(guī)范網(wǎng)絡(luò)運維流程，保障數(shù)據(jù)中心網(wǎng)絡(luò)的正常運轉(zhuǎn)。