某棟樓一些用戶斷網(wǎng)的故障

湖南工業(yè)大學(xué)現(xiàn)代教育技術(shù)中心 郭兆宏

有一段時間，單位某棟K 樓有幾個用戶打電話說斷網(wǎng)了，網(wǎng)絡(luò)故障處理的老師去現(xiàn)場發(fā)現(xiàn)802.1X 認(rèn)證有時成功有時不成功，ping 網(wǎng)關(guān)有時通有時不通，但過一段時間就好了，讓用戶查殺病毒。

某一天這棟K 樓有很多個電話打來說斷網(wǎng)了，馬上檢查此樓的16 臺交換機都運行正常，最近一個月都沒有掉線的，于是開始網(wǎng)絡(luò)排查起來。

交換機NFPP 保護(hù)造成斷網(wǎng)

當(dāng)某一天單位的某棟K樓有很多電話打來說斷網(wǎng)時，筆者以為是交換機斷網(wǎng)，但檢查此樓的所有交換機都運行正常，最近一個月沒有掉線的。此樓有1 臺匯聚交換機16 臺接入交換機，對反映較多的2 和4 樓各4 臺接入交換機進(jìn)行查看，流量帶寬都不大，也沒斷網(wǎng)的記錄。登錄其中2 臺接入交換機看了下在線時間都有30多天了。先將4 樓的4 臺交換機重啟，過一段時間此樓4 層還是有電話打來，登錄匯聚交換機查看，CPU 正常，端口流量正常，用命令“sh nfpp arpguard hosts”、“sh nfpp ip-guard hosts”發(fā)現(xiàn)都有多個隔離的IP，平時也有隔離的IP，不過今天隔離的數(shù)量有點多，一看IP 地址基本是打電話說斷網(wǎng)的，回復(fù)斷網(wǎng)的電腦有安全問題，要殺電腦病毒。在4 樓2 臺接入交換機上也發(fā)現(xiàn)一些NFPP隔離的IP 地址，其中有2 臺里都有172.X.X.200，且在是上聯(lián)端口，而這個地址段172.X.X.200 段用戶實際不在這棟樓，是離這棟K 樓100米左右的另外一棟Y 樓的Y部門用的，只是網(wǎng)絡(luò)從這棟K樓的匯聚上接的，馬上登錄這棟Y 樓的接入交換機，但發(fā)現(xiàn)NFPP 里沒有隔離任何的IP 地址。

說明下單位使用的是銳捷交換機，銳捷交換機有網(wǎng)絡(luò)基礎(chǔ)保護(hù)策略（Network Foundation Protection Policy，NFPP）。在網(wǎng)絡(luò)環(huán)境中經(jīng)常發(fā)現(xiàn)一些惡意的攻擊，這些攻擊會給交換機帶來過重的負(fù)擔(dān)，引起交換機CPU 利用率過高，導(dǎo)致交換機無法正常運行。

NFPP 可以有效地防止系統(tǒng)受這些攻擊的影響。在受攻擊情況下，保護(hù)系統(tǒng)各種服務(wù)的正常運行，以及保持較低的CPU 負(fù)載，從而保障了整個網(wǎng)絡(luò)的穩(wěn)定運行。ARP-Guard 功能主要目標(biāo)為保護(hù)設(shè)備CPU，防止大量攻擊ARP 報文送CPU 導(dǎo)致CPU利用率升高，所以ARP-Guard實現(xiàn)了對送CPU ARP 報文的限速和攻擊檢測。IP-Guard可以識別當(dāng)主機發(fā)出的報文目的地址為交換機直連網(wǎng)段不存在或未上線用戶的IP地址時，交換機會發(fā)出ARP進(jìn)行請求，如果存在這樣的連續(xù)不斷的攻擊，會導(dǎo)致設(shè)備CPU 很高。當(dāng)ARP 報文速率超過限速水線時，超限報文將被丟棄。當(dāng)ARP 報文速率超過告警水線時，將打印警告信息，并發(fā)送TRAP，基于主機的攻擊識別還可以對攻擊源頭采取硬件隔離措施。

調(diào)整交換機的NFPP 參數(shù)

又回到K 棟樓的4 樓2 臺NFPP 隔離最多的接入交換機上，在端口上增加“arp-check”及“anti-arpspoofing ip 172.X.X.1”命令，剛剛做完4 臺交換機配置就有從K 棟樓有信息反饋回來，說是表項不足，無法認(rèn)證了！

筆者只好立即刪除這2行新增加的命令，再檢查發(fā)現(xiàn)此樓交換機NFPP 基本沒配置，使用的都是默認(rèn)值。因為此樓是行政辦公樓，平時最多只有200 左右個用戶，也就沒配置。

先是在此樓的匯聚交換機上對NFPP 馬上增加配置：

把這些配置也增加到16臺接入交換機上，做完后再在匯聚及此樓接入交換機上查看，NFPP 隔離的IP 的數(shù)量明顯減少了，同時回復(fù)讓此棟K 樓內(nèi)各個部門的用戶都要多重軟件查殺病毒，盡量少用或最好不用小路由器，下載時少開任務(wù)，下載后關(guān)閉下載的進(jìn)程，平時少開窗口少開程序。

通過調(diào)整增加NFPP 參數(shù)、讓此樓各個部門用戶查殺病毒后，此棟K 樓反映斷網(wǎng)的用戶明顯少了，登錄交換機在NFPP 里隔離的IP 地址數(shù)量也少很多了。

發(fā)現(xiàn)172.x.x.200 可能是根源，查殺后基本無NFPP 隔離

通過調(diào)整增加NFPP 參數(shù)后，此棟K 樓反映斷網(wǎng)的用戶明顯少了，但在匯聚及至4 樓1 臺接入交換機上還是不斷隔離172.X.X.200，還有其他幾個不固定的IP 地址。登錄Y 樓的接入交換機發(fā)現(xiàn)172.X.X.200 在8 號端口是不認(rèn)證端口，此端口還有另外三個MAC 地址，這個IP:172.X.X.200 是這個Y 樓Y 部門一臺業(yè)務(wù)服務(wù)器，先把此8 號端口加上認(rèn)證，在行政樓的匯聚上的ACL 上增加禁止172.X.X.200，觀察30多分鐘還是一樣不斷隔離此IP，同時在Y 樓的交換機上也NFPP 也發(fā)現(xiàn)有幾個IP 地址隔離了，有的也在8 號端口。

筆者直覺認(rèn)為這個172.X.X.200 肯定有問題，直接關(guān)閉Y 樓接入交換機的8 號端口。在上網(wǎng)行為日志中查詢發(fā)現(xiàn)172.X.X.200 最近一周的記錄基本都是協(xié)之通XT800 的記錄，差不多是20分鐘一次，在安全設(shè)備的日志中發(fā)現(xiàn)172.X.X.200 有挖礦蠕蟲被阻斷幾十個記錄，于是將上面2 個日志的截圖發(fā)給此Y 樓Y 部門的人，讓他們必須查殺這臺服務(wù)器，其他用戶電腦也要查殺病毒，處理好后才能開通端口。再回來K 樓的匯聚及接入交換機用命令“sh nfpp arpguard hosts”、“sh nfpp ip-guard hosts”查看基本都是空白的。可以肯定172.x.x.200 就是這次K 樓一些用戶斷網(wǎng)的根源。

過兩天后，Y 樓Y 部門說是查殺病毒了，并且172.X.X.200 是他們業(yè)務(wù)服務(wù)器，關(guān)閉網(wǎng)絡(luò)影響了他們正常業(yè)務(wù)，只得打開8 號端口。而在關(guān)閉Y 交換機8 號端口的這兩天，筆者也一直關(guān)注了K 樓匯聚交換機NFPP 基本沒有隔離的IP 地址。再打開Y交換機8 號端口不一會，在K 樓的匯聚上NFPP 就隔離了172.X.X.200，在Y 樓的接入交換機NFPP 也隔離其他IP。

172.x.x.200 問題還在！必須要人工隔離172.X.X.200，在ACL 里增加禁止，先是在Y 樓的接入交換機和K 樓的匯聚交換機在ACL里是IP、TCP、UDP 協(xié)議禁止172.X.X.200，但觀察一會兒后還是有NFPP 隔離172.x.x.200，就把能配置的協(xié)議ICMP、IGMP、EIGRP 全加上禁止，在K 樓的匯聚交換機的各接入交換機端口加上禁止172.X.X.200 的ACL，再 把K樓其他15 臺接入交換機同時增加禁止172.X.X.200。

可是在K 樓匯聚及4 樓一臺接入交換機上還是發(fā)現(xiàn)NFPP 不斷隔離172.X.X.200，同時還隔離有其他IP，再次要求Y 樓的Y 部門馬上查殺172.X.X.200 的病毒，這個問題嚴(yán)重行政辦公樓的網(wǎng)絡(luò)運行了，否則整個Y 部門斷網(wǎng)。

在K 樓的匯聚交換機的Y 部門接入端口發(fā)現(xiàn)廣播包有些大，在Y 部門接入交換機8 號端廣播包也有點多，于是在Y 部門的接入交換機8 號端口增加storm-control broadcast pps 200，在匯聚交換機Y 部門上聯(lián)口增加storm-control broadcast pps 1000，同時增加VLAN 的修剪。

后來Y 部門找來業(yè)務(wù)公司來處理了172.x.x.200 服務(wù)器安全問題，說是把遠(yuǎn)程控制的和挖礦的病毒殺掉了，這之后在K 樓的交換機里沒再發(fā)現(xiàn)NFPP 里有隔離172.X.X.200 的了。但在K樓的匯聚及2 樓的一臺接入交換機多次發(fā)現(xiàn)NFPP 隔離172.X.Y.18。找到此用戶，通知其處理電腦的安全問題，他說此IP 是一臺小路由器，是經(jīng)常斷網(wǎng)的，讓他關(guān)掉此小路由器。再次調(diào)整K 樓的交換機的NFPP 參數(shù)，將每IP 的限速提到50，警告提到60，即：

又觀察了幾天K 樓交換機里NFPP 基本沒有隔離，只是偶爾能看到1-2 個隔離的IP，且不固定，被NFPP 隔離的IP 地址的用戶也沒有報網(wǎng)絡(luò)故障。這K 棟樓雖然還是有報網(wǎng)絡(luò)故障，但通過查看交換機都不是當(dāng)時NFPP隔離的IP，網(wǎng)絡(luò)故障的是其他問題。至此K 樓一些用戶報告斷網(wǎng)的問題基本解決。

總結(jié)

單位某棟K 樓一些用戶斷網(wǎng)，通過排查交換機發(fā)現(xiàn)是NFPP 保護(hù)機制起做用，交換機自動對一些大量發(fā)包的IP 地址進(jìn)行隔離，通過調(diào)整NFPP 的arp-guard、ip-guard 的參數(shù)，找到還在大量發(fā)包的一個IP：172.x.x.200，通過查此IP 地址的上網(wǎng)行為和安全設(shè)備日志記錄，發(fā)現(xiàn)此IP 有大量非正常行為。

通知此IP 用戶查殺病毒，并讓K 樓所有用戶查殺病毒。通過關(guān)閉、放開此IP地址所在接入交換機端口確認(rèn)此樓一些用戶斷網(wǎng)跟此IP 有關(guān)，在此IP 用戶徹底查殺病毒后，通過放大NFPP 的參數(shù)，此樓交換機NFPP 隔離的IP 地址基本沒有了，K 樓報網(wǎng)絡(luò)故障的數(shù)量明顯減少了，雖然K 樓也還報有網(wǎng)絡(luò)故障的但通過排查與NFPP隔離無關(guān)，是其他問題。