網(wǎng)絡閃斷故障的背后

故障現(xiàn)象

我單位總部在福州，在全省九個地市有分支機構(gòu)，分別租用中國電信、中國聯(lián)通的2M SDH互聯(lián)，兩條線路互為熱備。總部路由器為Cisco 7304，用STM-1 155M的板卡分時隙與各地市互聯(lián)。

前一段時間，陸續(xù)有分支機構(gòu)機房預警系統(tǒng)出現(xiàn)電信線路秒斷的報警信息，在總部的路由器上查看日志，有出現(xiàn)互聯(lián)板卡重啟的提示信息，但路由器運行正常，也沒有出現(xiàn)影響業(yè)務正常開展的情況。后來有一天上午，剛上班就有幾個分支機構(gòu)報告業(yè)務系統(tǒng)沒辦法登錄，查看路由器，與各分支機構(gòu)互聯(lián)線路的端口和協(xié)議都是Up的，但Ping廣域網(wǎng)地址卻出現(xiàn)嚴重的丟包，正常的Ping會丟40%，1000字節(jié)的包會丟50%以上，難怪業(yè)務系統(tǒng)沒法登錄。

圖1 路由器日志信息

故障排查

會不會是線路出了問題？第一時間和電信大客戶取得聯(lián)系，請他讓電信技術(shù)人員幫忙查找原因。有六個分支機構(gòu)同時出現(xiàn)這個問題可不是個小事，于是請示領(lǐng)導將相應的線路端口shut down，啟用備用線路讓業(yè)務系統(tǒng)正常登錄開展工作。各分支機構(gòu)電信運營商的技術(shù)人員也積極查找原因，有打環(huán)測試，有用儀器測試，均沒有發(fā)現(xiàn)線路質(zhì)量問題。

如果不是電信線路質(zhì)量問題，那會不會是設(shè)備的問題？此次故障前半年，沒有修改過路由器的配置。再次認真查看路由器的日志，突然發(fā)現(xiàn)一個錯誤信息（如圖1）。

其中，Slot 4承載的正是下聯(lián)各分支機構(gòu)的STM－1 155M板卡，板卡重啟導致線路中斷。如果是這塊板卡壞了，問題就嚴重了。經(jīng)詢問集成商技術(shù)人員，他也不能確定。

FPGA（Field－Programmable Gate Array），即現(xiàn)場可編程門陣列，作為專用集成電路領(lǐng)域中的一種半定制電路而出現(xiàn)，解決定制電路的不足，克服了原有可編程器件門電路數(shù)有限的缺點。思科在7304路由器的板卡上使用了FPGA技術(shù)，單位的7304路由器有更換過該板卡。經(jīng)咨詢思科公司技術(shù)人員，確認是Slot 4上的FPGA版本低于設(shè)備的IOS版本，導致Slot 4槽位板卡發(fā)生了重啟現(xiàn)象，造成線路的閃斷，思科官方給出的解決辦法為升級FPGA的版本。

故障解決

找到故障原因，接下來就是升級路由器的FPGA版本。Cisco 7304路由器可以通過show C7300命令顯示各槽位板卡的FPGA版本信息（如圖2）。

圖2 升級前FPGA版本信息

圖3 執(zhí)行升級命令

圖4 升級后查看FPGA版本信息

從圖2中可以發(fā)現(xiàn)，路由器Slot 4上的FPGA版本01.30低于設(shè)備的IOS版本01.40，需升級板卡的FPGA版本。Cisco 7304路由器FPGA版本升級的命令為：

upgrade FPGA all

運行結(jié)果如圖3。

至此板卡的FPGA版本升級完成。再用show C7300查看（如圖 4）。

路由器Slot 4的FPGA版本與設(shè)備的IOS版本一致，F(xiàn)PGA升級成功。升級后，路由器運行正常，線路穩(wěn)定。

經(jīng)驗總結(jié)

在設(shè)備維護過程中，板卡的更換是再正常不過的事，但Cisco路由器FPGA版本信息相對是比較容易忽略的細節(jié)，此類故障一般可通過查看日志文件來發(fā)現(xiàn)，所以日常管理中對日志文件所提供的信息要認真查看，認真分析，這樣才能及時解決可能出現(xiàn)的故障，不留安全隱患。