網絡閃斷故障的背后

故障現象

我單位總部在福州，在全省九個地市有分支機構，分別租用中國電信、中國聯通的2M SDH互聯，兩條線路互為熱備。總部路由器為Cisco 7304，用STM-1 155M的板卡分時隙與各地市互聯。

前一段時間，陸續有分支機構機房預警系統出現電信線路秒斷的報警信息，在總部的路由器上查看日志，有出現互聯板卡重啟的提示信息，但路由器運行正常，也沒有出現影響業務正常開展的情況。后來有一天上午，剛上班就有幾個分支機構報告業務系統沒辦法登錄，查看路由器，與各分支機構互聯線路的端口和協議都是Up的，但Ping廣域網地址卻出現嚴重的丟包，正常的Ping會丟40%，1000字節的包會丟50%以上，難怪業務系統沒法登錄。

圖1 路由器日志信息

故障排查

會不會是線路出了問題？第一時間和電信大客戶取得聯系，請他讓電信技術人員幫忙查找原因。有六個分支機構同時出現這個問題可不是個小事，于是請示領導將相應的線路端口shut down，啟用備用線路讓業務系統正常登錄開展工作。各分支機構電信運營商的技術人員也積極查找原因，有打環測試，有用儀器測試，均沒有發現線路質量問題。

如果不是電信線路質量問題，那會不會是設備的問題？此次故障前半年，沒有修改過路由器的配置。再次認真查看路由器的日志，突然發現一個錯誤信息（如圖1）。

其中，Slot 4承載的正是下聯各分支機構的STM－1 155M板卡，板卡重啟導致線路中斷。如果是這塊板卡壞了，問題就嚴重了。經詢問集成商技術人員，他也不能確定。

FPGA（Field－Programmable Gate Array），即現場可編程門陣列，作為專用集成電路領域中的一種半定制電路而出現，解決定制電路的不足，克服了原有可編程器件門電路數有限的缺點。思科在7304路由器的板卡上使用了FPGA技術，單位的7304路由器有更換過該板卡。經咨詢思科公司技術人員，確認是Slot 4上的FPGA版本低于設備的IOS版本，導致Slot 4槽位板卡發生了重啟現象，造成線路的閃斷，思科官方給出的解決辦法為升級FPGA的版本。

故障解決

找到故障原因，接下來就是升級路由器的FPGA版本。Cisco 7304路由器可以通過show C7300命令顯示各槽位板卡的FPGA版本信息（如圖2）。

圖2 升級前FPGA版本信息

圖3 執行升級命令

圖4 升級后查看FPGA版本信息

從圖2中可以發現，路由器Slot 4上的FPGA版本01.30低于設備的IOS版本01.40，需升級板卡的FPGA版本。Cisco 7304路由器FPGA版本升級的命令為：

upgrade FPGA all

運行結果如圖3。

至此板卡的FPGA版本升級完成。再用show C7300查看（如圖 4）。

路由器Slot 4的FPGA版本與設備的IOS版本一致，FPGA升級成功。升級后，路由器運行正常，線路穩定。

經驗總結

在設備維護過程中，板卡的更換是再正常不過的事，但Cisco路由器FPGA版本信息相對是比較容易忽略的細節，此類故障一般可通過查看日志文件來發現，所以日常管理中對日志文件所提供的信息要認真查看，認真分析，這樣才能及時解決可能出現的故障，不留安全隱患。