解析交換機CPU占用率

交換機CPU占用率是指一段時間內CPU執行代碼的非空閑時間與時間段總長度的比率，可反映某個時間段交換機CPU資源使用情況，其計算機公式為：CPU占用率=(總時間-空閑時間)/總時間。空閑時間是指CPU運行Idle任務的時間，Idle任務是一個低優先級任務，不完成具體工作，如果Idle任務得到了調度，就認為CPU當前處于空閑狀態。系統的CPU占用率不是保持不變的，它是隨著系統的運行和外部環境的變化而持續變化的。正常狀態下，交換機的CPU占用率不會超過5%，交換機在采用堆疊方式，其CPU占用率不會超過8%，在配置功能較多的情況下，CPU占用率不會超過30%，如果CPU交換機占用率超過50%則視為不正常。

交換機CPU占用率高的危害

當交換機CPU處理的數據包過多、各類中斷請求過多或部分任務進程占用了較長CPU處理時間時，CPU負載就會增加，無法及時調度其他任務，從而會導致出現業務異常、業務處理能力下降和很多網絡故障等。

1.網絡結構改變

一般正常網絡環境中，為確保網絡不間斷工作，會采用備份交換機的網狀結構，各交換機同時會啟用STP/SEP/RSTP/MSTP等生成樹功能的協議，避免網絡出現環路。在這些協議運行過程中，交換機CPU會周期性接收BPDU等報文來維持交換機端口Root/Alternate等角色，如果交換機CPU占用率過高，很可能導致BPDU報文不能及時發送和處理，交換機會認為到根橋的路徑出現故障，從而重新選擇ROOT端口，引起網絡重新收斂，導致網絡拓撲改變。如果交換機原來同時存在Alternate端口，交換機會將Alternate端口作為新的ROOT端口，進行數據收發，導致網絡結構發生改變，也可能會導致網絡出現環路。

2.Eth-Trunk主干鏈路關閉

為提高交換機之間流量帶寬，交換機會啟用LACP（鏈路匯聚控制協議），交換機物理端口在啟用LACP協議后，會由交換機CPU發送LACPDU來完成相關匯聚任務，其后鏈路保活均由CPU進行LACP協議的計算完成。如果CPU占用率過高，就會導致交換機不能及時接收和發送LACPDU報文，從而引起Eth-Trunk將會鏈路關閉，造成網絡中斷。

3.無法遠程管理交換機

遠程管理交換機已經成為管理配置交換機的首選方式之一，遠程管理和配置一般都是通過Telnet、SSH、Web和SNMP等協議方式與交換機建立會話來進行。當交換機CPU占用率過高時，交換機就無法處理這些會話響應，從而導致無法遠程管理交換機，造成管理成本上升。

4.通過CPU轉發的報文被丟棄或轉發時延增大

當交換機CPU占用率過高時，會導致對各類協議控制、組播等報文的轉發不及時，交換機內存消耗會增加，從而導致后續協議控制、組播等報文會被丟棄和轉發時延增大。需要說明的是，普通數據報文轉發由交換機電子集成電路完成，無需CPU參與，因此CPU占用率高通常并不影響普通數據報文轉發。

交換機CPU占用率高的正常應用場景

交換機正常運行時，CPU會處理數以百計的活動系統進程。由于交換機一直處于運行狀態，即使無任何業務配置和網絡數據包，其CPU占用率也不會為0。在一些應用場景下，交換機長時間運行時，CPU占用率一般不超過80%，短時間內CPU占用率不超過95%，可認為交換機狀態是正常的。

1.生成樹場景

在交換機應用了MSTP協議后，CPU占用率會同實例個數和活動端口數成正比，數量越多，用于計算和維護的CPU資源就會增多，在應用了VBST協議后，由于每個VLAN獨立運行一個實例，因此在相同VLAN和端口數目下，VBST會比MSTP占用更多的CPU資源。

2.更新路由表

當一臺三層交換機接收到路由更新消息時，交換機會占用CPU資源將路由信息更新。CPU占用率取決于路由更新信息的多少、更新頻率、接受路由更新進程數量、堆疊交換機數量等，路由更新信息越多、更新頻率越快、路由更新進程數越多、參與堆疊的交換機數量越多，CPU占用率就越高，對于堆疊交換機，路由信息還需要同步到其他成員交換機。

3.執行配置管理類命令

部分配置命令需CPU長時間參與也會導致CPU占用率暫時升高，這些命令主要有：用戶視圖下執行copy flash:/命令、配置內容很多的情況下執行Save命令和Display running-configuration命令、執行用于輸出各類調試信息的Debug命令、執行持續時間長且數據包多的Ping命令、交換機端口啟用了執行Portsecurity mac-address sticky相關命令時、還有利用交換機抓包的命令等。

4.交換機參與堆疊

在交換機堆疊環境中，由于主要業務運行在堆疊主交換機上，還需要周期性維護堆疊成員狀態，因此主堆疊主交換機的CPU占用率比單臺交換機運行時的CPU占用率高，堆疊成員交換機數量增多時，堆疊主交換機的CPU占用率也會相應升高。

5.交換機參與堆疊

有較多管理用戶同時遠程管理交換機時、交換機啟動后有較多客戶機生成MAC地址表時、交換機啟用DHCP功能有大量DHCP請求時、增加數量較多的VLAN并將各端口加入VLAN中時、交換機端口頻繁Up/Down時、網絡流量增加時等。

故障引發交換機CPU占用率高

除正常應用場景外，只要是交換機CPU占用率高，都可視為故障，應及時排除。

1.網絡環路

網絡環路是造成交換機CPU占用率高的最常見最主要的原因。當出現網絡環路時，交換機會發生MAC地址漂移，產生的廣播風暴產生大量無效報文，會消耗交換機CPU資源。

2.網絡震蕩

網絡震蕩也是導致交換機CPU占用率的另一大重要原因，在出現網絡震蕩時，網絡參數會頻繁發生改變，交換機忙于網絡切換事件，CPU就會增加工作量。

3.交換機遭到攻擊和網絡中存在病毒

當網絡中存在ARP病毒，交換機遭到DHCP攻擊、BPDU攻擊、SSH暴力破解等惡意攻擊時，交換機CPU將不得不處理這些報文，導致CPU長時間處理這些攻擊報文，造成交換機CPU占用率高，性能下降，從而引發其他業務的中斷，影響正常的業務。

圖1 確定故障流程

圖2 交換機當前占用率最高的3個任務

4.交換機部件故障

當交換機部件出現故障后，部件會發送大量SRMI、SRMR等中斷報文，其他正常部件也會發送大量的保活類報文給交換機CPU來連通交換機故障部件，而這些報文都會極大地消耗交換機CPU資源，造成交換機CPU占用率高。

5.配置錯誤

這里以VLAN配置為例進行說明，實際需要的VLAN不多，但卻建立了很多無效VLAN，而每建立一個VLAN時，即使沒有客戶機，交換機都會發送一條ACL，來捕獲該VLAN中的ARP報文，如果VLAN過多，就會導致交換機CPU占用率高，還有在GVRP環境下頻繁創建和刪除VLAN，每發送一條命令，就會觸發大量報文通信，也會造成交換機CPU占用率升高。

表1 可引起交換機CPU占用率增高的常見任務

CPU占用率高故障排除方法

當發現CPU占用率過高時，首先要確定CPU占用率高是否是正常現象，除了正常應用場景外，都可以視為是故障引起，再進行故障排除。正常的處理步驟為“確定故障現象、判定故障原因、進行故障修復”（因本文中涉及部分交換機操作命令，本文中所有命令以華為交換機操作命令和功能為例，其他品牌交換機均有類似命令和功能）。

1.確定故障現象

可以通過幾種方式來確認是什么任務、是什么報文和是交換機上哪個硬件模塊引起的CPU占用率高，通過交換機當前任務、報文類型和模塊接口可以直接找到在什么接口什么原因造成的故障，確定故障流程如圖1。

圖3 子模塊占用交換機CPU的比例統計信息

圖4 各類協議Drop數量

（1）獲取CPU占用任務情況，確認高比例任務。在用戶模式下，執行display cpuusage命令，可以查看各在線任務的CPU占用率，可以記錄占用率最高的前3個任務名稱（如圖2），其占用率排名前3的任務分別是FTS、VIDL和bcmRX。表1為可引起交換機CPU占用率高的常見任務名稱和功能描述。

（2）獲取CPU占用率高的模塊信息，確認高比例模塊接口。在用戶模式下，執行display cpu-usage [slave|slot slot-id]命令,slot-id在堆疊系統中表示堆疊ID，可以查看相關模塊占用交換機CPU的比例統計信息（如圖3），為交換機slot 0模塊的硬件CPU占用率。

（3）獲取CPU占用率高報文統計信息，確認高比例報文類型。在用戶模式下，執行display cpu-defend statistics all命令，查看上送CPU報文的統計查詢信息，獲取報文類型，特別要關注丟棄計數（如圖4），通過各類協議的Drop計數來確認是否存在沖擊情況，如果某類協議存在的Drop數很大，則可以認為該協議存在沖擊CPU情況。

2.判斷故障原因

依據收集到的各類信息，判斷故障產生的原因。

（1）系統類原因。系統主要是對交換機中各部件進行管理，同時給其他業務和模塊提供系統基礎支持。系統類問題主要是操作系統本身故障和模塊故障觸發，操作系統故障一般是硬件故障或操作系統故障，模塊類故障一般是模塊硬件故障和配置原因，通常表現為 SRMI、SRMR、BCMDPC等中斷處理相關的任務占用率較高，因此，如果出現系統CPU占用率較高且以上相關任務占用率排名靠前的情況，則可以判定為系統類故障原因。

（2）STP震蕩原因。使用display cpu-defend statistics all可以得到各報文的統計值，各類報文統計是交接機啟動后各類報文收發的總和，所以在交換機CPU占用率高的情況下，需隔一段時間運行一下這個命令，這樣才能確保單位時間采集到的各類報文統計比較精確。可以通過display stp topology-change命令查看STP拓撲變化信息來判定是否是STP震蕩原因，可以通過執行display stp tc-bpdu statistics命令查看端口上接收到的TC-BPDU統計，以確定TC報文的來源物理接口。

（3）路由協議原因。這里以OSPF協議為例，可以通過日志查看OSPF鄰居狀態Down的原因。執行display logbuffer命令，查看日志信息（如圖5）：其中NeighborDownImmediate reason關鍵字記錄的是OSPF鄰居Down的原因，具體原因見表2。

圖5 交換機日志信息

圖6 MAC地址漂移告警信息

（4）環路類原因。當交換機未啟用生成樹協議就有可能會形成環路，報文會在多個接口間轉發，導致CPU占用率上升。使用display currentconfiguration，查看是否使能了MAC地址漂移告警功能，如果使能了該功能且存在MAC地址漂移現象，就會出現告警信息，如果未使能該功能，可在用戶模式下執行loopdetect eth-loop alarm-only命令，當有MAC地址漂移時，就會有告警信息。圖6所示，是交換機中有環路，其中MAC地址為0000-0ca8-0101的地址發生了漂移，漂移分別發生在GigabitEthernet1/0/3和GigabitEthernet1/0/2端口。

表2 OSPF鄰居Down的原因

此外，如果交換機無法遠程登錄、在交換機上占用display interface命令查看接口統計信息時發現接口收到大量廣播報文、占用串口登錄交換機進行操作時，操作比較慢、通過Ping命令進行網絡測試時，丟包嚴重、交換機上發生環路的VLAN的接口指示燈頻繁閃爍、PC機上能收到大量的廣播報文、交換機部署環路檢測后，交換機出現環路告警都可以視為環路類原因。

（5）網絡攻擊類原因。常見的引起CPU占用率高的網絡攻擊包括ARP攻擊、ARPMiss攻擊、DHCP攻擊以及TC BPDU攻擊等，這些攻擊行為的共同特點是攻擊源產生大量的協議報文對交換機CPU進行沖擊，因此可以在交換機上看到大量的報文上送統計。判斷ARP攻擊和ARPMiss攻擊，可以通過執行display arp packet statistics命令獲取ARP報文統計信息，重點關注ARP Pkt Received和ARP-Miss Msg Received統計信息，根據其統計值的增長情況判斷網絡攻擊類型。執行debugging arp packet命令打開ARP報文調試開關，查看大量上送的ARP或ARP-Miss攻擊源信息。判斷DHCP攻擊，可以通過執行display dhcp statistics命令獲取DHCP報文統計信息，如果報文上送速度較快，說明存在DHCP攻擊。

（6）配置錯誤類原因。由于網管同步操作或者用戶命令大量輸出信息到終端導致的，該類情況的發生一般伴隨著特定的網絡管理事件，配置錯誤會瞬間提高CPU占用率或造成交換機CPU短時間占用率升高，如果暫停配置或取消配置命令發現CPU占用率降低則視可配置錯誤原因。通過在用戶模式下運行display cpuusage命令可以采集CPU占用率高時各任務的CPU占用率，當發現AGNT或AGT6任務CPU占用率過高時，就可以確定CPU占用率高是網管同步等網管操作引起的，當出現VT任務CPU占用率高時，可以確定是用戶命令大量輸出信息到終端引起的。

3.進行故障修復

針對故障原因不同需采用不同的故障修復方法。

（1）硬件故障原因。判斷故障根源可能為硬件故障時，請先嘗試手工復位CPU占用率較高的交換機，去除交換機配置，如果復位后問題依然存在，可聯系廠商進行處理。

（2）STP震蕩原因。如果是用戶接口Up/Down引起的STP拓撲變化，則在接口視圖下通過執行stp edgedport enable命令，將接入側端口配置為邊緣端口，并執行stp bpdu-protection命令開啟BPDU保護功能。如果是發現根橋不斷改變造成震蕩時，則需要每臺交換機執行stp root-protection命令開啟根保護功能。

（3）路由協議震蕩原因。以OSPF路由協議為例，OSPF鄰居失連的主要原因有接口鏈路震蕩、大量LSA泛洪報文等。當發生接口鏈路震蕩時，接口鏈路震蕩會導致OSPF鄰居關系震蕩，可以通過日志信息查看接口Up/Down的記錄情況，請對接口鏈路進行檢查。如果有大量LSA泛洪報文時，會導致網絡中產生大量的LS UPDATE消息，此時交換機忙于處理LS UPDATE，可能會導致Hello報文得不到及時處理，引起鄰居狀態Down，如果OSPF鄰居超時時間配置小于20s，建議接口視圖下通過ospf timer dead interval命令將OSPF鄰居超時時間配置為20s以上。建議OSPF視圖下通過sham-hello enable命令使能ospf sham-hello功能，允許交換機通過LSU等非hello報文維持鄰居關系。

（4）網絡環路故障。可以通過執行display cpu-usage[slave|slot slot-id]命令來確保是哪個子模塊造成交換機CPU占用率高，發現后可以利用接口指示燈的閃爍情況和通過執行display interface來確認各接口流量情況，如果仍方便排除時，可在用戶模式下執行loop-detect eth-loop alarm-only命令，查看發生MAC地址漂移的接口，也就是產生環路的接口，還可以采用1/2法通過拔網線的方式來確定發生環路的接口，排除環路故障或啟動STP/RSTP/MSTP等生成樹協議。

（5）網絡攻擊故障。如果是 ARP攻 擊、ARP-Miss攻擊和DHCP攻擊，可以通過開啟自動攻擊溯源功能的方式及時檢測攻擊行為，如果網絡中發生了攻擊，則在被攻擊的端口通過stp tc-protection命令開啟保護功能，減少攻擊對交換機的影響，可以在找到攻擊源后，隔離接口或對攻擊源進行故障排除。

（6）配置故障。用戶操作引起的CPU占用率高一般不會持續很長時間，并且通常情況下不會影響業務，如果造成業務故障且造成交換機CPU占用率高，則為配置故障，請清除該配置。