ATS子系統單播泛洪引發網絡風暴仿真及網絡優化

孫海峰

ATS子系統單播泛洪引發網絡風暴仿真及網絡優化

孫海峰

摘 要：列車自動監控（ATS）子系統網絡的穩定和優化，關乎整個信號系統的穩定和安全。以真實線路硬件和組網方式為基礎，模擬仿真了網絡中的單播泛洪網絡風暴，收集了第一手的數據資料，并對數據通信系統（DCS）網絡結構優化做了進一步的分析。

關鍵詞：ATS；DCS；泛洪；單播；廣播；網絡風暴；仿真；優化

孫海峰：通號國際控股有限公司，工程師，北京 100166

在城市軌道交通信號系統中，列車自動監控（ATS）子系統作為行車運營不可或缺的部分，已經越來越得到各個廠家的重視。在非基于無線的信號系統中，數據通信系統（DCS）網絡只負責承載ATS子系統網絡流量，但是到了基于無線通信的列車控制（CBTC）階段，DCS網絡開始承載整個車-地通信的重任。DCS網絡的安全完整性等級一般為SIL0，而ATS子系統的安全完整性等級一般為SIL2。SIL0級的安全等級甚至可以被認為沒有安全等級的限制，從這個意義上說，ATS子系統和DCS網絡均為非安全系統。但是，DCS網絡作為信號系統通信的基礎，A T S子系統作為信號系統的人機界面，它們在列車正常運營中的重要地位是不容忽視的。A T S主要功能有：①編制運行圖，根據運行圖自動辦理列車進路，自動調整列車運行間隔，必要時可以人工介入調整列車間隔；②記錄運行數據；③運營人員對信號系統進行控制的人機接口，如設置進路、設置停站時間、設置線路或列車的臨時限速等。因此，一旦ATS出現故障，操作員將失去對整個信號系統的操作權，造成線路無法正常運營的嚴重后果。

A T S子系統的組網方式通常有2種：一種是由通信系統的傳輸子系統提供透傳的網絡通道，ATS提供網絡交換機等設備與傳輸子系統進行接口，達到組網的目的；還有一種是信號系統使用光纖、光端機、光交換機等設備自己組建DCS網絡，以便達到傳輸安全信息的目的。2種傳輸方式各有利弊，分別適配不同制式的信號系統。前一種方式在組建網絡方面要經過DCS網絡與傳輸系統的接口，且涉及到2種網絡拓撲的連接，因此，接口的穩定與否決定了整個DCS網絡的穩定性，潛在的問題較多；后者由于是信號系統自己建網，網絡結構由信號系統設計方控制，網絡拓撲較為透明，因此，穩定性較高。本文的仿真環境將使用前一種組網方式，以便充分說明在復雜網絡環境下可能出現的問題。在本仿真中，暫不考慮車載無線信號的接入情況。

1　仿真環境

1.1網絡拓撲結構

本文所采用的信號系統DSC仿真環境整體網絡拓撲如圖1所示。

網絡中采取雙網環形連接，通信傳輸系統同步數字體系（SDH）采用雙網冗余結構，它為DCS網絡在每個節點提供2條獨立的通道，分別連接交換機的2個端口。

圖1　仿真拓撲圖

圖2　控制中心與車站連接示意圖

為了比較清晰地說明問題，圖2為控制中心（OCC）和車站的一個典型連接示意圖。

1.2硬件設備組成

在圖2控制中心與車站連接示意圖中，左側為控制中心的設備連接示意圖，右側為車站設備連接示意圖。所有交換機均為3層交換機，但暫不使用其路由功能，OCC 的3臺交換機之間采用星形連接的方式，以防止單點故障導致網絡通信中斷；所有車站的網絡配置均相同。為保證單點故障不影響網絡通信，中心交換機3和車站的交換機均采用雙線冗余的連接方式接入SDH傳輸系統。為了防止產生網絡環路，所有交換機上均啟用了生成樹協議（STP），使2條同時接入SDH的網線通道有1條邏輯上是斷開的。

為了充分模擬真實的運營環境，仿真共連接了19個車站網絡節點，1個OCC網絡節點，所有車站配備ATS工作站；車站節點中，車站ATS工作站采用惠普計算機，采用雙網卡配置，搭載雙網卡綁定程序（稱為“HP NIC teaming”技術）達到熱備冗余的目的，2塊網卡綁定后使用1個邏輯IP地址與控制中心ATS應用服務器通信，邏輯上相當于1塊網卡。每塊網卡分別連接車站3層交換機的2個端口，2個端口配置的VLAN相同。

仿真環境下，所有的ATS設備均處于同一個VLAN中。整個ATS網絡為平面結構。SDH設置為透傳模式，僅為信號ATS子系統提供傳輸通道，不對傳輸的報文進行任何處理。

2　仿真實驗過程

網絡硬件連接完畢后，通過SDH網管軟件，為每1條SDH通道加入“TAG”標簽以保證DCS網絡中VLAN信息的正確傳輸。

由于D C S網絡的交換機已經開啟了STP，因此，當車站逐個接入網絡并與OCC通信時，每當接入1個車站（節點）時，STP就會更新自己的內部拓撲圖（拓撲改變通告，簡稱TCN），并且重新計算每1條路徑，當發現存在1條或者多條環路時，STP會從邏輯上打斷環路，因此，在同一時刻只有1條邏輯通道保證網絡的正常通信。從一定程度上保證了網絡的聯通性。

在每1個車站接入網絡前，開啟各個車站的ATS客戶端軟件，一旦網絡連通，ATS客戶端軟件會自動和控制中心的ATS服務器軟件進行通信，可以看到，剛接入幾個車站時，ATS客戶端軟件和服務器通信是正常的，但當接入的車站越來越多時，網絡節點逐漸增加時，各個車站交換機的端口指示燈閃爍頻率開始變快，網絡開始出現延遲的現象，同時，ATS客戶端與服務器的連接也不再正常，開始出現時斷時續的現象。

隨后，開始從中心交換機2上的1個可通信的端口進行抓包分析。

3　仿真實驗結果

試驗中選取的端口為ATS網絡中的1個端口，正常情況下，此端口可與ATS網絡中的車站ATS、ATS服務器正常通信。這里需要特殊說明一下，一般在正常的網絡中，需要抓取數據包的時候需要設置“監測”端口，這個端口可以獲取流經本交換機的所有數據流量，在交換機正常工作時，監測端口的流量就已經很大了，而且會消耗交換機很大的運算資源。在本仿真中，為了真實反映交換機某一個普通端口所受到的網絡沖擊，另外，為了減少交換機死機的概率，因此，未啟用監測端口進行監測，而是采用了1個普通通信端口進行抓包分析。

由于瞬時的數據量比較大，因此，提取的數據包的檢測時長為155.155 s。在此時間段內，平均每秒采集數據包6 913.504個，流量約為4.522 Mbit/s，獲取的數據包約有1 072 667個。在107萬個數據包中，TCP（傳輸控制協議）數據包為907個，占總數量的0.08%；UDP（用戶數據報協議）數據包為16 253個，占總數量的1.52%；廣播數據包為54 985個，占總數量的5.126%，其中ARP（地址解析協議）數據包為40 840個，占總數量的3.81%；L L C（邏輯鏈路控制）數據包為1 013 699個，占到了94.5%。大部分的交換機資源和帶寬都被LLC數據消耗了。交換機每隔0.1～0.08 ms便會收到一個LLC數據包，這些數據包發送頻率快且內容重復性高。

從LLC數據包中可以發現，它首先按照IEEE 802.3 Ethernet報頭進行封裝，包含了目標MAC地址和源MAC地址；其次，LLC層報頭包含了鏈路的控制信息；下面的數據包含了58 bytes的連續數據，但內容非常有限。從整個報文封裝的形式和內容來看，它的作用是惠普雙網卡綁定后網卡驅動程序的心跳（Heartbeat）信息。由于它包含了明確的目標MAC地址和源MAC地址，因此，不屬于廣播報文，而是點對點的單播報文。但為什么會出現如此多的單播數據包并造成網絡崩潰呢？這是最大的疑問。

在收集到的數據中，廣播報文數量為5.5萬個，絕對數量還是比較大的，占總數據包的5.14%，從比例來講不算太高。其中，ARP數據占到了廣播報文的74.27%，占比也比較高。初步分析和網絡出現環路有部分關系。

另外，校驗碼錯誤的數據包的數量為29 243個，其中有一部分數據出現大量的、連續校驗錯誤數據包。這也是交換機資源將要耗盡，或者由于大量的擁塞數據導致的。

4　原因分析

從仿真結果中可以看出，雖然此次仿真中收集到了超過正常網絡的廣播報文，但導致網絡中斷的真正元兇為數量巨大的LLC單播報文，這種報文不僅數量多且報文重復率高，最終耗盡了網絡資源引發網絡崩潰。這種現象稱為泛洪。泛洪產生的原因分析如下。

(1）首先從網絡結構上進行分析，在此次仿真中，所有網絡交換機均被配置為2層交換機，每1個交換機均能夠檢測到其他的交換機。雖然每個交換機都啟用了STP，但在增加車站的節點交換機時，交換機之間會通過發送TCN來交換拓撲圖數據，并且當拓撲發生變化時，也會通過TCN來通知其他的交換機。STP會據此來計算新的拓撲圖中的環路。

對照圖2的控制中心和車站的典型連接圖，可以發現其中環路如圖3所示。

在圖3中，僅僅考慮了OCC和1個車站之間的情況，車站與車站之間也存在環路。在此次仿真中，有多達19個車站交換機，因此，類似環路3的環路的數量將異常龐大。STP不得不針對如此多的環路進行計算。

STP在計算環路路徑并且更新拓撲數據的過程中，受限于2個條件：當拓撲圖非常大時，交換機之間更新拓撲圖數據需要時間；更新數據完成后，交換機需要消耗一定的資源進行環路的計算。如果拓撲圖比較大，STP需要擴散BPDU（網橋協議數據單元）數據包，相應計算的時間將成倍增長，在計算結果尚未出現之前，由于STP無法通知交換機邏輯上應該關閉哪一條連接，因此，2條連接都是打開的狀態，重復數據包可以暢通無阻地被轉發。因此，大量環路的出現是單播泛洪出現的前提。

(2）交換機是通過2層交換機的MAC地址表和CAM（中央地址存儲器）表來轉發數據。如果1個數據幀到達交換機后，交換機MAC地址表中沒有此數據幀中目的MAC地址的表項，那么交換機會將此數據幀廣播到對應VLAN中除了接收端口外的其他端口，這樣就形成了泛洪。泛洪可能由3種原因導致：①不對稱路由；②生成樹拓撲改變；③轉發表溢出。

由于仿真的網絡呈環形，因此，基本不存在不對稱路由的情況。另外，現在的交換機一般都有很大容量的地址表空間，所以，轉發表溢出是可能的但是很少見。因此，生成樹拓撲改變是本次單播泛洪出現的原因。

綜合上述兩點分析，可以發現：當網絡中不斷增加新的節點，網絡拓撲發生變化后，到達某一個目的地址的路徑可能發生變化，例如，以前數據包從端口1轉發，現在變成了端口2，這樣就可能導致數據包不能正確轉發，所以，必須用某種機制去避免出現這種情況。S T P中T C N的作用是通知交換機網絡拓撲變化，并且減小交換機中MAC轉發表的超時時間。TCN由端口轉發狀態改變觸發。在一個配置合理的網絡中TCN報文是很少的，也就是網絡拓撲幾乎很少發生改變。

在正常的情況下，交換機收到TCN后會使MAC轉發表加速老化，但是不久就會更新MAC表項，這樣泛洪不會持續很久的時間，所產生的數據包的數量也不會很多，且可以隨著端口轉發狀態的改變而逐漸被交換機丟棄。但是，如果有交換機不斷接入網絡，或者從網絡斷開連接，那么就會產生大量的TCN，交換機則會連續收到TCN的報文，那么MAC轉發表就會處于不斷的變化之中，如果此時1個未知MAC地址的數據幀到達，就會引起單播泛洪；再加上STP尚未收斂，網絡中存在大量的環路，被轉發的泛洪數據包會通過環路，再次回到此交換機，并在復制后再次被轉發，大量的泛洪就會產生，同時，由于交換機的運算資源被用來計算STP的環路，它用于轉發數據包的能力就會減少，會造成大量數據包的阻塞，因此，有用的數據包無法轉發出去，無用的廣播和多播信息卻不斷增多，周而復始的惡性循環，最終會導致交換機資源的耗盡、死機和網絡中斷。

圖3　潛在的環路示意圖

5　網絡改進及優化

如上節所述，不對稱路由、生成樹拓撲改變和轉發表溢出可能會導致單播泛洪，而不對稱路由在DCS網絡中基本不存在，由于現在交換機的配置較高，轉發表溢出也很少發生，因此，我們還是將目光集中在生成樹拓撲改變這個原因上。采取將原來的2層平型網絡劃分為3層帶路由的網絡，并劃分不同的VLAN來隔絕廣播域，使每個STP作用的網絡范圍變小，從而達到減少TCN的目的。

網絡的優化示意如圖4所示。在交換機3及車站的交換機N上啟用了路由功能，原本存在的環路2和環路3被切斷，網絡域1和網絡域2上分別運行各自的STP，環路1則由網絡域1上運行的STP控制。這樣優化以后，STP的作用范圍明顯變小了，單播泛洪的可能性隨著減小，另外，即使網絡域2中產生了大量的廣播數據包，也不會影響到整個網絡。

由于ATS在OCC會有很多與其他子系統的網絡接口（如PIS、大屏、時鐘、無線系統等），這些外部系統一般是信號ATS子系統認為不安全的網絡，即使如圖4所示進行了網絡優化，它們的接入也會對ATS網絡有潛在的影響。因此，建議在控制中心用防火墻替代交換機3，用來保護ATS內部網絡，并增加外部接口交換機專門負責外部接口的接入。重新優化后的網絡連接方式如圖5所示。

圖4　網絡域優化示意圖

圖5　加入防火墻后的網絡優化方案

6　總結

單播泛洪造成的網絡風暴與廣播包造成的網絡風暴相比，二者發生的原因不同，某些情況下，廣播報文可以直接進行放棄處理；但是單播報文含有數據，交換機不會輕易進行放棄處理，而一旦發生泛洪，同樣會引起網絡崩潰，它的發生具有相當的隱蔽性。

針對信號系統的D C S網絡，一旦產生了網絡風暴將會對系統產生非常大的破壞，輕者導致網絡中斷，重者會因此造成數據延遲、混亂，以至于影響到行車的安全。在目前信號系統的應用中，網絡通信已經逐漸成為控制信號傳輸非常重要的一個環節，因此，在網絡的設計之初，就要從源頭上截斷出現網絡風暴的可能性。由于DCS網絡是一個封閉的局域網，因此，預防措施也很簡單：恰當劃分VLAN，縮小廣播域，隔離廣播風暴，使用防火墻對重要設備進行防護，定期對網絡進行查毒、殺毒，加強對網絡線路運行狀態的監控，常態化對網絡設備的硬件維護，做到了這些措施，基本能夠保證網絡風暴的不再發生。

參考文獻

[1] 張欣. 生成樹協議及其優化策略[J]. 科技信息，2006（S1）：15.

[2] 王震宇，馬曉軍，蔣烈輝. STP協議與生成樹設計優化[J]. 信息工程大學學報，2003，4（1）：66-68.

[3] 朱凱進,席小剛. 淺析生成樹協議在大型局域網內的正確應用[J].硅谷，2010（24）：2.

責任編輯 冒一平

Simulation in Unicast Flooding Causing Data Storm on ATS and Network Optimization

Sun Haifeng

Abstract:Stability and optimization on the subsystem of the network of the automatic train supervision (ATS) have impact directly on the stability and security of entire signaling system. Taking the real hardware and networking mode as the basis, the paper describes the flooding broadcast storm simulation, collects data, and makes further analysis on network structure optimization of the data communication system (DCS).

Keywords:ATS, DCS, flooding, unicast, broadcast, data storm, simulation, optimization

收稿日期2014-07-25

中圖分類號：U231.7