地縣調控一體化系統網絡瓶頸故障的分析

余知真 鄭洪波 潘偉 唐曉玲

摘 要：“大運行”背景下，廣域分布式地縣調控一體化系統能很好地適應地縣級智能電網調度自動化建設的需要，但同時存在故障點增多及運行可靠性降低等風險。該文通過對某地縣調控一體化系統網絡故障進行分析，發現了網絡構架的薄弱點和系統消息進程的缺陷，并通過徹查并加固通訊鏈路、優化配線連接方式、修改縣調交換機的路由選路原則、改進SCADA服務器與各主機間的詢問應答機制等手段，實施了針對性的改進措施，取得了顯著的效果，有效地抑制了網絡風暴現象。

關鍵詞：地縣調控一體 廣域分布 網絡瓶頸 路由選路 應答機制

中圖分類號：TP393.08 文獻標識碼：A 文章編號：1674-098X（2015）10（a）-0070-02

根據國網公司“大運行”體系[1]建設的要求，各地區積極推進地縣調控一體化的工作[2]。廣域分布式地縣調控一體化系統能很好地適應地縣智能電網調度自動化的需求，但是數據采集、應用、計算機節點的廣域分布必然帶來故障點增多及運行可靠性降低等風險[3]。該文分析了溫州地縣調控一體化系統一起網絡瓶頸故障，發現原有網絡構架的薄弱點和主站系統消息進程的缺陷，并從網絡配置和主站消息應答機制上實施了改進措施，消除了存在的運行風險。

1 網絡現狀

溫州地縣調控一體化系統采用南瑞OPEN3000系統，由地調主系統、8個縣調分布式子系統（樂清、瑞安、平陽、蒼南、永嘉、泰順、文成、洞頭）和備用系統組成，采用廣域分布式采集，基于通訊網絡架構遠程互聯，后臺網絡結構采用三環網星形匯聚模式。溫州地調主系統實現主網調控一體化的各項功能，各縣調保留數據采集能力和應急系統獨立運行能力[4]。地縣調控一體化系統實現了地縣資源的優化配置，但隨之而來的故障點增多、缺陷定位難運行風險大等問題也日益突顯。

2 故障描述及原因分析

2015年5月，地縣調控一體化系統出現頻繁的應答緩慢現象，圖庫調取出現嚴重時滯，部分系統節點甚至發生系統卡死。自動化人員進行排查如下。

（1）查看系統管理文件，地調主系統各服務器未發現異常現象。

（2）查看系統進程資源占用情況，終止部分資源占用率高的進程，缺陷仍未消除。

（3）查看消息日志文件，發現瑞安縣局的#2維護工作站和洞頭縣局的#1維護工作站不斷向地調主系統發送大量的數據申請的異?，F象。

（4）對瑞安、洞頭兩個縣局的網絡狀態進行測試，發現瑞安縣局的網絡速度為1609字節/秒，洞頭縣局為1357字節/秒，均遠遠未達到系統帶寬。

（5）通過查看交換機上的各個互聯端口的在生成樹協議狀態，得出瑞安縣局和洞頭縣局出現數據申請堆積時的系統網絡拓撲狀況（圖1）。系統出現卡死現象時，系統的實際拓撲路徑已經發生改變，如圖所示：原拓撲鏈路中4條鏈路出現假死狀態，實際通訊已中斷，導致瑞安縣圖1故障時溫州地縣調控系統網絡拓撲局與洞頭縣局所有數據都通過DTSW1上送，DTSW1上出現通訊瓶頸，導致SCADA服務器與各服務器、工作站之間的指令堆積、通訊不暢。最直接的表象即為全系統圖庫調用、修改、保存等操作緩慢甚至無法執行，命令無法下發等。

3 整改措施

3.1 徹查并加固通訊鏈路

協同通信部門檢查通訊問題鏈路，并且全面測試通訊所有鏈路的聯通狀況，對于存在隱患的交換機和通訊板卡予以重啟甚至更換。

3.2 優化配線架間的連線方式，拆除冗余接線

原走線經過中間配線架跳轉，再與OPEN3000網絡屏上連地調主網的備調#1、#2交換機相連。此接線方式中間配線架的跳轉線路增加了網絡連通的故障點，加大了各接線端子間連接不可靠的風險，并且給網絡故障的排除增加了難度，延長了排查時間。優化配線架間的連線方式，去除經過中間配線架跳轉環節，將洞頭縣調直接連至地調主網的備調#1、#2交換機。

3.3 變更瑞安縣調交換機的路由選路

溫州調度自動化系統后臺網采用MSTP協議，通過計算將整個網絡修剪成無環的樹形結構。MSTP協議在計算生成樹時使用的算法中引入了域和內部路徑開銷等參數。8個縣調同屬一個域，因此在設計時主要依靠內部路徑開銷進行網絡選路。本次網絡故障事件中，引起網絡堵塞的縣調之一的瑞安縣調通過洞頭縣調上送數據，而不是通過與溫州局直接互聯的鏈路（最優路徑）上送，原因是未優化瑞安縣調交換機互聯端口的開銷，造成選擇次優路徑。瑞安縣調務業務量和數據流較大，未優化線路造成其處于網絡拓撲樹形結構的最末端，不利于網絡的穩定和通訊效率。因此變更瑞安縣局兩臺路由選路原則，使其直接連至溫州地調18F-SW1、18F-SW1交換機，變更后最終穩定收斂的拓撲如下（見圖2）。

3.4 改進SCADA服務器與各主機間的詢問應答機制

OPEN3000系統SCADA服務器與各主機間的詢問應答機制是輪詢制，即SCADA服務器在判斷網絡通暢的前提下與A機通訊時，未收到A機的應答，則一直等待，不再繼續與其他主機發生通訊。此機制在此次網絡出現假死狀況后，引起了全系統運行停滯的狀態。為避免再次發生類似故障，對OPEN3000系統的消息進程進行改進，修改message_send進程，增加message_backend進程。改進后，當系統運行message_send進程，同時會拉起數個message_backend進程，message_backend進程的數量決定于系統中的主機數量，一個message_backend進程負責與一臺主機進行通訊。這樣，若SCADA服務器與一臺主機發生通訊受阻時，不會影響全系統的通訊。

4 結語

通過對調度自動化主站網絡故障進行分析，找出了網絡構架的薄弱點和系統消息進程的缺陷，并實施了改進措施。通過徹查并加固通訊鏈路、對配線架間的連線方式的修改、對交換機的路由選路的修改和對SCADA服務器與各主機間的詢問應答機制程序的改進，調度自動化主站網絡再未發生過類似全系統運行停滯的狀況，有效地抑制了網絡風暴現象，穩固了系統運行。

參考文獻

[1] 周巍，胡蕓，陳秋紅.“大運行”體系建設對地區電網調度的影響[J].中國電力教育，2011（18）：104-108.

[2] 黃邵遠.地縣級調度自動化一體化主站系統建設思路[J].電力系統自動化，2009，33（20）：100-103.

[3] 彭暉，葛以踴，吳慶曦，等.地縣調控一體化系統分區解并列機制的設計與實現[J].電力系統自動化，2014，38（6）：76-79.

[4] 陳寧，徐春雷，莊衛金，等.地縣一體化調度自動化系統分布式數據采集方法[J].電力系統自動化，2011，35（24）：89-92.