地縣調(diào)控一體化系統(tǒng)網(wǎng)絡(luò)瓶頸故障的分析

余知真 鄭洪波 潘偉 唐曉玲

摘 要：“大運行”背景下，廣域分布式地縣調(diào)控一體化系統(tǒng)能很好地適應(yīng)地縣級智能電網(wǎng)調(diào)度自動化建設(shè)的需要，但同時存在故障點增多及運行可靠性降低等風(fēng)險。該文通過對某地縣調(diào)控一體化系統(tǒng)網(wǎng)絡(luò)故障進(jìn)行分析，發(fā)現(xiàn)了網(wǎng)絡(luò)構(gòu)架的薄弱點和系統(tǒng)消息進(jìn)程的缺陷，并通過徹查并加固通訊鏈路、優(yōu)化配線連接方式、修改縣調(diào)交換機的路由選路原則、改進(jìn)SCADA服務(wù)器與各主機間的詢問應(yīng)答機制等手段，實施了針對性的改進(jìn)措施，取得了顯著的效果，有效地抑制了網(wǎng)絡(luò)風(fēng)暴現(xiàn)象。

關(guān)鍵詞：地縣調(diào)控一體 廣域分布 網(wǎng)絡(luò)瓶頸 路由選路 應(yīng)答機制

中圖分類號：TP393.08 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2015）10（a）-0070-02

根據(jù)國網(wǎng)公司“大運行”體系[1]建設(shè)的要求，各地區(qū)積極推進(jìn)地縣調(diào)控一體化的工作[2]。廣域分布式地縣調(diào)控一體化系統(tǒng)能很好地適應(yīng)地縣智能電網(wǎng)調(diào)度自動化的需求，但是數(shù)據(jù)采集、應(yīng)用、計算機節(jié)點的廣域分布必然帶來故障點增多及運行可靠性降低等風(fēng)險[3]。該文分析了溫州地縣調(diào)控一體化系統(tǒng)一起網(wǎng)絡(luò)瓶頸故障，發(fā)現(xiàn)原有網(wǎng)絡(luò)構(gòu)架的薄弱點和主站系統(tǒng)消息進(jìn)程的缺陷，并從網(wǎng)絡(luò)配置和主站消息應(yīng)答機制上實施了改進(jìn)措施，消除了存在的運行風(fēng)險。

1 網(wǎng)絡(luò)現(xiàn)狀

溫州地縣調(diào)控一體化系統(tǒng)采用南瑞OPEN3000系統(tǒng)，由地調(diào)主系統(tǒng)、8個縣調(diào)分布式子系統(tǒng)（樂清、瑞安、平陽、蒼南、永嘉、泰順、文成、洞頭）和備用系統(tǒng)組成，采用廣域分布式采集，基于通訊網(wǎng)絡(luò)架構(gòu)遠(yuǎn)程互聯(lián)，后臺網(wǎng)絡(luò)結(jié)構(gòu)采用三環(huán)網(wǎng)星形匯聚模式。溫州地調(diào)主系統(tǒng)實現(xiàn)主網(wǎng)調(diào)控一體化的各項功能，各縣調(diào)保留數(shù)據(jù)采集能力和應(yīng)急系統(tǒng)獨立運行能力[4]。地縣調(diào)控一體化系統(tǒng)實現(xiàn)了地縣資源的優(yōu)化配置，但隨之而來的故障點增多、缺陷定位難運行風(fēng)險大等問題也日益突顯。

2 故障描述及原因分析

2015年5月，地縣調(diào)控一體化系統(tǒng)出現(xiàn)頻繁的應(yīng)答緩慢現(xiàn)象，圖庫調(diào)取出現(xiàn)嚴(yán)重時滯，部分系統(tǒng)節(jié)點甚至發(fā)生系統(tǒng)卡死。自動化人員進(jìn)行排查如下。

（1）查看系統(tǒng)管理文件，地調(diào)主系統(tǒng)各服務(wù)器未發(fā)現(xiàn)異常現(xiàn)象。

（2）查看系統(tǒng)進(jìn)程資源占用情況，終止部分資源占用率高的進(jìn)程，缺陷仍未消除。

（3）查看消息日志文件，發(fā)現(xiàn)瑞安縣局的#2維護(hù)工作站和洞頭縣局的#1維護(hù)工作站不斷向地調(diào)主系統(tǒng)發(fā)送大量的數(shù)據(jù)申請的異常現(xiàn)象。

（4）對瑞安、洞頭兩個縣局的網(wǎng)絡(luò)狀態(tài)進(jìn)行測試，發(fā)現(xiàn)瑞安縣局的網(wǎng)絡(luò)速度為1609字節(jié)/秒，洞頭縣局為1357字節(jié)/秒，均遠(yuǎn)遠(yuǎn)未達(dá)到系統(tǒng)帶寬。

（5）通過查看交換機上的各個互聯(lián)端口的在生成樹協(xié)議狀態(tài)，得出瑞安縣局和洞頭縣局出現(xiàn)數(shù)據(jù)申請堆積時的系統(tǒng)網(wǎng)絡(luò)拓?fù)錉顩r（圖1）。系統(tǒng)出現(xiàn)卡死現(xiàn)象時，系統(tǒng)的實際拓?fù)渎窂揭呀?jīng)發(fā)生改變，如圖所示：原拓?fù)滏溌分?條鏈路出現(xiàn)假死狀態(tài)，實際通訊已中斷，導(dǎo)致瑞安縣圖1故障時溫州地縣調(diào)控系統(tǒng)網(wǎng)絡(luò)拓?fù)渚峙c洞頭縣局所有數(shù)據(jù)都通過DTSW1上送，DTSW1上出現(xiàn)通訊瓶頸，導(dǎo)致SCADA服務(wù)器與各服務(wù)器、工作站之間的指令堆積、通訊不暢。最直接的表象即為全系統(tǒng)圖庫調(diào)用、修改、保存等操作緩慢甚至無法執(zhí)行，命令無法下發(fā)等。

3 整改措施

3.1 徹查并加固通訊鏈路

協(xié)同通信部門檢查通訊問題鏈路，并且全面測試通訊所有鏈路的聯(lián)通狀況，對于存在隱患的交換機和通訊板卡予以重啟甚至更換。

3.2 優(yōu)化配線架間的連線方式，拆除冗余接線

原走線經(jīng)過中間配線架跳轉(zhuǎn)，再與OPEN3000網(wǎng)絡(luò)屏上連地調(diào)主網(wǎng)的備調(diào)#1、#2交換機相連。此接線方式中間配線架的跳轉(zhuǎn)線路增加了網(wǎng)絡(luò)連通的故障點，加大了各接線端子間連接不可靠的風(fēng)險，并且給網(wǎng)絡(luò)故障的排除增加了難度，延長了排查時間。優(yōu)化配線架間的連線方式，去除經(jīng)過中間配線架跳轉(zhuǎn)環(huán)節(jié)，將洞頭縣調(diào)直接連至地調(diào)主網(wǎng)的備調(diào)#1、#2交換機。

3.3 變更瑞安縣調(diào)交換機的路由選路

溫州調(diào)度自動化系統(tǒng)后臺網(wǎng)采用MSTP協(xié)議，通過計算將整個網(wǎng)絡(luò)修剪成無環(huán)的樹形結(jié)構(gòu)。MSTP協(xié)議在計算生成樹時使用的算法中引入了域和內(nèi)部路徑開銷等參數(shù)。8個縣調(diào)同屬一個域，因此在設(shè)計時主要依靠內(nèi)部路徑開銷進(jìn)行網(wǎng)絡(luò)選路。本次網(wǎng)絡(luò)故障事件中，引起網(wǎng)絡(luò)堵塞的縣調(diào)之一的瑞安縣調(diào)通過洞頭縣調(diào)上送數(shù)據(jù)，而不是通過與溫州局直接互聯(lián)的鏈路（最優(yōu)路徑）上送，原因是未優(yōu)化瑞安縣調(diào)交換機互聯(lián)端口的開銷，造成選擇次優(yōu)路徑。瑞安縣調(diào)務(wù)業(yè)務(wù)量和數(shù)據(jù)流較大，未優(yōu)化線路造成其處于網(wǎng)絡(luò)拓?fù)錁湫谓Y(jié)構(gòu)的最末端，不利于網(wǎng)絡(luò)的穩(wěn)定和通訊效率。因此變更瑞安縣局兩臺路由選路原則，使其直接連至溫州地調(diào)18F-SW1、18F-SW1交換機，變更后最終穩(wěn)定收斂的拓?fù)淙缦拢ㄒ妶D2）。

3.4 改進(jìn)SCADA服務(wù)器與各主機間的詢問應(yīng)答機制

OPEN3000系統(tǒng)SCADA服務(wù)器與各主機間的詢問應(yīng)答機制是輪詢制，即SCADA服務(wù)器在判斷網(wǎng)絡(luò)通暢的前提下與A機通訊時，未收到A機的應(yīng)答，則一直等待，不再繼續(xù)與其他主機發(fā)生通訊。此機制在此次網(wǎng)絡(luò)出現(xiàn)假死狀況后，引起了全系統(tǒng)運行停滯的狀態(tài)。為避免再次發(fā)生類似故障，對OPEN3000系統(tǒng)的消息進(jìn)程進(jìn)行改進(jìn)，修改message_send進(jìn)程，增加message_backend進(jìn)程。改進(jìn)后，當(dāng)系統(tǒng)運行message_send進(jìn)程，同時會拉起數(shù)個message_backend進(jìn)程，message_backend進(jìn)程的數(shù)量決定于系統(tǒng)中的主機數(shù)量，一個message_backend進(jìn)程負(fù)責(zé)與一臺主機進(jìn)行通訊。這樣，若SCADA服務(wù)器與一臺主機發(fā)生通訊受阻時，不會影響全系統(tǒng)的通訊。

4 結(jié)語

通過對調(diào)度自動化主站網(wǎng)絡(luò)故障進(jìn)行分析，找出了網(wǎng)絡(luò)構(gòu)架的薄弱點和系統(tǒng)消息進(jìn)程的缺陷，并實施了改進(jìn)措施。通過徹查并加固通訊鏈路、對配線架間的連線方式的修改、對交換機的路由選路的修改和對SCADA服務(wù)器與各主機間的詢問應(yīng)答機制程序的改進(jìn)，調(diào)度自動化主站網(wǎng)絡(luò)再未發(fā)生過類似全系統(tǒng)運行停滯的狀況，有效地抑制了網(wǎng)絡(luò)風(fēng)暴現(xiàn)象，穩(wěn)固了系統(tǒng)運行。

參考文獻(xiàn)

[1] 周巍，胡蕓，陳秋紅.“大運行”體系建設(shè)對地區(qū)電網(wǎng)調(diào)度的影響[J].中國電力教育，2011（18）：104-108.

[2] 黃邵遠(yuǎn).地縣級調(diào)度自動化一體化主站系統(tǒng)建設(shè)思路[J].電力系統(tǒng)自動化，2009，33（20）：100-103.

[3] 彭暉，葛以踴，吳慶曦，等.地縣調(diào)控一體化系統(tǒng)分區(qū)解并列機制的設(shè)計與實現(xiàn)[J].電力系統(tǒng)自動化，2014，38（6）：76-79.

[4] 陳寧，徐春雷，莊衛(wèi)金，等.地縣一體化調(diào)度自動化系統(tǒng)分布式數(shù)據(jù)采集方法[J].電力系統(tǒng)自動化，2011，35（24）：89-92.