基于OPEN-3000系統前置網絡問題的排查與處理

鄧 萍，蘇勝皓，胡澤文，桂新凱，鄭洪積

(國網四川省電力公司涼山供電公司，四川 西昌 615000)

0 引 言

隨著電力系統電網建設步伐的加快以及智能綜合自動化無人值班變電站的不斷增加，對電網的安全、穩定、優質、經濟運行提出了越來越高的要求，地區調度自動化系統的功能也日趨復雜化、多樣化[1]。前置系統作為調度自動化系統中實時輸入、輸出的中心，主要承擔了調度中心與各所屬廠站、各上下級調度中心、其他系統之間以及與調度中心內的后臺系統之間的實時數據通信處理任務，是這些不同系統之間實時信息溝通的橋梁。信息交換、命令傳遞、規約的組織與解釋、通道的編碼與解碼、衛星對時、采集資源的合理分配，都是前置系統的基本任務，其他還包括報文監視與保存、站多源數據處理以及為站端設備對時等任務[2]。

由于地縣一體化的要求，調度自動化系統廠站接入數據急劇增加，通道數據也在增加，前置網絡、通道的配置更復雜化，如何快速地處理通道故障，提高故障恢復能力，是保證廠站數據采集實時性、可靠性的一個重要部分[3-4]。

國網涼山公司地區調度自動化系統采用國電南瑞科技公司OPEN-3000系統，于2012年12月投入運行；備用調度自動化系統于2015年6月投入使用。系統現接入涼山地區變電站168座、電廠84座。系統具備數據采集監視和控制(supervisory control and data acquisition，SCADA)、高級應用(power application software，PAS)、AVC自動電壓無功控制、DTS調度員培訓仿真系統、web瀏覽等主要功能[5]。

SCADA系統中的實時數據來自于前置系統，因此前置系統的可靠運行是SCADA系統正常工作的前提。為了保證前置系統的可靠性，前置網絡采用雙網雙冗余的配置模式，即采用兩臺前置服務器、兩臺前置交換機分別接入一、二平面交換機，實現雙平面架構。前置服務器處于雙機運行狀態，站端RTU需同時接到兩臺前置服務器中相對應的兩個串行口上，保證網絡的冗余[6]。

國網涼山供電公司前置D網交換機出現風扇模塊及電源模塊告警，考慮到前置D網交換機運行環境及運行年限，決定對其直接進行更換。更換過程中發現單平面104通道全部退出，經過分析排查，發現是OPEN-3000系統前置服務器程序的邏輯判斷存在設計缺陷，在單個平面出現中斷時，對應前置服務器判定為不接受任何廠站通道，進而導致單個平面104通道全部無法正常使用，通過在前置服務器增加配置文件解決了該故障。

1 前置網絡結構

前置網絡結構如圖1所示，調度數據網采用雙平面架構，前置網絡中前置服務器C和前置服務器D并列運行，經過分析，在前置D網交換機更換過程中，前置C網交換機正常運行。前置C網交換機與前置C、D服務器之間正常通信，不會影響101通道及104通道工作。

圖1 前置網絡拓撲結構

2 故障現象

在更換前置D網交換機過程中，斷開D網前置交換機到前置C服務器與前置D服務器的網線后發現110 kV某甲變電站、110 kV某乙變電站、35 kV某丙變電站等廠站104通道工況中斷，數據業務未正常上送。于是立即結束工作，復原網線后以上變電站業務成功恢復。

3 故障原因排查分析過程

3.1 通道情況對比分析

通過OPEN-3000系統告警查詢發現，斷開D網前置交換機到前置C服務器與前置D服務器的網線后，并不是所有廠站的通道退出，僅部分廠站的104通道退出。經排查，僅110 kV某甲變電站、110 kV某乙電站、35 kV某丙變電站等廠站104通道工況退出后無法恢復。對以上中斷的變電站進行分析對比，查找共同點，發現上述中斷的變電站均只有二平面104通道，暫未滿足雙平面通道的要求。

3.2 網絡結構排查分析

考慮到工作過程中環境變量僅為D網前置交換機到前置C服務器與前置D服務器的網線，如圖2所示，對前置網絡拓撲進行分析。

圖2 前置網絡拓撲結構分析

由圖2拓撲圖可見：前置C網交換機與一、二平面交換機、前置C服務器、前置D服務器均網絡可達，在進行更換前置D網交換機的過程中，不應該影響任何變電站104通道工況。

針對此種情況，經過分析討論，決定采用以下兩個方案對網絡結構進行測試分析。

3.2.1 網絡拓撲測試方案1

按照測試方案1，將前置D網交換機到前置D服務器的網線斷開，如圖3所示，觀察通道投退情況。

圖3 前置網絡拓撲測試1

測試后，斷開前置D網交換機到前置D服務器的網線后，廠站有通道工況退出的情況，但在短時間內即恢復正常。測試結果表明前置D網交換機到前置D服務器網絡正常。

3.2.2 網絡拓撲測試方案2

按照測試方案2，接著把前置D交換機到前置C服務器網線斷開，如圖4所示，觀察通道投退情況。

圖4 前置網絡拓撲測試2

測試后發現，斷開前置D交換機到前置C服務器網線后，上述110 kV某甲變電站、110 kV某乙變電站、35 kV某丙變電站等廠站的104通道工況退出。同時，經測試，二平面交換機到前置C網交換機再到前置D服務器網絡正常。

3.3 關鍵設備排查分析

以上排查分析過程表明，二平面和前置服務器之間并未實現有效的數據傳輸，二平面交換機到前置C網交換機再到前置D服務器網絡正常，故而進一步將問題鎖定到前置服務器上，對前置服務器軟硬件進行深入檢查。

3.3.1 設備硬件檢查

首先，對前置服務器的硬件情況進行檢查，設備電源指示燈、硬盤工作指示燈、系統運行指示燈均正常，且巡視記錄并未發現設備硬件異常或有遺留缺陷未處理的情況，排除由于設備硬件引起故障的情況。

3.3.2 設備軟件檢查

隨即對前置服務器的軟件程序進行檢查，常規檢查并未發現程序有連接異常或告警日志等信息。結合通道中斷現象，開始對前置服務器與104通道之間的程序邏輯進行梳理，如圖5所示，最終在前置服務器的邏輯判斷程序fes_assign上找到原因。

圖5 前置服務器通道判斷邏輯

通過分析以上程序可以看出，目前OPEN-3000前置服務器的網絡通道判定機制是：當前置C服務器的C網中斷時判定其不接管任何廠站通道；當前置D服務器的D網中斷時判定其不接管任何廠站通道。

即在更換前置D網交換機過程中，拔掉前置D網交換機到前置D服務器之間的網線后，前置D服務器判定為不接管任何廠站通道，此時二平面數據仍可以從D網交換機傳輸至前置C服務器，所以通道并未有工況退出不再恢復的情況。當繼續拔掉前置D交換機到前置C服務器之間網線后，二平面數據按網絡分析依然可以從前置C交換機到前置D服務器；但是由于服務器本身對通道的判定機制影響，前置D服務器已經不接管任何廠站通道，此時二平面所有104通道均無法正常使用。

上述中斷的110 kV某甲變電站、110 kV某乙變電站、35 kV某丙變電站等廠站只有二平面通道，在前置D服務器不接管任何廠站通道、二平面到前置C服務器網絡不達的情況下，出現通道工況中斷情況。

3.4 故障分析結論

通過以上分析并與設備廠家溝通后確認，前期建設OPEN-3000系統時的網絡結構較為簡單，并沒有考慮到一、二平面并行的需求。故OPEN-3000系統前置服務器程序的邏輯判斷存在設計缺陷(家族性缺陷，D5000系統中該判斷條件已修改)，在單個平面出現中斷時，對應前置服務器判定為不接受任何廠站通道，進而導致單個平面104通道全部無法正常使用。

4 故障處理措施及結果

針對以上分析結果，經研究后，提出如下的處理措施，但考慮到設備廠家對前置服務器程序邏輯修改耗時較長，提出了臨時處理方案。

處理方案：設備廠家對OPEN-3000前置服務器程序的邏輯判斷進行修改，使其不再因單平面退出而判斷為不接收任何廠站通道。

臨時處理方案：為各前置服務器增加fes_seg.sys配置文件，重啟fes_ping_send、fes_ping_recv、fes_exchange、fes_assign，讓各前置判斷C網中斷時才不接管廠站通道；當更換前置D交換機時，前置D服務器的D網中斷不影響二平面通道的接入，封鎖各二平面廠站通道至前置D服務器，不會出現廠站通道退出現象。

臨時方案實施后，當斷開D網前置交換機到前置C服務器與前置D服務器的網線后并未出現任何廠站通道退出不再恢復的情況，D網前置交換機順利更換。

5 預防類似故障的措施

綜上所述，依據目前OPEN-3000前置服務器程序的邏輯判斷機制，當一平面或二平面到前置服務器網絡出現中斷時，會造成單個平面所有104通道全部不可用。在一、二平面交換機正常運行時，如果OPEN-3000前置服務器程序邏輯不判定為不接收任何通道，那么一、二平面依舊正常運行，這種邏輯判定機制更適合冗余要求。

針對以上分析，提出如下建議措施：

1)其他使用OPEN-3000系統的地市公司，如果使用一樣的前置網絡結構，在前置交換機與一、二平面交換機之間有工作需要斷開網絡連接時，要考慮單平面出現完全中斷的情況，建議按照本案例的臨時方案處理；

2)建議設備廠家對OPEN-3000前置服務器的邏輯判定機制進行合理修改，使其不因A、B、C、D網任何網絡的中斷而判斷不接收任何廠站。

6 結 論

針對一起由于OPEN-3000系統前置服務器程序的邏輯判斷存在設計缺陷，導致單平面104通道全部退出的故障處理案例，詳細分析了排查處理過程，提出了處理措施，對調度自動化系統運維工作者具有較大的參考借鑒價值。通過在實際工作中采取所建議的處理方案，確保了前置網絡沒有再發生類似的故障，有效地降低了故障發生率，保障了調度自動化系統的正常運行。