卓懷忠,張玉姣,陶潁軍,王興安,竇中山
(許繼電氣股份有限公司,許昌 461000)
目前,對于變電站海量數據的管理并沒有完全成熟的辦法,其技術難度主要是大量數據讀寫操作極易對磁盤造成損壞。有人提出采用分布式網絡數據存儲方式,但其成本、技術難度都比較高,并沒有得到廣泛的推廣[1]。本文采用的數據管理方式是直接通過索引文件對磁盤操作,減少了磁頭的使用率,提高了磁盤的使用壽命[2],且方法簡單、效率高。
變電站數據管理存在的第二個技術難題是對于其不同協議的報文的解析及展示沒有一個統一的判斷標準,不同的廠家采用不同方法處理,對于細節處理不盡相同,給變電站的運維人員帶來了操作和理解上的難度。本文采用模塊化設計,降低了不同協議報文之間的耦合性,并且解析方法和展示效果可通過配置文件靈活配置,也可根據用戶需求進行改動,提高了用戶數據處理的工作效率。
數據采集是系統與外部網絡數據的唯一接口,多個采集口分別采集不同的數據,按照特定格式重新組織打包,形成滿足系統存儲與解析要求的報文格式。采集流程如圖1所示。
采集口網絡模塊為百兆/千兆自適應模式,根據站內網絡數據量大小靈活配置。采集口采集的數據首先經過硬件FPGA模塊加上系統時標[3],按照網絡報文格式組織成標準的CAP格式報文,然后將每個采集口的數據匯總起來,形成一個總的大包數據。最后,可選擇硬件壓縮卡壓縮或軟件壓縮算法來將大包數據壓縮成容量更小的壓縮包,進行數據存儲[4]。

圖1 數據采集流程Fig.1 Data acquisition diagram
數據存儲能夠將前期產生的數據完整地保存下來以備查看分析。站內保護裝置以及后臺監控系統都有數據存儲的功能,但受限于容量大小和數據處理的要求,滿足不了站內系統對網絡數據解析和查看需求。該系統使用4 TB容量硬盤,能夠連續不間斷地存儲至少7天的數據報文,并且具有檢索方便、速度快的特點。
為了滿足上述特點,設計了一種自定義文件系統的方法,在硬盤數據區外定義了一個索引文件,用來記錄所存報文的有關信息。每保存一個報文數據包,會將該數據包所在分區號、數據包起始地址、起始及結束時間以及數據包的大小等信息記錄下來,用戶查找數據時,再根據索引文件直接定位到硬盤分區對應的地址上。數據包讀取流程如圖2所示。

圖2 數據包讀取示意Fig.2 Reading data packet diagram
該硬盤讀寫不依賴文件系統,避免了二次操作,提高了數據讀寫的速度。在此基礎上,程序定期地對索引文件進行維護,發現索引文件和硬盤數據不對應時重新建立索引文件,保證了數據的安全性[5]。同時用戶讀取數據時,只需要提供數據的起始時間和結束時間即可。數據索引維護流程如圖3所示。
為了保證數據的實時性,當系統檢測到硬盤剩余空間不足時,采用先入先出的原則,清理掉最早的報文,并將最新的報文寫入,如此循環。

圖3 數據索引維護示意Fig.3 Data index maintenance diagram
數據解析是按照配置的特定條件來判別報文里發生的“事件”、“狀態”和“統計”3 種數據項。 “事件”表示監測的鏈路對象有錯誤,需要立即報告;“狀態”表示監測的鏈路對象某類狀態發生改變;“統計”表示監測對象在一定周期內發生變化的次數。數據解析流程如圖4所示。

圖4 數據解析示意Fig.4 Data analysis diagram
前端采集到的數據首先判別協議類型,然后根據配置工具所配置的判別條件進行數據項的解析,最后按照數據項進行轉發。配置工具配置效果如圖5所示。
所解析的狀態類數據項包括通信狀態、時間狀態、配置狀態、連接狀態等;所解析的時間類數據項包括遙控操作、定值操作、采樣丟幀、發送超時等;所解析的統計類數據項包括連接中斷次數、通信響應超時次數、報告控制塊初始化次數、報文字節數、丟幀次數等。

圖5 配置工具生成配置文件Fig.5 Configuration files generates by configuration tool
數據的采集、解析與存儲完成后,需要發送給展示模塊進行數據展示,為了保證模塊之間的相互獨立性,設計了轉發模塊,專門負責信息的轉發。解析流程如圖6所示。

圖6 解析流程示意Fig.6 Analytical process diagram
數據展示是對數據處理直觀的最終顯示。把不同格式的數據完全展示到人機界面上,需要有統一的規劃和特點,使界面簡潔、整齊。本文設計的人機界面如圖7所示。
展示的界面設計主要分為四部分。第一部分為全站工況光字牌,站內每個間隔都對應一個光字牌,該間隔有通信中斷或異常時,相應的光字牌會變成不同的顏色進行提示;第二部分為鏈路回路展示圖,鏈路回路上能夠展示具體鏈路的通信狀態、發送或接收數據流狀態;第三部分為具體鏈路的詳細信息,包括具體事件是否發生、具體狀態的狀態量以及所統計項的統計值等信息;第四部分為采集模塊的采集信息,包含每個采集口的流量、幀速等信息。該界面從整體到局部,從示意圖到具體表格,完整地展現了所需數據的具體信息,方便操作人員清晰地掌握當前變電站的運行工況。


圖7 展示界面效果Fig.7 Interface display diagram
本方法從數據的流向出發,介紹了對外部網絡數據的采集,采集后數據的存儲與解析,以及解析完成后的轉發與展示。系統將數據管理的各個流程詳細說明,并最終以界面的方式展現給用戶。本方法能夠完成站內數百兆網絡數據的實時解析與離線存儲,且運行穩定、安全可靠,能夠滿足實際變電站的需求,可以在變電站推廣應用。
[1]王宇,張建偉,盧昱.構建安全的分布式網絡存儲系統[J].計算機應用與軟件,2004,21(10):109-111.
[2]王興安,竇中山,金華蓉,等.智能變電站新型網絡報文記錄與分析裝置的實現[J].電氣技術,2014(2):82-85.
[3]鄔春明,程亮.變電站監測數據采集系統[J].電測與儀表,2014,51(3):64-67.
[4]鄭翠芳.幾種常用無損數據壓縮算法研究[J].計算機技術與發展.2011,21(9):73-76.
[5]宋璇坤,李敬如,肖智宏,等.新一代智能變電站整體設計方案[J].電力建設,2012,33(11):1-6.