水電站大數(shù)據分布式采集系統(tǒng)研究

劉曉彤，遲海龍，楊廷勇

（1.中國水利水電科學研究院 北京中水科水電科技開發(fā)有限公司，北京 100038；2.中國長江電力股份有限公司白鶴灘水力發(fā)電廠，云南 昆明 650000）

1 引言

隨著智能水電站技術的迅猛發(fā)展，大數(shù)據和人工智能技術在水電站安全穩(wěn)定運行的決策過程中作用愈加重要,而大數(shù)據是開展人工智能的重要前提。水電站各個專業(yè)生產系統(tǒng)的數(shù)據量大、復雜度高、快速多變，現(xiàn)地采集后需要跨安全區(qū)、跨地域傳輸和匯聚到大數(shù)據平臺，數(shù)據跨區(qū)跨地域安全可靠的采集與傳輸，成為限制大數(shù)據技術應用的關鍵因素。

2 現(xiàn)地數(shù)據采集

主要采集調速器、勵磁、計算機監(jiān)控系統(tǒng)等實時系統(tǒng)，以及機組狀態(tài)監(jiān)測、局部放電監(jiān)測、油色譜監(jiān)測等非實時數(shù)據。采集方式主要取決于現(xiàn)地各專業(yè)系統(tǒng)，并統(tǒng)籌考慮，選擇最合適的采集方式。

水電站各專業(yè)系統(tǒng)的數(shù)據種類眾多，按實時性分有實時數(shù)據、非實時性數(shù)據、歷史數(shù)據、時間序列數(shù)據。按類型分有文本數(shù)據、多媒體數(shù)據。按結構分有各類結構化、半結構化數(shù)據以及非結構化數(shù)據，數(shù)據的采集和傳輸方式隨之不同。

2.1 調速器和勵磁系統(tǒng)

調速器和勵磁系統(tǒng)均需與其PLC設備通信，通信協(xié)議需與電廠采用的PLC品牌和型號適配，如PLC有備用通信接口，通信協(xié)議限于其備用接口支持的協(xié)議。若沒有備用通信接口，則需增加通信模塊，需根據其PLC品牌和型號選擇合適的通信模塊，因為Modbus TCP/IP和Modbus RTU協(xié)議比較通用而優(yōu)先選擇[1]，其次根據實際情況選擇PROFINET協(xié)議[2]、SRTP TCP/IP協(xié)議(Service Request Transport Protocol)[3]、EGD(Ethernet Global Data)協(xié)議[4]、Modbus Plus(MB+)協(xié)議等。

2.2 計算機監(jiān)控系統(tǒng)

計算機監(jiān)控系統(tǒng)分為上位機系統(tǒng)和下位機系統(tǒng)，部分電廠已接入到集控中心，因此其數(shù)據可從3個數(shù)據源采集。由集控中心到電廠上位機系統(tǒng)再到電廠下位機系統(tǒng)，數(shù)據采集方案的可行性、可靠性、可維護性依次降低，難度和工作量依次升高，因此數(shù)據源優(yōu)先級依次降低。

若數(shù)據源選擇集控中心和上位機系統(tǒng)，通信協(xié)議可選擇方式較多，通?？刹捎肐EC60870-5-104規(guī)約、消息隊列中間件技術、RPC技術、私有TCP/UDP通信協(xié)議等。

若將下位機作為數(shù)據源，則因其PLC品牌和型號不同，通信方式和協(xié)議均不同，情況與調速器、勵磁系統(tǒng)類似，并且通信協(xié)議為各監(jiān)控系統(tǒng)廠家私有協(xié)議，需要深入研究和定制開發(fā)，接入調試需在機組停機檢修階段進行，開發(fā)和實施難度大，實施周期長，維護難度大，所以此方案在其他方案均無法實施時才考慮。

2.3 機組狀態(tài)監(jiān)測系統(tǒng)

機組狀態(tài)監(jiān)測系統(tǒng)的數(shù)據分為穩(wěn)態(tài)常規(guī)數(shù)據和暫態(tài)波形數(shù)據，目前國內主流系統(tǒng)可提供TCP/UDP私有通信協(xié)議、消息隊列、中間數(shù)據庫等接口方式。

2.4 局部放電、油色譜監(jiān)測系統(tǒng)

局部放電、油色譜監(jiān)測系統(tǒng)數(shù)據變化緩慢，數(shù)據量不大，數(shù)據采集周期可適當設置。

3 組網方案

水電站的調速器、勵磁、計算機監(jiān)控系統(tǒng)等屬于控制區(qū)，機組狀態(tài)監(jiān)測、局部放電、油色譜監(jiān)測等系統(tǒng)屬于非控制區(qū)，水電大數(shù)據平臺屬于管理信息大區(qū)，一般大型水電站可能建設有大數(shù)據平臺，中小型水電站作為大數(shù)據平臺的邊緣側，而大數(shù)據中心多建設在發(fā)電集團總部，根據《電力監(jiān)控系統(tǒng)安全防護總體方案》，需要在控制區(qū)、非控制區(qū)和管理信息大區(qū)部署隔離裝置，管理信息大區(qū)與大數(shù)據平臺之間部署防火墻[5]。因此數(shù)據采集匯聚后需要跨安全區(qū)、超遠距離、安全可靠的傳輸。

因控制區(qū)和非控制區(qū)均有多套系統(tǒng)數(shù)據需要接入，故在控制區(qū)和非控制區(qū)均設置有匯聚交換機，多系統(tǒng)數(shù)據匯聚后接入防火墻。計算機監(jiān)控系統(tǒng)、機組狀態(tài)監(jiān)測系統(tǒng)和局部放電、油色譜監(jiān)測等數(shù)據一般均采集其上位機系統(tǒng)數(shù)據，故上述各系統(tǒng)均可直接接入匯聚交換機。

調速器和勵磁系統(tǒng)的數(shù)據，需要從每臺機組的調速、勵磁系統(tǒng)的PLC采集，若其只支持串口通信，考慮到串口信號傳輸距離與其可能受到的干擾等因素，可在每臺機組處部署串口聯(lián)網設備，轉換成RJ45網絡接口，機組與采集平臺位置較遠時，還要考慮光電轉換接口。

一般發(fā)電集團公司的大數(shù)據平臺采集系統(tǒng)網絡拓撲可參考圖1，若電站自建大數(shù)據平臺，則不需要防火墻和專用通道。

圖1 水電站大數(shù)據分布式采集系統(tǒng)網絡拓撲

4 數(shù)據傳輸和存儲

數(shù)據采集匯聚后，需要穿越正向隔離裝置傳輸?shù)焦芾硇畔⒋髤^(qū)，如果還需向外傳輸，而后再經過防火墻，傳輸?shù)酱髷?shù)據平臺。因而，在數(shù)據采集、非控制區(qū)與管理信息大區(qū)之間、管理信息大區(qū)與大數(shù)據中心之間存在3個故障點。在上述3個故障點處需要具備數(shù)據的緩存、存儲和斷點續(xù)傳的功能，因數(shù)據類型不同而有不同的解決方案。

4.1 數(shù)據采集階段

為提高數(shù)據傳輸?shù)目煽啃?，需要在?shù)據采集和傳輸過程中根據數(shù)據特點選擇合適的通信方式。

若采用傳統(tǒng)通信方式，如IEC60870-5-104規(guī)約、私有TCP、MODBUS等通信協(xié)議的方式，則通信出現(xiàn)故障，數(shù)據就會中斷，無法實現(xiàn)數(shù)據的斷點續(xù)傳。

計算機監(jiān)控系統(tǒng)、機組狀態(tài)監(jiān)測、局部放電監(jiān)測、油色譜監(jiān)測等數(shù)據源一般均為各自的上位機系統(tǒng)，因而可考慮使用緩存技術，為數(shù)據的斷點續(xù)傳打好基礎。

機組狀態(tài)監(jiān)測系統(tǒng)的顯著特點是數(shù)據量巨大，其穩(wěn)態(tài)常規(guī)數(shù)據幾乎與電站計算機監(jiān)控系統(tǒng)的模擬量數(shù)據規(guī)模持平，其暫態(tài)波形數(shù)據規(guī)模更大。采用TCP協(xié)議方式，無法實現(xiàn)斷點續(xù)傳。

采用消息系統(tǒng)和中間數(shù)據庫的方式，可以實現(xiàn)斷點續(xù)傳，但在實際應用中存在一些需要注意的問題，以Kafka為例，目前機組狀態(tài)監(jiān)測系統(tǒng)多采用Windows操作系統(tǒng)，而Kafka在Windows平臺上的穩(wěn)定性欠佳，官方僅提供Java API，支持其他編程語言的第三方接口雖多，但穩(wěn)定性難以保障。

若采用中間數(shù)據庫的方式，跨安全區(qū)數(shù)據復制技術問題是其難點。

4.2 實時數(shù)據傳輸

計算機監(jiān)控系統(tǒng)、調速器、勵磁等系統(tǒng)的數(shù)據、機組狀態(tài)監(jiān)測系統(tǒng)穩(wěn)態(tài)數(shù)據、局部放電監(jiān)測數(shù)據、油色譜監(jiān)測數(shù)據等均可視為實時數(shù)據，實時更新到實時數(shù)據庫。

4.3 歷史數(shù)據存儲

平臺可從實時數(shù)據庫中獲取數(shù)據轉存到歷史數(shù)據庫。同時，機組狀態(tài)監(jiān)測系統(tǒng)的暫態(tài)數(shù)據、局部放電監(jiān)測系統(tǒng)和油色譜監(jiān)測系統(tǒng)的圖譜文件和診斷報告等二進制文件均可視為歷史數(shù)據，可直接存儲到歷史數(shù)據庫。

4.4 跨區(qū)數(shù)據同步和緩存

跨隔離裝置傳輸數(shù)據，包括實時數(shù)據、歷史數(shù)據、文件以及第三方綜合數(shù)據等。隔離裝置包括正向隔離和反向隔離。正向隔離裝置具有單向傳輸?shù)奶攸c，反向只能傳輸1字節(jié)報文用于狀態(tài)確認?？绶聪蚋綦x裝置采用文本文件傳輸方式?？鐓^(qū)數(shù)據同步簡要示意圖見圖2所示。

圖2 跨區(qū)數(shù)據同步和緩存簡要示意圖

UDP協(xié)議其不可靠的特點，在對關鍵數(shù)據的實時性和質量要求日益提高的今天，被更少的采用。采用符合正向隔離安全要求的TCP協(xié)議同步數(shù)據，具有斷點續(xù)傳功能，如果傳輸中斷，可使用數(shù)據緩存技術，選擇內存、硬盤、數(shù)據庫、消息隊列中間件等緩存介質。

基于標準TCP的數(shù)據傳輸基于雙向通信，無法穿越隔離裝置，需要通過跨區(qū)同步代理實現(xiàn)報文轉發(fā)。跨區(qū)同步代理需要在隔離裝置兩側均代理，部署內網代理發(fā)送數(shù)據，若內外網通信故障，則將數(shù)據緩存。外網代理接收數(shù)據，并及時回復1字節(jié)報文進行確認。

需要設計好緩存的最大空間和清空策略等，比如64 MB以內的數(shù)據緩存在內存，長時間中斷緩存數(shù)據在硬盤。

4.5 數(shù)據庫跨區(qū)同步

機組狀態(tài)監(jiān)測系統(tǒng)的暫態(tài)波形數(shù)據和局部放電監(jiān)測系統(tǒng)、油色譜監(jiān)測系統(tǒng)生成的圖譜文件和診斷報告多為二進制文件，需要有專業(yè)的軟件才能使用和展示。在大數(shù)據平臺無法完備各專業(yè)系統(tǒng)功能的情況下，部署各專業(yè)系統(tǒng)軟件，不失為目前較好的現(xiàn)實選擇。這就需要部署各專業(yè)系統(tǒng)的數(shù)據庫。因此可通過中間數(shù)據庫的方式，采用臨時公用交換數(shù)據表的形式實現(xiàn)數(shù)據交換。

分布式數(shù)據庫同步有多種技術可供選擇，Databus、canal、Maxwell、yugong、DRD等均可實現(xiàn)，使用上述技術結合跨區(qū)數(shù)據同步功能，可解決數(shù)據庫跨區(qū)同步的技術難點。

4.6 管理信息大區(qū)數(shù)據緩存與上送

管理信息大區(qū)數(shù)據緩存和上送到大數(shù)據平臺，可使用消息隊列中間件技術，它可以在分布式環(huán)境下提供應用解耦、彈性伸縮、冗余存儲、流量削峰、異步通信、數(shù)據同步等功能，作為分布式系統(tǒng)架構中的一個重要組件，有著舉足輕重的地位。開源的消息中間件很多，比如ActiveMQ，RabbitMQ，Kafka，RocketMQ，ZeroMQ等。目前在電力領域使用較多的消息系統(tǒng)是Kafka。

Kafka可以充當中間數(shù)據的存儲系統(tǒng)。在海量消息堆積的情況下，Kafka始終保持消息收、發(fā)的高吞吐能力，不影響隊列性能。使用Kafka可以高效可靠地實現(xiàn)斷點續(xù)傳[6]。

5 總結

計算機監(jiān)控系統(tǒng)、調速器、勵磁等系統(tǒng)的數(shù)據、機組狀態(tài)監(jiān)測系統(tǒng)的穩(wěn)態(tài)數(shù)據、局部放電監(jiān)測數(shù)據、油色譜監(jiān)測數(shù)據等可按照介紹的通信方式采集數(shù)據，更新到實時數(shù)據庫，并由隔離通信服務經隔離裝置傳輸至管理信息大區(qū)，平臺按照寫歷史庫策略轉存到歷史數(shù)據庫，并由發(fā)布實時數(shù)據的程序輪詢實時數(shù)據庫，采用“不變不送，定時全送”的策略將實時數(shù)據發(fā)布到Kafka。

機組狀態(tài)監(jiān)測系統(tǒng)的暫態(tài)數(shù)據、局部放電監(jiān)測系統(tǒng)和油色譜監(jiān)測系統(tǒng)的圖譜文件和診斷報告等二進制文件，通過隔離通信服務傳輸至管理信息大區(qū)，存儲到歷史數(shù)據庫，并發(fā)布到管理信息大區(qū)的Kafka。大數(shù)據平臺以訂閱方式獲取數(shù)據。

機組狀態(tài)監(jiān)測系統(tǒng)、油色譜監(jiān)測系統(tǒng)、局部放電監(jiān)測系統(tǒng)等亦可采用數(shù)據庫同步的方式實現(xiàn)數(shù)據采集和傳輸。