巨型水電站多源異構(gòu)數(shù)據(jù)的存儲方法設(shè)計(jì)與研究

稅海霞，艾遠(yuǎn)高

（中國長江電力股份有限公司，湖北 宜昌 443000）

0 引言

巨型水電站設(shè)備眾多，為了有效地監(jiān)控機(jī)組運(yùn)行狀況，使用了大量的在線監(jiān)測設(shè)備。對于巨型水電站而言，由于電站建設(shè)施工周期長達(dá)數(shù)年，致使不同時(shí)期機(jī)組配置的在線監(jiān)測設(shè)備不完全相同，并逐步建立成多個(gè)不同功能或不同版本的在線監(jiān)測系統(tǒng)；各狀態(tài)監(jiān)測系統(tǒng)分散建設(shè)，數(shù)據(jù)類型不一致，缺乏統(tǒng)一標(biāo)準(zhǔn)；監(jiān)測系統(tǒng)廠家眾多，部署方式各異，各專業(yè)系統(tǒng)分散建模。由于對這種多源異構(gòu)信息的存儲并沒有系統(tǒng)的標(biāo)準(zhǔn)化方法,使得系統(tǒng)狀態(tài)分析和信息智能應(yīng)用都無法進(jìn)行；同時(shí)，各子系統(tǒng)的數(shù)據(jù)格式也不一致、互不通信，不能進(jìn)行信息的資源共享，所以分析不同的信息都需要登錄不同的系統(tǒng)接口，為信息的有效應(yīng)用、狀態(tài)監(jiān)測大數(shù)據(jù)挖掘和信息智能識別等增加了諸多不便。

近年來，多源異構(gòu)數(shù)據(jù)存儲方案有了一系列的解決方案，如基于Hadoop 的多源異構(gòu)配用電數(shù)據(jù)存儲方法[1]，但是針對巨型水電站的多源異構(gòu)數(shù)據(jù)存儲方面涉及并不多。為了解決這一問題，本文提出一種巨型水電站多源異構(gòu)數(shù)據(jù)的存儲設(shè)計(jì)方法，通過對電站的多個(gè)在線監(jiān)測系統(tǒng)數(shù)據(jù)的采集集成、統(tǒng)一存儲，利用多協(xié)議轉(zhuǎn)換算法[2]、數(shù)據(jù)庫分類存儲策略、海量數(shù)據(jù)存儲[3]等技術(shù)對各系統(tǒng)進(jìn)行數(shù)據(jù)融合，最終在統(tǒng)一的在線監(jiān)測數(shù)據(jù)平臺實(shí)現(xiàn)對數(shù)據(jù)的高效利用及共享，為后續(xù)的數(shù)據(jù)智能化應(yīng)用以及水電站的設(shè)備狀態(tài)評估提供有效的分析平臺?？山鉀Q當(dāng)前巨型水電站在數(shù)據(jù)維護(hù)和高效利用等方面存在的諸多問題。

1 多源異構(gòu)數(shù)據(jù)處理方案

1.1 多源異構(gòu)數(shù)據(jù)概念

多源異構(gòu)數(shù)據(jù)[4]即數(shù)據(jù)來源于不同的系統(tǒng)，且數(shù)據(jù)格式各異的數(shù)據(jù)。對于巨型水電站來說一般包括來自機(jī)組的振動(dòng)擺度、發(fā)電機(jī)氣隙系統(tǒng)、油氣系統(tǒng)、發(fā)電機(jī)局放系統(tǒng)、主變直流偏磁系統(tǒng)、監(jiān)控趨勢分析系統(tǒng)等多個(gè)系統(tǒng)的數(shù)據(jù)，這些數(shù)據(jù)類型各異，且其數(shù)據(jù)通信協(xié)議包括IEC 104[5]、IEC 61850[6]以及各種私有規(guī)約，那么這些數(shù)據(jù)即為多源異構(gòu)數(shù)據(jù)。

多源異構(gòu)數(shù)據(jù)具有以下特點(diǎn)：

(1)混合型數(shù)據(jù)：包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；

(2)數(shù)據(jù)離散性：數(shù)據(jù)分布在不同的系統(tǒng)或者平臺；

(3)數(shù)據(jù)量大：基本上每個(gè)平臺的數(shù)據(jù)量都非常龐大；

(4)數(shù)據(jù)質(zhì)量不一致：不同平臺的數(shù)據(jù)質(zhì)量指標(biāo)不一致。

1.2 多源異構(gòu)數(shù)據(jù)存儲現(xiàn)狀

目前針對巨型水電站還沒有一種很好的方法來實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的統(tǒng)一存儲功能。而目前的電力行業(yè)數(shù)據(jù)的統(tǒng)一分析與管理面臨的最大的問題就是數(shù)據(jù)管理服務(wù)質(zhì)量較低,主要包括基礎(chǔ)不牢固、原始數(shù)據(jù)質(zhì)量低及數(shù)據(jù)共享困難等，主要體現(xiàn)在以下4 個(gè)方面：①基于其業(yè)務(wù)特性，數(shù)據(jù)收集的及時(shí)性、完整性、一致性等方面不夠完善；②受采集效率和精度所限，部分?jǐn)?shù)據(jù)需手動(dòng)錄入，而數(shù)據(jù)源的唯一性和準(zhǔn)確性又亟需提升；③沒有完善的數(shù)據(jù)管控策略、技術(shù)標(biāo)準(zhǔn)和規(guī)范；④沒有統(tǒng)一行業(yè)層面上的數(shù)據(jù)模型標(biāo)準(zhǔn)，且主數(shù)據(jù)管理、各系統(tǒng)數(shù)據(jù)口徑并不統(tǒng)一，而業(yè)務(wù)鏈條間又沒有進(jìn)行完整的的數(shù)據(jù)共享，進(jìn)而造成了信息中重復(fù)數(shù)據(jù)占用的過大空間。綜上，由于各子系統(tǒng)之間數(shù)據(jù)格式不統(tǒng)一、互不通信，產(chǎn)生了數(shù)據(jù)孤島，難以實(shí)現(xiàn)數(shù)據(jù)共享與關(guān)聯(lián)等高級分析，給數(shù)據(jù)的使用效率、便捷使用及分析帶來了諸多不便。

2 多源異構(gòu)數(shù)據(jù)存儲方法的基礎(chǔ)架構(gòu)

此種適用于巨型水電站多源異構(gòu)數(shù)據(jù)的存儲設(shè)計(jì)方法基于如下的基礎(chǔ)架構(gòu)：現(xiàn)地層、數(shù)據(jù)采集層和廠站應(yīng)用層。其中，現(xiàn)地層包括電站各個(gè)在線監(jiān)測子系統(tǒng)；數(shù)據(jù)采集層包括數(shù)據(jù)采集服務(wù)器群、核心交換機(jī)、隔離裝置、入侵檢測裝置、終端管控和審計(jì)系統(tǒng)等；廠站應(yīng)用層包括核心交換機(jī)、設(shè)備評估及診斷服務(wù)器群、磁盤陣列、web 服務(wù)器和防火墻等。總體數(shù)據(jù)流向如圖1 所示。

圖1 多源異構(gòu)數(shù)據(jù)的存儲設(shè)計(jì)方法總體數(shù)據(jù)流向圖

2.1 具體功能

2.1.1 現(xiàn)地層

現(xiàn)地層由各在線監(jiān)測子系統(tǒng)組成，現(xiàn)地層保留原有在線監(jiān)測子系統(tǒng)結(jié)構(gòu)。此層設(shè)備將原數(shù)據(jù)傳輸至采集層數(shù)據(jù)服務(wù)器群。

2.1.2 數(shù)據(jù)采集層

數(shù)據(jù)采集層中的數(shù)據(jù)采集服務(wù)器群通過專門開發(fā)的通信接口采集各現(xiàn)地子系統(tǒng)的實(shí)時(shí)監(jiān)測數(shù)據(jù)，對采集的數(shù)據(jù)進(jìn)行協(xié)議處理、格式轉(zhuǎn)換、數(shù)據(jù)壓縮后經(jīng)過隔離裝置上送給廠站應(yīng)用層，并滾動(dòng)存儲至少3 個(gè)月的在線監(jiān)測數(shù)據(jù)。在此實(shí)現(xiàn)的主要功能有數(shù)據(jù)建模、數(shù)據(jù)采集等。功能對照表如表1。

表1 數(shù)據(jù)采集層功能對照表

數(shù)據(jù)建模：搭建統(tǒng)一、標(biāo)準(zhǔn)、規(guī)范數(shù)據(jù)模型，將數(shù)據(jù)監(jiān)測點(diǎn)與數(shù)據(jù)模型進(jìn)行映射，并對設(shè)備和監(jiān)測點(diǎn)進(jìn)行編碼。實(shí)現(xiàn)對電廠設(shè)備和狀態(tài)監(jiān)測點(diǎn)的層次結(jié)構(gòu)和編碼進(jìn)行有效管理。

數(shù)據(jù)采集：通過通信接口將各子系統(tǒng)的原始數(shù)據(jù)集成到數(shù)據(jù)采集層，同時(shí)預(yù)留在線數(shù)據(jù)通用接口，便于后續(xù)不同廠家、不同類型的監(jiān)測設(shè)備接入本平臺。在數(shù)據(jù)采集服務(wù)器實(shí)現(xiàn)軟件對時(shí)。此外，還能監(jiān)控?cái)?shù)據(jù)采集的通信情況，自動(dòng)評估采集狀態(tài)，在出現(xiàn)異常時(shí)發(fā)出報(bào)警。

數(shù)據(jù)處理：對各在線監(jiān)測子系統(tǒng)的原始數(shù)據(jù)按照標(biāo)準(zhǔn)化的數(shù)據(jù)模型規(guī)范轉(zhuǎn)換成統(tǒng)一的格式。

數(shù)據(jù)存儲：根據(jù)數(shù)據(jù)采集服務(wù)器的磁盤空間及采集效率，滾動(dòng)存儲至少3 個(gè)月的在線監(jiān)測數(shù)據(jù)，保證相關(guān)數(shù)據(jù)在數(shù)據(jù)采集層與廠站應(yīng)用層數(shù)據(jù)的一致性，實(shí)現(xiàn)各個(gè)子系統(tǒng)的報(bào)文存儲，并為廠站層數(shù)據(jù)傳輸異常時(shí)的斷點(diǎn)續(xù)送預(yù)留足夠的滯留時(shí)間。

數(shù)據(jù)傳輸：數(shù)據(jù)采集層服務(wù)器采用動(dòng)態(tài)映射技術(shù)（在大數(shù)據(jù)量的情況下保證展示數(shù)據(jù)能夠直接實(shí)時(shí)同步至廠站應(yīng)用服務(wù)器）將數(shù)據(jù)采集層服務(wù)器數(shù)據(jù)傳輸?shù)綇S站層應(yīng)用服務(wù)器。

2.1.3 廠站應(yīng)用層

廠站應(yīng)用層用來接收數(shù)據(jù)采集層的數(shù)據(jù)后對數(shù)據(jù)進(jìn)行解壓和處理分析，再依據(jù)數(shù)據(jù)庫分類存儲策略進(jìn)行分類入庫存儲，形成數(shù)據(jù)存儲中心。同時(shí)接收離線輸入的特殊數(shù)據(jù)，對數(shù)據(jù)進(jìn)行運(yùn)算，提取特征量并存儲不少于4 年的在線監(jiān)測原始數(shù)據(jù)。在此與其他的數(shù)據(jù)服務(wù)及診斷分析進(jìn)行數(shù)據(jù)交互并形成一個(gè)統(tǒng)一展示和操作的平臺。在此實(shí)現(xiàn)的主要功能有數(shù)據(jù)存儲、數(shù)據(jù)應(yīng)用、網(wǎng)絡(luò)監(jiān)視及自診斷工具、配置管理工具和系統(tǒng)管理等。功能對照表如表2。

表2 廠站應(yīng)用層功能對照表

數(shù)據(jù)存儲：采用數(shù)據(jù)庫分類存儲策略進(jìn)行數(shù)據(jù)存儲，即采用實(shí)時(shí)數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫和專用數(shù)據(jù)庫對系統(tǒng)數(shù)據(jù)進(jìn)行分類存儲。結(jié)合實(shí)時(shí)數(shù)據(jù)庫的快速存儲特性與關(guān)系數(shù)據(jù)庫的條件關(guān)系特性，保證系統(tǒng)數(shù)據(jù)能夠在特定條件下快速完成復(fù)雜的計(jì)算、查詢等操作，并能夠存儲至少4 年的測點(diǎn)原始數(shù)據(jù)。針對海量的實(shí)時(shí)數(shù)據(jù)存儲，為了減少磁盤空間占用率，采用數(shù)據(jù)壓縮處理功能針對存儲過程中的不同階段，在保證數(shù)據(jù)精度的前提下，分別采用有損壓縮[7]和無損壓縮技術(shù)[8]進(jìn)行壓縮處理。

數(shù)據(jù)應(yīng)用：通過設(shè)備狀態(tài)模擬畫面、趨勢圖、分析圖等形式對監(jiān)測數(shù)據(jù)進(jìn)行分析展示，實(shí)現(xiàn)設(shè)備狀態(tài)監(jiān)控、數(shù)據(jù)告警、數(shù)據(jù)計(jì)算、數(shù)據(jù)趨勢分析、統(tǒng)計(jì)報(bào)表等應(yīng)用功能，從而各子系統(tǒng)的監(jiān)測數(shù)據(jù)得到整體的展示與分析，使原本分散的各子系統(tǒng)應(yīng)用能夠相互結(jié)合，得到統(tǒng)一的管理。此外，通過標(biāo)準(zhǔn)化的數(shù)據(jù)服務(wù)，實(shí)現(xiàn)廠站應(yīng)用層對外部系統(tǒng)的開放性需求。

2.2 存儲方法及技術(shù)策略

2.2.1 多協(xié)議轉(zhuǎn)換算法

數(shù)據(jù)采集服務(wù)器通過多種接口方式（UDP 組播/多播、TCP 客戶端、TCP 服務(wù)端等）接收從現(xiàn)地層上送的原格式數(shù)據(jù)，并對其進(jìn)行協(xié)議轉(zhuǎn)換，轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)格式，再上送給廠站應(yīng)用層。多協(xié)議轉(zhuǎn)換算法即將IEC 104 協(xié)議、IEC 61850 協(xié)議以及私有規(guī)約經(jīng)過協(xié)議預(yù)處理，將數(shù)據(jù)格式轉(zhuǎn)換成統(tǒng)一的具有統(tǒng)一時(shí)標(biāo)的數(shù)據(jù)類型——KKS 編碼，最后實(shí)現(xiàn)以報(bào)文[9]的形式進(jìn)行數(shù)據(jù)傳輸。數(shù)據(jù)采集與廠站層高級應(yīng)用之間的數(shù)據(jù)傳輸關(guān)系如圖2 所示。

圖2 數(shù)據(jù)采集與高級應(yīng)用之間數(shù)據(jù)傳輸關(guān)系圖

2.2.2 數(shù)據(jù)庫分類存儲策略

數(shù)據(jù)庫分類存儲策略即廠站應(yīng)用層接收數(shù)據(jù)后對數(shù)據(jù)進(jìn)行解析再分類入庫存儲——實(shí)時(shí)數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫和專用數(shù)據(jù)庫進(jìn)行存儲。實(shí)時(shí)數(shù)據(jù)庫實(shí)現(xiàn)對各設(shè)備采集的實(shí)時(shí)數(shù)據(jù)和波形數(shù)據(jù)的數(shù)據(jù)存儲；關(guān)系數(shù)據(jù)庫實(shí)現(xiàn)對離線測試數(shù)據(jù)、文檔數(shù)據(jù)、系統(tǒng)配置數(shù)據(jù)和索引數(shù)據(jù)的存儲；專用數(shù)據(jù)庫實(shí)現(xiàn)對數(shù)據(jù)結(jié)構(gòu)繁雜的測試數(shù)據(jù)、樣本數(shù)據(jù)、故障分析數(shù)據(jù)的存儲。此數(shù)據(jù)主要來源振擺和氣隙原始報(bào)文值，具有數(shù)據(jù)量大，價(jià)值相對較低，結(jié)構(gòu)松散的特點(diǎn)。同時(shí)通過異構(gòu)數(shù)據(jù)關(guān)聯(lián)技術(shù)實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)訪問。

其中實(shí)時(shí)數(shù)據(jù)庫采用Fastar 時(shí)序庫，由于其使用并行計(jì)算技術(shù)和分布式架構(gòu)，使其對實(shí)時(shí)數(shù)據(jù)的數(shù)據(jù)壓縮和存儲有著明顯的優(yōu)勢，能完整存儲各狀態(tài)監(jiān)測系統(tǒng)采集的數(shù)據(jù)，保證數(shù)據(jù)獲取的完整性、及時(shí)性、一致性；關(guān)系數(shù)據(jù)庫采用Oracle 關(guān)系庫，主要特點(diǎn)是對數(shù)據(jù)庫表設(shè)置了完整性約束，從而提升數(shù)據(jù)質(zhì)量。Oracle 提供Check、Foreign key、Not Null、Primary、Unique 這5 種方式來保證數(shù)據(jù)的完整性。同時(shí)Oracle 支持現(xiàn)有主流數(shù)據(jù)庫管理系統(tǒng)和主流應(yīng)用服務(wù)器，為了使系統(tǒng)獲得良好的兼容性，數(shù)據(jù)安全性、穩(wěn)定性和可擴(kuò)展性選擇Oracle 關(guān)系庫；專用數(shù)據(jù)包括系統(tǒng)日志、系統(tǒng)訪問信息、備份數(shù)據(jù)等，這些數(shù)據(jù)具有不規(guī)則結(jié)構(gòu)、生產(chǎn)速度快、存儲規(guī)模大，且具有高并發(fā)訪問量、高吞吐量、高生產(chǎn)率的特點(diǎn)，我們將這些數(shù)據(jù)從關(guān)系數(shù)據(jù)庫中剝離出來，采用開源分布式MongoDB 數(shù)據(jù)庫進(jìn)行存儲。

2.2.3 數(shù)據(jù)傳輸與轉(zhuǎn)發(fā)

針對數(shù)據(jù)量大，數(shù)據(jù)高頻等特點(diǎn)進(jìn)行優(yōu)化、開發(fā)一整套數(shù)據(jù)傳輸軟件。以保證數(shù)據(jù)傳輸性能、可靠性達(dá)到要求。需要滿足多種格式文件傳輸，壓縮傳輸?shù)裙δ?，保證傳輸數(shù)據(jù)的正確性。

為了程序解耦，使程序更容易擴(kuò)展和維護(hù)，提供系統(tǒng)的可用性，在數(shù)據(jù)采集層（Ⅱ區(qū)）和廠站應(yīng)用層（Ⅲ區(qū)）穿越隔離器傳輸數(shù)據(jù)時(shí)，采用可靠性穩(wěn)定性最高的方式。所有接收到的數(shù)據(jù)，都會(huì)暫存在數(shù)據(jù)采集層。從軟件邏輯上來說，數(shù)據(jù)采集程序和傳輸程序解耦，后續(xù)維護(hù)和易用性都很高，排查問題也相對簡單容易。傳輸軟件程序邏輯結(jié)構(gòu)圖如圖3。

圖3 傳輸軟件程序邏輯結(jié)構(gòu)圖

主要邏輯說明：

（1）特征值XML 文件和61850 特征值XML 文件傳輸：私有協(xié)議、104 協(xié)議的子系統(tǒng)都會(huì)統(tǒng)一生成一般的特征值XML 文件，61850 子系統(tǒng)都會(huì)統(tǒng)一生成61850 特征值XML 文件。在數(shù)據(jù)采集層傳輸軟件客戶端讀取文件，將文件進(jìn)行壓縮處理等，再將數(shù)據(jù)發(fā)送到廠站應(yīng)用層傳輸軟件服務(wù)端。傳輸軟件服務(wù)端，收到數(shù)據(jù)后，將數(shù)據(jù)分別還原成特征值XML文件和61850 特征值XML 文件。

（2）振擺和氣隙報(bào)文二進(jìn)制文件傳輸：振擺子系統(tǒng)和發(fā)電機(jī)氣隙子系統(tǒng)會(huì)生成二進(jìn)制報(bào)文文件，此文件存儲的是原始波形數(shù)據(jù)。在數(shù)據(jù)采集層傳輸軟件客戶端，讀取文件，將文件進(jìn)行壓縮處理等，再將數(shù)據(jù)發(fā)送到廠站應(yīng)用層傳輸軟件服務(wù)端。傳輸軟件服務(wù)端收到數(shù)據(jù)后，將數(shù)據(jù)分別還原成振擺和氣隙二進(jìn)制報(bào)文文件。

2.2.4 海量數(shù)據(jù)存儲

針對海量的實(shí)時(shí)數(shù)據(jù)存儲，為了減少磁盤空間占用率，數(shù)據(jù)壓縮處理功能針對存儲過程中的不同階段，以保證數(shù)據(jù)精度為目的，可選擇性采用有損壓縮和無損壓縮技術(shù)進(jìn)行壓縮處理。

有損壓縮和無損壓縮算法沒有優(yōu)劣之分，只是適用于數(shù)據(jù)存儲過程的不同階段。對于完成采集的數(shù)據(jù)點(diǎn)存儲，因其存在許多無效數(shù)據(jù)，可以采用有損壓縮進(jìn)行處理。同時(shí)，針對存在規(guī)律變化的數(shù)據(jù)，可以通過有損壓縮降低磁盤空間的占用率。相對于無損壓縮，有損壓縮算法的速率更高，但是在數(shù)據(jù)歸檔階段，最好采用無損壓縮算法。

數(shù)據(jù)存儲處理的是以時(shí)標(biāo)為序列的數(shù)據(jù)。實(shí)時(shí)數(shù)據(jù)處理后，系統(tǒng)才根據(jù)這種過程數(shù)據(jù)選擇經(jīng)過特殊優(yōu)化的數(shù)據(jù)壓縮算法進(jìn)行數(shù)據(jù)壓縮，最后再保存到經(jīng)過優(yōu)化過的數(shù)據(jù)文件中。在寫入歷史數(shù)據(jù)時(shí),操作系統(tǒng)不對歷史數(shù)據(jù)進(jìn)行過程算法的壓縮,而直接保存到數(shù)據(jù)文件中。這樣既保證了數(shù)據(jù)處理的效率，同時(shí)也具備容錯(cuò)處理功能。

3 結(jié)論

本文設(shè)計(jì)的多源異構(gòu)數(shù)據(jù)存儲設(shè)計(jì)方法的數(shù)據(jù)庫支持毫秒級時(shí)標(biāo)，并能完全存儲測點(diǎn)原始數(shù)據(jù)，數(shù)據(jù)的真實(shí)性、有效性與可靠性均有保障，數(shù)據(jù)質(zhì)量高；數(shù)據(jù)庫具備網(wǎng)絡(luò)結(jié)構(gòu)體系，配置定期備份和歸檔功能，并保證各表單間數(shù)據(jù)冗余最小化，基礎(chǔ)牢固；數(shù)據(jù)庫表單設(shè)定預(yù)保留字段，支持后期數(shù)據(jù)擴(kuò)展，后期若有新的系統(tǒng)數(shù)據(jù)接入時(shí)可以免開發(fā)，將標(biāo)準(zhǔn)協(xié)議的第三方子系統(tǒng)接入；處理后的數(shù)據(jù)處理效率高，具備容錯(cuò)處理功能；處理后的數(shù)據(jù)集中統(tǒng)一存儲，實(shí)現(xiàn)了數(shù)據(jù)共享與關(guān)聯(lián)等高級分析。

本方法的安全性高、穩(wěn)定性強(qiáng)、開放性高，后期可維護(hù)程度高，并且此方法已在某巨型電站得到有效實(shí)施，運(yùn)行穩(wěn)定，實(shí)用性強(qiáng)，是一種適用于大型水電站多源異構(gòu)數(shù)據(jù)的存儲設(shè)計(jì)方法。