基于達夢數據庫的水電廠智能數據存儲策略

金巖磊，郗發剛，高少華，羅 明，張李小璟，平金偉

（1.南京南瑞繼保工程技術有限公司，江蘇 南京 211002；2.華能瀾滄江水電股份有限公司，云南 昆明 650214；3.西安熱工研究院有限公司，陜西 西安 710054）

0 引言

近年來，隨著大云物移智等新一代信息技術的蓬勃發展，大規模、高量級的特點在水電廠數據上尤為突出，傳統的集中式關系型數據庫尚不能達到數據管理的要求，同時也伴隨著查詢速度慢、安全性低等問題［1，2］。

另一方面，各類采集數據、量測數據指數式增長［3］，存儲技術不斷發展變化，業務需求日益復雜，企業數據在制定存儲策略時面對越來越多的不確定性，如何對數據進行科學儲備、處理、應用成為了當下各行各業面臨的重大問題。此外，海量數據具有如下特征：分散性、多樣性和異構性，且對存儲管理系統提出更高的要求［4，5］。

在當前大數據時代，傳統文件系統不能應對存儲挑戰，而具有高可靠、高性能、可擴展的分布式文件系統由于可以有效應對存儲挑戰，被廣泛地使用［6］，其通過分布式數據存儲和計算的系統，在生產環境下能夠較好地進行PB 級數據處理。然而，分布式文件系統同樣面對高數據訪問量的壓力［7］。

水電廠經過多年信息化建設與發展，積累了海量的設備運行數據、臺賬數據、水資源信息數據，隨著數據量的不斷增長，對企業的數據存儲提出了新的挑戰。其次，設備采集、狀態監測、設備臺賬、視頻監控等業務數據不斷發展壯大，不同種類數據存儲的頻度和周期要求各不相同，當前的數據存儲、訪問形式難以滿足業務人員對數據的正常使用需求和管理需求，需要對水電廠智能數據存儲策略開展探索研究。

1 達夢數據庫技術架構及優勢

針對上述數據存儲面臨的現狀和問題，綜合考量國內各大數據庫特點和性能，引入達夢數據庫系統［8］，綜合采用分布式實時數據庫、關系數據庫的方式進行數據的存儲與管理。

1.1 達夢數據庫技術架構

達夢數據庫采用透明分布式數據庫（TDD）技術，能夠分離計算、日志和存儲這三層；并且每一層之間支持獨立擴展，能夠按需實現最佳設備配置。TDD 技術一方面具備如下特性：高可擴展、高可用、高并發處理能力；另外，TDD 技術也具有傳統數據庫的所有高級特性。在架構上（圖1），達夢數據庫繼承了傳統數據庫架構中用到的一切特性，還支持存儲過程、觸發器、Package、序列等高級功能特性。

圖1 達夢數據庫架構圖Fig.1 Structure of dameng database system

1.2 達夢數據庫特性

達夢數據庫具有數據庫管理系統DBMS 的所有基本功能；另外，達夢數據庫也具備通用性、高性能、高安全性、高可靠、高可用性、易用性、海量數據存儲和管理、全文索引、對存儲模塊的支持、對WEB 應用的支持等特征［9］，為水電廠海量的運行數據、臺賬數據存儲提供了較好的支撐。其具體優勢體現在以下4點：①滿足多樣需求；②運維省心便捷；③遷移便捷可靠；④高效的并發機制。

2 水電廠智能數據存儲策略研究

基于商用達夢關系數據庫的如下優點：較高的安全性、較快的處理速率、較大的存儲容量、標準開放的SQL 數據訪問接口等，綜合實時數據庫、歷史數據庫，設計了兩者相結合的數據存儲策略；采用實時庫與歷史庫統一管理的模式，來達到實時應用對數據庫的以下要求：及時性、一致性、完整性和開放性［10］。

實時數據庫能夠高效的存取實時數據，對水電廠電氣設備的運行參數、實時信息、報警、變位、SOE 數據、保護信息等進行存儲和管理。歷史數據庫主要對歷史數據（即離線數據）進行存儲與管理，以期實現提供的歷史數據和數據模型是完整的，且能夠做到分布式管理。另外，采取文件的方式能夠對波形文件、日志圖形、設備信息等進行存儲與管理（圖2）。

圖2 水電廠智能數據存儲策略Fig.2 Intelligent data storage strategy for hydropower plants

2.1 實時數據存儲策略

實時庫是數據平臺的重要組成部分，在以實時應用為主的新能源集控系統中，實時數據庫顯得尤為重要。基于達夢數據庫的實時數據庫分為關系模型的實時庫和面向對象的應用數據集兩個部分，對實時應用來說，這兩者是一整體，在本節中，不區分實時庫和應用數據集，統一為實時庫。

水電廠實時數據主要包括電氣類、機械類、水力類、溫度類、調節特性、其他等多種實時數據（圖3）。

圖3 水電廠實時數據類型Fig.3 Real time data type of hydropower plants

依據應用的需要原則，系統中實時數據庫分布在各臺機器中。即任一節點運行的應用所有數據庫保存在該節點中，完善的一致性模式使得主副本之間同步更新。另外，并發方式下，在滿足數據的完整性和一致性同時，不同程序可以對數據庫內的同一數據集進行并發訪問。數據庫管理系統可以對全網分布的數據庫進行管理，旨在達到全網數據一致性的要求。當修改任何一個計算機或工作站上數據庫中的數據時，全網所有計算機或工作站中的相關數據將自動被數據庫管理系統修改，以期實現數據一致性（圖4）。

圖4 數據庫并發訪問策略Fig.4 Database concurrent access strategy

2.2 歷史數據存儲策略研究

歷史數據庫主要用來存儲發電廠運轉過程中產生的一系列歷史數據，包括周期原始數據、SOE數據、網絡分析數據、PDR數據、報警事件數據、曲線數據、計算統計數據、歷史電網結構、人工置數、設備信息、負荷預測、氣象數據等。同時為了保證數據處理、查詢效率，以實時庫為基礎，設計了一個快速的實時歷史庫，對海量數據進行采集、處理、壓縮、存儲、計算、查詢等。

2.2.1 歷史數據庫存儲數據類型

歷史數據庫存儲的數據范圍很廣，主要可分為如下幾類：

（1）周期原始數據：具有固定存儲周期的數據，如水力機械、發電、變電、輸電和控制及輔助等設備運行數據。

（2）報警事件數據：指的是如主機、網絡等各種系統運行報警，以及如越限的系統報警。

（3）SOE數據：指事件順序記錄（SOE）數據。

（4）PDR數據：指事故追憶（PDR）數據。

（5）曲線數據：指趨勢數據及曲線數據。

（6）網絡分析數據：各種實時網絡分析的數據，如狀態估計計算結果。

（7）歷史電網結構：指實時庫各次發布前均能夠存在商用庫，若采用歷史模型，將模型導出至固定節點的指定應用下即可。為SCADA、PAS提供歷史數據模型管理方法。

（8）人工置數：指有人工輸入的數據（如計劃值），滿足實時歷史同步，參與考核計算。

（9）其他數據：設備信息、負荷預測、氣象數據等，主要是用于存儲、查詢和顯示。

2.2.2 歷史數據的備份與恢復

為了確保歷史數據庫的安全性，多種數據備份和恢復措施被歷史數據管理系統所采納。基于制訂備份計劃，定時執行對歷史庫的聯機備份；亦或者基于備份管理工具，及時執行備份。若出現故障情況，數據能夠通過備份管理工具得以恢復（圖5）。

圖5 數據備份與恢復機制Fig.5 Data backup and recovery mechanism

按一固定時間間隔將低訪問頻率的歷史數據歸檔到外部存儲設備中，這不僅降低了運行歷史庫的數據量，還實現了對歷史數據的長久保存。本文主要采取自動歸檔、自動恢復、手動歸檔、手動恢復這4種歸檔和恢復方式，每種方式的具體含義及步驟參見文獻［11］。

2.2.3 構建高速實時歷史庫

Oracle處理的歷史任務是分鐘級的，對于秒級的存儲任務，Oracle 無法滿足性能要求，并且Oracle 占用空間較大，不利于水電廠歷史數據的快速查詢、調用。因此依托達夢數據庫，以實時庫為基礎，把實時庫作為一個管道，前端緩存采集數據，后端使用Huffman 壓縮已經采集的數據，設計了一個快速的實時歷史庫（圖6）。

圖6 實時歷史庫數據存儲Fig.6 Real time history database data storage

實時歷史數據庫系統是一個分布式系統，由若干個數據客戶端和若干個數據服務器組成，數據客戶端向開發人員提供數據存儲和查詢的接口。而數據服務器由于能夠實現時序數據的壓縮存儲和查詢功能，被證實為實時歷史數據庫系統的關鍵。為了保證數據處理的高效，在數據服務器端采取了多線程設計，分別完成數據收發，數據處理，數據壓縮等功能，實現了數據并行處理。

2.3 數據存儲加密策略

為避免用戶信息通過數據文件被用戶直接獲取，同時為提升數據安全風險管控能力，依托達夢數據庫，采用透明和非透明加密等方式，對全庫、表空間、表列及其他數據庫對象進行加密［12］，數據庫管理系統自動完成密鑰生成、密鑰管理和加解密過程，而用戶是不可見的；這實現了水電廠數據存儲加密的功能，存儲在數據文件中的敏感數據的安全性得以保證，且使得包括DBA在內的其他人無法獲取個人私密數據。

通過ENCRYPT_NAME 參數指定全庫采用AES 加密算法，當DM 數據庫服務器啟動及運行時，對處理的所有數據頁通過AES 加密算法和DM 自動生成的密鑰做加解密處理。若數據頁讀入緩存，則只有經過解密后才能夠得以使用；在對緩存中的數據頁刷盤時，對數據頁采取加密后存儲到數據文件中，以此來保障數據的安全性。

AES 是一種對稱加密算法，即在加密和解密過程中采取的密鑰是一樣的，目前在數據存儲加密領域應用相對廣泛，例如微信小程序加密傳輸就是基于AES 加密算法。具體加密流程如圖7。

圖7 AES加密流程圖Fig.7 Encryption flowchart for AES

（1）明文P：沒有經過加密的數據。

（2）密鑰K：用來加密明文的密碼，密鑰為 DM 自動生成的密鑰。在對稱加密算法中，對于加密與解密過程所采用的密鑰是一樣的。

（3）AES 加密函數：假定E 是AES 的加密函數，那么密文C是一個關于明文P 和密鑰K 的函數，即有C=E（K，P）。這表明，當輸入P和K參數時，加密函數E將輸出C。

（4）密文C：是一個經過加密函數E處理之后的數據。

（5）AES 解密函數：假定D 是AES 的解密函數，那么明文P是一個關于密文C 和密鑰K 的函數，即有P=D（K，C）。這表明，當輸入C和K參數時，解密函數D會輸出P。

3 結語

本文在深入調研水電廠數據存儲現狀基礎上，探索了基于達夢數據庫的實時庫+歷史庫數據存儲策略，研究了基于AES加密算法的數據存儲加密策略，為水電廠海量數據的存儲、訪問、備份、加密、應用提供了參考，確保了數據的安全可用、高效管理。結果表明，基于達夢數據庫的智能數據存儲策略能夠很好的應用于水電廠實際生產運行中，具備較好的可用性、擴展性、穩定性。