電力氣象系統數據存儲優化方案

摘 要：隨著電力氣象相關系統規模的不斷擴大，數據存儲管理變得越來越復雜，傳統的單服務器數據存儲方式已經無法滿足管理者和用戶對系統高可用性、高可靠性的需求，因此，提出一種新型的數據存儲優化方案變得十分必要。

關鍵詞：大數據Hadoop平臺數據存儲；存儲優化方案；電力氣象

中圖分類號：TP311.13 文獻標識碼：A文章編號：2096-4706（2018）01-0155-04

An Optimization Scheme for Data Storage of Power Meteorological System

GAO Yang1，LI Zhe1，YUAN Sikun1，SHANG Bingbing1，ZHANG Xiaofei2

（1.Henan EPRI Hi Tech Group Co.，Ltd.，Zhengzhou 450052，China；2.Henan Electric Power Company of State Network Power Science Research Institute，Zhengzhou 450052，China）

Abstract：With the development of power system related meteorological scale expanding，data storage management becomes more and more complicated，the traditional single server data storage has been unable to meet the managers and users，the demand for high reliability，the system can therefore become very necessary to put forward a new data storage optimization scheme.

Keywords：big data Hadoop platform data storage；storage optimization scheme； power weather

1 背景分析

近年來，隨著電子計算機和物聯網的迅速發展，我國電網建設進入了以特高壓和智能電網為特征的全新發展階段，日益擴大的電網規模，不斷增加的電網容量、日趨復雜的電網結構、逐漸增大的地理跨度，使電網生產遭受惡劣氣象條件和天氣現象的影響程度和影響強度也隨之增加。總體來看，近些年我國50%以上的輸電線路故障是由于惡劣天氣導致，如果電網運檢、運維決策人員可以提前得到強對流預警信息，對易受災害線路進行防范控制，就可以有效地減少氣象災害對電網的破壞。因此，研究氣象預警，尤其是極端天氣對電網輸電線路影響有著十分重大的意義，電力氣象相關系統應運而生，其中包括電力氣象預警系統、架空輸電線智能預警系統、舞動預警中心系統等。

隨著這些系統規模的不斷擴大，隨之而來大規模電力數據、氣象數據及日志數據等數據構成了“電力氣象大數據”。這些極速涌現的數據有著極高的價值，卻也給系統數據存儲設計帶來了挑戰。當前，傳統的單服務器數據存儲方式已經無法滿足用戶和管理者對系統高可用性、高可靠性的需求。多個獨立且各不相同的歸檔系統，使維護和管理任務大大的增加。因此，提出一種新型的電力氣象數據存儲優化方案就變得十分必要。

2 系統數據存儲存在的問題

為了描述方便，以下將電力氣象相關系統數據統稱為電力氣象數據。電力氣象數據按照組織方式可以分為兩種。第一種存儲在Oracle數據庫中，主要是結構化的關系數據以及以blog方式存儲的大字段數據；第二類數據存儲在磁盤文件系統中，主要是從第三方組織（系統）采集（提取）的原始數據文件以及計算服務生成的非結構化數據文件。以上兩類數據都存在以下問題：

2.1 空間擴展性較差。

電力氣象相關系統的結構化數據倉庫是由Oracle實例來執行的，由于這些數據庫服務器都是單獨存放的，一旦表空間不足，只有通過添加硬盤或更換服務器的方式對表空間進行擴容。這種擴展方式不僅價格昂貴，需要將原有數據庫中的數據進行備份和數據同步，時間成本、安全成本和人工成本都比較高，且無法保證保證系統正常運行。

2.2 數據讀取性能問題。

一方面，由于當前幾乎所有非結構化數據均存儲在Oracle數據庫中，許多氣象產品如精細化數值預報數據由于數據規模過大（通常達到上億數據量），即使通過添加索引、分表和分區等方法也幾乎無法做到數據的快速存儲和讀取。另一方面，傳統的Oracle數據庫對數據庫事務一致性都有要求，滿足這種一致性要求是以降低部分數據庫讀取性能為代價的，而在電力氣象數據挖掘和分析過程中，不需要數據庫事務特征和對讀一致性的嚴格要求。

2.3 數據安全性無法得到保障

由于數據庫服務器和文件服務器都是單獨存放的，一旦服務器出現宕機等故障，系統數據就面臨丟失的風險。其次，數據庫一旦出現故障，一般必須由專門的DBA進行數據恢復，一旦操作人員有錯誤操作，數據就有無法恢復的風險。

3 系統數據優化方案

分布式存儲平臺的提出尤其是Hadoop存儲架構的出現為電力氣象大數據存儲提供了即時可行解決方案，同時也為大數據分析、挖掘提供了有效便捷的方式。

依據Hadoop平臺存儲規范，對于結構化數據和非結構化數據采用不同的解決策略。存儲在Oracle數據庫中的結構化數據，根據數據表大小與使用場景進行分類，如果數據表巨大或者表數據需進行進一步的挖掘分析，則將數據遷移存儲在基于Hadoop的Hbase數據庫中進行存儲，而對于數據量不大或強業務關系表數據則保持現有Oracle數據庫存儲方式進行存儲。

利用關系型數據庫對于復雜查詢和事務支持的特點與非關系型數據庫的高性能和高可擴展性特點相結合存儲的方式不僅滿足了系統業務的需求，同時也滿足了數據管理者對數據挖掘、分析和快速存取的需求。對于非結構化數據則直接存儲在基于Hadoop平臺的分布式文件系統（Hadoop distributed file system，HDFS）。下圖為預設的數據存儲流程，其中虛線框內的部分為大數據平臺的功能模塊，如圖1所示。

3.1 結構化數據優化方案

3.1.1 數據現狀

在Oracle數據庫中，我們將每年增長500萬條記錄以下的數據表稱為一般表數據，反之，對于每年增長500萬以上條記錄的數據稱為大巨量表數據。對于一般表數據，由于其大小總量有限，因此可以繼續存儲在Oracle數據庫中。大巨量表數據，大致包含氣象雷達和自動站數據、精細化數值預報數據，以上幾類數據擁有以下幾種主要特征：

（1）從外部系統（組織）獲取原始數據文件，傳輸至電網安全III區進行數據解析，并轉存到Oracle數據庫表中。所以，既有原始數據文件，同時又有對應的關系數據表。

（2）數據規模龐大并持續增長，對失效數據的周期沒有明確的依據和標準，因而不能清除舊數據或者轉移舊數據。

（3）實時訪問性要求較高且每批次需讀取的數據記錄量較大。

（4）存儲在Oracle中的表數據獨立性較強，與其他數據表的關聯查詢場景涉及較少。

（5）距離當前時間最新批次的數據使用頻率較高，歷史數據使用頻率很低。

3.1.2 大表數據存儲與優化方案

將以上各類海量結構化數據，逐步從Oracle中遷移到HBase中，采用HBase數據表進行存儲。在數據遷移過程中，對關系數據結構進行業務重構，剔除無效無用數據列或者進行表的拆分處理。具體實施方案如下：

第一步，創建對應的HBase命名空間、數據表。根據具體業務設計HBase行鍵（Rowkey），一般設計思路為站點編號+時間+屬性，如有特殊業務需求可以特殊設計。

第二步，升級電力氣象數據解析服務，在將數據存儲到Oracle數據庫的基礎上，增加大數據存儲通道，按照HBase行健設計組織數據，調用HBase存儲接口，將各類數據實時寫入HBase對應表中。

第三步，編寫Oracle歷史數據轉存HBase服務程序。確定升級時間點，譬如定于2016-08-01啟用升級版的數據解析服務，則將2016-08-01之前的歷史數據轉存到HBase中。

第四步，Oracle數據庫與HBase數據庫并行運行一段時間，待HBase應用成熟并穩定下來后，Oracle庫只保留7天的歷史數據，刪除7天之前的歷史數據。

3.2 非結構化數據優化方案

3.2.1 數據現狀

這里的非結構化數據，是相對于電力氣象Oracle中的數據而言，泛指存儲在磁盤文件系統中的數據文件，包括采集自第三方系統（組織）的原始數據文件、各類氣象模型生成的中間結果數據文件和相關日志等。

電力氣象系統的前臺應用，大部分都是基于Oracle中的結構化數據，與這些所謂的非結構化數據文件關聯性較弱，僅僅涉及部分小體積的純文本文件、圖片（前臺展示）等；其他大部分數據文件，在經過初次的數據解析和計算加工后，都只是作為一種存儲策略保存在服務器指定磁盤目錄中。

這部分數據普遍具有如下幾種特征：

（1）原始文件類型繁多、內容結構復雜。

（2）文件體積較小，最大50MB左右。

（3）文件數量較多，一般按照時間順序遞增。

（4）文件按照業務類型分目錄存儲。

3.2.2 存儲策略

對以上非結構化文件的優化處理，由于極少涉及讀寫性能方面的要求，所以只是在存儲策略方面的優化?？梢詫⒁陨戏墙Y構化文件轉存到基于Hadoop平臺的HDFS系統中，利用分布式文件系統的分布式存儲和多副本機制，確保數據文件的存儲安全。

另外，Hadoop官方并不建議在HDFS中存儲大量的小文件，因為這將占用更多的元數據存儲空間，而電力氣象的數據文件普遍比較小且數量多，所以必須在轉儲到HDFS系統之前進行文件的合并或者打包處理。

3.2.3 設計方案

本章節我們將詳細講述如何構建一個通用的“本地文件定時同步HDFS服務”，以便于將本地數據文件導入到HDFS系統中，此服務具備以下幾大功能：

（1）HDFS文件瀏覽器。在操作界面和功能上類似于windows的資源管理器，可實現創建目錄文件、文件重命名、刪除目錄文件、上傳本地目錄文件、下載HDFS文件、移動HDFS文件、HDFS文件查看、HDFS目錄導航樹、HDFS目錄文件列表、HDFS文件屬性展示等操作。對于上傳下載較大體積的文件時，必須有進度提醒機制。

（2）可配置的本地文件定時同步到HDFS機制。利用定時輪詢機制，定時掃描本地目錄，將新文件上傳到HDFS系統中?？膳渲枚鄠€監測掃描機制，之間互不干擾。

（3）HDFS目錄授權管理?；趌inux系統的目錄文件權限分配機制，可進行HDFS目錄所屬用戶、用戶組權限分配調整。

（4）系統安全管理。包括系統登錄驗證、用戶角色功能分配等，以及HDFS文件瀏覽器根目錄的配置管理，譬如系統管理員的根目錄為HDFS根目錄，普通用戶的根目錄則為HDFS系統的某個子目錄。

3.2.4 目錄映射機制

圖2為“本地目錄與HDFS系統目錄之間的映射”示例圖，在原樣復制本地目錄結構的基礎上，可以改變子目錄的層級結構、重命名子目錄、目錄內文件合并等特殊操作。至于目錄內文件的重命名操作，目前暫時不考慮。

3.2.5 文件同步方案

為了避免重復上傳本地文件，在掃描時需要界定出那些是未上傳過的新文件，目前有兩種解決方案。

（1）方案一。本地文件上傳到HDFS后，刪除本地文件或者將其移動到其他磁盤目錄中，這樣可保證服務每次掃描到的數據文件都是新文件。此種解決方案的優點是可快速掃描出新文件，不需要維護MD5信息；缺點是需要刪除或者移動原始文件。

（2）方案二。針對每個同步方案，構建一個已上傳文件的MD5信息列表文件，文件名稱為：同步方案編碼-md5.txt，譬如電力氣象基站原數據同步服務的MD5文件名稱為sync-weather-data-md5.txt。系統啟動時，將每個同步方案的MD5信息加載到內存中，掃描到本地文件時，先獲取此文件的MD5信息，然后在MD5列表中檢查是否存在；如果不存在，說明此文件沒有上傳過，可視為新文件，則將其上傳到HDFS系統中，同時將MD5信息加入到MD5列表中；如果存在，則說明此文件之前已經上傳過，可跳過繼續掃描其它文件。每次掃描結束后，將內存中的MD5信息列表序列化到本地磁盤文件中。這種解決方案的優點是無需刪除或移動原始文件，不足是每次都需要掃描很多的文件，并且需要獲取文件的MD5信息，導致掃描和同步操作比較耗時。

（3）結論。選擇方案時，需要考慮當前系統剩余空間大小與是否可以刪除或移動原始文件。由于電力氣象系統許多原始數據前臺仍需使用，且當前服務器還有一定余量，因此選擇方案二。

4 結 論

本文給出了一個適合電力氣象大數據的存儲優化解決方案，有效地保障了電力氣象系統的高可用性，同時提升了電力氣象數據存儲和管理便利性，為電力氣象數據挖掘分析提供了支持和保障。

參考文獻：

[1] 陳超.大數據背景下電力行業數據應用研究 [J].現代電子技術，2013（24）：8-11+14.

[2] 李皎.大數據時代到來對電力行業發展提出新要求 [J].華北電業，2012（4）：82-83.

[3] 衡星辰，周力.分布式技術在電力大數據高性能處理中的應用 [J].電力信息與通信技術，2013（9）.

[4] 王淑祥.基于Hadoop的海量電能質量監測數據分析平臺研究 [J].信息科技，2013（13）：79-80.

作者簡介：高陽（1988.11-），男，漢族，河南洛陽人，軟件設計師，工程師，學士。研究方向：電力信息化、軟件設計；李哲（1981.11-），男，漢族，河南南陽人，監測分析師主任，高級工程師，學士。研究方向：電力信息化，電力氣象；苑司坤（1982.02-），男，漢族，河南商丘人，項目經理、軟件設計師，工程師，學士。研究方向：電力信息化、軟件設計；商兵兵（1981.06-），男，漢族，河南平頂山人，軟件工程師，工程師，學士。研究方向：電力信息化、大數據；張小斐（1976.07-），男，漢族，河南南陽人，狀態信息室主任，高級工程師，雙學士。研究方向：電力信息化、大數據。