電力大數據高速存儲及檢索關鍵技術研究

李旭輝　徐玉生

摘 要：本文首先對當前電網典型業務系統大數據架構進行簡單分析，重點研究而電力大數據高速存儲及檢索特征和關鍵技術，了解電力大數據的重點技術，在此基礎上深入研究即時處理技術對于大數據典型應用的有效性，希望通過本文的研究能夠更加全面的掌握關于電網業務系統大數據框架結構的基本情況，了解在電力大數據系統中應用的各種先進技術及主要特點，同時也為后期更好的研究即使處理技術及電力大數據提供參考。

關鍵詞：電力大數據；高速存儲；檢索

中圖分類號：TM769 文獻標識碼：A 文章編號：1671-2064（2018）03-0038-02

1 引言

近年來隨著我國電力行業的不斷發展，電力系統規模不斷擴大，電力企業在運行中產生的數據發生較大的變化，數量越來越多、種類愈加復雜、來源更加多樣化，在系統運行訪問中容易出現響應不及時的情況，對電力企業的生產、運營管理等各環節的業務都產生較大的影響。而且隨著大數據時代的到來，更好的應用電力企業產生的各種數據對于企業的發展具有重要的意義。因此在現階段加強對于電力大數據及其高速存儲、檢索等關鍵技術的研究具有重要的現實意義，能夠更加深入的分析研究大數據，發揮大數據的價值，全面掌握電網運行中各種典型業務系統的數據架構，更好的發揮高速存儲、檢索、即使處理等各種先進技術的作用，解決大數據系統建設存在的問題，也為電力大數據技術的應用提供指導和支撐。

2 電網典型業務系統大數據架構分析

隨著電網技術的不斷升級，大數據已經成為電力企業發展中的重要特征，數據的應用對企業發展的應用的也愈加深刻。在電網運行中的典型業務就是電力系統用電信息的采集，該系統中存在諸多用戶，基數比較大，而且每天都會產生大量的數據，在業務系統運行中，數據的統計分析容易出現響應緩慢的情況，用戶在使用系統時需要等待較長的時間。電力大數據一方面能夠拓寬電力行業的深度，對供給側、需求側進行整合；另一方面也打破便捷，挑戰壟斷地位。針對這種業務系統，首先要對用電信息采集業務系統中使用的數據存儲、數據檢索以及信息流計算等各種技術的架構進行全面的分析，其次要對各種不同數據使用的存儲檢索技術的性能及架構進行分析總結，包括非結構化數據和結構化數據；在此基礎上，深入研究電網運行中各種典型業務系統對即時信息流的處理技術的需求及應用現狀。應用電力大數據，能全面掌握電力企業乃至整個行業的發展狀況，預測未來的發展趨勢，調整企業的發展規劃，比如并網電價等，促進電力企業的發展[1]。

3 電力大數據高速存儲及檢索特征和關鍵技術

3.1 電力大數據高速存儲及關鍵技術

大數據高速存儲系統體系結構的研究主要幾方面的問題；（1）基于Hadoop分布式存儲系統的副本管理機制，重點研究在元數據服務器出現異常情況時需要使用的副本替換和重定向算法，從而避免受單一故障影響出現整個文件系統癱瘓的情況；（2）研究基于Hadoop分布式文件系統的備份恢復機制和動態擴展機制，重點研究如何對原有SAN網絡等設備文件系統與分布式文件系統進行兼容，以及如何快速對分布式文件系統中的文件進行恢復同時進行增量式備份。

面向電力大數據的存儲系統自配置自優化技術。基于Hadoop分布式文件系統的存儲系統性能會受配置參數的影響產生較大的波動，而且系統的配置也比較靈活，各種應用數據也比較豐富，因此需要深入研究在大數據系統運行中影響系統存儲性能的各種關鍵因素，針對這些因素設計合理的算法對系統進行自適應動態采樣。同時要研究如何應用多節點協同配置優化技術、異構分布式跨層配置降維機制以及性能評測數據生成技術，在此基礎上設計系統對面向大數據應用的存儲系統的性能基準進行測試[2]。

電力大數據的存儲速度要求比較高，但是信息的處理速度要求不高，針對這種情況在存儲方案中需要引入數據緩存單元，一方面能夠滿足信息高速收集的要求，另一方面能夠降低數據處理的成本。一種方式是應用FIFO存儲器，信息數據從一頭進入，另一頭流出，而且有順序要求。信息數據的傳輸效率比較高，但是只能按照順序進行數據讀寫，而且成本也比較高。第二種方式是采用雙口PAM，利用兩套獨立的端口進行數據的收集緩存，而且彼此可以進行數據交流，隨時對數據進行讀取。第三種方式是SRAM切換，雖然能夠隨時讀寫，但是占地面積比較大。

3.2 電力大數據檢索特征及其關鍵技術

（1）電力大數據索引結構分析研究。首先要對大數據檢索體系的結構、查詢方法以及檢索特征等進行分析，深入研究檢索系統在電力大數據中應用的體系結構需求。其次對各種采集類和檔案類數據進行采樣分析，并分別研究不同數據的特征，根據其特點的不同，對使用的檢索方法等進行總結歸類。在此基礎上深入研究電網業務中的大數據特征以及檢索業務的邏輯結構需求等。（2）面向電力大數據的多維索引關鍵技術研究。目前還沒有形成關于大數據多維索引的成熟技術，需要針對電力大數據系統設計專用的多維索引結構，該結構必須具備基礎的多維區間查詢功能和多表連接技術。因此要做好幾方面的研究：一是對索引存儲方法和壓縮算法的研究，要求存儲方法和壓縮方法能夠滿足自適應和動態可擴展的要求，而且具備分布式的特點；二是研究故障恢復方法及負載均衡算法，電力系統中的數據量比較大，在大數據環境下必須保障索引的快速建立及存儲；另外多維索引需要應用預計算及高速訪問等技術。（3）要想實現對于電力大數據的高速采集，需要滿足高采樣頻率，一般可以借助高速數據轉化芯片來實現，但是成本比較高，分辨率也比較低，因此需要采用并行采樣技術，將數據采集的時間進行交叉，多個芯片同時工作。比如說同時使用N路芯片進行采樣作業，穩定不同路徑的相位差，合并多個路徑，實現高倍頻率的采樣，提高信息收集及傳遞的效率。

4 即時處理技術對于大數據典型應用的有效性

流技術的即使處理技術能夠滿足電力大數據的各種應用需求，主要表現在以下幾方面[3]：

4.1 用戶信息采集

電力大數據系統需要在短時間內實現用電信息數據的采集及分析判斷，針對這種需求，應用流計算即使處理技術能夠對采集到的實時數據進行預處理，對于異常數據進行準確的過濾篩選，并發出警報。結合系統運行的實際情況設計合理的算法，對異常數據進行實時監測處理，而且能夠數據進行均勻化操作。

4.2 數據質量監測

電力大數據系統中需要對各種業務數據的質量進行實時監測，借助即時處理技術能夠從數據的頻度、來源、所屬業務、單位等不同的維度對數據質量進行監測，同時與數據異常監測現結合實現對于數據質量的綜合通報，而且有利于對數據質量進行改進。

4.3 視頻圖像處理

借助即時處理技術能夠對電力大數據中的視頻監控圖像進行實時的計算，根據需要提取特定目標，并對其進行分割處理，包括光影變化的分析處理等，通過這種分析能夠全面掌握電力設備運行中的各種原始數據，實時掌握設備的運行狀態，預測可能出現的設備故障，從而降低電力大數據中人工成本，進一步提升系統的運行效率。

5 結語

通過本文的分析可知，大數據已經成為電力企業發展的顯著特征，數據繁多也深刻影響道電力企業的發展，發展電力大數據符合當前電力企業發展的需求。本文重點研究了電網典型業務系統的大數據架構，高速存儲、檢索等關鍵技術，也深刻論證了即時處理技術對于大數據典型應用的有效性，未來隨著電力企業的不斷發展，電力大數據將會對電力企業的發展產生更加深刻的影響，同時也會遇到更多更復雜的問題。當前關于電力大數據的研究仍處于起步階段，需要電力企業不斷加強對于電力大數據的研究，不斷優化大數據架構，研究更加合理的大數據方案，充分發揮各種技術的優勢，不斷推進我國電力大數據的發展，增強電力企業的競爭力，實現良好的經濟社會效益。

參考文獻

[1]齊俊，曲朝陽，婁建樓，等.一種基于Hadoop的電力大數據屬性實體識別算法[J].電力系統保護與控制，2016，（24）：52-57.

[2]薛禹勝，賴業寧.大能源思維與大數據思維的融合（一）大數據與電力大數據[J].電力系統自動化，2016，（1）：1-8.

[3]彭小圣，鄧迪元，程時杰，等.面向智能電網應用的電力大數據關鍵技術[J].中國電機工程學報，2015，（3）：503-511.