電力大數據中信息化工具的應用與探索

曾愚

(國網四川省電力公司信息通信公司，四川成都 610041)

電力大數據中信息化工具的應用與探索

曾愚

(國網四川省電力公司信息通信公司，四川成都 610041)

堅強的智能電網能夠運用先進的通信、信息等技術來實現完全自動化的電力傳輸，能夠監控每個電網節點與用戶節點，并且在電力傳輸的整個網絡中能夠保證信息和電能的雙向流動。而我國的智能電網發展還處于起步階段，因此，選擇合適的信息化工具可以極大地加快智能電網信息化的建設進程。

電力；大數據；信息系統；智能電網

1 概述

隨著互聯網、物聯網和云計算技術的應用和普及，各類數據的規模均呈現出爆發性增長的態勢，數據的存儲單位也從過去的GB、TB上升到PB、EB甚至是ZB級別。在動輒數千PB的數據面前，過去常用的信息化工具和系統已無法滿足對這些數據進行分析、處理的需求。另一方面，越來越多的政府、企業開始關注、了解和接受大數據的概念，并嘗試運用大數據技術來協助它們進行決策層面的分析與預測［1］。

而在未來競爭和機遇都倍增的大數據“互聯網+”時代，若要緊跟市場的步伐，甚至走在市場的前列，對電力企業而言，就必須根據適合自身行業特點，選擇能夠最大限度地適合與滿足電力生產需求的各類信息化工具和技術來解決在其發展中遇到的各類問題。

2 大數據時代中的信息化工具

2．1 Hadoop工具

2．1．1 Hadoop工具的內容

Hadoop是由Apache基金會開發的分布式系統基礎架構。作為開源系統，Hadoop在當今互聯網的大數據解決方案中應用廣泛。通常，它部署在成千上萬臺主機的集群中進行大數據的存儲和分析，而用戶可以在不了解底層細節的情況下，開發分布式程序并充分利用集群的運算能力進行大數據集的快速處理和存儲［2］。

2．1．2 Hadoop具有的特點

在Hadoop架構中，其核心包括兩部分，分別是Hadoop Distribute File System(以下簡稱HDFS)和Map Reduce，其特點如下［3］:

(1)高容錯性:文件的所有數據塊都會保留對應的副本，并且每個文件的數據塊大小和副本系數都是可配置的。

(2)高數據一致性:所有文件都是一次性寫入的，并且嚴格要求在任何時候只能有一個寫入者。

(3)低成本性:Hadoop是開源的并且可部署在普通的PC服務器上，企業可以通過購買一定數量的PC服務器就可以建立起一個大數據集群，用于替代價格昂貴的小型機服務器。

(4)數據的高可靠性:，Hadoop會采取將同一個文件的塊副本同時分別存儲到已互聯的另幾臺設備上來防止某臺設備故障或網絡通信問題而導致的無法讀取的問題，從而有效地提升了系統數據的可靠性。

(5)高效性:Hadoop將大型數據集進行分解至數個小型數據集并發送到多個節點(Data Node)上，再將這些小型數據集以單個的形式提取出來進行加載匯總分析。其中每一步都可以通過簡單的需求命令來實現，從而大幅度提升了工作效率［4］。

2．2 SAP HANA工具

2．2．1 SAPHANA工具的內容

SAPHANA是思愛普(以下簡稱為SAP)公司近年來推出的一項用于解決企業大數據管理的新型軟硬件結合體。

2．

2．2 SAPHANA工具具有的特點

SAP HANA數據庫是這套體系的核心，它實時地參與到數據查詢分析與數據密集型業務流程的分析當中。與傳統數據庫相比，SAP HANA的特點可以歸納為以下三方面［5］:

一是數據快速訪問。HANA支持對內存數據進行壓縮，最小化了傳輸數據量，并且將邏輯數據的處理轉移到數據庫層面完成，從而節約了應用層到數據庫之間傳輸消耗的資源，也解決了傳輸速率和吞吐量的瓶頸問題。

第二是數據支持多節點計算與大規模并行處理［6］。HANA可以將大量數據分發至不同的處理器進行運算，同時單組數據也可同時被同組的服務器所共享，由此而使整個系統的運行安全得到了提升，即單一服務器宕機將不再影響到數據的運算。

第三是SAP HANA數據庫在支持非結構化數據的同時提供了三種內存處理引擎:關系型引擎、圖形引擎和文本引擎［6］。除去關系型引擎，HANA數據庫的非結構化搜索是SAP HANA的基礎。其文本引擎提供了單個詞組、段落以及具有容錯性的模糊查詢等查詢方式，并且可對結果進行操作，而HANA的圖形引擎則可用于海量獨立資源的計劃分配與應用。

3 大數據時代下的電力企業信息系統

3．1 智能電網與信息系統

未來的電網需要適應和整合所有新型可再生能源，而配套的能源管理系統也需要迅速滿足這些日益增長的能源需求。在這種情況下，電網的發展就需要大步朝著智能電網的方向發展，隨之而來的是急需更可靠的通信、更先進的信息化技術與設備去打造一個高度智能化的分布式能源自動傳遞網絡［7］。

3．2 電力企業信息系統具有的特點

電力信息系統是一個覆蓋面極其廣泛的概念，涵蓋發電、輸電、變電、配電以及售電等環節。各個環節都涉及到與信息技術緊密相關的眾多智能設備和雙向通信系統，這就導致其在進行操作與監控工作的同時為電力信息系統帶來相當龐大的數據流，同時，這些數據由于業務上的需求需要被妥善保存與管理。

3．3 電力企業信息系統的數據需求

處于不同環節的電力信息系統均對其數據的要求有著不同的苛刻要求，但它們具有的共同點均集中在加強對資源消耗的控制與預測的同時，保持與數據源之間交互的連續性。因此，電力企業信息系統所遇到的這類問題需要用大數據的方案來解決。隨之而來的問題便是如何將智能電網信息系統中的數據融入到分布式的云計算的架構中來完成大數據的處理［8］。

4 電力大數據中信息化工具的比較與應用

筆者分別從實施部署成本、技術改造難度以及安全風險等方面分別比較以下兩種工具。

4．1 實施部署成本

在電力行業的信息化建設中，實施部署的成本是一個重要的衡量標準。高昂的部署成本如果無法帶來相應的經濟效益，對企業而言，其不僅是資源上的浪費，同時亦將成為企業的負擔。以國網四川電力公司為例，各類業務信息系統的數據量一般為1～50 TB左右，尚未達到PB級別，在這種情況下:

(1)SAP HANA的實施成本中內存數據庫硬件占有很大比例且價格昂貴。SAPHANA由于會對數據進行壓縮后再進行處理，所以，在其實施前會對目標數據庫的大小進行評估，從而估算出需要配備的內存數據庫規模，通常，該比例保持在1∶7。從SAP公司公布的HANA硬件費用看，如果按照單個系統平均數據量為5 TB計算，那么，平均每套硬件的實施費用將高達上百萬元人民幣，額外再加上人員實施費用，故SAP HANA部署的成本十分高昂。

(2)反觀Hadoop，其可以部署在價格低廉的PC服務器上，并提供相當可觀的計算處理資源。與相比動輒上百萬元的小型機服務器相比，同等費用支出下運用Hadoop部署在PC服務器上的服務器集群的運算、數據存儲、管理、處理能力均遠遠高出小型機。

從上述比較中不難看出:Hadoop在實施部署成本上較SAPHANA具有較大的成本優勢。

4．2 技術改造難度

電力行業作為高速發展的行業，企業內部的業務需求會隨著行業和企業的持續發展而不斷發生變化。因此，與之相關的信息系統的硬件資源、系統配置、業務流程、程序代碼、接口交互等方面都應隨之不斷優化和改造升級以滿足生產要求:

(1)SAP HANA針對業務流程變更的適應性良好，它提供了一套完善的流程變更機制去配合生產中的業務需求。而在新增功能開發上，由于SAPHANA采用的是獨有的程序語言，因此需要另行配備具有相關資質的專業技術開發人員而導致新增功能開發的周期延長和成本上升，具有一定的技術改造難度。

(2)Hadoop在技術改造方面的優勢在于系統代碼透明化，企業可自行進行優化和更新改善以符合需求。其可拓展性較高，新增功能較為方便；但它所具有的缺點也是顯而易見的，在執行技術改造期間，如果不支出費用、聘請第三方公司作為技術支持與協助，技術改造的難度與風險會明顯升高。

4．3 安全風險

電力信息系統的安全性可以分別從物理層面、網絡層面、應用層面和數據安全層面四個層面進行衡量。由于SAP HANA與Hadoop均屬于數據庫層面的工具，所以，在網絡安全與應用安全層面二者更易受外部因素影響，而且比較集中在物理安全與數據安全層面:

(1)物理層面安全:物理層通常是從信息系統的運行硬件、介質、基礎設施和外界環境等方面去評估其安全性。SAPHANA硬件的供應與部署可由廠商完成，其后續的維護保養也可以得到廠商支持；而Hadoop的硬件設備則多數依靠企業自行采購并部署，其維護保養則可由相應的硬件廠商完成；不足之處在于企業需要提前對自行采購的硬件是否滿足系統需求做出較為準確的評估，而SAP HANA則可由廠商完成這一評估。

(2)數據安全方面:無論是SAP HANA或是Hadoop，它們都提供了較完善的數據安全機制: Hadoop的核心準則是每一份數據都會拷貝成三份并分別存放在不同的服務器中，從而避免了某一臺服務器出現故障時引起的數據丟失；雖然SAPHANA會將內存中的數據自動地、持久化寫入到硬盤之中，避免數據庫故障引起的數據丟失，但是，對于硬盤故障造成的數據丟失則只有通過自帶的軟件或第三方軟件進行數據備份來避免。從企業角度看，Hadoop的安全機制適用性更佳。

4．4 信息化工具的應用方案

4．4．1 高速數據訪問平臺架構

從上述各方面的比較中不難看出:無論是SAPHANA或是Hadoop，都無法獨立承擔起電力企業信息系統的全部需求，但二者的特點卻互為補充。基于此，構建一個以Hadoop與SAP HANA相結合的、實時高速數據查詢平臺去滿足當前電力企業信息系統的各方面需求不失為當前電力企業大數據一種可行的解決方案。

4．

4．2 高速數據訪問平臺運行機制

這個平臺運用Hadoop的廉價硬件部署成本為企業建立起龐大的數據源，再利用SAP HANA的高速訪問能力對這些數據進行快速批處理更新以及載入，從而在整體上得到提升。但亟待解決的問題是SAP HANA與Hadoop之間如何交互?由于兩者的差異性，應當首先需要考慮的是如何將Hadoop數據源中的數據合理地分類與部署，建立”數據湖”模式的數據源，以便SAP HANA快速訪問。數據湖(Data Lake)與云資源池相仿，但是其數據的儲存與分類更具有可管理性，其還可以在數據不移動的情況下進行計算與分析各種來源、格式的企業級數據。因此，可以通過將各信息系統的歷史數據以原始格式遷移到Hadoop構建的數據湖中用以降低保存數據的前端成本。

在Hadoop實現的數據湖層級之上是 SAP HANA構成的數據分析環境。對于SAP HANA而言，Hadoop可以以單一數據庫和數據過濾器兩種形式與其進行交互。當Hadoop與SAP HANA完成數據交互后，SAP HANA將數據傳輸到應用層，便可將這些數據展現給企業，供其展示或進行分析與預測。

4．4．3 高速數據訪問平臺具有的優勢

在二者相互訪問的整個過程中，數據均處于實時高速交互狀態，從而高效地契合了企業快速而多變的業務流程，緩解了海量歷史數據讀取帶來的信息系統壓力，不僅為電力企業節約了大量的資源與時間成本，還能夠提供準確地實時統計與分析。不難看出，二者的結合運用在電力企業發展的決策層支持方面具有單一工具所不具備的巨大優勢。

5 結語

隨著智能電網系統的進一步發展，大數據分析預測這一先進的數據技術為電力企業帶來的收益將被越來越多的人所認同。但是，由于目前電力行業的大數據發展尚處于初期的數據治理階段，且因信息系統歷史數據種類繁多，復雜程度大，對于有效數據的甄別還存在困難，故在當前階段更應注重對歷史數據的梳理和分析，繼而能夠準確挖掘出企業所急需的數據。但在數據治理完成后，則應逐漸轉向選擇合適的大數據信息化工具，對已有的數據進行宏觀層面地分析和預測，從而為智能電網的建設發展提供可靠的技術支撐。

［1］ Benjelloun，F．－Z．；Lahcen，A．A．；Belfkih，S．Intelligent Systems and Computer Vision(ISCV)，“An overview of big data opportunities，applications and tools”，2015 Year:2015 Pages:1－6，DOI:10．1109/ISACV．2015．7105553．

［2］ Apache Software Foundation，“Hadoop Wiki”，［EB/OL］，http://wiki．apache．org/hadoop/，2015－6－14．

［3］ Azzedin，F．，“Towards a scalable HDFS architecture”，Collaboration Technologies and Systems(CTS)，2013 InternationalConference on Year:2013 Pages:155 － 161，DOI:10．1109/CTS．2013．6567222．

［4］ Guanghui Xu；Feng Xu；Hongxu Ma，“Deploying and researching Hadoop in virtual machines”，Automation and Logistics (ICAL)，2012 IEEE International Conference on Year:2012 Pages:395－399，DOI:10．1109/ICAL．2012．630824．

［5］ J．Kr¨uger，M．Grund，C．Tinnefeld，H．Plattner，A．Zeier，and F．Faerber．，“Performance for Read Optimized Databases”，In DASFAA Conference，pages 291–305，2010．

［6］ F?rber，F．，Cha S．K．，Primsch，J．，Bornh?vd，C．，Sigg，S．，Lehner，W．，“SAPHANA database:datamanagement formodern business applications”，SIGMOD Rec on Year 2011 Vol．40，No．4．

［7］ Bitzer，B．；Gebretsadik，E．S．，“Cloud computing framework for smart grid applications”，Power Engineering Conference (UPEC)，2013 48th International Universities＇Year:2013 Pages:1－5，DOI:10．1109/UPEC．2013．6714855．

［8］ McHann，S．E．，“Grid analytics:How much data do you really need?”，Rural Electric Power Conference(REPC)，2013 IEEE Year:2013 Pages:C3－1－C3－4，DOI:10．1109/ REPCon．，2013．6681858．

TM73;TP39;TN8;TM93

B

1001-2184(2015)05-0100-04

曾 愚(1986-)，男，四川成都人，工程師，雙碩士，從事信息系統運維技術與管理工作．

(責任編輯:李燕輝)

2015-05-05