謝黎 朱江
摘要 電力企業在信息化建設的進程中積累了大量的歷史數據,對結構化、非架構化數據的綜合治理成為了評價企業信息化程度的基本指標。文章主要介紹了大數據及其數據挖掘技術的基本概念和體系結構,同時分析了電力企業如何應用數據挖掘技術,并且結合電力企業的特點,探討了將大數據技術引入到電力系統中,為了獲得有價值的信息,可以對海量實時數據進行分析、管理并且不斷挖掘,最終形成一種全新的指導電力營銷、生產、服務決策的電力企業運營模式。
關鍵詞 大數據;數據挖掘;元數據;大規模并行處理
中圖分類號 TP3 文獻標識碼A 文章編號2095—6363(2016)04—0014—02
隨著智能電網技術的飛速發展和電力企業信息化的不斷建設,在電力營銷、生產、服務過程中,每天都會生成大量的信息數據,各個業務系統都積累了大量的歷史業務數據。企業付出了大量的精力和時間對這些數據進行運維、分析和管理。然而面對如此龐大的數據,其分析和處理結果對企業生產、決策的支撐卻頻頻表現出不足和乏力,其主要來源于2個方面的原因。一方面,采用傳統方法對數據進行分析和處理,已不能實現更高效、更深層的提煉和應用。倘若從中提取部分有效數據或有用信息,企業的管理、決策水平又得不到全面性、根本性的提高;另一方面,當前停留在只注重業務流程處理環節的管理信息系統,已無法滿足企業生產、營銷決策對大數據分析的依賴。為此,需要借助大數據技術來解決電力企業在發展過程中各種業務數據的增長所帶來的潛在性問題。
1大數據概述與特點
大數據(Big Data),作為最近炒的火熱的IT行業詞匯,在不同領域、多意義層面上有著多重的理解和解釋??茖W技術的不斷的進步,尤其是信息通信技術的發展,加快了信息系統在各行業、各領域的快速拓展。因此,一種在不可容忍的時間內用信息技術和軟硬件控制技術對應用層進行感知、獲取、管理、處理和服務的數據集合——大數據應運而生。因此,“大數據”是在一種新處理模式完成得具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據是繼云計算、物聯網之后IT產業又一次顛覆性的技術變革,Volume(大量性)、Variety(多樣性)、Value(價值性)、Velocity(高速性)是其主要的4個重要特征。
2大數據技術現狀
大數據的技術包括分布式計算框架、分布式資源調度管理、分布式文件系統、大規模并行處理數據庫和可擴展的分布式存儲系統及數據分析、挖掘能力。大數據技術是數據挖掘、分析、計算全過程的前沿技術。簡而言之,大數據技術就是對各式各樣類型的數據中進行挖掘、分析和計算,快速獲得有價值信息的能力。如果把大數據比作一種產業,其增值點就是對數據的“加工”,“加工”的過程,正是對數據挖掘、分析、計算的全過程。
目前電力企業在數據大集中之后所面臨的尷尬和困境主要是海量數據、信息枯竭,原因主要體現在2個方面:1)具有數據量大、查詢分析復雜等特點;2)大多數系統采用關系型數據庫解決方案。因此,目前的數據管理僅僅實現了數據錄入、查詢和統計等較低層的應用,不能挖掘數據中存在的有用信息,更不能通過數據分析發現更高的信息價值。通過數據的大量有效收集和分析,探尋其數據結構及特征,發現某個用戶、群體或組織的興趣和行為規律,企業將可以預測到未來可能發生的變化趨勢。從而提高企業的核心價值及其競爭力。同時,如果能夠借助高性能的機器和強健的算法更加迅速、及時地對每個數據源獲取的元數據進行定時、定量的分析,從海量數據中尋找其規律、關聯、繼承關系,構建企業數據的價值鏈,充分應用于企業生產、經營、決策中,最終實現企業運營模式的根本性轉變。
3電力企業大數據需求及應用
對于電力企業而言,大數據的構成主要來源于電力生產、經營、服務各個業務環節。業務數據大致可分為3類:一是電力企業生產數據,電網運行中所涉及的設備運行狀態、電網運行參數等實時生產數據和繼電保護系統所采集的監測數據以及配送電量電壓穩定性等方面的數據;二是電力企業運營數據;三是電力企業管理數據。根據電力企業的特征,電力企業大數據主要來源于電力生產、管理運營、智能電網三大部分。
這三大數據來源共同構成了電力企業大數據。如果能夠充分利用這些數據,對其進行深入分析,便可以挖掘出具有價值的信息,以此提供信息的增值服務。有效的增值服務將有利于電網安全檢測與控制,比如說大災難預警與處理、供電與電力調度決策支持和更準確的用電量預測等。面對如此海量的數據,如何更好的挖掘、分析、利用,成為大數據應用極為迫切的需求。
電力企業大數據應用的需求,主要產生于電力生產、管理、營銷3個環節:1)電力生產環節。風能、太陽能等新能源技術的大量運用,使得電力生產在計量和管理方面變得日趨復雜;2)在服務管理環節。電能的不可儲存性使得電力企業面臨著極其復雜的安全生產管理形勢,電能的光傳輸特性決定了瞬間的電網失衡而造成無法挽回的價值損失。單靠人工、傳統生產管理模式已無法保證企業的高效運轉。再次,在電力經營環節,在高度靈活的數據驅動下,新的動態、敏捷的電力供應鏈將逐步取代傳統、靜止的電力供應鏈。其中,智能電網也是大數據技術在電力行業中的應用,通過獲取更多關于用戶如何用電、怎樣用電的用電習慣等信息,對其進行分析處理,以此來優化電能的生產、分配以及消耗,同時對電網規劃、建設、服務等提供更可靠的依據。
實際上,電力企業信息技術平臺和業務應用的升級改造均是利用大數據存儲、整合、計算、應用四類核心技術,電力企業將不斷擴展填補在非結構化數據分析與利用、海量數據挖掘等領域的空白,不斷提升電網對數據的傳輸、容納和處理能力,不斷提升電力企業在數據資源價值挖掘的整體水平,促進業務管理向精細、協同、敏捷、高效的方向發展。
4評價和展望
隨著大數據技術在電力企業的融合與發展,大數據將綜合電力企業的生產、營銷、運行、管理等業務歸口數據,并在電力企業的發展中將著重于對數據的采集、傳輸、存儲、分析,并最終指導生產,服務終端用戶。電力企業從數據運維監控角度實現信息、知識、價值發掘的基礎和條件,將能夠在數據運監的領域創造出數據的增值價值空間,提供全新的交付式服務與用戶消費形態。通過在智能電網中引入信息流概念,研究如何利用電網將電能流和信息流有效的分離和融合,實現電網在傳輸能源的同時還能滿足信息數據采集和傳輸的需要。利用優化算法和模型對采集數據進行深度挖掘和分析,預測電能流的情況,最終一定能夠實現清潔發電、高效輸電、動態配電、合理用電,這一智能電網的建設目標。