大數(shù)據(jù)技術(shù)在電力行業(yè)的研究與應(yīng)用

沈佳++王天軍++尹蕊++馬宗達(dá)

摘 要

隨著信息通信技術(shù)的不斷進(jìn)步，數(shù)據(jù)已經(jīng)成為關(guān)乎企業(yè)發(fā)展的重要戰(zhàn)略資源，大數(shù)據(jù)的分析應(yīng)用得到了各行各業(yè)的強(qiáng)烈關(guān)注。本文首先介紹了大數(shù)據(jù)分析技術(shù)在電力行業(yè)的落地-企業(yè)級大數(shù)據(jù)平臺的功能及組件實(shí)現(xiàn)，隨后描述了電網(wǎng)業(yè)務(wù)在企業(yè)級大數(shù)據(jù)平臺中的兩項(xiàng)典型應(yīng)用，最后對大數(shù)據(jù)分析技術(shù)在電力行業(yè)的應(yīng)用前景做了展望。

【關(guān)鍵詞】大數(shù)據(jù) 電力 技術(shù)

隨著信息通信技術(shù)的不斷進(jìn)步，數(shù)據(jù)已經(jīng)成為關(guān)乎企業(yè)發(fā)展的重要戰(zhàn)略資源。大數(shù)據(jù)的概念從產(chǎn)生之日起就獲得了各行各業(yè)的強(qiáng)烈關(guān)注，有關(guān)大數(shù)據(jù)的應(yīng)用也不斷的深入各個(gè)領(lǐng)域，觸動(dòng)了行業(yè)的大量變革。電力行業(yè)自“三集五大”管理體系建立以來，信息系統(tǒng)的應(yīng)用已經(jīng)貫穿了企業(yè)生產(chǎn)經(jīng)營管理的各個(gè)環(huán)節(jié)，過程中累積了海量的數(shù)據(jù)資源，其中包括了結(jié)構(gòu)化、非結(jié)構(gòu)化、海量歷史/準(zhǔn)實(shí)時(shí)和地理信息數(shù)據(jù)，提升數(shù)據(jù)的應(yīng)用水平，挖掘數(shù)據(jù)的商業(yè)價(jià)值成為了亟待考慮的問題。

1 大數(shù)據(jù)分析技術(shù)路線

為了提升電網(wǎng)數(shù)據(jù)資源的整合、處理及價(jià)值挖掘水平，在充分借鑒互聯(lián)網(wǎng)思維的基礎(chǔ)上，構(gòu)建“服務(wù)型平臺、輕量級應(yīng)用、全景化分析”的應(yīng)用管理模應(yīng)運(yùn)而生。構(gòu)建統(tǒng)一的企業(yè)級大數(shù)據(jù)平臺，使用有別于傳統(tǒng)的采集、存儲(chǔ)和處理技術(shù)，實(shí)現(xiàn)了橫跨多個(gè)業(yè)務(wù)類型、快速靈活、可定制的數(shù)據(jù)關(guān)聯(lián)分析，同時(shí)也滿足滿企業(yè)管理提升和業(yè)務(wù)創(chuàng)新的需求。

企業(yè)級大數(shù)據(jù)平臺在總體上分為數(shù)據(jù)整合、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)五個(gè)主要模塊及安全、管理配置、數(shù)據(jù)管理等配套管理模塊。功能架構(gòu)如圖1所示。

1.1 數(shù)據(jù)整合

數(shù)據(jù)整合采用Kafka、Sqoop、增量捕獲工具等多種技術(shù)手段，滿足了關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫等異構(gòu)數(shù)據(jù)源的接入需求，提供數(shù)據(jù)的實(shí)時(shí)推送、抽取等采集功能，能夠支撐數(shù)據(jù)按照不同的采集頻率進(jìn)行接入。

1.2 數(shù)據(jù)存儲(chǔ)

基于X86集群架構(gòu)，采用分布式技術(shù)構(gòu)建成本較低、可支持靈活擴(kuò)展的存儲(chǔ)系統(tǒng)，支撐公司四類數(shù)據(jù)（結(jié)構(gòu)化、非結(jié)構(gòu)化、海量歷史準(zhǔn)實(shí)時(shí)、地理信息數(shù)據(jù)）的存儲(chǔ)需求。同時(shí)，支持高效的數(shù)據(jù)即席查詢、非結(jié)構(gòu)化數(shù)據(jù)處理、內(nèi)存讀寫操作等功能。

1.3 數(shù)據(jù)計(jì)算

提供批量計(jì)算、內(nèi)存計(jì)算、流計(jì)算、查詢計(jì)算等功能滿足不同時(shí)效性的計(jì)算需求。批量計(jì)算能夠支持大批量數(shù)據(jù)的離線分析，如歷史數(shù)據(jù)報(bào)表分析。內(nèi)存計(jì)算支持交互性分析，如全省用電數(shù)據(jù)在線統(tǒng)計(jì)。流計(jì)算支持實(shí)時(shí)處理，如電表數(shù)據(jù)實(shí)時(shí)處理、預(yù)警。查詢計(jì)算基于分布式文件存儲(chǔ)，提供類似sql的查詢分析技術(shù)，將查詢語句轉(zhuǎn)譯為并行的分布式計(jì)算任務(wù)。

1.4 數(shù)據(jù)分析

能夠提供橫跨多個(gè)業(yè)務(wù)的分析模型和數(shù)據(jù)挖掘算法，構(gòu)建模型庫和算法庫，開展數(shù)據(jù)模擬分析和計(jì)算預(yù)測，滿足各類應(yīng)用的分析挖掘需求，為分析決策類應(yīng)用提供支撐。

1.5 平臺服務(wù)

平臺服務(wù)層是統(tǒng)一的企業(yè)及大數(shù)據(jù)平臺服務(wù)中心，其中封裝了各類服務(wù)如存儲(chǔ)服務(wù)、分析服務(wù)、計(jì)算服務(wù)及展現(xiàn)服務(wù)等，統(tǒng)一對外提供服務(wù)支持。

1.6 其他

從配置管理、安全和數(shù)據(jù)管理方面，提供了大數(shù)據(jù)平臺的配套管理功能，實(shí)現(xiàn)各個(gè)組件集中化的監(jiān)控、配置，數(shù)據(jù)接入的身份權(quán)限控制和安全審計(jì)功能。

2 大數(shù)據(jù)分析典型場景應(yīng)用

通過企業(yè)級大數(shù)據(jù)平臺進(jìn)行數(shù)據(jù)整合挖掘分析，實(shí)現(xiàn)了對電網(wǎng)生產(chǎn)運(yùn)行及經(jīng)營管理等方面的進(jìn)一步優(yōu)化，初期實(shí)現(xiàn)了10個(gè)方面的典型應(yīng)用。以防竊電預(yù)警分析場景和基于氣溫變化對客戶用電影響分析場景為例。

2.1 防竊電預(yù)警分析場景

該場景是基于用電信息采集系統(tǒng)的海量數(shù)據(jù)，建立防竊電分析模型，結(jié)合電網(wǎng)GIS信息，采用大數(shù)據(jù)挖掘和數(shù)據(jù)關(guān)聯(lián)技術(shù)實(shí)現(xiàn)對現(xiàn)場計(jì)量異常情況、竊電行為的在線監(jiān)測，靈活開展防竊電業(yè)務(wù)，及時(shí)發(fā)現(xiàn)異常行為，挽回電網(wǎng)經(jīng)濟(jì)損失。

在實(shí)際應(yīng)用中運(yùn)用關(guān)聯(lián)度累加算法，建立防竊電異常分析模型，實(shí)現(xiàn)對現(xiàn)場計(jì)量異常情況、竊電行為的在線監(jiān)測，分析用戶竊電嫌疑程度。某省公司基于該場景開展防竊電工作，竊電用戶稽核命中率提升30%，工作效率提升4倍。

2.2 基于氣溫變化對客戶用電影響分析場景

該場景是基于營銷用戶檔案數(shù)據(jù)、用電信息采集電量、負(fù)荷數(shù)據(jù)，構(gòu)建用戶用電行為特征模型庫，結(jié)合溫度變化等數(shù)據(jù)，對用戶用電行為特征影響進(jìn)行分析。在傳統(tǒng)短期負(fù)荷預(yù)測方法中增加氣溫等影響因素的輔助輸入變量，對于提高短期日負(fù)荷預(yù)測精度、增加電力系統(tǒng)調(diào)度效率以及緩解區(qū)域供電不足等方面具有重要意義。

在實(shí)際應(yīng)用中運(yùn)用隨機(jī)森林結(jié)合時(shí)間序列、聚類模型（K-means）構(gòu)建負(fù)荷預(yù)測模型、客戶用電特征細(xì)分模型，建設(shè)用電行為特征分析、用電影響因素分析場景，對每類客戶群從客戶價(jià)值、信用風(fēng)險(xiǎn)等方面綜合評估，實(shí)現(xiàn)用戶類型細(xì)分，并對不同溫度對用電的影響進(jìn)行總體分析。某省公司將大客戶歸類為風(fēng)險(xiǎn)、優(yōu)質(zhì)、普通、發(fā)展等4類用戶，其中風(fēng)險(xiǎn)客戶識別率提升30%。

3 結(jié)語

企業(yè)級大數(shù)據(jù)平臺的構(gòu)建及應(yīng)用，使大數(shù)據(jù)的價(jià)值得到了一定程度的發(fā)揮，也給企業(yè)信息管理模式帶來了巨大的變革，提高了公司數(shù)據(jù)分析應(yīng)用水平。未來，大數(shù)據(jù)技術(shù)將繼續(xù)服務(wù)于電網(wǎng)生產(chǎn)、經(jīng)營管理和優(yōu)質(zhì)服務(wù)等領(lǐng)域，構(gòu)建提升優(yōu)化、預(yù)測預(yù)警、企業(yè)決策等類型的大數(shù)據(jù)應(yīng)用場景，進(jìn)一步提高企業(yè)服務(wù)能力，促進(jìn)管理提升和業(yè)務(wù)創(chuàng)新。

作者單位

國網(wǎng)新疆電力公司信息通信公司 新疆維吾爾自治區(qū)烏魯木齊市 830000