基于大數(shù)據(jù)平臺(tái)的信息系統(tǒng)深化應(yīng)用開(kāi)發(fā)設(shè)計(jì)及實(shí)現(xiàn)

劉明碩+吳軍英

摘 要：大數(shù)據(jù)具有數(shù)據(jù)體量巨大、數(shù)據(jù)類(lèi)型多樣、處理速度快、價(jià)值密度低等特點(diǎn)。隨著“十二五”信息化建設(shè)的發(fā)展，電力公司四大數(shù)據(jù)中心和各類(lèi)業(yè)務(wù)系統(tǒng)存儲(chǔ)了數(shù)百T的數(shù)據(jù)。該文首先介紹了大數(shù)據(jù)和大數(shù)據(jù)平臺(tái)的概念，在此基礎(chǔ)上分析大數(shù)據(jù)技術(shù)在電力企業(yè)中的應(yīng)用場(chǎng)景。最后，設(shè)計(jì)并實(shí)現(xiàn)了基于大數(shù)據(jù)平臺(tái)的信息系統(tǒng)深化應(yīng)用。

關(guān)鍵詞：大數(shù)據(jù) Hadoop 數(shù)據(jù)分析 應(yīng)用場(chǎng)景

中圖分類(lèi)號(hào)：TP27 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2017）02（c）-0151-02

1 大數(shù)據(jù)平臺(tái)概述

隨著信息技術(shù)的高速發(fā)展，云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)應(yīng)用、社交網(wǎng)絡(luò)等紛紛得到空前的發(fā)展，全球數(shù)據(jù)信息量呈指數(shù)式爆炸增長(zhǎng)之勢(shì)。數(shù)據(jù)作為企業(yè)、社會(huì)和國(guó)家層面的重要戰(zhàn)略資源，被社會(huì)各個(gè)領(lǐng)域所重視，相繼開(kāi)始其數(shù)據(jù)的挖掘應(yīng)用進(jìn)程，學(xué)術(shù)界、商界、政府、企業(yè)等都將不可避免地進(jìn)入“大數(shù)據(jù)時(shí)代”。

大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(diǎn)（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值）、Veracity（真實(shí)性）[1]。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專(zhuān)業(yè)化處理。

大數(shù)據(jù)平臺(tái)中應(yīng)用最廣泛的是Hadoop架構(gòu)，Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱(chēng)HDFS[2]。

2 應(yīng)用場(chǎng)景設(shè)計(jì)

該項(xiàng)目涉及的基于大數(shù)據(jù)分析場(chǎng)景主要包括電網(wǎng)規(guī)劃研究、市場(chǎng)售電量預(yù)測(cè)分析、配變重過(guò)載預(yù)警分析3個(gè)主題場(chǎng)景的設(shè)計(jì)研發(fā)。其中，電網(wǎng)規(guī)劃研究包括：電網(wǎng)運(yùn)行情況分析、電網(wǎng)薄弱環(huán)節(jié)監(jiān)測(cè)。市場(chǎng)售電量預(yù)測(cè)分析包括：售電量特性監(jiān)測(cè)分析、售電量預(yù)測(cè)分析。配變重過(guò)載預(yù)警分析包括：短期配變重過(guò)載預(yù)警分析、中期配變重過(guò)載預(yù)警分析。

2.1 電網(wǎng)規(guī)劃研究

通過(guò)分析省市縣三級(jí)社會(huì)經(jīng)濟(jì)數(shù)據(jù)，對(duì)電網(wǎng)運(yùn)行情況進(jìn)行分析，展示各級(jí)供電分區(qū)與市轄縣級(jí)供電分區(qū)等不同口徑的供電指標(biāo)；結(jié)合電網(wǎng)規(guī)模線路數(shù)據(jù)，提供多維度報(bào)表數(shù)據(jù)。結(jié)合各電壓等級(jí)電網(wǎng)結(jié)構(gòu)數(shù)據(jù)，以及變電站、配電臺(tái)區(qū)、線路等基礎(chǔ)數(shù)據(jù)，進(jìn)行電網(wǎng)現(xiàn)狀分析，同時(shí)提供關(guān)鍵指標(biāo)和報(bào)表數(shù)據(jù)導(dǎo)出功能，供進(jìn)一步詳細(xì)分析，從規(guī)劃設(shè)計(jì)、建設(shè)改造等環(huán)節(jié)入手，優(yōu)化電網(wǎng)運(yùn)行方式，為電網(wǎng)規(guī)劃提供支撐依據(jù)。

通過(guò)分析電網(wǎng)設(shè)備負(fù)載、重過(guò)載以及線路卡脖子等相關(guān)信息，實(shí)施電網(wǎng)薄弱環(huán)節(jié)監(jiān)測(cè)。依托電網(wǎng)關(guān)鍵運(yùn)行指標(biāo)計(jì)算結(jié)果，分析電網(wǎng)薄弱環(huán)節(jié)，對(duì)不同區(qū)域的電網(wǎng)運(yùn)行情況進(jìn)行評(píng)價(jià)，及時(shí)發(fā)現(xiàn)電網(wǎng)運(yùn)行問(wèn)題，提升輸、配電網(wǎng)的計(jì)算分析能力，支撐規(guī)劃部門(mén)發(fā)現(xiàn)電網(wǎng)存在問(wèn)題，合理分配電網(wǎng)設(shè)施下一步投資方向。

2.2 市場(chǎng)售電量預(yù)測(cè)分析

針對(duì)售電量特性監(jiān)測(cè)開(kāi)展分析。利用營(yíng)銷(xiāo)基礎(chǔ)數(shù)據(jù)平臺(tái)、用電信息采集系統(tǒng)、營(yíng)銷(xiāo)檔案系統(tǒng)等系統(tǒng)，以及營(yíng)銷(xiāo)大數(shù)據(jù)存儲(chǔ)技術(shù)，結(jié)合相關(guān)負(fù)荷特性指標(biāo)，基于從時(shí)間、高低壓用戶(hù)（含大客戶(hù)及高風(fēng)險(xiǎn)客戶(hù)）、行業(yè)及用電類(lèi)別等多個(gè)維度進(jìn)行建模、詳細(xì)剖析和監(jiān)測(cè)月均負(fù)荷及日負(fù)荷情況，分析全省范圍的負(fù)荷分布情況。同時(shí)，對(duì)永久性減容銷(xiāo)戶(hù)、暫停/恢復(fù)、客戶(hù)群、電能替代、氣象、分布式電源、自備電廠、大用戶(hù)直購(gòu)電等影響因素進(jìn)行關(guān)聯(lián)分析和負(fù)荷監(jiān)測(cè)。

同時(shí)對(duì)售電量預(yù)測(cè)進(jìn)行分析。以售電量影響因素分析結(jié)果為基礎(chǔ)，構(gòu)建售電量預(yù)測(cè)模型和用電趨勢(shì)預(yù)測(cè)模型，按照日期類(lèi)型（如節(jié)假日及特殊假期）進(jìn)行區(qū)別預(yù)測(cè)，同時(shí)針對(duì)大用戶(hù)、氣象敏感度用戶(hù)群、面臨淘汰的高耗能行業(yè)、政策電價(jià)用電用戶(hù)等進(jìn)行售電預(yù)測(cè)，并對(duì)預(yù)測(cè)結(jié)果進(jìn)行持續(xù)跟蹤，發(fā)現(xiàn)偏差后及時(shí)修正。通過(guò)負(fù)荷監(jiān)測(cè)，預(yù)測(cè)各地區(qū)短期售電量，對(duì)負(fù)荷數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，支撐有序用電執(zhí)行效果評(píng)估。

2.3 配變重過(guò)載預(yù)警分析

基于大數(shù)據(jù)挖掘技術(shù)的配變重過(guò)載預(yù)測(cè)分析，能夠更加準(zhǔn)確，運(yùn)用回歸算法，構(gòu)建重過(guò)載預(yù)警模型，建設(shè)每周預(yù)報(bào)（短期）、迎峰度夏、農(nóng)排專(zhuān)題（中期）分析場(chǎng)景，實(shí)現(xiàn)短期和中期配變重過(guò)載情況預(yù)測(cè)。場(chǎng)景將對(duì)全市及各區(qū)持續(xù)發(fā)生的配變持續(xù)重過(guò)載情況進(jìn)行跟蹤分析，重點(diǎn)監(jiān)測(cè)特定時(shí)段及區(qū)域的配變負(fù)載（如采暖期間負(fù)荷突然增加），對(duì)異常數(shù)據(jù)進(jìn)行捕獲和鉆取分析（如配變?nèi)萘繑?shù)據(jù)不準(zhǔn)確）。同時(shí)，對(duì)短期（周）及中期（年）的重過(guò)載情況進(jìn)行預(yù)測(cè)，并與實(shí)際發(fā)生情況進(jìn)行比對(duì)。

3 系統(tǒng)架構(gòu)設(shè)計(jì)及實(shí)現(xiàn)

此項(xiàng)目基于Hadoop框架進(jìn)行設(shè)計(jì)開(kāi)發(fā)，Hadoop框架中有MapReduce、Hbase和HDFS三大核心設(shè)計(jì)。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念“Map（映射）”和“Reduce（歸約）”，是它們的主要思想，可以把一個(gè)復(fù)雜的任務(wù)劃分為若干個(gè)簡(jiǎn)單的任務(wù)分發(fā)給網(wǎng)絡(luò)上的多個(gè)節(jié)點(diǎn)同時(shí)處理。HBase-Hadoop Database，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，HBase在Hadoop之上提供了類(lèi)似于Bigtable的能力，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。HDFS是一個(gè)主從結(jié)構(gòu)，一個(gè)HDFS集群是由一個(gè)名字節(jié)點(diǎn)，它是一個(gè)管理文件命名空間和調(diào)節(jié)客戶(hù)端訪問(wèn)文件的主服務(wù)器。HDFS的高容錯(cuò)性、高吞吐量等特點(diǎn)使得HDFS適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。

3.1 系統(tǒng)架構(gòu)

大數(shù)據(jù)平臺(tái)為業(yè)務(wù)系統(tǒng)大數(shù)據(jù)應(yīng)用開(kāi)發(fā)、運(yùn)行提供統(tǒng)一的平臺(tái)支撐。其總體架構(gòu)包括數(shù)據(jù)整合、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)分析、平臺(tái)服務(wù)、安全管理、配置管理等模塊，并提供各種形式的服務(wù)對(duì)業(yè)務(wù)應(yīng)用提供支撐。大數(shù)據(jù)平臺(tái)總體架構(gòu)圖如圖1所示。

數(shù)據(jù)整合：通過(guò)數(shù)據(jù)抽取（ETL）、實(shí)時(shí)數(shù)據(jù)采集、文件數(shù)據(jù)采集、數(shù)據(jù)庫(kù)實(shí)時(shí)復(fù)制等多種技術(shù)從外部數(shù)據(jù)源抽取和采集結(jié)構(gòu)化數(shù)據(jù)（關(guān)系數(shù)據(jù)庫(kù)記錄）、半結(jié)構(gòu)化數(shù)據(jù)（日志、郵件等）、非結(jié)構(gòu)化數(shù)據(jù)（文件、視頻、音頻、網(wǎng)絡(luò)數(shù)據(jù)流等）到大數(shù)據(jù)平臺(tái)的hive庫(kù)中。

數(shù)據(jù)存儲(chǔ)：負(fù)責(zé)進(jìn)行大數(shù)據(jù)的存儲(chǔ)，針對(duì)全數(shù)據(jù)類(lèi)型和多樣計(jì)算需求，以海量規(guī)模存儲(chǔ)、快速查詢(xún)讀取為特征，存儲(chǔ)來(lái)自外部數(shù)據(jù)源的各類(lèi)數(shù)據(jù)，支撐數(shù)據(jù)處理層的高級(jí)應(yīng)用。通常情況下，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在分布式文件系統(tǒng)HDFS中，半結(jié)構(gòu)化數(shù)據(jù)采用列式數(shù)據(jù)庫(kù)或鍵值數(shù)據(jù)庫(kù)，結(jié)構(gòu)化數(shù)據(jù)采用行式存儲(chǔ)數(shù)據(jù)庫(kù)存儲(chǔ)，實(shí)時(shí)性高、計(jì)算性能要求高的數(shù)據(jù)存儲(chǔ)在內(nèi)存數(shù)據(jù)庫(kù)或?qū)崟r(shí)數(shù)據(jù)庫(kù)。

數(shù)據(jù)計(jì)算：對(duì)多樣化的大數(shù)據(jù)提供流計(jì)算、批量計(jì)算、內(nèi)存計(jì)算、查詢(xún)計(jì)算等計(jì)算功能，允許對(duì)分布式存儲(chǔ)的數(shù)據(jù)文件或內(nèi)存數(shù)據(jù)進(jìn)行查詢(xún)和計(jì)算。通過(guò)Storm流計(jì)算技術(shù)提供實(shí)時(shí)分析處理的計(jì)算能力，實(shí)現(xiàn)實(shí)時(shí)決策、預(yù)警等。通過(guò)離線計(jì)算提供落地?cái)?shù)據(jù)的計(jì)算能力，實(shí)現(xiàn)數(shù)據(jù)的批量處理。

數(shù)據(jù)分析：基于Hadoop技術(shù)對(duì)多樣化的大數(shù)據(jù)進(jìn)行加工、處理、分析、挖掘，產(chǎn)生新的業(yè)務(wù)價(jià)值，發(fā)現(xiàn)業(yè)務(wù)發(fā)展方向，提供業(yè)務(wù)決策依據(jù)。

平臺(tái)服務(wù)：將底層數(shù)據(jù)分析工具、組件等能力封裝后為業(yè)務(wù)系統(tǒng)的大數(shù)據(jù)應(yīng)用提供平臺(tái)服務(wù)支撐，包含存儲(chǔ)服務(wù)、計(jì)算服務(wù)、分析服務(wù)、展現(xiàn)服務(wù)等。

3.2 技術(shù)架構(gòu)

大數(shù)據(jù)平臺(tái)技術(shù)組件以集成成熟開(kāi)源產(chǎn)品為主，并對(duì)現(xiàn)有可重用的SG-ERP組件進(jìn)行提升改造，相關(guān)生產(chǎn)應(yīng)用可適時(shí)遷移至大數(shù)據(jù)平臺(tái)。

大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)包含數(shù)據(jù)整合、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)分析、平臺(tái)服務(wù)5個(gè)層次，在數(shù)據(jù)整合方面，融合實(shí)時(shí)消息隊(duì)列、數(shù)據(jù)抽取、日志采集、服務(wù)接口等技術(shù)，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的快速接入；在數(shù)據(jù)存儲(chǔ)方面，采用關(guān)系數(shù)數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)、分布式列式數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)等存儲(chǔ)技術(shù)，滿(mǎn)足海量數(shù)據(jù)實(shí)時(shí)、準(zhǔn)實(shí)時(shí)存儲(chǔ)需求；在數(shù)據(jù)計(jì)算方面，提供流計(jì)算、批量計(jì)量、內(nèi)存計(jì)算等數(shù)據(jù)處理技術(shù)；在數(shù)據(jù)分析方面，采用開(kāi)源挖掘工具R語(yǔ)言、Mahout，并構(gòu)建分布式數(shù)據(jù)挖掘算法庫(kù)；同時(shí)，完善智能分析決策平臺(tái)的分析模型設(shè)計(jì)器，構(gòu)建統(tǒng)一的分析建模能力和運(yùn)行引擎。在平臺(tái)服務(wù)方面，提供統(tǒng)一的存儲(chǔ)、計(jì)算、分析、展現(xiàn)等服務(wù)。

4 結(jié)語(yǔ)

隨著電力企業(yè)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)量的不斷增大，以及業(yè)務(wù)部門(mén)數(shù)據(jù)價(jià)值挖掘需求的持續(xù)增長(zhǎng)，迫切需要用好大數(shù)據(jù)平臺(tái)這一數(shù)據(jù)分析和挖掘技術(shù)手段，充分地分析企業(yè)信息數(shù)據(jù)資源，從而可以增強(qiáng)企業(yè)的價(jià)值創(chuàng)造力和核心競(jìng)爭(zhēng)力，為用戶(hù)提供更優(yōu)質(zhì)的服務(wù)。

參考文獻(xiàn)

[1] 肖廣娣，凌云.大數(shù)據(jù)時(shí)代信息安全分析[J].電腦知識(shí)與技術(shù)，2013（9）：7937-7938.

[2] 林清瀅.基于Hadoop的云計(jì)算模型[J].現(xiàn)代計(jì)算機(jī)，2010（7）：114-115.