云計(jì)算數(shù)據(jù)庫(kù)在海量用電信息采集系統(tǒng)的應(yīng)用研究

劉小琦

摘 要：本文主要探討如何將云計(jì)算技術(shù)應(yīng)用在海量用電信息采集系統(tǒng)中，從而解決海量用電信息數(shù)據(jù)實(shí)時(shí)并發(fā)采集入庫(kù)的速率問(wèn)題、歷史大數(shù)據(jù)的秒級(jí)查詢和計(jì)算問(wèn)題，提高了系統(tǒng)數(shù)據(jù)的實(shí)時(shí)性和可用性，滿足了用電信息采集系統(tǒng)自治區(qū)級(jí)集中模式下的各盟市、縣級(jí)操作人員對(duì)實(shí)時(shí)采集數(shù)據(jù)的查詢、統(tǒng)計(jì)和分析工作，提高了工作效率。

關(guān)鍵詞：云計(jì)算；用電信息采集系統(tǒng)；實(shí)時(shí)數(shù)據(jù)庫(kù)；海量數(shù)據(jù)

中圖分類(lèi)號(hào)：TP315 文獻(xiàn)標(biāo)識(shí)碼：A

An Applied Research of Cloud Computing Database in Mass

Electric Energy Data Acquire System

LIU Xiaoqi

（Youth Political College of Inner Mongolia Normal University，Huhehaote 010051，China）

Abstract：This paper mainly discusses how to apply Cloud Computing technology to mass Electric Energy Data Acquire System to solve the problem of the real-time concurrency storing speed of mass Electric Energy Data and the problem of the second-level query and calculation of historical mass-data，and then to improve the instantaneity and availability.Under centralized mode of Electric Energy Data Acquire System of the autonomous-region level，this will meet the demands of the operators of the leagues，the cities，and the counties for query，statistics，and analysis work of the real time collected data.This will improve the work efficiency.

Keywords：cloud computing；electricity consumption information collection system；real-time database；mass data

1 引言（Introduction）

隨著智能電網(wǎng)[1-3]建設(shè)的不斷開(kāi)展，之前普遍使用Oracle數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)存儲(chǔ)和查詢的方法已經(jīng)不能滿足用電信息采集系統(tǒng)的需要。目前的用電信息采集系統(tǒng)，如果用戶數(shù)據(jù)超過(guò)百萬(wàn)級(jí)，并發(fā)采集入庫(kù)時(shí)，系統(tǒng)只能將用戶數(shù)據(jù)先保存到臨時(shí)文件中，然后再通過(guò)分批次的方式寫(xiě)入到庫(kù)中，而不能把數(shù)據(jù)直接保存到數(shù)據(jù)庫(kù)中，從而保證不會(huì)因?yàn)閿?shù)據(jù)量過(guò)大而出現(xiàn)數(shù)據(jù)庫(kù)崩潰的情況。目前的處理方式存在很多弊端，首先是采集數(shù)據(jù)的入庫(kù)延遲，無(wú)法實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)監(jiān)控；另外，系統(tǒng)每天都會(huì)產(chǎn)生大量的采集數(shù)據(jù)，隨著時(shí)間的累積，數(shù)據(jù)量也變得異常龐大。這時(shí)再進(jìn)行數(shù)據(jù)的查詢或計(jì)算工作時(shí)，會(huì)需要相當(dāng)長(zhǎng)的時(shí)間，從而失去了時(shí)效性，也就失去了查詢的意義，失去了實(shí)時(shí)分析的意義，極大地降低了工作效率。

云計(jì)算數(shù)據(jù)庫(kù)技術(shù)可以通過(guò)采用分布式文件存儲(chǔ)與關(guān)系型數(shù)據(jù)庫(kù)結(jié)合的模式，優(yōu)化用電信息采集系統(tǒng)大規(guī)模數(shù)據(jù)高效存取和并行計(jì)算能力，從而為用電信息采集系統(tǒng)及其他信息系統(tǒng)提供高質(zhì)量的數(shù)據(jù)處理服務(wù)，為實(shí)現(xiàn)用電信息采集系統(tǒng)“全覆蓋、全采集、全費(fèi)控”的建設(shè)目標(biāo)提供有力的技術(shù)支撐。

2 系統(tǒng)技術(shù)架構(gòu)設(shè)計(jì)（System technical architecture

design）

2.1 系統(tǒng)架構(gòu)

用電信息采集系統(tǒng)從功能上大致可以分為采集集群、云數(shù)據(jù)存儲(chǔ)環(huán)境、并行ETL環(huán)境、并行分析計(jì)算環(huán)境、數(shù)據(jù)查詢組件、前端接口以及用于開(kāi)發(fā)的映射工具。系統(tǒng)總體架構(gòu)，如圖1所示。

圖1 系統(tǒng)總體架構(gòu)

Fig.1 Overall system architecture

2.2 技術(shù)性能

（1）高性能的存儲(chǔ)技術(shù)

a.存儲(chǔ)策略的優(yōu)化

云實(shí)時(shí)數(shù)據(jù)庫(kù)存儲(chǔ)平臺(tái)利用分布式存儲(chǔ)機(jī)制，把數(shù)據(jù)分開(kāi)保存到多個(gè)獨(dú)立的存儲(chǔ)服務(wù)器上。包含卷管理服務(wù)器、元數(shù)據(jù)管理服務(wù)器、數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)服務(wù)器和掛接訪問(wèn)客戶端以及管理監(jiān)控中心服務(wù)器，它們的結(jié)合構(gòu)成虛擬統(tǒng)一的海量存儲(chǔ)空間。每個(gè)服務(wù)器節(jié)點(diǎn)上運(yùn)行云實(shí)時(shí)存儲(chǔ)平臺(tái)相應(yīng)的軟件服務(wù)程序模塊。

b.分布式文件存儲(chǔ)系統(tǒng)

分布式文件存儲(chǔ)系統(tǒng)包括元數(shù)據(jù)管理、塊數(shù)據(jù)管理和卷管理。元數(shù)據(jù)是指文件的名稱(chēng)、屬性、數(shù)據(jù)塊位置信息等，元數(shù)據(jù)管理是通過(guò)元數(shù)據(jù)服務(wù)程序來(lái)完成的。通常元數(shù)據(jù)的訪問(wèn)比較頻繁，所以系統(tǒng)將元數(shù)據(jù)加載緩存至內(nèi)存中管理，提高訪問(wèn)效率。基于元數(shù)據(jù)的重要性，元數(shù)據(jù)損壞或丟失相當(dāng)于文件數(shù)據(jù)丟失，因此實(shí)現(xiàn)了元數(shù)據(jù)服務(wù)器主備雙機(jī)高可用，確保時(shí)時(shí)不間斷服務(wù)。

c.存儲(chǔ)訪問(wèn)接口

分布式文件系統(tǒng)為符合POSIX規(guī)范的文件系統(tǒng)提供訪問(wèn)接口，支持Linux、Windows、MaxOS X等操作系統(tǒng)平臺(tái)。云實(shí)時(shí)數(shù)據(jù)庫(kù)存儲(chǔ)平臺(tái)接口為用電信息采集系統(tǒng)提供API函數(shù)、JDBC、ODBC、SQL等多種方式實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)和查詢管理，還為其它的系統(tǒng)提供API函數(shù)、JDBC、ODBC、Web Service服務(wù)等接口形式，滿足了數(shù)據(jù)的數(shù)據(jù)挖掘和共享查詢。云實(shí)時(shí)數(shù)據(jù)庫(kù)存儲(chǔ)平臺(tái)對(duì)外提供豐富的接口，建立基于云存儲(chǔ)的數(shù)據(jù)共享平臺(tái)，為用電信息采集系統(tǒng)、電力營(yíng)銷(xiāo)管理系統(tǒng)、電能服務(wù)管理系統(tǒng)等提供豐富接口和數(shù)據(jù)服務(wù)。

d.分級(jí)動(dòng)態(tài)存儲(chǔ)方式

云實(shí)時(shí)數(shù)據(jù)庫(kù)存儲(chǔ)平臺(tái)采用了分級(jí)技術(shù)進(jìn)行數(shù)據(jù)保存，依據(jù)數(shù)據(jù)的重要性、訪問(wèn)的頻率等信息對(duì)數(shù)據(jù)進(jìn)行分級(jí)存儲(chǔ)，一是通過(guò)分級(jí)存儲(chǔ)可以把元數(shù)據(jù)等重要信息一直保持在線存儲(chǔ)的狀態(tài)，數(shù)據(jù)的讀取和修改可以隨時(shí)進(jìn)行，從而滿足前端應(yīng)用服務(wù)器或數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)訪問(wèn)的速度要求；二是將訪問(wèn)量相對(duì)比較小的冗余容錯(cuò)數(shù)據(jù)、備份數(shù)據(jù)等數(shù)據(jù)采用便宜的SATA硬盤(pán)存儲(chǔ)。這些數(shù)據(jù)使用離線存儲(chǔ)方式，當(dāng)需要訪問(wèn)這些數(shù)據(jù)，我們可以通過(guò)相應(yīng)的喚醒策略來(lái)實(shí)現(xiàn)，把離線轉(zhuǎn)為在線。

（2）使用合理、高效的檢索技術(shù)

a.數(shù)據(jù)庫(kù)檢索技術(shù)。主要包括：順序檢索、倒序檢索、布爾邏輯檢索、限定檢索和聚類(lèi)檢索。

b.全文檢索技術(shù)。主要包括：截詞檢索、位置檢索和加權(quán)檢索。

3 系統(tǒng)應(yīng)用中的問(wèn)題探討（Problems in the

application of the system）

系統(tǒng)應(yīng)用由云實(shí)時(shí)存儲(chǔ)共享平臺(tái)、關(guān)系數(shù)據(jù)庫(kù)組成，云存儲(chǔ)共享平臺(tái)與原系統(tǒng)前置集群結(jié)合，滿足海量采集數(shù)據(jù)、檔案類(lèi)數(shù)據(jù)、監(jiān)控信息的存儲(chǔ)需求。關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)檔案數(shù)據(jù)、費(fèi)控?cái)?shù)據(jù)和告警事件數(shù)據(jù)，提高實(shí)時(shí)業(yè)務(wù)處理能力和系統(tǒng)性能。原系統(tǒng)數(shù)據(jù)庫(kù)在過(guò)渡階段保持原業(yè)務(wù)流程，起備用和保護(hù)作用。系統(tǒng)成功過(guò)渡試運(yùn)行結(jié)束后，關(guān)閉原系統(tǒng)數(shù)據(jù)庫(kù)。通過(guò)WebService、JDBC、ODBC、SQL等技術(shù)向外圍系統(tǒng)提供標(biāo)準(zhǔn)化、多樣化數(shù)據(jù)訪問(wèn)。

3.1 海量用電數(shù)據(jù)處理問(wèn)題

2014年用電信息采集系統(tǒng)全覆蓋目標(biāo)實(shí)現(xiàn)后，采集數(shù)據(jù)量將呈指數(shù)級(jí)增長(zhǎng)，海量數(shù)據(jù)的計(jì)算成為一個(gè)重要的問(wèn)題，為解決大集中后高并發(fā)大容量采集數(shù)據(jù)實(shí)時(shí)處理的問(wèn)題，將采用基于Hadoop的海量用電數(shù)據(jù)并行計(jì)算技術(shù)，將采集任務(wù)做并行化處理，把計(jì)算任務(wù)分配到多個(gè)不同的工作節(jié)點(diǎn)完成，實(shí)現(xiàn)系統(tǒng)性能的有效提升。

3.2 基于Hadoop的數(shù)據(jù)并行處理技術(shù)

Hadoop架構(gòu)主要由NameNode、DataNode、JobTracker、TaskTracker幾個(gè)角色組成。其中，NameNode是一個(gè)中心服務(wù)群，負(fù)責(zé)管理文件系統(tǒng)的名字空間和客戶端對(duì)文件的訪問(wèn)；DataNode負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)，并在NameNode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的操作；JobTracker負(fù)責(zé)將任務(wù)分配給空閑的TaskTracker，讓這些任務(wù)并發(fā)進(jìn)行，并負(fù)責(zé)監(jiān)控任務(wù)的運(yùn)行情況；TaskTracker負(fù)責(zé)執(zhí)行任務(wù)，如果某個(gè)TaskTracker出現(xiàn)故障，則JobTracker會(huì)將其負(fù)責(zé)的任務(wù)轉(zhuǎn)交給另外一個(gè)空閑的TaskTracker重新運(yùn)行。

基于Hadoop的海量智能用電數(shù)據(jù)并行處理技術(shù)能夠?qū)崿F(xiàn)多個(gè)節(jié)點(diǎn)并行任務(wù)的處理，提高海量數(shù)據(jù)的處理效率，同時(shí)支持系統(tǒng)對(duì)應(yīng)物理設(shè)備的靈活部署與裝配，對(duì)于不斷增長(zhǎng)的終端所帶來(lái)的海量數(shù)據(jù)，可以實(shí)時(shí)處理。

4 系統(tǒng)特點(diǎn)和性能分析（System characteristics and

performance analysis）

4.1 系統(tǒng)特點(diǎn)

（1）支持大數(shù)據(jù)實(shí)時(shí)入庫(kù)。為了防止數(shù)據(jù)堆積，我們采用現(xiàn)有的用電采集系統(tǒng)服務(wù)器集群和云實(shí)時(shí)數(shù)據(jù)庫(kù)計(jì)算平臺(tái)相結(jié)合的方式，能夠提高對(duì)海量數(shù)據(jù)的快速入庫(kù)，入庫(kù)速度可以達(dá)到千兆每秒。避免因數(shù)據(jù)入庫(kù)能力不足，造成的數(shù)據(jù)堆積。

（2）支持大數(shù)據(jù)實(shí)時(shí)索引，秒級(jí)計(jì)算和查詢。實(shí)時(shí)監(jiān)控入

庫(kù)的新數(shù)據(jù)，對(duì)其建立具有高效查詢速度的索引算法，能夠完成對(duì)千億級(jí)別的數(shù)據(jù)進(jìn)行實(shí)時(shí)索引；云分布式調(diào)度引擎系統(tǒng)滿足秒級(jí)查詢速度，能夠?qū)⒂脩舻牟樵內(nèi)蝿?wù)分解到平臺(tái)的各個(gè)服務(wù)器上，實(shí)現(xiàn)分布式并行計(jì)算，并完成各種復(fù)雜業(yè)務(wù)應(yīng)用的計(jì)算。從而高效的利用系統(tǒng)資源，快速響應(yīng)查詢、統(tǒng)計(jì)、分析請(qǐng)求。

4.2 系統(tǒng)性能

用電信息采集系統(tǒng)的數(shù)據(jù)采集后經(jīng)過(guò)云實(shí)時(shí)數(shù)據(jù)庫(kù)計(jì)算平臺(tái)實(shí)時(shí)索引，并將元數(shù)據(jù)和索引數(shù)據(jù)存儲(chǔ)到云實(shí)時(shí)存儲(chǔ)平臺(tái)上，實(shí)現(xiàn)數(shù)據(jù)冗余。查詢時(shí)，通過(guò)云實(shí)時(shí)數(shù)據(jù)庫(kù)計(jì)算平臺(tái)進(jìn)行并行分布式處理，而云實(shí)時(shí)數(shù)據(jù)庫(kù)計(jì)算平臺(tái)在查詢和檢索數(shù)據(jù)方面具有極大的性能優(yōu)勢(shì)。云實(shí)時(shí)數(shù)據(jù)庫(kù)計(jì)算平臺(tái)是一種處理海量數(shù)據(jù)高效分布式云處理系統(tǒng)，云實(shí)時(shí)數(shù)據(jù)庫(kù)計(jì)算平臺(tái)可以從TB乃至PB級(jí)的數(shù)據(jù)中挖掘出有用的信息，并對(duì)這些海量數(shù)據(jù)進(jìn)行快捷、高效的處理。

5 結(jié)論（Conclusion）

本文探討了云計(jì)算數(shù)據(jù)庫(kù)在海量用電信息采集系統(tǒng)中的理論可行性及相關(guān)技術(shù)要求，利用云計(jì)算和關(guān)系數(shù)據(jù)庫(kù)互補(bǔ)的方法，以云計(jì)算數(shù)據(jù)庫(kù)為核心，構(gòu)建電力智能用電私有云，實(shí)現(xiàn)用電信息采集系統(tǒng)對(duì)海量用電數(shù)據(jù)的存儲(chǔ)、計(jì)算和處理，提高用電數(shù)據(jù)的數(shù)據(jù)挖掘和利用效率，為智能電網(wǎng)用電信息采集系統(tǒng)的可持續(xù)發(fā)展提供了一個(gè)方向。

參考文獻(xiàn)（References）

[1] 洪建光，等.基于云計(jì)算的用電信息采集系統(tǒng)性能提升關(guān)鍵技術(shù)研究與應(yīng)用[J].ELECTRIC POWER ICT，2014，12（3）：1-4.

[2] 宋振偉.云實(shí)時(shí)數(shù)據(jù)庫(kù)在用電信息采集系統(tǒng)中的應(yīng)用[J].電力技術(shù)探討，2014（9）：263-265.

[3] 陳誠(chéng)，夏峰，蔡龍.用電信息采集系統(tǒng)本地網(wǎng)絡(luò)方案[J].農(nóng)村電氣化，2011（3）：39.

[4] 劉鵬.云計(jì)算[M].北京：電子工業(yè)出版社，2012.