基于OpenStack的輸電線路數據云平臺架構設計

李潔珊，趙志勤

(中國南方電網有限責任公司 超高壓輸電公司，廣東 廣州 510000)

0 引 言

隨著現代電力行業的不斷發展，輸電線路數據呈現數量大、維度高、來源多、聯系緊等特點。與之相比，電力大數據具有容量大、類型多、速度快的特點[1-3]。隨著各種智能終端接入電網，輸電線路數據數量、數據存儲類型、信息傳輸方法不斷增多[4]，現有數據處理方式不利于智能電網的發展。

目前，國內外已有大量相關的研究。文獻[5]在數據量爆炸性增長的背景下，從大能源與大數據融合的角度描述大數據對電力企業數據處理方式的影響；文獻[6]提出了適合電力大數據應用的數據技術框架和關鍵技術體系；文獻[7]針對廣東電網發展的階段性特點，探討廣東電網大數據的發展思路。許多研究基于單一或多個大數據計算技術提出相應的電力系統或其他行業的大數據平臺解決方案。文獻[8]利用分布式處理架構與電網實際分布式架構的相似性，提出了一種綜合數據平臺建設模式和基于多代理技術的系統框架；文獻[9]基于Map-Reduce模型設計了可以并行計算正域中元素個數的屬性約簡算法；文獻[10]根據OpenFlow的技術特點，提出未來國家電網公司大數據平臺應用的方法，具有較好的可擴展性和加速比，可以處理電力大數據集；文獻[11]針對海量設備狀態數據和動態信息的在線收集問題，基于Hadoop技術設計了一套數據儲存處理系統，具有高效查詢的優勢。以上研究大多集中于總體架構和電力系統總的信息平臺設計，覆蓋面較大，缺少針對發輸配用特定平臺的研究。

本文提出以大數據技術支撐的統一云平臺架構設計方案。

1 輸電線路大數據特征及需求分析

1.1 輸電線路數據分析

輸電線路數據根據文件格式可分為文檔、純文本、線路實時圖像、XML、HTML、報表、視頻文件；按照數據存儲方式可以分為結構化數據、非結構化數據和半結構化數據；按照數據單位大小分為Byte、Block、Chunk等級別；按照數據內容可分為臺賬、日志、記錄、測量等數據。

具體線路數據來源及數據分類如表1所示。

表1 輸電線路數據源表單

1.2 輸電線路云平臺需求分析

輸電線路數據云平臺是表1中各個系統平臺應用的基礎，在上述平臺系統的數據添加、查詢、更新和管理中起到了關鍵性的作用。

輸電線路數據云平臺中，輸電線路半結構化、非結構化數據主要由運維自動化平臺產生，包括現場圖像、照片數據，微氣象數據，調度自動化系統(Power dispatching Automation System, PAS)測量數據和波記錄數據。不同測量數據的規模總量和增量大體可以分為3類：(1)日增量大，但產生頻率較低，雷電定位系統數據；(2)日增量較小，但產生頻率較高，如保護裝置動作記錄及錄波記錄；(3)日增量較大且產生頻率較高，如SCADA量測數據和PAS量測數據。因此需要對現有的數據存儲進行優化，以提高數據的利用效率。

各類數據存量及增量速度表如表2所示。

表2 各類數據存量及增量速度表

從表1和表2可以看出數據源分散，無法將現有的數據進行多部門、跨專業、以設備為中心的有效融合，而應用大數據技術的云數據平臺可以有效地解決數據整合優化的問題。

2 OpenStack云平臺技術分析

2.1 OpenStack技術介紹

OpenStack是云計算服務商Rackspace和美國航空航天局一起開發的開源的基礎設施及服務云計算平臺，它能夠幫助服務運營商或者大型企業來管理物理資源設備，搭建和運行云計算平臺[12-14]。該技術具有靈活、松耦合以及開源特點3大優勢。

2.2 OpenStack技術在數據云平臺服務分析

OpenStack主要由計算服務，存儲服務、鏡像服務、認證服務和UI服務組成，其具體架構如圖1所示。

圖1 OpenStack概念架構

(1)計算服務。主要提供虛擬主機服務，用于為單個用戶或使用群組管理虛擬機實例的整個生命周期，根據用戶需求來提供虛擬服務；

(2)存儲服務。提供一種分布式、持續虛擬對象存儲，通過在軟件層引入一致性散列技術和數據冗余性，提供了很好的非結構化數據存儲方案；

(3)鏡像服務。一套虛擬機鏡像查找及檢索系統，支持多種虛擬機鏡像格式，有創建上傳鏡像、刪除鏡像、編輯鏡像基本信息的功能；

(4)認證服務。對于用戶管理可以實現用戶與用戶行為跟蹤，同時提供一個服務目錄，包括服務項與相關接口的位置；

(5)UI服務。使用python語言開發的Web端管理門戶，封裝了大部分主要的API，用戶可通過圖形化的界面對OpenStack中的資源進行操控，簡化了OpenStack的交互方式。

3 基于OpenStack的輸電線路數據云平臺架構設計

3.1 輸變電線路云平臺設計思路

輸電線路數據云平臺核心思想如圖2所示。

3.2 數據云平臺整體架構

輸電線路數據云平臺以數據為中心，將實際數據作為應用基礎，使用OpenStack搭建云平臺，統一管理和調度硬件資源，為上層的大數據處理提供資源透明

的彈性服務。平臺整體框架由數據采集層、數據中心層、應用層以及接入層共4個層次組成，如圖3所示。

圖2 輸電線路數據云平臺核心思想

圖3 總體架構圖

數據采集層是輸電線路數據私有云平臺的最底層，作為整個平臺的智能感知層，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、信號轉換、監控、初步處理和管理，再通過網絡將各種方式采集的數據或人為加工的數據統一傳輸和存儲到上層。

數據中心層是私有數據云平臺的核心，數據預處理模塊對底層數據進行數據清洗，并將多個數據源中的相似數據結合起來統一存儲。數據存儲模塊分為大數據存儲和傳統存儲兩個框架，分別存儲非結構化和結構化數據。數據計算模塊以Hadoop/MapReduce并行處理引擎為基礎，支持調度和分配計算資源，結合數據挖掘技術，利用多種計算方式，計算推演不同來源數據之間的關聯關系，提供給上層前端應用。

應用層包括輸電線路狀態實時監測報警、基礎臺賬、圖形展示、安全管理等高級應用，采用基于面向服務的體系結構(service oriented architecture, SOA)的輕量級服務總線，實現不同粒度服務的靈活配置。

接入層即用戶終端，平臺數據及分析結果等可以通過移動終端或者PC終端被用戶實時訪問，并且支持現有主流操作系統，提高平臺的適應性與兼容性。

3.3 輸電線路數據云平臺基礎服務體系分析

輸電線路數據云平臺包括云主機服務、云硬盤服務、對象存儲服務和管理服務。本研究以安全生產的海量數據進行梳理分析和圖3所示架構為基礎，提供可以靈活部署的分層基礎服務體系，其具體組件服務架構如圖4所示。

圖4 服務架構圖

云平臺基礎服務主要由4種服務組成：

(1)云主機服務。計算服務的主要提供者，主要部署在可以提供CPU和內存服務的計算節點上，由于計算節點具有伸縮性，可以按照實際需求控制物理節點數；

(2)云硬盤服務。提供虛擬磁盤服務，在默認的機架式服務器集群中，與云主機服務都部署在計算節點上，因此也可以按照應用需求實現彈性伸縮，并且節點之間互不干擾；

(3)對象存儲服務。提供安全可靠的存儲服務，每個對象存儲設備具有一定的智能，基于OpenStack的對象存儲服務即Swift子項目，具有很強的數據持久性和無單點故障的特點，適用于靜態數據的長期存儲；

(4)關系型數據庫服務(relational database service，RDS)。現有數據中大量數據還是以二維形式存儲，并且RDS具有保持數據一致性、數據新的開銷小等優點，因此與非關系數據庫互為補充。

除了主要的服務組件，還有相應的管理服務，主要由監控服務、計費服務和負載均衡這3個服務組成。管理節點部署管理員平臺和產品用戶平臺，同時也部署了云監控以及各個云服務的API組件。這是云平臺的唯一入口。在用戶請求量較大的情況，可考慮萬兆網卡。

4 結束語

本研究根據輸電網實際數據特點和OpenStack技術的優點，提出基于OpenStack的輸電線路數據云平臺架構和服務架構。

(1)現有輸電線路數據同時存在結構化數據和半

結構化數據，且數據量增長較快，需要根據數據來源不同和數據特性對其進行區分；

(2)OpenStack服務架構本身具有靈活、松耦合、開源等特點，可以有效提高輸電線路數據平臺服務框架搭建效率；

(3)基于OpenStack的輸電線路大數據平臺可以有效地提高數據關聯度、處理結構復雜的輸電數據，由于服務松耦合性，可以縮短服務響應時間，提高平臺運行效率。

[1] 中國電機工程學會信息化專委會.中國電力大數據發展白皮書[M].北京：中國電力出版社,2013.

[2] 彭小圣,鄧迪元,程時杰,等.面向智能電網應用的電力大數據關鍵技術[J].中國電機工程學報,2015,35(3):503-511.

[3] 趙云山，劉煥煥.大數據技術在電力行業的應用研究[J].電信科學,2014,50(1):57-62.

[4] 朱朝陽，王繼業，鄧春宇.電力大數據平臺研究與設計[J].電力信息與通信技術,2015,13(6):1-7.

[5] 薛禹勝,賴業寧.大能源思維與大數據思維的融合(一)大數據與電力大數據[J].電力系統自動化,2016,40(1):1-8.

[6] 李棟華,耿世奇,鄭 建.能源互聯網形勢下的電力大數據發展趨勢[J].現代電力,2015,32(5):10-14.

[7] 蔡 徽.廣東電網電力大數據現狀及主要發展思路[J].廣東電力，2014,27(12):11-14.

[8] 暢廣輝,鎬俊杰,劉滌塵,等.基于多代理技術的電力控制中心綜合數據平臺設計[J].電力系統自動化,2008,32(1):85-89.

[9] 曲朝陽,陳 帥,楊 帆,等.基于云計算技術的電力大數據預處理屬性約簡方法[J].電力系統自動化,2014,38(8):67-71.

[10] 尹曉華,胡 楠,劉 為,等.OpenFlow在電力大數據平臺中的應用[J].電力建設,2015,36(3):43-48.

[11] 李 偉,張 爽,康建東,等.基于hadoop的電網大數據處理探究[J].電子測試,2014(1):74-77.

[12] 李知杰,趙健飛.OpenStack開源云計算平臺[J].軟件導刊,2012,11(12):10-12.

[13] 李小寧,李 磊,金連文,等.基于OpenStack構建私有云計算平臺[J].電信科學,2012,28(9):1-8.

[14] CHEN S C, HWANG R H. A scalable integrated SDN and OpenStack management system[C]. International Conference on Computer and Information Technology, Nadi: IEEE,2016.