李文靜
【摘 ?要】設計了基于調控云的電網調控數據縱向互聯信息共享的系統。介紹調控云的建設情況,數據云平臺的模型數據中心的建設情況,模型數據中心實現調控數據的結構化、規范化和標準化;采用Kafka消息中心實現調控數據信息的縱向互聯和信息共享,最后對各級調控機構按訂閱推送,保障了縱向和橫向部門間的業務協同。目前該系統已應用于華中電網,推進了業務流程的交互,減輕了用戶的工作量,提升了工作效率。
【關鍵詞】調控云;數據云平臺;數據結構化;縱向互聯;Kafka消息總線
1、調控云平臺
調控云是國家電網有限公司“三朵云”規劃中的一個重要組成部分。為適應“統一管理、分級調度”的調度管理模式,調控云采用統一和分布相結合的分級部署設計,形成國分主導節點和各省級協同節點的兩級部署,共同構成一個完整的調控云體系。主導節點和協同節點在硬件資源層面各自獨立進行管理;在數據層面,主導節點作為調控云各類模型及數據的中心,負責元數據和字典數據的管理,并負責調控云各類數據的數據模型建立,以及國調和分中心管轄范圍內模型及數據的匯集,協同節點負責本省模型及數據的匯集并向主導節點同步/轉發相關數據;在業務層面,調控云作為一個有機整體,由主導節點基于全網模型,提供完整的模型服務、數據服務及業務應用,各協同節點基于本省完整模型及按需的外網模型提供相關業務服務
主導節點(國分)處于調控云的核心位置,統領調控云的數據標準化、服務標準化、安全標準化,主導全網計算業務。協同節點(省級)N個,部署在每個省級調控中心,是調控云的協同節點,嚴格遵循數據標準、服務標準和安全標準,并負責全網計算業務的子域協同。所有節點共同構成跨調度機構的“國(分省)、省(地縣)二級1+N個調控云平臺。
2、調控數據結構化管理
調控云軟件架構按照云計算典型分層設計自下而上進行層次劃分,包括IaaS層、PaaS層和SaaS層,并配置云安全防護功能。調控云平臺服務層(PaaS)集成了調控云的核心組件,支撐應用運行所需的軟件運行環境,相關工具與服務。
模型數據能夠在數據的采集與匯聚、存儲及使用與展示等多個方面對數據進行管理。模型數據支持關系數據庫、列式數據庫、實時數據庫和MPP數據庫,對結構化、半結構化、非結構化實時數據和非實時數據提供分布式存儲與統一訪問功能,支持多種類型的存儲及訪問方式進行數據存儲中的業務數據操作,并提供統一數據服務,實現數據訪問請求的處理。
2.1關系數據庫:按照行進行存儲,關系數據庫擅長隨機讀操作,不適合用于大數據,主要用于數據訪問實時性不高的場合,例如電網模型數據和統計信息等。
2.2列式數據庫:數據表中同一列或相關列的數據會被組織存儲在一起,這樣既減少了查詢操作時的I/O,也便于壓縮,從而節省存儲空間。列式存儲適合于較低延遲的讀寫訪問、高并發的訪問請求。基于列存儲的數據存儲與管理裝載速度快、易于壓縮、易于做聚合分析,適宜于大數據規模下的統計、分析等應用功能。
2.3分布式實時數據庫:基于內存進行存儲,支持對實時數據的快速存儲和訪問,具備數據表的分片與多副本機制,提供高速的本地訪問接口、遠方服務訪問接口,支持數據關系描述和檢索,主要用于存儲電網運行的實時信息。
2.4MPP數據庫:采用sharednothing架構(MPP),數據根據數據庫模型和應用特點劃分到各個節點上,每臺數據節點通過專用網絡或者商業通用網絡互相連接,彼此協同計算,作為整體提供數據庫服務。通過將數據分布到多個節點上來實現規模數據的存儲,通過并行查詢處理來提高查詢性能。MPP數據庫具有完全的可伸縮性、高可用、高性能、資源共享等優勢。
2.5調控云模型數據層作為數據處理的中間層,提供統一的數據訪問和分析接口,能讓上層應用以統一的接口連接關系數據庫、列式數據庫、MPP數據庫和實時數據庫等不同的數據源。統一訪問接口提供基于SQL的數據訪問方式,實現對各種數據的統一訪問,屏蔽數據存儲的差異。
調控信息結構化、標準化、規范化是不同機構間、不同專業間業務系統數據交互的基礎,保證了業務系統間數據交互質量和效率。調控數據結構化的實現保證了調控數據在結構和存儲方式上的統一規范,避免了數據共享時結構不一致所造成的中間處理換件,為國調、分中心、省調(以下簡稱“國、分、省”)三級調控信息共享打下了堅實的基礎。
3、調控數據信息的共享機制
目前,國分、分省協同平臺通過小郵件方式實現數據信息共享,但存在丟失文件,數據傳輸不穩定,易被覆蓋等問題。為實現各調控機構調控數據安全、可靠地交換和共享,提高數據共享的實時性和針對性,結合國分一體化數據模型中心和智能數據信息標準化的建設情況,以調控云總線作為數據同步和共享的中介,實現調控信息的共享。
云總線是由服務總線和消息總線構成的,服務總線為云端應用和客戶端應用提供訂閱/發布式的遠程服務調用服務;消息總線實現云端、客戶端之間的訂閱/發布式的消息傳輸服務。
電力調度數據維護和共享遵循“源端維護、全局共享”的原則。基于Kafka原理,調控模型數據云中心的主導節點通過消息總線把數據下發給國分層源數據端和協同節點。當主導節點發布最新的元數據后,協同節點和源數據端自動驗證是否可以執行,并將驗證結果反饋給主導節點。源數據端與對應的云端、協同節點與主導節點通過消息總線實現模型數據匯集,實現縱向互聯。同時,可將需要的模型數據從主導節點訂閱到本地協同節點及本地源數據端。
縱向同步軟件通過對系統傳輸日志的記錄,可實現對數據傳輸狀態進行監視和記錄。源數據端記錄數據的抽取日志,云端記錄數據的傳輸和裝載日志,通過監視工具可瀏覽實時運行狀態和同步日志記錄,系統提供通道異常、同步異常等異常告警功能。同時,縱向同步具備周期性、一致性校驗功能,實現源數據端與云端數據的定期比對和補傳功能。
4、結束語
基于調控云平臺的數據共享方案,在電網數據實現結構化管理的基礎上,利用Kafka消息總線,實現國分、分省的數據之間主動推送和按需訂閱的信息共享,提高了電網調控運行一體化管理水平,實現了與傳統電網截然不同的電網運營理念和體系,加快了“信息電網,智慧電網”的前進步伐。國、分、省三級調控機構的運行數據在數據中心匯集,有利于推進業務流程的交互,減輕用戶的工作量,極大地提升工作效率。電網調控數據縱向信息共享有效解決了分布式環境中異構系統的信息交互,保障了縱向和橫向多級業務部門間的業務協同和信息共享,實現了電網的可靠、安全、經濟、高效、環境友好的使用目標,開創電網“綠色、環保、節能”新局面。
參考文獻:
[1]奚江惠,胡濟洲,裘微江,等.大電網安全穩定沙盤推演系統[J].湖北電力,2016,40(01):1-5,10
[2]辛耀中,石俊杰,周京陽,等.智能電網調度控制系統現狀與技術展望[J].電力系統自動化,2015,39(1):2-8.
[3]蔡德福,曹侃,唐澤洋,等.大數據技術在電力系統的應用[J].湖北電力,2016,40(06):22-26.
(作者單位:國網太原供電公司)