基于電力企業的業務數據存取優化方式

戴昭，張紀偉，施亞林，張同喬，劉國蕊，張若冰，劉國玉

（1.國網山東省電力公司濟南供電公司，濟南250001；2.國網山東省電力公司電力科學研究院，濟南250002）

基于電力企業的業務數據存取優化方式

戴昭1，張紀偉1，施亞林1，張同喬1，劉國蕊1，張若冰1，劉國玉2

（1.國網山東省電力公司濟南供電公司，濟南250001；2.國網山東省電力公司電力科學研究院，濟南250002）

在調研電力企業業務數據存取方式的基礎上，借鑒國內外先進數據管理經驗，分析當前電力企業數據存取問題，提出了業務數據存取優化方式，結合數據接入、手工及實時數據錄入方式，得出了數據存取優化方式具有可行性和先進性。

電力企業；業務數據；優化方式

0 引言

電力企業一直在積極開展業務數據的存取優化工作?？傮w來看，電力企業數據存取順暢，但隨著近幾年先進設備的引入，實時數據大量接入，數據量大幅增加，原有的數據存取方式面臨巨大的挑戰和壓力。因此在數據存取方面還有很多問題亟需解決。

很多先進的互聯網公司在應用數據方面具有很多優勢。亞馬遜、蘋果、華為、百度、阿里巴巴等國內外大型企業均建立各自數據中心，并將實時數據傳至數據中心，實現數據的實時對等傳輸，減少了數據中間過程，使得數據存取方便快捷。

在借鑒國內外先進數據管理經驗的基礎上，結合電力企業數據存取特點，分析電力企業當前的存取問題，提出數據存取優化方式。

1 當前電力企業數據存取問題

現有的數據架構不足以滿足數據中心實時數據存取的需求，各基層電力企業無法直接獲取各業務系統的實時數據，需要通過各省公司數據中心進行數據傳遞，在傳遞的過程中，必然造成信息的衰減［1］。例如，營銷業務系統的數據是最基礎的用戶數據，但是面對數目巨大的營銷數據，其他系統所需營銷數據均需接自營銷系統，而各業務系統的編碼規則不一致，必然會導致數據丟失和衰減。

隨著大量業務數據的接入，數據的來源、真實性和準確性成為影響公司運營情況判斷的關鍵，如何保證已經接入數據中心的數據質量成為電力企業亟需解決的問題［2］。

目前各數據中心業務系統的數據，大部分一直是由業務部門主動推送，但隨著電力業務的不斷發展，對于及時性甚至實時性的要求越來越高，這種被動接受數據的方式，已經無法滿足實時業務的需要，迫切需要一種新的接口方式來滿足那些隨時發生變化的數據接入工作［3］。

綜上所述，有必要構建一個適合各層級電力企業的數據中心，實現省、市、縣三級數據共享和聯通，滿足各業務部門數據共享需求，全面支撐各級電力企業的數據分析和應用，達到統一管理、統一使用的目標。

2 數據存取優化方式

2.1數據接入技術以及接入方式

業務明細數據接入采用基于異步CDC（Change Data Capture）技術的OGG（Oracle Golden Gate），該技術在優化提升工程、明細數據接入項目中均已應用。

對于數據接入方式，一旦OGG接口打通，即可接入明細數據，而對于歷史數據，需要根據數據量和停機申請情況采用逐步導入的方式進行，考慮到后期數據分析和挖掘的需要，應導入3年的歷史數據。

2.2 數據存取

2.2.1 手工數據接入

如圖1所示，以接入的業務明細數據為基礎，構建手工數據報送平臺，用于運營監控數據資產線下數據收集，實現線下數據“自動生成、自動匯總、自動發送、自動查錯、自動提醒”，解決線下數據手工上報工作量大、數據質量控制難度大、上報不及時等問題。構建“一鍵式”手工數據報送平臺，易化手工數據收集。

圖1 手工數據錄入

原數據上報格式同業務部門本身手工報表格式差異大，數據填報枯燥且轉換工作量大。設計“一鍵式”線下數據報送平臺，貼近業務部門實際業務報表格式，成功解決原有問題。

實現“省市縣分級報送，數據自動匯總”。根據線下數據的不同層級的緯度，通過報送平臺實現數據一次錄入，多級使用，自動通過低級緯度的報送數據匯總計算高級緯度的數據。例如，根據縣級報送的業務數據自動匯總計算市級和省級緯度數據，減少市級和省級的匯總重復計算工作量。

數據質量前端控制，解決后端控制難度大，整改難等問題。通過數據報送平臺，實現在錄入端進行數據質量校驗，實現數據質量控制前移，解決數據倉庫端數據質量控制難度大，整改困難等問題。

2.2.2 外部數據接入

外部數據包括兩個方面，一是運行在外網的業務系統數據，二是在做主題分析和決策輔助時所需要的一些存在于外網的數據，例如發改委、電監會、統計局所公布的相關數據。這兩部分數據對于監測監控、主題分析有著重要的支撐作用，因此需要把外部數據抽取到共享數據中心，具體接入如圖2所示。

圖2 外部數據接入

外部數據（來源于外網系統、外部網站或者外部數據接口）通過部署在外網的數據提取接口進行數據抽取和預處理，預處理后的數據通過安全強隔離裝置發送至內網，并存入輕度匯總主題庫中，以備主題分析和決策支持。數據提取接口主要分為通用數據提取接口和數據抽取組件，通用數據接口為數據抽取框架，支撐所有抽取組件的正常運行，數據抽取組件是按照通用接口的規范為某一種數據定制開發，并以可插拔的形式運行在數據通用接口上。統一接收通過強隔離發送過來的外部數據，并將該數據寫入輕度匯總主題庫的外部數據存儲區域，以備用于主題分析和決策支持。

2.2.3 高頻實時數據接入

高頻實時數據主要是指調度、配網系統或相關設備產生的更新頻率在5 min之內的數據，這些數據主要有兩方面的用途，一是直接供運營監測支撐系統進行業務監控，二是進行匯總成業務指標存儲在數據資源池，以支撐運營主題分析和決策輔助。實時數據接入如圖3所示。

圖3 實時數據接入

實時數據的接入主要通過實時數據抽取接口和OPC接口兩種方式來實現，數據最終存儲在以內存數據庫為基礎構建的實時數據中心內。實時數據抽取接口主要用來抽取存在于業務系統的實時數據，例如調度系統、配網實時數據平臺等，該接口應具備定時數據抽取，數據流量統計、向內存數據庫數據寫入等功能，采用JAVA技術開發。OPC數據接口主要用來接收二次設備的設備數據，本方案中利用OPC COM組件進行二次開發，使得其能夠接收設備（OPC SERVER）數據并存入實時數據中心內。

2.2.4 數據存儲與轉換

如圖4所示，企業級數據中心采用“三主兩輔”的數據存儲架構，所謂的“三主”即貼源明細數據前置庫、輕度匯總主題庫和數據資源池三個主存儲節點，以三層逐級匯總的方式分別存儲業務明細數據、輕度匯總主題數據和指標數據，支撐數據全在線、數據在線計算、數據逐層鉆取穿透查詢；“兩輔”分別是實時數據中心和低頻明細數據存儲庫，其中實時數據中心存儲頻度低于5 min的實時數據，用于支撐基于實時數據的業務監控和進行部分數據指標的計算，低頻明細數據存儲庫用于轉存第3年以上的歷史數據，用于支撐基于海量數據的數據挖掘分析。

這種存儲架構具備以下特點：1）逐層穿透。從資源池穿透至匯總層，穿透至業務明細，達到數據可逆追溯及逐層展開的深入分析。2）查詢加速。依據訪問熱度，數據分為高頻資源層、中頻匯總層、低頻明細層，構建智能分段內存加載機制，在不損傷數據細節的同時加速數據的查詢速度。3）適應指標變化。本模型將依據業務實體元素進行存儲，建立高于現有指標體系的實體數據支撐存儲，可應對現有業務數據支撐范圍內的新增指標，指標算法變更等變化。

圖4 數據存儲轉換

3 結語

在借鑒國內外先進數據管理經驗的基礎上，結合電力企業數據存取特點，提出了數據存取優化方式：數據接入技術以及接入方式采用基于異步CDC技術的OGG；構建“一鍵式”手工數據報送平臺，易化手工數據收集；外部數據統一存儲在輕度匯總主題庫的外部數據存儲區域；實時數據的接入主要通過實時數據抽取接口和OPC接口兩種方式來實現；企業級數據中心采用“三主兩輔”的數據存儲架構。

［1］王德文，劉楊.一種電力云數據中心的任務調度策略［J］.電力系統自動化，2014，38（8）：61－67.

［2］胡文越.電力數據綜合分析展示平臺的設計與實現［D］.廈門：廈門大學，2014.

［3］胡平，王忠群，劉濤，等.基于分布式OSGI通用電力數據平臺［J］.計算機工程，2014，40（3）：22－26.

Business data Access Optimization Based on Electric Power Enterprise

DAI Zhao1，ZHANG Jiwei1，SHI Yalin1，ZHANG Tongqiao1，LIU Guorui1，ZHANG Ruobing1，LIU Guoyu2
（1.State Grid Jinan Power Supply Company，Jinan 250001，China；
2.State Grid Shandong Electric Power Research Institute，Jinan 250002，China）

Based on the survey of business data access mode in electric power enterprises，problems of the current electric power data management are analyzed by drawing lessons from both domestic and international advanced－data management experience.Also，optimization mode is put forward.Combined with manual data input mode and so on，the data access optimization mode is both feasible and advanced.

electric power enterprise；business data；optimization mode

TP391

B

1007－9904（2015）05－0078－03

2015－01－14

戴昭（1973），女，高級工程師，從事電力生產及運營監測業務；

張紀偉（1983），男，工程師，從事電力生產及運營監測業務；

施亞林（1968），男，高級工程師，從事電力生產及運營監測業務；

張同喬（1974），男，經濟師，從事電力生產及運營監測業務；

劉國蕊（1985），女，工程師，從事電力生產及運營監測業務；

張若冰（1980），男，工程師，從事電力生產及運營監測業務；

劉國玉（1985），女，工程師，從事電網企業政策研究及文字寫作。