內蒙古電力數據倉庫的應用

張瑜，潘紅芳

（內蒙古電力（集團）有限責任公司信息通信中心，內蒙古 呼和浩特 010020）

內蒙古電力數據倉庫的應用

張瑜，潘紅芳

（內蒙古電力（集團）有限責任公司信息通信中心，內蒙古 呼和浩特 010020）

隨著電力信息化的發展，電力數據的積累速度越來越快，如何使大數據產生價值、為公司科學發展提供支持的議題被越來越多地提及。 內蒙古電力公司從 2011 年開始建設一體化平臺數據中 心，當前已經完成了公司各業務口的數據集成工作，為數據利用提供了基礎。 依據建設的一體化生產經營決策分析系統建設情況，從應用需求、應用技術、數據分析挖掘 3 個方面介紹了內蒙古電力公司在大數據背景下的數據倉庫應用的探索與嘗試。 總結了建設成果與建設經驗，得出做好分析展現應用的關鍵是需求管理，核心技術是數據挖掘的結論。

電力大數據；數據中心；數據倉庫

1 引言

隨著近年來信息化發展速度的加快，互聯網、信息系 統 、物 聯 網 、ERP （enterprise resource planning，企 業 資源計劃）等技術與手段紛紛被引入電力行業，給電力行業注入了新的活力。行業內許多公司逐年建設并完善了用 電 營 銷 、生 產 管 理 、財 務 管 控 、ERP 等 近 20 個 業 務 系統，提高了各部門的工作效率，提升了部門管理水平，也產生了大量的數據。接著面臨的問題就是如何應用數據并挖掘數據的價值，使數據能夠服務于企業發展戰略。為了實現數據即價值的戰略目標，內蒙古電力（集團）有限責任 公司（以 下簡 稱 內 蒙 古 電 力 公 司 ）在 2011 年開展了一體化平臺數據中心的建設工作，當前已完成了 3期建設，集成了電力公司的核心數據。電力行業數據存在種類多、數據量大、信息量大、關乎國計民生的特點，針對這些特點，電力數據的應用也分為外部應用和內部應用兩部分。 外部應用是透明的，和社會其他行業或個體是關聯的，內部應用是服務于公司發展、應用于電力內部網絡的。本文在電力大數據的背景下，以數據中心系統建設中的生產經營決策分析系統為基礎，介紹了電力數據的內部應用。

2 應用背景及建設意義

2.1 背景介紹

隨著內蒙古電力公司信息化建設的不斷深入，各主營業務系統的建設相繼完成，公司管理層、決策層渴望能夠及時、準確地掌控公司財務狀況、生產狀況、設備情況、人員結構等，以幫助提高企業的整體效率和執行水平，減少執行成本，提高企業的資產利用率，實現企業整體盈利水平的改善和提升。經過多年的信息化建設，內蒙古電力公司各個業務系統已安全穩定運行很多年，積累了大量的歷史數據。公司已經形成了大數據的應用基礎，滿足了進一步挖掘數據利用價值的條件。

2.2 建設意義

隨著公司的不斷發展，公司領導決策層需要基于各業務系統大量的數據進行決策分析，為此，必須對各業務系統的數據進行關聯分析和鉆取挖掘，進而快速精準地為領導決策層提供有力依據。因為業務系統數據分散，公司領導只能通過周報、月報、季報的紙質文檔，查看公司整體運營的情況，數據的及時性、完整性無法得到保證。可以在數據倉庫的基礎上，面向不同用戶需求全面建設生產經營決策分析系統，以解決跨專業數據分析問題，使數據能夠服務于決策分析。

圖1 數據中心技術架構

3 應用技術及功能架構

3.1 技術架構

數據中心技術架構如圖 1所示，各層介紹如下。

（1）前端展現層

前端展現平臺是指門戶（portal）層面的集成，通過與應用門戶進行集成，實現數據中心主題分析、業務報表、領導駕駛艙等功能的對外集中展現。通過采用商務智能（business intelligence，BI）軟 件 ，提 供 豐 富 的 圖 表 展 現 、數 據下鉆上鉆、直觀易用的操作。全面支持“公司總部決策層”、“公司總部管理層”、 “公司總部業務層”、“二級單位決策層”、“二級單位管理層”、“二級單位業務層”的決策、分析和查詢應用。

（2）數據集成層（數據集市、數據倉庫、操作型數據存儲）

數據的集成是指在數據源層次上的集成機制，通過ETL （extract-transform-load， 抽 取 — 轉 換 — 加 載 ）／CDC（change data capture，改 變 數 據 獲 取 ）等 技 術 手 段 ，實 現 與現有應用系統的數據共享，提高數據的利用率。

從數據資源存儲來看，數據中心劃分了 ODS（operational data store）、EDW（enterprise data warehouse）、CDW（corporate data warehouse）、DM （data mart）、DS（data share，數 據 共 享 ）五大區域，將數據中心抽取到的各業務系統數據進行合理規范的存儲。

其中，ODS 是緩沖區（操作性數據存儲區），存儲從業務系統獲取的原始數據，減輕了對業務系統服務器的壓力，滿足了實時性需求；EDW 是明細數據存儲區，可對數據進行歷史追溯；CDW 是匯總數據存儲區，只包含匯總數據，提高了數據利用效率；DM 是數據集市區，是為滿足個性化需求而提出的存儲區；DS 是共享數據區，統一存儲各部門共享需求的數據，提高了數據倉庫的安全性。

在合理劃分存儲區域后，為了統一規范數據內容，使數據能夠最大限度地得到利用，借鑒國家標準及行業標準，并結合業務系統數據現狀，建立統一模型及統一編碼，形成了內蒙古電力公司的統一編碼體系。

（3）數據抽取層

數據抽取層運用多種技術手段將源業務系統數據抽取至數據倉庫，數據中心目前已經接入人力資源系統、PMS（power production management system，工 程 生 產 管 理 系 統 ）、營 銷 MIS（management information system，管 理 信 息 系 統 ）、財務報表、同業對標、生產輸變電可靠性、生產供電可靠性、營銷 95598 呼叫中心、營銷電能量采集等業務系統數據。

為集成數據，數據中心建立數據采集平臺后，通過采用數據實時復制工具及 ETL 數據抽取工具，將各業務系統數據抽取至數據中心，同時考慮到有些數據沒有進入系統而是以文檔的形式存在，為收集文檔數據，建立了業務統計平臺。

（4）數據共享層

數據共享層通過數據倉庫共享區為各業務部門提供數據共享服務，目前已為生產技術部、發展策劃部、企業管理部、審計部、人事部、辦公室、財務部、稽查局等部門和單位提供了共享數據服務，滿足了各業務部門的數據需求，提高了部門間的共享效率。

圖2 數據中心功能架構

3.2 功能架構

數據中心功能架構如圖 2所示，各部分的主要功能介紹如下。

（1）源業務系統

以公司建設的各業務系統作為數據中心的數據源。

（2）數據倉庫

依照統一的模型和編碼，將數據集成到數據倉庫。以業務統計來保證數據的完整性，以質量管控來保證數據的質量。

（3）數據共享區

提供統一的共享平臺，為各業務系統提供數據服務。

（4）數據中心應用系統

通過數據中心應用系統，實現以集成各業務關鍵指標為領導決策支持核心的領導駕駛艙功能；以橫向協同生產、經營、財務、人力資源關鍵業務指標為部門業務交互中心的財務報表和同業對標主題分析功能；以集成本部門主要生產經營指標為部門輔助決策入口的管理桌面功能；針對具體指標的面向公司管理層的生產經營指標分析功能。整個展現分析平臺在縱向上各級應用的層次分明，在橫向上對不同業務指標間的關聯分析緊密，可在縱向上對業務指標進行深入挖掘。

3.3 應用技術

3.3.1 商業智能（BI）分析

決策分析平臺，通過采用商業智能（BI）軟件，開發各種頁面，以餅圖、柱圖、趨勢圖、面板、表格等方式，綜合展現生產、營銷、人力資源等核心業務系統數據，輔助決策管理人員做出科學決策。在具體實現決策分析方面包括如下內容：

· 搭建面向本部、盟市的數據集市，滿足不同人員的決策數據需求；

· 建設公司領導駕駛艙，集成公司營銷、生產、人力資源、財務等業務部門數據，滿足公司決策層需求；

· 建設盟市領導駕駛艙，集成本單位營銷、生產、人力資源、財務等業務部門數據，滿足二級單位決策層需求；

· 建設面向管理層的業務主題首頁，集成本業務口關鍵數據；

· 建設面向業務人員的單指標分析頁面，對單項指標進行多維度分析。

通常在前端展現的時候，最終用戶的類別由于其業務級別和工作的不同而有所不同。

在營銷綜合分析頁面中，公司領導不僅可以看到關于售電量的滾動信息，并且能夠直觀獲得售電區域、構成比例、時間趨勢，本期、同期等不同維度的售電量信息，通過數據層層鉆取，最終看到最細粒度的明細數據。

3.3.2 統一數據模型和編碼

統一數據模型和編碼是確保數據的準確性、一致性、完整性的手段，需要建立在對業務系統的全面掌握、對未來發展趨勢的合理分析基礎上。為實現預期目標，需要對業務的深度分析，對標準的靈活借鑒，同時還要結合實際進行個性化設置，實現步驟如下所述。

（1）了解業務系統業務現狀、編碼現狀，分析設計規范業務數據存儲模型。

（2）構 建 統 一 編 碼 和 模 型 ，規 范 編 碼 信 息 的 組 織 和表達。

（3）在 ETL 過程中對 數 據進行編 碼 對 照 轉 換 ，數 據 清洗和匯總，按照統一模型進行存儲。

（4）按照統一編碼和統一格式進行共享、展示等應用。

3.3.3 數據存儲整合技術

通過對軟硬件的整體優化，比傳統數據庫服務器運行高 效 。例 如 在 電 力 行 業 ，率 先 采 用 Oracle 一 體 機 作 為 數 據倉庫服務器，比傳統數據庫服務運行高效、穩定，一體機響應時間比原有數據庫環境最高提高 17倍。

運行期間系統實現復雜的邏輯運算，包括去除空值、類型轉換、數據拆分與聚合、數據行轉列等，利用任務調度，保證邏輯運算的前后級關系，最終保證數據中心能夠提供準確、規范的數據服務。

將 Oracle 物 化 視 圖 應 用 在 數 據 倉 庫 中 ，既 減 小 了 對 源端的服務器壓力，又提高了數據抽取效率，保證了數據的時效性和準確性。

4 建設成果

基于數據倉庫，數據中心建設了跨專業的生產經營決策分析系統，以提供豐富的圖表展現方式，全面支持決策層、管理層、業務層的決策、分析、查詢和應用。面向決策層，建設了領導人管理駕駛艙，以集中展現公司各個業務口的關鍵指標，輔助查看公司整體運營情況，解決了以往因為業務系統數據分散，公司領導只能通過周報、月報、季報的紙質文檔查看公司整體運營情況的問題。面向管理層，建設了管理桌面，以集中展現本業務口的主要指標，部門領導可以通過該頁面方便地查看本部門的運行情況。面向業務處理人員，數據中心建設了多維度指標關聯分析、預測分析，自動形成的明細報表頁面，為業務人員的日常工作提供信息化支持。用戶的專業不同，所關注的要點也不同，基于此，為每個專業的用戶制定了對口的數據分析主題域，根據業務的不同，當前建設的主題域包括生產主題、財務主題、人力資源主題、營銷主題、調度主題、電力交易主題等。

5 未來展望

無論是對于數據倉庫的建設還是大數據的應用，業內比較認可的劃分為 5個階段，如圖 3所示。

第 1 階 段 ：數 據 倉 庫 的 基 礎 建設 ，主 要 實 現 數據 的 集成。在此基礎上進行一些基礎分析應用，從而了解“以前發生了什么”。

第 2階段：在有了各類數據并且積攢了一定時期的歷史數據后，通過關聯數據和歷史趨勢來分析“為什么會發生”。

第 3階段：應用更多的基于數據挖掘的預測應用，通過建立預測模型進行趨勢分析，預測出未來的發展趨勢，分析“將來會發生什么”。

第 4 階 段 ：在 前 3 個 階 段 發 展的 基 礎 上 ，基 于大 量 的歷史和實時數據，對預測趨勢和希望目標進行比較，進而分析出改進方案，達到“希望發生什么”的效果。

第 5階段：將數據倉庫和運營系統進行有機整合，實時反映公司的運行狀況，并隨時根據變化進行分析反饋，達到“實時監控”的效果。

當前 ，公 司 的 生產 GIS、配 電系統正 在 建 設中 ，電能 量采集終端還沒有覆蓋全網，地調系統還沒有實現大集中。數據中心還缺乏這些核心數據，對于全網整體的分析還缺少數據支撐。數據中心還處于第一階段與第二階段之間，隨著系統建設的逐步完善，數據中心未來會建設非結構化數據平臺、海量／準實時數據平臺、地理信息平臺。在這些數據平臺的基礎上，建設預警平臺、報表平臺、異常分析平臺、對標平臺等，逐步達到預測、指導、監控的效果。

6 結束語

基于一體化平臺生產經營決策分析系統的建設，總結出做好分析展現應用的關鍵是立足公司全局（面向決策層建設的領導駕駛艙）、精選關鍵指標（面向管理層建設的管理桌面）、緊抓業務需求（面向業務層建設的單指標分析與報表統計）。數據量大只是大數據概念的一部分，大數據技術的核心應該是數據的挖掘應用技術，在數據集成的基礎上做分析展現是大數據應用的重要一環。未來的電力大數據時代應該是結構化數據、非結構化數據和地理信息等有效融合的時代，利用數據提升決策管理水平、改進工作流程和工作方式、優化資源利用，使數據持續產生更大價值。

圖3 大數據應用的5個階段

［1］ 涂 子 沛. 大 數 據 ：正 在 到 來 的 數 據 革 命 ［M］. 桂 林 ： 廣 西 師 范大學出版社，2013. TU Z P.The big data revolution ［M］.Guilin：Guangxi Normal University Press，2013.

［2］ 趙 剛. 大 數 據 技 術 與 應 用 實 踐 指 南 ［M］. 北 京 ：電 子 工 業 出 版社，2013.ZHAO G.Big data technology and application practice ［M］. Beijing：Publishing House of Electronics Industry，2013.

［3］ 李 建 中 ，劉 顯 敏. 大 數 據 的 一 個 重 要 方 面 ：數 據 可 用 性 ［J］. 計算機研究與發展，2013，50（6）：1147-1162. LI J Z，LIU X M.An important aspect of big data：data usability［J］.Journal of Computer Research and Development，2013，50（6）：1147-1162.

［4］ 孫 柏 林. “ 大 數 據 ” 技 術 及 其 在 電 力 行 業 中 的 應 用 ［J］. 電 器 時代，2013（8）：18-23. SUN B L. “Big data” technology and its application in electric power industry［J］.Electrical Age，2013（8）：18-23.

［5］ 王 繼 業. 大 數 據 與 電 力 企 業 ［J］. 電 力 信 息 與 通 信 技 術 ，2012，10（8）：7. WANG J Y.Big data and electric power enterprises［J］.Electric Power Information Technology，2012，10（8）：7.

［6］ 中 國 電 機 工 程 學 會 電 力 信 息 化 專 業 委 員 會. 中 國 電 力 大 數 據發展白皮書［R］.2013. Electric Information Professional Committee of China Electrical Engineering Society.China electric power big data development white paper［R］.2013.

Application of Inner Mongolia electric power data warehouse

ZHANG Yu，PAN Hongfang
Inner Mongolia Power Information Communications Center， Hohhot 010020，China

With the development of electric power information，the accumulation of power data is more and more fast，and the issue of how to make big data to support the scientific development of the company is increasingly mentioned.In the year of 2011，Inner Mongolia Power Company started to build integrated platform data center.The company has completed the company’s business data integration work，and provided a basis for the use of data. Based on the construction of integrated production and management decision-making analysis system，the Inner Mongolia Power Company in the data warehouse application exploration and attempt was introduced from the application needs，application technology，data analysis and mining.Summary of the results and experience of construction shows that the key of application analysis is demand management and the technology is datamining.

electric power big data，data center，data warehouse

TP311.5

：A

10.11959／j.issn.1000-0801.2016069

張瑜（1980-），女，內蒙古電力（集團）有限責任公司信息通信中心高級工程師，主要從事電力信息化建設、管理、規劃和系統運維等方面的工作。

潘紅芳（1978-），女，內蒙古電力（集團）有限責任公司信息通信中心高級工程師，主要從事電力信息化建設、發展和規劃方面的工作。

2015-09-28；

2016-01-27