鄧鵬程,孫清勇,田苗苗
(五凌電力有限公司科技信息部,湖南 長沙410007)
大數據已經深刻地改變了企業和人們的生產、生活方式,信息技術的快速發展對社會各個領域正在產生革命性的影響。面對浩瀚數據,企業如何駕馭數據,如何挖掘數據,如何利用數據提升企業管理、生產、服務等能力,是每個企業都遇到的難題。
電力企業的數據特點是增長快,種類多,實時性,分散化。①電力行業具有廣泛分布的監測終端、智能設備和計算機集群,其監測終端密度的增加和監測頻率的提高,使得單位時間內的數據采集量不斷增加[1]。②電力數據的種類繁多,包括數據、文本、圖像、視頻、音頻等相互關聯的不同類型[1]。③電力數據處理往往對實時性要求較高,以適應電力供需平衡的實時響應過程,保證發用電計劃等業務在數據處理、決策制定與執行方面的時效性[1]。④電力數據往往分布在各業務系統,比較分散、各自為政、獨立封閉,數據不能互相銜接,跨業務融合實現難度較大。因此,相比其他一些企業,電力企業面對的大數據的難題更復雜。
一些電力企業對大數據表現出了很大的興趣,但由于缺少戰略習慣研究和頂層設計的指導,影響了智能電網大數據研究和應用的有序推進[2-4]。因此,先進的方法論是電力企業大數據項目成功的關鍵??茖W系統的方法論有助于找出數據項目正確的解決方案,從數據項目中得到價值,促進企業的良性穩健發展。
中國工程院院士倪光南認為,當數據匯聚融合起來以后,它的價值會更加提升[4]。國務院《促進大數據發展行動綱要》提到了數據開放共享和數據匯集與發掘[5]。解決企業的問題時,Zachman框架模型提出了橫向和縱向兩個維度的分析方法。鑒于此,企業大數據項目咨詢難在橫向協同合作和縱向貫通執行。
綜上所述,大數據項目咨詢方法論的整體框架應該體現橫向協同、縱向貫通的理念,在此理念下設計整體框架。設計的整體框架(圖1)包括1個理念,1個基礎,1個目標和3個規劃。具體是以橫向協同,縱向貫通為理念,在充分調研與綜合分析的基礎上,制定戰略目標,構建數據體系規劃、數據平臺規劃、應用場景梳理及驗證規劃3個規劃,這3個規劃與前面的理念和基礎不是孤立的,是互相聯系和互相影響的。每一規劃都體現了理念,每一規劃都是建立在調研與分析的基礎上,沒有調研與分析,就沒有這3部分的規劃;沒有理念,就不能進行正確的規劃。在3個規劃中,數據體系規劃是其他2個規劃的基礎,數據平臺規劃是其他2個規劃的紐帶,應用場景梳理及驗證是其他2個規劃的展現。

圖1 電力企業大數據項目咨詢方法論整體框架
調研與分析,是解決企業大數據咨詢項目的根本,是框架的基石。調研分析包括3個階段,準備、調研訪談和總結與設計階段。準備階段是準備資料清單和相關模板,初步分析企業的需求;調研訪談階段是對相關部門、人員進行訪談分析,形成問題反饋;總結與設計階段是綜合分析收集的資料,形成調研報告,初步設計數據項目的解決方案。在每個階段,都要注意企業的橫縱向交流與分析,全面理解企業大數據的需求和差距,以及企業數據的現狀。
大數據項目的戰略目標以公司現有及未來戰略目標為導向,參考本行業數據應用的最佳實踐,采用大數據的視野及思維,引入大數據分析挖掘等技術,提出適合本公司的數據平臺建設和運營的架構藍圖和演進路線。制定戰略目標包括調查研究與分析、擬定目標、評價論證和目標決斷4個步驟。戰略目標具有具體化、可量化、長期性、橫向協同性、縱向貫通性、可檢驗性、可接受性、超前性等特點。大數據項目的目標是對數據的深度挖掘,挖掘數據的價值,實現數據創造價值。
大數據項目的數據體系規劃從數據治理的組織架構、數據治理內容、數據治理架構幾個方面開展。數據治理的組織架構是數據治理工作開展的基礎,組織架構包括數據管理決策者、數據治理中心、各業務部門。數據治理內容包括數據戰略、組織、數據標準管理、元數據管理、數據質量管理、數據安全合規管理、數據服務創新管理、數據生命周期管理。數據治理架構是以數據資產為核心,從數據資產梳理、數據標準、數據質量管理、數據集成共享、數據管控、數據治理管理等方面增強數據宏觀管控。數據資產設計通過業務價值鏈的方法,逐級分解梳理,確保數據資產梳理的完整,得出企業的數據資產清單。數據標準設計通過CIM和BCS建模,使得大數據平臺抽取各系統的“異構”數據,進行清洗、轉換、整合,采用統一的定義、數據架構(模型)將數據進行統一管理并使用。數據治理規劃堅持分工合作、協同推進的組織方式,加強溝通與協調,保證數據應用在企業級層面上,確保數據規劃工作的落地和執行。
電力企業大數據整合平臺規劃是合理設計數據存儲、計算、分析功能,平臺能夠有效支撐對各種數據的寫入、查詢與檢索操作。平臺規劃要充分考慮各種應用的計算需求,合理設計計算功能,支撐上層分析應用對不同計算的應用需求。平臺規劃要充分考慮基于大數據應用特點,提出大數據數據共享、數據服務的應用策略,體現了數據橫向協同、縱向貫通的理念。平臺技術架構從設計到實現均秉承面向服務架構(SOA)理念,快速滿足企業對數據信息的應用,以適應不斷變化的企業環境,為決策層、管理層以及操作層的人員提供技術先進的數據應用平臺和靈活的業務構造能力。
大數據項目的應用場景梳理是制定大數據在企業各業務上的應用場景的發展計劃。①建立業務場景。給出業務場景、功能和數據的描述。業務場景定義需要了解業務本質、要素和要素間的關系,從業務目標的決策定義到執行再到決策的閉環業務的描述。②建立大數據應用場景?;跇I務場景的描述,形成業務數據的理解,建立大數據應用場景。③大數據應用場景選擇策略。從核心價值鏈上的業務、降低成本相關的設備運維相關的業務、涉及到全業務流程的應用、數據采集頻度高且數據質量較高的業務、受電力市場外部環境影響大的業務等多維度來選擇具有典型業務應用的重要大數據場景,特別注意的是業務應用場景規劃不能單靠企業某一個部門來孤立完成,它需要企業內部多部門的橫向協同才能完成。
電力企業大數據平臺應用場景驗證是為觀點提供證據,也就是確定大數據平臺是否適合大數據業務場景的要求,達到大數據業務場景評價指標的要求,也是驗證大數據平臺是否具有橫向協同、縱向貫通理念。它最大的價值在于能在大數據平臺大規模正式實施方案以前,確定該平臺是否可行和可靠,這對于電力企業來說具有重要的意義。應用場景建設及驗證的流程是確定應用場景、確定應用場景接入的數據信息、確定應用場景驗證內容。
多數電力企業的大數據平臺從數據采集、存儲、分析、應用、展示等方面進行整合集成,企業的管理能力和效益得到提升。仔細研究這些企業的大數據平臺建設,可以為五凌電力企業大數據規劃提供成功的經驗。五凌電力通過多年的信息化建設,已經取得了一定的成效。但是現有企業數據和系統較分散,電力體制面臨改革,未來市場環境復雜多變,五凌電力急需加強企業對大數據方向的研究和規劃。因此,下面結合經驗和上文的整體框架對五凌電力數據項目進行規劃。
大數據項目的調研分析是準備五凌電力大數據平臺的相關材料,設計調研問卷和訪談提綱,并分析調研資料,形成一系列支持大數據項目的報告。調研主要工作是調研五凌電力相關部門、IT系統和領導。每次調研訪談產生相應的訪談會議紀要和反饋。分析的主要工作是對訪談及收集的材料進行系統性的調研梳理,編寫五凌電力數據的分析調研報告,主要報告有《五凌電力大數據調研報告與需求分析》、《五凌電力大數據平臺解決方案框架設計》、《大數據體系支撐能力》、《大數據資產識別與定義及數據模型》等。這些為五凌大數據項目的后續步驟提供參考依據,并針對匯總的問題及需求,制訂五凌電力數據平臺總體建設思路——全生命周期的數據資產管理平臺。
以五凌電力公司現有及未來業務發展為導向,參考能源行業數據應用的最佳實踐,采用大數據的視野及思維,引入大數據分析挖掘等技術,梳理 、規范五凌公司內部各業務、各層級的數據,充分融合營銷、氣象、物流等外部數據,完成數據資產體系和標準體系設計規劃,為后續數據平臺的建設及數據的深化應用、決策支持奠定基礎,最終實現五凌信息化“三大三化”的目標。
充分考慮五凌電力戰略發展和新能源行業發展趨勢,從公司全局角度出發,構建了五凌電力企業的數據體系規劃,如圖2所示。五凌電力數據治理規劃體系包括組織架構、數據治理內容、數據治理等方面。數據治理以數據資產為核心,包括數據梳理、數據標準、數據質量、數據集成共享、數據管控、數據治理。數據資產梳理通過業務價值鏈的方法,從業務板塊→業務域→子業務域→業務活動→數據資產逐級分解梳理,梳理出數據資產。數據標準過程主要是通過CIM模型和BCS對象模型來實現,打破各系統間的數據“異構”性。通過數據體系規劃實現企業數據的標準化,統籌管理并協調人員、流程以及技術等要素,使數據整合起來,供公司每個層面的需要,真正把數據轉變為企業的資產。

圖2 五凌電力數據治理規劃體系
五凌電力大數據平臺總體架構分成7層。第1層是基礎設施層。大數據平臺采用分布式部署,無狀態的服務集群,解決單點故障問題,支持動態擴展,資源彈性調度。第2層是混合存儲與數據集成平臺。數據采集主要支持多源異構數據的分布式采集。該層實現各類接口數據的無縫可視化接入,并且能針對不同類型的數據提供統一的協議接入、數據清理、數據轉換、數據路由、數據入庫的處理和編程擴展支持。數據存儲層是整個方案的基礎核心,本方案針對不同數據類型提供了整體的存儲和管理解決方案,并可以有機的整合在一起,對上層的各種應用都提供很好的支持接口。在性能方面,可擴展性和海量數據支持上做到業界先進。第3層是大數據整合接入層。第4層是大數據分析服務層。第5層是應用公共服務層。第6層是應用創新層。第7層是服務集成與協作門戶。這一部分每層都體現橫向協同,縱向貫通的理念。不僅統籌協同整合公司內部資源、流程以及技術等,還要協同客戶、合作伙伴的應用服務發布等。
結合國家電投、公司經營發展和轉型需要,在充分借鑒外單位大數據應用經驗的基礎上,對五凌電力大數據應用場景進行規劃,應用場景規劃包括全場景梳理(表1)、場景重要性排序、典型場景方案描述(輸入、方法/模型、輸出)、典型應用場景實現路徑。

表1 全業務場景梳理
五凌電力大數據平臺的幾個重點業務領域的大數據應用場景——企業運營、客戶管理、采購、物資、生產運行、設備運維、項目管理、市場營銷等。五凌電力大數據應用場景分為4類——預警類、分析類、仿真/優化類、預測類。五凌電力大數據典型場景包括競價策略分析、流域來水預測、基于全工況運行模式庫的火電機組經濟運行策略分析、基于廣義回歸神經網絡混煤煤質預測、風機發電量損失因素分析、光伏發電系統效率影響因素分析、光伏發電系統組件清洗預測。
根據五凌電力公司當前管理需求,選擇應用需求強烈、實現價值明顯、數據源相對完整、模型相對簡單的應用場景——利潤場景、水輪機設備可靠性場景、風機偏航預警場景、物資庫存優化場景,按照詳細技術架構,搭建簡易技術環境,并導入相關的數據,設計并實現應用場景,驗證數據模型的合理性、正確性。本節以物資庫存優化大數據應用場景來說明場景建設及驗證。
物資庫存優化應用場景概述是以物資庫存的變化趨勢、積壓物資比例、物資庫齡、采購需求計劃等關鍵因素為分析主題,找到易積壓的物資、高庫存金額的物資以及這些物資的特性,為公司物資庫存優化提供參考。因此,庫存優化POC場景的目標有2個:合適物資和降低庫存。它的分析主題是物資庫存的變化趨勢、積壓物資比例、物資庫齡、采購需求計劃等關鍵因素。它的分析對象是數據量較大的12個水電廠、黔東火電廠、布爾津、托克遜風場以及力源公司、工程公司。
物資庫存優化應用場景接入的數據是五凌電力ERP中的物資編碼、物資庫存事務處理(包括采購接受、物資入庫、物資出庫等)、物資批次等信息。
物資庫存優化應用場景的分析方法是聚類分析、組合分析、關聯分析等。通過分析現有庫存物資的金額占比、庫齡分布等內容,提供采購計劃關聯分析功能,依據關聯分析加強物資采購環節控制;進行物料庫齡及庫存金額組合分析,不難找到主要積壓物資,輔助物資管理人員處理積壓物資,以降低企業庫存成本。
物資庫存優化應用場景驗證了大數據平臺為業務管控提供的高性能計算能力,在此成功的基礎上,進行應用推廣。
電力企業大數據項目咨詢在充分了解大數據的現狀和需求的基礎上,充分了解企業的數據特征、設計數據治理規劃、數據平臺規劃和應用場景梳理與驗證,以支持大數據應用需求的落地。在五凌大數據項目中,數據框架不僅注重橫向整合數據,而且采取應用場景先驗證后推廣的策略,最終落實數據的應用,為企業產生價值,提高企業核心競爭能力。