大數(shù)據(jù)背景下供電企業(yè)數(shù)據(jù)資產(chǎn)管理研究

陸斌 崔金棟 高志豪

（1.杭州電力設(shè)備制造有限公司余杭群力成套電氣制造分公司；2.東北電力大學(xué)經(jīng)濟(jì)管理學(xué)院）

大數(shù)據(jù)時代的來臨要求各類企業(yè)重視數(shù)據(jù)資源建設(shè)管理，根據(jù)目前的實際情況，國家頒布了《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動綱要》，明確指出大數(shù)據(jù)背景下政企數(shù)據(jù)資產(chǎn)管理的重要性[1]。加強(qiáng)信息化建設(shè)，對數(shù)據(jù)進(jìn)行充分的管理，達(dá)到充分挖掘和充分利用的目標(biāo)是各企業(yè)的轉(zhuǎn)型方向。作為國家重要的支柱型企業(yè)，供電企業(yè)的數(shù)據(jù)資產(chǎn)管理的地位越來越重要，數(shù)據(jù)資產(chǎn)的價值在供電企業(yè)中的比重也越來越大。但是，目前大數(shù)據(jù)背景下的供電企業(yè)數(shù)據(jù)分散且不易獲取，各級供電企業(yè)之間數(shù)據(jù)存在壁壘，在“數(shù)據(jù)難獲取、數(shù)據(jù)難共享、數(shù)據(jù)難挖掘”的背景下，供電企業(yè)數(shù)據(jù)資產(chǎn)難以發(fā)揮企業(yè)內(nèi)部大數(shù)據(jù)特征下的數(shù)據(jù)價值，造成巨大的數(shù)據(jù)浪費，不利于供電企業(yè)的良好發(fā)展[2]。國內(nèi)外各專家學(xué)者團(tuán)隊對于數(shù)據(jù)資產(chǎn)管理理論的研究略顯不足，大數(shù)據(jù)背景下的數(shù)據(jù)資產(chǎn)管理研究也處在初級階段，缺乏相關(guān)數(shù)據(jù)資產(chǎn)管理機(jī)制研究[3，4]。因此，結(jié)合大數(shù)據(jù)背景下的供電企業(yè)數(shù)據(jù)資產(chǎn)特征，研究新的數(shù)據(jù)獲取和數(shù)據(jù)資產(chǎn)管理機(jī)制就顯得至關(guān)重要。

■ 供電企業(yè)數(shù)據(jù)資產(chǎn)管理中的必要性

供電企業(yè)的數(shù)據(jù)來源于各業(yè)務(wù)層，例如電網(wǎng)規(guī)劃、電網(wǎng)檢修、各類工程項目等都會存在大量的數(shù)據(jù)，這些數(shù)據(jù)存在形式多樣，常以設(shè)計圖紙、各類方案以及各種數(shù)據(jù)統(tǒng)計表的形式存在[5]。目前這類數(shù)據(jù)在完成第一次使用后就會被存檔，但很難進(jìn)行二次利用，大量的存檔數(shù)據(jù)占據(jù)了很大的資源，但無法合理有效的利用，數(shù)據(jù)資產(chǎn)得到極大的浪費。因此，當(dāng)前的數(shù)據(jù)資產(chǎn)管理模式已經(jīng)難以跟上時代的步伐，特別是在大數(shù)據(jù)的背景下，無法實現(xiàn)數(shù)據(jù)的合理利用就會給供電企業(yè)帶來不可估量的經(jīng)濟(jì)損失[6]。如何提升數(shù)據(jù)資產(chǎn)的利用需要兩方面的考量，一方面要強(qiáng)調(diào)技術(shù)理念創(chuàng)新，另一方面要加強(qiáng)管理理念的創(chuàng)新。技術(shù)和管理方面的提升才能實現(xiàn)數(shù)據(jù)資產(chǎn)多方位、多級別、多部門的共享。最終構(gòu)建供電企業(yè)各數(shù)據(jù)資產(chǎn)用戶的數(shù)據(jù)共享平臺，實行分權(quán)限的電力數(shù)據(jù)資產(chǎn)利用，將用戶與供電企業(yè)數(shù)據(jù)相連，發(fā)揮數(shù)據(jù)的最大效用，才能發(fā)揮出供電公司數(shù)據(jù)資產(chǎn)對用戶、電網(wǎng)、發(fā)電、供應(yīng)商和政府社會服務(wù)的有效性。因此，構(gòu)建合理的供電企業(yè)數(shù)據(jù)資產(chǎn)管理機(jī)制，在技術(shù)方面和管理機(jī)制方面進(jìn)行革新，才能發(fā)揮供電企業(yè)數(shù)據(jù)資產(chǎn)的共享作用，同時也為其他行業(yè)以及更多的主體提供借鑒。

■ 大數(shù)據(jù)背景下供電企業(yè)數(shù)據(jù)資產(chǎn)現(xiàn)狀分析

大數(shù)據(jù)背景下，供電企業(yè)數(shù)據(jù)存儲量劇增，已經(jīng)為PB 量級，并依然處在長期上升階段，供電企業(yè)中的數(shù)據(jù)管理部門短時間內(nèi)無法適應(yīng)大數(shù)據(jù)量下的企業(yè)數(shù)據(jù)管理，各部門應(yīng)對大數(shù)據(jù)量的數(shù)據(jù)資產(chǎn)經(jīng)驗明顯不足[7，8]，問題主要有三方面：一是數(shù)據(jù)質(zhì)量不高，主要原因是數(shù)據(jù)采集和提取技術(shù)較為落后，無法準(zhǔn)確提取可再利用的有價值的信息；二是數(shù)據(jù)之間存在壁壘，各部門之間的數(shù)據(jù)接口不一致，導(dǎo)致無法順利的數(shù)據(jù)共享；三是沒有數(shù)據(jù)使用的明確場景，即數(shù)據(jù)資產(chǎn)的利用價值得不到肯定，很多數(shù)據(jù)資產(chǎn)價值挖掘的系統(tǒng)不夠完善，無法得到認(rèn)可。

以上三個問題的存在導(dǎo)致供電企業(yè)數(shù)據(jù)資產(chǎn)的管理能力遲遲無法得到提升，深層次的原因有三點：一是供電企業(yè)與互聯(lián)網(wǎng)、電子商務(wù)公司相比缺乏數(shù)據(jù)敏感度，供電企業(yè)作為傳統(tǒng)的產(chǎn)業(yè)很難短時間內(nèi)改變其信息化管理進(jìn)程；二是供電企業(yè)的主業(yè)是保證電力供應(yīng)的穩(wěn)定性，往往在內(nèi)部忽略數(shù)據(jù)資產(chǎn)的價值，不能將數(shù)據(jù)和主業(yè)相結(jié)合；三是供電企業(yè)的部門較多，難以形成統(tǒng)一的數(shù)據(jù)使用場景，各部門數(shù)據(jù)結(jié)構(gòu)也存在差異，無法形成數(shù)據(jù)合力，數(shù)據(jù)資產(chǎn)的潛在價值得不到利用。

圖1 Hadoop平臺子項目及其功能

圖2 供電企業(yè)數(shù)據(jù)資產(chǎn)管理機(jī)制

■ 大數(shù)據(jù)技術(shù)在供電企業(yè)數(shù)據(jù)資產(chǎn)中的應(yīng)用

（一）供電企業(yè)數(shù)據(jù)的前期采集

Hadoop 是對海量數(shù)據(jù)分布式處理的軟件框架，目前已經(jīng)成為大數(shù)據(jù)分析的主流平臺。借助Hadoop 平臺中的HDFS 進(jìn)行供電企業(yè)數(shù)據(jù)的信息存儲，同時，利用Hadoop 框架中的核心設(shè)計MapReduce 進(jìn)行數(shù)據(jù)處理，為供電企業(yè)數(shù)據(jù)資產(chǎn)數(shù)據(jù)的獲取和處理提供技術(shù)支持。Hadoop 子項目包括HDFS、MapReduce、Hbase、ZooKeeper、Hive 等，具體的功能結(jié)構(gòu)如圖1 所示。供電企業(yè)數(shù)據(jù)資產(chǎn)信息數(shù)據(jù)的處理用到了HDFS 組件和MapReduce組件，具體的內(nèi)容如下：

1.HDFS 組件數(shù)據(jù)存儲

HDFS 系統(tǒng)用來存儲供電企業(yè)數(shù)據(jù)信息，即將獲取的供電企業(yè)數(shù)據(jù)進(jìn)行存儲。HDFS 組件包括一個NameNode 和多個DataNode，其中，NameNode 主要工作是進(jìn)行數(shù)據(jù)存儲位置的定位，同時，將存入的供電企業(yè)數(shù)據(jù)資產(chǎn)信息進(jìn)行命名處理，將這些存入的信息進(jìn)行分配，分配到各個DataNode 節(jié)點中。DataNode 在接到NameNode 的分配內(nèi)容后，進(jìn)行響應(yīng)，執(zhí)行NameNode 下達(dá)的數(shù)據(jù)存取命令，對數(shù)據(jù)信息進(jìn)行實時性的存儲或者提取操作，總結(jié)起來，NameNode 與DataNode 二者工作機(jī)制遵循心跳機(jī)制原則，保證信息交互的聯(lián)動性。此外，HDFS 錄入供電企業(yè)數(shù)據(jù)不只是單一路徑，為了保證數(shù)據(jù)的安全性，HDFS 數(shù)據(jù)錄入采用多路徑備份，對數(shù)據(jù)信息實行分塊保存，組成每塊為64M 的數(shù)據(jù)存儲集群，這就大大提升了數(shù)據(jù)存儲的可靠性和安全性，同時也利于提升數(shù)據(jù)的存取效率，提升MapReduce 的數(shù)據(jù)預(yù)處理能力，為后期供電企業(yè)數(shù)據(jù)資產(chǎn)的共享機(jī)制做鋪墊。

2.MapReduce 組件數(shù)據(jù)處理

HDFS 組件供電企業(yè)數(shù)據(jù)存儲保證了數(shù)據(jù)的存取效率，使得信息的可得性、安全性與完整性得到大大的提升，為MapReduce的數(shù)據(jù)處理打下了良好的基礎(chǔ)。MapReduce 可以將數(shù)據(jù)進(jìn)行特征歸納并得到處理結(jié)果。在HDFS 系統(tǒng)的供電企業(yè)數(shù)據(jù)就可以依據(jù)MapReduce 的這種特點，進(jìn)行信息處理。MapReduce 把這個數(shù)據(jù)信息Job 將要處理的大數(shù)據(jù)分成若干個數(shù)據(jù)模塊，數(shù)據(jù)模塊與計算任務(wù)（Task）相對應(yīng)，并通過調(diào)整計算節(jié)點自動對相應(yīng)的數(shù)據(jù)模塊進(jìn)行處理。MapReduce 中的組件TaskTracker 將數(shù)據(jù)處理進(jìn)行任務(wù)分工和細(xì)致化，通過同時調(diào)動多個Map 任務(wù)，來實現(xiàn)供電企業(yè)數(shù)據(jù)的有序化，即通過多個Map 任務(wù)使HDFS 系統(tǒng)中較為混亂和無序的供電企業(yè)數(shù)據(jù)變得有序，分割數(shù)據(jù)信息，生成多個<類別i，信息j>鍵值對，這些鍵值對代表數(shù)據(jù)類別和數(shù)據(jù)內(nèi)容信息之間的對應(yīng)映射關(guān)系。在Map 組件數(shù)據(jù)分割與序化任務(wù)結(jié)束后，需要通過Merge 組件將上述步驟中被分割的鍵值對<類別i，信息j>進(jìn)行合并，以各類別為基礎(chǔ)進(jìn)行合并，最終將同一類別的信息鍵值對列表進(jìn)行合并，合并成統(tǒng)一的大的鍵值對列表。在此過程中，Map 組件的輸出結(jié)果作為Reduce 組件的輸入值，然后Reduce 組件進(jìn)一步對鍵值對列表深度處理，形成最終的數(shù)據(jù)信息并進(jìn)行輸出。該過程以NameNode 節(jié)點與DataNode 節(jié)點的心跳機(jī)制為基礎(chǔ)，進(jìn)行的聯(lián)動處理，整個預(yù)處理過程遵循HDFS 中的NameNode 節(jié)點與DataNode 節(jié)點的實時動態(tài)交互原則，最終完成供電公司數(shù)據(jù)處理過程。

以上兩個步驟利用Hadoop 平臺完成了供電企業(yè)數(shù)據(jù)的前期采集，采用大數(shù)據(jù)技術(shù)進(jìn)行了數(shù)據(jù)的初步預(yù)處理，方便后續(xù)供電企業(yè)數(shù)據(jù)資產(chǎn)的相關(guān)處理和管理，為大數(shù)據(jù)背景下供電企業(yè)數(shù)據(jù)資產(chǎn)管理提供了技術(shù)幫助。

（二）供電企業(yè)數(shù)據(jù)資產(chǎn)管理機(jī)制構(gòu)建

供電企業(yè)數(shù)據(jù)資產(chǎn)管理機(jī)制主要分為四大部分，分別是數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用和數(shù)據(jù)價值評估，這四個主要數(shù)據(jù)處理過程是供電企業(yè)數(shù)據(jù)資產(chǎn)管理機(jī)制的主要框架。數(shù)據(jù)統(tǒng)計階段是供電企業(yè)數(shù)據(jù)資產(chǎn)管理的基礎(chǔ)環(huán)節(jié)，筆者在前面介紹了大數(shù)據(jù)技術(shù)在數(shù)據(jù)統(tǒng)計和采集方面的應(yīng)用，數(shù)據(jù)統(tǒng)計階段將內(nèi)外部數(shù)據(jù)進(jìn)行獲取，并最終存儲到供電公司數(shù)據(jù)倉庫中。數(shù)據(jù)分析階段主要通過離線分析和實時分析進(jìn)行供電企業(yè)數(shù)據(jù)資產(chǎn)的深度挖掘。數(shù)據(jù)應(yīng)用階段主要注重效率應(yīng)用、質(zhì)量應(yīng)用和價值應(yīng)用。數(shù)據(jù)價值評估階段則實現(xiàn)對供電企業(yè)數(shù)據(jù)資產(chǎn)的合理評估。具體的供電企業(yè)數(shù)據(jù)資產(chǎn)管理機(jī)制如圖2 所示。在進(jìn)行數(shù)據(jù)資產(chǎn)管理時遵循“四多”管理原則，即“多目標(biāo)聯(lián)動，數(shù)據(jù)處理高效化”“多部門協(xié)同，數(shù)據(jù)共享快捷化”“多格式融合，統(tǒng)計結(jié)果有序化”“多渠道采集，獲取方式多樣化”，保證供電企業(yè)在大數(shù)據(jù)背景下合理有效的對數(shù)據(jù)資產(chǎn)進(jìn)行管理。

■ 供電企業(yè)數(shù)據(jù)資產(chǎn)管理的對策建議

（一）提升大數(shù)據(jù)采集技術(shù)的應(yīng)用

基于Hadoop 平臺的數(shù)據(jù)前期處理和采集可以有效的提升供電企業(yè)數(shù)據(jù)采集的能力，篩選有效信息，從數(shù)據(jù)的源頭開始進(jìn)行數(shù)據(jù)管理，清洗各數(shù)據(jù)，并且讓供電企業(yè)的數(shù)據(jù)形成統(tǒng)一的接口，規(guī)范數(shù)據(jù)結(jié)構(gòu)及數(shù)據(jù)格式，形成數(shù)據(jù)采集的規(guī)范，解決數(shù)據(jù)采集過程中存在的問題，提升數(shù)據(jù)采集質(zhì)量的效率。

（二）加強(qiáng)內(nèi)部數(shù)據(jù)的系統(tǒng)化水平

數(shù)據(jù)資產(chǎn)得不到有效利用的重要原因之一是供電企業(yè)內(nèi)部無法形成統(tǒng)一的數(shù)據(jù)利用平臺，各個部門的數(shù)據(jù)只在內(nèi)部處理和使用，無法有效共享。部門之間的交叉數(shù)據(jù)利用效率極低，因此應(yīng)該加強(qiáng)供電企業(yè)內(nèi)部數(shù)據(jù)的平臺搭建，對各部門的權(quán)限進(jìn)行合理界定，形成數(shù)據(jù)資產(chǎn)平臺，各部門根據(jù)角色權(quán)限進(jìn)行數(shù)據(jù)的獲取和發(fā)布，有效的提升數(shù)據(jù)利用水平，完善供電企業(yè)數(shù)據(jù)資產(chǎn)的共享機(jī)制。

（三）探索供電企業(yè)數(shù)據(jù)管理新模式

提升大數(shù)據(jù)背景下供電企業(yè)的數(shù)據(jù)資產(chǎn)的利用效率離不開管理模式的優(yōu)化，要針對大數(shù)據(jù)時代的要求進(jìn)行管理模式的革新。首先要對供電企業(yè)的各項業(yè)務(wù)進(jìn)行重新梳理，進(jìn)行頂層業(yè)務(wù)邏輯圖的設(shè)計，明確各流程的數(shù)據(jù)流轉(zhuǎn)方式和方向，從業(yè)務(wù)流程角度明確數(shù)據(jù)的流向，避免后期數(shù)據(jù)的冗余；其次，要明確供電企業(yè)數(shù)據(jù)資產(chǎn)管理的總目標(biāo)，提升員工對數(shù)據(jù)的重視程度，從數(shù)據(jù)使用標(biāo)準(zhǔn)、數(shù)據(jù)安全規(guī)范、數(shù)據(jù)業(yè)務(wù)流程等多個方面對員工進(jìn)行培訓(xùn)；再次數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)視圖、業(yè)務(wù)框架、績效評價體系以及人才保障機(jī)制等多個方面。再次，對供電企業(yè)的各項電力設(shè)備信息進(jìn)行統(tǒng)計，收集物聯(lián)網(wǎng)中的設(shè)備數(shù)據(jù)信息，補(bǔ)充到數(shù)據(jù)資產(chǎn)平臺中，形成統(tǒng)一的數(shù)據(jù)資產(chǎn)管理新模式。最后，要在技術(shù)發(fā)展和社會發(fā)展的過程中保持制度的靈活性，及時改進(jìn)和處理供電企業(yè)數(shù)據(jù)資產(chǎn)的管理機(jī)制，使供電企業(yè)數(shù)據(jù)資產(chǎn)能夠保持活力，在各個時期為供電企業(yè)的發(fā)展發(fā)揮最大程度的數(shù)據(jù)支撐價值，實現(xiàn)數(shù)據(jù)資產(chǎn)效用的最大化。