能耗在線監測平臺大數據挖掘助力節能減排應用研究

慕慧娟，馮雪峰

（新疆計量測試研究院，新疆烏魯木齊，830013）

0 引言

“節能減排”是貫徹落實科學發展觀，統籌經濟、社會與環境協調發展的必然要求，加快高污染、高耗能、資源型行業的“節能減排”工作，是促進國民經濟與社會可持續發展的一項長期戰略部署。為發揮計量在推動節能減排工作中的重要作用，國家成立國家城市能源計量中心（新疆），并搭建新疆能耗數據在線監測平臺，經過十多年的運行，已實現疆內200多家重點耗能企業能耗數據實時在線采集，積累了豐富的能耗管理實踐經驗，在服務政府能效管控方面提供了決策依據。但對企業直報數據和在線采集數據挖掘程度不夠，企業對于科學有效降低能耗實現節能減排方法措施也較為有限，隨著大數據領域研究的不斷深入，啟發式算法能為能源大數據分析提供了強有力的工具。本文將聚焦探討新疆能耗在線監測平臺大數據挖掘關鍵技術，以期助力政府節能減排科學決策，服務企業能耗管理有效綠色發展做出更大的貢獻。

1 能耗數據處理

主要是開展能源消耗數據特性研究，進行能源消耗數據清洗，研究大數據技術應用，構建能效數據挖掘理論模型，深度學習技術建模實現等[1]。

■1.1 能源消耗數據特性

以水、電、煤、天然氣、人工煤氣、液化石油氣、汽油、柴油等能源類型為主，結合用能單位的地理位置、企業性質、企業規模、企業產出、計量設備等數據，對國家城市能源計量中心（新疆）能耗數據在線監測平臺已采集數據的有效性、準確性、完整性、表示的一致性、計量單位的正確性、標準煤系數的可靠性、不同數據之間的相關性、高緯低密度等特性開展研究，為清洗能源消耗數據奠定初步基礎。

■1.2 能源消耗數據清洗

由于高維、低密度的特性，能耗數據必須經過清洗才能保證數據格式的一致性、正確性、無重復、無NULL值等可能導致挖掘失效的數據。采用ETL工具和分布式并行處理框架來實現能耗數據的清洗。主要針對不同質量的能耗數據采用統計學方法、聚類、分類、基于距離的方法、關聯規則等方法進行分類清洗，從而清洗普遍存在的空缺值、噪音值和不一致數據。數據清洗過程采用可視化技術，從而實現有效的展示和交互，用于提高數據錯誤識別和清理的效率，這種透明化的清洗過程，有助于故障、錯誤發生時的自我診斷與排查。清洗后的能耗數據在匯聚多個維度、多個來源、多種結構的數據之后，就可以對數據進行抽取、轉換、集成加載。從而為大數據挖掘奠定基礎。

■1.3 大數據技術

深度學習是機器學習研究中的一個新領域，在處理大數據方面很有優勢，可以通過大量數據訓練學習，進而提取數據底層特征形成更加抽象的高層特征，形成一定類型的模型，來對其他數據進行預測。目前深度學習在計算機視覺、語音識別和自然語言處理等領域都有很好的應用。采用深度學習算法的理論，并基于模式識別、圖像識別、復雜動力系統模擬等應用領域，學習并選擇出能夠與能耗數據挖掘目的相匹配的深度學習算法。

■1.4 能效數據挖掘理論模型

常規的能源數據分析方法一般通過擬合用能單位往期能源消耗的規律，來達到分析未來能源消耗數據的目的，在分析模型的選擇上為了提高分析的準確性往往是利用兩種或者多種分析模型的組合，而很少采用單一分析模型。傳統的分析模型是基于殘差的分析模型，首先使用一個線性分析模型對原始數據序列進行分析得到一個線性分析分量，再使用原始數據減去線性分析分量得到一個殘差序列，最后使用非線性分析模型分析殘差序列得到殘差分析序列，最后將線性分析分量與殘差分析分量相加得到最終的分析分量。但是由于這種傳統分析模型在構建模型的時候，沒有分析數據特性而直接用真實數據減去線性模型的分析數據而分解出非線性分量，在實際使用場景中具有一定的局限性[2]。

針對傳統混合模型的缺點，基于幾種常用的時序分析算法模型，使用一種新模型來完成對能源消耗數據的分析。其主要思是使用經驗模態分解（Empirical Mode Decomposition，簡稱 EMD）分解原始數據，得到多個數據分量，通過分析各數據分量特性，然后針對不同的分量使用與其相對應的模型進行分析。

■1.5 深度學習技術建模實現

基于清洗后的能耗數據和能效數據挖掘理論模型，采用Java或Python等軟件技術，選擇合適的深度學習算法進行模型訓練，并驗證模型的有效性。

2 數據挖掘關鍵技術

■2.1 能源消費量在線監測指標體系及計算方法

能源消費量在線監測由用能單位能源計量，儀表測量實時能源消費量數據，通過安裝在用能單位的數據集中采集終端進行匯總后，不同地區、不同行業、不同企業按照制定好的傳輸協議，通過網絡向能源數據中心上傳其能源消費量數據。能源消費量在線監測架構如圖1所示[3]。

圖1 能源消費量在線監測架構圖

■2.2 大數據云計算節點的合理分布

針對分布式異構系統資源性能的變化引起的系統負載不平衡現象，設計一種基于虛擬網絡映射有效的任務處理方法，如貝葉斯算法，強化學習等，減少額外的計算和能量消耗，以實現高資源利用率、低帶寬成本和低能耗的大規模任務高效并行執行。針對大規模事務數據高效處理的兩階段任務部署如圖2所示。

圖2 大數據環境拓撲結構

■2.3 不規則特征數據的預處理

（1）數據離散化

面對海量的待處理數據和非結構化數據，針對部分數據存在連續屬性值的問題，研究數據離散化來減少給定連續屬性值，簡化數據結構。

（2）缺失填補

針對數據存在缺失值的問題，在數據處理過程中，無法避免的會丟失一定的數據點，而一旦一些關鍵部分缺失，整個數據就會失去作用，也就沒有了存在價值，同時也會影響數據挖掘結果，因此，需要進行缺失值填補。

（3）數據標準化

針對為便于不同單位或量級指標的比較評價問題，需要進行數據標準化。考慮到使用的數據集中的特征值均為正值，所以使用簡化后的轉換函數來對每個分量進行歸一化處理。從而，消除了特征空間因值域差異造成的特征值選擇誤差。

（4）數據約簡

綜合能源消耗數據規模較大，若都用于數據挖掘分析當中，工作量將是巨大的，因此，需要對其進行約簡，在減少數據量的同時，并不破壞原有數據完整性，只是減少了與研究目的不相關的冗余數據。數據預處理的算法如圖3所示。

圖3 數據預處理算法

■2.4 不同的人工智能方法對能耗數據的分析能力

（1）針對析分尋找給定數據集中數據項之間隱藏的關聯關系問題，利用如Apriori 算法和K-means 算法等因子分析法和關聯性分析法描述數據之間的密切程度、發現大量數據中項集之間的關聯規則或者相關關系，更迅速準確的找出有價值的規則，提高關聯規則的理解性[4]。

（2）針對傳統數據挖掘方法在處理大數據方面能力有限的問題，使用如CNN，RNN等魯棒性高、學習能力強且擁有強大的表征能力和非線性建模能力的機器學習框架，深入挖掘能源消耗大數據與目標問題的關聯性，建立更精確的智能學習模型。

（3）針對不同的自學習算法對于處理不同特征數據的分析效率和準確性問題，探究不同的網絡架構對于能耗數據的適用性。對于不同機器學習模型和模型的組合使用如圖4所示。

圖4 能耗大數據應用研究框架圖

■2.5 數據挖掘和機器學習模型分析后的節能減排決策

針對如何利用模型分析和數據挖掘后對于節能減排的結果為節能減排提供數據支撐問題，研究預警分析、分析評價、模擬規劃、系統實現等功能的實現，通過多樣化的結果展示，從而在實際中起到決策支持的作用，為政府的決策提供依據[5]。能耗大數據挖掘與節能減排應用研究框架如圖5所示。

3 對策建議

■3.1 建立新疆能耗在線監測平臺運行長效機制

在廣泛借鑒國際、國內能耗監測平臺建設經驗的基礎上，結合新疆自身的工業資源稟賦特色實際，提出機制建設總體思路和各項機制建設備選方案。重點抓好新疆能耗在線監測平臺標準化管理與產業提質增效發展促進機制；探討構建新疆能耗在線監測產業聯盟長效運行機制；深入研究細分行業大數據應用示范規范與標準機制；

■3.2 深入開展“一帶一路”中心節點城市建設與工業互聯網協同研究

深入分析“一帶一路”戰略給新疆工業行業產業帶來的機遇，挖掘新疆作為核心區建設“一帶一路”中心節點城市面臨的資源、科技、人才、政策、機制、基礎設施等各方面的優勢和短板。

■3.3 建立新疆能耗在線監測平臺綠色信貸或基金

集成促進新疆能耗在線監測平臺的多項長效機制，整合多種資金資源，建立新疆工業產業轉型升級，提質增效的發展基金。

4 總結

基于國家城市能源計量中心（新疆）能耗數據在線監測平臺已收集的高維、低密度特征的大數據，采用以深度學習為主的大數據分析技術，對新疆不同行業、地區的能源利用效率、節能潛力、供給側和需求側的能源供需情況開展大數據建模研究，建立多領域融合，多任務處理的大數據分析機制，挖掘能耗數據價值，制定能源消費量在線檢測指標體系及計算方法，實現對新疆能耗數據的綜合分析、評價和預測，找出新疆節能減排的關鍵點，為新疆節能減排工作部署、產業鏈的形成等政策制定提供有效的決策數據依據。