海量數據快速可視化技術在節能減排監管系統中的應用

陸建偉，周升，張珂珩，王飛

（1.國網浙江省電力公司電力科學研究院，杭州310014；2.江蘇瑞中數據股份有限公司，南京210009）

海量數據快速可視化技術在節能減排監管系統中的應用

陸建偉1，周升1，張珂珩2，王飛2

（1.國網浙江省電力公司電力科學研究院，杭州310014；2.江蘇瑞中數據股份有限公司，南京210009）

隨著電力行業節能減排工作的推進，節能減排監管數據爆炸式增長。為保證節能減排監管系統的正常運行，需要對海量數據進行可視化監控，以定位問題的根源。基于海量數據的快速可視化技術，能實現對海量數據的綜合分析，實現節能減排、能源合理利用的創新。通過總結電力行業節能減排監管系統中的海量數據的特點，介紹海量數據的快速可視化技術，重點討論了如何利用實時數據庫的通知服務和本地緩存，來實現海量數據快速可視化技術在節能減排監管系統中的應用。

海量數據；快速可視化；節能減排

隨著浙江省電力行業節能減排工作的逐步推進，尤其是發電廠脫硫系統、脫硝系統的建設和推廣，產生了大量實時數據，繼而沉淀形成了海量歷史數據[1]，這些數據是節能減排優化和監管的重要基礎。面對如此龐大的數據量，傳統的門戶系統由于直接訪問數據庫將導致訪問速率過慢，已越來越無法滿足對這些數值結果進行可視化分析的需求。為保證節能減排監管系統的正常運行[2]，需要對海量數據進行可視化監控，以定位問題的根源。浙江省節能減排監管系統采用海量數據快速可視化技術，通過對海量數據的萃取、統計分析、圖形化等手段，將節能減排概況清晰地展示在用戶面前。

1 節能減排工作中的數據特點

電力行業節能減排中的海量數據與其他行業產生的數據相比有以下特點：

（1）數據量巨大。每臺運行中的機組都將產生大量數據，將各發電企業所有機組的運行相關數據都采集起來，數據量極為可觀。

（2）數據類型多。節能減排監管系統的數據包括節能和環化兩部分。節能數據包括基礎數據、爐側的經濟性計算數據、機側的經濟性計算數據、電氣的經濟性計算數據等。環化數據包括基礎數據、脫硫數據、脫硝數據等。每類數據又包含很多指標，例如基礎數據包括機組負荷、總風量、爐膛負壓、燃煤發電量、燃氣發電量、供熱量、機組MFT信號、機組RB信號、電除塵投運信號、油槍投運信號、引風機開度或頻率等。

（3）數據產生快。通常發電廠的機組都處在連續運行狀態，產生的實時數據也將不斷增長，增加了可視化技術應用的難度，即如何保證在數據快速增長的情況下運用可視化技術，將數據的變化準確實時地展示出來。

（4）計算分析復雜。鍋爐熱效率、汽機熱效率、廠用電率等參數都需要通過復雜的公式計算。以鍋爐熱效率為例，需要采集主蒸汽流量、主蒸汽溫度、主蒸汽壓力、再熱蒸汽流量、給水溫度、給水壓力、給煤量等多項數據來進行計算。

2 海量數據的快速可視化技術

數據可視化技術是處理計算或實測數據的方法之一，它運用計算機圖形學和圖像處理技術，將數據轉換為圖形或者圖像后在屏幕上顯示出來，并進行交互處理，為研究、使用人員提供直觀的方式來理解大量數據所蘊含的豐富內容，發現通常通過數值信息發現不了的現象[3]。現代可視化技術的概念更為寬泛，是指以計算機圖形技術為基礎，通過計算機生成對人體視覺刺激的圖像，以便于人們接受、理解原始數據和信息的技術方法[4]。它作為一門交叉學科涵蓋了許多研究領域，包括計算機圖形學、圖像處理、計算機輔助設計、計算機視覺及人機交互技術等。

數據可視化技術拓展了傳統的圖表功能，使用戶對數據的剖析更為清晰[5]。數據經過可視化處理和專業的加工后，最終為用戶呈現出動態的、圖形化的、令人印象深刻的可視化結果。目前數據可視化技術的應用主要包括：呈現多維混搭信息的可視化應用、揭示數據關聯趨勢的可視化新服務、有助發散形象思維的可視化新工具以及提供數據可視化交流社區的可視化新平臺，這些數據可視化的手段以及可視化過程都有各自的特征。隨著用戶對數據分析需求的增長，對數據可視化的要求也變得越來越強烈，通過可視化映射可以有效地呈現想要獲得的數據，更便捷地理解其中的含義，進而做出決策。

3 海量數據快速可視化應用實例

在浙江省電力行業節能減排監管系統中，將電廠采集的實時數據，經過計算統計服務的加工，最終通過報表和圖表等一系列動態、圖形化的形式展現給用戶。例如報表，在用戶的實際業務應用中，通常需要按年、季、月、周、日等時間段查找相關數據，并進行分析對比。浙江省節能減排監管系統提供的歷史報表工具，能根據用戶需求開發業務報表，以查詢到任意對象、任意時刻的歷史數據，以及任意時刻的歷史斷面，并可導出數據，實現系統運行數據的“全息”保存和查詢，以滿足節能減排的業務需求。

現已開發完成的節能監管報表包括能耗報表、平均能耗指標排序報表、節能查詢報表、基礎信息報表；減排報表包括全省實時總覽報表、設施投運報表、電廠排放報表、全省排放報表、電廠上報報表、環化信息錄入報表、基礎信息報表；線損統計報表包括線損數據錄入報表、月統計報表等。

同時，監管系統提供實時監控畫面及組態工具，通過監控畫面和組態畫面實時刷新測點數據，直觀地向用戶展示電廠能耗和排放情況。

浙江節能減排監管系統應用B/S架構、服務訂閱、本地緩存機制等技術達到快速可視化，加快門戶訪問速率，性能得到指數級提升。

3.1 B/S架構

浙江省電力行業節能減排監管系統是基于B/S結構的Web門戶系統，可為用戶提供實時、高效的服務通道[6]。浙江省節能減排監管系統門戶可為用戶提供訪問實時數據中心各種信息資源的入口，具有強大的Web瀏覽功能，對各類應用服務、參數、圖形、報表、實時數據和歷史數據等提供靈活、豐富、多樣的信息展示，使任何被整合到系統中的信息都能以一定的方式進行瀏覽和查詢，并提供歷史追溯與反演、斷面查詢等高級應用功能。

系統的維護和升級方式簡單，可以在任何地方進行操作而不用安裝任何專門的軟件。客戶端零維護，系統的擴展性強，可隨時擴展系統范圍、增添更多功能，為后臺的監管及系統的拓展提供便利。

3.2 服務訂閱

實時數據庫的通知服務是指向訂閱服務訂閱所需測點，如果訂閱測點的數據發生變化，通知服務自動將數據推送到訂閱服務端。

浙江省電力行業節能減排監管系統可方便、快捷地提取節能減排實時數據，生成各種報表，并在門戶網站上展示。可以向海迅數據庫訂閱測點，并維護這些測點的斷面。查詢某一報表時，通過事件觸發使海迅數據庫主動推送數據。

3.3 本地緩存機制

本地緩存是指將客戶機本地的物理內存劃分出一部分空間，用來存儲客戶機回寫到服務器的數據，本地緩存又稱為本地回寫[7]。該技術的應用使得客戶機回寫的數據不必先寫入服務器硬盤，而是將回寫數據先寫入本地回寫緩存，當緩存空間達到一定的閾值時，再將數據回寫到服務器。有了本地回寫緩存功能之后，大大降低了服務器讀寫壓力和網絡負載。

通常的門戶系統是直接訪問數據庫，獲得數據后以頁面報表等形式展示給用戶。當數據量非常大時，比如達千萬點的海迅數據庫，如果門戶報表每次都要遍歷數據庫來查找需要的測點，將導致讀取速率下降。為此，節能減排監管系統充分利用了實時數據庫的通知服務和內部緩存機制，將測點數據緩存在服務器端，以減少訪問數據庫的次數和時間，提高數據訪問性能。測點維護模塊根據用戶訪問記錄，保留常用訪問測點。當測點較多時，將刪除測點隊列中相對不常用的測點。測點訂閱模塊根據測點維護的測點隊列向通知服務模塊訂閱通知。數據監聽接收實時數據庫推送過來的更新值。緩存管理根據測點隊列維護內部緩存。

當數據管理模塊接收到業務請求時，先查找內存中有無緩存，如果沒有就直接查詢數據庫。同時測點維護模塊記錄請求測點，判斷是否向通知服務訂閱。通知服務根據訂閱的測點向數據監聽模塊推送測點的值。如果在緩存中存在測點值，則直接從緩存中讀取。在減排系統正常運行情況下，很多指標變化幅度較小甚至不變化，因此這種通知服務的策略將極大地減少訪問數據庫的次數，節省訪問數據庫的時間。數據訪問的工作流程如圖1所示。

圖1 工作流程

同時，在B/S架構下，會有不同的客戶同時訪問服務器，但由于客戶群體相對固定，很可能訪問的是相同的數據，即重復的測點，因此本地緩存機制可以大大加快每個用戶的訪問速率，升級用戶體驗。

4 結語

將海量數據快速可視化技術應用到節能減排監管系統中，使監管部門可以深入觀察各發電企業節能減排情況，對實時監控和及時調整有極大的幫助[8]。應用基于海量數據的快速可視化技術完成海量數據的綜合分析，實現節能減排、能源合理利用的創新，能夠充分體現“資源共享、低投入、低消耗、低排放和高效率”，已在實際應用中展示出良好的實用效果。

[1]李榮融.中央企業節能減排監督管理暫行辦法[EB/OL]. http∶//www.gov.cn/gongbao/content/2010/content-1694232. htm.

[2]胥傳普，楊立兵，劉福斌.關于節能降耗與電力市場聯合實施方案的探討[J].電力系統自動化，2007，31（23）∶99-103.

[3]劉勘，周曉崢，周洞汝.數據可視化的研究與發展[J].計算機工程，2002，28（08）∶1-2.

[4]劉大海.海量數據可視化方法的研究[D].天津：天津大學，2009.

[5]王媛媛，丁毅，孫媛媛，等.數據可視化技術的實現方法研究[J].現代電子技術，2007（04）∶71-74.

[6]張恩平.基于B/S架構的代理人綜合管理系統的開發與研究[D].上海：華東師范大學，2008.

[7]單中元.面向集群系統的分布式緩存機制的研究[D].沈陽：東北大學，2010.

[8]韓麗娜.數據可視化技術及其應用展望[J].煤礦現代化，2005（06）∶39-40.

（本文編輯：龔皓）

Application of Big Data Rapid Visualization Technology in Energy-saving and Emission Reduction Supervision System of Power Industry

LU Jianwei1，ZHOU Sheng1，ZHANG Keheng2，WANG Fei2
（1.State Grid Zhejiang Electric Power Research Institute，Hangzhou 310014，China；2.China Real-time Database Limited Company，Nanjing 210009，China）

With the advancement of energy saving and emission reduction in power industry,regulatory data of energy saving and emission reduction sees explosive growth.In order to ensure normal operation of energy saving and emission reduction supervision system，big data should be supervised visually to locate source of problems.The big data-based rapid visualization technology can realize comprehensive analysis on big data and innovations of energy conservation and emissions reduction as well as rational utilization of energy.By summarizing characteristics of big data in energy saving and emission reduction supervision system of power industry，this paper introduces big data rapid visualization technology and mainly discusses how to use the notification service and local caching of real-time database to realize the application of big data rapid visualization technology in energy saving and emission reduction supervision system.

big data；rapid visualization；energy-saving and emission reduction

TP311.13

：B

：1007-1881（2014）06-0029-03

2013-10-11

陸建偉（1982-），男，浙江富陽人，工程師，從事電力環保工作。