面向南水北調(diào)工程可視化調(diào)度的數(shù)據(jù)倉庫實現(xiàn)

蓋嘉俊 譚宇翔 顧盛楠 戴慧千 浩鯨云計算科技股份有限公司

引言

南水北調(diào)工程調(diào)度運行管理系統(tǒng)承擔工程運行管理主要核心業(yè)務(wù)，通過專有云服務(wù)框架建設(shè)相對穩(wěn)定的采集實時工情、水情、水質(zhì)信息，在進一步建成的業(yè)務(wù)中臺共享機制[2]中實現(xiàn)了系統(tǒng)數(shù)據(jù)資源充分共享，本論文在此基礎(chǔ)上，針對南水北調(diào)工程可視化調(diào)度主題的實際業(yè)務(wù)需求，利用數(shù)據(jù)倉庫技術(shù)，通過ETL 工具整合可視化調(diào)度多源數(shù)據(jù)形成數(shù)據(jù)集，并根據(jù)業(yè)務(wù)規(guī)則有效集成數(shù)據(jù)，在前端阿里云DataV中實現(xiàn)數(shù)據(jù)展示。

1 可視化調(diào)度

江蘇南水北調(diào)工程可視化調(diào)度通過柱狀圖、折線圖等多種交互圖形化的形式來展示關(guān)鍵數(shù)據(jù)指標的統(tǒng)計與分析、差距分析、對比分析、因果關(guān)系分析等，呈現(xiàn)宏觀的工程信息、調(diào)水信息，便于用戶實時動態(tài)感知工程運行累計調(diào)水量、安全運行時間、泵站運行實際情況及水量、水位關(guān)鍵指標，為調(diào)度管理提供科學依據(jù)，輔助管理人員掌握宏觀數(shù)據(jù)的目標值、實際值、發(fā)展趨勢。

江蘇南水北調(diào)工程可視化調(diào)度包括七個業(yè)務(wù)主題，主題數(shù)據(jù)及展示需求見表1。

表1 主題數(shù)據(jù)及展現(xiàn)方式

2 數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是一個面向主題的數(shù)據(jù)集合，通過將時序數(shù)據(jù)集成到數(shù)據(jù)集市中形成相對穩(wěn)定的數(shù)據(jù)集合，支撐管理決策。數(shù)據(jù)倉庫系統(tǒng)包括數(shù)據(jù)源、數(shù)據(jù)倉庫數(shù)據(jù)集市及數(shù)據(jù)提取分析展示工具。面向南水北調(diào)工程可視化調(diào)度主題的數(shù)據(jù)倉庫技術(shù)應用是將水情、水質(zhì)、工情等多源數(shù)據(jù)進行收集處理形成數(shù)據(jù)集市并通過可視化工具展示的一個數(shù)據(jù)處理過程，主要包括四個方面的內(nèi)容。

1.根據(jù)業(yè)務(wù)規(guī)則識別數(shù)據(jù)源。江蘇南水北調(diào)工程已經(jīng)建成適應南水北調(diào)工程運行管理業(yè)務(wù)的共享服務(wù)數(shù)據(jù)中臺，滿足各類業(yè)務(wù)專題信息共享，數(shù)據(jù)項包括：運行時長、開機臺數(shù)等泵站工情，泵站等設(shè)備設(shè)施，實時水位流量等水情數(shù)據(jù)，水質(zhì)參數(shù)，基于GIS 地圖的各類站點坐標及底圖，泵站拓撲關(guān)系等調(diào)水路線，調(diào)水概況統(tǒng)計信息。

2.利用ETL 工具抽取、清理、存儲數(shù)據(jù)形成數(shù)據(jù)集市。通過ETL 工具按照各主題數(shù)據(jù)刷新頻率需求完成對多源數(shù)據(jù)的訪問，實現(xiàn)數(shù)據(jù)抽取、清理并存儲形成數(shù)據(jù)倉庫。多源數(shù)據(jù)源包括SQL server、Mysql、ArcGIS 平臺、Excel 文件及其他系統(tǒng)API 接口。

3.按照業(yè)務(wù)主題進行數(shù)據(jù)有效分析集成形成多維數(shù)據(jù)集。根據(jù)業(yè)務(wù)規(guī)則，從數(shù)據(jù)倉庫將主題數(shù)據(jù)進行抽取組合，按照預先設(shè)置的采集頻率形成讀取數(shù)據(jù)邏輯規(guī)則，將數(shù)據(jù)組合形成主題數(shù)據(jù)集，以便可視化工具調(diào)用。

4.利用可視化工具集中展示。可視化調(diào)度顯示界面利用阿里云DataV 技術(shù)，構(gòu)成以GIS 地圖為底圖，周邊覆蓋關(guān)鍵指標數(shù)據(jù)為主的展現(xiàn)形式，布局清晰明確，宏觀簡潔，各區(qū)域分布均勻，松散有致。設(shè)計風格以深藍為標準色，代表科技與創(chuàng)新，橙紅藍綠分別代表指標數(shù)量的高中低，為輔助色，整體的視覺風格與目前主流的扁平化一致。動畫在屏幕上能夠較平滑地運動，無明顯的停頓或跳幀。

3 結(jié)語

南水北調(diào)工程可視化調(diào)度在南水北調(diào)工程專有云服務(wù)平臺數(shù)據(jù)共享機制的基礎(chǔ)上，通過數(shù)據(jù)倉庫技術(shù)，進行數(shù)據(jù)抽取、清理并存儲形成面向業(yè)務(wù)的穩(wěn)定的時變數(shù)據(jù)集合，為調(diào)度業(yè)務(wù)提供有效的工情、水情、水質(zhì)、地圖及調(diào)水概況等宏觀數(shù)據(jù)集中展現(xiàn)，提升了南水北調(diào)工程調(diào)度運行管理系統(tǒng)綜合服務(wù)能力。