Web端海量電網資源GIS數據動態調度與渲染方法①

程 偉,錢 蔚,龐 宇,楊文彬

(南瑞集團公司(國網電力科學研究院),南京 211006)

引言

電網發電、輸電、變電、配電、用電等環節的業務應用均需要與地理空間信息集成融合,以提升電網資源管理水平和可視化分析能力[1-8].電網設備的圖形展示是電力GIS應用的基本功能.據統計,全國大部分省輸變配低電網設備的數據量已達到數千萬甚至上億級,因此,實現Web端海量電網GIS數據的高效顯示已成為相關應用急需解決的問題.

目前,基于海量GIS數據的Web圖形展示主要有以下幾種實現方案:

(1)實時動態柵格渲染.該方案是目前Web端展示大規模電網GIS數據的主流方法.主要思路是客戶端根據當前視口范圍向服務端發送圖形渲染請求,服務端根據請求范圍從數據庫中實時查詢數據并渲染成圖片返回至客戶端顯示.該方法對客戶端渲染能力要求不高,其主要缺點為:1)服務端同時承擔了數據檢索和圖形渲染的任務,負載較大;2)由于Web端獲取的是靜態圖片,難以實現圖形要素的閃爍、鼠標點擊動態高亮等人機交互功能[9];3)客戶端無法動態改變圖形要素的顏色、樣式,導致諸如開關置位、設備帶電著色、模擬停電分析等很多電力應用的重要需求難以滿足.

(2)柵格瓦片渲染.該方法依據特定的二維空間分層網格切分方案,在服務端預先生成一定空間范圍和層數的柵格瓦片集,即柵格瓦片金字塔.客戶端在地圖瀏覽時根據視口范圍從服務端獲取對應的所有瓦片,最終拼接成完整的地圖.由于是預先成圖,該方法降低了服務端實時繪圖的壓力,但仍存在方案(1)的缺點2)和3).

(3)矢量瓦片渲染[10-12].近幾年,隨著HTML5技術的迅速發展,大大提升了瀏覽器矢量繪圖的能力.由此發展出矢量瓦片技術,該方法將矢量數據以建立金字塔的方式分割成一系列描述性文件,以GeoJson或自定義格式組織.客戶端根據窗口范圍請求對應的矢量瓦片數據進行繪圖.該方法克服了柵格渲染的缺點,具有可交互、樣式可控、體積小等優勢.但該方法會將空間對象分割存放在多個瓦片中,損失了對象完整性,極不利于業務功能的開發,因此仍然只適用于地理底圖的顯示.

為解決現有電力GIS應用在Web端圖形顯示技術的不足,本文充分利用HTML5的高性能矢量繪圖能力及諸多新特性,實現了一種面向Web的大規模電網GIS數據矢量化顯示方法,可顯著提升現有電力行業Web GIS應用在圖形顯示方面的流暢性、交互性和靈活性,改善用戶體驗.

1 設計

1.1 總體設計

本文方法中,通過數據顯示規則和線路(含架空線和電纜)抽稀,合理控制圖形瀏覽加載的數據量,降低網絡傳輸及前端繪制壓力;在圖形瀏覽時,根據視口范圍進行數據動態調度,通過在前端建立請求緩存以減少請求次數,建立數據緩存提升渲染速度;最后使用HTML5技術進行Web端多線程數據解析與實時符號化渲染.總體思路如圖1所示.

圖1 方法總體設計圖

1.2 數據顯示規則制定

由于電網資源數據量大,須設計一定的數據顯示規則控制每屏顯示的設備數量.根據電力GIS應用的特點,小比例尺地圖上(如1:20 000 000)只需顯示高電壓等級(500KV以上)的電站和線路信息;在大比例尺地圖上(如1:1000),需要顯示電站的站內一次設備、桿塔及柱上設備.基于以上需求特點,本文設計了一種電網資源數據分級顯示規則.該規則首先確定地圖最小顯示比例尺和最大顯示比例尺,并將比例尺范圍劃分為若干連續區間,每個區間稱為一個顯示級別,如L0,L1,L2,…,Ln.每個級別包含四個屬性:級別ID、最小比例尺、最大比例尺、可見設備.其中級別ID是顯示級別的唯一標識;最小比例尺和最大比例尺規定了該級別對應的比例尺范圍;可見設備指該顯示級別下顯示的設備類型及其電壓等級.

客戶端進行圖形瀏覽時,會根據當前地圖比例尺確定顯示級別,再依據顯示級別得到需要顯示的設備類型及電壓等級,最后從服務端獲取相應設備數據進行渲染.

1.3 線路數據壓縮

輸電線路是電力GIS應用展示的重要信息.線路類型包括架空線和電纜線.線路的數據量取決于節點個數,而在電網數據模型中,架空線的節點與桿塔一一對應,由于桿塔數量巨大,導致在顯示大范圍(諸如全國、全省或全市范圍)電網線路時加載的線路數據量非常大,這對數據傳輸、前端渲染都造成了嚴重負擔.因此,必須進行數據壓縮以保證圖形瀏覽的流暢性.

本文設計了一種線路數據分級壓縮方法,主要思路是按照比例尺范圍對線路進行分級抽稀,抽稀算法采用道格拉斯-普克算法[13].本方法中,制定若干壓縮級別,每個壓縮級別包含五個屬性:級別ID、最小比例尺、最大比例尺、電壓等級、抽稀閾值.其中級別ID是壓縮級別的唯一標識;最小比例尺和最大比例尺規定了該級別對應的比例尺范圍;電壓等級限定了抽稀的電壓等級范圍(由于大范圍的線路顯示主要針對高壓主干線路,因此具有較高電壓等級的線路才需要壓縮);抽稀閾值指該級別采用的道格拉斯閾值,閾值越大,抽稀力度越大.抽稀后的線路數據可緩存于查詢服務進行的內存或存儲在空間數據庫中.

2 實現

2.1 數據動態調度

本文中,數據加載采用按需調度和本地緩存的策略.

按需調度的基本原理是:雖然數據總量很大,但每屏顯示的數據量總是有限,因此可以根據顯示需要只加載較少的數據.具體包括兩方面:根據當前視口范圍確定數據調取的空間范圍;根據當前地圖比例尺,結合數據顯示規則確定需要調取的設備類型和電壓等級.通過以上兩層條件的過濾,可以大大降低數據加載量.

為提高顯示效率,本文在客戶端建立請求緩存和數據緩存.請求緩存存儲了客戶端每次發送的數據查詢請求,內容為請求的空間范圍和顯示級別.其作用是快速判斷一個新數據請求是否被已有請求包含,如已被包含,則客戶端無需發送,將減少重復請求.數據緩存存儲了每次查詢返回的設備信息,包含空間位置信息和屬性信息,用于緩存所有已獲取的設備數據.本文中,數據緩存作為客戶端設備繪制的直接數據源,即客戶端會從請求緩存中快速檢索出當前視口范圍的設備對象進行圖形繪制.

由于在兩個緩存的使用過程中都涉及按空間范圍查找已有請求或設備數據.因此,在緩存的存儲結構上采用了R樹[14]結構.R樹是目前廣泛采用的一種空間索引數據結構.通過R樹,可快速檢索出指定空間范圍內的空間對象.它是一個高度平衡樹,由中間節點和葉節點組成.每個結點都對應一個區域,中間節點存儲其所有子節點的區域范圍,其所有子結點的區域都落在它的區域范圍之內;葉結點的存儲其區域范圍之內的所有空間對象的外接矩形.根據R樹的這種數據結構,當需要查詢指定空間范圍內的對象時,只需要遍歷少數幾個葉節點所包含的空間對象,判斷是否滿足條件即可.這種方式使不必遍歷所有對象,效率顯著提高.

數據動態調度的主要過程如下:

(1)客戶端緩存容器創建.

客戶端建立兩個R樹結構作為請求緩存和數據緩存,分別記為RTreeRequest、RTreeData.每個數據請求作為RTreeRequest中存儲的一個條目,記為(I,L).I為條目最小外接矩形,是數據請求的空間矩形范圍,L為數據請求對應的顯示級別ID.在RTreeData中每個設備作為一個存儲條目,記為(R,Data).R為條目的外接矩形,是設備空間圖形的最小外接矩形,Data是設備的空間信息和屬性信息.

(2)客戶端確定顯示級別及空間范圍.

獲取當前地圖比例尺,根據比例尺在數據顯示規則中匹配對應的顯示級別,記為LC.客戶端獲取當前屏幕顯示的地理空間范圍(為一個矩形范圍),對該范圍進行適當外擴,如范圍的長、寬分別外擴20%,形成數據查詢空間范圍,記為IC.進行外擴的原因是客戶端將緩存本次請求的空間范圍,當進行地圖平移瀏覽時,新的屏幕空間范圍如過沒有超出上次數據請求的實際空間范圍,則無需再次請求.這樣可降低數據請求次數,減輕服務端壓力.

(3)客戶端發送數據查詢請求.

首先利用R樹檢索算法從RTreeRequest中快速查找所有與IC有空間重疊的請求條目,形成集合A.遍歷A中所有請求條目,如存在某個請求條目(In,Ln),其查詢范圍In包含IC且顯示級別Ln等于IC,則無需發送請求,流程終止;如沒有符合上述條件的請求條目,則向服務端發送數據查詢請求,請求參數包括空間矩形范圍IC、顯示級別LC及當前比例尺SC.發送完成后,將本次請求條目(IC,LC)插入至RTreeRequest中以緩存.

(4)服務端執行查詢并返回結果.

服務端根據請求參數確定查詢條件.其中空間范圍條件為IC.屬性條件為設備類型和電壓等級過濾條件,具體由顯示級別LC結合顯示規則確定.

對非線路設備,服務端根據上述空間條件、屬性條件從空間數據庫中查詢數據并以GeoJson格式返回給客戶端.對線路設備,首先根據本次請求的比例尺SC、電壓等級條件由數據壓縮規則確定查詢數據源.如需查詢原始數據,處理過程與非線路設備相同;如需查詢壓縮數據,則計算壓縮級別,從服務端內存緩存或空間數據庫中查詢對應級別的壓縮數據并返回給客戶端.

(5)客戶端進行設備數據解析與緩存.

客戶端從服務端獲取查詢結果后,需將GeoJson字符串解析為內存對象并保存在本地數據緩存RTreeData中.經實測,當返回的數據量較大時,數據解析過程較為耗時,此時頁面的狀態是不可響應的,導致圖形瀏覽出現卡頓現象.為了提高圖形瀏覽的流暢性,本文采用HTML5 提供的多線程解決方案進行數據解析和重復數據剔除.具體方法為:客戶端預先開辟一個Web Worker后臺線程,頁面主線程獲得查詢結果GeoJson字符串后,將字符串和已加載設備ID集合傳給后臺線程,后臺線程執行數據解析生成內存對象,并根據已加載設備ID集合剔除已加載設備,形成新加載設備對象的集合傳給主線程.主線程獲取新加載設備對象集合后,將其全部插入本地設備數據緩存RTreeData中.

數據調度的詳細流程如圖2所示.

圖2 數據動態調度流程

2.2 數據實時渲染

電力GIS應用有很多重要需求,諸如設備高亮顯示、模擬開關置位、模擬帶電著色、模擬停電分析等都需要在客戶端實時改變設備的顏色、符號、樣式.目前常規的服務端渲染方式難以滿足上述需求,而本文采用客戶端實時渲染策略,最大的優勢是可以動態改變設備圖形的顏色、樣式,可以很方便的實現上述功能.

當用戶進行地圖瀏覽使地圖視口發生變化時,客戶端將開始數據實時渲染.其過程主要分為兩步:第一步,基于R樹搜索方法從本地數據緩存中快速抽取當前視口地理范圍內的設備對象,形成待渲染設備對象集合.第二步,對集合中的每個設備,獲取該設備的符號信息,并進行符號的繪制.

本文采用HTML5提供的Canvas元素作為地圖繪制的畫布,在畫布(Canvas)上通過JavaScript腳本對基礎地理及電網設備符號進行實時繪制.

電網設備圖形符號主要分為兩類:線狀符號和點狀符號.線狀符號指電纜、架空線、站內連接線等設備的符號,用實線或虛線表示,其繪制比較簡單.點狀符號包括變壓器、電流互感器、斷路器等絕大部分電網設備(多達幾百種)符號.每種點狀符號由若干基本圖元(折線、多邊形、圓、橢圓、橢圓弧、貝塞爾曲線、文字等)組合而成.本文針對每個點符號都新建一個Canvas元素,利用Canvas提供的圖形繪制接口完成符號所有基本圖元的繪制,然后將其繪制到地圖的Canvas上,從而實現設備符號的實時繪制.與常規的使用靜態圖片(如png、svg)顯示設備符號的方式相比,這種實時繪制的方法可以動態更改符號的顏色,很好的滿足了電網運行分析應用所需要的動態著色需求.

客戶端實現設備符號化渲染的實現流程如圖3所示,主要包括如下步驟.

圖3 數據實時渲染流程

(1)開始圖形瀏覽,進行地圖平移或縮放,改變當前視口范圍;

(2)從數據緩存中搜索當前視窗范圍的設備對象,形成待渲染設備集合,遍歷待渲染設備集合;

(3)判斷遍歷是否結束,如果是則結束,如果否則轉向步驟(4);

(4)獲取下一個設備,獲取設備對應的符號,判斷設備符號類型,如果為線狀符號,直接在地圖的畫布(Canvas)上繪制實線或虛線,并轉向步驟(3);如果為點狀符號,首先新建一個畫布(Canvas)元素,在該元素上繪制符號的基本圖元;然后將畫布(Canvas)元素轉為圖片(Image)元素;最后使用HTML5提供的drawImage方法將圖片繪制于地圖的畫布上,并轉向步驟(3).

3 測試與驗證

3.1 測試數據與程序實現

基于某省電網資源數據進行電網資源圖形展示測試.該省電網設備(含低壓設備)數量總計1.4億以上,其中線路(包含架空線段和電纜線段)數據量在1500萬以上.

測試的電網資源空間數據庫采用MongoDB 3.2,查詢服務采用Java實現,Web端采用JavaScript與HTML5實現.

3.2 圖形渲染效果

圖4為較大地理范圍下的大型電站和重要線路的顯示效果;圖5為地圖放大后站內接線圖的渲染效果.

圖4 電網資源圖渲染效果——電站和線路分布

圖5 電網資源圖渲染效果——站內接線圖

3.3 緩存與數據壓縮效果

在客戶端進行5次獨立的隨機瀏覽測試,每次瀏覽均包含地圖縮小、放大、平移操作.測試記錄了瀏覽過程中客戶端視口變化次數、實際線路查詢請求次數.從測試結果看,由于利用請求緩存避免了一些重復請求,使數據請求次數明顯少于視口變化次數,可見請求緩存在降低服務端數據查詢、客戶端數據解析壓力方面效果明顯.另外,為驗證線路數據壓縮效果,線路查詢請求同時返回原始數據及壓縮后的數據,統計兩種線路數據的總量.從結果對比看,通過線路壓縮,大大降低了數據傳輸量,進而減輕了客戶端渲染壓力.具體測試結果見表1.

表1 客戶端隨機漫游測試結果

3.4 比較分析

目前,國家電網公司電力GIS應用主要集中在生產管理、配網搶修等業務系統.上述系統中Web端電網圖形展示方法為:每次地圖視口變化時,客戶端向服務端發送圖形請求,服務端即時從數據庫中查詢數據并渲染成圖片傳給客戶端顯示,顯示組件采用Flex.與以上方案相比,本文方法主要有以下兩點優勢:

(1)本文方法采用客戶端實時渲染,比服務端渲染方式交互性更好,且可以即時改變設備顯示的顏色、樣式.因此,本文方法更易于實現設備高亮、設備點擊查詢、模擬開關置位、帶電著色等常用功能.此外,圖形渲染由客戶端完成,網絡傳輸數據量小、服務器壓力輕.

(2)上述系統中每次視口變化都進行服務渲染請求,而本文方法由于使用了請求緩存減少了重復請求,避免了每次視口變化都發送數據請求,降低了服務端壓力.

4 結論

本文針對電力GIS數據及應用特點,提出一種面向Web的海量電網資源GIS數據動態調度及矢量化顯示方法.經實測驗證:該方法可支持海量電網GIS數據在Web端的高性能顯示;由于采用Web端矢量化渲染,非常適合電網運行分析應用所需要的模擬開關置位、設備動態帶電著色和動態標注數據刷新的需求,同時便于實現對象閃爍、鼠標移動/點擊動態高亮等效果,能夠提供更好的用戶體驗.本文研究成果已應用于多個大型電網GIS應用系統.

1史興華.電網GIS及其應用.北京:中國電力出版社,2010.

2張德金,吳紅衛,佘運波.基于統一電網資源模型的電網資源數據維護機制和關鍵技術的研究.電氣應用,2015,(S2):423-427.

3唐凱,鐘一俊,吳惠芬,等.電網GIS基礎數據質量管理工具設計與應用.電力信息與通信技術,2016,14(2):98-101.

4易勇強,奚建飛,雷偉剛.電網GIS多源多時相多分辨率空間數據質量管控技術體系研究.南方能源建設,2016,3(S1):122-125.

5王瀚秋,劉開鋒.低壓配電網GIS結合電力營配一體化信息平臺的建設與應用.電力信息化,2010,8(1):71-74.

6劉才華.電網GIS地理信息服務平臺建設與應用效益分析.數字技術與應用,2012,(10):235-236.

7林峰,郭寶,錢蔚.面向公共電網GIS平臺的電網地理圖形應用架構.電力系統自動化,2011,35(24):63-67.

8陳健,萬國成,孫冠男,等.GIS平臺電網規劃輔助決策系統開發與應用.電力系統及其自動化學報,2010,22(6):99-103.

9Gaffuri J.Toward web mapping with vector data.Proceedings of the 7th International Conference on Geographic Information Science.Columbus,OH,USA.2012.87-101.

10Mapbox Co.Mapbox vector tile specification.https://www.mapbox.com/vector-tiles/specification/.[2016-01-19].

11朱秀麗,周治武,李靜,等.網絡矢量地圖瓦片技術研究.測繪通報,2016,(11):106-109,117.

12孫晨龍,霍亮,高澤輝.基于矢量瓦片的矢量數據組織方法研究.測繪與空間地理信息,2016,39(4):122-124.

13Cromley RG,Campbell GM.Integrating quantitative and qualitative aspects of digital line simplification.The Cartographic Journal,1992,29(1):25-30.[doi:10.1179/caj.1992.29.1.25]

14Guttman A.R-trees:A dynamic index structure for spatial searching.Proceedings of the 1984 ACM SIGMOD International Conference on Management of Data.Boston,MA,USA.1984.47-54.