電網GIS平臺內存數據庫優化技術應用研究

楊沂婷，呂舒清，顏康，李穎，白曉龍

（1.國網山東省電力公司電力科學研究院，濟南250003；2．國網山東省電力公司，濟南250001）

電網GIS平臺內存數據庫優化技術應用研究

楊沂婷1，呂舒清2，顏康1，李穎1，白曉龍1

（1.國網山東省電力公司電力科學研究院，濟南250003；2．國網山東省電力公司，濟南250001）

隨著國家電網公司信息化建設步伐的加快，日益增長的業務應用規模和海量數據給GIS系統的安全穩定運行帶來困難，系統性能和可靠性成為信息化建設過程中的突出問題。提出一種基于內存數據庫性能優化技術，形成從主機、中間件、數據庫、存儲及應用程序監控、分析和優化的整體方案，可以有效地解決電力行業海量數據造成的響應延時、性能下降、數據庫訪問中斷等問題，提高系統的穩定性、安全性及經濟性。

海量數據；內存數據庫；多級緩存優化

0　引言

隨著電力行業運檢、營銷系統業務量和數據量的不斷增長，現有電網GIS系統及配置環境難以滿足海量數據處理需求，存在著系統響應延時、性能下降、數據庫訪問中斷等風險，給運行維護工作帶來很大困難。山東省電力公司電網整體規模大，近年來電網改造工程量大，電網管理水平提升要求高，隨著電網GIS平臺應用的全面開展，運檢、營銷等相關專業對于電網GIS平臺的運行效率、應用實現效果及業務應用拓展支撐能力提出了新的需求。由于核心系統存在無法通過提升硬件來解決存在的問題，導致處理器、磁盤及內存長期處于高負荷狀態下，嚴重影響了系統的安全性、穩定性和經濟性。主要體現在以下方面：一是數據存儲容量不斷增長且難以預估，對數據庫性能產生嚴重的影響；二是存儲數據的成本在不斷地增加，如何削減開支，節約成本以保證高可用性成為亟待解決的問題。針對山東省電力公司運檢、營銷系統的業務特點、業務容量及用戶需求，開展了電網GIS平臺深化應用工作。

在電網GIS平臺深化應用中，充分利用現有計算機硬件技術提供的大內存、多CPU多核等特點，將全省規模的電網模型、拓撲和圖形緩存于多臺服務器群集的內存中，通過地理分區、電壓等級分區等多種分區方式在多機群集間分擔負載和故障切換，通過內存數據庫技術，避免I/O操作，通過訪問緩存數據進行圖形瀏覽顯示和拓撲分析，能夠為大規模應用提供高性能的訪問服務，提升了系統性能和穩定性。

1　電網GIS平臺系統結構

電網GIS平臺服務器部署架構如圖1所示。電網GIS平臺由客戶端根據分區規則將部分數據緩存在本地，應用程序訪問本地緩存數據進行圖形的瀏覽和編輯，待編輯完成需要提交時或網絡重新連通時本地緩存數據與服務器數據進行同步，保持緩存數據與服務器同步。電網GIS平臺為全在線模式，本地不再下載緩存數據，采用實時柵格化進行圖形瀏覽，通過數據代理的數據訪問接口直接連接數據庫，進行編輯和數據提交保存。

圖1　電網GIS平臺服務器部署架構

2　內存數據庫性能優化技術應用

2.1內存數據庫技術

傳統的數據庫把所有數據都放在磁盤上進行管理，磁盤數據庫需要頻繁地訪問磁盤來進行數據的操作，磁盤的讀寫速度遠遠低于CPU處理的速度，所以磁盤數據庫的瓶頸出現在磁盤的讀寫操作上。內存數據庫是將全部或者大部分數據放在內存中進行操作，可以更有效地使用CPU周期和內存來提高處理速度。從計算存儲技術的角度看，由于服務器在處理數據時，CPU首先會從其緩存中查找數據，緩存中查找不到，再從內存中查找，內存里沒有，再從硬盤上讀取，如圖2所示。

圖2　內存數據庫技術

在傳統數據庫查詢中，磁盤訪問時間是一個主要的瓶頸，如果查詢在讀寫速度快很多倍的內存中進行，而不用訪問物理磁盤，將會大大提升處理性能。

近十幾年來，內存的發展一直遵循摩爾定律，內存的價格一直下降，而內存的容量一直在增加。現在的主流服務器，幾百GB的內存都很常見，內存的發展使得內存數據庫得以實現。

內存計算是CPU直接從內存而不是硬盤上讀取數據，進行計算、分析，是對傳統數據處理方式的一種加速。內存計算非常適合處理海量的數據以及需要實時獲得結果的數據。通過內存計算技術，將來自數據庫的數據，實時地分發到內存計算集群中。內存計算根據服務的特性，重新組織數據，優化數據結構，保存在內存中。在用戶端進行服務請求時，內存計算再根據具體的請求，用重新組織過的數據，進行快速的計算分析，將結果返回給用戶端。

通過內存數據庫優化技術及多種技術手段，如高效、緊湊的數據結構設計、大量運用內存庫緩存技術、采用多級緩存及多種緩存機制等方法著力解決在集中部署模式下大并發訪問的性能問題。

2.2多級緩存優化

電網GIS平臺的圖形圖像數據量大，大量用戶并發訪問對網絡和服務器產生很大的沖擊，部分用戶網絡帶寬不能滿足實時傳輸大量數據的要求，業務操作受到嚴重影響。因此需要在圖形應用服務器、空間信息服務器和C/S客戶端采用多級緩存技術，降低網絡數據下載、提交頻率及網絡數據流量，提高客戶端響應速度，解決集中部署的并發維護性能瓶頸及效率問題，降低建設、維護的成本。

圖形應用服務器在內存中緩存電網資源數據、源數據，采用哈希索引機制，對象查找效率高；對于幾何數據采用多級空間索引機制，空間分析效率高；網絡拓撲模型采用拓撲索引機制，連通性分析、帶電計算等網絡應用效率高，能夠滿足實時表達電網、動態著色的需求。

由于數據庫服務器處理能力較難平行擴展，如果圖形應用服務的每次請求都需要訪問數據庫服務器，將產生嚴重的性能瓶頸。因此，對于圖形應用服務的設計和實現，充分利用最新計算機硬件技術提供的大內存、多CPU多核等特點，將全省規模的電網模型、拓撲和圖形緩存于應用服務器的內存中，通過優化的內存數據庫訪問算法和負載均衡策略，在圖形應用服務器上承載絕大部分數據訪問壓力，盡量降低對數據庫數據通道的占用，提升服務器吞吐能力。

圖形渲染、查詢定位、拓撲分析基于內存緩存，不直接對數據庫進行操作。對于電子地圖、遙感影像等不經常變化的數據，采用切片地圖技術或客戶端本地緩存技術提高數據訪問性能。橫向上，采用多機、可平行擴展的服務器集群技術，通過按地理分區、版本分區或者功能分區等方式在多機群集間分擔負載，并實現故障熱備切換，提升電網GIS應用服務的性能、可靠性以及可擴展性；縱向上，通過多級緩存技術來延伸和擴展數據庫服務器的I/O及運算能力。

2.3低帶寬占用的緩存部署方式

電網GIS平臺管理的圖形圖像數據量大，大量用戶的并發訪問對網絡和服務器的壓力很大，而且有些用戶網絡帶寬不能滿足實時傳輸大量圖形圖像數據的要求，因此需要在應用服務器和客戶端采用緩存技術提高系統運行效率和可用性。數據緩存包括如下幾個方面的內容。

電網空間信息服務器的內存緩存。大量B/S用戶訪問應用服務器，如果應用服務器每次請求都訪問數據庫服務器的話，將會產生非常巨大數據需求。因此電網資源數據在空間信息服務器的內存中進行緩存，不直接對數據庫進行訪問。

空間信息服務的矢量緩存和切片緩存。對于電子地圖、遙感影像等不經常變化的數據，采用切片地圖技術提高數據訪問性能，同時極大程度降低數據庫服務器壓力。亦可采用DDC（直接數字控制）等技術對電子地圖進行緩存。

C/S客戶端的緩存。C/S客戶端從數據庫服務器下載管轄范圍內的數據至緩存，采用內存數據庫技術訪問緩存數據進行圖形瀏覽顯示和拓撲分析，避免I/O操作。為確保數據一致性，電網修改的更新數據在更新緩存的同時同步寫入數據庫服務器。

2.4緩存數據同步實現方式

由于運用了數據緩存機制，在數據庫與內存庫之間，數據支撐層、服務支撐層、客戶端多級緩存之間、服務支撐層內部服務之間，C/S與B/S之間，都涉及復雜的緩存數據失效處理、數據同步的一致性和可靠性問題。分析內存數據庫的特點，針對內存數據庫的數據組織、查詢技術與優化、并發控制等方面進行研究，采用空間海量多元數據同一索引算法，快速定位索引實時數據；基于自適應電網資源拓撲結構變化多服務器緩存同步技術，快速同步拓撲數據；基于智能算法，優化海量連續實時數據的查詢技術；基于統一的網絡通信基礎平臺，實現在線橫向、縱向即時數據同步，增強協同工作能力。圖形數據編輯由圖形服務完成，數據庫提交與圖形服務內存庫的更改同步完成，對于圖形服務無法感知的數據編輯，通過后臺同步服務實現數據一致性的保障機制，確保數據存儲高效、同步準確。

2.5應用效果

通過內存數據庫優化技術，制定合理的內存表存儲策略，數據訪問速度提升效果明顯。內存數據庫優化前后性能指標對比見表1。

表1　內存數據庫優化前后性能指標對比

3　結語

分析內存數據庫技術、多級緩存優化、低帶寬占用的緩存部署方式、緩存數據同步實現方式等一系列內存數據庫優化技術及實現方式。通過“山東GIS深化應用”系統的應用實踐，表明內存數據庫優化技術很大程度上解決了電力行業高訪問量、高并發量及復雜數據處理引發的應用瓶頸，極大地提高了系統的穩定性、安全性及經濟性，可以對電力行業海量數據進行有效處理。同時，也為其他電力企業重整信息系統架構、建立一體化信息支撐體系提供了有益借鑒。

［1］GARCIA MH，SALEMK.Mainmemorydatabasesystems：An overview［J］.Knowledge and Data Engineering，IEEE Transactions on，1992，4（6）：509－516.

［2］李華植.VIP——海量數據庫解決方案［M］.北京：電子工業出版社，2011.

Optimization Technology of the Power GIS Platform Memory Database

YANG Yiting1，LV Shuqing2，YAN Kang1，LI Ying1，BAI Xiaolong1
（1.State Grid Shandong Electric Power Research Institute，Jinan 250003，China；2.State Grid Shandong Electric Power Company，Jinan 250001，China）

With the quickening pace of the informatization construction of the state grid corporation，the increasing business application scales and mass data have brought difficulties to the security and stability of GIS.The performance and reliability of GIS became prominent problems in the process of information construction.A new method based on memory database performance optimization is proposed，which formed the overall solution from the host，middleware，databases，storages and application programs.The system can effectively solve response delay，performance decline，database access caused by mass data，and improve the stability，security and economy of GIS.

mass data；main memory database；multi-level cache

TP311.13

B

1007－9904（2015）12－0058－03

2015－10－20

楊沂婷（1980），女，工程師，從事信息化管理咨詢工作；

呂舒清（1983），男，工程師，從事信息化咨詢工作；

顏康（1986），男，工程師，從事信息化管咨詢工作；

李穎（1988），女，工程師，從事信息化咨詢工作；

白曉龍（1986），男，工程師，從事信息化咨詢工作。