集群環境下網絡空間信息服務高性能內存緩存方法

黃 穎, 郭明強, 謝 忠, 吳 亮

(1.武漢中地數碼科技有限公司,湖北 武漢 430074;2.中國地質大學 信息工程學院,湖北 武漢 430074)

集群環境下網絡空間信息服務高性能內存緩存方法

黃 穎1, 郭明強2, 謝 忠2, 吳 亮2

(1.武漢中地數碼科技有限公司,湖北 武漢 430074;2.中國地質大學 信息工程學院,湖北 武漢 430074)

針對現有集群環境下網絡空間信息服務性能優化策略的特點和弊端進行分析，提出集群環境下網絡空間信息服務高性能內存緩存方法，重點研究網絡空間信息服務高性能內存緩存體系結構、可擴展的高性能內存緩存控制設計、內存緩存工作流程，最終實現集群環境下基于內存緩存的網絡空間信息服務的加速，解決傳統WebGIS模型中存在的I/O瓶頸問題。最后，使用五個常用的網絡空間信息服務類型對文中提出的方法進行實驗，結果證明與傳統的集群環境下網絡空間信息服務相比，文中設計的網絡空間信息服務高性能內存緩存方法能夠有效地提升服務并發處理能力，具有良好的可擴展性。

網絡空間信息服務；集群；緩存；高性能；可擴展

在大數據時代，空間數據的海量特性日益凸顯出來[1]，為了應對海量空間數據在網絡環境下的大規模用戶并發訪問，高性能已成為網絡空間信息服務[2-7]需要解決的首要問題[8]。制約網絡空間信息服務并發處理能力的因素眾多，必須從其體系架構出發，分析網絡空間信息服務體系中各個層次的存儲、傳輸和計算流程[9-10]，找到性能瓶頸所在，針對性地對性能瓶頸進行優化，才能夠提升網絡空間信息服務的并發處理能力。

1 相關研究

為了應對網絡空間信息服務面臨的海量空間數據發布和大規模用戶并發訪問的挑戰，已有較多的學者對網絡空間信息服務的性能優化進行了深入研究，并取得了顯著的研究成果，如漸進式傳輸[11-12]，負載均衡[13-15]和并行計算[16-17]。這三種方法均未解決海量空間數據的大規模用戶并發訪問時的存儲設備的I/O瓶頸問題，此瓶頸是目前嚴重制約網絡空間信息服務并發處理性能的關鍵。因此，本文研究并設計了一種集群環境下網絡空間信息服務高性能內存緩存方法，采用高性能內存緩存技術將空間數據請求內容進行緩存，減少海量空間數據在存儲設備上的I/O次數，以有效地提升網絡空間信息服務的并發處理性能。

2 網絡空間信息服務高性能內存緩存方法

2.1 網絡空間信息服務高性能內存緩存架構

為了解決傳統網絡空間信息服務集群體系結構存在的弊端，解決大規模用戶并發訪問場景下空間數據存儲設備存在的I/O瓶頸問題，本文提出了一種網絡空間信息服務高性能內存緩存架構，如圖1所示。其主要的改進之處：

1)圖1中的Load Balancer(負載均衡器)在調度來自客戶端的并發請求任務時，不再每次都將請求轉發給GIS Server Cluster(GIS服務器集群)中的服務結點進行處理，而是先從Cache Server Cluster(內存緩存集群)中檢索當前請求任務對應的結果緩存，若緩存命中，則直接將緩存的結果返回給客戶端，如果緩存未命中，才從GIS Server Cluster中選擇一個最優的服務結點處理當前請求任務。這樣在大規模用戶并發訪問下，可以減少相同的并發請求任務被重復地發送到GIS Server Cluster中，從而減少GIS服務器對空間數據庫的訪問次數，有效解決空間數據存儲設備I/O瓶頸問題。

2)圖1中架構與傳統網絡空間信息服務集群最大的不同在于增加了Cache Server Cluster，目前服務器硬件配置發展速度快，內存容量已能輕易擴展至128 GB甚至更高，在海量空間數據應用場景下，可以借助多個內存緩存服務器組成的緩存集群，擴充網絡空間信息服務集群的內存緩存容量，緩存容量越大，緩存的命中率就越高，GIS 服務器和空間數據存儲設備的負載就越低，從而最大程度的避免I/O瓶頸對網絡空間信息服務并發處理能力的影響。

圖1 網絡空間信息服務高性能內存緩存架構

2.2 可擴展的高性能內存緩存控制設計

內存緩存技術目前已廣泛應用于各個大型互聯網服務網站中，具有代表性的內存緩存技術有Memcached和Redis，亞馬遜和阿里云均提供了支持這兩種內存緩存的云服務產品，用于支持大規模用戶并發訪問場景下的并發請求結果數據緩存，網絡空間信息服務的每一個網絡請求地址均對應一個請求結果，這種特性非常符合內存緩存技術的特點。因此，可以將Memcached和Redis內存緩存技術引入到網絡空間信息服務中，實現基于內存緩存的網絡空間信息服務的加速。

為了支持不同的內存緩存技術，本文設計的網絡空間信息服務高性能內存緩存架構遵循了模塊可擴展的設計原則，如圖2所示，定義了一個通用的內存緩存操作接口ICacheServer，不同的內存緩存服務只需要實現該接口中定義的函數即可，如MemCacheServer用于支持Memcached內存緩存服務，RedisServer用于支持Redis內存緩存服務。

CacheManager是提供給Load Balancer的內存緩存集群的操作類，其提供了重要的內存緩存的獲取和存儲函數。ThirdPartCacheConfig類是高性能內存緩存的全局配置類，其包含了不同內存緩存服務的配置信息、內存緩存開關、緩存有效期、接口權限控制信息等參數配置。MemCacheConfig和RedisConfig分別是Memcached和Redis內存緩存服務的參數配置類，CacheInterfaceControl是網絡空間信息服務接口的控制類，用于控制各個服務接口的緩存權限和緩存數據的有效期，實現接口粒度的網絡空間信息服務高性能內存緩存控制。

2.3 高性能內存緩存工作流程

當Load Balancer接收到來自客戶端的并發請求后，對每個請求的具體處理流程如下(見圖3)。

1)Load Balancer根據每個請求的類型獲取當前請求對應的緩存項的Key，以瓦片地圖服務為例，可以使用瓦片地圖服務名稱，瓦片的行號、列號和級數來生成緩存項的Key，格式為{tileName}_{level}_{row}_{col}；

圖2 可擴展的內存緩存控制類

圖3 內存緩存工作流程

2)同時根據接口類型獲取接口緩存權限控制類Control；

3)根據Key，Control和緩存數據的類型(T)，調用CacheManager的GetCache方法從內存緩存集群中檢索當前請求的Key對應的結果數據緩存項，若緩存命中，則直接將檢索到的緩存數據返回給客戶端，結束。若緩存未命中，轉(4)。

4)將當前請求任務轉發到GIS Server Cluster中的GIS服務器結點，GIS服務器進行空間數據檢索、提取和處理后，將結果返回至Load Balancer。

5)Load Balancer調用CacheManger的SetCache方法將GIS服務器返回的結果存儲到內存緩存集群中，Key存儲的內容為GIS服務器返回的字節數組byte[]。同時將結果返回至客戶端。

3 實驗設計與結果

3.1 實驗參數

為了驗證本文提出的高性能內存緩存架構的性能，本文使用網絡空間信息服務中常用的且適合進行內存緩存的五大服務接口來進行驗證測試。WMTS GetTile是瓦片地圖服務接口，WMTS GetCapabilities是瓦片地圖服務元數據信息獲取接口，目錄服務接口是獲取網絡空間信息服務平臺發布的地圖服務目錄信息，地形服務是用于獲取三維地球上的地形數據，三維模型服務用于獲取在三維視圖中顯示的三維模型數據。

本文使用位于高速局域網內的服務器構建試驗床，采用全國1：25萬地質圖數據進行實驗，使用500并發訪問用戶量對本文提出的方法進行實驗，并與傳統集群下的網絡空間信息服務進行對比。

3.2 實驗結果分析

在網絡空間信息服務中，Load Balancer每秒能夠成功完成的請求數是衡量集群環境下網絡空間信息服務并發處理性能的關鍵指標之一，每秒能夠成功處理的請求數越多，Load Balancer的并發處理能力越強。

圖4 負載均衡器每秒處理請求數

從圖4中可以分析得出：①傳統的無內存緩存的網絡空間信息服務集群的每秒處理請求數顯著低于本文提出的采用高性能內存緩存的集群架構。以WMTS GetTile服務接口為例，在無內存緩存情況下，Load Balancer的每秒處理請求數僅121次，而在新的架構中可以提升到每秒700次以上，獲得超過5倍的性能提升。②在新的網絡空間信息服務高性能內存緩存架構中，主流的Memcached和Redis內存緩存服務均能獲得穩定的加速性能，大多數常用的網絡空間信息服務接口的并發處理能力均能達到約700次/s，表現出本方法對第三方內存緩存服務的良好的可擴展性，有利于其它類型的內存緩存服務快速穩定的擴展到本文設計的網絡空間信息服務高性能內存緩存架構中。

4 結束語

本文針對現有集群環境下的網絡空間信息服務體系架構的弊端進行研究，重點考慮到網絡空間信息服務在大規模用戶并發訪問場景下的空間數據存儲設備I/O性能瓶頸，設計了新的具有高性能內存緩存集群的網絡空間信息服務集群架構，實現了Memcached和Redis兩種主流的第三方內存緩存服務的擴展，以減少負載均衡器和GIS服務器之間的請求次數，有效地降低GIS服務器和空間數據庫的負載，從而有效地降低空間數據存儲設備的I/O次數。實驗中使用了常用的五種網絡空間信息服務接口進行驗證測試，實驗結果表明，與傳統的網絡空間信息服務體系結構相比，本文提出的支持高性能內存緩存的網絡空間信息服務集群能夠獲得顯著的性能提升，并且在Memcached和Redis兩種主流的內存緩存服務中均表現穩定，證明了本文提出的方法有效性和可擴展性。下一步工作會將亞馬遜和阿里云中的內存緩存服務擴展到本文設計的網絡空間信息服務架構中，以將其運用到云環境的生產與實踐中。

[1] ZHANG L, YANG C, TONG X, et al. Visualization of large spatial data in networking environments[J]. Computers and Geosciences, 2007,33(9):1130-1139.

[2] 劉曉童, 馬文波, 馬雪濤. 基于WebGIS的建設用地監管系統設計與實現[J]. 交通科技與經濟, 2013(6):114-117.

[3] 楊超，潘東峰.基于Flex和ArcGIS Server的WebGIS開發關鍵技術研究[J].測繪與地理信息空間，2016,39(6)：90-92.

[4] 江明明. 基于WebGIS的城市地鐵施工監測信息管理系統分析[J].測繪與地理信息空間，2016,39(9)：86-87.

[5] 楊娟, 陶葉青. 基于WEBGIS的管理維護系統[J]. 交通科技與經濟, 2009(6):110-112.

[6] 寧方志， 季民， 陳許霞. 基于WebGIS的武都精細化扶貧系統的設計與開發[J].測繪與地理信息空間，2016,39(7)：39-41.

[7] 李月華.基于WebGIS的環境監管云平臺設計與建設[J].測繪與地理信息空間，2016,39(1)：121-124.

[8] WANG S, ANSELIN L, BHADURI B, et al. CyberGIS software: a synthetic review and integration roadmap[J]. International Journal of Geographical Information Science, 2013,27(11):2122-2145.

[9] YANG B, PURVES R, WEIBEL R. Efficient transmission of vector data over the Internet[J]. International Journal of Geographical Information Science, 2007,21(2):215-237.

[10] MUSTAFA N H, KRISHNAN S, VARADHAN G, et al. Dynamic simplification and visualization of large maps.[J]. International Journal of Geographical Information Science, 2006,20(3):273-302.

[11] YANG L, ZHANG L, MA J, et al. Efficient Simplification of Large Vector Maps Rendered onto 3D Landscapes[J]. Computer Graphics & Applications IEEE, 2011,31(2):14-23.

[12] ZHANG L, REN Y, GUO Z. Transmission and visualization of large geographical maps[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2011,66(1):73-80.

[13] 陳一驕, 盧錫城, 時向泉, 等. 一種面向會話的自適應負載均衡算法[J]. 軟件學報, 2008,19(7):1828-1836.

[14] 李忠民, 喻占武, 朱莉. 基于空間數據內容的動態負載均衡方法[J]. 武漢大學學報(信息科學版), 2009,34(5):622-625.

[15] 王浩, 喻占武, 李銳, 等. 基于開銷代價的網絡地理信息服務負載均衡算法研究[J]. 測繪學報, 2009,38(3):242-249.

[16] YANG C, WONG D W, YANG R, et al. Performance-improving techniques in web-based GIS[J]. International Journal of Geographical Information Science, 2005,19(3):319-342.

[17] PESQUER L, CORTéS A, PONS X. Parallel ordinary kriging interpolation incorporating automatic variogram fitting[J]. Computers & Geosciences, 2011,37(4):464-473.

ResearchonhighperformancememorycacheofWebGISunderclusterenvironment

HUANG Ying1, GUO Mingqiang2, XIE Zhong2， WU Liang2

(1.Wuhan Zondy Cyber Technology Ltd., Co., Wuhan 430074,China;2.School of Information & Engineering, China University of Geosciences, Wuhan 430074,China)

Aiming at the characteristics and drawbacks of existing performance optimizing strategies under WebGIS cluster environment, this paper proposes a new WebGIS model based on high performance memory cache under cluster environment, which mainly focuses on the high performance memory cache architecture of WebGIS, the scalable high performance memory cache module and the workflow of memory cache, thus realizing the high performance memory cache under WebGIS cluster environment, and solving the I/O bottleneck problem in traditional WebGIS model. Finally, five frequently-used services are used in WebGIS to conduct the simulation experiment. The result shows that, compared with the traditional WebGIS cluster environment, the new model based on high performance memory cache designed in this paper can effectively improve the concurrent processing capability of WebGIS cluster, which has good scalability.

WebGIS; cluster; memory cache; high performance; scalability

2016-11-21

國家博士后科學基金資助項目(2014M552115)；中央高校基本科研業務費專項資金資助項目(CUGL140833) ；國家十二五科技支撐計劃(2011BAH06B04);國家自然科學基金資助項目(41701446)；湖北省自然科學基金資助項目(2017CFB277);國土資源部地質信息技術重點實驗室開放課題(2017-324)

黃 穎 (1981-)，女，高級工程師，博士后.

著錄：黃穎, 郭明強, 謝忠，等.集群環境下網絡空間信息服務高性能內存緩存方法[J].測繪工程，2018，27(1)：47-51.

10.19349/j.cnki.issn1006-7949.2018.01.010

TP393.06

A

1006-7949(2018)01-0047-05

李銘娜]