云計算分布式緩存技術在海量數(shù)據(jù)處理平臺中的應用

段春梅

摘 要：隨著云計算和大數(shù)據(jù)時代的到來，在滿足用戶對系統(tǒng)訪問量、訪問速度、訪問安全的要求的同時，系統(tǒng)必須實時準確的處理迅猛增長的海量數(shù)據(jù)，而傳統(tǒng)的緩存技術無法滿足海量數(shù)據(jù)處理和用戶高并發(fā)訪問的需求。分布式緩存技術是最好的高性能緩存解決方案。本文研究如何利用云計算下分布式緩存技術在海量數(shù)據(jù)處理平臺中解決該問題，分析研究了分布式緩存的關鍵技術、分布式緩存的一致性和分布式內(nèi)存數(shù)據(jù)管理。在此基礎上，分析并設計了分布式緩存系統(tǒng)的部署和整體架構。并將該分布式緩存系統(tǒng)的設計模式應用在某團購網(wǎng)上，行了POC測試。測試結(jié)果證明分布式緩存技術可以緩解服務器的壓力，解決海量數(shù)據(jù)和超高并發(fā)數(shù)據(jù)訪問所帶來的問題，提升了系統(tǒng)的性能、訪問速度、可靠性以及降低響應延遲。

關鍵詞：分布式緩存技術；海量數(shù)據(jù)；分布式內(nèi)存數(shù)據(jù)管理；驗證性測試

中圖分類號：TP393.4 文獻標識號：A 文章編號：2095-2163（2016）01-

Abstract：With the advent of the era of Cloud Computing and big data， massive data increased rapidly must be real-time accurately processed by the system， and requirements of visits to the system、access speed and access security to users are meeted at the same time， but Traditional caching technology can't meet the needs of massive data processing and high concurrent access to the users. Distributed caching t techniques is one of the best solution of high-performance cache.How to solve the problems in the mass data processing platform using distributed cache techniques of cloud computing is researched，and the key technology of distributed cache， consistency of distributed cache and distributed memory data management are also explored. Based on the aboved， deployment of distributed cache system and the overall architecture are analyzed and designed.And the design mode of the distributed cache system is used in the group buying site， and be tested by POC. Test results show that distributed cache techniques can alleviate the pressure of the server， solve the problems of massive data and high concurrent data access， and improve performance and access speed adn reliability of the system， simultaneously reduce the response delay.

Key words： distributed cache techniques；massive data；distributed memory data management；POC test

0 引言

隨著云計算的發(fā)展，越來越多的企業(yè)都會搭建自己的云平臺，同時越來越多的應用程序都是以云平臺為支撐，為用戶提供云服務。隨著互聯(lián)網(wǎng)上應用系統(tǒng)的訪問用戶增加、某些電子商務網(wǎng)站特定時間的促銷活動而引發(fā)的特大規(guī)模的數(shù)據(jù)等等，使得在云服務普及推廣的同時，數(shù)據(jù)訪問量、訪問速度、訪問安全的需求都在急劇增加，而云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術為海量數(shù)據(jù)進行分析處理提供了技術支持和基本保證。同時用戶對云服務的數(shù)據(jù)提交及服務響應的時限要求也日漸提升，因而針對海量數(shù)據(jù)的數(shù)據(jù)庫高并發(fā)訪問的現(xiàn)實解決處理則需要立足于有關分布式緩存技術的先導性研究和關聯(lián)式內(nèi)容整合基礎之上的。本文即圍繞這一課題內(nèi)容展開如下設計論述。

1 分布式緩存技術

分布式緩存技術可以解決數(shù)據(jù)庫服務器和應用服務器之間的瓶頸問題，提高對數(shù)據(jù)的訪問速度。分布式緩存的思想是分而治之，將數(shù)據(jù)分別布設到多個緩沖服務器上，使用緩存陣列路由協(xié)議，如此即使得多臺緩存服務器形同一臺，對外統(tǒng)一數(shù)據(jù)的訪問接口，從而產(chǎn)生一種高效率無接縫式的緩存。

分布式緩存具有高性能、動態(tài)擴展性、易用性、高可用性、分布式代碼執(zhí)行等特點。而且為了解決大并發(fā)下的性能問題，同時避免過高的響應延遲，分布式緩存拋棄原始的關系型數(shù)據(jù)庫，采用key/value 形式存儲數(shù)據(jù)，同時配以高速內(nèi)存作為存儲介質(zhì)，這樣可以保證系統(tǒng)的高性能性、動態(tài)可擴展性。不僅如此，分布式緩存又采用NRW多副本機制，避免緩存的單點故障問題，從而在提高數(shù)據(jù)訪問速度的基礎上，進一步保證數(shù)據(jù)的可靠性、最終數(shù)據(jù)一致性。分布式緩存系統(tǒng)還應實現(xiàn)數(shù)據(jù)冗余機制，藉此最終保證系統(tǒng)的安全性。

分布式key/value內(nèi)存數(shù)據(jù)庫大多通過在客戶端充分發(fā)揮分布式邏輯功能來有效實現(xiàn)多種數(shù)據(jù)類型的分布式緩存，使用內(nèi)存數(shù)據(jù)庫可以顯著提高數(shù)據(jù)訪問速度及系統(tǒng)性能。常見的分布式key/value數(shù)據(jù)庫內(nèi)存緩存系統(tǒng)有Oracle Coherence、dbcached、IBM WebSphere eXtreme Scale、Redis、Memcached、Vmware Gemfire、MemCache[1]等。

1.1 數(shù)據(jù)分區(qū)

數(shù)據(jù)分區(qū)中經(jīng)常使用的就是一致性哈希算法。一致性哈希算法（Consistent Hashing），最早由麻省理工學院于1997年提出，主要用于解決因特網(wǎng)中熱點問題。時下，一致性哈希算法更多見于數(shù)據(jù)分布式技術中。分布式緩存中的一致性哈希算法的主要原理是：計算出緩存服務器各個節(jié)點的哈希值，將其包含的所有緩存服務器節(jié)點抽象為一個環(huán)即哈希環(huán)，再將根據(jù)哈希函數(shù)計算出的緩存服務器哈希值分配到哈希環(huán)中，該環(huán)的數(shù)值域為0～232-1。然后對緩存的數(shù)據(jù)對象進行哈希計算，并分配到哈希環(huán)上。最后按順時針方向?qū)⒕彺鏀?shù)據(jù)對象映射到離其最近的緩存服務器節(jié)點上去。若增加或減少緩存服務器，則只需要局部改變該緩存服務器逆時針方向的緩存數(shù)據(jù)位置即可。

在緩存數(shù)據(jù)較少的情況下，數(shù)據(jù)對象可能無法均勻分布，而且緩存服務器集群里的服務器的性能和容量也可能未獲統(tǒng)一，此時為了保證絕對的平衡，一致性哈希算法就相應引入了“虛擬節(jié)點”，一個物理的緩存服務器節(jié)點將根據(jù)自身性能對應了若干個“虛擬節(jié)點”，從而緩解物理服務節(jié)點少時數(shù)據(jù)傾斜等負載不均衡問題的發(fā)生，從而實現(xiàn)了數(shù)據(jù)的均勻分布[2-3]。

1.2 分布式緩存的一致性

分布式緩存可以提高數(shù)據(jù)讀取速度，降低數(shù)據(jù)讀取延遲時間、減輕服務器負載壓力，因而在整體上優(yōu)化了系統(tǒng)可靠性；雖然能夠獲得良好的讀取性能，但在更新數(shù)據(jù)時卻會存在重大的數(shù)據(jù)不一致的風險，由此導致數(shù)據(jù)臟讀等現(xiàn)象出現(xiàn)。為了保證客戶端總能讀到最新的數(shù)據(jù)，分布式緩存可以通過多副本機制（NRW）和租約機制（Leases）來支持實現(xiàn)分布式緩存數(shù)據(jù)的一致性；而在達成此一目的的過程中，分布式緩存系統(tǒng)卻要因所采取的相應措施而支付一定的開銷，這就可能降低系統(tǒng)的性能，所以即需要在系統(tǒng)的可靠性、高性能和數(shù)據(jù)一致性問題上取得平衡。綜上可知，為解決數(shù)據(jù)一致性問題，就需要考慮數(shù)據(jù)讀取/更新流程、數(shù)據(jù)同步、副本問題等。分布式系統(tǒng)中對于數(shù)據(jù)的存儲將支持采用多副本機制，即采用多份數(shù)據(jù)副本存放在不同節(jié)點上， 每個物理緩存服務器上存儲自身的緩存數(shù)據(jù)以及其他節(jié)點的熱備數(shù)據(jù)，讀取或者更新數(shù)據(jù)時將需要對多個副本進行同時操作；分布式緩存系統(tǒng)也提供了輪詢操作，可以每隔一定時間輪詢數(shù)據(jù)庫，并在更新數(shù)據(jù)時進行數(shù)據(jù)同步，讀取數(shù)據(jù)更新后的全新副本。

Quorum的NRW機制當中，N代表數(shù)據(jù)的所有副本數(shù)，R代表示完成一次成功的讀操作所需要讀取的最小副本數(shù)，W代表完成一次寫操作所需要寫入的最小副本數(shù)。在NRW多副本機制中，只要滿足R + W>N條件，就保證了數(shù)據(jù)不同副本中的一致性，因此R和W的設置是否合理則將影響系統(tǒng)的性能和數(shù)據(jù)的一致性，而Quorum機制卻具備了更新數(shù)據(jù)時減少需要即刻完成的副本數(shù)，讀取數(shù)據(jù)增加需要讀取的副本數(shù)，即讀寫操作的平衡擴展功能，從而保證了系統(tǒng)性能的提高和數(shù)據(jù)的一致性[4]。

1.3 分布式內(nèi)存數(shù)據(jù)管理

Oracle Coherence是Oracle提供的一款適用于應用層的集群數(shù)據(jù)管理和分布式內(nèi)存數(shù)據(jù)管理的現(xiàn)實理想解決方案。Coherence可以提供完善的讀取性能、極低的延遲時間、高吞吐量、數(shù)據(jù)可靠性、100%的事務完整性、容錯性、良好的動態(tài)可擴展性、持續(xù)的可用性、并行處理、支持鎖和事務處理、自動代理服務和動態(tài)負載均和支持超級大容量的緩存等強大的功能。

對于由Coherence組成的緩存服務器集群，其集群的節(jié)點的地位不分主次，可以自動執(zhí)行集群節(jié)點的檢測和刪除，節(jié)點之間采用P2P協(xié)議進行數(shù)據(jù)通信。Coherence能夠?qū)崿F(xiàn)集群管理，并提供各種緩存服務。數(shù)據(jù)存儲在Coherence緩存當中，集群當中的每個節(jié)點都會備份全部數(shù)據(jù)，所以Coherence集群呈現(xiàn)有出眾的可靠性，只要有一個節(jié)點能正常運行，就能保證系統(tǒng)不致癱瘓，但其缺點卻是更新速度相對而言較差。

Coherence設有兩個非常重要的配置文件，分別是：緩存配置文件和運行配置文件。其中，緩存配置文件，用于配置緩存的類型及模式、緩存策略、服務的分配等信息。運行配置文件則用于緩存集群配置文件路徑、日志配置文件路徑、緩存數(shù)據(jù)配置文件路徑、并進一步具體設定集群配置文件及集群的通信、服務機構組成等信息[5-[6]。

2 分布式緩存模式設計

為了滿足網(wǎng)站高并發(fā)訪問，搭建一個由多臺分布式緩存服務器組成的分布式緩存服務器集群，該集群結(jié)構采用無主架構，服務器節(jié)點地位不分主次，數(shù)據(jù)均勻分布在集群各服務器節(jié)點上，節(jié)點數(shù)越多，其數(shù)據(jù)處理能力也越強。分布式緩存服務器提供支持該緩存服務器通信協(xié)議的客戶端，通過客戶端可以與分布式緩存服務器進行通信以及相關操作。其現(xiàn)實通用的分布式緩存系統(tǒng)的部署設計則如圖1所示[5]。

由圖1可見，該分布式緩存部署設計的優(yōu)勢特點可做如下描述：

（1）將程序應用與緩存分開部署，緩存系統(tǒng)部署在緩存服務器集群上，可通過增加緩存服務器節(jié)點自動在線擴展集群規(guī)模，具有良好的可伸縮性。

（2）一般分布式緩存系統(tǒng)支撐多種語言客戶端，在應用服務器上可以開發(fā)出豐富多樣的應用程序客戶端，并通過一致性哈希算法等路由算法將數(shù)據(jù)均勻分散到不同的緩存服務器節(jié)點上，而且自動在其它節(jié)點生成備份，或者選擇不同的緩存服務器遠程實現(xiàn)訪問該緩存服務器上的數(shù)據(jù)。

（3）在緩存服務器集群中，若某緩存服務器節(jié)點故障則會自動啟用其它節(jié)點的備份數(shù)據(jù)，保障服務器集群系統(tǒng)能正常運行。同樣，可以根據(jù)需要動態(tài)增加或減少緩存服務器節(jié)點，提高資源利用率。

（4）在分布式緩存系統(tǒng)中，盡量只讀緩存數(shù)據(jù)，因為緩存不適合大量寫和更新操作。緩存系統(tǒng)在設計時盡量做到讀寫分離。

綜合考慮分布式緩存的功能以及分布式內(nèi)存數(shù)據(jù)的模型原理體系結(jié)構，通過zookeeper分布式服務協(xié)調(diào)機制獲得了具體有效的整合，從而實現(xiàn)一個分布式緩存架構。分布式緩存整體架構圖如圖2所示[7]。

3 分布式緩存數(shù)據(jù)處理系統(tǒng)的測試

分布式緩存技術已然廣泛地應用在海量數(shù)據(jù)處理平臺中，并且尤其著重支持高并發(fā)、高訪問量、低延遲的讀多更新少的數(shù)據(jù)處理系統(tǒng)。本文針對分布式緩存技術在海量數(shù)據(jù)處理平臺中的應用測試則是以某團購網(wǎng)的查詢功能作為實例背景而進行系統(tǒng)展開，并獲取研究結(jié)果和結(jié)論的。

本次測試主要針對團購商品的模糊查詢、規(guī)則引擎應用、訂單查詢等典型的使用分布式緩存的應用場景進行分布式緩存POC測試。測試的內(nèi)容包括功能測試、性能測試和可靠性測試。

針對團購網(wǎng)實際使用場景，構造測試案例對Coherence進行功能、性能和可靠性測試。首先是測試環(huán)境的搭建，其中包括在機器的ip地址上建立服務器集群主控環(huán)境。本次測試采用一臺http服務器，兩臺分布式緩存服務器，而http服務器端采用Java客戶端進行測試，緩存服務器采用Oracle Coherence[8]。

（1）針對團購網(wǎng)的商品模糊查詢?yōu)槔M行POC測試，其測試的記錄數(shù)為7 200 000，Cache實例數(shù)為40 * 2，每個實例Java heap size為2gb。查詢的輸入為：并發(fā)數(shù)（用戶個數(shù)*每個用戶的讀取次數(shù)），輸出為平均每次讀取的時間，實際的測試結(jié)果如表1所示。其中CPU的最大使用率可達41%，而其平均使用率則為35%。

（2）針對分布式緩存系統(tǒng)環(huán)境進行可靠性測試，包括各緩存節(jié)點的數(shù)據(jù)恢復及數(shù)據(jù)完整性測試。首先進行測試的是針對無任何操作前提下，刪除或者增加一個緩存實例，數(shù)據(jù)恢復所需要的時間，然后運行商品模糊查詢測試時，數(shù)據(jù)恢復所需要的時間。測試結(jié)果如表2所示。

可靠性的測試還包括緩存節(jié)點的完整性測試，可以通過并行刪除多個緩存節(jié)點后，驗證數(shù)據(jù)的完整性。通過POC測試可知：該分布式緩存系統(tǒng)能滿足應用要求以及符合系統(tǒng)性能要求，采用的分布式內(nèi)存數(shù)據(jù)管理具備高可靠性和高擴展性，包含強大的容錯特性和支持服務器自我修復的功能。

4 結(jié)束語

隨著云計算的發(fā)展，通過物聯(lián)網(wǎng)和互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)呈幾何級數(shù)增長，同時網(wǎng)上用戶也在不斷大幅度增加，隨之而來的海量數(shù)據(jù)和用戶高并發(fā)訪問的問題對傳統(tǒng)的緩存提出了挑戰(zhàn)。針對這一狀況，本文研究如何利用云計算下分布式緩存技術在海量數(shù)據(jù)處理平臺中解決該問題，從而保證系統(tǒng)的高性能，高訪問速度，低延遲、高可靠性。首先分析研究了分布式緩存的關鍵技術、緩存替換策略、分布式緩存的一致性和分布式內(nèi)存數(shù)據(jù)管理。然后提出并論述了分布式緩存系統(tǒng)的部署和整體架構設計。最后將該分布式緩存系統(tǒng)的設計模式應用在某團購網(wǎng)上，并進行了POC測試，證明其可行性。

參考文獻：

[1]崔解賓. 分布式內(nèi)存緩存技術在數(shù)據(jù)處理平臺中的研究與應用[D].北京：北京郵電大學，2015.

[2]黃菊. 分布式緩存技術及其在車輛監(jiān)控系統(tǒng)中的應用[D].北京：北京郵電大學，2015.

[3]張曉慧. 試析云計算分布式緩存技術在物聯(lián)網(wǎng)中的實施要點[J]. 計算機光盤軟件與應用，2014（15）：50-51.

[4]高洪，董振江. 云計算分布式緩存技術及其在物聯(lián)網(wǎng)中的應用[J]. 中興通訊技術，2012，17（4）：37-42.

[5]秦秀磊，張文博，魏峻，等. 云計算環(huán)境下分布式緩存技術的現(xiàn)狀與挑戰(zhàn)[J]. 軟件學報，2013，24（1）：50-66.

[6]梁德鋒.Oracle Coherence入門[Z]. 北京：百度文庫，2010.

[7]李玉玲， 張東旭， . 虛擬現(xiàn)實環(huán)境下的分布式服務器架構策略研究[J/OL]. 計算機工程與應用， http：//www.cnki.net/kcms/detail/11.2127.TP.20150313.1547.009.html

[8]顧榮慶，楊開杰，徐汀榮. 分布式數(shù)據(jù)緩存技術研究[J]. 計算機應用與軟件，2011，28（6）：202-204.