針對分布式數據緩存的設計和優化

梁振龍 池維榆 徐飛

摘要：從云計算與分布式緩存技術的結合入手， 對現有分布式數據緩存技術進行了研究 ，為此我們打算改進一個分布式數據緩存框架，基于原框架已有的服務組件來進行設計，集成各個服務組件的自身優勢，保證整個框架的可擴展性和可用性，實現數據的冗余備份、故障轉移和負載均衡等功能特性，使用已有更加先進的技術，Redis、Kafka、MySQL與NoSQL混合模型等，提高原有框架的性能。

關鍵詞：云計算;分布式數據緩存;緩存優化

1.引言

隨著大數據時代的來臨，分布式應用系統成為了發展的主流。作為云平臺提升應用性能的一種重要手段，分布式數據緩存已經成為當今分布式應用開發中不可或缺的一個環節，越來越受到企業的廣泛關注和研究。

2.系統流程

該框架的目標是針對大規模、高并發的應用需求，保證海量數據的處理效率和快速響應。本設計選用Redis緩存技術與混合數據庫結合，Redis服務器作為數據庫的前端，存放用戶經常訪問的熱點資源，用戶請求的數據如果存在則直接從緩存中取出返回給用戶，若不存在則查詢數據庫，從數據庫取出數據返回給用戶的同時，存到Redis服務器。此模型中，Zookeeper主要負責監控Redis節點集群，將集群狀態變化實時通知給緩存管理器，同時利用其分布式鎖的機制實現了緩存節點故障切換的功能;緩存管理器實現了Redis客戶端、均衡負載和動態調整數據到Redis節點的映射（利用Zookeeper的監控功能）等功能，它是一個統籌全局、任務調度的角色，架構中的消息中間件（Kafka） 的主要功能是充當數據的傳輸通道，它能以一種松散的方式就像粘合劑一樣把各組件裝配起來，構成一個整體的模型。

Redis以組為單位部署，每個組只有單個Redis服務器提供服務，其他的都作為備份服務器，當主服務器（提供服務的Redis）故障后，會從備份服務器中選舉出新的主服務器（失敗轉移功能），各個組之間不進行通信，通過緩存管理器組件中的分布式算法即一致性hash算法來組成一個虛擬的集群，該集群對調用者來說是透明的和屏蔽的。本地緩存模塊和緩存管理器都是部署在應用服務器中，數據庫層的“分布式事務支持”是擴展模塊，只有當數據持久化到數據庫且需要分布式事務支持時才會啟用，它是一個復雜和獨立的功能模塊。Epoll模塊同樣是-個擴展模塊，它的作用是通過在Linux環境下提高服務器的I/O能力，間接地提升整個緩存系統的性能。本地緩存模塊可以看作是系統的一個小型的一級緩存，用于加快應用的響應速度。當整個框架如圖正確部署后，每個Redis組下的服務器都會在zookeeper上創建臨時節點，如/${root}/${me mgroup-i}/${ip}結構形式，${root}表示zookeeper上設置的根節點名稱，${memgroup-i}表示Redis的組節點名稱，i表示相應的組編號，如memgroup-1就表示第一組Redis服務器，${ip}表示某個組下的Redis服務器的實際IP地址，當一個Redis組下的Redis服務器將IP注冊到zookeeper上后，就會試著去創建如/${root}/${memgroup-i}/${ masterNode }結構的臨時節點，且將該節點的value 置為其IP， ${masterNode }是一個固定的值，表示本組的主服務器，一個組下只會有一個Redis能成功創建該節點，創建失敗的Redis自動成為備份服務器并監聽該節點，當主Redis服務器故障后，備份服務器都會獲得通知，然后重新去競爭創建該節點，從而自動地選舉出新主服務器。緩存管理器會監聽所有的Redis組的主服務器節點，如/${root}/${me mgroup-i}/${masterNode}，它根據該節點的value獲取到所有提供服務的Redis地址并調用基于虛擬節點的一致性hash算法完成分布式映射，當有主Redis地址發生變化時，緩存管理器會得到通知，然后取得變更后的IP地址，將映射到變更前的IP地址的虛擬節點重新映射到變更后的IP地址，從而實現了自動動態地Redis節點映射。消息中間件啟動后會按照Redis的分組創建消息通道，通道標識名稱如下結構形式：/${root}/S{memgroup-i}，每個分組下的Memcached都會訂閱相應組的消息通道，當有緩存數據更新時，只需將更新數據發送到對應的消息通道后，訂閱了該消息.通道的Redis服務器都會收到需要更新的數據各自去完成緩存數據的更新。

3.結語

在當今的互聯網應用中，系統的復雜程度越來越高，海量級的數據處理，已經成為了提升系統性能的關鍵一環，云計算的引入，有力地推動了IT領域的深刻變革，同時也給分布式緩存技術的發展帶來了難得的機遇。本文基于已有分布式緩存框架，使用Redis、Kafka、MySQL與NoSQL混合模型等技術進行優化。相對于之前的系統，采用優化后的技術后，系統性能有著很大的提升。

參考文獻：

[1] 高國強.對等網絡分布式緩存機制研究：[華中科技大學博士學位論文].武漢：華中科技大學，2011，4-7

[2]屠要峰.云計算分布式緩存及其應用實踐.通訊世界，2012，（10）：69-71

[3]王潤華，任化敏，周艷芳等.分布式系統開發利器--ZooKeeper研究.中國電子商情：通信市場，2012，（1）：64-67

[4]胡俊.構建分布式系統的關鍵技術研究與實現：[南京郵電大學碩士學位論文].南京：南京郵電大學，2012，5-6

[5]李汝光，趙俊.基于ZooKeeper的分布式緩存的設計與實現.綿陽師范學院學報，2011，30（11）：116-119

[6]高寧.IBM消息中間件WebSphere MQ的應用，電腦知識，2010，06（31）：8877-8879