基于訪問趨勢的熱點副本創建策略

摘要：在分析動態副本創建策略的基礎上，對集中式的動態創建策略進行改進，將熱點數據副本的創建與數據訪問的歷史記錄相結合。最后通過數據網格模擬器進行模擬實驗，得出并分析了實驗結果。

關鍵詞：數據網格; 副本優化; 熱點副本

中圖分類號：TP393文獻標志碼：A

文章編號：1001-3695(2007)12-0057-03

在現代科學研究和應用領域中，大量的數據是重要的資源，如高能物理和粒子物理、生物醫學研究、航空航天、數字地球、大型武器模擬、大型數據庫和數據倉庫等的應用。其數據量將達到TB至PB的級別。同時，地理上廣泛分布的科研工作者和用戶都希望能訪問和分析這些龐大的數據，而現有的數據管理體系結構、方法和技術已經不能滿足人們對高性能、大容量分布存儲和分布處理的要求。因此，數據網格應運而生，以解決上述應用面臨的問題。

數據網格計算^[1]為各種應用提供了一個高性能、大容量、高速傳輸的并行分布廣域計算平臺。它是對廣域范圍內大規模的數據集進行分布式管理和分析及使用的一個綜合的體系結構，實現網格環境中安全、可靠和有效的數據傳輸以及訪問、復制等操作，并提供到不同存儲系統的統一接口，較好地解決了上述問題， 從而使得數據密集型的高性能計算和大量的共享數據密集型的事務處理及科學研究成為可能。

在數據網格環境下，通過數據的復制使數據更接近用戶，可以更快執行用戶提交的作業，在更短的時間內訪問作業所需的數據文件，以快速提高數據訪問性能。作業通過資源代理（RB）提交給網格。RB將作業調度到不同的計算單元（CE），以提高網格的吞吐量。副本管理器在每個站點管理站點與站點、存儲單元與計算單元接口間的數據流。副本優化器負責副本的選擇、動態生成和刪除。在副本優化服務執行過程中，網絡性能和磁盤I/O也是影響作業調度和副本選擇的重要因素。優化算法應通過檢查計算單元和各個存儲單元之間的可用帶寬和存儲單元的磁盤I/O來從不同的存儲節點獲得最優的副本。Vazhkudai等人^[2，3]表明在網格環境下，磁盤吞吐時間能占用30%的傳輸時間。因此在計算數據傳輸時間時，應考慮網絡帶寬和磁盤吞吐率。這樣的優化策略可以更加接近真實的數據網格系統。

本文在有限的網絡帶寬和磁盤吞吐能力的情況下，根據不斷變化的外部訪問特征和副本訪問歷史記錄來對副本進行優化，從而使得用戶可以就近訪問。整個數據網格系統達到一個負載均衡的狀態。

1相關工作

在用戶提交作業到作業完成這個過程中，副本管理器對作業的生命周期進行三處優化^[4]：

a)資源代理（RB）決定作業在哪個計算單元上運行，即調度的優化。通過計算一個代價函數來實現：

Cost=getAccessCost()+estimatedQueuingTime()。作業總的執行是作業訪問文件時間和作業排隊時間之和^[5]。其中作業訪問數據文件時間包括數據文件讀取時間、網絡帶寬延遲時間和磁盤I/O時間。本文中的作業調度流程如圖1所示。

b） 作業運行中的動態副本選擇。一旦作業在計算單元（CE）上運行，它需要訪問不同的數據文件。由于一個數據文件在各個網格站點上可能存在多個副本，當一個作業需要訪問某個數據文件時，副本優化器（RO）通過調用函數getBestFile()來找到最優的文件副本。

c）動態副本優化，即觸發在第三方站點上復制數據文件。每個站點對所請求的數據文件進行監控和記錄。當特定的數據文件成為熱點數據時，則可以考慮將該文件復制到最有可能被訪問到的第三方站點。本文通過數據文件的前N次訪問歷史記錄來判斷該數據文件是否可成為熱點副本，并通過一定的算法對其進行復制。

本文在使用OptorSim模擬器的基礎上對副本管理器的三處優化進行改進。OptorSim通過模擬（歐洲）數據網格中各個獨立部件之間的交互作用，從而達到評估不同的數據管理策略——副本優化算法性能的目的。它以EDG的結構為基礎，包括了所有必需的部件，但是重點是在數據管理的副本機制上。使用OptorSim模擬器可以用數據復制與作業調度算法相結合的手段來對不同的算法作出評估，從而最大限度地利用網格資源。

2算法優化

復制機制決定動態產生副本的時間以及副本放置的位置。主要有兩種方法，即集中的和分布的動態復制方法。本文根據目前數據網格拓撲結構的特點，在集中式動態復制算法^[6]的基礎上，提出了一種基于訪問歷史記錄的熱點副本產生算法。通過自動產生熱點數據的副本，并把副本移動到其他站點上，以求提高數據網格總體的性能。

4結束語

本文在集中式動態副本創建算法的基礎上，將熱點副本的創建與作業訪問數據文件的歷史記錄相結合，使副本創建更具預見性，并且準確性也有了一定的提高。在此基礎上，通過OptorSim模擬器，將此算法從兩種不同的角度與其他兩種算法相比較，并得出了實驗數據。 但是對于每次復制操作，不僅網絡帶寬資源被消耗，而且由于磁盤I/O和CPU利用會使副本服務器負載加重。復制頻度必須受到控制，以避免網絡和服務器負載過重^[10]。本文下一步的工作將對歷史訪問記錄中的N取值進行進一步的研究，并討論在不同的取值時，算法的優劣，使其做到使整個數據網格系統能夠負載均衡，用戶可以就近訪問所需要的數據文件，為用戶提供一種快速、優質的服務。

參考文獻：

[1]FOSTER I， KESSELMAN C， TUECKE S. The anatomy of the grid: enabling scalable virtual organizations [J].IJSA， 2001:15(3):20-23.

[2]VAZHKUDAI S， SCHOPF J. Using disk throughput data in perditions of endtoend grid transfers[C]//Proc of the 3rd International Workshop on Grid Computing. Baltimore:[s.n.]，2002:2-4.

[3]VAZHKUDAIS， SCHOPF J. Using regression techniques to predict large data transfers[J].The International Journal of High Performance Computing Applications， Special Issue on Grid Computing: Infrastructure and Application，2003，17(3):249-268.

[4]BELL W H， CAMERON D G， RUBEN C S， et al. Evaluation of an economybased file replication strategy for a data grid[C]//Proc of the 1st International Symposium on Cluster Computing and the Grid. Washington DC:IEEE Computer Society，2003:661.

[5]BELL W H，CAMERON D G， CAPOZZA L， et al. Simulation of dynamic grid replication strategies in OptorSim[C]//Proc of the 3rd International Workshop on Grid Computing. London:SpringerVerlag，2002:46-57.

[6]TANG Ming，LEE B S， TANG Xueyan， et al. The impact of data replication on job scheduling performance in the data grid[J].Future Generation Computer Systems，2006， 22 (3):254-268.

[7]HUA K A， CAI Ying， SHEU S. Patching: a multicast technique for true videoondemand services[C]//Proc of ACM SIGMM’ 98. New York: ACM， 1998:41-50.

[8]ZIPF G K. Human behavour and the principle of least effort[M].Cambridge， MA:Addison Wesley， 1994:15-23.

[9]CAMERON D G， CARVAJALSCHIAFFINO R， MILLAR A P， et al. Evaluating scheduling and replica optimization strategies in OptorSim[C]//Proc of the4th International Workshop on Grid Computing. Washington DC:IEEE Computer Society， 2003:52.

[10]TANG Ming， LEE B S， YEO C K， et al. Dynamic replication algorithms for the multitier data grid [J].Future Generation Computer Systems，2005，21(4):775-790.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”