大數據時代數據分級存儲優化方向研究

徐晟

摘 要：大數據時代的到來，使我國在現代化建設過程中對信息化技術的應用不斷加深，這也使數據量增長速度不斷加快，隨之而來的數據存儲問題也變得越來越突出。如何對海量數據進行有效存儲，大幅提高數據訪問率，保障數據安全，已經成為亟待解決的重要問題。而數據分級存儲技術的出現，為這一問題的解決提供了可靠的技術支持。鑒于此，本文首先分析大數據時代數據分級存儲及其基本要求，然后對數據分級存儲的優化方向進行深入研究，以期為我國數據分級存儲技術的優化與改進指明方向。

關鍵詞：大數據;數據分級存儲;優化

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1003-5168（2019）14-0025-03

Research on the Optimal Direction of Data Hierarchical

Storage in the Age of Big Data

XU Sheng

（Geomatics Center of Guangxi，Nanning Guangxi 530023）

Absrtact： The arrival of the era of Big Data has deepened the application of information technology in the process of modernization construction in China， which has also accelerated the growth of data volume， and the consequent problem of data storage has become more and more prominent. How to effectively store massive data， greatly improve data access rate and ensure data security has become an important problem to be solved urgently. The emergence of data hierarchical storage technology provides reliable technical support for solving this problem. In view of this， this paper first analysed the data hierarchical storage and its basic requirements in the era of big data， and then made a thorough study on the optimization direction of data hierarchical storage， with a view to pointing out the direction for the optimization and improvement of data hierarchical storage technology in China.

Keywords： Big Data;hierarchical data storage;optimization direction

統計表明，數據存儲時間超過一個月被再次利用的概率不超過5%，硬盤中存儲的數據超過80%是不被經常訪問的。這些數據雖然利用率不高，但卻占用了大量的磁盤空間。因此，對這些數據進行處理，以實現對存儲空間的合理利用，最大限度地降低存儲成本，已成為信息管理部門亟待解決的重要問題。而通過分級存儲，可有效解決該問題，不僅能節約存儲成本，而且能實現對數據的最大化利用，并使數據存儲變得更加高效，保障數據存儲安全。

1 數據分級存儲概述

所謂數據分級存儲，是根據數據自身價值的高低，選擇與數據價值相匹配的存儲設備來進行數據存儲，數據的利用價值越高，則存儲設備的級別及性能就越高，其存儲成本也就越大，反之則越小[1]。數據分級存儲需要按照用戶所設定的策略來執行，而數據利用價值的高低可依據其數據種類、時限、利用頻率及重要程度來判斷，可對不同價值的數據有選擇地進行遷移，使其能在不同級別的存儲介質中進行拷貝。在數據被拷貝完畢后，會創建一個和原文件名相同的標志文件，不過其所占用的磁盤空間要比原文件小很多。用戶在訪問該標志文件時，系統會從對應的分級存儲介質中恢復原始文件，然后對標志文件進行覆蓋。數據分級存儲的應用優勢主要表現在以下四方面。第一，數據分級存儲能有效降低存儲成本，不經常訪問的數據駐留在較低成本的存儲器中，以確保磁盤驅動器的性能得到最大限度的發揮[2]。第二，分級存儲策略使存儲設備的性能得到最大限度的發揮，能確保性價比不同的存儲設備充分發揮其作用。第三，分級存儲使數據的可用性得到改善，使訪問頻率較低的數據自動遷移至輔助存儲器中，從而避免對這些數據的反復存儲，不僅縮短了存儲時間，而且提高了數據可用性。第四，分級存儲能使數據在不同的存儲器中移動，且此過程不需要改變應用程序，數據遷移和應用更為透明化。

2 大數據時代數據分級存儲的基本要求

在大數據時代，進行數據分級存儲要滿足以下基本要求。其一，數據安全。在對數據進行分級存儲時，必須要確保數據的自身安全，可通過在線、離線和近線等多層次備份方式，對數據進行周期性存儲。這樣即使數據在分級存儲過程中被損壞，也能利用備份數據來進行恢復，從而保證用戶能正常訪問和使用數據。數據分級存儲需要建立相應的備份策略，明確操作流程，以確保備份數據安全。其二，數據具有可用性。在對數據進行分級存儲時，必須要確保訪問這些數據的速度不會受到影響，尤其是在線數據，需要確保其獲取的實時性。同時，在分級存儲時，還要充分考慮存儲設備的災備性能，以確保存儲的數據能夠完整、真實，并可進行長期使用。其三，容量可擴展性。在大數據時代，數據量呈現出幾何式增長的趨勢，數據規模急劇擴大。在管理數據的過程中，相關部門必須要充分考慮數據的增長速度。而這就需要在分級存儲過程中，對存儲設備自身的容量可擴展性進行分析，確保存儲設備能在后續存儲數據時具有足夠的容量。其四，設備兼容性。在對數據進行分級存儲時，主要處理方式包括兩種：一種是數據遷移;另一種是數據回遷。也就是說，工作人員要依據數據的主要類型、使用頻率、存儲時間及其重要程度來對其進行級別劃分，使其能在不同級別的存儲設備中得以順利遷移。因不同存儲設備在結構上存在差異，所以，要保證各級存儲設備間的兼容性，而這需要確保數據的存儲格式能得到各級存儲設備的支持。其五，管理高效性。在對數據進行分級存儲時，需要堅持分布式存儲的原則，對數據進行集中式管理，而這需要對存儲設備及空間權限等進行完備的定義，以實現對數據存儲管理流程的有效優化，提高數據在分級存儲中的管理效率。其六，經濟效益性。對于一些訪問頻率較低的數據，可將其存儲于級別較低的存儲設備中，以節約存儲成本;而對于一些訪問頻率較高的數據，則可存儲于級別較高的存儲設備中，這些存儲設備雖然存儲成本較高，但其性能卻較強[3]。在分級存儲過程中，要結合應用多種不同的存儲方式和介質，并充分發揮各存儲方式的優勢，進而在節約存儲成本的基礎上，實現數據利用最大化的目標，保障數據安全。

3 大數據時代數據分級存儲的優化方向

在大數據時代，數據分級存儲技術的應用優勢顯而易見：能顯著提高數據的利用效率，降低數據存儲成本，保障數據存儲安全。但在數據分級存儲過程中，仍存在一些問題，需要對其進行優化。具體來說，數據分級存儲的優化方向主要體現在三方面，分別是數據分類能力優化、數據存儲能力優化以及數據遷移能力優化[4]。

3.1 數據分類能力優化

通過對數據進行分析，可對數據所具有的訪問屬性進行定義，結合用戶邏輯業務主題的不同，根據數據的利用價值來實現其類別劃分，可以為數據遷移打下良好的基礎。現階段，我國尚未對數據分類的標準進行統一，但卻可以結合數據的用途及應用環境，將其劃分為軟件系統運營數據、硬件系統運行數據等。除此之外，還可以將數據原始類型作為分類依據，將其劃分成結構化、半結構化以及非結構化數據;還可依據人們對數據的訪問頻率，將其劃分為非熱點數據與熱點數據。總而言之，數據分類的方法較多，通過數據分類，可使數據的有效性及精準度得到顯著提高。現階段，我國在對數據進行分類時，主要采用的策略有專家系統分類、人工經驗分類、知識分類、靜態分類和動態分類等。這些分類策略的出現，都實現了對數據分類能力的優化，大幅度降低了人們管理數據時的難度。

3.2 數據存儲能力優化

在數據分級存儲過程中，其存儲問題已經引起人們的關注。隨著人們對數據分級存儲的需求變得更加多樣化，數據存儲問題也變得愈發復雜化。數據可以放置在不同的存儲位置，但不同的存儲位置又會對分級存儲系統的性能帶來不同程度的影響。此外，數據存儲方式也較多，如文件分割存儲、隨機存儲和順序存儲等。如何選擇正確的存儲方式才能使分級存儲系統的性能得以最大化發揮，也是需要重點考慮的問題。為了解決這些問題，就必須要弄清具體的存儲介質及存儲方式，只有合理選擇存儲介質和存儲方式，才能最大限度地優化系統的數據存儲能力。為此，可根據塊級別來利用元數據屬性，根據文件塊的大小來確定存儲方式，這樣既能提高系統對數據的訪問效率，而且能節約數據存儲成本。

3.3 數據遷移能力優化

在數據分級存儲中，數據的服務質量及訪問頻率是動態變化的。因此，在對數據進行分類存儲時，也應以動態化的方式來匹配相應的存儲設備，即數據可以在同一級別或不同級別的存儲設備中進行遷移。可以說，數據遷移能力是數據分級存儲的核心能力，主要體現在同級遷移與異級遷移兩個方面。其中，同級遷移是當存儲系統的硬件配置改變時，為了對各個存儲設備的負載進行均衡而實施的;而異級遷移則是為了對存儲系統進行優化而實施的。異級遷移的出現更為頻繁，既可以從高級的存儲設備向低級的存儲設備進行遷移，也可進行反方向遷移。遷移方法主要包括在線遷移與離線遷移兩種。根據業務的復雜程度，復雜性較高的遷移適用于在線遷移，而復雜性較低的遷移則適用于離線遷移。但無論是哪種遷移方法，只要遷移策略正確，都能提高數據存儲系統的綜合性能，降低數據存儲成本。

4 結語

大數據時代的到來，使人們對數據的依賴性不斷增強，數據在現代社會中的重要程度也不斷提高。與此同時，人們對數據的存儲需求也變得越來越強烈。由此，數據的安全存儲及利用問題也受到越來越多人的關注。在此背景下，數據分級存儲技術應運而生，有效解決了數據存儲難題，使數據能以最小的存儲成本實現最大化利用。隨著數據分級存儲技術的不斷革新，其必將向著更加智能化、虛擬化的方向發展，從而使數據在分級存儲過程中具備更加強大的分類、存儲與遷移能力。

參考文獻：

[1]楊文暉，袁進俊，苗放.面向海量空間數據的分級存儲模型研究[J].物探化探計算技術，2015（6）：783-789.

[2]郭剛，于炯，魯亮，等.內存云分級存儲架構下的數據遷移模型[J].計算機應用，2015（12）：3392-3397.

[3]蔡雨蒙，冷鍇，單紅偉，等.大型醫院影像分級存儲架構下歸檔的策略及應用[J].中國數字醫學，2017（1）：48-51.

[4]張瑞杰，張文生，李戰懷.基于文件隊列的分級存儲系統FQ-HSM的設計與實現[J].計算機與現代化，2017（2）：67-72，97.