基于數據半衰期的數據倉庫分級存儲研究

曾廣移 盧勇 李德華 李俊超

摘 要：在大數據時代，數據高速增長，對數據倉庫管理方法和技術提出了全新挑戰，為實現倉儲資源優化配置，提高資源使用效率，首次把數據半衰期運用于數據倉庫分級存儲。傳統固定閾值轉存策略存在存儲資源配置不合理的問題，利用半衰期分級存儲策略，對每個數據對象進行計算分析后轉存，采用MPP數據倉庫和Hadoop構建混合數據倉庫存儲架構，解決了大數據背景下的數據存儲與分析，實現了數據倉庫管理方法和數據存儲架構的創新。實際驗證發現，數據半衰期轉存策略優于固定閾值轉存策略，證明數據半衰期在數據倉庫的管理中有顯著應用價值。

關鍵詞：數據半衰期;分級存儲;Hadoop;數據倉庫

DOI：10. 11907/rjdk. 181572

中圖分類號：TP319文獻標識碼：A文章編號：1672-7800（2019）002-0123-05

Abstract：In the era of big data， the rapid growth of data has brought new challenges to data warehouse management methods and technologies. This paper applies data half-life to hierarchical storage of data warehouses for the first time. The purpose is to optimize the configuration of storage resources and improve the efficiency of resource use. The traditional fixed-threshold save strategy has the shortcoming of unreasonable allocation of storage resources. A half-life storage strategy is used to calculate， analyze and transfer each data object. In terms of technology， MPP data warehouse and Hadoop are used to build hybrid data warehouse storage. The method solves the problem of data storage and facilitates analysis under the background of big data， and realizes the data warehouse management and data storage architecture innovation. The method of verifying the half-life of data by empirical method is better than that of the fixed threshold， which proves that the data half-life has significant application value in the data warehouse management.

Key Words：data half life;hierarchical storage;Hadoop;data warehouse

0 引言

全球知名咨詢公司麥肯錫全球研究院發布了一份題為《大數據：創新、競爭和生產力的下一個新領域》的報告，報告指出2011年后大數據將保持每年50%以上的增長速度。2011年全球數據增量就達到了1.8ZB（1.8萬億GB），相當于全世界每個人產生200GB以上數據。從宏觀角度看，全球數據實現爆炸式增長;從微觀角度看，企業管理數據也在高速增長，商業數據更是呈指數級增長。大數據指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產，同時對技術和工具提出了更高要求。隨著數據的快速增長，商業數據倉庫已不能適應新業務和新應用場景的要求，數據倉庫不能支撐大數據分析與預測。

傳統商業數據倉庫采用MPP架構。數據倉庫MPP[2]（massively parallel processing）是將任務并行地分散到多個服務器和節點上，在每個節點上計算完成后，將各自部分的結果匯總在一起得到最終結果。在 MPP 系統中，每個節點內的CPU不能直接訪問另一個節點的內存，節點之間信息交互通過節點互聯網絡實現。因為MPP系統不共享資源（Share-Nothing），資源水平擴展比較容易實現。常見的MPP數據庫架構如圖1所示。

MPP架構特點包括：①通過Scale-Out的方式擴展計算能力，存儲也同步線性擴展;②適用于結構化數據，支持TB級數據分析預測;③存儲空間擴容價格昂貴，多采用軟硬件綁定的模式銷售。

由于MPP數據倉庫技術成熟、穩定性好，支持在線階段分析與計算，因此運用MMP數據倉庫的產品在商業中被大量采用，如Teradata、DB2等。在數據增長緩慢的時代，數據倉庫可以發揮MPP架構的優點，通過掛載服務器和存儲設備，實現資源的水平擴展，但是在大數據時代，數據增長迅速，通過增加服務器已經不能很好解決數據倉庫存儲問題，具體包括兩個方面： ①服務器及存儲設備的大量增加，會大幅降低數據分析能力，運行效率快速下降，無法實現數據快速響應的要求;②MPP架構的服務器和存儲設備必須由廠商提供，價格非常昂貴。為了保證數據及時和快速響應，在早期數據倉庫建設中，并未考慮數據分級存儲。大數據時代，MPP架構的數據倉庫暴露了諸多缺點，結合大數據時代的新技術，本文依據數據生命周期原理，提出對數據倉庫進行分級存儲的解決方案。許多學者在數據分級存儲領域進行了分析與歸納，其中楊文暉對海量空間數據的特點和日常數據應用規律，提出了基于訪問熱度和聚類關聯的海量空間數據分級存儲模型，該模型主要包括熱點數據分級、關聯數據分級、數據遷移3部分[3]。吳洪橋等[4]針對數據中心在線、近線和離線的多級存儲體系架構，提出了開展多源、異構影像數據分級存儲與數據遷移規則的研究，依據影像數據產品鏈與生命周期，提出了分級存儲原則、價值評估要素、分級存儲策略與方法。史敏鴿[5]則從數據分級如何在圖書館領域應用進行了研究。