基于BLOOM FILTER過濾算法的重復(fù)數(shù)據(jù)刪除技術(shù)的研究與改進(jìn)

朱珍

摘要：隨著企業(yè)數(shù)據(jù)信息量的不斷地增加，海量數(shù)據(jù)信息的存儲和不斷備份給企業(yè)的存儲空間帶來了巨大的存儲壓力。該文深入研究重復(fù)數(shù)據(jù)刪除技術(shù)，并針對目前重復(fù)數(shù)據(jù)刪除技術(shù)中存在的數(shù)據(jù)丟失及性能低等問題以及BLOOM FILTER算法流程和重復(fù)數(shù)據(jù)刪除策略的分析和研究，提出了一種重復(fù)數(shù)據(jù)刪除技術(shù)優(yōu)化模型。測試分析表明，該優(yōu)化模型實(shí)現(xiàn)了高效和安全的重復(fù)數(shù)據(jù)刪除功能，節(jié)省了企業(yè)內(nèi)部存儲空問的存儲成本開銷。

關(guān)鍵詞：重復(fù)數(shù)據(jù)刪除技術(shù)；BLOOM FILTER算法；哈希沖突；存儲空間

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）21-4969-03

隨著信息化時代的推進(jìn)，各企事業(yè)單位的信息數(shù)據(jù)量不斷增長，存儲管理員不斷努力地處理日益激增的數(shù)據(jù)，然而存儲這些數(shù)據(jù)對企業(yè)而言并不是最佳的解決方案，大量的文件將會加重企業(yè)數(shù)據(jù)備份以及災(zāi)難恢復(fù)系統(tǒng)的負(fù)擔(dān)。企業(yè)與其尋求更多的存儲數(shù)據(jù)的不同方式，如數(shù)據(jù)刪除技術(shù)，以存儲更少的數(shù)據(jù)。

重復(fù)數(shù)據(jù)刪除技術(shù)大致分為兩個方向，一方面是數(shù)據(jù)備份領(lǐng)域，另一方面是基礎(chǔ)存儲領(lǐng)域。重復(fù)數(shù)據(jù)刪除技術(shù)通過識別和消除數(shù)據(jù)環(huán)境中的冗余數(shù)據(jù)，從而大大減少需要保護(hù)的數(shù)據(jù)量，確保同樣的數(shù)據(jù)信息只被保存一次，這樣不僅顯著提高現(xiàn)有磁盤存儲空間的有效容量，從而使保護(hù)數(shù)據(jù)所需的物理磁盤數(shù)量更少，還有助于企業(yè)對數(shù)據(jù)的維護(hù)管理。這便可以幫助企業(yè)減輕硬件投資和后期維護(hù)所帶來的經(jīng)濟(jì)壓力。……