分布式存儲數據技術應用探討

王為軒

（湖北科技學院計算機科學與技術學院 湖北 咸寧 437100）

0 引言

隨著科技的發展，人們對數據的需求逐漸增大，傳統的數據存儲技術已無法滿足人們的需求。分布式數據存儲技術的應用范圍越來越廣泛，為人們提供了更加便利的數據存儲方式。但是分布式存儲數據技術的應用也存在一定弊端，尤其體現在傳輸成本方面，還有一些額外的費用，這可能導致因距離或分布限制而產生額外的數據傳輸成本。這些額外的費用可以看作是使用分布式數據庫的障礙，而解決這一障礙的主要方法是在分布式數據庫中使用適當的數據存儲技術，這也是本文的重點[1-2]。

1 分布式存儲數據技術的應用優勢解析

隨著物聯網、云計算技術在如今社會的全面應用與發展，其處理數據體量也獲得了顯著提升，數據中心的規模冗余也勢必成為一個較為顯著的挑戰問題。例如，針對地理位置的挑選來說，以往的幾十年中，數據中心的選址歷經了多個階段。而除了三大運營商之外，在其他行業也無法找到面積較大的機房場所。同時目前，各個行業的大型企業自行建設上千平方米的機房也較為常見。而數據中心規模的持續擴張，代表著業務高度集中，業務高度集中也會進一步催發運作風險性的提升。伴隨著數據中心的擴張，其整體的運作壓力也在倍增，較大規模數據中心運營監管系統的日常維護經費也極為可觀。

傳統的數據中心在如今數據大爆炸的信息背景下已經不適應時代全面發展的需求。為了更好匹配全新技術的發展，全面應用好大數據資源，推動全新數據中心建設，為大數據應用給予重要的環境支持，全新數據中心需要將注意力進一步放在數據計算方面。在立足于大數據與云計算的全新大數據中心建設之中，如何有效解決此項矛盾是探究的關鍵點。因為設施容量相對有限，傳統的集中式存儲數據模式勢必會逐步被更替，而分布式存儲系統因為其具有優異的擴展性、高效性，無疑超越了傳統的集中式存儲技術，以實現數據存儲的安全、穩定。

2 分布式數據庫概述

分布式存儲是一種數據存儲技術，它利用企業網絡中每臺計算機的存儲空間來創建這些分布式存儲資源的虛擬檔案，將數據存儲在企業的不同位置。分布式數據庫是分布式的，意味著數據存儲在多個地點，由子數據庫管理每個地點的本地數據，這使得它們比傳統的集中式數據庫更容易管理。分布式存儲系統，即數據存儲在多個獨立的設備上，比傳統的集中式數據庫要開放得多。傳統的網絡存儲系統使用中央服務器來存儲所有的數據，這導致了系統性能的瓶頸、可靠性和安全性問題，并且不能滿足大型存儲應用的需要[3]。分布式網絡存儲系統采用可擴展的系統結構，使用多個存儲服務器來分配存儲負載，并使用搜索服務器來檢索存儲的信息，這不僅提高了系統訪問的可靠性、可用性和性能，而且還有利于系統的擴展。

分布式數據庫的主要功能有：首先，分布式數據庫通常在物理上或邏輯上是獨立的，所以用戶在查詢和訪問分布式數據庫時不需要指定相關的鏈接或關系拷貝位置。此外，該系統必須在查詢成本、查詢的傳輸和執行以及地點之間的數據訪問方面進行優化。其次，分布式數據庫是原子化的，因此用戶在訪問分布式數據庫時，可以在不同的地方編輯數據，包括本地和遠程。如果變更被拒絕，就不允許再進行變更。

2.1 分布式數據的存儲方式

數據存儲方式是指將分布在不同位置上的所有信息進行集中管理，并對其加以記錄、保存和傳輸。分布式數據的存儲方式主要包含以下幾種形式：（1）根據網絡拓撲結構將數據信息進行分類后，選擇相應的節點以及相應的存儲設備，對信息進行加密處理，最后再傳輸至分布式文件系統中。（2）利用改善存儲機制中的結構，對數據進行保存。數據存儲指的是通過使用分布式存儲系統，建立一個完整的數據庫，對信息進行處理后，將存儲到數據中不同位置上的信息加以記錄保存，使之成為分布式文件系統中重要組成部分，為用戶提供了強大而完善、可靠以及高效的服務。該存儲方式有著較強的靈活性，且存儲數據的性能較高，能夠滿足用戶對于信息處理速度和容量要求。（3）采用數據加密的形式對數據進行存儲，但是若需要存儲的數據量較大，不僅數據的安全性無法得到保證，且數據傳輸的過程也比較緩慢，數據的完整性也得不到保障。通常情況下，這種數據存儲的方式只適合應用于少量數據的存儲方面。

2.2 分布式數據庫存儲分類

數據存儲方式主要有兩種類型，一是數據存儲類型，二是存儲系統對數據進行儲存的類型。從數據存儲類型而言，為了提高數據在存儲過程中的安全性，通常需要對修改數據本身后再進行數據的存儲。通常情況下，大部分數據存儲的方式都會利用數據加密技術，利用數據加密技術來保證存儲的安全性，但是對于分布式存儲數據的處理上，則需要利用分布式文件系統、圖形加密技術以及服務器系統來對其進行有效的保護。數據存儲加密技術的安全性中等，當有攻擊者對加密算法進行破壞時，就會對數據的完整性以及安全性造成破壞，或者是對數據信息進行篡改，造成數據丟失或者導致系統癱瘓。但是這種方式在傳統的數據加密技術的加密算法能力進一步加強，其對保存數據的保密方法也有了變化，并沒有對所要保存的數據進行保密，而只是對存放服務器的ID信息、IP地址以及數據存放路徑信息等進行了保密，而且加密的時間、保存的時間也大大減少，因此對數據的保存性能也大大提高了，被越來越多的使用者所認可。從存儲系統對數據進行儲存的類型來看，其可以進一步加強數據存儲的質量，主要以網絡存儲數據為基礎，利用圖論點著色法，根據數據的訪問時間以及安全性，對所存儲的數據進行加密，從而達到保護用戶信息安全、提高網絡傳輸速度和可靠性的目的。除此，在存儲系統中，此存儲類型通常分為存儲代理、數據存儲以及第三方審核幾個部分，從而形成一種層次結構，對數據的安全進行有效保障。

3 分布式數據的體系結構

隨著信息技術的發展，出現了3種形式的分布式數據庫架構：客戶-服務器架構、共享服務器架構和中間件架構。

（1）客戶-服務器體系結構。這種類型的架構由一個或多個客戶進程和一個或多個服務器進程組成，可以從任何使用中的服務器調用。客戶端進程的主要任務是與用戶互動，而服務器進程的主要任務是管理數據和處理客戶端進程。根據操作模式的不同，用戶進程可以在單個計算機上運行，但有些應用程序必須在大型服務器上運行。

（2）協同服務器體系結構。客戶端-服務器架構不允許向多個服務器單獨請求數據，這使得客戶很難請求和訪問數據，在某些情況下甚至無法將客戶和服務器分開。這導致了協作服務器架構的發展，它可以用服務器到服務器的協作來取代客戶端-服務器的協作，以促進本地事務處理[4]。

（3）中間件體系結構。這種類型的架構支持多個服務器之間的查詢和數據訪問，并且不需要數據庫服務器。這種類型的架構已被證明是數據處理的重要工具，但卻難以整合和擴展。

4 分布式存儲關鍵技術

4.1 系統彈性擴展技術

在如今大數據時代背景之下，數據的規模在進一步擴大，數據也變得更為復雜多樣，這也就意味著在分布式數據存儲的過程中，對系統的彈性提出了更高的要求。而系統彈性擴展技術是分布式存儲關鍵技術中的重要組成部分，該技術能夠有效提高存儲系統的擴展性，能夠有效解決分布式存儲數據過程中可能面對的原數據分布和透明的數據遷移的情況。系統必須能夠根據數據量和工作負荷來估計所需的節點數量，并在節點之間動態遷移數據。系統應能在節點之間動態地傳輸數據，以實現同步的負載平衡。在節點發生故障的情況下，應能使用復制等機制來恢復數據，而不影響更高級別的應用[5]。

4.2 存儲層級內的優化技術

數據存儲系統應從成本和容量的角度來考慮，所以數據存儲系統通常使用不同級別的存儲設備，具有不同的成本，形成一個數據存儲層次。有大量的數據，通過利用存儲層次內的優化技術，構建不同的存儲層次，只有這些存儲層次具有有效性和合理性，并能夠在大量的數據中將這些數據有層次有效地進行分層次管理，可以確保在容量足夠的情況下，減少了相關設備的功能消耗，并且能夠降低相關的構建系統的成本。存儲層次結構還可以通過熱點數據和冷數據處理的方法進行結構的優化，能夠有效地進行存儲層級內優化技術的應用。在節約成本方面，一種信息生命周期管理方法，即將數據以低延遲傳輸到低成本、高速的存儲設備上，可以大大降低系統生產成本和功耗，而不會明顯降低整體系統性能。

4.3 針對應用和負載的存儲優化技術

在這個階段，在鏈接提取過程中，最頻繁使用的數據被儲存在本地，最頻繁使用的鏈接數據被復制并儲存在每個領域。在分布式數據庫中使用數據存儲技術，主要可以從兩個方面來解決。

（1）劃分存儲。共享存儲是指將一個數據鏈路分割成較小的鏈路或部分，可以在每個地方存儲，以代替原始鏈路。一般來說，有兩種類型的分割關系：水平分割，即原始關系被分成若干部分，各部分不重疊，而且各部分的集合正好等于原始關系的子集之和；垂直分割，即每個部分是原始關系的無損分解，每個部分都有自己的唯一標識符。當然，如果原始關系有一個額外的身份屬性，它可以被添加到垂直分區中，但是必須注意確保分區是無損的。一般來說，關系可以在幾個層次上被拆分，即原始關系的部分可以進一步拆分，但重要的是，原始關系可以使用被拆分的部分重新創建。

（2）復制存儲。復制存儲是指對已保存的鏈接或部分已保存的鏈接的存儲，其中已保存的鏈接可以復制成多個版本的已保存的鏈接，并存儲在不同的位置，鏈接的部分也可以被存儲。例如，一個原始鏈接可以分成5個部分——A1、A2、A3、A4和A5，只有A1、A2和A3的兩個副本可以被存儲，而A4和A5的所有副本都可以存儲。目前，主要有兩種復制存儲的方法：同步復制存儲和異步復制存儲。這兩種復制存儲方法的區別在于，復制和更新之間必須有持續的關系。復制群主也存在著其自身獨有的優勢，首先復制群主是以備份的數據存儲形式所使用的，相當于一份數據存儲了兩份位置及具有較高的可用性，當某一份數據無法使用時便可以使用備份數據，通過拷貝和傳輸等方式可以得到另一份數據，這樣有效防止了數據丟失所導致的無法找回數據的情況的發生。此外，復制群主還可以將復制的數據與原始數據之間放置于不同的位置，可以通過副本取代等遠程方式的訪問形式，提高數據檢索的使用效率和速度，有效降低了相關成本費用的支出，復制群主具有一定的經濟效益。

5 大數據分布式存儲技術背景及現狀研究

5.1 大數據產業發展和應用現狀調查

企業計算的逐步發展和互聯網的社會化以及云計算、物聯網和移動互聯網等衍生解決方案的廣泛采用，導致了世界上數據量的增加和類型的轉變。

5.2 企業級大數據的處理要求

隨著信息技術的發展，互聯網公司的增長，用戶數量和存儲空間的增加，數據量正在以驚人的速度增長。然而，存儲容量往往與整體存儲性能成反比。本文解決了傳統數據庫在管理大型數據集時存在的并發性低、可擴展性差和效率低的問題。本文著重于解決企業中不斷增加的數據量所引起的訪問性能問題，并為企業級存儲技術提供高并發、高可用性和高可擴展性的支持。

5.3 云計算下的分布式文件系統的應用

云計算是分布式和并行計算網絡的持續發展以及這些科學概念在實踐中的工業應用。數字和互聯網技術的發展導致了數據量的指數級增長，造成了計算能力的相對短缺。為了滿足對計算能力的需求，需要更多的投資來建立具有更多計算能力的系統。

6 大數據分布式存儲技術的設計對策與建議

6.1 改變企業的數據分析和存儲模塊的底層數據庫

該措施可以解決與數據分析有關的問題，以提高存儲系統的低競爭力以及企業應用中“大數據”的可擴展性、低存儲和可讀性。企業數據中心仍然主要使用集中式存儲設備，以FC-SAN為代表。缺點：同時讀寫大量數據的速度低，介質容量有限，可擴展性低，制造、操作和維護成本高，對分布式系統有限制。

6.2 對海量數據的有效存儲和深度分析

高效存儲和深度分析大數據，提高商業價值和競爭力。NoSQL是關系型數據庫的統稱。在新時代背景下，傳統數據庫面臨著使用新的數據存儲方式的挑戰，盡量減少數據交互，減少代碼編寫和調試，實現高效存儲和有效訪問大型數據集，同時開源和免費，降低業務成本。

NoSQL的主要特點：不需要預定義的模式，沒有通用的架構，靈活性和可擴展性，分區，異步復制，BASE。

主要優點：高效的數據庫配置，數據庫的可擴展性，低數據庫配置成本，靈活的數據模型。

6.3 企業級大數據的集中式存儲模式設計

大數據的集中式存儲模式已經被提出，并正在演變成云服務的分布式存儲模式。分布式文件系統集中管理物理分布式存儲設備上的文件邏輯，從而改善數據共享、災難恢復管理、訪問性能等。以往分布式存儲必須由多個專家來管理，導致額外的停機時間和人員成本，使用云存儲和通用資源管理界面的公司將有更多的標準化管理。隨著越來越多的公司擁有更多的公共和共享資源，一個開放的云存儲系統將是滿足這些需求的好方法，在公司網絡上使用云存儲時，可以暫時繞過互聯網。云存儲的高級安全和信任控制可以深入到云存儲的核心，檢查底層云存儲技術[6]。

7 結語

綜上所述，隨著科技的發展，分布式數據庫正在逐步取代集中式數據庫。這種數據庫的轉變使得用戶在使用和訪問相關的數據過程中變得更加容易，但是伴隨著分布式數據庫的建立，同時也需要應用到分布式存儲數據技術，該技術的應用，在未來必然被應用于更多的領域，但是分布式存儲數據也會面臨額外的成本。本文通過對分布式存儲技術的應用情況進行分析，希望能夠提高用戶訪問數據的速度，并減少因數據本地化而產生的額外數據消耗的成本，以供參考。根據上文的分析，分布式存儲數據技術的應用范圍在逐步擴大，雖然其自身有一定的局限性，但是隨著技術的完善，其發展空間潛力巨大。