基于網格技術的分布式大數據混合云存儲方法研究

莊銀霞

【摘? ?要】? ?為提升分布式大數據的存儲能力，實現大數據的定向遷移與應用，提出基于網格技術的分布式大數據混合云存儲方法。采用網格技術設計Hadoop型云框架、大數據調度模塊、信息互感平臺，完成分布式存儲結構搭建。在此基礎上，通過劃分大數據存儲關系，定義混合云存儲的具體格式，實現分布式大數據混合云存儲方法設計。實驗結果表明，與傳統分級信息存儲方法相比，研究方法的大數據定向遷移速率達到4.5×107 T/h，存儲容量的上限也明顯提升，能夠充分滿足分布式大數據存儲需求。

【關鍵詞】? ?網格技術;分布式大數據;混合云存儲;調度模塊;互感平臺;存儲依賴度;定向遷移;

Research on Distributed Big Data Hybrid Cloud Storage Based on Grid Technology

ZHUANG Yin-xia

（Quanzhou University of Information Engineering，Quanzhou 362000，China）

【Abstract】 In order to improve the storage capacity of distributed big data and realize the directional migration and application of big data， a hybrid cloud storage method based on grid technology is proposed. Using grid technology to design Hadoop cloud framework， big data scheduling module， information mutual inductance platform， to complete the construction of distributed storage structure. On this basis， through the division of big data storage relationship， the specific format of hybrid cloud storage is defined to realize the design of hybrid cloud storage method for distributed big data. The experimental results show that compared with the traditional hierarchical information storage method， the directed migration rate of big data of the research method is 4.5×107 T/h， and the upper limit of storage capacity is also significantly improved， which can fully meet the requirements of distributed big data storage.

【Key words】 grid technology; distributed big data; hybrid cloud storage; scheduling module; mutual inductance platform; storage dependency; directional migration;

〔中圖分類號〕? TP393 ? ? ? ? ? ? 〔文獻標識碼〕? A ? ? ? ? ? ? ?〔文章編號〕 1674 - 3229（2021）01- 0000 - 00

0? ? ?引言

網格是一種具備超強存儲能力與處理能力的新型IT網絡，能夠應對云環境下所有臨時信息存儲請求。在共享網絡的支持下網格可直接統計不同連接處的計算機從屬關系，從而建立完全虛擬化的超級計算機系統。在數據處理過程中，網格將各個計算機的多余處理器結合在一起，不僅提升了信息處理效率，也避免了復雜信息間套疊關系的出現[1]。網格技術以TCP/IP協議作為核心，與其它信息互聯手段相比，這種方法可以在構建網格映射關系的同時，定義標準服務環境下的數據關系，不僅增強了計算機系統中對象管理效果，也解決了因不良網絡服務而造成的信息干擾問題。

隨著網絡環境中待處理信息總量的提升，如何定義大數據的定向遷移與應用關系，已經成為了一種亟待解決的問題。為實現上述目標，傳統分級信息存儲手段在無監督自動數據清洗指令的支持下，分析大數據之間的邏輯權重關系，再借助DeepDive平臺完成已存儲大數據的定向遷移與處置。但在既定存儲空間內，這種方法存儲容量相對較低，且很難在單一方向上實現關聯大數據的高效率轉移。基于此引入網格技術，聯合Hadoop型框架、信息互感平臺等多個硬件設備，設計一種新型的分布式大數據混合云存儲方法，并通過對比實驗的方式，驗證這種方法的實際應用價值。

1? ? ?基于網格技術的分布式存儲結構

基于網格技術的分布式存儲結構由Hadoop型云框架、大數據調度模塊、信息互感平臺三部分共同組成，具體搭建方法如下。

1.1? ?Hadoop型云框架

Hadoop型云框架是大數據分布式存儲結構的建立基礎，由大數據存儲中心、上層信息網格、中間信息網格、下層信息網格共同組成。在在云節點呈現數據流持續輸出的情況下，大數據存儲中心可直接提取分布式數據庫中的待處理數據參量，再借助信息互感匹配通路，將所有大數據傳輸至下級應用平臺中。上層信息網格、中間信息網格、下層信息網格按照從上至下的順序排列，待存儲的大數據首先經由調配通道進入頂層云接口中，再按照網格化應用需求，將滿足信息利用條件的大數據傳輸至中層接口，最后聯合所有未存儲數據參量，完成由分布式大數據到網格化結構體的轉化[2-3]。Hadoop框架是一種上下兩端高度對稱的云存儲結構，可在滿足網格信息分級應用需求的同時，實現數據參量的同步整合與調度。

1.2? ?大數據調度模塊

大數據調度模塊作為Hadoop型云框架的下級附屬模塊，由服務器層、交換處理層、客戶端層三個網格單元組成。其中，服務器層包含大數據服務器、云存儲服務器兩個核心設備，前者能夠直接感知混合型大數據的隨機變化，再將符合需求的大數據傳輸至頂層存儲主機中;后者作為大數據存儲指令的既定生成元件，可接收來自大數據網格的所有應用信息，并將其轉化為鏡像式信息結構體[4]。交換處理層包含鏡像信息處理設備、網格交換機、分布式交換機、存儲路由器、大數據防火墻五類元件。其中，鏡像信息處理設備負責接收云存儲服務器中的鏡像式信息結構體，在存儲路由器的支持下，將待存儲的分布式大數據信息首先轉換成“H型”存儲結構、再轉換成“R型”存儲結構，且在整個執行處理過程中，網格交換機與分布式交換機始終保持著連接狀態[5-6]。大數據防火墻具備較為穩定的防入侵能力，也是執行云存儲指令的安全性保障元件。客戶端層包含一個調度交換機和多個底層云存儲執行設備，前者僅負責接收與信息結構體相關的調度處置指令，而后者作為指令執行者必須時刻與分布式大數據節點保持相同的變化趨勢。

1.3? ?信息互感平臺

信息互感平臺與大數據調度模塊直接相連，向上接收來自Hadoop型云框架的網格數據參量，向下執行由混合數據庫定義的應用調度指令，以Query table芯片和Capacity table芯片作為核心設備。其中，Query table芯片作為上層分級元件，可借助云存儲信道建立與客戶端的連接。在大數據調度模塊保持著連續大數據輸出的情況下，信息互感平臺立刻進入連接狀態，然而隨著大數據調度速率的增加，芯片所承載的傳輸壓力也會不斷提升，直至信道內的所有網格數據存儲完成后，互感平臺才會接受再次連接申請，保證傳輸的穩定性[7]。Capacity table芯片作為下層分級元件，借助云傳輸通路與混合數據庫建立連接。通常情況下，Hadoop型云框架不會影響信息互感平臺內的信息傳輸速率，而該結構在功能方面與數據存儲調節器類似，只能緩解因信息處理不及時而造成的數據堆積情況，并不能從根本上增強平臺內部元件的互感共通能力。

2? ? ?分布式大數據混合云存儲方法設計

在分布式存儲結構的支持下，按照大數據存儲關系劃分、混合存儲格式定義、已存儲信息格式有效性計算等過程，完成基于網格技術的分布式大數據混合云存儲方法的設計。

2.1? ?大數據存儲關系劃分

大數據存儲關系劃分是在分布式存儲結構的支持下，確定特征網格節點的從屬執行能力，從而計算分布式數據庫的處理能力。在不考慮分布式信息網格干擾的前提下，大數據存儲關系中的最大處理能力也被稱為云參量的上限存儲極值條件，主要受到起始分布式權限與混合信息標度參量的影響[8-9]。假設起始分布式權限常用[r1]表示，在既定存儲時間內，開放權限可加快大數據的傳輸速率，對云參量上限存儲極值條件起到正向促進作用。起始混合信息標度參量常為[i1]，可作為評估大數據結構體存儲有效性的物理指標，在網格技術的影響下，始終與起始分布式權限系數保持相同的物理作用。大數據存儲關系中的最小處理能力也叫云參量的下限存儲極值條件，受到終止分布式權限與結束混合信息標度參量的同時作用影響。終止分布式權限為[r2]，在既定存儲時間內，終止權限則不能實現大數據的傳輸調度，對云參量平均存儲數值水平起到反作用。終止混合信息標度參量為[i2]。聯立上述物理量，可將大數據存儲關系表述為：

[q=0∞r12χ1×yi1dyq=0∞i2r2χ2×udu]? ? （1）

其中，[χ1]代表分布式大數據的起始傳輸速率，[χ2]代表分布式大數據的終止傳輸速率，[y]代表網格數據信息的一般存儲條件，[u]代表已存儲大數據信息的平均轉化條件。

2.2? ?混合存儲格式定義

大數據混合存儲格式分為并列型、聯合型、遞進型、交互型四類。

（1）并列型大數據存儲格式指的是起始節點與終止節點類型完全相同的信息結構體，在分布式網格中，可在無互感節點配合的情況下，實現由散點信息到束狀結構體的轉化[10]。

（2）聯合型大數據存儲格式指的是起始節點質量明顯高于終止節點質量的信息結構體，在分布式網格中，這類信息結構體的傳輸速率始終保持在2000bit/s-2500 bit/s之間，也只有在互感節點的配合下，才能實現由散點信息到束狀結構體的轉化。

（3）遞進型大數據存儲格式指的是終止節點質量明顯高于起始節點質量的信息結構體，在分布式網格中，這類信息結構體的傳輸速率始終保持在2500bit/s-3000 bit/s之間，有無互感節點配合，都能實現由散點信息到束狀結構體的轉化。

（4）交互型大數據存儲格式指的是起始節點與終止節點類型完全不相同的信息結構體，在分布式網格中，這類信息結構體的傳輸速率極慢，低于2000 bit/s，必須在互感節點配合的情況下，才能實現由散點信息到束狀結構體的轉化[11-12]。完整的混合存儲格式定義原理如表1所示。

分布式大數據云存儲可根據大數據參量的上下限劃分關系，確定已存儲信息格式有效性，并以此為依據，進行大數據云存儲[13]。在不考慮數據過量遷移行為的情況下，云存儲效果受到網格作用系數、分布式信息量化條件的影響。設網格作用系數為[β]，具備明顯的時間行為特性，在既定存儲周期內，該項物理指標會隨大數據傳輸總量的增加而不斷上升。分布式信息量化條件為[f]，具備較強的承載穩定性，在大數據存儲空間[[q，q]]內，該項物理指標始終保持不變。聯立公式（1），可將云存儲結果表示為：

[ε=2βk2-k1+qqf?lx2lnD2D1]? ?（2）

其中，[k2]代表大數據指標的最大化表現行為量，[k1]代表大數據指標的最小化表現行為量，[l]代表分布式大數據的混合存儲周期，[x]代表待存儲信息的分布描述參量，[D2]代表最大量化處理系數，[D1]代表最小量化處理系數。

3? ? ?實驗設計與結果分析

為突出說明基于網格技術的分布式大數據混合云存儲方法的實際應用價值，設計如下對比實驗。截取兩段波長相同、頻率相等的大數據作為實驗對象，分別以搭載研究方法和傳統分級信息存儲手段的分析主機作為實驗組、對照組，在既定時間內，根據指標數值的走向趨勢，研究大數據的定向遷移速率與數據儲存容量的具體變化情況。

3.1? ?實際檢測環境搭建

將兩段大數據信息分別導入不同的分析主機中，在相同實驗環境下，根據顯示器中指標參量的實際變化，繪制實驗指標變動曲線。

3.2? ?定向遷移速率

以80 min作為既定檢測時長，分別記錄在該段時間內，實驗組、對照組大數據的定向遷移速率的具體變化情況，實驗詳情如圖5、圖6所示。

對比圖4、圖5可知，在整個檢測過程中，實驗組關聯信息的定向遷移速率基本保持上升、下降交替出現的變化趨勢，對照組關聯信息的定向遷移速率在大幅下降后，開始小幅度的波動式下降，前者最大值達到4.5×107T/h，而后者最大值僅達到3.8×107T/h，低于實驗組數值水平。綜上可知，應用基于網格技術分布式大數據混合云存儲方法，可實現提升關聯信息定向遷移速率的目的。

3.3? ?數據存儲容量

下表反應了80min的檢測時間內，實驗組、對照組數據存儲容量的具體變化情況。

對比表2、表3可知，在整個檢測過程中，實驗組數據存儲容量保持先上升、再穩定的變化趨勢，對照組數據存儲容量前期始終保持穩定，后期開始大幅下降，前者最大值達到8.9×107T，而后者最大值僅達到4.3×107T，遠低于實驗組。綜上可知，應用基于網格技術分布式大數據混合云存儲方法，能夠從根本上解決數據擴展空間不達標的問題。

4? ? ?結束語

隨著網格應用技術的不斷普及，傳統分級信息存儲手段雖能明確大數據結構之間的邏輯權重關系，但始終難以實現分布式大數據的定向遷移與應用。為解決該問題，本文提出基于網格技術的分布式大數據混合云存儲方法，通過設計Hadoop型云框架、信息互感平臺等多個硬件設備，在劃分大數據存儲關系，定義混合云存儲的具體格式后進行數據云存儲，不僅大大提升了大數據的定向遷移速率，也充分擴展了額定空間內的數據存儲容量，具有較高的實際應用價值。

[參考文獻]

[1] 王海濤，李戰懷，張曉，等. 一種基于LSM樹的鍵值存儲系統性能優化方法[J]. 計算機研究與發展，2019，56（8）：1792-1802.

[2] 徐曉霞，姜春茂，黃春梅. 一種基于三支決策的移動云任務節能卸載方法[J]. 南京理工大學學報（自然科學版），2019，43（4）：447-454.

[3] 任曉莉，楊建衛，李乃乾. 云計算中基于動態虛擬化電子流密碼的安全存儲[J]. 計算機科學與探索，2019，22（8）：1331-1340.

[4] 季一木. HOS：一種基于HBase的分布式存儲系統設計與實現[J]. 南京郵電大學學報：自然科學版，2019，39（5）：63-71.

[5] 楊茜. 基于盲數BM模型的配電網諧波數據存儲安全控制方法[J]. 電網與清潔能源，2019，35（12）：43-48.

[6] 金光. 基于IFC4的電氣化鐵路接觸網BIM數據存儲標準研究[J]. 鐵道標準設計，2018，62（8）：132-137.

[7] 韓文軍，余春生. 面向輸變電工程數據存儲管理的分布式數據存儲架構[J]. 沈陽工業大學學報，2019，41（4）：366-371.

[8] 徐毅，王建民，黃向東，等. 一種基于最大流的分布式存儲系統中查詢任務最優分配算法[J]. 計算機學報，2019，25（8）：1858-1872.

[9] 溫振蕙，樊永生，余紅英. 基于Thrift的HBase數據存儲機制優化[J]. 科學技術與工程，2019，19（6）：185-189.

[10] 吳燦強，芮曄，潘東梅. 基于YAFFS2文件系統的分區管理對載荷數據存儲效率的研究[J]. 電子設計工程，2018，26（23）：42-47.

[11] 王平，杜永成，楊立，等. 基于重疊網格技術和VOF模型的潛艇熱尾流浮升擴散規律的數值與實驗研究[J]. 紅外與激光工程，2019，18（4）：38-46.

[12] 孫健飛，李巖松，韓東，等. 基于多重網格技術的含蠟原油管道析蠟速率三維數值模擬研究[J]. 工程熱物理學報，2019，14（8）：1913-1920.

[13] 王啟明，車愛蘭. 基于CT探測技術的不良地質構造三維網格模型重構方法[J]. 巖石力學與工程學報，2019，38（6）：1222-1232.